E-Assessment

Die JLU Gießen bewirbt hier ihre positiven Erfahrungen und Kompetenzen mit Online-Prüfungen: http://www.uni-giessen.de/hrz/komm/angebote/eklausuren.htm

Wir bieten Ihnen die Erstellung und Durchführung der Klausur mit dem eingebauten Prüfungs-Tool der Lernplattform ILIAS. Da ILIAS bei uns in einem Cluster betrieben wird, können wir eine Ausfallsicherheit des Systems garantieren.

SPIEGEL online berichtet von formativem E-Assessment in der Hochschullehre.

“Ob du recht hast oder nicht, sagt dir gleich das Licht: An der Uni Frankfurt können Studenten mit einem Knopfdruck auf die Fragen des Professors antworten. Eine gute Methode, die Zuhörer bei Laune zu halten - und sie reinzulegen.

Eins, zwei oder drei - welches Insulin würden Sie empfehlen? Eine Minute Zeit bleibt Pharmaziestudentin Anne-Kathrin Frischen und ihren 70 Kommilitonen für die Antwort per Knopfdruck. Die Studenten greifen zu schwarzen Kästchen, die aussehen wie eine Fernbedienung. Nach sechzig Sekunden flimmert das Ergebnis als Balkendiagramm über die Beamer-Leinwand. “Es ist wie bei ‘Wer wird Millionär’”, sagt Anne-Kathrin Frischen, “das macht Spaß.”"

Im ausführlichen Bericht steht u.a., dass es damit gelingt, alle bzw. viel mehr Studierende aktiv in der Lehre einzubinden bzw. zu aktivieren (sie werden ja etwas gefragt und ihre Antwort ist von Bedeutung) und damit können ganz besondere Aha-, Aufmerksamkeits, Lernerfahrungen gemacht werden, gleichzeitig erfährt der Dozent ganz unmittelbar, ob das Lernziel erreicht wurde - oder was er noch einmal vertiefen sollte …

Joachim Diercks von Cyquest hat mich auf seien Weblog aufmerksam gemacht. Unter http://blog.recrutainment.de/ berichtet er in in losen Abständen über die Cyqeust Recrutainment-Projekte - da gehts um E-Assessment und Self-Assessment in der Berufs- und Studienberatung und Bewerberauswahl …

Zum E-Testing-Projekt der Zahnmedizinischen Fakultät der Universität Bonn ist nun die projektbegleitende Dissertation veröffentlicht worden. Heruntergeladen werden kann diese hier:

Auto: Frank-Christoph Langer
Titel: Erprobung eines internetbasierenden Prüfungssystems in der zahnmedizinischen Ausbildung und die Beurteilung der Grenzen, Chancen und Nutzen

Herzlichen Glückwunsch, Frank!

In drei Jahren soll es soweit sein, meldet die DPA. “Natürlich” kostet die computergestützte Prüfung dann auch mehr (ca. 60 Euro mehr). Wahrscheinlich wollen die weiterhin Massenprüfungen beim TÜV durchführen, dazu kein weiterer Kommentar mehr, alles schon geschrieben

Im Weiterbildungsblog von Jochen Robes habe ich folgenden Hinweis gefunden:
(Herzliche Grüsse!)

Gabi Reinmann, Arbeitsbericht Nr. 16, Universität Augsburg, Medienpädagogik, September 2007 (pdf)
Jochen Robes dazu: “Gabi Reinmann schließt, indem sie Web 2.0-Technologien und -Nutzung sowie Assessments zusammenführt und für ein “Blended Assessment” wirbt. Ein spannendes Thema! Und es lässt sich in Richtung Kompetenzmessung und -bilanzierung trefflich weiterführen … ”

Ja, spannend. Da fällt mir ein, dass ich dringend das Assessment-Modul des MOSEP-Tutorials  fertigstellen muss…

Danke Marco, für den Tipp!!

Vom BMBF herausgegeben, ist 2007 das Bildungsforschung Band 20 erschienen:
“Möglichkeiten und Voraussetzungen technologiebasierter Kompetenzdiagnostik”

AutorInnen: u.a. Dr. Johannes Hartig, Prof. Dr. Eckhard Klieme, Nina Jude, Astrid Jurecka …

Wie immer freut es mich, wenn solche Bände mit freiem Zugang veröffentlicht werden, allerdings haut mich der Inhalt nicht vom Hocker: Die AutorInnen, allesamt vom DIPF, beschreiben v.a. aus Sicht der Diagnostik und eher old-fashioned ….

Aus meiner Sicht fehlen Praxisbeispiele/-bezüge [vielleicht sogar generell der praktische Bezug der Autoren], da wird in Kapitel 6 theoretisch über Anwendungsszenarien geschrieben, wo es doch schon soo viele Anwendungen gibt, und schon seit soo vielen Jahren und inzwischen ja auch reichlich Artikel und Berichte darüber!

Hier: Grosse Verwunderung über den DIPFschen Elfenbeinturm…

Steven Downes, gewohnt kritisch, über

Open Source Assessment

By Stephen Downes
June 6, 2007

“Yes, this is a very different picture of assessment than we have today. It replaces a system in which a single set of standards was applied to the population as a whole. This was an appropriate system when it was not possible for people to view, and assess, a person’s accomplishments directly. No such limitation will exist in the future, and hence, there is no need to continue to judge humans as ‘grade A’, ‘grade B’ and ‘grade C’. “

Karin Frößinger, zuständig für die Online-Publikationen des Deutschen Instituts für Erwachsenenbildung in Bonn, hat mich darüber informiert, dass meine Magisterarbeit zu Online-Prüfungen in der Weiterbildung eine ziemlich hohe Download-Quote erreicht. Von den aktuell 303 Online-Texten verzeichnen sie beim DIE:

2006: 6.631 Zugriffe (Platz 18 aller Zugriffe)
2005: 4.808 Zugriffe (Platz 9)
Das freut mich natürlich

Schon älter, aber immer noch gefragt:

Schaffert, Sandra (2004): Einsatz von Online-Prüfungen in der beruflichen Weiterbildung: Gegenwart und Zukunft. Deutsches Institut für Erwachsenenbildung.

Guido, danke für Deinen Hinweis: Die Wikiversity bietet einen deutschsprachigen Kurs zur Gestaltung von Quízfragen in Wikis! http://de.wikiversity.org/wiki/Wikiversity:Quiz

Viel Vergnügen …

Informationsdienst Wissenschaft - idw - Pressemitteilung
Deutsches Institut für Internationale Pädagogische Forschung,
Christine Schumann M.A., 22.05.2007 12:30

Neues DIPF-Projekt entwickelt computerbasierte Testverfahren für den
Bildungsbereich

Kompetenzcluster bietet Service für anwendungsorientierte
Bildungsforschung

Frankfurt/Main. Die empirische Bildungsforschung der letzten zehn
Jahre ist geprägt von Arbeiten im Bereich der Erfassung von
Kompetenzen. Neben einschlägiger Grundlagenforschung haben vor allem
international vergleichende Schulleistungsstudien wie TIMSS, PISA und
PIRLS und auch die Studien "International Adult Literacy Survey"
(I-ALS) und "Adult Literacy and Lifeskills Survey" (ALL) in der
Erwachsenenbildung das Thema in den Vordergrund gerückt. Um
Kompetenzen zu erfassen und zu bewerten, müssen die entsprechenden
diagnostischen Instrumente und Methoden ausdifferenziert und optimal
aufeinander abgestimmt sein. Computerbasierte Testverfahren bieten
dafür gute Voraussetzungen - für die wissenschaftliche Arbeit in der
Bildungsforschung allerdings müssen sie erst erschlossen und angepasst
werden. Mit dem neuen BMBF-geförderten Projekt "Technology Based
Assessment"

erarbeitet das Deutsche Institut für Internationale Pädagogische
Forschung  eine Forschungs- und
Entwicklungsstruktur für technologiebasierte Testverfahren, die
verschiedene Assessment-Anforderungen berücksichtigen und unterstützen
wird.

Es sind nicht nur international vergleichende Schulstudien wie TIMSS
und PISA, die von einer Weiterentwicklung solcher
technologiegestützter Testverfahren profitieren können.
Bildungsforschung und Bildungspraxis liefern auch in anderen Bereichen
gute Gründe für ihren Einsatz. Drei Beispiele: Universitäten können
künftig jährlich unter hunderttau-senden von Studierenden die
geeigneten Bewerber auswählen - dafür ist die Entwicklung und
Implementierung adäquater Testinstrumente unerlässlich. Mit der Idee
des Lebenslangen Lernens sind Bestrebungen verknüpft, formales und
nicht-formales Lernen zu erfassen - auch dafür sind neue
technologiebasierte Instrumente sinnvoll. Und, nicht zuletzt, müssen
in Firmen und Bildungsstätten sowohl interne als auch - sich
entwickelnde - europaweite Zertifizierungsanforderungen berücksichtigt
werden.

Beim Aufbau einer Forschungs- und Entwicklungsstruktur für Technology
Based Assessment spielen spezifische Kontextbedingungen deshalb eine
nicht geringe Rolle. Im Projekt werden deshalb unterschiedliche
Lernkontexte segmentiert: Neben Vorschule, Schule, Berufliche Bildung,
Hochschule, Weiterbildung und dem Lebenslangen Lernen wird zusätzlich
die Grundlagenforschung als eigenständiges Anwendungsfeld mit
einbezogen. Die sich in den jeweiligen Anwendungsfeldern ergebenden
spezifischen Probleme sollen also nicht partikulär gelöst werden,
sondern vom im Projekt erarbeiteten Know-how, den Beratungserfahrungen
und dem Prozesswissen profitieren. Eine enge Anbindung an die
Grundlagenforschung im Bereich der pädagogisch-psychologischen
Diagnostik besteht insbesondere durch das von der Deutschen
Forschungsgemeinschaft (DFG) geförderte Schwerpunktprogramm
“Kompetenzmodelle zur Erfassung individueller Lernergebnisse und zur
Bilanzierung von Bildungsprozessen” <www.kompetenzdiagnostik.de>, das
am DIPF koordiniert wird.

Die Forschungs-, Entwicklungs- und Implementierungsarbeiten zu diesem
Projekt werden von den DIPF-Arbeitseinheiten “Bildungsqualität und
Evaluation”
 und
“Informationszentrum Bildung”
 ausgeführt. Über diese
sowohl disziplinen- als auch arbeitseinheitsübergreifende
Projektstruktur entsteht auf der technischen Ebene ein fundiertes
Wissen über den Aufbau von Hard- und Software eines solchen
computergestützten Assessments; wichtige Erkenntnisse über das Messen
von unterschiedlichen Kompetenzen und Lernfortschritten werden dagegen
auf der erziehungswissenschaftlichen Ebene erzielt. Mit dem dabei
entstehenden Kompetenzcluster unterstützt das DIPF die Aktivitäten der
nationalen Bildungsforschung und erweitert seine Serviceleistungen für
die Erziehungswissenschaft grundlegend.

Informationen und Kontakt
Dr. Thomas Martens, Tel. 069/ 24708-304, E-Mail martens@dipf.de
(Testentwicklung)
Dr. Heiko Rölke, Tel. 069/24708-315, E-Mail mroelke@dipf.de
(Technologie)

Öffentlichkeitsarbeit Informationszentrum (IZ) Bildung, Christine
Schumann,
Tel. 0 69.24708-314; E-Mail:
schumann@dipf.de,www.dipf.de/bildungsinformation.htm

Das DIPF gehört mit 83 anderen außeruniversitären
Forschungseinrichtungen zur Leibniz-Gemeinschaft. Das Spektrum der
Leibniz-Institute ist breit und reicht von den Natur-, Ingenieur- und
Umweltwissenschaften über die Wirtschafts-, Sozial- und
Raumwissenschaften bis hin zu den Geisteswissenschaften und Museen mit
angeschlossener Forschungsabteilung. Die Institute arbeiten
nachfrageorientiert und interdisziplinär. Sie sind von überregionaler
Bedeutung, betrei-ben Vorhaben im gesamtstaatlichen Interesse und
werden deshalb von Bund und Ländern gemeinsam gefördert. Näheres unter
www.wgl.de

Arten der Pressemitteilung:
Forschungsprojekte
Forschungs-/Wissenstransfer

Sachgebiete:
Informationstechnologie
Pädagogik

Weitere Informationen finden Sie unter
http://www.dipf.de - Deutsches Institut für Internationale Pädagogische Forschung
http://www.dipf.de/bildungsinformation/bildungsinformation_tba.htm - Projektbeschreibung auf Webseiten des DIPF

Joachim Rottmann, Jörg Stratmann und Michael Kerres (22.9.2006) Handlungsorientiertes Prüfen in der beruflichen Aus- und Weiterbildung: Eine Herausforderung für computergestützte Testverfahren

Handlungsorientierung besetzt seit einiger Zeit eine prominente Rolle im beruflichen Bildungswesen; zumeist werden hierbei Prozesse des Lehrens und Lernens thematisiert. Der nachfolgende Beitrag wendet sich dem berufsbezogenen Prüfungswesen zu.Handlungsorientierte Prüfungen im Kontext handlungskompetenzförderlicher Bildungsarrangements könnten durch spezifische Potenziale von Computern profitieren. Der Beitrag diskutiert diese Potenziale vor dem Hintergrund einer empirischen Untersuchung, in welcher vor allem die besonderen Erfahrungen und Erwartungen der am Prüfungsgeschehen beteiligten Akteure im Zentrum der Erörterung stehen.

Martin Ripley veröffentlicht am 24 November 2006 “The four changing faces of e-assessment 2006-2016″. Das erinnert mich daran, dass ich die Ergebnisse meiner Delphibefragung (1999/2000 für das Jahr 2009/2010 bald wieder rausziehen sollte )

This article examines progress to date in e-assessment. It extrapolates from current activities and trends to make some predictions about how e-assessment might evolve in the next decade as significant progress was achieved in this area in the years from 2001-2006 Between 2006 and 2016 four trends will shape the development and uptake of e-assessment.

• Rapid change in assessment in the lecture hall and the classroom (Assessment for Learning), driven by an increase in the capability of handheld and personal technologies.
• The transformation of (some) examinations and training through the use of technology to create virtual worlds assessing students’ higher order thinking.
• The migration of traditional paper-based tests to computer-delivered tests. Initially multiple-choice in format, over the next decade computer-based assessment incrementally will adopt more sophisticated approaches such as coursework requiring extensive use of technology to conduct research, evaluate and present findings.
• Uptake of e-portfolios to accommodate 21st century learning and training patterns, as well as to strengthen university and college transfer.

http://insight.eun.org/ww/en/pub/insight/thematic_

dossiers/articles/e_assessment/eassessment2.htm

aus:

E-Assessment using Latent Semantic Analysis
Debra Haley, Pete Thomas, Bashar Nuseibeh, *Josie Taylor, *Paul Lefrere
Department of Computing, The Open University,
* Institute of Educational Technology, The Open University
Walton Hall, Milton Keynes, UK MK7 7AA
email: D.T.Haley@open.ac.uk

http://mcs.open.ac.uk/dth46/publications/LeGE-WG%20no%20headers.pdf

in der kürze liegt die würze, im dokument  mit den entsprechenden Quellen…

Much work is being done in the area of using LSA to grade essays automatically and to provide content-based feedback. One of the great advantages of automatic assessment of essays is its ability to provide helpful, immediate feedback to the student without burdening the teacher. This application is particularly suited to distance education, where opportunities for one-on-one tutoring are infrequent or non-existent [18]. Existing systems include Apex [19], Autotutor [20], Intelligent Essay Assessor [17], Select-a-Kibitzer [8], and Summary Street [7, 18]. They differ in details of audience addressed, subject domain, and advanced training required by the system [8]. They are similar in that they are LSA-based, web-based, and provide the scaffolding, feedback, and unlimited practice opportunities without increasing a teacher’s workload [18]. See [8] for an excellent analysis of these systems.

Workshop on e-Learning

Hochschule für Technik, Wirtschaft und Kultur Leipzig (FH)

9.-10.07.2007, Leipzig, Germany
Schon wieder eine Tagung mit E-Assessment Unterthema…. Am 9. und 10. Juli 2007 findet an der Hochschule für Technik, Wirtschaft und Kultur in Leipzig der 5. Workshop on eLearning statt. Der Call for Paper ist bis 27. Mai 2007 offen. [entdeckt im Checkpoint-elearning.der Newsletter]

Das “spezielle” Thema:

- Automatische Generierung, Bewertung und Verwaltung von Übungsaufgaben

- Semantische Bewertung von Antworten

- Individuelle Anpassung oder Generierung von Aufgaben

- Integration in bestehende E-Learning-Systeme.

http://lernen.htwk-leipzig.de/wel/wel07/index.php?content=tagungsschwerpunkt />

Wenn ich die aktuellen Calls anschaue, z. B. für die GMWD in Hamburg lese ich immer wieder “E-Assessment”. Auch im FB 7 Programm habe ich von mehreren Seiten gehört, dass E-Assessment ein “heisses” Thema ist. Bald werde ich wohl hier nicht mehr auf jeden/s Vortrag/Seminar hinweisen können …

Joachim Dierks schreibt mir Betr. Praxisseminar von Cyquest:

Über 100 Teilnehmer konnten am 27. März 2007 in Hamburg anlässlich des Praxisseminars “eAssessment- und SelfAssessment-Verfahren in der Bewerberauswahl” begrüßt werden.
Insg. waren 40 Unternehmen, 12 Hochschulen und sechs Einrichtungen (u.a. Bundesagentur für Arbeit, Personalamt der Freien und Hansestadt Hamburg, Streitkräfteamt etc.) unter den Teilnehmern vertreten. Diese alle Erwartungen bei weitem übersteigende Resonanz belegt das deutlich gestiegene Interesse an diesen Themenbereichen. Die Resonanz vor Ort sowie die zahlreichen positiven Rückmeldungen, die CYQUEST im Nachgang von Teilnehmern zugingen, belegen dass das vorrangige Veranstaltungsziel - nämlich eine Informations- und Austauschplattform über den gegenwärtigen Entwicklungsstand in diesen Themen zu bieten - erfolgreich erreicht wurde. Die Seminardokumentation liegt inzwischen auf DVD vor. Hierauf sind sowohl die Videosequenzen der Vorträge von Prof. Deters (Uni Lüneburg), Unilever, Gruner+Jahr, Citibank, Deutsche Bahn, HAW Hamburg und TaylorWessing komplett enthalten, wie auch die dazugehörigen Vortragsfolien im PDF-Format.
Wer Interesse an der Seminardokumentation hat, um sich die Inhalte des Tages ansehen zu können, kann diese per E-Mail an j.diercks@cyquest.net bestellen.

Report folgt.

Prüfungen haben einen “schlechten Ruf”, jeder hat Erinnerungen an unangenehme Prüfungssituationen, die Prüfungsforschung hat in der deutschsprachigen Bildungsforschung einen Exotenstatus (anders als beispielsweise die Diagnostik!). Warum Prüfungen und E-Assessment wichtig sind, besonders für Pädagogen, die doch bitte eher fördern sollen… weil sie als hidden curriculum wirken.

Dazu:

What I and many others working in this area have come to realise is that we can’t just ignore assessment, or simply see it as ‘someone else’s job’. Assessment practices shape, possibly more than any other factor, what is taught and how it is taught in schools. At the same time, these assessment practices serve as the focus (perhaps the only focus in this day and age) for a shared societal debate about what we, as a society, think are the core purposes and values of education. If we wish to create an education system that reflects and contributes to the development of our changing world, then we need to ask how we might change assessment practices to achieve this.

aus dem Vorwort aus: Ridgway, Jim & McCusker, Sean (2004). Literature Review of E-assessment Nesta Future Lab.

International Online Conference sponsored by the REAP Project: Assessment design for learner responsibility - 29th to the 31st May 2007

You are invited to contribute to an innovative Online International Conference exploring the interplay between the theory and practice of assessment and feedback in FE/HE in the digital age. We are especially interested in assessment designs that result in enhanced motivation and engagement and that help equip students to monitor and manage their own learning and feedback. Participation is FREE.

http://www.reap.ac.uk/conference/references.html

Die Firma Cyquest lädt am 27.3.07 zu einem halbtägigen Seminar nach Hamburg ein, bei dem ihre Kunden (u.a. Unilever, Citibank) von ihren Erfahrungen mit internetbasierten eignungsdiagnostischen Verfahren zur Bewerbervorauswahl berichten (69€).

Mehr zur Veranstaltung:

http://www.cyquest.net/Danke für die Info!