Pruefung.net: Der E-Assessment-Weblog

Im aktuellen Newsletter von e-teaching.org fand ich folgenden Call für ein Themenspecial zum E-Assessment:

„Von Online-Klausur bis E-Assessment – digitale Leistungsnachweise“

Digitale Medien eröffnen ein weites Feld neuer Prüfungsformen, von Online-Klausuren – meist mit automatisch auswertbaren Aufgabentypen – bis zu E-Assessments, z.B. durch Portfolio-Aufgaben. Häufig ist die Einführung von E-Prüfungen dadurch motiviert, das mit der Umsetzung der Bologna-Richtlinien gestiegene Prüfungsaufkommen schneller und leichter zu bewältigen. Jedoch reicht das Potenzial elektronischer Aufgabenformen weit darüber hinaus: Multimedial aufbereitete Fallstudien, Webquests und andere innovative, oft bereits den Lernprozess begleitende Aufgabentypen richten sich häufig nicht nur darauf, Faktenwissen zu überprüfen, sondern auch den Erwerb von Kompetenzen oder die kollaborative Zusammenarbeit zu unterstützen.

Im Special sollen aber nicht nur didaktische Themen behandelt werden. Die Umstellung von traditionellen auf elektronische Prüfungsformen konfrontiert die Beteiligten oft mit komplexen rechtlichen, organisatorischen und technischen Herausforderungen. Wenn Sie oder Ihre Institution bereits Erfahrungen in einem dieser Bereiche gemacht haben, freuen wir uns über Ihre Beteiligung am Themenspecial. Wir sind gespannt auf Ihre Texte und Erfahrungsberichte, auf Interviewpartner für Podcasts oder Webcasts und auf alle weiteren Ideen!

Interessierte können unverbindlich Kontakt zum Redaktionsteam aufnehmen:

• Koordination Themenspecial: Anne Thillosen (a.thillosen@iwm-kmrc.de)
• Sekretariat: Christine Renz (c.renz@iwm-kmrc.de), Tel: 07071/979 104

Dass in Prüfungen und Tests schon mal geschummelt wird, ist landläufig bekannt und die Vermutung, dass das Schummeln in Online-Prüfungen besonders leicht sein kann, liegt nahe. Eine Studie der Friends University in Wichita (Kansas) überrascht jedoch durch die Feststellung, dass in virtuellen Klassenräumen deutlich weniger abgeschrieben, gespickt und gemogelt wird als in traditionellen Lernumgebungen. Die verbreiteteste Täuschungsmethode sei sowohl in virtuellen als auch in traditionellen Prüfungen das unerlaubte gegenseitige Helfen durch Abschreiben, wobei dies in traditionellen Prüfungen um ein Sechsfaches häufiger vorkäme. Unerlaubtes Benutzen von Materialien oder Erspähen von Lösungen scheint in virtuellen Szenarien überraschenderweise nur wenig verbreitet zu sein. Die Forschergruppe begründet das unerwartete Ergebnis unter anderem dadurch, dass innovative Lernangebote mit neuen Medien vor allen Dingen smarte und motivierte Lernende ansprechen, die stärker an den Inhalten interessiert sind und daher seltener einen Grund zum Schummeln haben.

Die Relevanz der Studie, in der 225 Teilnehmer zu Täuschungsversuchen befragt wurden, ist nicht unumstritten. Doch stellt sie einen interessanten Ausgangspunkt für weitere Überlegungen und Untersuchungen dar.

Details zur Studie “Point, Click, and Cheat: Frequency and Type of Academic Dishonesty in the Virtual Classroom” sind unter folgendem Link zugänglich: http://www.westga.edu/~distance/ojdla/fall123/stuber123.html

Heute fand in Rorschach/Schweiz das E-Learning Community Treffen der Internationalen Bodensee-Hochschule zum Thema E-Assessment und E-Portfolio statt. Ich fand den Austausch und die Diskussionen sehr anregend und spannend, besonders die Beiträge der Pädagogische Hochschule St Gallen (mehr Informationen gibt es hier).
Mein Vortrag zum Thema “E-Assessment” ist eine Erweiterung meines GMW-Workshop Vortrag und E-Assessment-Beispiele der UZH.

Der GMW-Workshop an der Universität Zürich ist ja beinahe schon 2 Monate vorbei. Es war toll, so viele E-Assessment-Interessierte zu treffen. Hier ist nochmals mein Vortrag zum Thema “Was ist E-Assessment” und “Vom Pilotversuch zum universitären Angebot”. Alle Vorträge und Videoaufzeichnungen können hier eingesehen werden.

Diese Frage stelle ich mir auch immer wieder und muss sogar meine Mitstreiter an der Uni manchmal vor die Tatsache stellen, dass E-Assessment in UK weit hinter den Erwartungen zurückgeblieben ist. Mir persönlich gefällt dass auch nicht, aber es ist eine Tatsache, die man leider akzeptieren muss, dass die Verbreitung nicht so schnell und weitgreifend ist.

Der Artikel in “guardian.co.uk” beschäftigt sich mit E-Assessment im Schulbereich, vor allem für die GSCE or A-Levels (vergleichbar mit Realschulabschluss und Abitur).

Im April 2004 definierte Ken Boston (zur damaligen Zeit Chief Executive of the Qualifications and Curriculum Authority) folgende Ziele für die nächsten 5 Jahre:

• All new qualifications would include an option for on-screen assessment.

• All exam boards would allow students to submit coursework assignments electronically.

• Most GCSE and A-level exams would be available on screen.

• Sats tests should be available on screen to schools that wanted them.

• GCSEs should begin to be offered on an “on-demand” basis – taken at a computer screen whenever the pupil felt ready to do so.

• Ten new exams, specifically designed to be taken at the computer screen rather than simply converted from a paper-and-pen format, should be available.

Leider sind keine der Ziele im Jahr 2009 erreicht wurden.

Andrew Harland, chief executive of the Examination Officers’ Association, erklärt:

“It did highlight some potentially big risks and problems with e-assessment. The test involved taking many computers in a school out of operation at the same time, and it just did not prove deliverable in the end.”

Andrew Boyle (Assessment Research team, Regulations and Standards division, Qualifications and Curriculum Authority (QCA))
betont (schrieb 2007 einen sehr interessantes Beitrag zur CAA Conference):

“that e-assessment presents some serious practical challenges. Having an entire year group sit down and take an exam at the same time, as happens with major conventional GCSEs now, would necessitate having two sets of computers: one for those taking the tests and another for other year groups, which is expensive and often impractical.

Also ist es am Ende wieder kein technisches Problem, sondern ein logistisches, welches die Verbreitung von E-Assessment erschwert. Ich hoffe, dass können wir irgendwann lösen.

Diese Meldung aus dem heise online-Newsticker zeigt mal wieder, dass das Thema E-Assessment auf der Insel wesentlich ausführlicher diskutiert und praktiziert wird:

Aus Großbritannien kommt der Vorschlag, herkömmliche mehrstündige Abschlusstests an weiterführenden Schulen durch Leistungsprüfungen “on demand” am Computer zu ersetzen. Wie der Guardian heute berichtet[1], verspricht sich der Leiter des Cambridge Assessment Group[2], einer zur gleichnamigen Universität gehörenden Abteilung, die sich um die Bewertung von Qualifikationen kümmert, vom “E-Testing” eine Verbesserung der Leistungen von Schülern, eine Vertiefung des Wissens und die Umgehung von Prüfungsängsten.

Seine Vision sei “keine Fantasie nach Art der Science Fiction”, wird Simon Lebus[3] von der Zeitung zitiert. Aber wahrscheinlich werde sich die Art und Weise der Schüler-Prüfungen innerhalb der nächsten 10 bis 15 Jahren so sehr ändern, dass man sie am Ende nicht

wiedererkenne: “Man wird Prüfungen mehr oder weniger on demand abhalten, auf dem Computerbildschirm.”

Entsprechende Programme seien zwar sehr teuer und komplex, aber es sei zu schaffen, meint Lebus. Zunächst sollten den Schüler auch traditionelle Prüfungen zur Verfügung stehen, die Umstellung auf die computerisierte Beurteilung soll Schülern mit Prüfungsangst helfen.

Die Schüler würden solche Tests am Computerschirm erst dann machen, wenn sie “soweit sind”. Ihre Lernfortschritte würden ständig vom Computer beaufsichtigt. Dadurch seien auch angepasste Prüfungen möglich, die sich nach dem Leistungsstand der Schüler ausrichten. Die Fragen werden schwieriger, wenn der Schüler die richtige Antwort findet und umgekehrt. Nach Informationen des Guardian würden Prüfungsgremien, sogenannte examination boards, die miteinander im Wettbewerb stehen und vom Staat genehmigt werden, Millionen in die Entwicklung entsprechender Technologie investieren.

Ein Pilotversuch des OCR[4], einem bekannten britischen Examination Board, das zur Cambridge Assessment Group gehört, läuft bereits seit 2007. In diesem Sommer sollen 1.800 Kandidaten aus 80 Schulen für das Pendant zum deutschen Realschulabschluss (General Certificate of Secondary Education – GCSE) ihre Prüfungen via Computer ablegen.

Auch wenn hierzulande bestimmte auf Computer basierende Lernplattformen im Einsatz seien und manche Fächer Multiple-Choice-Tests zuließen:Laut Auskunft etwa des bayerischen Kultusministeriums steht ein flächendeckender Einsatz von Computertests nicht zur Debatte.

Prüfungen via Computer würden sich nur punktuell, für bestimmte Fächer wie beispielsweise Informatik, eignen. Auch sei der finanzielle Aufwand für solche Systeme sehr hoch.

(tpa[5]/Telepolis)

URL dieses Artikels:

http://www.heise.de/newsticker/meldung/141932

Links in diesem Artikel:

[1] http://www.guardian.co.uk/education/2009/jul/12/written-exams-computerised-testing

[2] http://www.cambridgeassessment.org.uk/ca/

[3] http://www.cambridgeassessment.org.uk/ca/About_Us/Our_People

[4] http://www.cambridgeassessment.org.uk/ca/About_Us/Our_Structure/Exam_Boards/OCR

[5] mailto:tpa@tp.heise.de

Eine spannende Form der geschichtlichen Einbettung für das E-Assessment präsentierte Gabi Reinmann im Rahmen ihres Vortrag “Forschendes Lernen und wissenschaftliches Prüfen: Die potenzielle und faktische Rolle der digitalen Medien” bei der Ringvorlesung „Medien und Bildung“ der Universität Hamburg am 9. Juni 2009.
Ausgangspunkt ihrer Überlegungen, was sich in den letzten 40 Jahren beim Medieneinsatz in der Hochschullehre getan hat, ist eine 1970 veröffentlichte Schrift der Bundesassistentenkonferenz zum forschenden Lernen und wissenschaftlichen Prüfen. Heute, im Jahr 2009, verfügen wir zwar über ein großes Repertoire an digitalen Medien, mit denen Lehr-Lernszenarien und -methoden anders umgesetzt werden können als früher. Dennoch sind viele Ziele, die vor fast 40 Jahren formuliert wurden, noch nicht erreicht worden. Gabi Reinmann diskutiert: “Was hat sich verändert, was ist gleichgeblieben und was haben wir erreicht?”
Besonders spannend dürfte für die meisten von uns der zweite Teil ihres Vortrags zum wissenschaftlichen Prüfen sein.
Zum Vortrags-Podcast und einem entsprechenden Manuskript gelangt man über die Website der Ringvorlesung „Medien und Bildung“.

Die Zeitschrift für E-learning bittet in ihrem neuesten Call for Papers für die 1/2010 Ausgabe um Beiträge zum Schwerpunkt “E-Assessment: neue Beiträge zur Prüfungsqualität?” – Deadline 29/06/2009.

Weitere Informationen sind hier zu finden: http://www.ifeb.uni-bremen.de/wordpress_wolf/?p=173

Ich habe ja schon einmal darüber berichtet (hier), dass am 18./19. Juni an der Universität Zürich ein GMW-Workshop zum Thema “E-Assessment statfindet. Nun steht auch endlich das endgültige Programm.

Weiter Informationen gibt es (hier) und anmelden kann man sich beim E-Learning Center der Universität Zürich.

Dieser Workshop unterscheidet grundlegend um letztjährigen HIS-Workshop und zwar darin:
- aktive Teilnahme und Diskussionen sind Teil des Programms (interaktives Learning Cafe und Postersession)
- keine Werbeveranstaltung für Software-Applikationen sondern die Vorstellung verschiedenen Durchführungsvarianten stehen im Vordergrund
- Teilnehmerzahl ist auf 45 begrenzt ist

Ich freue mich schon auf die spannenden Austausch.

Die eLearning Community Hamburg und e-teaching.org laden herzlich zu einem virtuellen Pattern-Mining Workshop zum Thema E-Prüfungen ein:

Computergestütze Prüfungen kommen an immer mehr Hochschulen zum Einsatz.
Erwartet werden erhebliche Entlastungen bei der Durchführung und Auswertung der Prüfungen. Doch wie komfortabel sind E-Prüfungen für Studierende und Lehrende wirklich? Welche Bedingungen müssen auf organisatorischer und technischer Ebene erfüllt sein, bis die ersten Prüfungen überhaupt erst abgewickelt werden können?
Was sollte bei der Auswahl der Pfüfungssoftware beachtet werden?

Im Rahmen des aktuellen Themenspecials lädt das Portal e-teaching.org alle interessierten Akteure aus dem Hochschulbereich dazu ein, Erfahrungen im Bereich E-Prüfungen auszutauschen und diese in Form eines Patterns zu dokumentieren.
Patterns (dt. Muster) sind ein systematischer Ansatz um Erfahrungswissen zu strukturieren und so aufzubereiten, dass es für Andere von Nutzen ist. Die meisten Patterns beinhalten eine Beschreibung des Kontexts, der Probleme und Einflussfaktoren sowie möglicher Lösungen. In Bezug auf E-Prüfungen sollte ein Pattern die Probleme, Vor-, Nachteile und Stolpersteine der computerbasierten Prüfungen darlegen.

Der Online-Workshop zum Thema “E-Prüfung” findet am Donnerstag, 30.04.09 um 14:00 Uhr statt. Teilnehmer haben die Möglichkeit, aktiv an einem Pattern-Mining und Writing-Prozess zu partizipieren. Als Diskussionsgrundlage dient ein Artikel zu E-Prüfungen auf e-teaching.org, der zu Beginn der Veranstaltung kurz vorgestellt wird.
Die Ergebnisse des Workshops fließen wiederum in den Artikel ein. Am Rande des Workshops soll auch diskutiert werden, inwiefern das Pattern-Format geeignet ist didaktische und technische Aspekte von Lehrszenarien zu dokumentieren.

Die Teilnahme am Online-Workshop ist kostenlos. Es wird allerdings um vorherige Anmeldung bei Christian Kohls (c.kohls@iwm-kmrc.de) gebeten, da die Teilnehmerzahl begrenzt ist.

Weitere Informationen sind unter folgendem Link zu finden: http://www.e-teaching.org/community/communityevents/ringvorlesung

e-Assessment in Practice
11-12 November 2009
A Shrivenham Symposium

Assessment is an integral part of learning. Although content development in e-learning environments has come a long way, e-assessment together with intelligent feedback remains a challenge. Assessment has moved on from simple multiple choice questions to very innovative approaches using symbolic systems, free text processing using techniques from natural language processing, computer assisted validation of human marked scripts, convenient mathematical input with the help of MathML. Many challenges still remain. Diagrammatic reasoning, free hand graphical input, and their assessment still need to find a technological solution. It is still early days to find all the functionality in one single platform. Publishers are increasingly offering books with integrated self-assessment with tools such as MyMathlab.

e-Assessment is an enormous challenge to designers, developers and the users alike. Despite significant improvements in the underlying technologies, there appears to be some reluctance to fully integrate assessment into the curriculum.

e-Learning in general shifts the responsibility to the learner which in turn demands far greater motivation and self-discipline. Organizational and cultural practices quite often sit at odds with the philosophy of e-learning, which in turn impacts on the take- up of e-Assessment. Despite some of these challenges, e-Assessment has been used successfully for many qualifying examinations (MRCS, Driving License Tests, DHS, IELTD, TDA) where there is little need for immediate intelligent feedback.

e-Assessment has come a long way and is here to stay. Many technological challenges still remain. The conference provides ample opportunities to discuss your concerns with leading authorities in the field, and provides an opportunity to shape the future of the e-Assessment.

How can you contribute?

Papers are solicited on any subject relevant to the conference topic. The following areas are suggested, but the list is not exhaustive:

• Technological innovations in e-Assessment

- Assessment of free text

- Symbolic and graphical input

- Diagrammatic reasoning

- Audio assessment

- Free-hand diagrams

• Problem-based/project-based assessment
• Intelligent Feedback
• Formative and Summative assessments
• Pedagogical principles and practices
• Use of computer games and virtual environments
• Cultural and organizational issues of e-Assessment
• End user and organizational perspectives
• Reviews of current technologies.

Who will be there?

The symposium is strongly focussed on current technologies that have been successfully deployed and provides an opportunity to preview the forthcoming developments. The audience not familiar with some of the technologies have an opportunity to sample and discuss the possibilities in hands-on workshops. The highlights of the symposium include

• Invited speakers
• Live Demonstrations
• Refereed papers on topics including

- Review of assessment technologies

- Organizational and cultural impact of e-Assessment

- Problem-based/project-based assessment.

If you wish to submit a paper or a poster, please complete Abstract Submission Form and return it, together with your abstract of up to 300 words, by 17 August 2009. The authors are allocated 25 minutes for the presentation of their paper followed by five minutes for questions.

Format

This symposium, as one of a series of symposia at Shrivenham, builds on the well-proven format which brings together representatives from Defence, Government Agencies, Educational Authorities, Academic Institutions and Publishers in a relaxed atmosphere within the surroundings of the Defence Academy. In this symposium, the presenters will include academic practitioners, educationalists, designers and developers of e-Assessment, educational authorities, councils, military decision makers and educational experts.

Delegates are invited from any organization that is involved in e-Assessment or those actively thinking of exploiting the technology. Ample time is provided to encourage informal discussion during breaks for coffee, lunch and tea. You will have further opportunities to network and discuss issues with your peers.

Proceedings are made available at the end of the symposium free to all delegates.

Timings and Registration

Registration will begin at 0930 hrs on Wednesday, 11 November at the Defence Academy of the United Kingdom, Shrivenham. If you wish to attend the symposium, please complete and return the attached Registration Form, to the address shown before 14 September 2009. In order to keep the intimate atmosphere of the symposium, attendance is limited to 250 participants. Please book early to ensure a place.

Exhibition, Demonstrations and Workshops

The symposium provides a highly targeted audience. Time will be especially allotted to the displays and we offer companies, departments and establishments an opportunity to (exhibit) display or demonstrate their software product, or advertise their capabilities.

If you wish to offer hands-on demonstrations, facilities are available for workshops or demonstrations to small groups.

more information here: http://www.cranfield.ac.uk/cds/symposia/ea09.jsp

Second Special Track on

This special track will take place during ICL 2009 in Villach, Austria (23-25 September 2009) as a special programme item.

The Special Track CAF 2009 provides an interdisciplinary forum for international scientists and practitioners to discuss various aspects of computer-based knowledge & skill assessment in learning settings and based on that feedback provision for students and teachers.

The International Conference on Interactive Computer aided Learning (ICL) is an interdisciplinary conference which aims to focus on the exchange of relevant trends and research results as well as the presentation of practical experiences in interactive computer aided learning.

Background

Our modern life at the beginning of the 21st century is strongly influenced by effects such as rapidly changing and developing information, technology-enhanced communication and information access, and new forms of production and services in a globalized world. This situation requires individuals to adapt their skills and competencies. Consequently, educational objectives and societal expectations have changed significantly in recent years. Modern learning settings must consider learning community aspects as well as learner-centered, knowledge-centered and assessment-centered aspects.

By focusing on the assessment, this concept can be further distinguished in (1) summative assessment, performed at the end of a set of learning activities, and (2) formative assessment, which is intended to give continuous feedback to students and teachers. The latter mentioned formative assessment gives information about the current state of knowledge and/or the degree of knowledge acquisition within learning activities.

Assessment is an important component of modern teaching and learning processes in face-to-face courses as well as in e-learning environments; it provides valuable feedback to teachers and students which allows the revision and adaptation of teaching and learning activities. Furthermore, assessment activities and results can also be utilized for building and strengthening metacognitive skills. However, continuous and frequent assessment in learning processes may cause excessive efforts and costs. Therefore, computer-assisted assessment systems (CaAS) and computer-based assessment systems (CbAS) have become of increasing interest over the years. Assessment systems may support parts or the entire chain of the assessment lifecycle. This lifecycle includes authoring and management of assessment items, compilation of specific tests, performance of assessments, and compilation and management results. Additionally, emerging interest in the sharing and re-use of assessment items or compiled assessment tests and the exchangeability of assessment outcomes has resulted in standardization efforts, such as the IMS Question & Test Interoperability Specification (IMS QTI).

The special track will bring together international researchers as well as practitioners from different organisations who will have plenty of time for networking and real-world knowledge sharing.

CAF is interested in novel scientific research, findings from experiments and results form real-life applications. We invite submissions that deal with issues including, but not limited to:

• Aspects of formative and summative assessment

• History and challenges of e-assessment

• Computer-supported assessment rubric

• Computer-based knowledge & skill assessment for individuals and groups

• Computer-supported peer assessment for individuals and groups

• Computer-supported self-assessment and group assessment

• Computer-based student and teacher feedback about knowledge state and acquisition

• Computer-based assessment in adaptive e-learning

• Web 2.0 and assessment & feedback for individual and group learning

• Automated essay grading

• Natural short answer assessment

• Assessment and feedback in computer-based simulations

• Assessment and feedback in game-based learning settings

• Test & training data and evaluation procedures

• Reuse, Interoperability and Standardization

• Security and Privacy

Important Dates

• 21 June 2009: Submission of the full papers (8 pages)

• 31 July 2009: Notification of acceptance

• 31 Aug. 2009: Camera ready version (8 pages)

• 23.-25. Sept. 2009: ICL 2009 Conference

Submission Procedure

File Types: Word for Windows

Language: English (British or US)

Style Guides & Template:
http://www.icl-conference.org/template.doc

Paper Submission System: Please use the Electronic Submission Page
http://www.conftool.com/icl-conference/

In case of problems or questions concerning the submission of papers, please contact the track chairs at
CAF2009@iicm.edu

Notification of Acceptance and Publishing

Accepted papers will be published within the ICL conference proceedings. At least one author has to register within 2 weeks after the notification of acceptance to be included into the conference programme (15. Aug. 2008). Authors fee is applicable only once per paper!

Some authors will be invited to submit extended versions of their paper for publication in the “European Journal of Open and Distance Learning” (EURODL) or the “International Journal of Emerging Technologies in Learning” (iJET).

CAF 2009 Chair

Christian Gütl, Graz University of Technology, Austria

CAF 2009 Organization team

Alexander Nussbaumer, University of Graz, Austria

Mohammad Smadi, Graz University of Technology, Austria

CAF 2008 Program Committee (preliminary, invited)

• Dietrich Albert, University of Graz, Austria

• Abdallah Al-Zoubi, Princess Sumaya University for Technology, Jordan

• Vanessa Chang, Curtin University of Technology, Australia

• Peter Dolog, Aalborg University, Denmark

• Heinz Dreher, Curtin University of Technology, Australia

• Samir A. El-Seoud, Princess Sumaya University for Technology, Jordan

• Baltasar Fernández-Manjón, Complutense University of Madrid, Spain

• Catherine P. Fulford, University of Hawaii,USA

• Michael Granitzer, Know-Center Graz, Austria

• Ralf Klamma, RWTH Aachen University, Germany

• Narayanan Kulathuramaiyer, University Malaysia Sarawak, Malaysia

• Stephanie Linek, Universität Graz, Austria

• Bhaskar Mehta, Google, Switzerland

• Sven Meyer zu Eissen, Bayer Business Services, Germany

• Jochen Musch, Universität Düsseldorf, Germany

• Peter Reimann, University of Sydney, Australia

• Diane Salter, University of Hong Kong, China

• Sandra Schaffert, Salzburg Research Forschungsgesellschaft, Austria

• Dirk Schneckenberg, ESC Rennes School of Business, France

• Benno Stein, Bauhaus-Universität Weimar, Germany

• Daniela Tuparov, South Western University, Bulgarian

• Sandra HelenWilliams, Open University UK, UK

• SylviaWong, Aston University, UK

Further Information:

• Information about ICL 2009:
http://www.icl-conference.org/

• Travel Information:
http://www.icl-conference.org/accom.htm

• Tourist Informaton:
http://www.villach.at/inhalt/englisch/18271.htm

Thanks to Ralf Klamma, I just copied his version of the call!

Futurelab hat wieder einmal einen Literature Review herausgeben und zum Thema “Assessment and Social Justice“. Die Verbindung erscheint im ersten Moment nicht einleuchtend und doch gibt es beim näheren Betrachten einen Zusammenhang. Der Report ist sehr weit und umfassend und daher lesenswert (zumindest für meine Bahnfahrt zur Arbeit). Im folgenden gehe ich nur auf den Bezug zu E-Assessment ein:

Sehr positiv aufgefallen ist mir im Kapital E-Assessment, das die Definition sehr offen ist,

E-assessment should not be construed as limited to quick multiple choice testing; it has the potential to test learners in both structured and unstructured environments…

Im weiteren werden die Entwicklungen von E-Assessment in zwei Kategorien eingeteilt:
Improvement or efficiencies in test administration

The administrative benefits arising from the use of computer-based approaches include the digital delivery of tests ‘anywhere, anytime’, personalised delivery, direct links to digital learning materials and courses, automated marking and immediate feedback.

Computerised Adaptive Testing

The central design is based on using a bank of items for which the specific levels of difficulty have previously been established. Each time students are presented with a question their answers are assessed as correct or incorrect. This analysis of the ‘right and wrong’ answers then continues to define the choice of subsequent questions as the system ‘adapts’ to the performance level of the student.

Die Verbindung Social Justice and E-Assessment wird so umschrieben:

In comparison to traditional modes of assessment there are additional benefits to be had from e-assessment for students who do not have adequate learning opportunities, are isolated from assessment opportunities through distance or ill-health, have physical access problems, are challenged by cognitive disabilities or have limited proficiency in English.

SUMMARY

… E-assessment is eminently capable of responding to student diversity and individualised needs. It will be a vital element in making assessment in general change its current emphasis from being curriculum-defined and constrained to addressing a much broader range of students’ learning. …

Ich persönlich finde den Vorteil eher in dem, dass E-Assessment einen Anlass gibt die heutige Prüfungskultur zu überdenken. Damit werden neue Möglichkeiten geschaffen vor allem wenn mehrere Prüfungsform gemischt werden. Denn erst der Mix macht es möglich verschiedene Kompetenzen zu prüfen und damit auf die veränderten Bedürfnisse der Berufswelt einzugehen.

Ich habe bereit darauf aufmerksam gemacht, und es mir nun die Veröffentlichung von Michael Kerres, Joachim Rottmann & Jörg Stratmann  genauer angeschaut. Mein Fazit zur Broschüre “Prüfen am PC. Wissenschaftlicher Evaluierungsbericht. PC-Prüfungen im Praxiseinsatz ” (erhältlich für 5 Euro):

“Angesichts der illustren Autoren und der guten Optik der Broschüre überrascht mich die Oberflächlichkeit bei der Recherche und Darstellung des zu evaluierenden Gegenstands. Es ist zwar anzuerkennen, und ich habe auch diese Erfahrung gemacht, dass auch ein aufwändiges Anschreiben und Kontaktieren von Einrichtungen der „zuständigen Stellen“ in der Berufsbildung kaum neue Einsichten zum Einsatz von computergestützten Prüfungen ergibt. Allerdings hätte es nur eine kurze Recherche in einer einschlägigen Fachdatenbank gebraucht, um weitere, durchaus vorhandene computergestützte Prüfungen zu entdecken, die in der beruflichen Bildung in Europa zum Einsatz kommen. Schade auch, dass dieser Evaluationsbericht für mich als interessierte Leserin keinen genauen Einblick in das erlaubt, was da eigentlich evaluiert wurde: Es fehlen Beispielaufgaben, Screenshots und Beschreibungen der Prüfungen.

Wenn die Broschüre dazu beiträgt, dass nach „Einschätzung der Zentralstalle (sic!) für die Weiterbildung im Handwerk und der DIHK-Bildungs-GmbH (…) die Resultate der Erhebung ein klares „Ja“ zu computergestützten Prüfungen“ bedeuten (S. 1), freut mich das. Allerdings kann ich mir (weiterhin) kein klares Bild über die im Projekt entwickelten bzw. evaluierten Prüfungen machen. Schade.”

mehr hier:

Schaffert, Sandra (2009). Kerres, Rottmann & Stratmann: Prüfen am PC. In:  elearning-reviews. [to the text]

Über den Newsletter von elearningeuropa.info hatte ich es bereits “registriert”, und dann war Martien Lammers so nett, mich auch noch einmal darauf aufmerksam zu machen (danke!):

Es gibt nun ein umfangreiches Dokument (kostenlos, im Web)  mit dem Titel “The Transition to Computer-Based Assessment. New Approaches to Skills Assessment and Implications for Large-scale Testing”, das von Friedrich Scheuermann & Julius Björnsson im Namen des Instituts “Joint Research Centre Institute for the Protection and Security of the Citizen” von Friedrich Scheuermann & Julius Björnsson herausgegeben wird.

Online hier erhältlich http://crell.jrc.it/RP/reporttransition.pdf

Genauer muss ich es erst noch anschauen – oder halt eine von uns dreien  – oder von unseren LeserInnen?

Die bestehende CAA (Computer Assisted Learning) -Conference findet dieses Jahr unter neuem Namen statt:
E-Assessment Live 2009

E-Assessment Live 2009 is a new one day event for teachers, trainers, researchers, learning technologists and administrators. Hosted by Loughborough University, it will be of particular interest to colleagues from the HE sector, but other sectors of education and training will also find it relevant.

Dynamic and practical
The new event has moved across the Loughborough University campus to a new location which includes 2 large PC labs, enabling us to include hands-on workshops as well as presentations in the parallel sessions.

This reflects a refocusing on practical issues surrounding the design and delivery of e-assessments, from integration with VLEs to scalability challenges.

The detailed programme will be published on this site by the end of May. Prospective presenters should complete and return a proposal form available here.

Das bisherige Programm sieht wie folgt aus:

* Keynote: Dr Denise Whitelock (Institute of Educational Technology, Open University)
* Dr Simon Ball (JISC Techdis)
* Prof Don Mackenzie (Innovation 4 Learning, University of Derby)
* Steve Lay (QuestionMark) and Tim Ellis (Lancaster University)
* Nicola Wilkinson (EngCETL, Loughborough University)
* Gerard Thomas (Assessment 21)
* Cornelia Ruedel (E-learning Center, University of Zurich)

Mein Thema wird sein verschiedene Wege der Durchführung aufzuzeigen. Ich bin mal gespannt auf den Event.

Das Projekt „ FEASST“ liefert ausser seinem umfangreichen Report auch noch zusätzliche-Materialien (ganz im Sinne von Web 2.0)

- Projekt Wiki
- Projekt Blog
- Datenbank mit allen bibliographischen Referenzen on Bibsonomy
- und auch ein ausführlicher Literaturreview

„E-Klausuren an Hochschulen“ ist eine neue Publikation von Michael Vogt und Stefan Schneider von der Koordinationsstelle Multimedia an der Justus –Liebig-Universität Gießen. Während der Erstellung der Dokumentation wurde das E-Klausur Wiki aufgeschaltet um aktuelle Informationen zu liefern (weitere Infos).

Ich bin durch Jan Ehlers Blogbeitrag auf diese Publikation aufmerksam gemacht wurden und hier sind meine Notizen:

- sehr lesenswerte Zusammenfassung und Darstellung der Möglichkeiten und Lösungen
- gute Abgrenzung von E-Klausur, Online Klausuren und E-Assessment, (wobei die verschiedenen Bezeichnungen doch sehr verwirrend und eher hinderlich sind)

Didaktik:
- Beschäftigt sich leider nur den Themen
– Arten von abprüfbaren Wissen (Deklaratives und prozeduales Wissen) und Lernziele
– Aufgabentypen mit offenen und geschlossenen Fragen

Ich finde die Definition von offenen und geschlossenen Aufgabe zu starr. Was mir fehlt sind halboffene Fragetypen, wie z.B. Kurztextantworten bei denen die Studierenden frei ihre Fragen eingeben, die Autwort wird dann automatisch korrigiert (Meiner Meinung nach ist die Kurzantwort nicht richtig angesiedelt bei den offenen Fragen).
Auch sehe ich immer wieder wie wichtig praktische Aufgaben im Prüfungsalltag sind, denn so können richtige Anwendungen simuliert werden. Praktische Aufgaben sind Aufgaben, die z.B. nur mit Hilfe einer Software gelöst werden können. Die Ergebnisse können teilweise wieder in eine MC-Frage eingespeist werden (z.B. als Numerische Antwort) oder es können auch Programmieraufgaben in einer Softwareumgebung sein.
- Was fehlt sind konkrete didaktische Szenarien anhand von Beispiele um die möglichen Varianten vorzustellen?

Technik:
- Sehr gut und interessant geschrieben mit vielen Anregungen und Erklärungen
- Inhalt: Komponenten eines E-Klausur Systems, Schnittstellen, Server und Clients, Räumlichkeiten, Auswertung und Veröffentlichung, Archivierung und Klausureinsicht

Systemlösungen
- Inhalt: Open Source Lösungen, Kommerzielle Anbieter
- Etwas einseitig, da es noch weitere Möglichkeiten/ Lösungen gibt
- Wenn schon Lerrnplattformen als E-Assessment-Umgebung genannt werden, finde ich es schade dass nicht auch noch weitere erwähnt werden (z.B. Moodle und Blackboard)

Recht
- Inhalt: Anmeldung zu Prüfung, Zuordnung von Prüfungen, Absicherung des Prüfungsverfahrens, Fairness, Prävention
- Sehr viele Aspekte sind enthalten mit Lösungsvorschlägen
- … aber schlussendlich muss jede Universität / Rechtsdienst die Lösung der Uni „absegnen“
- Puncto Fairness: Aus meiner Erfahrung mit Studierenden empfinden viele geschlossene Aufgaben als fairer, da dort die Korrektur nachvollzogen werden kann. Auch die Annahme dass die Studierenden Angst vor E-Assessment haben und dass mehr die Computer-Kenntnisse geprüft werden kann ich aus meinen Umfrageergebnissen an der Universität Derby und Zürich nicht mehr sehen (vor 5 Jahren waren diese Bedenken schon da). Es gibt Untersuchungen an der University of Southampton auch kein „Gender-Bias“ gefunden, also keine Bevorteilung eines Geschlechs durch E-Assessment.

Praxis
- Sehr Ilias-„lastig“
- Ausser Bremen wird keine andere Universität erwähnt, die nicht Ilias benutzt
- Vielleicht auch noch ein Grund mehr aktiver bei E-Klausur Wiki mitzuarbeiten

In Kooperation mit der Gesellschaft für Medien in der Wissenschaft (GMW) lädt das E-Learning Center der Universität Zürich zu einem Workshop zum Thema «E-Assessment» ein:

Donnerstag, 18. Juni 2009, ab 12.30 Uhr
Freitag, 19. Juni 2009, bis 13.00 Uhr
Universität Zürich, E-Learning Center, Hirschengraben 84, Zürich

Die heutige Informations- und Kommunikationstechnologie bietet vielfältige neue Möglichkeiten für die Durchführung formativer und summativer Prüfungen. In diesem Workshop werden verschiedene Formen von E-Assessment aufgezeigt und Arten der Umsetzung diskutiert. Neben den einführenden Keynotes wird dem Gedankenaustausch im Rahmen eines «Learning Cafés» und einer Postersession viel Raum zugemessen. Ein gemütliches Abendprogramm in Zürich «downtown Switzerland» wird den Workshop abrunden.

Das detaillierte Programm des Workshops folgt demnächst an dieser Stelle.

Kosten (inkl. Tagungsverpflegung und Abendessen):
450 CHF: Mitglieder der GMW
590 CHF: Nichtmitglieder

Die Platzzahl im Workshop ist beschränkt. Die Anmeldungen werden in der Reihenfolge ihres Eingangs berücksichtigt.

Zum Anmeldeformular

mehr Informationen

Dass E-Assessment derzeit ein wichtiges Thema in der Bildungsforschung ist, wird durch die Fülle aktueller Call for Papers mit diesem Schwerpunkt zweifelsfrei bestätigt. Auch die Zeitschrift MedienPädagogik widmet den Themen E-Assessment und E-Portfolio Aufmerksamkeit:

«Neue Medien und individuelle Leistungsdarstellung – Möglichkeiten und Grenzen von ePortfolios und eAssessments»
Online-Zeitschrift MedienPädagogik www.medienpaed.com Heft 18 (2009)

Näheres zum CfP findet man unter http://www.medienpaed.com/18/CfP_Heft18.pdf

Deadline zur Einreichung von Beitragsskizzen (max. 1. Seite) ist allerdings bereits der 31.03.2009!

An adäquaten Publikationsmöglichkeiten dürfte es derzeit wohl nicht mangeln…