lernerfolg und lernmotivation fördern mit e-assessment
DESCRIPTION
Präsentation anlässlich des 7. E-Learning Tages "Assessment drives learning" an der TU Wien am 8. April 2011.Info und Dokumentation unter http://teachingsupport.tuwien.ac.at/Artikel/ELT_2011TRANSCRIPT
cc Karsten D. Wolf
Lernerfolg und Lernmotivation fördern mit E-Assessment?
Karsten D. WolfFachbereich 12Didaktische Gestaltung multimedialer LernumgebungenUniversität Bremen
Assessment drives learning • ELT TU Wien 8.04.2011
Mittwoch, 20. April 2011
cc Karsten D. Wolf
Agenda
Washback Effekt von EAssessment +wie kann man Studierende durch gute EAssessments zum Lernen motivieren?
Kompetenzmodelle und ihre Umsetzung per EAssessment
Fehler bei EAssessments vermeiden
Good Practice bei EAssessment Items Erstellung
Akzeptanz von EAssessments
Implementation an der Uni Bremen - Kosten und Benefits
Mittwoch, 20. April 2011
cc Karsten D. Wolf
Washback Effekt:Prüfungen bestimmen das Lernverhalten!
Mittwoch, 20. April 2011
cc Karsten D. Wolf
Washback Effekt:
Schwierigkeit einer Klausur über Menge an Wissenzu regulieren führt zu flachem Bulemie Lernen… Ebbinghaus
Reine Wissenstests können die eigene Lehrver-anstaltung unterminieren
…positive Washback Effekte sind ebenfalls möglich
Verständnisorientiertes Lernen belohnen
Mittwoch, 20. April 2011
cc by Karsten D. Wolf
Ausgangsfrage: Ist es möglich, auch höhere Taxonomiestufenmit geschlossenen Aufgabenformaten zu testen?
Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy
Erinnern
Verstehen
Anwenden
Analysieren
Evaluieren
Erzeugen
Mittwoch, 20. April 2011
cc Karsten D. Wolf
1. Erinnern
• Wiedererkennen / Identifizieren
• Abrufen / Wiederfinden
Mittwoch, 20. April 2011
cc by Karsten D. Wolf
Überarbeitete Bloom‘sche Taxonomie der Lernziele
Anderson, L. W., & Krathwohl, D. R. (Eds.). (2001). A taxonomy for learning, teaching and assessing:
A revision of Bloom's Taxonomy of educational objectives: Abridged edition, New York : Longman.
Mittwoch, 20. April 2011
cc Karsten D. Wolf
2. Verstehen
• Interpretieren / Klären / Darstellen• Exemplifizieren / Beispiele geben• Klassifizieren / Kategorisieren• Zusammenfassen / Generalisieren• Ableiten / Folgern / Prognostizieren• Vergleichen / Zuordnen / Kontrastieren• Erklären / Modelle konstruieren
Mittwoch, 20. April 2011
cc by Karsten D. Wolf
Problem: Aufgabenschwierigkeiten über Wissensmenge regulieren
Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy
Erinnern
Verstehen
Anwenden
Mittwoch, 20. April 2011
cc by Karsten D. Wolf
Problem: Aufgabenschwierigkeiten über Wissensmenge regulieren
Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy
Erinnern
Verstehen
Anwendenselten gebrauchtes Wissen
Mittwoch, 20. April 2011
cc by Karsten D. Wolf
Problem: Aufgabenschwierigkeiten über Wissensmenge regulieren
Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy
Erinnern
Verstehen
Anwendenselten gebrauchtes Wissen
äußerst selten gebrauchtes Wissen
Mittwoch, 20. April 2011
cc by Karsten D. Wolf
Problem: Aufgabenschwierigkeiten über Wissensmenge regulieren
Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy
Erinnern
Verstehen
Anwendenselten gebrauchtes Wissen
äußerst selten gebrauchtes Wissen
äußerst selten gebrauchtes, irrelevantes Wissen
Mittwoch, 20. April 2011
cc by Karsten D. Wolf
Problem: Aufgabenschwierigkeiten über Wissensmenge regulieren
Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy
Erinnern
Verstehen
Anwendenselten gebrauchtes Wissen
äußerst selten gebrauchtes Wissen
äußerst selten gebrauchtes, irrelevantes Wissen
obskures Wissen
Mittwoch, 20. April 2011
cc by Karsten D. Wolf
Konkret: Geschlossen auf hohen Taxonomiestufen prüfen?
Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy
Erinnern
Verstehen
Anwenden
Analysieren
Evaluieren
Erzeugen
Mittwoch, 20. April 2011
cc Karsten D. Wolf
3. Anwenden
• Ausführen / Durchführen
• Anwendung / Gebrauch
Mittwoch, 20. April 2011
cc Karsten D. Wolf
4. Analysieren
• Differenzieren / Unterscheiden
• Organisieren / Strukturieren
• Zuordnen / Zerlegen
Mittwoch, 20. April 2011
© Karsten D. Wolf
Mittwoch, 20. April 2011
© Karsten D. Wolf
Mittwoch, 20. April 2011
cc Karsten D. Wolf
5. Evaluieren
• Überprüfen / Kontrollieren
• Kritisieren / Urteilen
Mittwoch, 20. April 2011
© Karsten D. Wolf
Mittwoch, 20. April 2011
© Karsten D. Wolf
Mittwoch, 20. April 2011
cc Karsten D. Wolf
6. Erzeugen
• Generieren / Hypothesen bilden
• Planen / Entwerfen
• Produzieren / Konstruieren
Mittwoch, 20. April 2011
© Karsten D. Wolf
Mittwoch, 20. April 2011
© Karsten D. Wolf
Mittwoch, 20. April 2011
cc Karsten D. Wolf
Dimensionen des Wissens
• Faktenwissen
• Konzeptuelles Wissen
• Prozedurales Wissen
• Meta-Kognitives Wissen
Mittwoch, 20. April 2011
cc by Karsten D. Wolf
Konkret: Geschlossen auf hohen Taxonomiestufen prüfen?
• Analyse der realen Tätigkeitsfelder in Wissenschaft und Praxis
• authentische Materialsammlung• Einsatz von Softwareumgebungen (z.B. R, Mathcad)
• ggf. teilautomatisierte Auswertung von Kurztexten
Erinnern
Mittwoch, 20. April 2011
© Karsten D. Wolf
3. Semester Bachelor
Produktionstechnik + WiIng
2 SWS (keine Übung) 2CP
Modul mit Fertigungstechnik und Arbeits- und Betriebswissenschaft
WS 2010/2011: 350 Studierende
Mittwoch, 20. April 2011
© Karsten D. Wolf
Konzeptwissen A (Organisatorisch) reproduzieren
Hofmeister 2005: Klassifikationsmatrix zumUlme* Kompetenzstufenmodell
* Untersuchung der Leistungen, Motivation, Einstellungen
Mittwoch, 20. April 2011
© Karsten D. Wolf
Konzeptwissen A (Organisatorisch) reproduzieren
Hofmeister 2005: Klassifikationsmatrix zumUlme* Kompetenzstufenmodell
* Untersuchung der Leistungen, Motivation, Einstellungen
Mittwoch, 20. April 2011
© Karsten D. Wolf
Konzeptwissen A (Organisatorisch) reproduzieren
Hofmeister 2005: Klassifikationsmatrix zumUlme* Kompetenzstufenmodell
* Untersuchung der Leistungen, Motivation, Einstellungen
Mittwoch, 20. April 2011
© Karsten D. Wolf
Konzeptwissen A (Organisatorisch) reproduzieren
Hofmeister 2005: Klassifikationsmatrix zumUlme* Kompetenzstufenmodell
* Untersuchung der Leistungen, Motivation, Einstellungen
Mittwoch, 20. April 2011
© Karsten D. Wolf
Prof. Dr. Lutz Mädler | Uni Bremen
Konzeptwissen A (Organisatorisch) reproduzieren
Mittwoch, 20. April 2011
© Karsten D. Wolf
Konzeptwissen A (Organisatorisch) anwenden/verstehen
Hofmeister 2005: Klassifikationsmatrix zumUlme Kompetenzstufenmodell
Mittwoch, 20. April 2011
© Karsten D. Wolf
Prof. Dr. Lutz Mädler | Uni Bremen
Mittwoch, 20. April 2011
© Karsten D. Wolf
Konzeptwissen B (Verallgemeinern) anwenden/verstehen
Prof. Dr. Lutz Mädler | Uni BremenMittwoch, 20. April 2011
© Karsten D. Wolf
Prozedurwissen (Techniken und Methoden) anwenden und verstehen
Prof. Dr. Lutz Mädler | Uni Bremen
Mittwoch, 20. April 2011
© Karsten D. Wolf
Fazit Prof. Dr. Lutz Mädler
✓ Abstimmen der Lernziele mit den Prüfungsfragen
✓ Frage nach dem „wie“ und nicht dem „was“
✓ nicht „was ist korrekt?“ sondern „warum ist dieAntwort richtig?“
✓ Abbildungen nicht aus den Vorlesungen
Mittwoch, 20. April 2011
© Karsten D. Wolf
Vorteile E-Assessment (Prof. Dr. Lutz Mädler)
Mittwoch, 20. April 2011
© Karsten D. Wolf
Nachteile E-Assessment (Prof. Dr. Lutz Mädler)
Mittwoch, 20. April 2011
cc Karsten D. Wolf
Motivierend prüfen:Verständnisorientiertes Lernen belohnen• Höhere Taxonomiestufen• Authentische Aufgaben• Confidence Based Marking
Mittwoch, 20. April 2011
cc Karsten D. Wolf
Fehler vermeiden:nicht die Test Wiseness messen!
Mittwoch, 20. April 2011
© Karsten D. Wolf
Test Wiseness Test
The answer of this one refers to an
(a) overture(b) mountain(c) building(d) misnomer
http://www.kvhigh.com/learning/testtips.html
Mittwoch, 20. April 2011
© Karsten D. Wolf
Test Wiseness Test: Grammatikalische Hinweise
The answer of this one refers to an
(a) an overture(b) a mountain(c) a building(d) a misnomer
http://www.kvhigh.com/learning/testtips.html
Mittwoch, 20. April 2011
© Karsten D. Wolf
Test Wiseness Test
In which pifflerock did zorkrans inkle?
(a) gi hien(b) gis inkle(c) gish frankel(d) gishen fronk
http://www.kvhigh.com/learning/testtips.html
Mittwoch, 20. April 2011
© Karsten D. Wolf
Test Wiseness Test: Wiederholung aus Wortstamm
In which pifflerock did zorkrans inkle?
(a) gi hien(b) gis inkle(c) gish frankel(d) gishen fronk
http://www.kvhigh.com/learning/testtips.html
Mittwoch, 20. April 2011
© Karsten D. Wolf
Test Wiseness Test
If there where a question here, which could be the correct answer?
(a) besiegt(b) siegreich(c) niedergeschlagen(d) unterworfen
http://www.kvhigh.com/learning/testtips.html
Mittwoch, 20. April 2011
© Karsten D. Wolf
Test Wiseness Test: sinngleiche Antworten falsch
Wenn hier eine Frage stände,was wäre die richtige Antwort?
(a) besiegt(b) siegreich(c) niedergeschlagen(d) unterworfen
http://www.kvhigh.com/learning/testtips.html
Mittwoch, 20. April 2011
© Karsten D. Wolf
Test Wiseness Test
Hixek norfolken piffle?
(a) Hiku nippon ibitus(b) Efil Yadlan Ruoj(c) Yokon Gnithol(d) Ikkek zippo unkerzotz notiaplan hippolslumg enslife yolent
http://www.kvhigh.com/learning/testtips.html
Mittwoch, 20. April 2011
© Karsten D. Wolf
Test Wiseness Test: Längste Alternative
Hixek norfolken piffle?
(a) Hiku nippon ibitus(b) Efil Yadlan Ruoj(c) Yokon Gnithol(d) Ikkek zippo unkerzotz notiaplan hippolslumg enslife yolent
http://www.kvhigh.com/learning/testtips.html
Mittwoch, 20. April 2011
© Karsten D. Wolf
Test Wiseness Test
Dome ukerland dimmel?
(a) Nepal(b) Canada(c) Britain(d) United States
http://www.kvhigh.com/learning/testtips.html
Mittwoch, 20. April 2011
© Karsten D. Wolf
Test Wiseness Test: Odd one out
Dome ukerland dimmel?
(a) Nepal(b) Canada(c) Britain(d) United States
http://www.kvhigh.com/learning/testtips.html
Mittwoch, 20. April 2011
© Karsten D. Wolf
Test Wiseness Test
Die richtige Antwort ist?
(a) Parrallele(b) Absisse(c) Koordinate(d) Tangennte
http://www.kvhigh.com/learning/testtips.html
Mittwoch, 20. April 2011
© Karsten D. Wolf
Test Wiseness Test: Rechtschreibung
Die richtige Antwort ist?
(a) Parrallele(b) Absisse(c) Koordinate(d) Tangennte
http://www.kvhigh.com/learning/testtips.html
Mittwoch, 20. April 2011
© Karsten D. Wolf
Test Wiseness Test
Zarfarkle, en Ko day?
(a) Henkledorf(b) Ricktoffen(c) Ifetain(d) Krator
http://www.kvhigh.com/learning/testtips.html
Mittwoch, 20. April 2011
© Karsten D. Wolf
Test Wiseness Test: Alternative 3
Zarfarkle, en Ko day?
(a) Henkledorf(b) Ricktoffen(3) Ifetain(d) Krator
http://www.kvhigh.com/learning/testtips.html
Mittwoch, 20. April 2011
© Karsten D. Wolf
Test WisenessCheat Sheet• Kategorische Formulierungen (immer, nie,
…) -> Falsch
• Phrase-Repeat -> Richtig
• Absurde / unlogische Antwort -> Falsch
• Präzision / Spezifizierung -> Richtig
• Länge einer Antwort -> länger = Richtig
• Grammatik -> Fehler = Falsch
• Hinweis -> Hinweis auf die richtige Antwort in der Fragestellung
• Reihenfolge der Antworten -> keine Muster
• Krumme Finger raus -> bei vielen ähnlichen Antworten ist die vollkommen andere Lösung die richtige
• Rechtschreibung / Grammatik -> Fehler häufiger in den Distraktoren
• …
❖ Übersaturierte Multiple Choice Auswahl
❖ „Gute“ Distraktoren
❖ Distraktoren aus Fehlern in offenen Durchläufen
❖ Confidence Based Marking
Gegenmaßnahmen
Mittwoch, 20. April 2011
© Karsten D. Wolf
Gegenmaßnahmen
• Schulung der Autoren / Autorinnen
• Bessere Distraktoren
• Höhere Taxonomiestufen
• Confidence-Based Marking (Gardner-Medwin 2006)
• Übersaturierte Antwortauswahl per Drop-Down
• Automatisierte oder halb-automatisierte Auswertung von offenen Frageformaten
Mittwoch, 20. April 2011
Prof. Dr. Kathleen Scalise (University Oregon)http://pages.uoregon.edu/kscalise/taxonomy/taxonomy.html
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
cc Karsten D. Wolf
Motivierend prüfen:Authentisch und abwechslungsreich prüfen
Mittwoch, 20. April 2011
cc by Karsten D. Wolf
http://mitworld.mit.edu/video/419/
John Seely BrownXerox Parc
Cognitive Apprenticeship
learning about ➙ learning to be
Mittwoch, 20. April 2011
cc Karsten D. Wolf
Motivierend mit MC prüfen
1. Offenheit des Antwortformats: geschlossen bis moderat geöffnet
2.Auswertungsalgorithmus: automatisch
3. Authentizität
4.Medienanreicherung
5. Interaktivität [aufwendig/teuer]
Gestaltungsdimensionen von Rich E-Assessment:Wolf/Koppel/Schwedes 2011
Mittwoch, 20. April 2011
Simulation
Mittwoch, 20. April 2011
Simulation
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Simulation
Mittwoch, 20. April 2011
Authentic Assessment
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
© Karsten D. Wolf
Collegiate Learning Assessment(Klein / Benjamin / Shavelson / Bolus 2007)
http://www.cae.org/content/pro_collegiate.htm
Mittwoch, 20. April 2011
1 2 3
4 5 6
7 8 9
Mittwoch, 20. April 2011
cc by Karsten D. Wolf
http://www.ifeb.uni-bremen.de/thetawelle/http://www.elearning2null.de/
Mittwoch, 20. April 2011
cc by Karsten D. Wolf
Mittwoch, 20. April 2011
© Karsten D. Wolf
Weitere Beispiele
• Analyse / Debuggen von Sourcecode
• Bewertung von Schülerlösungen
• Analyse von Unternehmenskennzahlen
• Bewertung von Unterrichtsentwürfen
• Schreiben eines Analyseskriptes zur Auswertung von Daten
• Interpretation von Laborwerten
• Komplexe Fallstudien mit linearer Fragenabfolge
• …
Mittwoch, 20. April 2011
© Karsten D. Wolf
Schätzung für Universität Bremen
• 12 Fachbereiche mit ca. 20.000 Studenten
• Mindestens 70K - 115K Prüfungen / Semester
• Tendenz steigend durch Umstieg auf BA/MA
• MA & Prom: anspruchsvollere Prüfungen (Projekte, Präsentationen, Thesis)
• BA: mehr Prüfungen (größere Kohorten, veranstaltungsbegleitend, Zeitdruck)
• Eigene Auswahlverfahren für Studienanfänger
• Reduktion von 280 auf 230 Professor(inn)en
• ca. 500 Prüfungsleistungen pro Semester pro Professor
Mittwoch, 20. April 2011
Quelle: Bücking 2008 (ZMML Uni Bremen)Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Aktuell mögliche Itemformate
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Statistiken Testcenter Universität Bremen
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Statistiken Testcenter Universität Bremen
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Statistiken Testcenter Universität Bremen
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Mittwoch, 20. April 2011
Quelle: Schwedes 2008 (ZMML Uni Bremen)Mittwoch, 20. April 2011
© Karsten D. Wolf
Zusammenfassung: Wann ist das sinnvoll?
• Mehr als 300 Kandidaten pro Prüfung
• Mehr als 50 Rechner pro Raum
• Lange Korrekturzeiten pro Frage (> 30 Sekunden / Frage)
• Kurze Klausuren (bis 2 Stunden) mit vielen Fragen
• Alternative offene Formate: Lesbarkeit + Vorkorrekturen
• Alternative authentische Aufgaben: PC bietet authentische Arbeitsumgebung
• Alternativen: Kooperation von Autorinnen und Autoren
• Alternativen: (Vor-)Erstellung von Items durch Studierende
Mittwoch, 20. April 2011
cc Karsten D. Wolf
E-Assessment - Was nun?
Schritt 0: Prüfer/innen unterstützen
Schritt 1: Fehler vermeiden
Schritt 2: Anspruchsvoll prüfen
Schritt 3: Motivierend prüfen
Schritt 4: Verstetigen
Mittwoch, 20. April 2011
FB 12 Erziehungs- und BildungswissenschaftenDidaktische Gestaltung
multimedialer Lernumgebungen
http://www.ifeb.uni-bremen.de/wolf
http://www.fb12.uni-bremen.de/de/Medienpaedagogik.html
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Mittwoch, 20. April 2011