Konzeption und Evaluation beispielbasierter Lernumgebungen1
Konzeption und Evaluation beispielbasierter Lernumgebungen im
Bereich empirischer Forschungsmethoden: empirische
Studien
Robin Stark
Vortrag im Medienlabor TU-Dresden
17.12.2001
Konzeption und Evaluation beispielbasierter Lernumgebungen2
Anwendungsbezogener Rahmen
Allgemein: Probleme der Wissensanwendung und des Transfers in verschiedenen Domänen
Spezifisch: Wissensanwendung im Bereich empirischer Forschungsmethoden in den Sozialwissenschaften
Wissenslücken, gravierende Verständnisprobleme, Fehlkonzepte, "Wissenskompartmentalisierungen"
Konzeption und Evaluation beispielbasierter Lernumgebungen3
Ursachenanalyse
Ungünstige kognitive, motivationale und emotionale Lernvoraussetzungen und Einstellungen
Problematisches Lernverhalten
Sehr ungünstige instruktionale Rahmenbedingungen
Reform der Methodenausbildung
Konzeption und Evaluation beispielbasierter Lernumgebungen4
Reform der Methodenausbildung
“Entmathematisierung“ der Methodenvorlesung, konsequente Problemorientierung
Konzeption und Implementation der virtuellen Lernumgebung NetBite, in der Prinzipien beispielbasierten Lernens systematisch umgesetzt werden
Instruktionales Ziel: Förderung des Erwerbs
anwendbaren Wissens
Konzeption und Evaluation beispielbasierter Lernumgebungen5
Methodologie
Anwendung eines integrativen Forschungsparadigmas
Ziele, Ausgangspunkt, Grundprinzip und weitere Prinzipien
• Ziele auf einer instruktionalen und einer methodologischen Ebene: Wissensgenerierung und Problemlösung in der Praxis Reduktion der Kluft zwischen Theorie und Praxis
• Ausgangspunkt: relevante Probleme der (außerwissenschaftlichen) Praxis ( starke Orientierung an "echten" Domänen)
• Grundprinzip: explizit anwendungsbezogene Generierung wissenschaftlichen Wissens
• Weitere Prinzipien: sukzessive Optimierung, Replikation und
Evaluation in der Praxis
Konzeption und Evaluation beispielbasierter Lernumgebungen6
Methodologie
Implikationen auf methodologischer, theoretischer, methodischer und praktisch-organisatorischer Ebene
• Systematische Kombination von experimenteller Laborforschung mit expliziter Praxisorientierung und Feldforschung ( problemorientierte Balance zwischen interner und externen Validität)
• Problemorientierte Theorienauswahl, -anwendung und – konstruktion ( Theorienpluralismus)
• Problemorientierte Kombination von quantitativen und qualitativen Methoden ( liberalisiertes Methodenverständnis)
• Kooperation von Experten aus Wissenschaft und Praxis ( Interdisziplinarität)
Konzeption und Evaluation beispielbasierter Lernumgebungen7
Theorie
Kognitive Ansätze
Lernen mit Lösungsbeispielen (Chi; Reimann; Renkl; Sweller; Van Merrienboër)
Analoges Problemlösen, Schematheorie (Gick;
Holyoak; Bassok) Cognitive Load-Theorie (Gruber; Renkl; Sweller; Van
Merrienboër; Paas)
Konzeption und Evaluation beispielbasierter Lernumgebungen8
Theorie
Ansätze zum situierten bzw. problemorientierten Lernen
Anocherd Instruction (Bransford)
Cognitive Apprenticeship (Collins)
Random Access Instruction (Spiro)
Problemorientiertes Lernen (Mandl)
Konzeption und Evaluation beispielbasierter Lernumgebungen9
Theorie
Ansätze zu Motivation, Emotion und Einstellungen Intrinsische und extrinsische Motivation (Deci & Ryan) Interessetheorie (Krapp, U. Schiefele) Selbstwirksamkeit (Bandura) Selbstkonzept (Shavelson) Ängstlichkeit (Pekrun) Ungewissheitstoleranz (Dalbert) Einstellungen gegenüber Statistik/empirische
Forschungsmethoden (Gruber; Stark)
Konzeption und Evaluation beispielbasierter Lernumgebungen10
Empirie
Experimentelle Studien und Feldstudien zum Lernen mit ausgearbeiteten Lösungsbeispielen im Bereich der Ökonomie (Zinrechnung, Buchführung)
Experimentelle Studien zum Lernen mit (unvollständigen) Lösungsbeispielen im Bereich der Wahrscheinlichkeitsrechnung
Konzeption und Evaluation beispielbasierter Lernumgebungen11
Empirie
Befunde zum Einfluss:
multipler Lösungsbeispiele.... einer Anleitung zur Beispielelaboration.... einer systematischen Kombination von Problemlöseaufgaben
und Lösungsbeispielen.... unvollständiger Lösungsbeispiele.... multipler Perspektiven.... instruktionaler Erklärungen....
auf Qualität der Beispielelaboration und Lernerfolg auf motivationale Aspekte
Konzeption und Evaluation beispielbasierter Lernumgebungen12
Empirie
Befunde zum Zusammenhang zwischen: kognitiven, motivationalen und emotionalen
Eingangsvoraussetzungen....
und Qualität der Beispielelaboration und Lernerfolg
Befunde zu Bedingungen und Effekten von kognitiver Belastung
Konzeption und Evaluation beispielbasierter Lernumgebungen13
Konzeption der netzbasierten Lernumgebung NetBite
Grundprinzip: problemorientiertes Lernen mit ausgearbeiteten Lösungsbeispielen
Authentisches Ausgangsproblem
Konzeption und Evaluation beispielbasierter Lernumgebungen14
Konzeption und Evaluation beispielbasierter Lernumgebungen15
Konzeption der netzbasierten Lernumgebung NetBite
Systematische, detaillierte Veranschaulichung des Prozesses empirischer Forschung
Problemorientierte Darstellung der Vorlesungsinhalte
Integration von abrufbaren Erklärungen (definitorische und vertiefende Erklärungen)
Konzeption und Evaluation beispielbasierter Lernumgebungen16
Konzeption und Evaluation beispielbasierter Lernumgebungen17
Konzeption der netzbasierten Lernumgebung NetBite
Unvollständige Lösungsschritte (Lücken), die von den Lernenden schriftlich ergänzt werden müssen
Unmittelbares Feedback in Form von Musterlösungen
Konzeption und Evaluation beispielbasierter Lernumgebungen18
Konzeption und Evaluation beispielbasierter Lernumgebungen19
Konzeption und Evaluation beispielbasierter Lernumgebungen20
Feldstudie 1: Effektivität der Feedback-Unterstützung/Effektivität der gesamten
Lernumgebung
Implementation spezieller Leitfragen zur Vertiefung und Systematisierung des Vergleichs von eigener Lösung und Musterlösung
Einfluss auf Lernerfolg? Einfluss auf kognitive Überlastung? Einfluss auf Lernzeit?
Problem: Oberflächliche Verarbeitung von Feedback-Information
Konzeption und Evaluation beispielbasierter Lernumgebungen21
Feldstudie 1
Design EG: Vorlesungsbegleitendes individuelles Lernen mit
NetBite, 12 Wochen
Randomisierung EG1: ohne Leitfragen (n=25) EG2: mit Leitfragen (n=25) KG: nur Vorlesungsbesuch, kein Zugang zu NetBite
(n=30)
Konzeption und Evaluation beispielbasierter Lernumgebungen22
Feldstudie 1
Vorab Kognitive, motivationale und emotionale Lernvoraussetzungen Während der Lernphase Subjektive kognitive Überlastung Lernzeit
Nach der Lernphase Problemorientierte Übungsklausur (Simulation der regulären
Klausur) Reguläre Klausur "Weiche“ Daten: Interviews, NetBite-Foren
Konzeption und Evaluation beispielbasierter Lernumgebungen23
Lernerfolg
EG1 (ohne Leitfragen)
M (SD)
EG2 (mit Leitfragen)
M (SD)
KG
M (SD)
Übungsklausur 53.17 (10.90) 50.06 (9.13) 33.83 (16.56)
Durchfallquote 10% 12.5% 73%
Reguläre Klausur
52.71 (8.99) 53.20 (5.29) 48.57 (9.26)
Durchfallquote 5.9% 0% 7.9%
Übungsklausur: KG<EG1/EG2
Reguläre Klausur: KG<EG1/EG2
Konzeption und Evaluation beispielbasierter Lernumgebungen24
Subjektive kognitive Überlastung
EG1 (ohne Leitfragen)
M (SD)
EG2 (mit Leitfragen)
M (SD)
p
subjektive Überlastung
(Beispiel 1)
3.11 (1.00) 2.97 (1.03) >.10
subjektive Überlastung
(Beispiel 2)
3.32 (1.20) 3.03 (0.77) >.10
Konzeption und Evaluation beispielbasierter Lernumgebungen25
Lernzeit (in Minuten)
0
50
100
150
200
250
300
350
400
450
500
Gesamte Bearbeitungszeit reiner Beispieltext; Lösungsbeispiel 1 reiner Beispieltext; Lösungsbeispiel 2
EG 1 (ohne Leitfragen)
EG2 (mit Leitfragen)
Konzeption und Evaluation beispielbasierter Lernumgebungen26
Feldstudie 2: Effektivität thematischer und zeitlichen Vorstrukturierung/Effektivität
der gesamten Lernumgebung Design EG: Vorlesungsbegleitendes individuelles Lernen mit
NetBite, 12 Wochen
Randomisierung EG1: ohne Vorstrukturierung EG2: Strukturierungsvorschläge EG3: strikte Vorstrukturierung KG: nur Vorlesungsbesuch, kein Zugang zu NetBite
Konzeption und Evaluation beispielbasierter Lernumgebungen27
Vorab Kognitive, motivationale und emotionale Lernvoraussetzungen
Während der Lernphase Subjektive kognitive Überlastung Lernzeit Qualität der Ergänzungen, Fehler
Nach der Lernphase Problemorientierte Übungsklausur (Simulation der regulären
Klausur) Reguläre Klausur Akzeptanz der Lernmethode Subjektiver Lernerfolg
Feldstudie 2
Konzeption und Evaluation beispielbasierter Lernumgebungen28
Lernerfolg
EG1 (strikte Vortstrukt.)
M (SD)
EG2 (Struktur-vorschlag)
M (SD)
EG 3 (ohne Vorstrukt.)
M (SD)
KG
M (SD)
Übungsklausur 39.58 (15.24) 50.10 (12.44) 49.00 (12.40) 38.04 (16.91)
Durchfallquote 63% 30% 15% 61%
Reguläre Klausur
55.13 (6.51) 54.07 (6.77) 56.41 (4.71) 49.85 (9.11)
Durchfallquote 0% 3% 0% 7..3%
Übungsklausur: KG<EG1/EG2/EG3; EG1<EG2; EG1<EG3 Reguläre Klausur: KG<EG1/EG2/EG3
Konzeption und Evaluation beispielbasierter Lernumgebungen29
Subjektive kognitive Überlastung
EG1 (strikte Vortstrukt.)
M (SD)
EG2 (Struktur-vorschlag)
M (SD)
EG 3 (ohne Vorstrukt.)
M (SD)
subjektive Überlastung
(Beispiel 1)
3.28 (0.66) 3.31 (0.92) 2.82 (0.73)
subjektive Überlastung
(Beispiel 2)
3.02 (0.80) 2.83 (0.85) 2.63 (0.62)
Beispiel 1: EG3<EG1; EG3<EG2
Beispiel 2: EG3<EG1
Konzeption und Evaluation beispielbasierter Lernumgebungen30
Lernzeit
Lösungsbeispiel 1 Range zwischen 32 und 1600 Minuten, Median 250 Minuten,
Mittelwert 314 Minuten, Standardabweichung 240 MinutenPost hoc: keine Gruppenunterschiede
Lösungsbeispiel 2 Range zwischen 45 und 1284 Minuten, Median 200 Minuten,
Mittelwert 261 Minuten, Standardabweichung 215 MinutenPost hoc: keine Gruppenunterschiede
Bearbeitungstage Range zwischen 4 und 16 Tagen
Median 8 Tage, Mittelwert 8 Tage, Standardabweichung 3 TagePost hoc: EG3<EG2/EG1
Konzeption und Evaluation beispielbasierter Lernumgebungen31
Lernverhalten
Qualität der Lückenbearbeitung (post hoc): keine Gruppenunterschiede
Fehler bei der Lückenbearbeitung (post hoc):
EG2>EG1/EG3
Konzeption und Evaluation beispielbasierter Lernumgebungen32
Motivationale Effekte
Akzeptanz der Lernumgebung Akzeptanz einzelner Komponenten (Erklärungen,
Lücken, Fragen)
Post hoc: keine Gruppenunterschiede
Subjektiver Lernerfolg (post hoc): EG1<EG2/EG3
Konzeption und Evaluation beispielbasierter Lernumgebungen33
Experimentelle Laborstudie 1: Effektivität von Lücken im Beispieltext und von
Verständnisfragen
Design
Faktor 2
Keine Verständnisfragen
Verständnisfragen
Faktor 1 Keine Lücken
n = 15 n = 15
Lücken n = 15 n = 15
Konzeption und Evaluation beispielbasierter Lernumgebungen34
Experimentelle Laborstudie
Lernumgebung Modifiziertes erstes NetBite-Lösungsbeispiel
Lernzeit Maximum 240 Minuten
Konzeption und Evaluation beispielbasierter Lernumgebungen35
Experimentelle Laborstudie
Vorab Kognitive, motivationale und emotionale Lernvoraussetzungen,
Einstellungen Während der Lernphase Subjektive kognitive Überlastung Lernzeit
Nach der Lernphase Problemorientierter Nachtest Erfassung des Lernfortschritts (Vorher-Nachher-Vergleich) Subjektiver Lernerfolg Akzeptanz der Lernmethode
Konzeption und Evaluation beispielbasierter Lernumgebungen36
Lernerfolg
Theoretisches Maximum: 14 Punkte Vortest: 7.4 Punkte (SD = 3.2) Nachtest: 10.9 Punkte (SD = 1.9)
Vortest < Nachtest
Vorher-Nachher-Vergleich über alle Gruppen hinweg
Konzeption und Evaluation beispielbasierter Lernumgebungen37
Lernerfolg
Gruppenvergleiche
Lernerfolg: theoretisches Maximum: 45 Punkte Lernerfolg
M (SD)
Lernzeit(in Minuten)
M (SD)
kogn. Überlastung
M (SD)
Ohne Lücken/ ohne Fragen
24.5 (7.4) 97.7 (35.7) 3.6 (1.0)
Mit Lücken/ ohne Fragen
23.4 (8.0) 130.3 (41.6) 3.4 (0.7)
Ohne Lücken/ mit Fragen
24.6 (6.9) 117.9 (30.7) 3.4 (0.8)
Mit Lücken/ mit Fragen
26.6 (9.1) 136.8 (35.6) 3.3 (0.8)
Lernzeit: Lücken > ohne Lücken
Konzeption und Evaluation beispielbasierter Lernumgebungen38
Motivationale Effekte
Subjektiver LernerfolgM (SD)
Akzeptanz M (SD)
Ohne Lücken/ ohne Fragen
4.3 (0.5) 4.5 (0.5)
Mit Lücken/ ohne Fragen
4.3 (0.6) 4.7 (0.6)
Ohne Lücken/ mit Fragen
4.2 (0.5) 4.7 (0.5)
Mit Lücken/ mit Fragen
4.2 (0.5) 4.5 (0.8)
Konzeption und Evaluation beispielbasierter Lernumgebungen39
Clusteranalytische Befunde
methodenspezifisches Vorwissen Semesterzahl intrinsische Motivation methodenspezifisches Selbstkonzept methodenbezogene Angst negative Einstellungen gegenüber empirischen
Forschungsmethoden
Identifikation homogener Untergruppen in Abhängigkeit von verschiedenen Eingangsvoraussetzungen:
Konzeption und Evaluation beispielbasierter Lernumgebungen40
Clusteranalytische Befunde
Profil 1: eher Anfangssemester mit eher wenig Vorwissen, die anderen Merkmale liegen im Durchschnitt der Gesamtgruppe (kurz: die "Unauffälligen").
Profil 2: höhere Semester mit wenig Vorwissen und viel Computererfahrung, leicht intrinsisch motiviert, eher positives Selbstkonzept, wenig Angst und kaum negative Einstellungen (kurz: die "Vorwissensschwachen").
Konzeption und Evaluation beispielbasierter Lernumgebungen41
Clusteranalytische Befunde
Profil 3: eher Anfangssemester mit weniger Vorwissen und kaum Computererfahrung, sehr wenig intrinsische Motivation, negatives Selbstkonzept, viel Angst und stark negative Einstellungen (kurz: die "Unmotivierten").
Profil 4: etwas höhere Semesterzahl, viel Vorwissen, hohe intrinsische Motivation, positives Selbstkonzept, wenig Angst, keine negative Einstellungen (kurz: die "Musterschüler").
Konzeption und Evaluation beispielbasierter Lernumgebungen42
Homogene Untergruppen (z-standardisiert)
-1,5
-1
-0,5
0
0,5
1
1,5
Semester Vorw issen Erfahrung mitComputern
IntrinsischeMotivation
Selbstkonzept Methodenangst negativeEinstellungen
Profil 1
Profil 2
Profil 3
Profil 4
Konzeption und Evaluation beispielbasierter Lernumgebungen43
Clusteranalytische Befunde
Post hoc-Vergleiche Lernzeit: Musterschüler, Unmotivierte > Unauffällige,
Vorwissensschwache Kognitive Überlastung: Unmotivierte < Musterschüler,
Unauffällige, Vorwissensschwache Aktuelle Selbstwirksamkeit:
Unmotivierte < Musterschüler, Unauffällige, Vorwissensschwache
Aktuelle intrinsische Motivation: Unauffällige < Unmotivierte, Musterschüler, Vorwissensschwache
Konzeption und Evaluation beispielbasierter Lernumgebungen44
Clusteranalytische Befunde
Lernerfolg: Musterschüler > Unmotivierte, Unauffällige, Vorwissensschwache
Subjektiver Lernerfolg: Musterschüler < Unmotivierte, Unauffällige, Vorwissensschwache
Akzeptanz der Lernmethode: Musterschüler <
Unmotivierte, Unauffällige, Vorwissensschwache
Konzeption und Evaluation beispielbasierter Lernumgebungen45
-1
-0,8
-0,6
-0,4
-0,2
0
0,2
0,4
0,6
0,8
1
Lernzeit kogn. Überlastung Selbstw irksamkeit intrinsischeMotivation
Lernerfolg subjektiverLernerfolg
Akzeptanz
Profil 1
Profil 2
Profil 3
Profil 4
Lerngeschehen, Lernerfolg und Motivation (z-standardisiert)
Konzeption und Evaluation beispielbasierter Lernumgebungen46
Resümee
Mit einer vorlesungsbegleitenden netzbasierten Lernumgebung wird der Erwerb anwendbaren Wissens im Bereich empirischer Forschungsmethoden und Statistik gefördert
Problem: Nachweis von Effekten einzelner instruktionaler Maßnahmen in einer komplexen Lernumgebung
Konzeption und Evaluation beispielbasierter Lernumgebungen47
Resümee und Konsequenzen
Eine zusätzliche Maßnahme zur Unterstützung der Feedback-Verarbeitung hatte keine Effekte
Akzeptanzprobleme, Motivationsprobleme, mangelnde Kompetenz zum selbstgesteuerten Lernen
Konzeption und Evaluation beispielbasierter Lernumgebungen48
Resümee und Konsequenzen
Ausmaß der Vorstrukturierung hatte nur geringen Einfluss auf Lernerfolg, Lernzeit, kognitive Überlastung, auf Lernverhalten und auf motivationale Aspekte
Strikte zeitliche Vorstrukturierung ist nicht zu empfehlen
Konzeption und Evaluation beispielbasierter Lernumgebungen49
Resümee und Konsequenzen
Einfluss von Lücken und Verständnisfragen auf Lernerfolg, subjektiven Lernerfolg und Akzeptanz konnte auch im Labor nicht nachgewiesen werden
Bedeutung verschiedener Eingangsvoraussetzungen beim beispielbasierten Lernen im Bereich empirischer Forschungsmethoden konnte nachgewiesen werden Primat des methodenspezifischen Vorwissens mangelnde Korrespondenz von subjektivem und
"objektivem" Lernerfolg
Konzeption und Evaluation beispielbasierter Lernumgebungen50
Resümee und Konsequenzen
Wichtig: Replikation der clusteranalytischen Befunde an einer größeren Stichprobe
Lerngeschehen sollte differenzierter erfasst werden (nachträgliches lautes Denken, Fragebogen, Interviews)
Follow-up-Messung des Lernerfolgs zu empfehlen, um längerfristige Effekte der Lernumgebung abbilden zu können
Für Lernende mit weniger günstigen Eingangsvoraussetzungen
ist das verwendete Lösungsbeispiel wahrscheinlich zu komplex
Konzeption und Evaluation beispielbasierter Lernumgebungen51
Resümee und Konsequenzen
Dieses Problem wird durch zusätzliche instruktionale Maßnahmen nicht überwunden, u.U. sogar verschärft (unerwünschte "Nebenwirkungen")
Zusätzliche Strategie: Weniger ist mehr. Gezielter Einsatz fokussierter Lösungsbeispiele, z.B. zur Korrelationsrechnung
"Propädeutische" Lösungsbeispiele, stufenweise und optionale Anreicherung mit Komplexität
Vergrößerung der Adaptivität der Lernumgebung
Konzeption und Evaluation beispielbasierter Lernumgebungen52
Resümee und Konsequenzen
Die bisherigen Befunde sprechen insgesamt dafür, das integrative Forschungsparadigma und die Implementation der beispielbasierten Lernumgebung weiter zu verfolgen