evaluation an hochschulen - link.springer.com978-3-658-25553-4/1.pdf · inhaltsübersicht 1...
Post on 02-Oct-2020
5 Views
Preview:
TRANSCRIPT
Evaluation an Hochschulen
Elisa Knödler
Evaluation an HochschulenEntwicklung und Validierung eines verhaltensbasierten Messinventars zur studentischen Lehrveranstaltungsevaluation
Elisa KnödlerFakultät für Pädagogik und PsychologieLudwig-Maximilians-Universität MünchenMünchen, Deutschland
ISBN 978-3-658-25552-7 ISBN 978-3-658-25553-4 (eBook)https://doi.org/10.1007/978-3-658-25553-4
Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen National-bibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.d-nb.de abrufbar.
Springer VS © Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung, die nicht ausdrücklich vom Urheberrechtsgesetz zugelassen ist, bedarf der vorherigen Zustimmung des Verlags. Das gilt insbesondere für Vervielfältigungen, Bearbeitungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen.Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften.Der Verlag, die Autoren und die Herausgeber gehen davon aus, dass die Angaben und Informa-tionen in diesem Werk zum Zeitpunkt der Veröffentlichung vollständig und korrekt sind. Weder der Verlag, noch die Autoren oder die Herausgeber übernehmen, ausdrücklich oder implizit, Gewähr für den Inhalt des Werkes, etwaige Fehler oder Äußerungen. Der Verlag bleibt im Hinblick auf geografische Zuordnungen und Gebietsbezeichnungen in veröffentlichten Karten und Institutionsadressen neutral.
Zgl. Dissertation an der Ludwig-Maximilians-Universität München, 2018
Springer VS ist ein Imprint der eingetragenen Gesellschaft Springer Fachmedien Wiesbaden GmbH und ist ein Teil von Springer NatureDie Anschrift der Gesellschaft ist: Abraham-Lincoln-Str. 46, 65189 Wiesbaden, Germany
Inhaltsübersicht
1 Einleitung 1
TEIL 1 – THEORIE UND FORSCHUNGSSTAND 9
2 Die Hochschule – eine Organisation im Wandel 11
3 Evaluation im Überblick 59
4 Evaluation an Hochschulen 101
5 Studentische Lehrveranstaltungsevaluation im Fokus 113
Teil 2 – EMPIRIE 131
6 Ausgangslage und Forschungsdefizit 133
7 Methodisches Vorgehen 145
8 Analyse existierender Messinstrumente studentischer LVE 165
I Entwicklung der Fragebögen 183
9 Vorstudien 185
10 Konstruktion der Fragebögen 211
11 Die Pilotierung 215
II Validierung der Fragebögen 255
12 Testung der Gütekriterien des MILVE 257
13 MILVE in der Praxis 273
14 Diskussion und Ausblick 297
Literaturverzeichnis 311
Anhang 351
Inhaltsverzeichnis
1 Einleitung 1
1.1 Organisation Hochschule und Evaluation 1
1.2 Aufbau und Intention der Arbeit 4
1.2.1 Theorie und Forschungsstand 5
1.2.2 Empirieteil 6
TEIL 1 – THEORIE UND FORSCHUNGSSTAND 9
2 Die Hochschule – eine Organisation im Wandel 11
2.1 Begriffsklärung 11
2.1.1 Definitorische Einordnung 12
2.1.2 Merkmale der Organisation Hochschule 13
2.2 Organisationstheorien – vom Einfachen zum Komplexen 15
2.2.1 Bürokratietheorie von Max Weber 16
2.2.2 Arbeitsteilung: Taylorismus und Fordismus 16
2.2.3 Human-Relation-Ansatz 18
2.2.4 Situativer Ansatz 18
2.2.5 Neoinstitutionalistische Organisationstheorie 19
2.2.6 Systemtheorien 20
2.2.7 Dezentralisierung als aktueller Trend? 21
2.3 Hochschulspezifische Organisationstheorien 26
2.3.1 Hochschule als Profibürokratie 26
2.3.2 Hochschule als organisierte Anarchie 27
2.3.3 Hochschule als lose gekoppelte Systeme 27
2.4 Outputsteuerung als eine Folge von Dezentralisierung 27
2.4.1 Neues Steuerungsmodell 28
2.4.2 Hochschulgovernance 29
2.4.3 Zusammenfassung 32
2.5 Qualitätssicherung im Hochschulbereich 34
VIII Inhaltsverzeichnis
2.5.1 Qualität, Qualitätssicherung und Qualitätsmanagement 35
2.5.2 Qualitätssicherungsmodelle 38
2.5.3 Hochschulspezifische Qualitätssicherungsmodelle 49
3 Evaluation im Überblick 59
3.1 Begriffliche Einordnung 59
3.1.1 Definition 59
3.1.2 Zwecke der Evaluation 62
3.1.3 Formen der Evaluation 64
3.2 Historische Entwicklung 65
3.2.1 International 65
3.2.2 National 72
3.2.3 Entwicklungstrends und Perspektiven 77
3.3 Evaluationstheorien – eine Systematisierung 79
3.3.1 Methodenast 81
3.3.2 Nutzungsast 86
3.3.3 Wertungsast 92
3.3.4 Zusammenfassung 97
4 Evaluation an Hochschulen 101
4.1 Entstehungsgeschichte der Evaluation an Hochschulen 101
4.2 Qualitätssicherung durch Evaluationen an Hochschulen 103
4.3 Zwecke der Evaluation an Hochschulen 105
4.3.1 Forschungsparadigma 105
4.3.2 Kontrollparadigma 106
4.3.3 Entwicklungsparadigma 106
4.4 Formen der Evaluation von Lehre und Studium 107
4.4.1 Lehrberichte 108
4.4.2 Interne und externe Evaluation 109
5 Studentische Lehrveranstaltungsevaluation im Fokus 113
5.1 Aktuelle Praxis der LVE 113
Inhaltsverzeichnis IX
5.1.1 Entwicklung und Verbreitung der LVE 113
5.1.2 Evaluationsinstrumente 114
5.1.3 Durchführung und Datenerhebung 115
5.1.4 Auswertung und Interpretation 116
5.2 Zur Aussagekraft studentischer LVE 117
5.2.1 Studentisches Urteilsverhalten 118
5.2.2 Einfluss lernangebotsunabhängiger Aspekte 121
Teil 2 – EMPIRIE 131
6 Ausgangslage und Forschungsdefizit 133
6.1 Empirische Sozialforschung und ihr Erkenntnisgewinn 136
6.1.1 Besonderheiten der empirischen Sozialforschung 137
6.1.2 Methoden der empirischen Sozialforschung 138
6.1.3 Die Einzelfallstudie in der quantitativen Forschungslogik 141
6.2 Fragestellungen 142
7 Methodisches Vorgehen 145
7.1 Konstruktion des Messinventars 146
7.1.1 Zweck der Lehrveranstaltungsevaluation 147
7.1.2 Struktur und Aufbau 147
7.1.3 Itempool 149
7.1.4 Implementationen für die Entwicklung des Messinventars 151
7.2 Zur Güte eines Messinventars 152
7.2.1 Objektivität 152
7.2.2 Reliabilität 153
7.2.3 Validität 157
7.2.4 Nebenkriterien 162
7.2.5 Implementationen für die Testung des Messinventars 162
8 Analyse existierender Messinstrumente
studentischer LVE 165
8.1 Fragebögen der Fakultät 11 der LMU München 166
X Inhaltsverzeichnis
8.2 Heidelberger Inventar zur Lehrveranstaltungsevaluation 169
8.3 Trierer Inventar zur Lehrveranstaltungsevaluation 173
8.4 Modifizierte Version des TRIL der Universität Landau 176
8.5 Inventar „Student Evaluation of Educational Quality“ 177
8.6 Implikationen für die Neukonstruktion 180
I Entwicklung der Fragebögen 183
9 Vorstudien 185
9.1 Vorstudie 1 – Subjektive Vorstellungen guter Lehre 185
9.1.1 Theorie 185
9.1.2 Methodik 189
9.1.3 Ergebnis: „Modell guter Lehre“ 191
9.2 Vorstudie 2 – Critical Incident Technique-Workshops 193
9.2.1 Theorie 193
9.2.2 Methodik 194
9.2.3 Ergebnisse der CIT-Workshops an der Fakultät 11 195
10 Konstruktion der Fragebögen 211
10.1 Zweck der Lehrveranstaltungsevaluation 211
10.2 Itempool 212
11 Die Pilotierung 215
11.1 Stichprobe 216
11.2 Modellannahmen 217
11.2.1 Modellannahme I: Das kongenerische Modell 217
11.2.2 Modellannahme II: Das Parsimonieprinzip 218
11.3 Allgemeiner Ablauf einer Testphase 218
11.3.1 Datenaufbereitung 219
11.3.2 Prüfung der Modellvoraussetzungen 220
Inhaltsverzeichnis XI
11.3.3 Datenanalysen 222
11.3.4 Modellprüfung 226
11.4 Vorlesungsbogen 227
11.4.1 Wintersemester 2014/15 227
11.4.2 Sommersemester 2015 233
11.4.3 Ergebnis der Analysen des Vorlesungsbogens 240
11.5 Seminarbogen 242
11.5.1 Sommersemester 2015 242
11.5.2 Wintersemester 2015/16 248
11.5.3 Ergebnisanalyse des MILVE Seminarbogens 253
II Validierung der Fragebögen 255
12 Testung der Gütekriterien des MILVE 257
12.1 Objektivität im MILVE 258
12.2 Reliabilität im MILVE 258
12.2.1 Trennschärfe 260
12.2.2 Intraklassenkorrelation 260
12.3 Validität im MILVE 261
12.3.1 Inhalts- und Augenscheinvalidität 261
12.3.2 Konstruktvalididtät 262
12.3.3 Kriteriumsvalidität 263
12.4 Nebenkriterien 266
12.5 Zusammenfassung 266
12.5.1 Implikationen für weitere Berechnungen 267
12.5.2 Methodische Restriktionen 270
13 MILVE in der Praxis 273
13.1 Fakultätsübergreifende Anwendung des Messinventars 274
13.2 Auswertung der Daten 276
13.2.1 Deskriptive Statistik 277
XII Inhaltsverzeichnis
13.2.2 Weiterführende Auswertungen 289
13.3 Zusammenfassung der Ergebnisse 295
14 Diskussion und Ausblick 297
14.1 Aspekte der Bewertung 298
14.1.1 Probleme bei der Bewertung durch Mittelwerte 298
14.1.2 Über die Notwendigkeit von Qualitätskriterien und -standards 299
14.1.3 Zur Bewertung der Ergebnisse studentischer LVE 301
14.2 Formen der Nutzung 301
14.2.1 Transparenz- und Forschungsmodell 302
14.2.2 Qualifikationsmodell 303
14.2.3 Kommunikationsmodell 304
14.2.4 Steuerungsmodell 305
14.3 Ein Fazit vor dem hochschulpolitischen Gesamtkontext 307
14.3.1 Fakultätsebene 307
14.3.2 Fakultätsübergreifende Ebene 308
14.3.3 Hochschulische und hochschulpolitische Ebene 309
Literaturverzeichnis 311
Anhang 351
Abbildungsverzeichnis
Abbildung 1. Das Baummodell nach Alkin und Christie (2004). 80
Abbildung 2. Multifaktorielles Modell der Lehrveranstaltungsqualität
nach Rindermann (2009). 169
Abbildung 3. Kategorisierung der Nennungen
aus den CIT-Workshops für Vorlesungen. 199
Abbildung 4. Kategorisierung der Nennungen
aus den CIT-Workshops für Seminare. 200
Abbildung 5. Erwartungen an Studierende
aus den CIT-Workshops der Lehrenden. 205
Abbildung 6. Erwartungen an Lehrende
aus den CIT-Workshops der Lehrenden. 206
Abbildung 7. Mögliche Rückmeldeformate. 208
Abbildung 8. Übersicht der Pilotierungsphasen. 216
Abbildung 9. Übersicht über die Stichproben der Pilotierungsphasen. 216
Abbildung 10. Der allgemeine Ablauf einer Testphase. 218
Abbildung 11. Interessenzuwachs in Vorlesungen. 279
Abbildung 12. Zusammenfassende Globalwerte
in Vorlesungen. 282
Abbildung 13. Interessenzuwachs in Seminaren. 285
Abbildung 14. Zusammenfassende Globalwerte
des Seminarbogens. 288
Tabellenverzeichnis
Tabelle 1 Unterschiede zwischen „Monitoring“ und „Controlling“ 45
Tabelle 2 Dimensionen des HILVE-I und HILVE-II 172
Tabelle 3 Allgemeines Ablaufschema 196
Tabelle 4 Beispiel 1: Didaktik – Vortragsstil 197
Tabelle 5 Beispiel 2: Interaktion – Umgang mit Fragen 197
Tabelle 6 Beispiel 3: Didaktik – Förderung der aktiven Mitarbeit 198
Tabelle 7 Beispiel 4: Unterstützung – Referatsvorbereitung 198
Tabelle 8 Übersicht der CIT-Items 201
Tabelle 9 Beispiel 5: Arbeitshaltung – Engagierte Vorbereitung 204
Tabelle 10 Beispiel 6: Arbeitsatmosphäre –
Regeln des guten Miteinanders einhalten 204
Tabelle 11 Interpretationsrichtlinien für die Eignung der Daten
durch den KMO-Koeffizienten 221
Tabelle 12 Interpretationsrichtlinien des RMSR-Werts 226
Tabelle 13 Itemanalyse des „VL_neu_1“ im WiSe2014/15 229
Tabelle 14 RMSR-Werte für verschiedene Faktoren
des „VL_neu1“ im WiSe1415 230
Tabelle 15 Itemladung bei 7 Faktoren des „VL_neu_1“ im WiSe1415 231
Tabelle 16 Itemanalyse des „VL_neu2“ im SoSe 2015 235
XVI Tabellenverzeichnis
Tabelle 17 RMSR-Werte für verschiedene Faktoren
des „VL_neu2“ im SoSe15 237
Tabelle 18 RMSR-Werte für verschiedene Faktoren
des „VL_neu2“ im SoSe15 nach Ausschluss zweier Variablen 238
Tabelle 19 Itemladung bei 3 Faktoren des „VL_neu2“ im SoSe15 238
Tabelle 20 Itemanalyse des „S_neu_1“ im SoSe 2015 243
Tabelle 21 RMSR-Werte für verschiedene Faktoren
des „S_neu_1“ im SoSe15 245
Tabelle 22 Itemladung bei 4 Faktoren des „S_neu_1“ im SoSe15 245
Tabelle 23 Itemanalyse des „S_neu_2“ im WiSe 2015/16 249
Tabelle 24 RMSR-Werte für verschiedene Faktoren
des „S_neu_2“ im WiSe1516 251
Tabelle 25 Itemladung bei 4 Faktoren des „S_neu_2“ im WiSe1516 251
Tabelle 26 Korrelationen der Kontrollvariablen mit den Faktoren
und der Gesamtbewertung für Vorlesungen 264
Tabelle 27 Korrelationen der Kontrollvariablen
mit den Faktoren und der Gesamtbewertung für Seminare 265
Tabelle 28 Kombinationsmöglichkeiten zur Analyse
von Rahmenbedingungen auf das Lehrverhalten 269
Tabelle 29 Aufbau des Vorlesungsbogens 275
Tabelle 30 Aufbau des Seminarbogens 276
Tabelle 31 Bewertungsrichtlinien 277
Tabellenverzeichnis XVII
Tabelle 32 Faktorwerte Vorlesungen 277
Tabelle 33 Allgemeines in Vorlesungen 278
Tabelle 34 Didaktischer Aufbau in Vorlesungen 279
Tabelle 35 Lernendenzentrierung in Vorlesungen 280
Tabelle 36 Nachvollziehbarkeit in Vorlesungen 281
Tabelle 37 Faktorwerte in Seminaren 283
Tabelle 38 Allgemeines in Seminaren 284
Tabelle 39 Didaktik und Engagement in Seminaren 285
Tabelle 40 Lernendenzentrierung in Seminaren 286
Tabelle 41 Nachvollziehbarkeit in Seminaren 287
Tabelle 42 Feedback auf Referate in Seminaren 287
Tabelle 43 Feste Effekte - Koeffizienten und ANOVA in Vorlesungen 292
Tabelle 44 Test auf zufällige Effekte in Vorlesungen 292
Tabelle 45 Feste Effekte - Koeffizienten und ANOVA in Seminaren 294
Tabelle 46 Test auf zufällige Effekte in Seminaren 294
top related