kompetenz messen, wissen überprüfen, erfolg evaluieren

1

Kompetenz messen, Wissen überprüfen, Erfolg evaluieren.PROF. DR. JOHANNES MOSKALIUK 24.01.2017 | LEARNTEC KONGRESS | KARLSRUHE

WORKSHOP

Johannes Moskaliuk | Workshop Evaluation

2In diesem Workshop lernen Sie ...

- worauf es bei einer Evaluation ankommt, - welche Möglichkeiten es gibt, Zufriedenheit, Lernerfolg und erworbene

Kompetenzen zu messen, - welche typischen Fehler bei der Formulierung von Fragen es gibt, - welche methodischen Schwierigkeiten auftreten können, - was bei der computerbasierten Testung zu beachten ist, - und was bei der Interpretation der Ergebnisse berücksichtigt werden muss.


3Inhalt

- Was ist eine Evaluation?- Messmethoden- Aufgabenformate- Was ist eine gute Beurteilungsaufgabe?- Formulierung von Items - Fehlerquellen bei der Messung- Testarten- Computerbasiertes Testen- Einblick in die Praxis


4Happy Sheet

5%9%

21%

36%

29%

Zufriedenheit der Teilnehmenden

geht soin Ordnunghervorragendsehr hervorragendäußerst hervorragend

Die Location für das Seminar war ... Der Trainer, die Trainerin war mir sympathisch. Das Seminar war anstrengend für mich. Ich möchte gerne mehr zu diesem Thema lernen. Das Seminar hat mit gut gefallen.

Wichtige Fragen, aber ... Johannes Moskaliuk | Workshop Evaluation

5

Zu Beginn müssen deshalb die Ziele des Projekts definiert werden und dann die Frage geklärt werden, was in der Evaluation gemessen werden soll.

... viele Evaluationsprojekte scheitern*, weil zu Beginn nicht klar ist, was gemessen werden soll.

*gemeint ist: Die Ergebnisse können nicht genutzt werden.


Ihre Beispiele aus der Praxis

- In welchem Ihrer aktuellen Projekte würde sich eine Evaluation anbieten?

- Was ist das zentrale Erfolgskriterium? Woran erkennen Sie, dass Ihr Projekt erfolgreich war.

- Wer hat Interesse an den Ergebnissen der Evaluation?- Welche Konsequenzen haben die Ergebnisse der Evaluation für

das Projekt?

6


und Fragen

7Was ist eine Evaluation?

Welche Ziele und welche Erfolgskriterien werden verwendet?

Wurde das intendierte Ziel erreicht? War eine Maßnahme wirksam? Haben die Teilnehmenden etwas gelernt?

Soll Ist

Bewertung der Ergebnisse von Projekten oder Prozessen

summativ formativ


8Was sind die Kriterien für Erfolg?

Kirkpatrick, 1959 Johannes Moskaliuk | Workshop Evaluation

9Inhalt



10Welche Methoden gibt es?Wissenstest ............................. Längsschnittstudie

festgelegter Zielwert

vorher / nachher

Womit wird verglichen?

vorhandene Kennwerte

langfristig

kurzfristig


11Welche Messmethoden gibt es?Ein Fragebogen ist nur eine von vielen Möglichkeiten!


12Was ist eine gute Messung?

Objektivität

Validität

Reliabilität

Die Ergebnisse sind unabhängig von der durchführenden, auswertenden und interpretierenden Person.

Der Test misst, was er messen soll.

Der Test misst genau, d.h. mit geringem Messfehler.


13Projektive Verfahren

Rorschach - Test

Thematischer Apperzeptionstest (TAT)OMT (Operanter Motiv-Test)


14Apparative TestsDrahtbiegeprobeWiener Testsystem


15Fragebogen | Befragungenpapierbasiertcomputerbasiert


online

© Raim

ond Spekking via Wikim

edia Comm

ons

16Inhalt



17Aufgaben mit freiem Format

Geben Sie so viele kreative Ideen wie möglich an, was man mit einer Garnrolle und einem Nagel machen könnte. _________________________________

Kurzsatzaufgaben

Vorteile NachteileReproduktion von Wisseneigene Antwort

mehr Aufwand für den Probanden

zufällig richtige Antworten sind ausgeschlossen

Mehr Aufwand für die Auswertung

gut zur Erfassung von Motiven und Gründen

Auswertungsobjektivität eingeschränkt

bei projektiven Verfahren

Sehr abhängig von sprachlicher Kompetenz des Probanden Johannes Moskaliuk | Workshop Evaluation

18Aufgaben mit freiem Format

Atheist verhält sich zu Religion wie Pazifist zu ____________ Specht und Ente sind ____________Die Hauptstadt von Deutschland ist ____________2 4 8 16 ____________

Ergänzungsaufgaben

Vorteile NachteileReproduktion von Wissenstatt nur Wieder-erkennung

meist nur Faktenwissen prüfbar

zufällig richtige Antworten sind ausgeschlossen

Abhängig von Lesefähigkeit und Intelligenz

Wenn Auswerteschema: Objektivität hoch

Mehr Zeitaufwand für Durchführung und Auswertung Johannes Moskaliuk | Workshop Evaluation

Aufgaben mit gebundenem Antwortformat

Zuordnungsaufgaben

Umordnungsaufgaben


19


ZuordnungsaufgabenUmordnungsaufgaben

Vorteile Nachteileeinfach, ökonomisch, objektiv

Keine Reproduktion von Wissen

Zufällig richtige Antwort im Prinzip ausgeschlossen

Antwortalternativen nicht unabhängig. Freiheitsgrade sinken mit jeder richtigen Zuordnung

Gut für Wissenstests / Kenntnistests geeignet

Mehr Zeitaufwand für Durchführung und Auswertung


20


Auswahlaufgaben


21


Dichotome AufgabenVorteile Nachteileeinfach, ökonomisch, objektiv


Kurze Lösungszeit Hohe Ratewahrscheinlichkeit

Angela Merkel ist ...

☐ Bundeskanzlerin der BRD.☐ Ministerpräsidentin von

Berlin. Ich würde gerne mehr über das Thema wissen.

☐ Stimmt.☐ Stimmt nicht.


22

23

Mehrfachwahl-Aufgaben

Multiple-Choice Aufgabeneine vs. mehrere korrekte Antwortalternativen

Vorteile Nachteileeinfach, ökonomisch, objektiv


Ratewahrscheinlichkeit verringert, da mehr Antwortalternativen

Nicht immer sinnvoll, z.B. nicht für Kreativität

Verzerrungen, wenn Distraktoren nicht gut gewählt oder Hinweis auf richtige Antwort enthalten

Welche Personen sind Mitglied des aktuellen Bundeskabinetts?

☐ Angela Merkel☐ Barack Obama ☐ Sigmar Gabriel☐ Winfried Kretschmann




- Formulieren Sie einige Beispielfragen (Items), die Sie in Ihrem Evaluationsprojekt einsetzen möchten.

- Machen Sie sich Notizen!

Diskutieren Sie: - Welche Problem könnten sich bei der Frage ergeben? - Welche Lösungsmöglichkeiten sehen Sie?

24


und Fragen

25Inhalt



Problem: Nicht disjunkte Antwortalternativen

Problem: Nicht exhaustive Antwortalternativen

Vollständigkeit der Antwortalternativen

Antwortalternativen schließen sich gegenseitig aus

Exhaustivität bei Persönlichkeitstest wichtig

Alternative: Forced Choice

Wie groß ist 1/5 von 10?

a.) kleiner als 1,5 b.) 1,5 bis 2 c.) 2,0 bis 2,5 d.) größer als 2,5

Wählen Sie die Antwort aus, die auf Sie am besten zutrifft. a.) Ich bevorzuge harte, realistische Action-Thrillerb.) Ich bevorzuge gefühlvoll, feinsinnig Filme. Johannes Moskaliuk | Workshop Evaluation

26

Konstruktion von Beurteilungsaufgaben

Skalenstufen visuelle Analogskaladiskret gestufte Ratingskala

Polarität unipolar vs. bipolar


27

28Konstruktion von Beurteilungsaufgaben

SkalenpunkteNumerische Skala IntervallskalaVerbale RatingskalaOptische Skalen


29Konstruktion von Beurteilungsaufgaben

Mittelkategorie

Weiß nicht Kategorie

gerade / ungerade Anzahl Skalenpunkte

asymmetrische Skalen Boden- / Deckeneffekte


30Welche Probleme sehen Sie bei folgenden Items?

o Finden Sie keinen Gefallen an der Abholzung des Regenwaldes?o Ich finde nicht, dass ich häufig nicht hungrig bin!o Wenn ich mit meinem Auto zu einem wichtigen Meeting fahre, so wü̈rde ich

mich, falls es dann noch einen Stau aufgrund der Rush Hour gäbe, aufregen.o Ich neige zur Prokrastination. o Mein Kind kann sich nie auf nur eine Aufgabe konzentrieren.o Ich gehe gerne auf Parties und trinke gerne Alkohol.o Die jü̈ngsten Erfolge der transkraniellen Magnetstimulation im Bereich der

alternativen Therapien affektiver Störungen halte ich für ein sehr wichtiges Forschungsergebnis.

o In letzter Zeit war ich häufig in der Oper.


31Itemformulierung

direktSind Sie ängstlich?

indirektFühlen Sie sich unsicher, wenn Sie nachts allein auf der Straße sind?

hypothetisch biografiebezogenStellen Sie sich vor, es gäbe immer wieder Konflikte zwischen den Mitarbeiternin ihrer Abteilung.

Wie haben Sie sich bei der letztenAuseinandersetzung mit einem Kollegen verhalten?

Exkurs


32Itemformulierung

konkret abstraktWie verhalten Sie sich, wenn Sie einen Streit zwischen Kollegen schlichten müssen?

Wie belastend schätzen Sie dieArbeit in einem konfliktreichen Arbeitsumfeld ein

personalisiert depersonalisiertTreiben Sie regelmäßig Sport? Halten Sie es für sinnvoll, regelmäßig

Sport zu treiben?

Exkurs


33ItemformulierungQualität / Intensität

Halten Sie sich für einen ängstlichen Menschen?Bekommen Sie Herzrasen, wenn Ihnen nachts jemand auf der Straße folgt?

SelbstbeschreibungIch bin ein fröhlicher Mensch.

FremdbeschreibungAndere halten mich für einen fröhlichen Menschen.

TraitzuschreibungIch lache oft und gern.

Wünsche Interesse

Ich interessiere mich für Psychologie.

EinstellungenMeinungen

Es gibt wichtigeres als beruflichen Erfolg

BiografieIch war schon oft im Ausland.

Exkurs


34Regeln für die Formulierung von Items

positiv formuliertKeine Verneinung

klare Konstruktion

keine Abkürzungen

keine Fachbegriffe

Angaben zur Intensität oder Häufigkeit können problematisch sein.

Ich trinke häufig Wein.trifft zu trifft nicht zu

Ich entspanne mich gern mit einem alkoholischen Getränk.

besser:

Verständlichkeit


35Regeln für die Formulierung von ItemsEindeutigkeit

keine Universalausdrücke immer, nie, alle ...

Schwieriges definieren

keine Mehrdeutigkeit

eine Aussage pro Item

Vorwissen beachten

Bezugsgrößen definieren

Zeitspannen klar angeben


36Was ist eine gute Aufgabe?- Leichte Verständlichkeit- einfache Durchführbarkeit- kurze Lösungszeit- Geringer Material und Papierverbrauch- Leichte Auswertbarkeit- Geringe Häufigkeit von Zufallslösungen



- Prüfen Sie die Items, die Sie notiert haben. - Sind alle Regeln für die Formulierung von Items berücksichtigt?

- Finden Sie alternative Formulierungen.

37


und Fragen

38Inhalt



39FehlerquellenSoziale

ErwünschtheitSelfdeceptive EnhancementImpression Management

Kontrollskalen / LügenskalenAnonymität

Gründe

LösungAkquieszenz

Ja-Sage-Tendenz

LösungInventierung von Items

Tendenz zur Mitte

-2 -1 0 1 2010203040

Tendenz zur Mitte

-2 -1 0 1 2010203040

Tendenz zu extremen

Urteil

Antwortkategorie

Antw

orth

äufig

keit

Antw

orth

äufig

keit

Antwortkategorie

Lösungkeine Mittelkategorie


40Konstruktvalidität

Konstruktlatente Variable | Trait

Kriteriumbeobachtbares Verhalten

z.B. Item ankreuzen

Nomologisches NetzwerkFaktorenanalyse

konvergente divergentediskriminante

Exkurs


41Kriteriumsvalidität

Kriteriumbeobachtbares Verhalten

z.B. Item ankreuzen

konkurrente prognostisch

Übereinstimmung Vorhersagezeitgleich zukünftig

Verhalten

Exkurs


42Inhalt



43TestartenLeistungstests

Intelligenz Konzentration

Speed vs. Power

Persönlichkeitstests

Trait vs. StateInteresse

Selbstauskunftverhaltensnahe Testsprojektive Verfahren

Fragebogen objektive Tests apparativ Computer

Exkurs


44Testökonomie

Ist der finanzielle und zeitliche Aufwand dem diagnostischen Erkenntnisgewinn angemessen?

TestmaterialHard-/SoftwareLizenzgebühren

Finanzieller Aufwandzeitlicher Aufwand

BearbeitungszeitVorbereitungAuswertung

Ausblick: Internetgestütztes TestenAdaptives Testen


45ItemschwierigkeitZiel: Items eines Fragebogen sollen individuelle Unterschiede abbilden.

zu leichte und zu schwere AufgabenIch halte Umweltverschmutzung für schädlich.

Sonderfallsehr seltene Merkmalez.B. in der klinischen Psychologie

Problem

Itemvarianz

Itemschwierigkeit

Statistische Kenngrößen

Exkurs


46Weitere AspekteAktualität

Wertungen

Wie heißt der Ministerpräsident von Baden-Württemberg?

Warum ist es besser, Geld einerWohltätigkeitsorganisation zu spenden als einem Bettler?

SuggestionSie stimmen doch zu, dass der Nichtraucherschutz in Deutschland sehr wichtig ist?

GendergerechtigkeitIch ärgere mich oft über meinen Chef.


47Inhalt



48Computerbasiertes Testen

Volljährigkeit der TeilnehmerInnen

Ethische Aspekte

Einverständnis-erklärung

Anonymisierung

verdeckte Datenerhebung?

Kontrollierbarkeit

Identität der TNAngaben korrekt?

VerhaltenAblenkung?

AbsichtlichesFehlverhalten

Mehrfachteilnahme

meistens höhereStichprobe notwendig

Definition von Ausreißern

verzerrte Stichprobe

Dropouts


49Inhalt

- Was ist eine Evaluation?- Messmethoden- Aufgabenformate- Was ist eine gute Beurteilungsaufgabe?- Formulierung von Items - Fehlerquellen bei der Messung- Testarten- Häufige Fehler- Computerbasiertes Testen- Beispiele aus der Praxis


50Beispiel aus der Praxis


Virtuelle Polizei

51Feldstudie | Warum ist virtuelles Training erfolgreich?

Standard-Training Virtuelles TrainingVerhaltensempfehlung

Wissenstest

Subjektive MaßeWissenstestTransfertest

52Feldstudie | Methode

Ich würde meinen KollegInnen den Besuch dieses Trainings empfehlen.

Akzeptanz

Ich bin mit dem virtuellen Training zufrieden.

Zufriedenheit

LernerfolgIch habe in dem Training sehr viel Neues gelernt.

Subjektive Maße Wissenstest mit 20 Items

Wie wird die Person genannt, die vom Hubschrauber hauptsächlich angesprochen wird?

A LeiterB LenkerC FührerD Identifizierungsbeamter

53Feldstudie | WissenWissenstest*

02

468

10

121416

1820

VE Reales Training VirtuellesTraining

WissenVorher

WissenNachher

Standard Virtuellkein Training

54Feldstudie | TransferVideotest*

0

2

4

6

8

10

VE Reales Training Virtuelles Training

Standard Virtuellkein Training



Patongo

Fokus - Gruppe

Plattform zum Austausch von Best-Practices

Forschungsfrage: Welche Hürden bestehen für den Informationsaustausch?

Logfile-Analyse

Befragung



Generation Ypersönliche SicherheitLeistung

Mitgefühl

Verantwortung

Wertschätzung

Konformität

Das Gesicht wahren

Genuss/HedonismusBescheidenheitFührung übernehmen

Macht

Selbstbestimmung (Handeln)

Selbstbestimmung (Denken)

gesellschaftliche Sicherheit

Stimulation

Tradition

Universalismus

0

5

10

57Vielen Dank für Ihr Interesse.

Johannes [email protected]

Folien und weiterführende Links unter: http://www.moskaliuk.com/evaluatio

nLT

twitter.com/moskaliuk

slideshare.net/moskaliuk

facebook.com/moskaliuk

kompetenz messen, wissen überprüfen, erfolg evaluieren

Education