vorlesung -...
TRANSCRIPT
![Page 1: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/1.jpg)
Vorlesung
Grundlagen
Psychologischer Diagnostik und Testtheorie
Universität Leipzig
WS 2018/19
Datum: 16.01.2019
Dozent: Sascha Krause
![Page 2: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/2.jpg)
2
Gliederung der Vorlesung
1. Einführung
2. Psychologische Tests
– Verschiedene Arten psychologischer Tests
– Items
– Statistische Itemanalysen
– Faktorenanalyse
– Normierung
3. Testgütekriterien
– Objektivität
– Reliabilität
– Validität
4. Entscheidungstheoretische Modelle
– Entscheidungsstrategien
– Güte diagnostischer Entscheidungen
– Nutzen diagnostischer Entscheidungen
5. Diagnostische Urteilsbildung
![Page 3: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/3.jpg)
3
3.3 Validität (Wiederholung)
Unter Validität wird das Maß an Genauigkeit verstanden, mit dem
der Test dasjenige Merkmal misst, das er messen soll oder zu
erfassen vorgibt.
Wichtigstes Kriterium für die Bewertung der Güte eines Tests
Arten von Validität:
- Inhaltsvalidität
- Kriteriumsvalidität
- Konstruktvalidität
![Page 4: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/4.jpg)
4
3.3.3 Konstruktvalidität (Wiederholung)
Definition:
Unter Konstruktvalidität versteht man empirische Belege dafür, dass ein
Test das Konstrukt erfasst, welches er erfassen soll – und nicht ein
anderes (Schmidt-Atzert & Amelang, 2012)
![Page 5: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/5.jpg)
Einbettung des Konstrukts in ein nomologisches Netzwerk (Cronbach &
Meehl, 1955)
• anhand theoretischer Annahmen wird die Beziehung eines Konstrukts zu
anderen Konstrukten definiert (Axiome)
• man postuliert ein Netzwerk aus positiven, negativen und Nullbeziehungen
3.3.3 Konstruktvalidität (Wiederholung)
![Page 6: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/6.jpg)
Einbettung des Konstrukts in ein nomologisches Netzwerk (Cronbach &
Meehl, 1955)
• Korrespondenzregeln stellen die Verbindung zwischen dem Bereich der Theorie und dem Bereich der Beobachtung dar.
3.3.3 Konstruktvalidität (Wiederholung)
6
![Page 7: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/7.jpg)
Einbettung des Konstrukts in ein nomologisches Netzwerk (Cronbach &
Meehl, 1955)
• theoretische Annahmen müssen anhand beobachtbarer Variablen
empirisch überprüft werden können
Lässt sich das vorhergesagte Muster empirisch nachweisen?
3.3.3 Konstruktvalidität (Wiederholung)
![Page 8: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/8.jpg)
Das Ziel der Konstruktvalidierung besteht darin, die auf theoretischer Ebene postulierten Zusammenhänge im nomologischen Netz auf der Beobachtungsebene empirisch zu zeigen
3.3.3 Konstruktvalidität (Wiederholung)
8
Einbettung des Konstrukts in ein nomologisches Netzwerk (Cronbach &
Meehl, 1955)
![Page 9: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/9.jpg)
Übungsaufgabe
• Betten Sie theoretisch das Konstrukt Verträglichkeit in
ein nomologisches Netzwerk ein.
• Mit welchen Konstrukten gibt es positive/negative
Beziehungen/ Zusammenhänge?
• Mit welchen Konstrukten gibt es keine Beziehungen/
Zusammenhänge (Nullkorrelationen)?
![Page 10: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/10.jpg)
Überprüfung des nomologischen Netzwerks
→ konvergente Validität:
Der zu validierende Test korreliert hoch mit Tests verwandter bzw.
assoziierter Konstrukte (z.B. Test zur Erfassung von verbaler Intelligenz
mit einem Test zur Erfassung numerischer Intelligenz)
→ diskriminante Validität:
Der zu validierende Test korreliert niedrig mit Tests nicht verwandter
bzw. assoziierter Konstrukte (z.B. Test zur Erfassung von verbaler
Intelligenz mit einem Test zur Erfassung von Aufmerksamkeit)
Beispiel für konvergente und diskriminante Validität bei der
Vorhersage von Verhalten:
Prüfung der Konstruktvalidität eines Tests, der Aggressivität bei
Schulkindern messen soll
3.3.3 Konstruktvalidität
![Page 11: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/11.jpg)
Beispiel für einen Aggressivitätstest für Schüler:
3.3.3 Konstruktvalidität
![Page 12: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/12.jpg)
3.3.3 Konstruktvalidität - Übungsbeispiel
![Page 13: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/13.jpg)
Überprüfung der Konstruktvalidität:
Verschiedenste Methoden können bei der Konstruktvalidierung zum
Einsatz kommen (z.B. Korrelationen mit anderen Tests, Korrelation
mit beobachtetem Verhalten, Faktorenanalysen, experimentelle
Manipulation)
Kennwerte zur Konstruktvalidität existieren nicht (es gilt eine
Vielzahl von empirischen Befunden zu würdigen)
3.3.3 Konstruktvalidität
![Page 14: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/14.jpg)
14
3.3.3 Konstruktvalidität
Experimentelle Manipulation
![Page 15: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/15.jpg)
Multitrait-Multimethod-Analyse (Campbell & Fiske, 1959)
überzeugendste Zugangsweise zur Überprüfung der
Konstruktvalidität
Multitrait-Multimethod-Matrix enthält die Korrelationen, die entstehen,
wenn man unterschiedliche Merkmale mit unterschiedlichen Methoden
erfasst
→ Ziel: Untersuchung der konvergenten und diskriminanten Validität
sowie Abschätzung des Methodenbias
Beispiel:
→ Aggressivität und Dominanz von Schulkindern wird mit zwei
verschiedenen Methoden gemessen: Lehrerurteile, FB-Verfahren
3.3.3 Konstruktvalidität
![Page 16: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/16.jpg)
Multitrait-Multimethod-Matrix
Methode Fragebogen Lehrerurteile
Trait Dominanz Aggressivität Dominanz Aggressivität
Frage-
bogen
Dominanz .95
Aggressivität .40 .88
Lehrer-
urteile
Dominanz .32 .12 .86
Aggressivität .03 .37 .43 .89
3.3.3 Konstruktvalidität
![Page 17: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/17.jpg)
Interessierende Daten:
Daten in der Diagonalen markieren üblicherweise die Reliabilitäten
der einzelnen Methoden
3.3.3 Konstruktvalidität
![Page 18: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/18.jpg)
Multitrait-Multimethod-Matrix
Methode Fragebogen Lehrerurteile
Trait Dominanz Aggressivität Dominanz Aggressivität
Frage-
bogen
Dominanz .95
Aggressivität .40 .88
Lehrer-
urteile
Dominanz .32 .12 .86
Aggressivität .03 .37 .43 .89
3.3.3 Konstruktvalidität
![Page 19: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/19.jpg)
Interessierende Daten:
Daten in der Diagonalen markieren üblicherweise die Reliabilitäten
der einzelnen Methoden
Konvergente Validität liegt vor, wenn Messungen eines Konstrukts,
das mit verschiedenen Methoden erfasst wird, hoch miteinander
korrelieren.
3.3.3 Konstruktvalidität
![Page 20: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/20.jpg)
Multitrait-Multimethod-Matrix
Methode Fragebogen Lehrerurteile
Trait Dominanz Aggressivität Dominanz Aggressivität
Frage-
bogen
Dominanz .95
Aggressivität .40 .88
Lehrer-
urteile
Dominanz .32 .12 .86
Aggressivität .03 .37 .43 .89
3.3.3 Konstruktvalidität
![Page 21: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/21.jpg)
Interessierende Daten:
Daten in der Diagonalen markieren üblicherweise die Reliabilitäten
der einzelnen Methoden
Konvergente Validität liegt vor, wenn Messungen eines Konstrukts,
das mit verschiedenen Methoden erfasst wird, hoch miteinander
korrelieren.
Diskriminante Validität liegt vor, wenn Messungen verschiedener
Konstrukte, die mit derselben Methode oder mit unterschiedlichen
Methoden erfasst werden, nicht oder nur gering miteinander
korrelieren.
3.3.3 Konstruktvalidität
![Page 22: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/22.jpg)
Multitrait-Multimethod-Matrix
Methode Fragebogen Lehrerurteile
Trait Dominanz Aggressivität Dominanz Aggressivität
Frage-
bogen
Dominanz .95
Aggressivität .40 .88
Lehrer-
urteile
Dominanz .32 .12 .86
Aggressivität .03 .37 .43 .89
3.3.3 Konstruktvalidität
![Page 23: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/23.jpg)
Multitrait-Multimethod-Matrix
Methode Fragebogen Lehrerurteile
Trait Dominanz Aggressivität Dominanz Aggressivität
Frage-
bogen
Dominanz .95
Aggressivität .40 .88
Lehrer-
urteile
Dominanz .32 .12 .86
Aggressivität .03 .37 .43 .89
3.3.3 Konstruktvalidität
![Page 24: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/24.jpg)
Interessierende Daten:
Daten in der Diagonalen markieren üblicherweise die Reliabilitäten
der einzelnen Methoden
Konvergente Validität liegt vor, wenn Messungen eines Konstrukts,
das mit verschiedenen Methoden erfasst wird, hoch miteinander
korrelieren.
Diskriminante Validität liegt vor, wenn Messungen verschiedener
Konstrukte, die mit derselben Methode oder mit unterschiedlichen
Methoden erfasst werden, nicht oder nur gering miteinander
korrelieren.
Bei Nutzung der gleichen Methode liefern Korrelationen zwischen den
unterschiedlichen Konstrukten Evidenz für Methodenbias
3.3.3 Konstruktvalidität
![Page 25: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/25.jpg)
Multitrait-Multimethod-Matrix
Methode Fragebogen Lehrerurteile
Trait Dominanz Aggressivität Dominanz Aggressivität
Frage-
bogen
Dominanz .95
Aggressivität .40 .88
Lehrer-
urteile
Dominanz .32 .12 .86
Aggressivität .03 .37 .43 .89
3.3.3 Konstruktvalidität
![Page 26: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/26.jpg)
Multitrait-Multimethod-Matrix
Methode Fragebogen Lehrerurteile
Trait Dominanz Aggressivität Dominanz Aggressivität
Frage-
bogen
Dominanz .95
Aggressivität .40 .88
Lehrer-
urteile
Dominanz .32 .12 .86
Aggressivität .03 .37 .43 .89
3.3.3 Konstruktvalidität
![Page 27: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/27.jpg)
3.3.3 Konstruktvalidität
Multitrait-Multimethod-Matrix
A und B sind verschiedene Merkmale
R = Reliabilitäten
MH = Mono-Trait-Hetero-Method-Korrelationen
HM = Hetero-Trait-Mono-Method-Korrelationen
HH = Hetero-Trait-Hetero-Method-Korrelationen
![Page 28: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/28.jpg)
3.3.3 Konstruktvalidität
Multitrait-Multimethod-Matrix
A und B sind verschiedene Merkmale
R = Reliabilitäten
MH = Mono-Trait-Hetero-Method-Korrelationen
HM = Hetero-Trait-Mono-Method-Korrelationen
HH = Hetero-Trait-Hetero-Method-Korrelationen
Konvergente Validität: Mono-Trait-Hetero-Method-Korrelationen (MH)
Diskriminante Validität: Hetero-Trait-Korrelationen (HM + HH)
Methodenbias: Hetero-Trait-Mono-Method-Korrelationen > Hetero-Trait-
Hetero-Method-Korrelationen (HM > HH)
![Page 29: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/29.jpg)
Im Resultat einer Multitrait-Multimethod-Analyse sollte ein guter Test eines
speziellen Konstrukts über 3 Eigenschaften verfügen:
1) Punktwerte des Tests sollten mit Punktwerten anderer Tests, die das
gleiche Konstrukt messen, hoch korrelieren (konvergente Validität).
2) Punktwerte des Tests sollten mit Punktwerten anderer Tests, die ein
anderes Konstrukt messen, nicht korrelieren (diskriminante Validität).
3) Die gewählte Messmethode sollte möglichst geringen Bias zeigen.
3.3.3 Konstruktvalidität
![Page 30: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/30.jpg)
Ein echtes empirisches Beispiel
![Page 31: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/31.jpg)
31
Übungsaufgabe
Methode Fragebogen Beobachterurteile
Trait Agency Communion Agency Communion
Frage-
bogen
Agency .87
Communion .02 .86
Beobach-
terurteile
Agency .27 .03 .89
Communion .11 .18 .23 .90
Interpretieren Sie folgende Multitrait-Multimethod-Matrix
![Page 32: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/32.jpg)
Anforderungen an die Validität eines Tests (allgemeine Richtlinien):
• Test muss in einem solchem Maß valide sein, dass Einsatz besser als Unterlassung.
• Die Validität sollte bei neuen Tests höher als bei älteren sein, oder die Ökonomie der Durchführung sollte sich bei gleicher Validität verbessern.
• Die Höhe der Validität sollte proportional zur Wichtigkeit der Entscheidung sein.
3.3.3 Validität
![Page 33: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/33.jpg)
3.4 Zusammenfassung Gütekriterien
Wechselbeziehungen zwischen den Gütekriterien Objektivität,
Reliabilität und Validität (nach Lienert)
Partielle Inkompatibilität von Reliabilität und Validität?
![Page 34: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/34.jpg)
34
3.4 Zusammenfassung Gütekriterien
![Page 35: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/35.jpg)
35
3.4 Zusammenfassung Gütekriterien
![Page 36: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/36.jpg)
36
Gliederung der Vorlesung
1. Einführung
2. Psychologische Tests
– Verschiedene Arten psychologischer Tests
– Items
– Statistische Itemanalysen
– Faktorenanalyse
– Normierung
3. Testgütekriterien
– Objektivität
– Reliabilität
– Validität
4. Entscheidungstheoretische Modelle
– Entscheidungsstrategien
– Güte diagnostischer Entscheidungen
– Nutzen diagnostischer Entscheidungen
5. Diagnostische Urteilsbildung
![Page 37: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/37.jpg)
Hintergrund: Bedeutung diagnostischer Entscheidungen
Auf Basis diagnostischer Informationen (z.B. durch Tests, Interviews etc.)
werden Entscheidungen über anstehende Fragen gefällt:
- Ein Bewerber wird eingestellt,
- ein Kind wird einer bestimmten Schulform zugeordnet,
- ein Klient erhält eine Verhaltenstherapie,
- ein Strafgefangener wird nicht vorzeitig aus der Haft entlassen etc.
Mit dem Einsatz von Tests und anderen diagnostischen Verfahren wird
die Erwartung verbunden, zu besseren Empfehlungen und
Entscheidungen zu gelangen, als es ohne diese Verfahren möglich ist.
![Page 38: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/38.jpg)
4. Entscheidungstheoretische Modelle
Lit.: Krohne & Hock (Kap. 6) und Amelang & Schmidt-Atzert (Kap. 6)
• Entscheidungstheoretische Überlegungen in der psychologischen
Diagnostik bei Selektionsentscheidungen, vor allem bei der
Personalauswahl:
4.1 Verschiedene Entscheidungsstrategien
4.2 Bestimmung der Güte von Selektionsentscheidungen
4.3 Evaluation des finanziellen Nutzens von diagnostischen Verfahren
und darauf basierender Vergleich von alternativen diagnostischen
Auswahlprozeduren
![Page 39: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/39.jpg)
4.1 Entscheidungsstrategien
Sind Ablehnungen möglich spricht man von Selektionsentscheidungen
(z.B. Bewerber um einen Studienplatz in Psychologie)
Verbleiben alle Probanden im System spricht man von Platzierung (z.B.
Rangordnung der Studenten nach Klausur)
Diagnostische Entscheidungen können auf einstufigen oder
mehrstufigen (sequentiellen) Testungen basieren:
Einstufig: Zuordnung erfolgt auf der Basis einer punktuell-einmaligen
Diagnose (z.B. Abschneiden in IQ-Test)
Mehrstufig: Zuordnung ist das Resultat eines gestuften Vorgehens in
mehreren Schritten (z.B. Abschneiden in IQ-Test + Konzentrationstest)
Diagnostische Informationen können ein- oder mehrdimensional sein:
univariat (z.B. Abiturnote)
mulitvariat (z.B. Abiturnote + Praktikumsbeurteilung)
![Page 40: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/40.jpg)
4.1 Entscheidungsstrategien
Informationen
über eine PersonEntscheidung
Akzeptiert
Abgelehnt
Geeignet
Ungeeignet
Ungeeignet
Geeignet
Entscheidungsprozess bei einer Selektionsentscheidung (Personalauswahl)
![Page 41: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/41.jpg)
Einfachste Strategie:
• Single Cutoff:
Wenn x ≥ c akzeptiere den Kandidaten, andernfalls lehne ihn ab
Beispiel:
Wenn Bachelorabschluss in Psychologie ≤ 2.7, Zulassungs-
voraussetzung für Master ist erfüllt (sonst Ablehnung)
4.1 Entscheidungsstrategien
![Page 42: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/42.jpg)
4.1.1 Kompensatorische und konjunktive
Entscheidungsstrategien
• In der diagnostischen Praxis werden meist mehrere diagnostisch
relevante Informationen über einen Probanden erhoben:
→ Bewerber sollten über mehrere Eigenschaften verfügen
(z.B. Pilot = gutes Sehvermögen + hohe Konzentrationsfähigkeit)
• Entscheidende Frage:
→ Wie kombiniert (oder verrechnet) man diese Informationen
(Prädiktoren)?
• Kompensatorisches Entscheidungsmodell:
→ Prädiktoren können sich gegenseitig ausgleichen (kompensieren)
→ Es wird ein Gesamtwert berechnet, in dem beide Merkmale gleich
gewichtet oder auch mit unterschiedlichen Gewichten eingehen
→ Beispielsweise könnten niedrige Leistungen in einem Prädiktor durch
hohe in dem anderen wettgemacht werden (jedoch nicht in jedem
Fall)
![Page 43: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/43.jpg)
4.1.1 Kompensatorische Entscheidungsstrategie
![Page 44: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/44.jpg)
Paaraufgabe
Entwerfen Sie eine kompensatorische Entscheidungs-
strategie für die Zulassung zum Bachelor-
Psychologiestudium.
![Page 45: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/45.jpg)
4.1.1 Kompensatorische Entscheidungsstrategie
Disjunktive Entscheidungsstrategie („Oder-Strategie“):
• extreme Variante der Kompensationsstrategie
• Es genügen entsprechend hohe Werte in einem der Prädiktoren
(Ähnlichkeit zu single Cut-off Strategie)
• Personen werden akzeptiert, wenn sie auf mindestens einer der
entscheidungsrelevanten Variablen hohe Werte erreichen
Bsp.: Personen mit einem Abitur < 1.2 akzeptieren ODER
Ergebnisse im Eingangstest haben T-Wert > .70
Bei sehr gutem Abschneiden im Abitur wäre das Abschneiden im
Eingangstest vollkommen irrelevant (und umgekehrt)
![Page 46: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/46.jpg)
Disjunktive Entscheidungsstrategie
(„Oder-Strategie“)
![Page 47: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/47.jpg)
Paaraufgabe
Entwerfen Sie eine disjunktive Entscheidungsstrategie für
die Zulassung zum Master-Psychologiestudium.
![Page 48: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/48.jpg)
4.1.1 Kompensatorische und konjunktive
Entscheidungsstrategien
Nachteil kompensatorische Entscheidungsstrategie:
• Strategie ist dysfunktional, wenn in jedem Teilbereich bestimmt
Mindestleistungen unabdingbar vorliegen müssen (d.h. Kompensation
unmöglich ist)
→ Beispiel: Chirurg kann mangelnde feinmotorische Kompetenz nicht
durch Intelligenz kompensieren
• Konjunktive Entscheidungsstrategie („Und-Strategie“):
→ bestimmte Leistungen sind in jedem Bereich zu erbringen
→ Probanden, die zuvor festgelegte Mindestwerte in den Prädiktoren
nicht erreichen, werden „abgeschnitten“ (multiples Cut-Off Modell)
![Page 49: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/49.jpg)
4.1.1 Konjunktive Entscheidungsstrategie
Person 3
![Page 50: Vorlesung - home.uni-leipzig.dehome.uni-leipzig.de/diffdiag/lehre/Vorlesungen/Diagnostik_Testtheorie/... · Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden](https://reader030.vdocuments.mx/reader030/viewer/2022041207/5d63649088c9936c668b8c10/html5/thumbnails/50.jpg)
Übungsaufgabe
Was passiert mit Personen 1-4 in der
- kompensatorischen (diagonal gepunktet)
- disjunktiven (gestrichelt)
- konjunktiven (gestrichelt)
Strategie?
Fassen Sie die Ergebnisse für jede Person
zusammen.