testtheorie (vorlesung 13: 19.5.15) wiederholung: richtigstellung gewichtung von mittelwerten: ...
TRANSCRIPT
![Page 1: Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Richtigstellung Gewichtung von Mittelwerten: Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen:](https://reader035.vdocuments.mx/reader035/viewer/2022062818/570491c71a28ab14218dba5a/html5/thumbnails/1.jpg)
Testtheorie (Vorlesung 13: 19.5.15)
Wiederholung: Richtigstellung
Gewichtung von Mittelwerten: Gegeben:
Mittelwerte:Stichprobengrössen:Stichprobenvarianzen:
Es gilt:
![Page 2: Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Richtigstellung Gewichtung von Mittelwerten: Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen:](https://reader035.vdocuments.mx/reader035/viewer/2022062818/570491c71a28ab14218dba5a/html5/thumbnails/2.jpg)
Testtheorie (Vorlesung 13: 19.5.15)
Validität eines Tests:
Klassische Definition von Kelley (1927):Test ist valide, falls er das misst, was er zu messen vorgibt.
Ein Test misst genau das, was er zu mes-sen vorgibt, wenn die systematischen Variationen der Testwerte ausschliesslich durch Unterschiede im zugrunde liegen-den Zielkonstrukt verursacht sind (und nicht durch Variation anderer Konstrukte).
![Page 3: Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Richtigstellung Gewichtung von Mittelwerten: Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen:](https://reader035.vdocuments.mx/reader035/viewer/2022062818/570491c71a28ab14218dba5a/html5/thumbnails/3.jpg)
Testtheorie (Vorlesung 12: 12.5.15)
Validität
Konzept: Validität eines Tests(Bsp. 2-19)
![Page 4: Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Richtigstellung Gewichtung von Mittelwerten: Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen:](https://reader035.vdocuments.mx/reader035/viewer/2022062818/570491c71a28ab14218dba5a/html5/thumbnails/4.jpg)
Testtheorie (Vorlesung 13: 19.5.15)
Validität
»sinnvolle« und »unsinnige« Arten von Validitäten: Sinnvoll: Konstruktvalidität: Korrektheit des
Testmodells. Wenig sinnvoll im Testkontext:
Kriteriums- & prädiktive Validität aus unterschiedlichen Gründen.
![Page 5: Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Richtigstellung Gewichtung von Mittelwerten: Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen:](https://reader035.vdocuments.mx/reader035/viewer/2022062818/570491c71a28ab14218dba5a/html5/thumbnails/5.jpg)
Testtheorie (Vorlesung 13: 19.5.15)
Wiederholung: Validität
Das Grundproblem: Validität kann – ähnlich wie die Reliabilität – nur
modellabhängig gemessen werden. Dies bedeutet, dass ein gültiges Modell vorliegen
muss, welches die relevanten Relationen (approxi-mativ) korrekt abbildet (Konstruktvalidität), damit Validität geschätzt werden kann.
Eine Korrelation zwischen 2 Beobachtungen reicht nicht, da unklar ist, wie diese zustande kam.
![Page 6: Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Richtigstellung Gewichtung von Mittelwerten: Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen:](https://reader035.vdocuments.mx/reader035/viewer/2022062818/570491c71a28ab14218dba5a/html5/thumbnails/6.jpg)
Testtheorie (Vorlesung 13: 19.5.15)
Wiederholung: Validität
Messung mittels latenter Variablenmodelle Standardisierter Ladungskoeffizient. Falls Test nur von einem latenten Konstrukt
beeinflusst wird, so gilt:
Eindeutige Validitätsvarianz (Bollen, 1989).
![Page 7: Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Richtigstellung Gewichtung von Mittelwerten: Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen:](https://reader035.vdocuments.mx/reader035/viewer/2022062818/570491c71a28ab14218dba5a/html5/thumbnails/7.jpg)
Testtheorie (Vorlesung 13: 19.5.15)
Validität
Konzept: Eindeutige Validitätsvarianz:Jener Anteil der Truescore-Varianz /
Reliabilität, der eindeutig auf das zu messende Konstrukt zurückzuführen ist.
![Page 8: Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Richtigstellung Gewichtung von Mittelwerten: Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen:](https://reader035.vdocuments.mx/reader035/viewer/2022062818/570491c71a28ab14218dba5a/html5/thumbnails/8.jpg)
Testtheorie (Vorlesung 13: 19.5.15)
Validität
Eindeutige Validitätsvarianz: Berechnung mit AMOS:1. Herauspartialisieren des Varianzanteils im
Zielkonstrukt , der durch andere Konstrukte erklärt werden kann.
2. Berechnung der Reliabilität in Y aufgrund des Zielkonstrukts mit der reduzierten Varianz, d.h. ohne den durch anderen Konstrukte erklärten Vaianzanteils.
![Page 9: Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Richtigstellung Gewichtung von Mittelwerten: Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen:](https://reader035.vdocuments.mx/reader035/viewer/2022062818/570491c71a28ab14218dba5a/html5/thumbnails/9.jpg)
Testtheorie (Vorlesung 13: 19.5.15)
Validität
Eindeutige Validitätsvarianz: Berech-nungsbeispiel:
![Page 10: Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Richtigstellung Gewichtung von Mittelwerten: Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen:](https://reader035.vdocuments.mx/reader035/viewer/2022062818/570491c71a28ab14218dba5a/html5/thumbnails/10.jpg)
Testtheorie (Vorlesung 13: 19.5.15)
Validität
Eindeutige Validitätsvarianz: Berechnung
Problem: Berücksichtigt nicht, dass ein Teil der Varianz in EI durch V erklärt werden kann.
![Page 11: Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Richtigstellung Gewichtung von Mittelwerten: Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen:](https://reader035.vdocuments.mx/reader035/viewer/2022062818/570491c71a28ab14218dba5a/html5/thumbnails/11.jpg)
Testtheorie (Vorlesung 13: 19.5.15)
Validität
Eindeutige Validitätsvarianz: Berechnung Ansatz: Die durch andere Variablen er-
klärte Varianz in EI entfernen.
![Page 12: Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Richtigstellung Gewichtung von Mittelwerten: Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen:](https://reader035.vdocuments.mx/reader035/viewer/2022062818/570491c71a28ab14218dba5a/html5/thumbnails/12.jpg)
Testtheorie (Vorlesung 13: 19.5.15)
Validität
Eindeutige Validitätsvarianz: Berechnung mittels Matrizen (Excel):1. Reliabilität = Varianzanteil, welcher durch alle latenten
Konstrukte in Messung Y induziert (erklärt) wird.2. Subtrahiere Varianz, die von Konstrukten ohne das
Zielkonstrukt erklärt wird.Zentral: Die Erklärung der Varianz in Y durch andere Konstrukte muss die Tatsache mit einbeziehen, dass diese Konstrukte mit dem Zielkonstrukt korreliert sind.
![Page 13: Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Richtigstellung Gewichtung von Mittelwerten: Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen:](https://reader035.vdocuments.mx/reader035/viewer/2022062818/570491c71a28ab14218dba5a/html5/thumbnails/13.jpg)
Testtheorie (Vorlesung 13: 19.5.15)
Validität
Eindeutige Validitätsvarianz: Berechnung: Varianz in Y durch EI und V erklärt:
Varianz in Y, die durch V erklärt wird, unter Ein-beziehung der Tatsache, dass EI und V korreliert sind:
![Page 14: Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Richtigstellung Gewichtung von Mittelwerten: Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen:](https://reader035.vdocuments.mx/reader035/viewer/2022062818/570491c71a28ab14218dba5a/html5/thumbnails/14.jpg)
Testtheorie (Vorlesung 13: 19.5.15)
Trennschärfe: Konzept
Unter der Trennschärfe eines Items versteht man in der klassischen Testtheorie die Kor-relation des Items mit dem Gesamtergebnis eines Tests.Problem: Vermischung von Konzept und MessungTrennschärfe: Fähigkeit eines Tests, Personen mit hohem Wert auf dem latenten Konstrukt von solchen mit geringem Wert zu unterscheiden.
![Page 15: Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Richtigstellung Gewichtung von Mittelwerten: Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen:](https://reader035.vdocuments.mx/reader035/viewer/2022062818/570491c71a28ab14218dba5a/html5/thumbnails/15.jpg)
Testtheorie (Vorlesung 13: 19.5.15)
Trennschärfe: Messung
Der Ladungskoeffizient (standardisiert oder unstandardisiert) ist ein direktes Mass für die Trennschärfe:1. (unstandardisiert) repräsentiert die erwartete
Zunahme in der Messung Y (in Einheiten von Y), wenn sich der Konstruktwert um eine Einheit erhöht (Bei Konstanthaltung der Werte der anderen Konstrukte).
2. (standardisiert) repräsentiert die erwartete Zunahme in der Messung Y (in Standardeinheiten), wenn sich der Konstruktwert um eine Standardeinheit erhöht.
![Page 16: Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Richtigstellung Gewichtung von Mittelwerten: Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen:](https://reader035.vdocuments.mx/reader035/viewer/2022062818/570491c71a28ab14218dba5a/html5/thumbnails/16.jpg)
Testtheorie (Vorlesung 13: 19.5.15)
Trennschärfe: Messung
Somit: Je höher die Ladung, desto stärker die Änderung der Messung mit der Änderung des Konstruktwertes.
Die Ladung repräsentiert daher direkt die Sensi-tivität der Messung bezüglich Veränderungen im Konstrukt.
Das oben genannte Mass (Korrelation zwischen Test und Summe der Tests) kann als Approxima-tion betrachtet werden, indem die Summe als Repräsentation des Konstrukts betrachtet wird.
![Page 17: Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Richtigstellung Gewichtung von Mittelwerten: Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen:](https://reader035.vdocuments.mx/reader035/viewer/2022062818/570491c71a28ab14218dba5a/html5/thumbnails/17.jpg)
Testtheorie (Vorlesung 13: 19.5.15)
Minderungskorrektur:
Alternative Begriffe: Korrektur des Ausdünnungseffekts. Korrektur des Abschwächungseffekts. Korrektur des Attenuationseffekts.
![Page 18: Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Richtigstellung Gewichtung von Mittelwerten: Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen:](https://reader035.vdocuments.mx/reader035/viewer/2022062818/570491c71a28ab14218dba5a/html5/thumbnails/18.jpg)
Testtheorie (Vorlesung 13: 19.5.15)
Minderungskorrektur:
Grundidee: Aufgrund des Messfehlers repräsen-tiert die Korrelation zwischen 2 Messungen nicht die Korrelation zwischen den Konstrukten.
Korrelation zwischen den Konstrukten wird unterschätzt (daher der Ausdruck Minderung).
Folgerung: Stabilität von Konstrukten über die Zeit hinweg oder über verschiedene Situationen hinweg wird unterschätzt.
![Page 19: Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Richtigstellung Gewichtung von Mittelwerten: Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen:](https://reader035.vdocuments.mx/reader035/viewer/2022062818/570491c71a28ab14218dba5a/html5/thumbnails/19.jpg)
Testtheorie (Vorlesung 13: 19.5.15)
Minderungskorrektur:
Zentral: Das Problem existiert bei dem von uns gewählten Ansatz nicht, da die Konstrukte, deren Korrelation, sowie die Messfehler explizit in Mo-dell repräsentiert sind.
Das Modell unterscheidet zwischen Korrelationen zwischen Messungen und Korrelationen zwischen Konstrukten.
Das Problem existiert also nur für die »alte«, koeffizientenbasierte Testtheorie.
![Page 20: Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Richtigstellung Gewichtung von Mittelwerten: Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen:](https://reader035.vdocuments.mx/reader035/viewer/2022062818/570491c71a28ab14218dba5a/html5/thumbnails/20.jpg)
Testtheorie (Vorlesung 13: 19.5.15)
Minderungskorrektur:
Vorgehensweise: 1. Berechne die Reliabilitäten der beiden Messungen Y1
und Y2 der beiden Konstrukte (z.B. durch Ermittlung von Koeffizient ): und .
2. Dividiere die ermittelte Korrelation zwischen den Messungen durch die Wurzel aus dem Produkt der beiden Reliabilitäten:
![Page 21: Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Richtigstellung Gewichtung von Mittelwerten: Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen:](https://reader035.vdocuments.mx/reader035/viewer/2022062818/570491c71a28ab14218dba5a/html5/thumbnails/21.jpg)
Testtheorie (Vorlesung 13: 19.5.15)
Minderungskorrektur:
Beispiel (Siehe Bsp.2-22, Manuskript Seite 105):Erhöhung der Reliabilität durch Datenaggregation
![Page 22: Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Richtigstellung Gewichtung von Mittelwerten: Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen:](https://reader035.vdocuments.mx/reader035/viewer/2022062818/570491c71a28ab14218dba5a/html5/thumbnails/22.jpg)
Testtheorie (Vorlesung 13: 19.5.15)
Minderungskorrektur:
Beispiel (Siehe Bsp.2-22, Manuskript Seite 105):Grenzen der Minderungskorrektur
![Page 23: Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Richtigstellung Gewichtung von Mittelwerten: Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen:](https://reader035.vdocuments.mx/reader035/viewer/2022062818/570491c71a28ab14218dba5a/html5/thumbnails/23.jpg)
Testtheorie (Vorlesung 13: 19.5.15)
Übungen
Übung 2-19 Übung 2-20