folie 1 theorie und konstruktion psychologischer tests

Folie 1

Theorie und Konstruktion psychologischer Tests

Folie 2

Literatur

• Hans Irtel

Entscheidungs- und testtheoretische Grundlagen der Psychologischen Diagnostik

Frankfurt am Main: Verlag Peter Lang, 1996 (ISBN 3-631-49374-6)

im Web als PDF

Folie 3

Gliederung

• Wahrscheinlichkeitstheorie

• Klassische Testtheorie

• Logistische Testmodelle

• Entscheidungstheorie

Folie 4

Warum brauchen wir die Wahrscheinlichkeitstheorie?

• Psychologische Daten unterliegen vielen Einflußgrößen, viele davon sind nicht kontrollierbar.

• Eine Wiederholung einer Erhebung liefert nicht mit Sicherheit das gleiche Ergebnis.

• Bei einem guten Test reproduzibel: Statistische Daten (Mittelwerte, Streuungen)

Folie 5

Wahrscheinlichkeitstheorie I

• Mengenlehre

• Was ist Zufall?

• Der Wahrscheinlichkeitsraum

• Bedingte Wahrscheinlichkeiten

Folie 6

Warum brauchen wir die Mengenlehre?

• Wahrscheinlichkeitsberechnungen beruhen auf dem Vergleich der Mächtigkeit von Mengen.

Folie 7

Mengenlehre I• Naive Mengenlehre (Cantor)

– Eine Menge ist eine Zusammenfassung von von bestimmten wohl unterschiedenen Objekten (Elementen)

– Schreibweisen: M = {a,b,c...}, M={xN|x>7}, – Teilmenge: AB (xAxB), BA

– Vereinigungsmenge: AB = {x|xAxB}

– Schnittmenge: AB = {x|xAxB}

– Komplement, Differenz: A = \ A {x|xxA}

– Kommutativität, Assoziativität, Distributivität

– De Morgan: AB = AB, AB = AB

– A sei eine Menge. Potenzmenge: Menge aller Teilmengen X={x|xA}

– Menge aller Mengen

– Menge aller Mengen die sich nicht selbst enthalten (Russell)

– Russell: Typentheorie. Zermelo-Fraenkel-Mengenlehre. Gödel.

Folie 8

Mengenlehre II

• kartesisches Produkt: AB = {(a,b)|aAbB}

• ABC, AAA = A3

• binäre Relation: RAB. Statt (a,b)R schreibe aRb.Beispiel: K = {(a,b)|(a,b)NNa<b}– reflexiv a: aRa

– symmetrisch a,b: (aRb bRa)

– transitiv a,b,c: (aRb bRc aRc)

– äquivalent: RAA reflexiv, symmetrisch, und transitiv. a~b

– Äquivalenzklasse: KA, K,aKbK a~b,aKa~b bK

Schreibweise: {xA|x~a} = [a]K=[a], K'=[b] K=K' KK'=

A

AB

B

Folie 9

Mengenlehre III

• Zerlegung: Sei A eine Menge, und ~ eine Äquivalenzrelation auf A.

Dann heißt die Menge A/~ aller Äquivalenzklassen von A bzgl. ~

die von ~ induzierte Zerlegung.– K,LA/~ KL KL=– Vereinigungsmenge aller Elemente von A/~

– Definition von ~ über eine Zerlegung

– Zerlegung eines Hypothesenraums für die Hypothesenprüfung nach Bayes

Folie 10

Mengelehre IV

• Eine binäre Relation f auf AB heißt eine Abbildung,wenn gilt– f ist linkstotal: aA bB sodaß (a,b)f.– f ist rechtseindeutig: (a,b)f (a,c)f b=c– A: Definitionsbereich, B: Wertebereich von f.– alternativer Name: Funktion. – Schreibweisen: (a,b)f, afb, b=f(a), f: AB, – MA, NB : f(M)=N heißt „Bild von M“, f–1(N)=M „Urbild von N“– surjektiv: bB aA sodaß (a,b)f. rechtstotal. bitotal.– injektiv: (a,c)f (b,c)f a=b. linkseindeutig. eineindeutig.– bijektiv: surjektiv und injektiv.– Sei f bijektiv. Dann ist auch die „Umkehrabbildung“ f –1 bijektiv.– endlich, unendlich; abzählbar, überabzählbar

Folie 11

Mengenlehre und Logik

• Verwandtschaft von Mengenlehre und Logik– A– A– Hausaufgaben (unter anderem):

• überprüfen, welche Gesetze der Mengelehregenauso in der Logik gelten.

• vertraut machen mit Wahrheitstafeln! , , , ,

Folie 12

Zufallsexperimente

• Ergebnis nicht mit Sicherheit vorhersagbar,Menge aller möglichen Ergebnisse bekannt.„Ergebnisraum“ = {1, 2, 3, ...}– Beispiel: Detektionsexperiment

• Ergebnisraum: = {+,}

– Beispiel: Stellung von Ehepaaren zu Geschwindigkeitsbegrenzung auf Autobahnen

• Ergebnisraum: = {0,1,2} (Zahl der Ja-Antworten)

• Ergebnisraum: = {(J,J),(J,N),(N,J),(N,N)}

– Ergebnisraum hängt• von der Struktur des Experimentes

• und von der Fragestellung ab

Folie 13

Ereignisse

• Teilmenge A des Ergebnisraums ist ein „Ereignis“.– Ergebnis i (direkt) beobachtbar: Ausgang des Experiments– Ereignis = wahrscheinlichkeitstheoretisches Konzept:

„Ereignis tritt ein / wird (indirekt) beobachtet “ = Ergebnis Ereignis

– Beispiel: E = „Ehepaar antwortet gleich“ = {0,1,2}: E = {0,2} = {(J,J),(J,N),(N,J),(N,N)}: E = {(J,J),(N,N)}

– Elementarereignis: Ereignis mit nur einem Element, {i}– Ergebnisraum und leere Menge sind Ereignisse

– Operationen auf Ereignissen: Vereinigung, Schnittmenge, Komplement

Folie 14

Wahrscheinlichkeiten von Ereignissen

für endliche oder abzählbare(„diskrete“) Ergebnisräume:

• Wahrscheinlichkeit:P: Potenzmenge() R so daß– P({i}) 0,

– P({1}) + P({2}) + P({3}) + .... = 1.

– P(A) = AP({})

– keine weitere Annahmen über P({i}),insbesondere nicht gleichwahrscheinlich

• Problem bei überabzählbaren Mengen

Folie 15

-Algebra

• Axiomatische Definition nach Kolmogorov:

Sei ein Ergebnisraum, und S eine Menge von Teilmengen von ,dann heißt S eine -Algebra in , wenn gilt S

– A S A S

– A1, A2, A3... S A1 A2 A3... S

• S ist abgeschlossen bzgl. Komplement, , • S kann abzählbar sein,

auch wenn überabzählbar ist.

Folie 16

Wahrscheinlichkeitsraum

• Sei ein Ergebnisraum und S eine -Algebra in .Dann ist die Abbildung P: S R eine Wahrscheinlichkeit, wenn gilt:– P(A) 0 für alle AS,

– P() = 1, -Additivität: A1, A2, A3... S , paarweise disjunkt

P(A1 A2 A3...) = P(A1) + P(A2) + P(A3) +...

• Übungen: , P(A), AB

Folie 17

Bedingte Wahrscheinlichkeit

• Seien A und B Ereignisse, mit P(B)>0.Dann wird die bedingte Wahrscheinlichkeit, daß A eintritt „gegeben B“, definiert als:

P(A|B) P(AB)/P(B)

• Beispiel: ein Säckchen enthalte weiße und schwarze Spielsteine aus Holz und aus Plastik:

40 weiße aus Holz, 10 weiße aus Plastik,30 schwarze aus Holz, 20 schwarze aus Plastik.

Ich ziehe einen Stein. Wie groß ist P(w|H), p(H|w), p(H), p(w), ...

• P(AB) = P(A|B) P(B) = P(B|A) P(A)

Folie 18

Stochastische Unabhängigkeit

• A und B sind stochastisch unabhängig, wenn gilt:P(A|B) = P(A)

• Fragen: P(B|A) = ? P(AB) = ? P(A|B) = ?• Beispiel: A tritt nach B ein. A ist unabhängig von B,

wenn das erste „Teilergebnis“ (aus B oder aus B) keinen Einfluß auf die Wahrscheinlichkeit für das Auftreten von A hat.

• Zwei Ereignisse seien disjunkt. Beide haben eine Wahrscheinlichkeit größer Null.Können sie unabhängig sein?

Folie 19

Unabhängige Familien

• Sei C eine Menge von Ereignissen.C heißt Familie unabhängiger Ereignisse, wenn für alle endlichen Teilmengen von C gilt:P(A1A2A3...) = P(A1) P(A2) P(A3) ...

• Reicht paarweise Unabhängigkeit aller Elemente für die Unabhängigkeit der Familie?

Folie 20

Bayes

• Sei {B1, B2, ...} eine Zerlegung von .(paarweise disjunkt, Vereinigung aller Bi = ).Dann gilt:

N

iii

jjjjj

BPBAP

BPBAP

AP

BPBAPABP

1

)()|(

)()|(

)(

)()|()|(

• Beispiel: Bi (unbeobachtbare) Hypothesen, A (beobachtbare) Versuchsergebnisse,P(A|Bi) bekannt („Voraussagen“), P(Bi) a priori Wahrscheinlichkeiten für Hypothesen,P(Bi|A) a posteriori Wahrscheinlichkeiten der Hypothesen.

Folie 21

Beispiel: Entscheidungstheorie• Jeder Stimulus löst eine interne Repräsentation aus, die sich durch einen

eindimensionalen Parameter e beschreiben läßt.

• e ist Gauß-verteilt , mit = 1 und µ = 0 (Rauschen) bzw. µ = d‘ (Signal).

• Bei Ja/Nein-Aufgaben setzt die VP ein Kriterium k und sagt „Ja“ wenn e > k.

„Ja“„Nein“RauschenSignal

d‘0

0 2 ek

0

1

0 1p(Ja|R)

p(Ja|S)

)()(

)(

)|()()|()(

)|()()|(

0'

'

ee

e

RePRPSePSP

SePSPeSP

d

d

• P (S | e) ist eine monotone Funktion von e: Ein Kriterium in e ist gleichzeitig ein Kriterium in P (S | e).

Folie 22

Bedingte Unabhängigkeit

• Sei ein Ergebnisraum, S eine -Algebra in ,P eine Wahrscheinlichkeit auf S, und C ein Ereignis.Dann ist auch PC: S R mit PC(A) = P(A|C)eine Wahrscheinlichkeit auf S.

• Zwei Ereignisse A und B heißen „bedingt unabhängig bezüglich C“, wenn sie bezüglich PC unabhängig sind:PC(A|B) = PC(A).PC(AB) = PC(A) PC(B)P(AB|C) = P(A|C) P(B|C)

Folie 23

Zufallsvariablen

• Warum brauchen wir Zufallsvariablen?– Mit Mengen kann man nicht „rechnen“ (+,,...).– Abbildung von auf R bzw. R = R {,}– Abbildung von auf abzählbare Menge bzw. N

Folie 24

Reelle Zufallsvariablen

• Sei ein Ergebnisraum, S eine -Algebra in ,P eine Wahrscheinlichkeit auf S.X: (R bzw.) R heißt (reelle) Zufallsvariable genau dann wenn xR: {|X()x} S

• S = {,}, X ? • Das Urbild jedes Intervalls (,x] ist ein Ereignis.

(S-Meßbarkeit von X).– Dies ermöglicht die Übertragung der Wahrscheinlichkeit P

von der -Algebra S auf den Wertebereich von X.

Folie 25

Verteilungsfunktion

• Definition der Verteilungsfunktion F(x) = P({|X()x}) = P(Xx)

– monoton steigend (warum?)– F(), F(+)

• Gibt es für die reelle Zufallsvariable X: Reine nichtnegative Funktion f: R R

mit F(x) = x

f(y) dy,dann ist f die Wahrscheinlichkeitsdichte von X.

– P(axb) = a

b f(y) dy

f(y) dy = ???

Folie 26

Diskrete Zufallsvariablen

• Sei ein Ergebnisraum, S eine -Algebra in ,P eine Wahrscheinlichkeit auf S.X: E (E abzählbar) heißt diskretes Zufallselement.Zusätzlich ER: X ist diskrete Zufallsvariable.

• Definition der Wahrscheinlichkeitsfunktion p(x) = P({|X()=x}) = P(X=x)

• BE: P(B) = xBp(x).

• Zufallsvariable X: Verteilungsfunktion F(x) = P(Xx) = yxp(y).

• AS: Indikatorfunktion 1A() = 1 wenn A, 0 sonst.

Folie 27

Unabhängige Zufallsvariablen

• Reelle Zufallsvariablen X1, X2, ... sindstochastisch unabhängig, wenn für alle x1, x2, ... R gilt:

P(X1x1, X2x2, ...) = P(X1x1) P(X2x2) ...

• Wenn alle Xi Dichten besitzen, gilt

F(x1,x2,...) = x1

f1(y1) dy1

x2 f2(y2) dy2 ...

= x1

x2 ... f1(y1) f2(y2) dy1 dy2 ...

Wahrscheinlichkeitsdichte

f(x1,x2,...) = f1(x1) f2(x2) ...

Folie 28

Zufallsstichprobe

• Folge von Zufallsexperimenten in einer Population– Jedes Element der Population hat die gleiche

Wahrscheinlichkeit, beobachtet zu werden.

– einzelne Beobachtung: Ergebnis und X() registrieren.

– Die einzelnen Beobachtungen müssen stochastisch unabhängig sein.

• Folge Xi stochastisch unabhängiger und identisch verteilter (P(Xix)=F(x)) Zufallsvariablen.

Folie 29

Modus, Median, Quantile

• Sei X eine reelle Zufallsvariable mit Verteilungsfunktion F(x) und Wahrscheinlichkeitsdichte f(x).– Modus: f(xm) hat ein (lokales?) Maximum -Quantil: F(x) = – Median: 0,5-Quantil

• Sei X eine diskrete Zufallsvariable mit Wahrscheinlichkeitsfunktion p(x) und Verteilungsfunktion F(x).– Modus: p(xm) ist maximal -Quantil: P(Xx) P(Xx) 1–

Folie 30

Erwartungswert, Varianz

• Sei X eine reelle Zufallsvariable mit Wahrscheinlichkeitsdichte f(x).

– Erwartungswert: E (X) =

xf(x) dx

– Varianz: V(X) = ²(X) = E ( (X–E (X))² ) = E (X²) – E (X)²

– Standardabweichung (X) (positive Wurzel von V(X))

• Sei X eine diskrete Zufallsvariable mit Wahrscheinlichkeitsfunktion p(x).– Erwartungswert: E (X) = xX() xp(x)

– Varianz und Standardabweichung wie oben

Folie 31

Rechenregeln mit E und V

• Zufallsvariable „a“ sei konstant: E (a) = a.• E ist linear: E (aX + bY) = a E (X) + b E (Y)• Zufallsvariable „a“ sei konstant: V(a) = 0.• V(X+a) = V(X)• V(aX) = a²V(X)

Folie 32

Vorhersage

• Seien X und Y zwei Zufallsvariablen.• Wie genau erlaubt die Kenntnis von X,

den Wert von Y vorherzusagen, und welcher Wert wäre das?Vorhergesagter Wert Y' = F (X)

• Vereinfachung: Existiert ein linearer Zusammenhang?

Y' = a + b XY' = a + b X + e

Folie 33

Linearität

• Fast jeder Zusammenhang ist– lokal linear– global nichtlinear

Folie 34

Das lineare Modell

• Y' = a + b X• Y' = a + b X + e• e = Y – Y'• E (e) = 0• Ziel: E (e²) minimieren• E (Y) = a + b E (X)• Achsabschnitt

a = E (Y) – b E (X)• Steigung b = ???

Y

X

Y' = a +

b X

ei

Folie 35

Varianz und Kovarianz

• V(X) = VXX = E ( (X–E (X))² )

• V(Y) = VYY = E ( (Y–E (Y))² )

• V(X,Y) = VXY = E ( (X–E (X))(Y–E (Y)) )

• VYX = VXY = E (X·Y) – E (X) E (Y)

• Vxy ist positiv, wenn positive Abweichungen in X mit positiven Abweichungen in Y einhergehen, und negative mit negativen.

• Vxy ist negativ, wenn...

• Vxy ist Null, wenn...

Folie 36

z-transformierte Zufallsvariablen

• Y = a + b X + e

• E (Y) = a + b E (X)

• Wenn X und Y z-transformiert sind,wenn also gilt: E (X) = E (Y) = 0und VXX = VYY = 1,dann gilt für die Regressionsgerade:

Achsabschnitt a = 0

und Steigung b = VXY = E (X·Y)

Folie 37

Vertauschung von X und Y

• Wenn man bei z-transformierten Zufallsvariablen X und Y vertauscht, bleibt die Steigung der Regressionsgerade gleich...

Y

X

Y' = b X

ei

Y

X

X' =

(1/b

) Y

ei

X' = b Y

Koordinaten-ursprung

Folie 38

Korrelationskoeffizient und Steigung

• Steigung bY·X = VXY / VXX

• Steigung bX·Y = VXY / VYY 1 / bY·X = VXX / VXY

• rXY = VXY / (VXX VYY)

• bY·X = rXY (VYY/VXX) = rXY SY/SX

• bX·Y = rXY (VXX/VYY) = rXY SX/SY

• rXY² = VXY² / (VXX VYY)

• E (e²) = VYY ( 1 – rXY² ) = ( 1 – rXY² ) für z-transformierte Daten

Folie 39

Rechenregeln mit Kovarianz

• V(aX + bY) = a²VXX + b²VYY + 2abVXY

• V(i=1...nXi) = i=1...n j=1...n VXiXj

• VX+Y,Z = VXZ + VYZ

• Sind X und Y stochastisch unabhängig, dann gilt– E (X·Y) = E (X) E (Y)

– VXY = 0

– Z=X+Y: VZZ = VX + VY

– Z=X–Y: VZZ =

Folie 40

Tschebyschew

• P(|X–E (X)|) VXX/²

Folie 41

Zentraler Grenzwertsatz

• Seien Xi, i=1...n, unabhängig verteilte Zufallsvariablen (beliebige Verteilungen).

• Dann ist die Summe

Sn = i=1...n Xi

approximativ normalverteilt,mit Erwartungswert E (Sn) = und Varianz V(Sn) =

Folie 42

Mehrdimensionale Zufallselemente

• Sei <,S,P> ein Wahrscheinlichkeitsraum und X und Y Zufallselemente mit Wertebereichen EX und EY. Dann istp: EXEY R, p(x,y) = P(X=x,Y=y) = P({|X()=x Y()=y}) die gemeinsame Wahrscheinlichkeitsfunktion des Zufallsvektors (X,Y).

• P(X=x) = yEY p(x,y) = p(x,*) ist die

Randwahrscheinlichkeitsfunktion von X.

Folie 43

Mehrdimensionale Zufallsvariablen

• Sei <,S,P> ein Wahrscheinlichkeitsraum und X und Y Zufallsvariablen. Sie haben eine gemeinsame Wahrscheinlichkeitsdichte f wenn für alle reellen Zahlen x, y gilt:

P(Xx,Yy) = x

y f(u,v) du dv.

• Dann gilt auch P(Xx) = x f(u,*) du

mit der Randwahrscheinlichkeit f(u,*) =

+ f(u,v) dv.

Folie 44

Bedingte Wahrscheinlichkeitsfunktionen

• Sei <,S,P> ein W.-raum, X und Y Zufallselemente mit Wertebereichen EX und EY, der gemeinsamen W.-funktion p(x,y) und den Randwahrscheinlichkeiten p(x,*) = p(x) und p(*,y) = p(y).

• Sei A = {(x,y)|x=x'}, B= {(x,y)|y=y'} mit P(A) > 0.• Dann gilt

P(B|A) = P(Y=y'|X=x') = P(AB)/P(A) = p(y',x')/p(x').• Definition: p(y|x) p(y,x)/p(x) (für p(x) > 0)

(bedingte Wahrscheinlichkeit für Y gegeben X=x).

Folie 45

Bedingte Wahrscheinlichkeitsfunktionen

• Sei <,S,P> ein W.-raum, X und Y Zufallsvariablen mit der gemeinsamen W.-dichte f(x,y) und den Randwahrscheinlichkeiten f(x,*) = f(x) und f(*,y) = f(y).

• Definition: f(y|x) f(y,x)/f(x) (für f(x) > 0)(bedingte W.-dichte für Y gegeben X=x).

• f(y|x) ist nichtnegativ, +

f(y|x) dy = 1, f(y|x) ist eine Wahrscheinlichkeitsdichte.

• P(Y<y|X=x) = y f(u|x) du.

• E (Y|x) = +

y·f(y|x) dy (bedingter Erwartungswert)

Folie 46

Bedingte Erwartung: eine Zufallsvariable

• Sei <,S,P> ein Wahrscheinlichkeitsraum, X: R eine Zufallsvariable, undH: EH ein diskretes Zufallselement.

• Ist E (X) eine Zufallsvariable? ( R)• Ist E (X|H=h) eine Zufallsvariable?

ausführlichere Schreibweise: E (X|H()=h)• bedingte Erwartung:

TX: R, TX() = tX(H()), mit tX: EH R, tX(h) = E (X|H=h).

Folie 47

Bedingte Erwartung: Rechenregeln

• bedingte Erwartung: TX: R, TX() = tX(H()), mit tX: EH R, tX(h) = E (X|H=h).

• TX+Y = TX + TY

• TaX = a · TX

• allgemein: TX·Y TX · TY

• Spezialfall: Y konstant auf Äquivalenzklassen von /~H: TX·Y = Y · TX

• TY = Y, TTX = TX, E (TX) = E (X)

Folie 48

Klassische Testtheorie

• Der Beobachtungswert setzt sich additiv aus dem „wahren“ Meßwert und einem Fehlerwert zusammen.– Der Fehlerwert wird auch als „statistischer Fehler“

bezeichnet.

– Der „wahre“ Wert muß nicht valide sein („systematischer Fehler“).

• Die Datenerfassung ist ein Zufallsexperiment in zwei Teilen– Auswahl einer Person aus einer Population,

– Erhebung der Daten bei dieser Person.

Folie 49

System psychometrischer Daten

• Sei <,S,P> ein Wahrscheinlichkeitsraum,Xk: R eine endliche Folge von Zufallsvariablen mit endlichem Erwartungswert und endlicher Varianz,und H: A ein diskretes Zufallselement.

• Dann ist <,S,P,{Xk|k=1...n},H> einSystem psychometrischer Daten.

• Beispiel: Herzfrequenz. : {... (P713, 71), (P713, 72), (P713, 73),

... (P714, 71), ...} – H(): P713 (Personenfilter)– X(): 72 (Datenfilter)

HF ... P713 P714 ...

...

71

72

73

...

Folie 50

Personenparameter

• Sei <,S,P,{Xk|k=1...n},H> ein Syst. psychom. Daten.

• Der Personenparameter TXk zur Zufallsvariable Xk ist die

Zufallsvariable TXk: R mit

TXk() = E (X | H(')=H())

• TXk ist auf definiert, ist mit

der -Algebra S auf verträglich, aber auch mit SH, der analogen -Algebra auf /H.

BSH: E (TXk | B) = E (Xk | B).

HF ... P713 P714 ...

...

71

72

73

...

TX 72,3 68,1

Folie 51

Fehlerwert

• Sei <,S,P,{Xk|k=1...n},H> ein Syst. psychom. Daten.

• Der Fehlerwert EXk zur Zufallsvariable Xk ist die

Zufallsvariable EXk: R mit

EXk = Xk – TXk

.HF ... P713 P714 ...

...

71

72

73

...

TX 72,3 68,1

Folie 52

Klassische Testtheorie: Grundannahmen

• Sei <,S,P,{X,Y},H> ein System psychom. Daten.

1. X = TX + EX

2. BSH: E (EX | B) = 0

3. (EX,TX) = 0

4. (EX,TY) = 0

5. ²(X) = ²(TX) + ²(EX) folgt aus den Definitionen vonPersonenparameter und Fehlerwert

6. r(EX,EY) = 0 (zusätzliche Annahme)

IQ ... P713 P714 ...

...

71

72

73

...

TY 72,3 68,1

HF ... P713 P714 ...

...

71

72

73

...

TX 72,3 68,1

Folie 53

Reliabilität

• Rel(X) ²(TX) / ²(X)

²(X,TX) = Rel(X) (s. Irtel)

• 1 = ²(TX) / ²(X) + ²(EX) / ²(X)

1 – Rel(X) = ²(EX) / ²(X)

(EX) = (X) · [1 – Rel(X)]

Folie 54

Abschätzung des Meßfehlers

• In der Meßtheorie ist die Methode der Wahl zur Abschätzung des Meßfehlers die Meßwiederholung.

• Problem: In der Psychodiagnostik kann das gleiche Meßinstrument in der Regel nicht wiederholt eingesetzt werden.

• Ansatz: „Parallele Messungen“, d.h. parallele Testformen, die in den wesentlichen Parametern übereinstimmen.

• Beispiel: Blutdruckmessung linker/rechter Arm

Folie 56

Parallelität verifizieren

• X1 und X2 heißen parallel, wenn lokal unkorreliert undaH(): E (X1|H=a) = E (X2|H=a)aH(): ²(X1|H=a) = ²(X2|H=a)

• Daraus folgtE (X1|H=B) = E (X2|H=B)BH(): ²(X1|H=B) = ²(X2|H=B)

• Daraus folgt: E (X1) = E (X2)²(X1) = ²(X2)

• Der Umkehrschluß ist unzulässig.– In anderen Worten: Parallelität kann man falsifizieren,

nicht verifizieren.

nichtmeßbar

meßbar

Folie 57

Empirische Bestimmung der Reliabilität• X1 und X2 heißen lokal unkorreliert, wenn

aH(): (X1|H=a,X2|H=a) = 0

(EX1,EX2

) = 0

(EX1,EX2

) = 0

(X1,X2) = (TX1,TX2

) = ²(TX1)

(X1,X2) = (X1,X2)/(²(X1)·²(X2))

= ²(TX1) / ²(X1)

= Rel(X1) = Rel(X

2)

• Die Reliabilität eines Tests kann anhand von zwei Parallelformen des Tests bestimmt werden.

Folie 58

Interkorrelationen

• Weitere Möglichkeiten, die Parallelität zu überprüfen:

– Sind Tests X1, X2, ... Xn parallel,dann sind ihre Interkorrelationen gleich:

(X1,X2) = (X1,X3) = (X2,X2) = (X1,X4) = ...

– Sind Tests X1, X2, ... Xn parallel,und ist Test Y mit X1, X2, ... Xn lokal unkorreliert, dann sind die Korrelationen mit Y gleich:

(X1,Y) = (X2,Y) = (X3,Y) = ...

Folie 59

Konfidenzintervall für den Personenparameter

• nach Tschebyschew, P(|Z–E (Z)|) ²(Z)/²,keine Annahmen über die Verteilung von Z:

1 – P(|Z–E (Z)|<) ²(Z)/²1 – ²(Z)/² P(|Z–E (Z)|<) P(|X–TX|<) = P(|EX–E (EX)|<) 1 – ²(EX)/²

²(EX)/² = , nach auflösen: = (EX)/

P(| X–TX|< (EX)/) 1 –

• Konfidenzintervall [x – (EX)/, x + (EX)/]

(EX) = (X) · [1 – Rel(X)]

Folie 60

Konfidenzintervall für den Personenparameter

• unter Annahme einer Normalverteilung:P(|X–TX| < (EX) · z1–/2) = 1 – wo P(Z<zp) = p (Z: Standardnormalvert.)anders gesagt: zp = KNV–1(p) (z0.975 = 1.96)KNV = kumulative Normalverteilung

• Konfidenzintervall [x – (EX) z1–/2, x + (EX) z1–/2]

(EX) = (X) · [1 – Rel(X)]

0

0,5

1

-2,5 -2 -1,5 -1 -0,5 0 0,5 1 1,5 2 2,5 z

Folie 61

Regressionsschätzung

• Alternative zur Schätzung von TX aus x:Der Personenparameter TX wird vorhergesagt aus dem Beobachtungswert x unter Einbeziehung von E (X) und Rel(X):

E (TX|X=x) = a + b xb = Rel(X)a = E (X) · (1–Rel(X))E (TX|X=x) = (1–Rel(X)) · E (X) + Rel(X) · x

• Die Regressionsschätzung ist ein gewichtetes Mittel aus Beobachtungswert und Populationsmittelwert.

Folie 62

Validitäten

• Eignung des Tests, andere, unabhängige Verhaltensdaten (beschreibbar als Zufallsvar. Y, „Kriteriumsvar.“) vorherzusagen

• Validitätskoeffizient (X,Y)• Verdünnungsformel: (X,Y) = (X,Y) / (²(X)·²(Y))

= [(TX,TY)+(EX,EY)+] / (²(X)·²(Y))

= (TX,TY) / ( (²(TX)/Rel(X)) · (²(TY)/Rel(Y)) )

= (Rel(X)·Rel(Y)) · (TX,TY) / (²(TX)·²(TY))

= (Rel(X)·Rel(Y)) · (TX,TY)

wenn X und Y lokal unkorreliert (Irtel wenn nicht)

• Maximalwert der Validität?• Unterschied von Y zu Parallelform des Tests?

Folie 63

Beispiel Eignungsprüfung

• Eine Firma will einen Eignungstest einführen, um geeignete Personen für die Ausbildung auszuwählen.

• Test mit mehrere Parallelformen– Parallelität prüfen:

• E (X1|H=B) = E (X2|H=B) = ...

• ²(X1|H=B) = ²(X2|H=B) = ...

• Interkorrelationen (Xi,Xj), Korrelationen mit externen Kriterien

– Reliabilität bestimmen:(Xi,Xj)

– Validität bestimmen:• Kriteriumsvariable Y festlegen, z.B. Ausbildungserfolg(X,Y)

Folie 64

Validität von selegierten Stichproben

• Die Schätzung der Validität bei selegierten Stichproben basiert auf Annahmen über – die Form des Zusammenhangs zwischen Testwert und

Kriterium, z.B. Linearität (sehr gewagt)

E (Y|x) = + ·x

– über die Varianz des Kriteriums als Funktion des Testwerts, z.B. Unabhängigkeit

x1,x2: ²(Y|x1) = ²(Y|x2)

mit identischen Parametern (, , ²(Y)) für die selegierte wie für die nicht selegierte Population.

Folie 65

Validität von selegierten Stichproben

• Die Selektion bewirkt eine Varianzeinschränkung bei den Testwerten: ²(X') < ²(X). Je höher das Auswahlkriterium gesetzt wird, um so kleiner wird ²(X').

• Bei den obigen Annahmen erhält man als Schätzwert für die Validität:

1

)','(

1)'(1

),(

1)(

22

22

YXX

YXX

1

)','(1

)()'(

1

1),(

22

2

2

YXXX

YX

Folie 66

Reliabilität des Gesamttests

• Ein Test X bestehe aus mehrere Parallelformen X1, X2, ...

²(X1+X2) = ... = 2 ²(X1) + 2 ²(TX1)

= 2 ²(X1) · [1+Rel(X1)]

• Rel(X1+X2) = ²(TX1+X2) / ²(X1+X2)

= ²(TX1+TX2

) / ²(X1+X2)

= 4 ²(TX1) / 2 ²(X1) · [1+Rel(X1)]

= 2 Rel(X1) / [1+Rel(X1)]

• Rel(X1+X2+... +Xn) = n Rel(X1) / [1+(n–1)·Rel(X1)](Spearman-Brown)

Folie 67

Reliabilität der Differenz

• Ein Test X bestehe aus zwei Parallelformen X1 und X2.

²(X1–X2) = ... = 2 ²(X1) – 2 ²(TX1)

= 2 ²(X1) · [1–Rel(X1)]

• Rel(X1–X2) = ²(TX1–X2) / ²(X1–X2)

= ²(TX1–TX2

) / ²(X1–X2)

=

Folie 68

Differenz vorher/nachher

• Ein Test X bestehe aus zwei Parallelformen X1 und X2.Sie sind nur dann parallel, wenn sie unter vergleichbaren Bedingungen erhoben werden.

• Im Rahmen einer Interventionsstudie wird Testform X1 vor und Testform X2 nach einer Intervention erhoben. Die Messung nach der Intervention ist nicht mehr parallel zu der Messung vor der Intervention. Sie wird durch eine eigene Zufallsvariable Y beschrieben:

X1 = TX1 + EX1

, Y = TY + EY

• Annahmen:– Die Intervention ändert nichts an der Streuung: ²(Y) = ²(X1) = ²(X2)

– Der Mittelwert ändert sich: TY = TX2 + TD

Folie 69

Differenz vorher/nachher

• X1 = TX1 + EX1

, Y = TX2 + TD + EY = TX1

+ TD + EY

• D = Y – X1 = TD + EY – EX1

²(D) = ... = 2 ²(X1) · [1–(X1,Y)]

[Rel(X1)+Rel(Y)]/2 – (X1,Y)• Rel(D) = ... = –––––––––––––––––––––––––

1 – (X1,Y)

• Eine hohe Korrelation von Vor- und Nachtest ergibt eine niedrige Reliabilität der Differenz. Der Interventionserfolg E (D) ist dann zwar gut meßbar, aber der Personenparameter TD eignet sich nicht zur Vorhersage.

• Bei niedriger Vor/Nachtestkorrelation könnte TD valide sein,z.B. eine individuelle Prognose über den Erfolg einer weiteren Intervention vorhersagen.

Folie 70

Einzelne Testaufgaben

• Die klassische Testtheorie behandelt Tests,nicht Testaufgaben.

• Die statistischen Parameter einzelner Testaufgabensind daher nur Hilfsmittel.

• Eine korrekte Behandlung von einzelnen Testaufgaben erfolgt erst in der logistischen Testtheorie.

• Ein Test X bestehe aus n Aufgaben.Die Zufallsvariablen Uj, j=1...n bezeichnen den Ausgang einer einzelnen Testaufgabe, mit– uj = 1 bedeutet „richtig“, bzw. „mehr des Merkmals“

– uj = 0 bedeutet „falsch“, bzw. „weniger des Merkmals“

Folie 71

Die Schwierigkeitsstatistik

• Schwierigkeitsstatistik: j = E (Uj)

– Schätzwerte für j abhängig von Stichprobe

– X = j=1...n Uj

– E (X) = j=1...n j

• Ratekorrektur: – fiktive Wahrscheinlichkeit pj „Person "weiß" die Antwort“

– Ratewahrscheinlichkeit 1/a

– P(Uj=1) = j = pj + (1 – pj) · 1/a

– pj = (j – 1/a) / (1 – 1/a) = (a j – 1) / (a – 1)

– a: ???

Folie 72

Die Trennschärfestatistik

• Zufallsvariable Uj

– Wertebereich: Uj() = {0,1}

– Erwartungswert: E (Uj) = j

– Varianz: (Uj,Uj) = ???

– Bei welchen j ist die Varianz maximal?

• Testwert X = j=1...nUj

(X,X) = (j=1...nUj,j=1...nUj) =

j=1...nj'=1...n(Uj,Uj') =

j=1...nj'=1...n(Uj) (Uj') (Uj,Uj')

Folie 73

Die Trennschärfestatistik


(X,X) = (j=1...nUj,j=1...nUj) =

j=1...nj'=1...n(Uj,Uj') =

j=1...nj'=1...n(Uj) (Uj') (Uj,Uj')

(X,X) = (j=1...nUj,X) =

j=1...n(Uj,X) =

j=1...n(Uj) (X) (Uj,X)(X) = j=1...n(Uj) (Uj,X)(Uj,X) = Trennschärfestatistik

(Uj,X) = (Uj,j=1...nUj) = (kleiner Fehler in Irtel, Gl. 2.50)

Folie 74

Aufgabenvaliditätsstatistik


(X,Y) = (j=1...nUj,Y) = (kleiner Fehler in Irtel, Gl. 2.51)

j=1...n(Uj,Y) =

j=1...n(Uj) (Y) (Uj,Y)

(Uj,Y) = Aufgabenvaliditätsstatistik

(X,Y) = (X,Y) / [(X) (Y)] =

j=1...n(Uj) (Uj,Y) / j=1...n(Uj)

(Uj,X)

Folie 75

Wann ist ein Test ein Test?

• Ein System psychometrischer Daten<,S,P,{Xk|k=1...n},H> mit n2

ist ein psychometrischer Test mit linearer Struktur, wenn mindestens zwei der Beobachtungswerte Xk parallel sind.– Erwartungswerte und Varianzen in Teilpopulationen

– Korrelationen mit externem Kriterium

– n3: Interkorrelationen

Folie 76

Stärke und Schwäche der klassischen Testtheorie

• Die klassische Testtheorie mißt nicht eine Eigenschaft der Person (unabhängig vom Meßverfahren).

• Die klassische Testtheorie mißt die Fähigkeit, den Test zu lösen.

• Der Bezug vom Beobachtungswert X zur Eigenschaft mag nichtlinear sein. Der Beobachtungswert X ist für sich betrachtet intervallskaliert.

folie 1 theorie und konstruktion psychologischer tests

Documents