Übersicht zur veranstaltung - uni trier: willkommen · „es geht im prinzip um die registrierung...
TRANSCRIPT
1. Objektivität1. Durchführung2. Auswertung3. Interpretation
2. ReliabilitätExkurs: Axiome der Klassischen Testtheorie1. Bestimmung der Reliabilität2. Retestreliabilität3. Paralleltestreliabilität4. Halbierungsreliabilität5. Konsistenzanalyse6. Faktoren, welche die Reliabilität beeinflussen
Psychometrie: Teil 2
ÜÜbersicht zur Veranstaltungbersicht zur Veranstaltung
3. Validität3. Inhaltsvalidität
4. Kriteriumsvalidität
5. Konstruktvalidität
6. Minderungskorrekturen
4. Beziehung zwischen den Gütekriterien
5. Nebengütekriterien3. Ökonomie
4. Nützlichkeit
5. Fairness
6. Testnormierung
29.11.2004 Psychometrie: Teil 2
1.1. ObjektivitObjektivitäätt
1. Durchführungsobjektivität2. Auswertungsobjektivität3. Interpretationsobjektivität
2.2. ReliabilitReliabilitäätt
1. Retestreliabilität2. Paralleltestreliabilität3. Halbierungsreliabilität4. Konsistenzschätzung
ReliabilitReliabilitäätt
„Unter Reliabilität eines Testes versteht man den Grad der Genauigkeit, mit dem er ein bestimmtes Persönlichkeitsmerkmal misst, gleichgültig, ob er dieses Merkmal auch zu messen beansprucht“
Axiom 1: Ein beobachteter Wert X setzt sich zusammenaus wahrem Wert (T) und Fehlerwert (E)
X = T + E
Axiom 2: Erwartungswert und die Summe der Fehler sind gleich Null
E(e) = ∑e = 0 MT = MX
Axiom 3: Fehlerwert und wahrer Wert korrelieren nicht systematisch miteinander
rT,E = 0
Exkurs: Axiome der Klassischen TesttheorieExkurs: Axiome der Klassischen Testtheorie
Axiom 4: Wahrer Wert und Fehlerwert zweier verschiedener Tests (Ta, Eb) korrelieren nicht systematisch miteinander.
rTa,Eb = 0
Axiom 5: Fehlerwerte zweier unterschiedlicher Tests (Ea, Eb) korrelieren nicht systematisch miteinander.
rEa,Eb= 0
Bestimmung der ReliabilitBestimmung der Reliabilitäätt
2
2
222222
22
2
2
2
12
22
X
Es
sstt
EXTETX
ET
T
X
Ttt
ssr
ssssss
sss
ssr
X
EX −==
−=⇒+=
+==
−
ReliabilitReliabilitäät als ...t als ...Testwiederholung
RetestreliabilitätKorrelation paralleler Testformen
ParalleltestreliabilitätKorrelation äquivalenter Testhälften
HalbierungsreliabilitätKonsistenz aller Testitems
Konsistenzanalyse
RetestreliabilitRetestreliabilitäätt
Störfaktoren:– Übung– Erinnerung an erste Testbearbeitung je
markanter die Aufgaben sind und je kürzer das Zeitintervall ist.
Festlegung des optimalen Zeitintervalls kritisch
ParalleltestreliabilitParalleltestreliabilitäätt
Testverfahren gelten als parallel, wenn sie identische Mittelwerte und Streuungen haben und die Korrelationen zwischen den beobachteten Werten hoch sind.
Erschwernis: Herstellung paralleler Testverfahren
Praktische Gleichheit von Parallel- &Retestmethode bei Speedtests
HalbierungsreliabilitHalbierungsreliabilitäätt
HalbierungstechnikenZufallsaufteilungOdd-even AufteilungStatistische Analyse der Items nach Schwierigkeit und TrennschärfeHalbierung nach der Testzeit bei Speedtests
Kommt dem Gedanken der instrumentellenMessgenauigkeit am nächsten
Berechnung mittelsBerechnung mittels
SpearmanSpearman--BrownBrown– Korrelation der Rohwerte beider Testhälften und
Aufwertung nach dieser Formel auf doppelte Länge der Skala
Nachteil: Die Formel setzt die Identität von sxt und sxu voraus
CronbachsCronbachs Koeffizient Koeffizient αα– Korrelation der Differenzen der individuellen
Rohwertpaare (X1 – X2) mit den Rohwerten aus der ersten Hälfte
SpearmanSpearman--BrownBrown FormelFormel
Formel von FlanaganFormel von Flanagan
12
12
12
rrrtt +
=
122122
21
1221
22
rssssrssrtt ++
=
CronbachsCronbachs Koeffizient Koeffizient αα
⎟⎟⎟⎟
⎠
⎞
⎜⎜⎜⎜
⎝
⎛
+−⋅
− =
∑ ∑
∑
= =
=r
1i
r
1iij
2i
r
1i
2i
ss
s1
1rrα
r = Zahl paralleler Messungen
si2 = Stichprobenvarianz des i-ten Paralleltests, berechnet an der
Stichprobe von N Versuchspersonen mit N-1 im Nenner
sij = Kovarianz zwischen i und j
KonsistenzanalyseKonsistenzanalyse
Verallgemeinerung der HalbierungsmethodeTest wird in so viele Teile zerlegt, wie Items vorhanden sindDie so ermittelten Korrelationen müssten auf die Länge der Skala hochgerechnet werden.
KK--RR--FormulaFormula 88
2
2x
2x
2x
2it
2x
2x
tt s2pqs
spqr
s2pqs
r ⎟⎟⎠
⎞⎜⎜⎝
⎛
⋅
−+
⋅+
⋅
−= ∑∑∑
sx2 = Varianz der Testrohwerte
p = Schwierigkeit P/100q = 1 – prit = Trennschärfe
Varianzanalytische Varianzanalytische KonsistenzformelKonsistenzformel
2Prb zwi
2rest
tt ss1r −=
Voraussetzung: Die Itembeantwortung erfolgt auf kontinuierlich abgestuften Skalen
222Pr ebzwi sss += ∝
22
2
ett ss
sr+
=∝
∝
( )222Pr
2Pr
2
inninnbzwi
innbzwitt sss
ssr
+−
−=
2Pr
2
1bzwi
inntt s
sr −=
22Pr
2ebzwi sss −=∝
22Pr innbzwi ss −=
222zwiItemsinnrest sss −= 22
erest ss =
Ableitung der varianzanalytischen Konsistenzformel
StandardmessfehlerStandardmessfehler
( )
ttX
ttXE
ttXE
X
Ett
rszXCLV
rss
rss
ssr
−±==
−=
−=
−=
1
1*
1*
1
22
2
2
α
Faktoren, welche die ReliabilitFaktoren, welche die Reliabilitäät beeinflussent beeinflussen
1. Der Homogenitätsgrad2. Die Schnelligkeitskomponente3. Die irrepräsentative Validität
Der HomogenitDer Homogenitäätsgradtsgrad
Heterogene Tests haben in der Regel eine geringe Konsistenz und Paralleltestreliabilität
Retestreliabilität
Homogene Tests besitzen eine hohe innere Konsistenz und eine etwas niedrigere Paralleltestreliabilität
Die SchnelligkeitskomponenteDie Schnelligkeitskomponente
Konsistenzkoeffizienten gelten streng genommen nur bei reinen Niveautests.
Bei Schnelligkeitstesten ist der Paralleltestdie Methode der Wahl. Wenn Erinnerungs-und Lösungsschemata keine Rolle spielen, bietet sich auch eine Testwiederholung zur Reliabilitätsbestimmung an.
Die Die irreprirreprääsentativesentative VariabilitVariabilitäätt
Korrelationshöhe in Abhängigkeit von der Homogenität der Probandenstichprobe
(aus Amelang & Bartussek, 1990, S. 103)
ValiditValiditäät ist ...t ist ...
„ ... das Maß an Genauigkeit, mit dem der Test dasjenige Persönlichkeits- oder Verhaltensmerkmal misst, dass er messen soll oder zu erfassen vorgibt.“(Amelang & Zielinski, 1997, S.155)
ValiditValiditäät als ...t als ...
Inhaltliche oder logische ValiditätKriteriumsbezogene ValiditätKonstruktvalidität
Inhaltliche ValiditInhaltliche Validitäätt
Repräsentationsschluss vom Testverhalten auf das Verhalten außerhalb der Testsituation
Bestimmung durch Expertenurteil
– Explikation des Konstruktes– Vorgabe operationaler Definitionen oder
generativer RegelnBeurteilerübereinstimmung
Experiment
Kriteriumsbezogene ValiditKriteriumsbezogene ValiditäättKorrelationsschluss vom Testwert auf das Kriteriumrtc gibt den Grad der Übereinstimmung
zwischen Test- und Kriteriumswert anÜbereinstimmungsvalidität
– Korrelation mit einem zeitlich koexistierendenKriterium:concurrent validity
Vorhersagevalidität– Korrelation mit einem zukünftigen Kriterium
predictive validity
ReliabilitReliabilitäätsindextsindex
Gibt die Obergrenze der kriteriumsbezogenen Validität an
Tt
TtTt ss
r,
cov ,, =
2,cov TTt s=
ttt
T
Tt
TTt r
ss
sss
r ===,
2
,
Nach Axiom 3 der KTT gilt
rrtctc ist abhist abhäängig vonngig von
1. Der Reliabilität des Kriteriums2. Der Reliabilität des Testes
Korrektur der geminderten ReliabilitKorrektur der geminderten Reliabilitäät durch t durch die mangelnde Reliabilitdie mangelnde Reliabilitäät des Kriteriumst des Kriteriums
cc
tctc r
rr = rcc ... Relibilitätskoeffizientdes Validitätskriteriums
Tct
TctTct ss
r ,,
cov=
einfache Minderungskorrektur
Korrektur der geminderten ReliabilitKorrektur der geminderten Reliabilitäät durch t durch die mangelnde Reliabilitdie mangelnde Reliabilitäät des Testst des Tests
doppelte Minderungskorrektur
cctt
tcTccT rr
rr =,
Die Minderungskorrekturen werten die Validitätskoeffizienten auf. Der Effekt ist umso größer, je geringer die Reliabilität des Kriteriums (rcc)und die des Tests (rtt)ist
KonstruktvaliditKonstruktvaliditäättKorrelation des Tests mit AußenkriterienKorrelationen des Testes mit Testen ähnlichen ValiditätsanspruchesKorrelationen mit Testen, die andere Persönlichkeitsmerkmale erfassenFaktorenanalyse des zu validierenden Testes gemeinsam mit Außenkriterien, validitätsverwandten und validitätsdivergenten TestenAnalyse interindividueller Unterschiede in den TestresultatenAnalyse intraindividueller Veränderungen bei wiederholter Durchführung mit und ohne systematische Variation der DurchführungsbedingungenInhaltlich-logische Analyse der Testelemente
Multitrait-multimethod-Matrix mit den Methoden 1 (Fragebogen) und 2 (gemittelte Fremdeinschätzung) sowie den Konstrukten Vertrauen (erfasst mit den Skalen IT 27,
SRT und HN) sowie Extraversion und Neurotizismus.
(Nach Amelang et al., 1984, S.210)
Zumutbarkeit ist ...Zumutbarkeit ist ...
„Das Ausmaß, in dem ein Test (absolut und relativ) zu dem aus der Anwendung des Verfahrens resultierenden Nutzen) die getestete Person in zeitlicher, psychischer (insbesondere ‚energetisch‘-motivational und emotional sowie in körperlicher Hinsicht beansprucht“(Testkuratorium, 1986, S. 359).
VerfVerfäälschbarkeitlschbarkeit ist ...ist ...
„Das Ausmaß, in dem ein Test die individuelle Kontrolle über Art und Inhalt der verlangten bzw. gelieferten Informationen ermöglicht“
(Testkuratorium, 1986, S. 359).
Objektive PersObjektive Persöönlichkeitstests nlichkeitstests sind ... sind ...
Verfahren „zur Messung der Persönlichkeit ..., die unmittelbar das Verhalten eines Individuums in einer standardisierten Situation erfassen, ohne dass dieses sich in der Regel selbst beurteilen muss. Die Verfahren sollen ... keine Augenschein-validität haben“
(Schmidt, 1979, S. 19).
Objektive PersObjektive Persöönlichkeitstests nlichkeitstests sind ...sind ...
Verfahren, deren Messprinzip nicht durchschaubar ist.(Fahrenberg, 1964).
„Es geht im Prinzip um die Registrierung von Verhaltensweisen – dabei auch um verbales Verhalten -, deren diagnostische Bedeutung für den Probanden nicht unmittelbar einsichtig ist. Wer z.B. dazu aufgefordert wird, zwischen einer Reihe von jeweils dargebotenen Alternativen Entscheidungen zu treffen, dürfte sich von inhaltlichen Erwägungen leiten lassen, wenn er diese oder jene Vorliebe bekundet, aber das Merkmal, das eigentlich gemessen wird, mag der Zeitbedarf bzw. die Geschwindigkeit seines Entscheidens sein. Man kann aus dieser Eigen-tümlichkeit des Verhaltens auf Selbstsicherheit ... schließen“ Hofstätter, 1971, S 386 ff.).
Objektive PersObjektive Persöönlichkeitstestsnlichkeitstests
Verfolgen das Prinzip „persönliche Stilmerkmale aus dem beobachtbarenVerhalten bei bestimmten (Leistungs-) Anforderungen zu erschließen“
(Kubinger, 1996, S. 7).
OAOA--TB 75TB 75Objective Analytic Test Battery (Häcker, Schmidt, Schwenkmezger & Utz, 1975)50 Untertests konnte sich nicht in der Praxis etablierenKeine Normenkeine klare FaktorenstrukturAber: Innovatives Potenzial
Abgeleitete Verfahren
ILICAPlanungsstrategien
LAMDALernstrategie, Beanspruchbarkeit
InformationsverarbeitungSelbstkonzept der InformiertheitFlexibilität beim Problemlösen
ArbeitshaltungenReflexivität vs. ImpulsivitätAnspruchsniveau, FrustrationstoleranzLeistungsmotivation
Mangel an Fairness ist ...Mangel an Fairness ist ...
Das „Ausmaß einer ... systematischen Diskriminierung bestimmter Testpersonen, z.B. aufgrund ihrer ethischen, soziokultu-rellen oder geschlechtsspezifischen Grup-penzugehörigkeit ...“(Testkuratorium, 1986, S. 360).
Culture Fair TestsSollen kulturbedingte Handicaps einzelner Personengruppen vermeidenBeispiele: Wiener-Matrizen-Test (WMT;
Formann & Piswanger, 1970)Standard Progressive Matrices(SPM; Kratzmeier & Horn, 1987)
sAber: Ist es allein aus dem Güteanspruch der Fairness heraus, beim psychologischen Diagnostizieren zweckmäßig, nachweislich bestehende Niveauunterschiede durch entsprechende gruppenspezifische Normen zu berücksichtigen, d. h. zu nivellieren?