evaluation & forschungsmethoden
DESCRIPTION
Evaluation & Forschungsmethoden. q-q-Plot Methode zur Prüfung der Multivariaten Normalverteilung. Günter Meinhardt Johannes Gutenberg Universität Mainz. Prüfung der NV-Annahme Klassifikation. Verteilungsanpassung/Prüfung. Prüfung der Verteilungs-annahme. - PowerPoint PPT PresentationTRANSCRIPT
Methoden derPsychologie
Evaluation & Forschungsmethoden
Günter MeinhardtJohannes Gutenberg Universität Mainz
q-q-Plot Methode zur Prüfung der Multivariaten Normalverteilung
Methoden derPsychologie
Verteilungsanpassung/Prüfung
• Effiziente Tests: Die NV- Annahme ist mit effektiven Methoden und trennscharfen Test zu prüfen, um ihre Gültigkeit sicherzustellen
Prüfung der Verteilungs-annahme
• Korrekturen und Datentransformationen: Ist die NV- Annahme auf den originalen Skalen verletzt, können Skalentransformationen für die einzelnen Variablen des Variablen- verbundes gefunden werden, mit denen die multivariate Normalver- auf den transformierten Skalen gilt.
Prüfung der NV-Annahme Klassifikation
• Ausreißeranalyse: Vor der Schätzung der Parameter (,) für die multivariate NV- wird eine Analyse der Rohdaten auf Ausreißer vorgenommen.
Methoden derPsychologie
Die allgemeine Form des Chi – Quadrat für Häufigkeiten ist:
Univariate Tests (1D) Klassifikation
• Dieses Schema wird flexibel auf die jeweilige Fragestellung angewendet.
• Die Frage ist, nach welchem Kriterium sich die erwarteten Häufigkeiten ergeben. Das einfache hat k-1 Freiheitsgrade, die zugehörige Wahrscheinlichkeitsverteilung ist die Verteilung.
• Für den Test der Anpassung an die Normalverteilung werden die erwarteten Häufigkeiten aus den Wahrscheinlichkeiten der Quantil- Intervalle der Normalverteilung berechnet.
- Test aufGüte der Passung
: beobachtete Häufigkeit
: erwartete Häufigkeiti
i
o
e
2
2
1
ki i
i i
o e
e
Methoden derPsychologie
Univariate Tests (1D) Klassifikation
- Test aufGüte der Passung
Nr.
Intervall
jh
(absolut) jp
(relativ)
ˆ jp
(erwartet) je
(erwartet) j jh e
(Differenz) 2
j j
j
h e
e
1x x h1 p1 1F x F e1 h1-e1
1 2x x x h2 p2 2 1F x F x e2 h2-e2
j
1k kx x x hk pk 1k kF x F x ek hk-ek
N 1 1 N 2
• Die erwarteten relativen Häufigkeiten berechnet man aus der Differenz der Werte der Verteilungsfunktion für die exakten Intervallgrenzen.
• Die erwarteten Häufigkeiten ergeben sich durch Multiplikation mit der Anzahl der Beobachtungen N.
• Test mit progressivem alpha-Niveau, da man an der Absicherung für die Beibehaltung der H0 interessiert ist ( = mind. 10%).
Univariate Normalverteilung
Methoden derPsychologie
Univariate Tests (1D) Klassifikation
- Test aufGüte der Passung
Univariate Normalverteilung
Beobachtet: oi
100 300 500 700 90011001300
1000
2000
3000
4000
h(x)
x
erwartet als Normalverteilung: ei
1000
2000
3000
4000
h(x)
x
Vergleich:
1000
2000
3000
4000
h(x)
100 300 500 700 90011001300
100 300 500 700 900 11001300 x
Methoden derPsychologie
• Tests sind nicht sehr trennscharf und brauchen ein hohes N
• Sie hängen von der Anzahl der Intervalle (Freiheitsgrade) ab
• Sie können nur für die univariaten Verteilungen der einzelnen Meßvariablen durchgeführt werden (- Ausreisser durch spezielle Wertekombinationen in der multivariaten Verteilung können nicht aufgedeckt werden)
Tests der NV- Annahme
• Effektive Methoden: Methoden, die die Quantile der erwarteten und tatsächlichen Distanzen vom Zentroid verwenden, können univariat und multivariat verwendet werden
• Effiziente Tests: Die Testung der Gleichheit von erwarteten und tatsächlichen Quantilen beruht auf einer trennscharfen Testung des Korrelationskoeffizienten (uni-und multivariat).
Alternative:Q-Q Plot Methodenund Korrelations-Tests
Prüfung der NV-Annahme Klassifikation
- Tests
Nachteile von
Methoden derPsychologie
• Ausreißer sind heikel zu bestimmen, bei kleinen Stichproben N < 30 gibt es keine zuverlässigen Methoden
• Bei N > 30 legt man die Quantile der Normalverteilung zugrunde und eliminiert die Werte, die jenseits der äußeren Quantile liegen. Dies sollten nicht mehr als 7%-8% sein.
Identifikation von Ausreißern
Test der NV-Annahme (univariat) Klassifikation
Data Clearing
-1.31.31-0.790.82-0.56-0.160.48-0.85-0.021.16-0.57-0.24-1.52-1.820.15-0.15-0.12-0.210.44-0.61-0.53.370.620.12-0.610.22-0.820.671.56-0.05z
1,2142,0651,4141,7011,2381,3561,6461,2901,4221,5471,3131,6021,2521,0021,1801,3891,4931,5951,6271,5181,3842,4121,7171,2711,4391,6141,1101,8152,0871,561x2.131.641.381.191.040.90.780.670.570.480.390.30.210.130.04-0.04-0.13-0.21-0.3-0.39-0.48-0.57-0.67-0.78-0.9-1.04-1.19-1.38-1.64-2.13qe0.980.950.920.880.850.820.780.750.720.680.650.620.580.550.520.480.450.420.380.350.320.280.250.220.180.150.120.080.050.02p
max
0.5 0.5 1, 1, , 1
2i
i Np i N p
N N N
1 1max maxe iq F q F p z
Ausreißer: maxiz z
Methoden derPsychologie
• Nach Ausreißerbereinigung werden den Meßwerten empirische Quantile qo (in z) zugeordnet über die sortierte Reihe der Meßwerte.
• Mit aus den Daten geschätzten Parametern () werden für die Prozentränge erwartete Quantile qe (in z) bestimmt.
• Man trägt qo (y-Achse) und qe (x-Achse) gegeneinander ab. Perfekte Passung liegt vor, wenn die Daten auf der Winkelhalbierenden liegen.
• Man bestimmt Anteil der aufgeklärten Varianz und Korrelation.
Test über Quantilskorrelation
Test der NV-Annahme (univariat) Klassifikation
Q-Q Plot Methode
2
22
var( )1 1
var( )
oi eii
oi oi
q qe
y q q
cov ,
var var
o eqq
o e
q qr
q q
• Für den Korrelationskoeffizienten existieren kritische Werte, die bei Unterschreitung zur Ablehnung der NV-Annahme führen (s. Tabelle).
Methoden derPsychologie
Kritische Q-Q- Korrelationen
Korrelations-Test
Test der NV-Annahme (univariat) Klassifikation
Q-Q Plot Methode
Ist rqq < rcrit(), wird die Annahme der NV auf dem gewählten Level verworfen. sollte progressiv gewählt sein (10%), da man eine Sicherheit für die Beibehaltung wünscht.
0.99600.99530.99353000.99420.99310.99052000.99280.99130.98791500.98950.98730.98221000.98660.98380.9771750.98360.98010.9720600.98220.97870.9695550.98090.97680.9671500.97920.97490.9632450.97710.97260.9599400.97400.96820.9538350.97150.96520.9479300.96650.95910.9410250.96040.95080.9269200.95030.93890.9126150.93510.91980.8801100.90320.87880.829950.100.050.01
Significance level Smple Size N
( )qq critr r
Methoden derPsychologie
Datenbeispiel
Test der NV-Annahme (univariat) Klassifikation
Q-Q Plot Methode
2
221 0.949
oi eii
oi oi
q q
q q
cov ,.974
var var
o e
o e
q qr
q q
Korrelations-Test
( .1)qq critr r .974 .9715
NV Test knapp im Annahmebereich, aber 2 Ausreißer verschlechtern die Passung beträchtlich
-3.0
-2.5
-2.0
-1.5
-1.0
-0.5
0.0
0.5
1.0
1.5
2.0
2.5
3.0
-3.0 -2.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 2.5 3.0
expected quantile (qe)
ob
serv
ed q
uan
tile
(q
o)
N = 30
mit 2 Ausreißern
Methoden derPsychologie
-3.0
-2.5
-2.0
-1.5
-1.0
-0.5
0.0
0.5
1.0
1.5
2.0
2.5
3.0
-3.0 -2.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 2.5 3.0
expected quantile (qe)
ob
serv
ed q
uan
tile
(q
o)
Datenbeispiel
Test der NV-Annahme (univariat) Klassifikation
Q-Q Plot Methode
2
221 0.983
oi eii
oi oi
q q
q q
cov ,.992
var var
o e
o e
q qr
q q
Korrelations-Test
( .1)qq critr r .992 .9715
NV Test und Varianzaufklärung zeigt perfekte der empirischen Quantile an die NV an.
N = 28
ohne Ausreißer
Methoden derPsychologie
Datenbeispiel
Test der NV-Annahme (univariat) Klassifikation
Q-Q Plot Methode
2
221 0.877
oi eii
oi oi
q q
q q
cov ,.937
var var
o e
o e
q qr
q q
Korrelations-Test
( .1)qq critr r .94 .9715
• NV Annahme ist heikel und sollte abgelehnt werden
• Ausreißerentfernung würde Passung verbessern, aber die Art der Abweichung deutet auf eine systematische Transformation der Quantile
-3.0
-2.5
-2.0
-1.5
-1.0
-0.5
0.0
0.5
1.0
1.5
2.0
2.5
3.0
-3.0 -2.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 2.5 3.0
expected quantile (qe)
ob
serv
ed q
uan
tile
(q
o)
N = 29
Nichtlineare Abweichung
Methoden derPsychologie
• Unsystematische Ausreißer sollten entfernt werden.
• Bei systematischen Quantilsabweichungen können die Rohdaten einer Potenztransformation unterzogen werden, um eine gute Approximation an die NV zu erreichen.
• Parameterschätzung für (,) der NV sind über die transformierten Daten auszuführen.
Quantils-Transformation zur NV
Test der NV-Annahme (univariat) Klassifikation
Box-Cox-Power-Transformation
1, , für 0
kxg x k k
k
ln var , 1 ln2 i
i
Nl k g x k k x
Die Power-Transformation g(x) liefert mit dem Wert k aus der Maximierung von l(k) die beste Annäherung an die NV
maximiert nach k
Methoden derPsychologie
70.0
71.0
72.0
73.0
74.0
75.0
76.0
77.0
78.0
79.0
80.0
0.0 0.1 0.2 0.3 0.4 0.5 0.6
k
l(k)
Datenbeispiel nichtlineare Abweichung
Test der NV-Annahme (univariat) Klassifikation
Q-Q Plot Methode
OptimalePotenz-Transformation
-3.0
-2.5
-2.0
-1.5
-1.0
-0.5
0.0
0.5
1.0
1.5
2.0
2.5
3.0
-3.0 -2.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 2.5 3.0
expected quantile (qe)
ob
serv
ed q
uan
tile
(q
o)
N = 29
Maximierungsfunktion l(k)Q-Q - Plot
Potenztransformation der Originalskala:
0 max 0.35k k l k l k
k0
0 0.35
0
1 1,
0.35
kx xg x k
k
Erneuter Q-Q Test
Methoden derPsychologie
-3.0
-2.5
-2.0
-1.5
-1.0
-0.5
0.0
0.5
1.0
1.5
2.0
2.5
3.0
-3.0 -2.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 2.5 3.0
expected quantile (qe)
ob
serv
ed q
uan
tile
(q
o)
Datenbeispiel nichtlineare Abweichung
Test der NV-Annahme (univariat) Klassifikation
Q-Q Plot Methode
OptimalePotenz-Transformation
-3.0
-2.5
-2.0
-1.5
-1.0
-0.5
0.0
0.5
1.0
1.5
2.0
2.5
3.0
-3.0 -2.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 2.5 3.0
expected quantile (qe)
ob
serv
ed q
uan
tile
(q
o)
2 = .877r = .937
Q-Q – Plot original
,g x k berechnen
Q-Q – Plot nach Potenztransformation
2 = .986r = .993
z- transformieren
Q-Q plotten
Potenztransformation bringt fast perfekte Passung der NV
( .1)qq critr r .993 .9715