5. wnioskowanie psychometryczne -...

27
5. WNIOSKOWANIE PSYCHOMETRYCZNE Model klasyczny Gulliksena Wynik otrzymany i prawdziwy Błąd pomiaru Rzetelność pomiaru testem Standardowy błąd pomiaru Błąd estymacji wyniku prawdziwego Teoria Odpowiadania na Pozycje Testowe (IRT) Teoria Wyników Generycznych (uniwersalizacji).

Upload: haquynh

Post on 28-Feb-2019

220 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 5. WNIOSKOWANIE PSYCHOMETRYCZNE - Aktualnościips.spoleczna.pl/images/pdf/wnioskowanie_psychometryczne.pdf · 5. WNIOSKOWANIE PSYCHOMETRYCZNE Model klasyczny Gulliksena Wynik otrzymany

5. WNIOSKOWANIE PSYCHOMETRYCZNE

Model klasyczny GulliksenaWynik otrzymany i prawdziwyBłąd pomiaruRzetelność pomiaru testem Standardowy błąd pomiaru Błąd estymacji wyniku prawdziwegoTeoria Odpowiadania na Pozycje Testowe (IRT)Teoria Wyników Generycznych (uniwersalizacji).

Page 2: 5. WNIOSKOWANIE PSYCHOMETRYCZNE - Aktualnościips.spoleczna.pl/images/pdf/wnioskowanie_psychometryczne.pdf · 5. WNIOSKOWANIE PSYCHOMETRYCZNE Model klasyczny Gulliksena Wynik otrzymany

Dwa modele psychometryczne opisu błędu pomiaru i rzetelność pomiaru:Klasyczna Teoria Testów (Gulliksen, 1950;

Lord i Novick, 1968) oraz Teoria odpowiadania na pozycje Testowe

(IRT)

Nowoczesną formą KTT jest Teoria Wyników Generycznych.

Teorie rzetelności pomiaru

Page 3: 5. WNIOSKOWANIE PSYCHOMETRYCZNE - Aktualnościips.spoleczna.pl/images/pdf/wnioskowanie_psychometryczne.pdf · 5. WNIOSKOWANIE PSYCHOMETRYCZNE Model klasyczny Gulliksena Wynik otrzymany

W odniesieniu do wyniku testowego:1.obserwowany (otrzymany) wynik testu2.wynik prawdziwy3.błąd pomiaru

W odniesieniu do wariancji wyników testu:1.wariancja wyników otrzymanych2.wariancja wyników prawdziwych3.wariancja błędu.

Page 4: 5. WNIOSKOWANIE PSYCHOMETRYCZNE - Aktualnościips.spoleczna.pl/images/pdf/wnioskowanie_psychometryczne.pdf · 5. WNIOSKOWANIE PSYCHOMETRYCZNE Model klasyczny Gulliksena Wynik otrzymany

Wynik prawdziwy -średnia wyników otrzymanych w nieskończenie wielu niezależnych pomiarach cechy określonym testem u jednej osoby.

Jest to średnia wszystkich potencjalnych wyników osoby przy pomiarze określonym testem.

Page 5: 5. WNIOSKOWANIE PSYCHOMETRYCZNE - Aktualnościips.spoleczna.pl/images/pdf/wnioskowanie_psychometryczne.pdf · 5. WNIOSKOWANIE PSYCHOMETRYCZNE Model klasyczny Gulliksena Wynik otrzymany

§ Właściwości osoby badanej(techniki wypełniania testu, zdolność rozumieniainstrukcji, znajomość specyficznego zachowania)

§ Czynniki osoby badanej o incydentalnym charakterze (zdrowie, zmęczenie, motywacja, napięcie emocjonalne, warunki zewnętrzne – światło, hałas, temperatura, itp.).

Błąd pomiaru testowego - źródła

Page 6: 5. WNIOSKOWANIE PSYCHOMETRYCZNE - Aktualnościips.spoleczna.pl/images/pdf/wnioskowanie_psychometryczne.pdf · 5. WNIOSKOWANIE PSYCHOMETRYCZNE Model klasyczny Gulliksena Wynik otrzymany

Założenie 1. Wszystkie błędy jakie otrzymalibyśmy, badając tęsamą osobę nieskończenie wiele razy, mają rozkład normalny, a ich średnia wynosi zeroMb = 0

Założenie o nieobciążoności narzędzia pomiarowego.

Page 7: 5. WNIOSKOWANIE PSYCHOMETRYCZNE - Aktualnościips.spoleczna.pl/images/pdf/wnioskowanie_psychometryczne.pdf · 5. WNIOSKOWANIE PSYCHOMETRYCZNE Model klasyczny Gulliksena Wynik otrzymany

Założenie 2.Błąd pomiaru ma charakter losowy, a więc nie mazwiązku między wynikiem prawdziwym a błędempomiaru

rpb = 0

Założenie o niezależności, wynik prawdziwy i błąd sąnieskorelowane.

Page 8: 5. WNIOSKOWANIE PSYCHOMETRYCZNE - Aktualnościips.spoleczna.pl/images/pdf/wnioskowanie_psychometryczne.pdf · 5. WNIOSKOWANIE PSYCHOMETRYCZNE Model klasyczny Gulliksena Wynik otrzymany

Założenie 3.Jeżeli błąd pomiaru ma charakter losowy, to równieżnie możemy oczekiwać istnienia żadnego związkumiędzy błędami otrzymanymi w dwóch kolejnychbadaniach tym samym testem, a więc

rb1b2 = 0

Błędy różnych pomiarów są nieskorelowane.

Page 9: 5. WNIOSKOWANIE PSYCHOMETRYCZNE - Aktualnościips.spoleczna.pl/images/pdf/wnioskowanie_psychometryczne.pdf · 5. WNIOSKOWANIE PSYCHOMETRYCZNE Model klasyczny Gulliksena Wynik otrzymany

Wariancja to w statystyce klasyczna miara zmienności.

Intuicyjnie utożsamiana jest ze zróżnicowaniem zbiorowości.

Jest to średnia arytmetyczna kwadratów odchyleń poszczególnych wartości cechy od wartości oczekiwanej.

Page 10: 5. WNIOSKOWANIE PSYCHOMETRYCZNE - Aktualnościips.spoleczna.pl/images/pdf/wnioskowanie_psychometryczne.pdf · 5. WNIOSKOWANIE PSYCHOMETRYCZNE Model klasyczny Gulliksena Wynik otrzymany

Pojęcie rzetelności jest bezpośrednio powiązane z pojęciem błędu pomiaru –nie istnieje pomiar bez błędu, im większy jest błąd, tym mniejsza jest rzetelnośćpomiaru danym testem

Błąd obniża precyzję pomiaru –zamiast wyniku prawdziwego otrzymujemy wynik zniekształcony przez błąd.

Rzetelność -dokładność (precyzja) pomiaru badanej cechy;

Page 11: 5. WNIOSKOWANIE PSYCHOMETRYCZNE - Aktualnościips.spoleczna.pl/images/pdf/wnioskowanie_psychometryczne.pdf · 5. WNIOSKOWANIE PSYCHOMETRYCZNE Model klasyczny Gulliksena Wynik otrzymany

Im mniejsze zróżnicowanie wyników testowych, tymniższa rzetelność testu.

Interpretacja współczynnika rzetelności

Współczynnik rzetelności wskazuje, jaka częśćwariancji wyników otrzymanych wynika z błędu lub ze zmienności wyników testu (niespójności odpowiedzitestowych),np. rtt=0,80 oznacza, że 80% zróżnicowania wynikówuzyskanych z badania testem spowodowana zostałarzeczywistymi różnicami między ludźmi, a pozostałe20% to efekt błędu pomiaru.

Page 12: 5. WNIOSKOWANIE PSYCHOMETRYCZNE - Aktualnościips.spoleczna.pl/images/pdf/wnioskowanie_psychometryczne.pdf · 5. WNIOSKOWANIE PSYCHOMETRYCZNE Model klasyczny Gulliksena Wynik otrzymany

Współczynnik rzetelności testu –parametr opisujący stopień precyzji wynikówotrzymywanych za pomocą określonego testu

Gdy interesuje nas test dla celów indywidualnejdiagnozy, wtedy ważniejsza jest możliwość ocenywyniku prawdziwego konkretnej osobyDo tego celu przydatna jest znajomość standardowegobłędu pomiaru.

Ocena rzetelnoOcena rzetelnośści indywidualnego wynikuci indywidualnego wyniku

Page 13: 5. WNIOSKOWANIE PSYCHOMETRYCZNE - Aktualnościips.spoleczna.pl/images/pdf/wnioskowanie_psychometryczne.pdf · 5. WNIOSKOWANIE PSYCHOMETRYCZNE Model klasyczny Gulliksena Wynik otrzymany

Standardowy bStandardowy błąłąd pomiaru to d pomiaru to odchylenie standardowe rodchylenie standardowe róóżżnic X nic X -- TT

Jest to bJest to błąłąd, ktd, któóry popery popełłniamy wtedy, gdyniamy wtedy, gdyprzyjmujemy, przyjmujemy, żże wynikiem prawdziwym daneje wynikiem prawdziwym danejosoby jest osoby jest śśredni wynik, jaki uzyskaredni wynik, jaki uzyskałłaby taaby taosoba w nieskoosoba w nieskońńczenie wielu pomiarach tymczenie wielu pomiarach tymsamym testem. samym testem.

Page 14: 5. WNIOSKOWANIE PSYCHOMETRYCZNE - Aktualnościips.spoleczna.pl/images/pdf/wnioskowanie_psychometryczne.pdf · 5. WNIOSKOWANIE PSYCHOMETRYCZNE Model klasyczny Gulliksena Wynik otrzymany

Wielokrotne badanie jednej osoby nie jest możliwe (ze względu na motywację oraz pamięć) –z tego względu brany jest pod uwagę rozkład błędówpomiaru u wszystkich osób badanych (nie ma istotnej różnicy pomiędzy efektami losowymiw grupie wielu osób badanych jednorazowo orazwielokrotnym badaniem jednej osoby – ten sam modelczynników losowych).

Interpretacja standardowegobłędu wyników otrzymanych

Page 15: 5. WNIOSKOWANIE PSYCHOMETRYCZNE - Aktualnościips.spoleczna.pl/images/pdf/wnioskowanie_psychometryczne.pdf · 5. WNIOSKOWANIE PSYCHOMETRYCZNE Model klasyczny Gulliksena Wynik otrzymany

Standardowy błąd pomiaru wskazuje zakres wyników, w obrębie którego lokuje się wynik prawdziwy osoby badanej (z określonym prawdopodobieństwem) i jest identyczny dla wszystkich osób badanych (niezależnie od wyniku otrzymanego)

Standardowy błąd pomiaru jest stosowany do wyznaczania przedziału ufnościdla wyniku prawdziwego z określoną pewnością (0,99, 0,95) Musi być pomnożony przez wartość „z” rozkładu normalnego, czyli = 2,58 lub 1,96.

Page 16: 5. WNIOSKOWANIE PSYCHOMETRYCZNE - Aktualnościips.spoleczna.pl/images/pdf/wnioskowanie_psychometryczne.pdf · 5. WNIOSKOWANIE PSYCHOMETRYCZNE Model klasyczny Gulliksena Wynik otrzymany

Od wyniku otrzymanego odejmujemy Od wyniku otrzymanego odejmujemy oraz dodajemy pewnoraz dodajemy pewnąą stastałąłą wartowartośćść

Ta staTa stałła wartoa wartośćść jest rjest róówna wna ((zα/2)(Sbp).

PrzedziaPrzedziałły ufnoy ufnośścici

z z αα0,05 = 1,960,05 = 1,96z z αα0,01 = 2,580,01 = 2,58z z αα0,001 = 3,290,001 = 3,29SbpSbp = So= So√√(1 (1 -- rttrtt))

Page 17: 5. WNIOSKOWANIE PSYCHOMETRYCZNE - Aktualnościips.spoleczna.pl/images/pdf/wnioskowanie_psychometryczne.pdf · 5. WNIOSKOWANIE PSYCHOMETRYCZNE Model klasyczny Gulliksena Wynik otrzymany

WAIS M=100, SD=15 rtt=0,90

Sb=15√√11--0,90 = 15x0,316=4,740,90 = 15x0,316=4,74

dla poz. dla poz. αα0,05 1,96x4,74=9,290,05 1,96x4,74=9,29dla poz. dla poz. αα0,01 2,58x4,74=12,230,01 2,58x4,74=12,23

Page 18: 5. WNIOSKOWANIE PSYCHOMETRYCZNE - Aktualnościips.spoleczna.pl/images/pdf/wnioskowanie_psychometryczne.pdf · 5. WNIOSKOWANIE PSYCHOMETRYCZNE Model klasyczny Gulliksena Wynik otrzymany

wynik otrzymany II = 93

wynik prawdziwy: wynik prawdziwy: dla 95% ufnodla 95% ufnośści 84ci 84--102102dla 99% dla 99% 8181--105105

Od wyniku otrzymanego odejmujemy Od wyniku otrzymanego odejmujemy (otrzymujemy doln(otrzymujemy dolnąą granicgranicęę przedziaprzedziałłu) u) oraz do wyniku otrzymanego dodajemy oraz do wyniku otrzymanego dodajemy (otrzymujmy g(otrzymujmy góórnrnąą granicgranicęę przedziaprzedziałłu) u) pewnpewnąą stastałąłą wartowartośćść (b(błąłąd pomiaru).d pomiaru).

Page 19: 5. WNIOSKOWANIE PSYCHOMETRYCZNE - Aktualnościips.spoleczna.pl/images/pdf/wnioskowanie_psychometryczne.pdf · 5. WNIOSKOWANIE PSYCHOMETRYCZNE Model klasyczny Gulliksena Wynik otrzymany

Teoria odpowiadania na pozycje testu Teoria odpowiadania na pozycje testu ((itemitem responseresponse theorytheory))

Teoria IRT konkurencyjna do KTT- to zbiór twierdzeń opisujących sposób, w jaki osoba badana odpowiada na pozycje testu. Ustala się związek między odpowiedziami udzielanymi przez b. a zakładaną, nieobserwowalną cechą leżącą u podstaw zachowań testowych

np. odpowiedzi w podskali Rozumienie (WAIS) - to funkcja hipotetycznej, nieobserwowalnej cechy, tj. rozumienia sytuacji i norm społecznych.

Page 20: 5. WNIOSKOWANIE PSYCHOMETRYCZNE - Aktualnościips.spoleczna.pl/images/pdf/wnioskowanie_psychometryczne.pdf · 5. WNIOSKOWANIE PSYCHOMETRYCZNE Model klasyczny Gulliksena Wynik otrzymany

W klasycznej teorii testów (KTT) przyjmuje się, że związek między wynikiem prawdziwym (wynik stand. z ) a wynikiem otrzymanym w teściejest związkiem prostoliniowym (regresja liniowa)

Przedziały ufności (zaznaczone linia przerywaną)są takie same dla wszystkich wyników, a wartośćbłędu pomiaru zależy od konkretnej badanejpopulacji.

Page 21: 5. WNIOSKOWANIE PSYCHOMETRYCZNE - Aktualnościips.spoleczna.pl/images/pdf/wnioskowanie_psychometryczne.pdf · 5. WNIOSKOWANIE PSYCHOMETRYCZNE Model klasyczny Gulliksena Wynik otrzymany

W teorii odpowiadania na pozycje testu (IRT) związek między wynikiem prawdziwym awynikiem otrzymanym nie jest związkiemliniowym, a szerokość przedziałów ufności jestinna w środku, a inna na krańcach rozkładu(przedziały są szersze dla skrajnych wyników)

Błąd standardowy pomiaru nie jest związany z konkretną populacją, podobnie jak nie są z niązwiązane parametry opisujące pozycje testowe.

Page 22: 5. WNIOSKOWANIE PSYCHOMETRYCZNE - Aktualnościips.spoleczna.pl/images/pdf/wnioskowanie_psychometryczne.pdf · 5. WNIOSKOWANIE PSYCHOMETRYCZNE Model klasyczny Gulliksena Wynik otrzymany

Teoria uniwersalizacji (wyników generycznych)wykorzystała koncepcję testów równoległych co pozwoliło zrezygnować z nietestowalnychzałożeń i twierdzeń na rzecz obserwowalnychZależności (błędy mogą być skorelowane i możeto być empirycznie stwierdzone).

Teoria uniwersalizacji

Page 23: 5. WNIOSKOWANIE PSYCHOMETRYCZNE - Aktualnościips.spoleczna.pl/images/pdf/wnioskowanie_psychometryczne.pdf · 5. WNIOSKOWANIE PSYCHOMETRYCZNE Model klasyczny Gulliksena Wynik otrzymany

Testy równoległe: mierzą tę samą cechę z taką samądokładnościąM1 = M2 S1

2 = S22

Testy równoległe - pojęcie

Testy równoważne: mierzą tę samą cechę, ale nie tak samo dokładnieM1 # M2

Testy quasi-równoważne: mierzą tę samą cechęwraz z dodatkowym czynnikiemM1 = M2 + c

Page 24: 5. WNIOSKOWANIE PSYCHOMETRYCZNE - Aktualnościips.spoleczna.pl/images/pdf/wnioskowanie_psychometryczne.pdf · 5. WNIOSKOWANIE PSYCHOMETRYCZNE Model klasyczny Gulliksena Wynik otrzymany

Podsumowanie Podsumowanie

Pomiar psychologiczny ma charakter pośredni

Aby na podstawie obserwowanego zachowania osoby wyznaczyć pozycję jej cechy latentnej –musimy dysponować modelem wiążącym konstrukt psychologiczny (cechę latentną) z poziomem zachowań.

Page 25: 5. WNIOSKOWANIE PSYCHOMETRYCZNE - Aktualnościips.spoleczna.pl/images/pdf/wnioskowanie_psychometryczne.pdf · 5. WNIOSKOWANIE PSYCHOMETRYCZNE Model klasyczny Gulliksena Wynik otrzymany

W KTT wynik danej osoby w teście jest sumądwóch składowych: wyniku prawdziwego danej osoby i błędu pomiaru

Ograniczenia modelu - wynik prawdziwyokreślany jest tylko w stosunku do konkretnego zbioru pozycji testowych, a statystyczne właściwości pozycji testowych nie są bezpośrednio wiązane z zachowaniamitestowymi.

Page 26: 5. WNIOSKOWANIE PSYCHOMETRYCZNE - Aktualnościips.spoleczna.pl/images/pdf/wnioskowanie_psychometryczne.pdf · 5. WNIOSKOWANIE PSYCHOMETRYCZNE Model klasyczny Gulliksena Wynik otrzymany

W RIT buduje się modele wiążące poziom nieobserwowalnej cechy psychologicznej z odpowiedzią na każdą kolejną pozycję testową.

Zaletą tych modeli jest to, że poziom mierzonejcechy może zostać oszacowany na podstawiekażdej pozycji testowej pod warunkiem, że znane są jej parametry, a statystycznewłaściwości tych pozycji są bezpośredniowiązane z zachowaniami testowymi

(Embredson, 2000).

Page 27: 5. WNIOSKOWANIE PSYCHOMETRYCZNE - Aktualnościips.spoleczna.pl/images/pdf/wnioskowanie_psychometryczne.pdf · 5. WNIOSKOWANIE PSYCHOMETRYCZNE Model klasyczny Gulliksena Wynik otrzymany

Zagadnienia1.1. Elementy skElementy skłładowe Klasycznej Teorii Testadowe Klasycznej Teorii Testóóww2.2. Elementy skElementy skłładowe wyniku otrzymanegoadowe wyniku otrzymanego3.3. Co to jest wynik prawdziwyCo to jest wynik prawdziwy4.4. ŹŹrróóddłła ba błęłędu pomiaru testowegodu pomiaru testowego5.5. ZaZałłoożżenia dotyczenia dotycząące bce błęłędu pomiaru du pomiaru 6.6. Pojecie rzetelnoPojecie rzetelnośścici7.7. Interpretacja wspInterpretacja wspóółłczynnika rzetelnoczynnika rzetelnośścici8.8. Standardowy bStandardowy błąłąd pomiarud pomiaru9.9. Od czego zaleOd czego zależży wielkoy wielkośćść stand. bstand. błęłędu pomiarudu pomiaru10.10. Jak wyznaczamy przedziaJak wyznaczamy przedziałły ufnoy ufnośścici11.11. Teoria Odpowiadania na Pozycje Testowe Teoria Odpowiadania na Pozycje Testowe –– rróóżżnice w nice w

stosunku do KTTstosunku do KTT12.12. Teoria Uniwersalizacji Teoria Uniwersalizacji –– pojpojęęcie testcie testóów rw róównolegwnoległłych.ych.