teorija odgovora na zadatke (item response theory – irt) konceptualizacija i mogućnosti...

Teorija odgovora na zadatke

(Item Response Theory – IRT)

Konceptualizacija i mogućnosti primjene

Sveučilište u Zagrebu Filozofski fakultet

Odsjek za psihologiju

Skup modela, pretpostavki i dedukcija koji se odnose na probleme konstrukcije i psihometrijske evaluacije testova, te interpretaciju testovnih rezultata.

Skupom pravila nastoji se formalizirati pridruživanje kvantitativnih oznaka ispitanicima, odnosno objektima mjerenja.

Teorija testova - definicijaTeorija testova - definicija

Klasična teorija testovaKlasična teorija testova

Moderna teorija testovaModerna teorija testova

Teorija testova - problemiTeorija testova - problemi

metode za izbor testovnih čestica

postupci određivanja relevantnih psihometrijskih osobina čestica kao što su težina, te diskriminativna valjanost

pravila za komponiranje čestica u cjelovite mjerne postupke koji će imati neke poželjne karakteristike

načela transformacije i vrednovanja kompozitnih rezultata određivanje pogreške mjerenja ukupnog rezultata

osjetljivost mjerenja

Teorija testova - konceptiTeorija testova - koncepti

Lord i Novick (1968) mjerenje definiraju kao proceduru za pridavanje brojeva specifičnim osobinama eksperimentalnih jedinica tako da opišu i sačuvaju odnose u bihevioralnoj domeni.

Skaliranje se može definirati kao pridavanje numeričkih vrijednosti objektima s ciljem reprezentiranja količine mjerenog atributa na nekoj rezultantnoj skali.

Teorija testova - konceptiTeorija testova - koncepti

Skoro svi modeli skaliranja ispitanika mogu se opisati različitim tipovima krivulja koje povezuju mjereni atribut i vjerojatnost (ne)indikativnog odgovora. Funkcije ovog oblika nazivaju se linije traga zadataka ili karakteristične krivulje zadataka.

Mogući odgovori su alfa (točno, indikativno) ili beta (netočno, neindikativno). Linija traga opisuje očekivanu vjerojatnost odgovora alfa za ispitanike na različitim razinama atributa ili klase

Nunnally i Bernstein (1994) navode četiri moguće linije traga za dihotomno bodovane zadatke:

a) stupnjevita linija

b) krivulja u obliku slova S (sigmoidna)

c) krivulja nepravilnog monotonog oblika

d) krivulja nemonotonog oblika. Moguće je domisliti i drugačije modele u skladu s pretpostavljenim matematičkim funkcijama koje ih definiraju.

Apscisa se, kod ovakvih prikaza, odnosi na mjereni konstrukt, definiran u terminima njegove veličine (izraženosti) i uobičajeno se označava sa . Različiti modeli dovode do različitih linija traga.

- deterministički i probabilistički modeli

- monotoni i nemonotoni

Za razliku od fizikalnih mjerenja, gdje je dovoljan samo jedan indikator atributa, koji uz to dopušta i ponovljena mjerenja, u psihologiji, osobito teoriji testova, dominiraju kompozitna mjerenja, kod kojih procjena atributa predstavlja neku funkciju pojedinih čestica ili zadataka, koji se mogu koristiti u širem smislu za svaki podražaj u mjerenju.

Neki od razloga za korištenjem kompozitnih mjera jesu:

a) Pojedinačni zadaci obično nisko koreliraju s mjerenim atributom.

b) Pojedinačni zadaci imaju tendenciju da koreliraju i s drugim atributima, pored mjerenog.

c) Svaki zadatak sadrži dio varijance specificiteta u smislu da ne korelira s niti jednim općim atributom ili faktorom.

d) Pojedini zadaci mogu sadržavati znatnu količinu varijance pogreške.

e) Jedan zadatak omogućuje klasifikaciju ispitanika u mali broj kategorija (često samo u dvije).

Teorija testova - razvojTeorija testova - razvoj

1895. Galtonov student Karl Pearson objavljuje formulu za koeficijent korelacije

1904. E.L. Thorndike objavljuje prvu knjigu o teoriji testova: An Introduction to the Theory of Mental and Social Measurements.

Formula za pouzdanost dvostruko duljeg testa i njezina generalizacija na k-paralelnih testova prvi su put derivirani 1910.

Kuder i Richardson (1937) razvili nekoliko metoda za ispitivanje pouzdanosti.

Teorija testova - razvojTeorija testova - razvoj

1951. Cronbach predlaže alpha koeficijent

1936. i 1954 Guilford: Psychometric methods

1950. Gulliksen: Theory of mental tests

1968. Lord i Novick: Statistical theories of mental test scores.

Klasična teorija testovaKlasična teorija testova

Pearson Thorndike

Spearman Kuder

Richardson

1895 1951

Gulliksen

Cronbach

Kelly

GuilfordBrown Lord

Teorija pravih Teorija pravih rezultata i pogreške rezultata i pogreške mjerenja mjerenja

Eklektička teorija Eklektička teorija pravih rezultata i pravih rezultata i paralelnih testovaparalelnih testova

Teorija uzoraka iz Teorija uzoraka iz domene ponašanjadomene ponašanja

Tryon

Model paralelnih testovaModel paralelnih testova

Isp paralelni testovi deskriptivna statistika za ispitanike X1 ... Xk M

a xa1 = ta1 + ea1 xak = tak+ eak Max. Mat. Mae. ax.

at. ae.

b xb1 = tb1 + eb1 xbk = tbk+ ebk Mbx. Mbt. Mbe. bx.

bt. be.

c xc1 = tc1 + ec1 xbk = tbk+ ebk Mcx. Mct. Mce. cx.

ct. ce.

... ... ... ... N xN1 = tN1 + eN1 ... xNk = tNk+ eNk MNx. MNt. MNe.

Nx. Nt.

Ne. M M.1x M.1t M.1e M.1x M.1t M.1e .1x .1t

.1e .1x .1t .1e

i. - označava da se deskriptor odnosi na redak, tj. ispitanika i (1,...,N) .i - označava da se deskriptor odnosi na stupac, tj. test j (1,...,k)

Osnovne pretpostavke:Osnovne pretpostavke:a) Bruto rezultat svakog ispitanika predstavlja linearnu kombinaciju pravog a) Bruto rezultat svakog ispitanika predstavlja linearnu kombinaciju pravog rezultata i komponente pogreške X = T + Erezultata i komponente pogreške X = T + E

b) Pravi rezultat jednak je u svakom od paralelnih mjerenjab) Pravi rezultat jednak je u svakom od paralelnih mjerenja

c) Komponente pogreške potpuno su slučajnec) Komponente pogreške potpuno su slučajne

Osnovni koncepti vezani uz pouzdanost mjerenja:Osnovni koncepti vezani uz pouzdanost mjerenja:

Koeficijent pouzdanosti rKoeficijent pouzdanosti rxx xx ::

e = x xxr1

Standardna pogreška mjerenja: Standardna pogreška mjerenja:

rxx = rV

Vxxt

x

t

x12

2

2,

Determinante pouzdanosti:Determinante pouzdanosti:

a) broj mjerenjaa) broj mjerenja

b) pouzdanost svakog pojedinog mjerenja b) pouzdanost svakog pojedinog mjerenja

r rx x xxx e

x

e

x1 2

2 2

2

2

21,

Neke osnovne formule:Neke osnovne formule:

S p e a r m a n - B r o w n o v a f o r m u l a r

k r

k rt tx x

x x

1 1( )

C r o b a c h o v a l f a k o e f i c i j e n t r

k

kk ki

u

1

12

2( )

k o r e k c i j a z b o g a t e n u a c i j e rr

r rt t y

x y

x x y y

11

,,

Nedostaci klasične teorije:Nedostaci klasične teorije:

Fundamentalna pretpostavka u osnovi koncepta pouzdanosti o Fundamentalna pretpostavka u osnovi koncepta pouzdanosti o paralelnim mjerenjima teško je ostvariva u praksiparalelnim mjerenjima teško je ostvariva u praksi

ovisnost indeksa lakoće i indikatora diskriminativnosti zadataka o ovisnost indeksa lakoće i indikatora diskriminativnosti zadataka o uzorku ispitanikauzorku ispitanika

procjena pouzdanosti ovisna o uzorku ispitanikaprocjena pouzdanosti ovisna o uzorku ispitanika

komparacija ispitanika prema sposobnosti mjerenoj skupom zadataka komparacija ispitanika prema sposobnosti mjerenoj skupom zadataka sadržanih u testu ograničena je na situaciju kada ispitanici rješavaju sadržanih u testu ograničena je na situaciju kada ispitanici rješavaju iste ili paralelne zadatkeiste ili paralelne zadatke

varijanca pogreške jednaka za sve ispitanikevarijanca pogreške jednaka za sve ispitanike

ne daje osnovne daje osnovicuicu za određivanje procjene uratka ispitanika u zadatku za određivanje procjene uratka ispitanika u zadatku

Nedostaci klasične teorije:Nedostaci klasične teorije:

Mnogi testovi postignuća i sposobnosti su prilagođeni za ispitanike Mnogi testovi postignuća i sposobnosti su prilagođeni za ispitanike prosječnih sposobnosti, pri čemu testovi ne nude preciznu procjenu prosječnih sposobnosti, pri čemu testovi ne nude preciznu procjenu sposobnosti za vrlo uspješne i vrlo neuspješne ispitanike. sposobnosti za vrlo uspješne i vrlo neuspješne ispitanike.

Značajna poteškoća jest usporedba ispitanika koji rješavaju testove Značajna poteškoća jest usporedba ispitanika koji rješavaju testove različite težine, budući da broj točnih odgovora ovisi o težinskoj različite težine, budući da broj točnih odgovora ovisi o težinskoj strukturi zadatakastrukturi zadataka

Razvoj modernih psihometrijskih koncepcija, koje u osnovi Razvoj modernih psihometrijskih koncepcija, koje u osnovi predstavljaju sustav modela povezanih skupom zajedničkih predstavljaju sustav modela povezanih skupom zajedničkih pretpostavki, organiziran je oko teorpretpostavki, organiziran je oko teorije latentnih osobinaije latentnih osobina. . Srodni termini korišteni za označavanje ovih modernih Srodni termini korišteni za označavanje ovih modernih koncepcija jesu teorkoncepcija jesu teorija karakteristične krivulje zadatkaija karakteristične krivulje zadatka ili u ili u novije vrijeme novije vrijeme teorija odgovora na zadatke - TOZ (Item teorija odgovora na zadatke - TOZ (Item Response Theory - IRT)Response Theory - IRT). .

Weiss i Yoes (1991) navode da korijeni pojave TOZ-a leže u Weiss i Yoes (1991) navode da korijeni pojave TOZ-a leže u području psihološkog skaliranja, te psihofizici. području psihološkog skaliranja, te psihofizici.

Bazično, karakteristična krivulja zadatka (u nastavku KKZ)Bazično, karakteristična krivulja zadatka (u nastavku KKZ)4 jest grafički prikaz razine uspješnosti u nekom zadatku ili jest grafički prikaz razine uspješnosti u nekom zadatku ili zadacima u odnosu na neku nezavisnu mjeru kao što je zadacima u odnosu na neku nezavisnu mjeru kao što je mjerena osobina, dob, itd. Definiranje krivulje prikladnom mjerena osobina, dob, itd. Definiranje krivulje prikladnom matematičkom funkcijom jedan je od temeljnih problema matematičkom funkcijom jedan je od temeljnih problema teorije. teorije.

4 ICC - item characteristic curve ICC - item characteristic curve

IRT – razvoj idejeIRT – razvoj ideje

1916. Binet i Simone prvi grafički prikazuju razinu uratka u 1916. Binet i Simone prvi grafički prikazuju razinu uratka u različitim kognitivnim testovima u odnosu na dob i koriste različitim kognitivnim testovima u odnosu na dob i koriste grafove u razvoju testova. Birali su zadatke za svoje testove grafove u razvoju testova. Birali su zadatke za svoje testove inteligencije upravo na osnovu karakterističnih krivulja inteligencije upravo na osnovu karakterističnih krivulja zadataka, iako ih tako nisu nazivali. Ovi grafikoni su ključni zadataka, iako ih tako nisu nazivali. Ovi grafikoni su ključni koncept u TOZ.koncept u TOZ.

Louis Guttman (1944) razvio je metodu skaliranja, koja se Louis Guttman (1944) razvio je metodu skaliranja, koja se može razmotriti kao deterministički model TOZ-a. Razvio je može razmotriti kao deterministički model TOZ-a. Razvio je ideju o "liniji traga", koja konceptualno odgovara ideju o "liniji traga", koja konceptualno odgovara karakterističnoj krivulji zadatka u TOZ-u. karakterističnoj krivulji zadatka u TOZ-u.

Radovi Lorda početkom pedesetih, pod utjecajem Lawleya, Radovi Lorda početkom pedesetih, pod utjecajem Lawleya, općenito se smatraju rođenjem TOZ-a ili "moderne teorije općenito se smatraju rođenjem TOZ-a ili "moderne teorije testova" kako se još nazivatestova" kako se još naziva

1952. Lord opisuje 2-parametarski model za dihotomne 1952. Lord opisuje 2-parametarski model za dihotomne zadatke, zasnovan na modelu normalne krivulje zadatke, zasnovan na modelu normalne krivulje

Birnbaum 1957. (prema Lord i Novick, 1968) spomenuti Birnbaum 1957. (prema Lord i Novick, 1968) spomenuti model "kumulativne normalne krivulje" korišten od Lorda i model "kumulativne normalne krivulje" korišten od Lorda i drugih, zamjenjuje prikladnijim logističkim modelom. Razvio drugih, zamjenjuje prikladnijim logističkim modelom. Razvio je potrebne statističke procedure za logističke metode i olakšao je potrebne statističke procedure za logističke metode i olakšao upotrebu ovih modela drugim psihometričarima. Sam je upotrebu ovih modela drugim psihometričarima. Sam je razvio 3-parametarski logistički modelrazvio 3-parametarski logistički model

Velik značaj ima danski matematičar Georg Rasch, koji je Velik značaj ima danski matematičar Georg Rasch, koji je neovisno razvio 1-parametarski model TOZ (1960). Ovaj neovisno razvio 1-parametarski model TOZ (1960). Ovaj model se često naziva Raschov model. model se često naziva Raschov model.

1969. javlja se BICAL kao prvi program za procjenu 1969. javlja se BICAL kao prvi program za procjenu parametara Raschovog modela. parametara Raschovog modela.

U osnovi svaki TOZ pristup pretpostavlja, da u testovnoj U osnovi svaki TOZ pristup pretpostavlja, da u testovnoj situaciji, uradak ispitanika u zadacima ili testu može biti situaciji, uradak ispitanika u zadacima ili testu može biti predviđen (ili objašnjen) definiranjem veličine atributa koja se predviđen (ili objašnjen) definiranjem veličine atributa koja se nalazi u osnovi uratkanalazi u osnovi uratka

Odnos između "direktno mjerljivih" i "latentnih" kvantiteta Odnos između "direktno mjerljivih" i "latentnih" kvantiteta opisan je matematičkom funkcijom. Zbog toga su modeli opisan je matematičkom funkcijom. Zbog toga su modeli teorije odgovora na zadatke matematički modeli, zasnovani na teorije odgovora na zadatke matematički modeli, zasnovani na specifičnim pretpostavkama o testovnim podacima.specifičnim pretpostavkama o testovnim podacima.

OSNOVNI POJMOVIOSNOVNI POJMOVI

Jedna od temeljnih pretpostavki TOZ modela odnosi se na Jedna od temeljnih pretpostavki TOZ modela odnosi se na pretpostavljeni oblik karakteristične krivulje zadatka (KKZ) pretpostavljeni oblik karakteristične krivulje zadatka (KKZ) ili kako se ponekad naziva funkcija odgovora na zadatak ili kako se ponekad naziva funkcija odgovora na zadatak (FOZ). (FOZ).

Ukoliko u dvodimenzionalnom koordinatnom sustavu grafički Ukoliko u dvodimenzionalnom koordinatnom sustavu grafički prikažemo proporciju točnih ili indikativnih (alfa) odgovora u prikažemo proporciju točnih ili indikativnih (alfa) odgovora u zadatku (ordinata) za skupine ispitanika s različito razvijenim zadatku (ordinata) za skupine ispitanika s različito razvijenim mjerenim atributom (apscisa) dobit ćemo krivulju koja je mjerenim atributom (apscisa) dobit ćemo krivulju koja je najčešće monotona rastuća krivulja S-oblikanajčešće monotona rastuća krivulja S-oblika

Ovakva krivulja dobivena za jedan zadatak obično se Ovakva krivulja dobivena za jedan zadatak obično se naziva naziva empirijska karakteristična krivulja zadatkaempirijska karakteristična krivulja zadatka ili empirijska ili empirijska funkcija odgovora na zadatak.funkcija odgovora na zadatak.


Kod populacije ne govorimo više o proporciji Kod populacije ne govorimo više o proporciji točnih/indikativnih odgovora već ga mijenjamo točnih/indikativnih odgovora već ga mijenjamo konceptom konceptom vjerojatnosti točnog odgovora.vjerojatnosti točnog odgovora. Također grafikon se ne zasniva Također grafikon se ne zasniva na ukupnom testovnom rezultatu, već se koristi neka procjena na ukupnom testovnom rezultatu, već se koristi neka procjena latentna osobine latentna osobine koju čestice testa mjere. koju čestice testa mjere.

Grafikon za razinu populacije koji prikazuje vjerojatnost Grafikon za razinu populacije koji prikazuje vjerojatnost točnog odgovora na zadatak na različitim razinama latentne točnog odgovora na zadatak na različitim razinama latentne psihološke dimenzije predstavlja karakterističnu krivulju psihološke dimenzije predstavlja karakterističnu krivulju zadatka ili funkciju odgovora na zadatakzadatka ili funkciju odgovora na zadatak


Na osnovu takve, matematički definirane funkcije, moguće je Na osnovu takve, matematički definirane funkcije, moguće je odrediti kondicionalnu vjerojatnost točnog (ili netočnog) odrediti kondicionalnu vjerojatnost točnog (ili netočnog) odgovora Podgovora P

ii(() ) ili Qili Qii(()) za ispitanika zadane za ispitanika zadane razine. Glavna razine. Glavna

razlika između popularnih TOZ modela jest u matematičkom razlika između popularnih TOZ modela jest u matematičkom obliku određenja Pobliku određenja P

ii((), tj. definiciji karakteristične funkcije ), tj. definiciji karakteristične funkcije

zadatka. zadatka.

Postoji nekoliko parametara ili numeričkih indikatora koji Postoji nekoliko parametara ili numeričkih indikatora koji opisuju karakterističnu funkciju odgovora na zadatak, iako opisuju karakterističnu funkciju odgovora na zadatak, iako različiti modeli koriste samo neke od parametara za definiciju različiti modeli koriste samo neke od parametara za definiciju krivulje. Parametar krivulje. Parametar težine zadatkatežine zadatka, prema u TOZ-u, definira se , prema u TOZ-u, definira se kao sredina funkcije.kao sredina funkcije.


Nadalje od važnosti u TOZ-u je točka u kojoj se krivulja Nadalje od važnosti u TOZ-u je točka u kojoj se krivulja (funkcija) mijenja iz pozitivno akcelerirane u negativno (funkcija) mijenja iz pozitivno akcelerirane u negativno akceleriranu. U toj točki nagib krivulje je maksimalan, te je i akceleriranu. U toj točki nagib krivulje je maksimalan, te je i diskriminativnost najveća. diskriminativnost najveća. Diskriminativnost zadatkaDiskriminativnost zadatka u TOZ-u u TOZ-u proporcionalna je ovom maksimalnom nagibu krivuljeproporcionalna je ovom maksimalnom nagibu krivulje

Treći važan parametar jest vjerojatnost povezana s donjim Treći važan parametar jest vjerojatnost povezana s donjim krajem krivuljkrajem krivulje.e.

Ovaj parametar određuje vjerojatnost točnog/indikativnog Ovaj parametar određuje vjerojatnost točnog/indikativnog odgovora za ispitanike s vrlo niskom razinom sposobnosti. odgovora za ispitanike s vrlo niskom razinom sposobnosti. Parametar se ponekad označava kao parametar "donje Parametar se ponekad označava kao parametar "donje asimptote" ili parametar "pseudo-pogađanja". asimptote" ili parametar "pseudo-pogađanja".


Neka KKZ je potpuno definirana kada je specificiran njen Neka KKZ je potpuno definirana kada je specificiran njen opći oblik i kada su poznati njeni parametri za konkretni opći oblik i kada su poznati njeni parametri za konkretni zadatak. zadatak.

Obzirom na broj parametara koji koriste za opis Obzirom na broj parametara koji koriste za opis funkcije modeli se uobičajeno nazivaju 1-, 2- ili 3-funkcije modeli se uobičajeno nazivaju 1-, 2- ili 3-parametarski. parametarski.


Primjer karakteristične krivulje zadatka pod 3-PL modelomPrimjer karakteristične krivulje zadatka pod 3-PL modelom

4.003.002.001.00.00-1.00-2.00-3.00-4.00

1.0

.8

.6

.4

.2

0.0

Osnovne pretpostavke teorije odgovora na zadatke Osnovne pretpostavke teorije odgovora na zadatke

ispitanik koji zna točan odgovor na zadatak vjerojatno ispitanik koji zna točan odgovor na zadatak vjerojatno će će točno točno odgovoriti na njega odgovoriti na njega

dimenzionalnost latentnog prostordimenzionalnost latentnog prostora – k latentnih dimenzija a – k latentnih dimenzija definira uradak ispitanika u zadatkudefinira uradak ispitanika u zadatku

jjedna od temeljnih pretpostavki TOZ modela odnosi se na edna od temeljnih pretpostavki TOZ modela odnosi se na pretpostavljeni oblik karakteristične krivulje zadatka (KKZ) ili pretpostavljeni oblik karakteristične krivulje zadatka (KKZ) ili kako se ponekad naziva funkcija odgovora na zadatak (FOZ). kako se ponekad naziva funkcija odgovora na zadatak (FOZ).

Pretpostavka o Pretpostavka o lokalnlokalnojoj neovisnost neovisnostii. Lokalna neovisnost znači . Lokalna neovisnost znači da vjerojatnost točnog odgovora na jedan zadatak ne ovisi o da vjerojatnost točnog odgovora na jedan zadatak ne ovisi o odgovorima na ostale zadatkeodgovorima na ostale zadatke

Implicitna pretpostavka svih TOZ modela jest da testovi na koje Implicitna pretpostavka svih TOZ modela jest da testovi na koje se modeli odnose nisu primijenjeni pod uvjetima vremenskog se modeli odnose nisu primijenjeni pod uvjetima vremenskog ograničenjaograničenja

Neki model TOZ-a specificira odnos između testovnog Neki model TOZ-a specificira odnos između testovnog rezultata, dostupnog opažanju i latentne osobine ili rezultata, dostupnog opažanju i latentne osobine ili sposobnosti za koju je pretpostavljeno da je u osnovi učinka u sposobnosti za koju je pretpostavljeno da je u osnovi učinka u testu, a koju nije moguće direktno mjeriti. Unutar širokog testu, a koju nije moguće direktno mjeriti. Unutar širokog okvira TOZ-a, mogu se operacionalizirati mnogi modeli zbog okvira TOZ-a, mogu se operacionalizirati mnogi modeli zbog velikog broja mogućih matematičkih oblika karakteristične velikog broja mogućih matematičkih oblika karakteristične krivulje zadatka. krivulje zadatka.

Teorija odgovora na zadatke - TOZTeorija odgovora na zadatke - TOZ

GuttmanMoiserLawleyLazarsfeld

Lord

Birnbaum Wright

1950 2000…

Samejima

Hambleton

Swaminathan

McDonaldRasch

logistički modeli za binarne logistički modeli za binarne zadatkezadatke1- parametarski logistički1- parametarski logistički2- parametarski logistički2- parametarski logistički3 -parametarski logistički3 -parametarski logistički Model integrala krivulje Model integrala krivulje normalne distribucijenormalne distribucije

model za nominalne model za nominalne varijablevarijable model zamodel za k kontinuirane ontinuirane

varijablevarijable

Item Response Theory - IRTItem Response Theory - IRT

Multidimenzionalni Multidimenzionalni modelimodeli

Neki model TOZ-a specificira odnos između testovnog Neki model TOZ-a specificira odnos između testovnog rezultata, dostupnog opažanju i latentne osobine ili rezultata, dostupnog opažanju i latentne osobine ili sposobnosti za koju je pretpostavljeno da je u osnovi učinka u sposobnosti za koju je pretpostavljeno da je u osnovi učinka u testu, a koju nije moguće direktno mjeriti. Unutar širokog testu, a koju nije moguće direktno mjeriti. Unutar širokog okvira TOZ-a, mogu se operacionalizirati mnogi modeli zbog okvira TOZ-a, mogu se operacionalizirati mnogi modeli zbog velikog broja mogućih matematičkih oblika karakteristične velikog broja mogućih matematičkih oblika karakteristične krivulje zadatka. krivulje zadatka.

1-parametarski logistički model1-parametarski logistički model

J e d n a d ž b a f u n k c i j e z a 1 - P L m o d e l

Pe D b

D b

e( )

( )

( )

1 , ( i = 1 , 2 , . . . , k )

b - p a r a m e t a r t e ž i n e P p r e d s t a v l j a k o n d i c i o n a l n u v j e r o j a t n o s t i n d i k a t i v n o g o d g o v o r a n a z a d a t a k t e ž i n e b z a i s p i t a n i k a s r a z i n o m l a t e n t n e o s o b i n e j e d n a k o m .


J e d n a d ž b a f u n k c i j e z a 2 - P L :

Pe

i

D a b

D a b

i i

i ie( )

( )

( )

1 , ( i = 1 , 2 , . . . , k )

a - p a r a m e t a r d i s k r i m i n a t i v n o s t i b - p a r a m e t a r t e ž i n e N a d a l j e o d v a ž n o s t i u T O Z - u j e t o č k a u k o j o j s e k r i v u l j a ( f u n k c i j a ) m i j e n j a i z p o z i t i v n o a k c e l e r i r a n e u n e g a t i v n o a k c e l e r i r a n u . U t o j t o č k i n a g i b k r i v u l j e j e m a k s i m a l a n , t e j e i d i s k r i m i n a t i v n o s t n a j v e ć a . D i s k r i m i n a t i v n o s t z a d a t k a u T O Z - u p r o p o r c i o n a l n a j e o v o m m a k s i m a l n o m n a g i b u k r i v u l j e .


J e d n a d ž b a f u n k c i j e z a 3 - P L m o d e l

P c c

ei i i

D a b

D a b

i i

i ie( ) ( )

( )

( )

11 , ( i = , 1 , 2 , . . . , k )

P j ( ) = v j e r o j a t n o s t t o č n o g o d g o v o r a n a z a d a t a k j i s p i t a n i k a s a r a z i n o m s p o s o b n o s t i b j = p a r a m e t a r t e ž i n e z a d a t k a a j = p a r a m e t a r d i s k r i m i n a t i v n o s t i D = 1 . 7 ( f a k t o r s k a l i r a n j a )

Procjena individualnih parametaraProcjena individualnih parametara

V j e r o j a t n o s t d a i s p i t a n i k s o s o b i n o m p o s t i g n e o d g o v o r U i n a z a d a t a k i o z n a č a v a s e s P ( U i | ) , p r i č e m u v r i j e d i :

Uz a t o c a n o d g o v o r

z a n e t o c a n o d g o v o ri

1

0

v j e r o j a t n o s t p o j a v e k - c l a n o g v e k t o r a u = ( 1 0 1 1 0 . . . 1 ) , g d j e 1 o z n a c a v a t o c a n o d g o v o r , a 0 n e t o c a n , j e d n a k a j e P 1 x ( 1 - P 2 ) x P 3 x P 4 x ( 1 - P 5 ) . . . x P k . K a k o s e v j e r o j a t n o s t i o d g o v o r a n a p o j e d i n i z a d a t a k u s k l a d u s o d a b r a n i m T O Z m o d e l o m o d n o s e z a n e k u z a d a n u v r i j e d n o s t , r a d i s e o k o n d i c i o n a l n o j v j e r o j a t n o s t i :


A k o p o s t a v i m o d a j e P i ( ) = P r o b ( U i = 1 | ) , t e Q i ( ) = P r o b ( U i = 0 | ) , o n d a : P r o b ( U 1 , U 2 , . . . , U k = u k | ) =

P Q P Q P Qu u u uk

uk

uk k1 1

12 2

1 11 1 2 2( ) ( ) ( ) ( ) . . . ( ) ( )

P Qiu

iu

i

ki i( ) ( ) 1

1

T e o r i j a o d g o v o r a n a z a d a t a k , n a s t o j i o d r e d i t i u z k o j u j e v r i j e d n o s t n a j v j e r o j a t n i j i o p a ž e n i o b r a z a c o d g o v o r a n a k z a d a t a k a .


S t a n d a r d n a d e v i j a c i j a ' , i l i s t a n d a r d n a p o g r e š k a , o z n a č e n a s a S P ( ' ) , j e s t f u n k c i j a o d i z a d a n a i z r a z o m :

S PI

( ' )( )

1

g d j e j e I ( ) i n f o r m a c i j s k a f u n k c i j a . B u d u ć i d a n i j e p o z n a t , i n f o r m a c i j s k a f u n k c i j a s e r a č u n a o k o ' . N o r m a l i t e t d i s t r i b u c i j e ' m o ž e p o s l u ž i t i z a o d r e đ i v a n j e i n t e r v a l a s i g u r n o s t i z a , n a s t a n d a r d a n n a č i n u z p o m o ć z - v r i j e d n o s t i .

Bazični problem teorije odgovora na zadatke jest procjena karakteristične krivulje zadatka, odnosno parametara koji su potrebni za njezino definiranje unutar odabranog modela. U osnovi problem je sličan regresijskom problemu, ali se ovdje najčešće radi o nelinearnoj regresiji. Treba odabrati logističku krivulju, poznatih karakteristika koja najbolje opisuje podatke.

Ukoliko želimo procijeniti parametre zadataka kada je poznato za svakog ispitanika, primijenit ćemo k zadataka na veliki broj ispitanika i dobiti funkciju vjerodostojnosti za odgovore N ispitanika na zadatak, koja izgleda:

L(u1,u2,...,uN | q,a,b,c) = PQi

ui

u

i

Ni i1

1

gdje su a,b, c parametri zadatka (kod 3-PL modela), dok su sa ui označeni odgovori ispitanika na zadatak. Potrebno je odrediti najvjerojatnije a, b i c uz dati skup odgovora skupine ispitanika

Korisna osobina karakterističnih funkcija zadataka jest njihova aditivnost (shodno pretpostavci o lokalnoj neovisnosti). Tako se funkcije zadataka u testu mogu dodavati na svakoj razini latentne dimenzije. Ova krivulja, kreirana sumiranjem pojedinačnih funkcija zadataka naziva se karakteristična krivulja testa (KKT) ili karakteristična funkcija testa (KFT).

Apscisa kod funkcije KKT još uvijek predstavlja latentnu dimenziju () mjerenu testom. Ordinata predstavlja sumu vjerojatnosti točnih odgovora na svaki pojedini zadatak u testu. Kada se zbroje ove vjerojatnosti, tako dobiveni rezultat se naziva "pravi rezultat" ili procijenjeni broj točnih odgovora

Provjera prikladnosti modela

J e d n a o d k o r i š t e n i h t e h n i k a z a p r o v j e r u s l a g a n j a m o d e l a s o p a ž e n i m p o d a c i m a j e s t Q - t e s t , z a s n o v a n n a l o g i c i h i - k v a d r a t a :

Q

N P E P

E P E Pi

j i j i j

i j i jj

m

1

2

1 1

( )

( ) ( )

N j = b r o j i s p i t a n i k a u k a t e g o r i j i s p o s o b n o s t i j P i j = o p a ž e n a p r o p o r c i j a t o č n i h o d g o v o r a n a z a d a t a k i u k a t e g o r i j i s p o s o b n o s t i j E ( P i j ) = o č e k i v a n a v r i j e d n o s t P i j n a o s n o v u T O Z m o d e l a m = b r o j k a t e g o r i j a s p o s o b n o s t i J e d a n o d p r o b l e m a v e z a n i h u z h i - k v a d r a t j e s t t o š t o j e o s j e t l j i v n a v e l i č i n u u z o r k a .

Koncept informacije u kontekstu teorije odgovora na zadatke

K la s ič n i k o n c e p t p o u z d a n o s t i , o d n o s n o p o g r e š k e m j e r e n j a , u T O Z z a m i j e n j e n j e k o n c e p t o m in f o r m a c i j e . K o n c e p t in f o r m a c i j e j e d a n j e o d s r e d iš n j ih u T O Z - u . I n f o r m a t iv n o s t s e u p s ih o m e t r i j s k o m i l i s t a t i s t i č k o m s m i s l u o d n o s i n a s t u p a n j p r e c i z n o s t i s k o j i m n e š t o p r o c j e n j u j e m o . R o n a ld F is h e r j e d e f in i r a o s t a t i s t i č k u in f o r m a c i j u k a o r e c ip r o č n u v r i j e d n o s t p r e c iz n o s t i p r o c j e n e n e k o g p a r a m e t r a V e l i č in a in f o r m a c i j e d o b iv e n a s k u p o m t e s t o v n ih z a d a t a k a n a n e k o j r a z in i m j e r e n e o s o b in e u in v e r z n o m j e o d n o s u s a p o g r e š k o m p r o c j e n e o s o b i n e n a t o j r a z in i . T a k o d a j e o p ć i i z r a z z a s t a n d a r d n u p o g r e š k u

S EI

( )( )

1

O v a k o d o b i v e n a f u n k c i j a p r e d s t a v l j a k o n d i c i o n a l n u s t a n d a r d n u p o g r e š k u m j e r e n j a . F u n k c i j a p o k a z u j e v e l i č in u p o g r e š k e m j e r e n j a u f u n k c i j i r a z i n e m j e r e n e o s o b i n e .

Koncept informacije u TOZKoncept informacije u TOZOpćenito količina informacije koju nam daje zadatak na zadanoj razini može se izraziti kao omjer kvadrata nagiba krivulje zadatka i kondicionalne varijance:

I u

P

P Qi

i

i i

( , )( )

( ) ( )

'

2

i n f o r m a c i j s k a f u n k c i j a z a d a t k a

i l i

I

P

P Q

i

i ii

k

( , ' )( )

( ) ( )

'

2

1 i n f o r m a c i j s k a f u n k c i j a t e s t a

O n a p r i k a z u j e r e l a t i v n u k o l i č i n u i n f o r m a c i j e k o j u n u d i t e s t n a s v a k o j r a z i n i k o n t i n u u m a .

Determinante preciznosti procjene individualnih Determinante preciznosti procjene individualnih parametaraparametara

I

D a c

c e ej

j j

ja b a a bj j j j

( ' )( )

. ( ) . ( )

2

1 7 1 7 2

1

1

a) Što je parametar a) Što je parametar bb sličniji vrijednosti sličniji vrijednosti , tj. što je , tj. što je zadatak zadatak težinski primjereniji razvijenosti latentne osobine kod težinski primjereniji razvijenosti latentne osobine kod ispitanika, informacije je većaispitanika, informacije je veća

b) b) ŠŠto je veća diskriminativnost zadatka informacija je to je veća diskriminativnost zadatka informacija je većaveća

cc) Informacija se povećava smanjenjem parametra c, tj. ) Informacija se povećava smanjenjem parametra c, tj. reduciranjem vjerojatnosti slučajnog pogađanja.reduciranjem vjerojatnosti slučajnog pogađanja.

dd) ) broj zadatakabroj zadataka

0

1

2

3

4

5

6

-3 -2 -1 0 1 2 3

Skala individualnih parametara

Info

rmac

ijska

vri

jedn

ost

Informacijska funkcija testa i pogreška mjerenja

Test od 10 zadataka u situaciji C

0

1

2

Standardna pogreška

0

0.5

1.0

1.5

2.0

2.5

3.0

3.5

4.0

4.5

5.0

-3 -2 -1 0 1 2 3


Inf

orm

acij

ska

vrij

edno

st


Skraćena verzija testa APM od 10 zadataka

0

1

2

3

4


Mogućnosti primjene TOZ

Izrada banke zadataka (ITEM POOL)

Kada postoji banka sadržajno-valjanih i tehnički provjerenih zadataka, konstruktor testa ima znatno olakšanu ulogu, te može sačiniti kvalitetniji test, nego kad sam priprema vlastiti test.

Potencijali takve banke (osobito kalibrirane TOZ tehnikama) su:

a) lako se može sačiniti test za mjerenje nekog željenog predmeta mjerenja

b) unutar okvira banke zadataka možemo kreirati testove s željenim brojem zadataka

c) kvaliteta testa se može značajno poboljšati

- određivanje pristranosti zadataka (item bias).

- kompjutersko adaptivno testiranje (KAT).

Konstrukcija kompozitnih testova u kontekstu TOZ

Lord i Birnbaum (u Lord i Novick, 1968) opisuju princip izbora zadataka:

a) Treba opisati oblik željene informacijske funkcije testa. Lord je naziva ciljna informacijska funkcija (CIFT).

b) Biraju se zadaci sa informacijskim funkcijama koji će popuniti željeno područje ispod informacijske funkcije.

c) Nakon što je svaki zadatak dodan u test, računa se IFT za odabrane zadatke.

d) Nastavi se izbor zadataka sve dok IFT ne aproksimira ciljnu IFT do zadovoljavajućeg stupnja (naravno, ako imamo na raspolaganju dovoljno zadataka).

Zaključno o TOZZaključno o TOZ

a)a) Različite nove mogućnosti: kompjutersko adaptivno Različite nove mogućnosti: kompjutersko adaptivno testiranje; izrada banke zadatakatestiranje; izrada banke zadataka

b)b) procjena ispitanikove sposobnosti neovisna je o procjena ispitanikove sposobnosti neovisna je o specifičnom poduzorku zadataka koji su primijenjeni na specifičnom poduzorku zadataka koji su primijenjeni na ispitanika (tzv. "mjerenje neovisno o testu").ispitanika (tzv. "mjerenje neovisno o testu").

c) c) uz pretpostavku o postojanju populacije ispitanika, uz pretpostavku o postojanju populacije ispitanika, parametri zadatka (npr. težina i diskriminativnost) neovisni parametri zadatka (npr. težina i diskriminativnost) neovisni su o specifičnom poduzorku ispitanika na kojem se vrši su o specifičnom poduzorku ispitanika na kojem se vrši kalibracija zadataka.kalibracija zadataka.

dd)) dostupna je statistika vezana uz preciznost procjene dostupna je statistika vezana uz preciznost procjene sposobnosti za ispitanike različite sposobnostisposobnosti za ispitanike različite sposobnosti

Zaključno o TOZZaključno o TOZ

ee)) Ispitanici sa istim klasičnim rezultatom (broj točnih Ispitanici sa istim klasičnim rezultatom (broj točnih odgovora) mogu se razlikovati prema latentnoj odgovora) mogu se razlikovati prema latentnoj vrijednostivrijednosti

f) f) Klasična mjera procjene mjerenog atributa nije linearno Klasična mjera procjene mjerenog atributa nije linearno povezana s theta dimenzijom. povezana s theta dimenzijom.

g) Parametri težine i diskriminativnosti međusobno su g) Parametri težine i diskriminativnosti međusobno su neovisnineovisni

hh)) Parametar težine izražen je na skali latentne dimenzije Parametar težine izražen je na skali latentne dimenzije

TOZTOZ

0

2

4

6

8

10

-3 -2 -1 0 1 2 3


Info

rmac

ijska

vri

jedn

ost


test: APM

0

1

2


"These days it is not easy to be a psychometrician..."

I. Bejar

teorija odgovora na zadatke (item response theory – irt) konceptualizacija i mogućnosti...

Documents