Altri metodi di costruzione di test

Metodo orientato al criterio, cenni su altri metodi

Metodo orientato al criterio

Gli item del test vengono selezionati in base alla loro capacità empirica di discriminare fra gruppi-criterio.

Malati/saniBocciati/promossiSchizofrenici/depressi

Si tratta di un metodo molto empirico e non teorico di costruire un test.Ciò ha alcuni vantaggi, e molti svantaggi.

Vantaggio: chiara utilità praticaSvantaggi: validità di costrutto ignota, inutili per la comprensione dei processi psicologici

Vediamo meglio i vantaggi…Semplicità concettuale del processo di sviluppo della scala.

Si selezionano gli item che mostrano punteggi differenti in gruppi-criterio noti.

Capacità di rispondere alle esigenze applicative di selezione, diagnosi e orientamento.

Molti committenti richiedono indicazioni pratiche precise sui risultati del test, non teorie sui processi.

Flessibilità del metodo per costruire test specifici per ogni esigenza.

Una volta individuati i gruppi criterio è teoricamente possibile sviluppare test in grado di discriminarli.

… e gli svantaggi -1Inattendibilità dei gruppi criterio.

È possibile che i test tentino di discriminare gruppi che non sono definiti in modo attendibile, o che non esistono;oppure che la definizione dei gruppi criterio abbia senso solo all’interno di una teoria, ma non sia generalizzabile ad altre tradizioni teoriche.

Eccessiva specificità del test.Il test è utile solo nelle condizioni per cui è stato sviluppato.Se ad esempio una riforma universitaria radicale muta le condizioni di successo accademico, i test di orientamento sviluppati su un criterio precedentemente valido non sono piùutilizzabili.L’utilizzo del test in una cultura diversa da quella in cui èstato sviluppato può essere problematico.

Significato psicologico dei punteggi ignoto.È il difetto più importante di questi test.

Non avendo una teoria sulle variabili psicologiche che distinguono due gruppi, la disponibilità di un buon test discriminante non ci aiuta a capire perché sono diversi.Non abbiamo idea di quanti costrutti siano coinvolti nella determinazione di un punteggio (uno, due, cento…?).Due punteggi uguali non implicano la presenza dei medesime meccanismi psicologici.Date queste ambiguità, non è possibile costruire nemmeno conoscenza empirica cumulativa utilizzando questi test.

… e gli svantaggi -2

Come si costruiscono test orientati al criterio.

Il problema più delicato è la definizione del criterio.Due gruppi (malati/sani…)Un punteggio criterio.

In ogni caso, il campione su cui si opera deve essere il più grande possibile.

Le differenze fra i gruppi criterio devono essere attendibili.es: medie diverse.

Allo stesso tempo però, le differenze fra i gruppi criterio devono anche essere grandi.

es: correlazione elevata fra appartenenza al gruppo e punteggio ad un item.

Gli item

La batteria di item iniziale deve essere sufficientemente grande.Gli item non necessariamente devono avere validitàdi contenuto o validità di facciata.La batteria di item deve essere più grande di quelle usate per il metodo fattoriale o di analisi degli item.

Mancando criteri teorici per la scelta degli item, dobbiamo sperare di trovare un numero di item sufficiente a costruire una scala a partire da un numero molto elevato di item.Ciò è meno vero quando gli item hanno una certa validità di facciata o di contenuto.

Le analisi statistiche -1Gruppi come criterio:

Differenze medie fra itemT-test (un item alla volta)ANOVA univariata (un item alla volta)MANOVA (tutti gli item assieme)Analisi discriminante univariata o multivariata.

Relazione fra item e appartenenza al gruppoOpportuni coefficienti di correlazione a seconda di come sono misurati l’appartenenza al gruppo e gli item(dicotomico/dicotomico; dicotomico/politomico; ordinale/politomico…)

Punteggio come criterio:Relazione fra item e punteggio criterio.

Opportuni coefficienti di correlazione.Regressione.

Ricordare che l’ampiezza dei campioni ècruciale per la potenza statistica.

Con molti soggetti, piccole differenze medie e correlazioni deboli possono risultare molto significative.

Non si tratta sempre di un vantaggio.Possiamo individuare differenze di scarsa entitàpratica o teorica.

È opportuno considerare la grandezza delle differenze, e la forza delle relazioni oltre alla loro significatività.

Le analisi statistiche -2

Selezione degli item

Semplicemente si selezionano gli item che discriminano efficacemente fra i gruppi;o gli item fortemente associati con il punteggio-criterio.A volte è necessario sviluppare il test separatamente per maschi e femmine (o altri gruppi noti: Italia e USA).

In genere si tende a comporre il test con gli itemdiscriminativi in entrambe le sottopopolazioni.

Controlli

Verifica della capacità discriminativadell’intero test.

Sommare i punteggi degli item e vedere quanto discriminano fra i gruppi, o quanto predicono il punteggio-criterio.

Attendibilità del test risultante.Spesso l’attendibilità è bassa, dato che il test può essere multifattoriale.

Replica su un diverso campione della capacità discriminativa degli item selezionati.

Idealmente…È possibile chiarire il significato psicologico del test, ricorrendo all’analisi fattoriale.

Fattorializzare la scala con test di cui è nota la validità di costrutto, e vedere dove essa si posiziona.

Se però il test è multifattoriale, non capiremo comunque nulla.Fattorializzare gli item del test.

Si potrebbe capire induttivamente quanti costrutti misura il test.Fattorizzare i singoli item del test con test di cui è nota la validità di costrutto.

In questo modo abbiamo l’informazione più fine circa i motivi del potere discriminativo degli item.

Validità e standardizzazioneCome per tutti i test, prima di rendere normativi i risultati è necessario provare la validità di costrutto.Ciò è particolarmente importante per i test validatisul criterio massimizzando la sua capacitàdiscriminativa.In pratica, lo sviluppo di test basandosi sulla discriminabilità del criterio è svantaggioso.Per rendere il test valido bisogna imbarcarsi in un lavoro di gran lunga più lungo e “rischioso” di quanto richiesto dall’approccio basato sull’analisi fattoriale o sull’analisi degli item.

Altri metodiScale di Guttman.

Sviluppate per atteggiamenti e opinioni.Scale di Rasch, e altri metodi noti come ItemResponse Theory (IRT).

Versione più moderna e sofisticata delle scale di Guttman.Scale Thurstone.

Usate per gli atteggiamenti.Scale Likert.

Molto usate per atteggiamenti e personalità.Differenziale semantico.

Usate per atteggiamenti e in generale per valutazioni di qualunque cosa; popolari anche nel marketing.

Scale di Guttman o “cumulative”L’obiettivo è avere una serie di item ordinati secondo l’estremità dell’atteggiamento che esprimono.

Es: Sposerei un rom; inviterei a cena un rom; mi siederei accanto ad un rom in un bus; vivrei nella stessa città in cui vivono alcuni rom.

In questo modo, la risposta positiva ad un itemimplica risposta positiva agli item precedenti; la risposta negativa implica risposte negative agli itemsuccessivi.Il soggetto ottiene un punteggio corrispondente al livello dell’item più estremo cui ha dato risposta positiva.

Si somministra la scala ad un campione e:Scale di Guttman o “cumulative”

PunteggioI believe that this country should allow more immigrants in. 1 I would be comfortable with new immigrants moving into my community. 2 It would be fine with me if new immigrants moved onto my block. 3 I would be comfortable if a new immigrant moved next door to me. 4 I would be comfortable if my child dated a new immigrant. 5 I would permit a child of mine to marry an immigrant. 6

Svantaggi scale di GuttmanIl punteggio è basato sull’ordinamento degli item (scale cumulative), quindi si tratta di una misurazione di livello ordinale.Non abbiamo idea della dimensionalità della scala.

Con conseguenti problemi di validità di costrutto.L’ordinamento degli item non rappresenta bene la teoria psicologica degli atteggiamenti.

Che concepisce l’atteggiamento come un continuum valutativo di un oggetto, non come un ordinamento di comportamenti o opinioni.

Ogni item in una scala di Guttman misura l’atteggiamento in un punto specifico del suo continuum.

Non è intrinsecamente un difetto, ma è un’ulteriore violazione della teoria degli atteggiamenti.

Svantaggi scale di GuttmanAltri problemi pratici.L’ordinamento degli item (o “scalogramma”) raramente è perfetto.Non è possibile calcolare l’attendibilità intesa come coerenza interna su questi punteggi.Nello sviluppo della scala si seguono delle considerazioni empiriche per selezionare gli iteminvece che teoriche.

Si selezionano gruppi di item che si avvicinano ad una configurazione a “scalogramma”.Ma sono item rilevanti per il costrutto?

Modelli di Rasch e IRTModello molto complesso, che tenta di raggiungere le proprietà di una scala Guttman utilizzando dei parametri probabilistici.Ha alcune proprietà molto interessanti, che non si accordano con la teoria classica dei test.

Si distingue fra un parametro di risposta dovuto al tratto e un parametro dovuto alla difficoltà dell’item (non è l’errore casuale).I parametri del modello sono indipendenti dalla popolazione.I punteggi della scala possono essere ottenuti con qualunque sottoinsieme di item.Il punteggio della scala è indipendente dalla difficoltà degli item.

Svantaggi di Rasch e IRTIl modello assume l’unidimensionalità, senza prevedere verifiche dell’assunzione.

Modelli statistici più recenti sviluppati nel solco della IRT prevedono la multidimensionalità.

Non si accorda alla teoria classica dei test.Non è necessariamente uno svantaggio.

Non si accorda al modo in cui molte teorie psicologiche concepiscono i propri costrutti.

È invece coerente con molte definizioni delle abilità o delle conoscenze.È utilizzabile per i test di abilità e di profitto.

Come per le scale Guttman, la selezione degli item èun processo piuttosto empirico.

Si seleziona l’item che soddisfa le assunzione, ma cosa dice l’item?

Scale di ThurstoneOgni item di una batteria è valutato da un gruppo di esperti, i quali distribuiscono gli item su una scala a 11 punti.

Si tenta di ottenere una scala in cui siano presenti affermazioni che coprono tutto l’arco dell’atteggiamento, dalle affermazioni più favorevoli alle meno favorevoli.

Scale di Thurstone

Il punteggio dei soggetti è dato dall’item più estremo cui hanno aderito, o dalla media degli item cui hanno aderito.Si differenzia dalla scala di Guttman in quanto considera l’atteggiamento come continuo e distribuito normalmente.Come per la scala Guttman, ogni item misura una particolare porzione del costrutto.

People with AIDS are like my parents (6) Because AIDS is preventable, we should focus our resources on prevention instead of curing (5) People with AIDS deserve what they got. (1) Aids affects us all (10) People with AIDS should be treated just like everybody else. (11) AIDS will never happen to me. (3) It's easy to get AIDS (5) AIDS doesn't have a preference, anyone can get it (9) AIDS is a disease that anyone can get if they are not careful (9) If you have AIDS, you can still lead a normal life (8) AIDS is good because it helps control the population. (2) I can't get AIDS if I'm in a monogamous relationship. (4)

Svantaggi scale di ThurstoneSvantaggi pratici.

Non sono i soggetti che fanno la scala, ma i “giudici esperti”: devo avere un campione ampio (2 o 3 per item) e attendibile di giudici esperti.L’atteggiamento del giudice muta la valutazione del giudice (orizzonte del rifiuto).Bisogna coprire tutto l’arco dell’atteggiamento con punteggi da 1 a 11. È difficile trovare un gruppo di giudici che raggiunga un buon accordo su una categorizzazione così complessa.

Svantaggi teorici.Gli atteggiamenti non sembrano conformarsi al modello di Thurstone.Il problema è avere un item valido solo per alcuni porzioni del tratto di atteggiamento che si sta studiando.

Scale LikertIl soggetto gradua tramite una scala a minimo 5 posizioni il suo grado di adesione ad una serie di item.

Il punteggio al test è dato dalla somma degli item.

Per questo, le scale Likert vengono anche chiamate scale “sommative”.

Svantaggi delle scale LikertDesiderabilità sociale in agguato.

Si è spesso obbligati ad usare item poco estremi, per rendere possibile l’occorrenza di ogni tipo di risposta.Si attende una distribuzione normale per ogni item, e item estremi raramente la mostrano.

Acquiescenza e stili di risposta.Per evitare l’acquiescenza alla direzione dell’item si è spesso costretti a prevedere item invertiti.Lo stile di risposta spesso è più difficile da trattare.

Differenziale semanticoValutazione di un oggetto o azione tramite una scala graduata bipolare, ancorata a due opposti aggettivi.Per ogni concetto da valutare si utilizzano più scale di differenziale semantico.

Gli studiosi della classificazione dei concetti distinguono le dimensioni di valutazione, attività e forza.Nella psicologia degli atteggiamenti si è giunti ad identificare il costrutto di atteggiamento con la dimensione valutativa del differenziale semantico.

Buono __ __ __ __ __ __ __ CattivoAttivo __ __ __ __ __ __ __ PassivoForte __ __ __ __ __ __ __ Debol e

Buono __ __ __ __ __ __ __ CattivoPiacevol e __ __ __ __ __ __ __ Spiacevol eDesiderabil e __ __ __ __ __ __ __ I ndesiderabil e

Svantaggi del differenziale semanticoNon ne ha molti come misura di atteggiamento: èflessibile, attendibile e generalmente unidimensionale.

È infatti la misura più gettonata come indicatore dell’atteggiamento.

I problemi sorgono quando utilizziamo aggettivi non adatti al concetto verso cui intendiamo misurare l’atteggiamento.

Es: valutazioni morali su concetti non ritenuti moralmente rilevanti.

Bisogna anche fare attenzione a creare un set di scale realmente unidimensionali.

Spesso le scale utilizzate rappresentano in realtà le dimensioni affettiva e cognitiva della valutazione: piacevole-spiacevole; utile-inutile.