Caratteristiche psicometriche dei test

Caratteristiche psicometriche dei test

Validità Attendibilità Analisi degli items

Teorie e tecniche dei test- 2003 Prof. Paola Gremigni

ValiditàValidità

Teoria

Costrutto

Operazionalizzazione

Osservazione

Validità esternageneralizzabilità delle conclusioni

Validità internalegame causale tra osservazioni e

intervento

Validità di costruttoho osservato ciò che volevo osservare

Intervento

Validità esternaValidità esterna

Si riferisce alla verità approssimata di proposizioni, inferenze e conclusioni

Coinvolge la generalizzabilità.

E’ il grado in cui le conclusioni dello studio possono essere considerate valide per altre persone in altre situazioni e in altri momenti

Validità interna –1 Validità interna –1

Si riferisce alla verità approssimata di inferenze che riguardano relazioni causali ossia relazioni causa - effetto

E’ rilevante solo in studi che cercano di dimostrare un legame causale (es. valutazione dell’effetto di un intervento terapeutico, educativo ecc.)

In tali contesti vogliamo concludere che gli effetti o cambiamenti osservati sono attribuibili all’intervento

(causa) e non ad altre possibili cause

Validità interna – 2 Validità interna – 2

Possiamo pensare alla validità interna come a un concetto di “zero generalizzabilità”

La validità interna significa che abbiamo evidenze del fatto che ciò che abbiamo fatto nello studio (intervento) ha causato ciò che abbiamo osservato succedere (outcome)

Non dice che ciò che abbiamo fatto e osservato era ciò che volevamo fare o osservare (validità di costrutto)

Validità di costruttoValidità di costrutto

CostruttoUn costrutto psicologico è un’idea teorica elaborata per spiegare e organizzare alcuni aspetti delle conoscenze esistenti (APA, 1974)

I costrutti vengono formulati derivandoli da teorie psicologiche o da osservazioni empiriche

Validità di costrutto o Validità rispetto alla funzione

Validità di costrutto o Validità rispetto alla funzione

Qui il concetto di validità di costrutto viene usato per identificare la validità di ogni operazionalizzazione

Ogni volta che traduciamo un costrutto in una funzione o realtà operativa dobbiamo interrogarci su “quanto bene” abbiamo fatto questa traduzione

Trochim W. (2000). The Research Methods Knowledge Base. Atomic Dog Pub., Cincinnati, OH

La validità di costrutto è la verità approssimata della conclusione che l’operazionalizzazione fatta riflette accuratamente il costrutto su cui si basa

Idea della Validità di costruttoIdea della Validità di costrutto

Teoria Cosa abbiamo in mente

Costrutto

Programma di misurazione

Osservazioni Cosa vediamo

Procedure di osservazione

Una definizione concettuale precisa di cosa abbiamo in mente

Idea della Validità di costruttoIdea della Validità di costrutto

La validità di costrutto è una misura (assessment) di “quanto bene” abbiamo tradotto le nostre idee (teoria) in concetti precisi (costrutto) e in programmi di misura (procedure di misurazione)

Il suo scopo è evitare gli errori di etichettamento (labeling) dei costrutti e di interpretazione dei risultati delle ricerche

Apertura

Espressione del sé

Fornire evidenze che i dati sostengono la visione teorica delle relazioni fra costrutti simili

Definire il costrutto che vogliamo operazionalizzare all’interno di una rete di significati (semantica) ossia dire a cosa è più o meno simile come significato

Fiducia in sé

Valore del sé

Criteri per la Validità di costruttoCriteri per la Validità di costrutto

Fornire evidenze dirette che l’operazionalizzazione del costrutto è sotto il nostro controllo

Autostima

Esempio

Tipi di Validità di costruttoTipi di Validità di costrutto

Validità dell’ operazionalizzazione*1. Validità di facciata2. Validità di contenuto3. Validità strutturale

Validità in relazione a un criterio1. Validità predittiva2. Validità concorrente3. Validità congruente4. Validità convergente / divergente5. Validità discriminante / differenziale

* Trochim (2000): Validità di traduzione (Translation Validity)

Validità dell’ operazionalizzazioneValidità dell’ operazionalizzazione

La validità dell’operazionalizzazione verifica se l’operazionalizzazione è una buona traduzione del costrutto

L’approccio è legato al processo di definizione

Assumiamo di avere una definizione ben dettagliata del costrutto e verifichiamo l’operazionalizzazione rispetto ad esso

Validità in relazione ad un criterioValidità in relazione ad un criterio

La validità in relazione a un criterio verifica se l’operazionalizzazione si comporta come dovrebbe, data la teoria del costrutto prescelta

L’approccio è di tipo relazionale

Assumiamo che l’operazionalizzazione debba funzionare in modo prevedibile in relazione ad altre operazionalizzazioni basate sulla teoria del costrutto prescelta

Tipi di Validità di costruttoTipi di Validità di costrutto

Validità dell’ operazionalizzazione1. Validità di facciata2. Validità di contenuto3. Validità strutturale

Validità in relazione a un criterio

Validità dell’ operazionalizzazioneValidità dell’ operazionalizzazione

1 - Validità di facciata

L’operazionalizzazione appare come una buona traduzione del costrutto.

Si può rendere più sistematica usando un campione selezionato di giudici esperti che ne valutano l’appropriatezza.

Validità dell’ operazionalizzazioneValidità dell’ operazionalizzazione

2 - Validità di contenuto L’operazionalizzazione viene valutata rispetto a

domini di contenuto rilevanti del costrutto. L’insieme degli items che compongono la scala è necessario e sufficiente a evidenziare il costrutto scelto.

Il criterio di valutazione è il costrutto stesso. Occorre verificare la campionatura degli items, la

proporzione per area e l’accordo fra esperti sulla rappresentatività degli items.

Validità dell’ operazionalizzazioneValidità dell’ operazionalizzazione

3 - Validità strutturale Grado in cui il test misura una struttura

teorica o un tratto. Metodo dell’analisi fattoriale

Metodo dell’analisi fattorialeMetodo dell’analisi fattoriale

Dato un insieme di misure, l’analisi fattoriale si propone di verificare se tutte misurano sostanzialmente la stessa variabile psicologica o se invece ne misurano aspetti diversi identificabili con sottogruppi di misure

Boncori L. Teorie e tecniche dei test. 1993, Torino: Bollati Boringhieri

Metodo dell’analisi fattoriale - 1Metodo dell’analisi fattoriale - 1

Analisi fattoriale esplorativa

E’ usata a scopo esplorativo per formulare ipotesi

Esempio: metodo delle componenti principali

Si cerca di interpretare i raggruppamenti in modo da fondare un’ipotesi più precisa

Raggruppamenti di variabili

Analisi fattoriale esplorativa

Metodo dell’analisi fattoriale - 2Metodo dell’analisi fattoriale - 2

Analisi fattoriale confermativa

E’ usata a scopo di verifica di un’ipotesi teorica precedentemente definita

Si formula un’ipotesi su come si raggrupperanno le variabili in base alla teoria del costrutto

Si verifica se i risultati

dell’analisi fattoriale sono congruenti con l’ipotesi ossia se la confermano

Tipi di Validità di costruttoTipi di Validità di costrutto

Validità dell’ operazionalizzazione

Validità in relazione a un criterio1. Validità predittiva2. Validità concorrente3. Validità congruente4. Validità convergente / divergente5. Validità discriminante / differenziale

Validità rispetto a un criterioValidità rispetto a un criterio

Valuta la prestazione dell’operazionalizzazione rispetto ad un criterio.

Serve per predire come funzionerà l’operalizzazione in base alla teoria da cui è derivato il costrutto.

La differenza fra vari tipi di validità rispetto a un criterio dipende dal criterio usato come standard per il giudizio.

Tipi di validità di criterio - 1 (Anastasi, 1976)

Tipi di validità di criterio - 1 (Anastasi, 1976)

1 - PredittivaRelazione tra test e criterio (outcome) a distanza di tempo.

Capacità di predire (regressione) qualcosa (criterio-outcome) che il test deve essere in grado di predire secondo la teoria.

2 - ConcorrenteRelazione contestuale tra test e criterio.Correlazione del test con la misurazione simultanea, agli stessi soggetti, di una variabile-criterio.

Criterio

Comportamento importante rispetto alla misura da validare ed esterno ad essa.

Tipi di validità di criterio - 2 Tipi di validità di criterio - 2

4 - Convergente / DivergenteGrado in cui il test correla con altri che misurano costrutti simili e non correla con altri che misurano costrutti diversi.

3 - Congruente

Congruenza (correlazione) tra risultati al test e risultati ad altri

test paralleli che misurano lo stesso costrutto.

ConvergenzaLe misure che devono essere correlate sono in realtà correlate

DivergenzaLe misure che non devono essere correlate non lo sono in realtà

Tipi di validità di criterio - 3Tipi di validità di criterio - 3

5 - Discriminante / Differenziale

Capacità di discriminare fra gruppi contrapposti, che teoricamente dovrebbero avere risultati opposti.

Capacità di differenziare fra gruppi simili, che teoricamente dovrebbero avere risultati diversi.

AttendibilitàAttendibilità Si riferisce alla qualità della

misurazione in termini di stabilità nel tempo e di consistenza interna

Non si può calcolare esattamente, ma solo stimare

Occorre integrare l’attendibilità con la validità

AttendibilitàAttendibilità

Attendibilità test-retest

Attendibilità come coerenza interna

Attendibilità per forme parallele

Attendibilità TEST-RETESTAttendibilità TEST-RETEST

E’ un indicatore della stabilità del test. Si misura correlando i punteggi degli

stessi soggetti allo stesso test ripetuto due volte.

Una buona correlazione si avvicina 1 (0,80) (es. una correlazione di 0,70 indica 49% di concordanza tra i due punteggi)

Errori di misurazioneErrori di misurazione

Condizioni dei soggetti Caratteristiche del test

– Istruzioni scadenti– Codifica soggettiva– Manipolabilità della risposta

Fattori di distorsione– Intervallo di tempo– Livello di difficoltà– Campionamento dei soggetti– Dimensione del campione (almeno 100)

Attendibilità come COERENZA INTERNAAttendibilità come COERENZA INTERNA

Grado in cui tutte le parti del test misurano la stessa variabile.

– Correlazione item-totale

– Omogeneità degli items

– Attendibilità split-half

– Alpha di Cronbach

Correlazione item-totale

Correlazione tra punteggio di ciascun item e punteggio totale al test

Omogeneità degli items

Correlazione media degli item fra loro

Alpha di Cronbach - Formula 20 di Kuder-Richarsdson, KR20

Covarianza media fra gli item

α = k (1 – Σ σ2i)

k-1 σ2t

K = n° item

Σ σ2i = somma varianze item

Σ2t = varianza totale test

Attendibilità split-half

- Divisione del test a metà

-Correlazione delle due metà del test fra loro (item pari – item dispari)

-Legame attendibilità-lunghezza (10 item)

Formula profetica Spearman-Brown

rkk = kr(media) ij 1 + (k – 1) r(media)ij

rkk = attendibilitàK = n° item

r(media) ij = correlazione media fra item

Attendibilità per FORME PARALLELEAttendibilità per FORME PARALLELE

Correlazione tra forme parallele dello stesso test (r = 0,90)

Relazione fra gli items di due test intesi come campioni casuali di uno stesso dominio

Attendibilità - sintesiAttendibilità - sintesi

Test-retest – Correlazione degli item di un test somministrati in

2 occasioni

Coerenza interna– Correlazione degli item all’interno di un test

Forme parallele– Correlazione di 2 campioni di item presi dallo

stesso dominio di item