tema 2 caracterÍsticas tÉcnicas instrumentos medida 4 de diciembre 2014

TEMA 2

CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA

4 de diciembre 2014

MEDICIÓN• Opera sobre un objeto• Según reglas (isomorfismo objeto – ud medida)• Unidad medida• Construir instrumentos (acto medición)• Tratamiento datos

TEORÍA CLÁSICA TESTS• Dificultad• Discriminación• Análisis distractores• Índice fiabilidad• Validez• Dimensionalidad

DIFICULTAD• En función número personas que contesten de forma correcta,

depende de muestra• ID = A / N• Si elección múltiple, para corregir efectos azar• ID =

NKE

A1

DIFICULTAD• Sentido test o pruebas objetivas medida aptitudes• Muy fáciles (ID > 0,75), fáciles (0,55 < ID < 0,75), normales (0,45 < ID

< 0,54), difíciles (0,25 < ID < 0,44), muy difíciles (ID < 0,25)• Mayor cantidad ítems dificultad media y pequeña cantidad ítems

dificultad alta y baja

DIFICULTAD• 40 alumnos, ítem 2 alternativas, aciertan 25 ID=25/40=0,625 (fácil)• 40 alumnos, ítem 2 alternativas, aciertan 15 ID=15/40=0,375

(difícil)• 40 alumnos, ítem 3 alternativas, aciertan 15 ID= = 0,4375

(difícil)

4013

1525

DISCRIMINACIÓN• Selectividad pregunta para discriminar grupo más

aciertos vs menos aciertos (correlación item – puntuación test)

• -1 … +1 Buen índice > 0,30 Muy bien > 0,4• Dos extremos 27% superior y 27% inferior• D = p+ - p-

• Correlación:– 2 variables dicotómicas: Tabla de contingencia, X2– Vbles dicotomizadas: Tetracórica– Vble continua y otra dicotómica: Biserial– Vbles continuas: Pearson

DISCRIMINACIÓN• Se supone item test 300 estudiantes, de 81 mejores (27%) 40

aciertan ítem, y 81 peores 12 aciertan ítem.

– IH = Discrimina bien

3456,081

12

81

40

DISTRACTORES• Alternativas falsas o incorrectas ítem• Todas alternativas equiprobable elección• Item 4 alternativas D correcta 300 individuos, fallan 198 A = 85 B

= 40 C = 73 198:3 = 66 esperables para cada distractor

• Se compara 16,45 con • Conclusión: rechazamos independencia

45,1666

1086

66

)6673()6640()6685(222

2

991,5295,0;2

295,0;13

2;1 pglk

FIABILIDAD• Modelo X = V + e

– Ptuación empírica = verdadera + error– Probabilidad de fallo instrumento

• Supuestos

– E (X) = V Media ptuac empíricas = verdadera– Correlac (V, e) = 0– Correlac errores medida = 0

• Condición necesaria pero no suficiente0)( kjee

FIABILIDAD• Cuantificación

– Coeficiente fiabilidad (fiabilidad relativa)• Correlación dos formas paralelas test X y X’

– Error típico medida (fiabilidad absoluta): precisión, desviación típica de las puntuaciones respecto a la media verdadera

2

2

2

2

' 1x

e

x

vxx

'1 xxxe

FIABILIDAD• ESTABILIDAD

– Dos aplicaciones mismo instrumento tras intervalo– Coeficiente correlación entre aplicaciones– Fiabilidad dos mitades

• EQUIVALENCIA

– Instrumento es muestra representativa cdctas– Dos conjuntos ítems (dos pruebas)

• CONSISTENCIA INTERNA

xx

xxxx r

rR

1

2

FIABILIDAD• EQUIVALENCIA

– Mismo nº elementos– Redacción y estructura elementos similar– Mismo contenido y objetivo apreciado– Índices dificultad similares– No difª medias, varianzas y covarianzas– Mismas consignas presentación– Presentación idéntica

CONSISTENCIA INTERNA• Índice fiabilidad función índice discriminación y desviación típica

ítem• Dos mitades, pares – impares• Fiabilidad test completo: alfa de Cronbach

• Relación con número ítems

iiSDIF

2

2

111 x

j

n

j

S

S

n

n

VALIDEZ• CONTENIDO

– Suficiencia y representatividad muestra cdctas– Lg adecuada

• PREDICTIVA (inferencia) O CRITERIO– Correlación con medida externa independiente– Correlación ítem – criterio– Predicción éxito

• CONCURRENTE (variante predictiva)– Medidas simultáneas

• CONSTRUCTO (consistencia construcción inicial): análisis factorial

VALIDEZ• Relación con longitud y fiabilidad prueba

– Nueva validez Rxy– n = nº ítems iniciales / nº ítems finales

xxxx

xyxy

rnr

rR

1

TEORIA DE RESPTA AL ITEM• Medir constructos latentes mediante fundamentación

probabilística vs X = V + e• Ítem ud básica medición. Modelos unidimensionales• No pretende agregar medida ítems para valorar rasgos• Resultado individuo en test depende de rasgos latentes

TRI• Relación sujeto – rasgo latente función monótona creciente (fción

característica ítem, o curva característica ítem)

– Modelos CCI responde a función logística• Modelo Rasch 1 solo parámetro

• Estimaciones aptitud iguales y estimaciones parámetros dttas muestras iguales

)(

)(

1)(

i

i

bD

bD

i e

eP

TRI• Pi probabilidad acertar ítem i• b índice dificultad item i• D cte (si D = 1,7 … fción logística normal)• rasgo latente no observado vble continua• Modelo dos parámetros

– A índice discriminación ítem, valor proporcional a pendiente CCI en punto = b

)(

)(

1)(

ii

ii

bDa

bDa

i e

eP

TRI• ¿Probabilidad estudiantes acierten ítem cuyo índice dificultad b = 2;

D = 1?

7310,01

)3()23(1

)23(1

e

eP

TRI• Estimación parámetros modelo = calibración• Programas cómputo: LOGIST, R• Ndad muestras > 300• Valorar precisión estimaciones

– Correlación valores simulados – estimados– Cálculo índice ajustes– Cálculo bondad ajustes curvas característica

TRI• Ptuación individuo, expresión en función número de ítems del test• Curva característica test (CCT) permite transformar valores en

puntuaciones verdaderas • Información = recíproco precisión en estimación parámetro, error

medida D=1,7

n

ijjj PPV

1

)(

e

2

1)(I )()()( 11

21 QPDI

TRI• Función de información de un test, invariante ante cambio de

escala, pudiendo comparar dos tests mediante eficacia relativa

n

iiIIT

1

)()( )(

)()(

y

x

IT

ITER

APLICACIONES TRI• Creación banco ítems con propiedades métricas conocidas:

unidimensionalidad ítems y características elaboración tests• Equiparación puntuaciones tests que miden misma variable y

misma fiabilidad• Funcionamiento diferencial ítems en función grupos: curva

característica por grupos• Tests adaptativos informatizados

DIFERENCIAS TCT - TRITCT TRI

Estima nivel atributo como sumatoria de respuestas a ítems individuales

Se centra en el ítem y su calidad métrica

Relación valor esperado y rasgo linealX = V + e

Relaciones funciones de diferentes tipos (Poisson, binomial, exponencial)

Características métricas se definen en referencia a un grupo normativo

Es posible comparar sujetos que responden a diferentes tests

CÁLCULO ERROR AL MEDIR VBLES NATURALEZA SOCIAL, VALOR VERDADERO INOBSERVABLE, HAY QUE ESTIMARLO

PROBLEMA• Profesor realiza prueba de rendimiento de lengua. Pasa la prueba a

200 alumnos.• Índice discriminación, 27% mejores aciertan 30 y 27% peores

aciertan 10. • 27% de 200 = 54

37,054

20

54

10

54

30IH

PROBLEMA• Índice dificultad corregido ítem 4 alternativas, que acierta 80

estudiantes, suponiendo que lo han respondido todo el colegio.

2,0200

40

200

4080

20014

12080

ID

PROBLEMA

• Análisis distractores, respuesta correcta b, eligen a) 60, c) 20 y d) 40. Grado significación 5%.

• (60+20+40)/3=40• Como ji cuadrado • Se rechaza hipótesis nula igual distribución distractores (valor

empírico, al ser mayor que 5,99 está en zona crítica)

2

2040

800

40

0400400

40

)4040()4020()4060( 2222

991,5205,0;2

2)05,0;1( c

2

PROBLEMA• Grado dificultad ítem: difícil

• CONCLUSIÓN

– Índice discriminación 0,37 buen índice– Índice dificultad 0,2 muy difícil– Independencia respuestas, NO– Dificultad índice difícil

PROBLEMA

5 sujetos 3 ítems

1 2 3 T

1 1 3 4 8 2 5 1 0 6

3 3 4 5 12 4 1 0 1 2

5 4 2 3 9

¿índice discriminación ítem 1 con total? Cor (1, T) = cov (1, T) / dt 1 . dt 2cor(c(1,5,3,1,4),c(8,6,12,2,9))

PROBLEMA

Covarianza

Media 1: 14:5 = 2,4 Media T: 37:5 = 7,4

(1.8) + (5.6) + (3.12) + (1.2) + (4.9) = 8 + 30 + 36 + 2 + 36 = 112

Cov = 112/5 – 2,4.7,4 = 26 – 17,76 = 8,24

((1-2,4)^2 + (5-2,4)^2 + (3-2,4)^2 + (1-2,4)^2 + (4-2,4)^2) / 5-1 (1,96 + 6,76 + 0,36 + 1,96 + 2,56) / 4 = 13,6 / 4 = 3,4

((8-7,4)^2 + (6-7,4)^2 + (12-7,4)^2 + (2-7,4)^2 + (9-7,4)^2) / 5-1 (0,36 + 1,96 + 21,16 + 29,16 + 2,56) / 4 = 55,2 / 4 = 13,8

8,24 / 3,4.13,8 = 8,24 / 46,92 = 0,17

PROBLEMA

Prueba objetiva, Sara 20 puntos, ¿calificación grupo normativo media = 22,4 y dt = 4,2?

¿Puntuación típica? Z = (20 – 22,4) / 4,2 = -0,5714

Z < - 0,5714 = z < 0,5714

T = 50 + 10z = 50 + 10 (-0,5714) = 44,28Peor valorado 22,4 – 3.4,2 = 9,8 2,8 es el máximo de las tablas de la normal

0,07 0,5 0,7157 1-0,7157 = 0,2843 = 28% … 29%

PROBLEMA

Item1 Item2 Item3 Item4 Item5

Juan 0 1 0 0 1 Pedro 1 1 1 0 1 Luis 1 0 1 0 1 Enrique 0 0 1 1 0

ID1 = 2/4 = 0,5 ID2 = 2/4 = 0,5 ID3 = ¾ = 0,75 ID4 = ¼ = 0,25 ID5 = ¾ = 0,75 Indice dificultad

Indice discriminación = correlación ítem – test (sin valorar ítem) Fiabilidad ítem = discriminación ítem . Dt

Ítem 2 – 5 cor(c(1,1,0,0),c(1,1,1,0))