indices dificultad y discriminacion
TRANSCRIPT
Índices de Dificultad y DiscriminaciónDra. Noemí L. Ruiz Limardo
© 2011
Objetivos1. Conocer el significado de los
índices de dificultad y discriminación.
2. Aplicar los índices de dificultad y discriminación en un ánalisis de ítem e interpretar los resultados.
Introducción
IntroducciónDespués de administrar un instrumento
de evaluación es necesario recopilarevidencia acerca de la calidad del mismo.
Todo el esfuerzo y trabajo que conllevaplanificar y construir un instrumento no sería provechoso si no se evalúa la efectividad de los ítemes y se analizan e interpretan los datos recopilados.
En esta lección se estudiará cómo se realiza un análisis de ítemes. Más adelantese estudiará cómo se realiza un análisis de los resultados.
Análisis de ítemes
¿Qué es un análisis de ítemes?
El análisis de ítemes es cuandose examinan las respuestas de los estudiantes a cada ítem o tareapara determinar su efectividad.
El análisis de ítemes es un procedimiento dondetradicionalmente se calculan dos índices:
índice de dificultadíndice de discriminación
Beneficios de un análisisde ítemes
1. Provee la base para unadiscusión efectiva de los resultados de una pruebaatendiendo aquellos ítemes quecausaron mayor dificultad y paraaclarar errores en las ideas que se reflejan en la selección de distractores.
Beneficios de un análisisde ítemes
2. Sirve como un punto de partidapara la planificación de unainstrucción remediativa queatienda a aquellos temas y objetivos que presentaron mayor dificultad.
Beneficios de un análisisde ítemes
3. Permite revisar aquelloscontenidos y objetivosrelacionados con los ítemes y hacer modificaciones en lastécnicas de enseñanza.
Beneficios de un análisisde ítemes
4. Mejora las destrezasrelacionadas con la construcciónde ítemes, particularmente al revelar ambiguedades, claves parala respuesta, distractoresinefectivos y otros defectostécnicos.
Beneficios de un análisisde ítemes
5. Apoya o rechaza los juiciosacerca de los resultados y ayuda a determinar si los estudiantesrespondieron de la maneraesperada y si los ítemes miden lo que se pretendía.
Beneficios de un análisisde ítemes
6. Ayuda en la interpretación de los resultados y a utilizarlosapropiadamente.7. Provee una guía para la revisión de los ítemes e indican aquellos quetienen problemas potenciales.8. Ofrece información acerca de los ítemes que pueden repetirse o reusarse en futuras administraciones.
Beneficios de un análisisde ítemes
9. Aumenta la confianza en laspruebas en las cuales se basan lasnotas o calificaciones de los estudiantes.
Análisis de ítemes: Índice de Dificultad
¿Qué es el índice de dificultad
Es el porcentaje o proporción de personas que contestaron el ítem correctamente(o que obtuvieron una ejecución aceptable o esperada).
El índice de dificultad se denota con la letra p.
Cuando es un ítem de una prueba objetiva, este índice indica cuán fácil o difícil resultóser un ítem para el grupo de estudiantes quelo contestó.
Fórmula de índice de dificultad
La fórmula para calcular el índice de dificultad es la siguiente:
Observe que como p es una proporción, los valores de p fluctúan entre 0 y 1.
Si p está expresado como por ciento, entonces p fluctúa entre 0 y 100%.
100ncp
c = número de personas quecontestó el ítem correctamente.n = total de personas quecontestaron el ítem.
Ejemplo para calcular el índice de dificultad
En una prueba de 30 ítemes, uno de los ítemes fue contestado correctamente por 24 estudiantes. Calcula el índice de dificultadde este ítem.
El índice de dificultad es 80%, veamos:
%80100)80.0(3024
ncp
Interpretación del índicede dificultad
Mientras más alto es el índice de dificultadmás fácil es el ítem, porque más personas lo contestaron correctamente.
A continuación aparece una tabla quedesglosa los valores que ayudan a interpretar el índice de dificultad.
Índice de Dificultad Interpretación del ítemMuy fácil
Fácil0.40 Mediana dificultad
p < 0.40 Difícil
Interpretación del índice de dificultad
Un índice de dificultad aceptable dependedel propósito de la prueba y de los criteriosestablecidos en términos de la representatividad del contenido o de los objetivos.
Para contestar cuál sería un índiceaceptable sería bueno preguntarse: ¿Cuál esla proporción o por ciento razonable de estudiantes que se espera que contesten el ítem correctamente?
Esta pregunta se puede contestar individual o colectivamente.
Ejemplo para interpretarDe los datos a continuación, ¿cuáles de los
ítemes resultaron ser más fáciles, másdifíciles, y cuáles de mediana dificultad?
Ítem c p2 35 0.8757 25 0.625
10 20 0.5012 18 0.4521 6 0.15
Análisis de ítemes: Índice de Discriminación
¿Qué es el índice de discriminación de un ítem?
Es el grado en el cual el ítem discrimina o diferencia entre los que saben y no saben, de las personas que lo contestaron.
El índice de discriminación se denota con la letra d.
El índice de discriminación aportaevidencia a la validez de los resultados de la prueba en el sentido de determinar si el ítem mide o no lo que toda la prueba intentamedir.
Índice de discriminaciónHay varios procedimientos para
determinar el índice de discriminación. Algunos de los comunes son:
Método de la correlación- Se busca la correlación entre la contestación correcta o incorrecta al ítem con algún criterio, que podríaser la puntuación total, como por ejemplo: el punto biserial y la correación biserial.
Método de la diferencia- Se busca la diferenciaentre grupos de personas que contestaron el ítem correctamente.
El segundo método es un cálculo mássimple que produce un estimado razonabley aproximado del poder discriminatorio.
Proceso para determinar el Índice de discriminación por segundo método
Se ordenan las puntuaciones totalesobtenidas en la prueba de mayor a menor.
Se separan las puntuaciones totales en dos grupos: las más altas y las más bajas.
La mitad del grupo caerá en las más altasy la otra mitad caerá en las más bajas.
Se calcula el índice con la siguientefórmula:
100
2nccd BA
cA = número de personas con puntuacionesmás altas que contestó el ítem correctamente.cB = número de personas con puntuacionesmás bajas que contestó el ítem correctamente.n = total de personas que contestaron el ítem.
EjemploSuponga que en un grupo de 20 estudiantes, se
separan las puntuaciones en 10 estudiantes con puntuaciones más altas y 10 estudiantes con puntuaciones más bajas. Se obtuvo, que del grupode puntuaciones más altas, 9 estudiantescontestaron correctamente el ítem 1 mientras quedel otro grupo solo 6 estudiantes lo contestaroncorrectamente. Determina el índice de discriminación del ítem 1.
El índice de discriminación del ítem 1 sería de 30%.
%30100)3.0(1001069100
2nccd BA
Índice de DiscriminaciónEl índice de discriminación d es un número
decimal entre -1 y 1.-
Si d se está expresado como por ciento, entonces:
-Mientras más alto es el índice d, mayor es
la diferencia contestando el ítem entre laspersonas con puntuaciones altas (los quesaben) y las personas con puntuacionesbajas (los que no saben).
Índice de DiscriminaciónSe espera que este índice sea un número
positivo y alto, si más estudiantes con puntuaciones altas lo contestan correctamenteen comparación con menos estudiantes del grupo con puntuaciones bajas que contestencorrectamente (cA > cB).
Cuando cA = cB , el poder discriminatorio es 0, o sea, no discrimina.
Cuando cA < cB , significa que las respuestas al ítem fueron contrarias a lo esperado. Esto resulta en un índice negativo y significa que debe revisarse la clave y el ítem.La discriminación máxima se obtiene cuando d = 1.
Interpretación del Índice de Discriminación
Se puede usar la siguiente escala paraiterpretar los resultados del índice de discriminación:Índice de Discriminación Interpretación del ítem
Discrimina muy bienDiscrimina bien
0.20 No discrimina bien pero sise revisa puede usarse
0.0 No discrimina y no debeusarse
d < 0.0 No discrimina y debeeliminarse
EjemploEn el ejemplo anterior se obtuvo un índice
de discriminación del ítem 1 de 30%. Interpreta este resultado.
De acuerdo a estos resultados se puededecir que el ítem 1 discrimina bien.
%30100)3.0(1001069100
2nccd BA
Análisis de ítemes: Consideraciones
adicionales para interpretarlos índices
Consideraciones para la interpretación1. Un ítem con índices de dificultad y
discriminación bajos no debe descartarse en primera instancia, sino que nos pone en alertasobre la posible presencia de defectostécnicos.
2. El análisis de los ítemes basado en unamuestra pequeña y de conveniencia estentativo y va a depender del patrón de respuestas de las personas que componen la muestra. Los índices de dificultad y discriminación no son características fijas de los ítemes, dependen del grupo y su habilidad, de su trasfondo educativo y del tipo de instrucción que reciben.
Consideraciones para la interpretación3. Hay una relación entre ambos índices de
tal forma que la dificultad puede afectarla discriminación del ítem. Si un ítem esmuy fácil o muy difícil tiende a tenerpoca discriminación. Los ítemes de mediana dificultad tienden a tenerdiscriminaciones más altas.
Consideraciones para la interpretación4. Un nivel de discriminación bajo no indica
necesariamente que el ítem esdefectuoso. Un ítem con discriminaciónbaja debe ser examinado para determinarla presencia de ambiguedad, claves parala respuesta u otros defectos técnicos. Si no se encuentra ninguno y el ítemrepresenta aprendizajes importantes, podría utilizarse en el futuro.
Consideraciones para la interpretación5. Cualquier ítem que discrimina en dirección
positiva puede contribuir a medir el aprovechamiento de los estudiantes. Los índices de discriminación bajos a menudose obtienen por otras razones que no estánrelacionadas necesariamente con defectostécnicos. El ítem podría representar un temau objetivo que se le dio poco énfasis en la instrucción y el índice bajo señala que estámidiendo algo diferente alo que hay en la mayor parte de la prueba. Removerlo, haría la pruebamás homogénea en contenido pero amenazaríala validez de los resultados.
Consideraciones para la interpretación6. Cuando se utilizan ítemes de alternativas
múltiples es recomendable realizar un análisis de las contestaciones a cadaalternativa para determinar no sólo los niveles de dificultad y discriminación del ítem sino la efectividad de los distractores. (Ver ejemplo en próxima pantalla)
Ejemplo de Análisis de AlternativasSe analizó un ítem de alternativas múltiples que fuecontestado por 30 estudiantes. Se colocaron los resultados en tres partes y se consideraron las dos terceras partes que corespondían a laspuntuaciones más altas y más bajas con 10 estudiantes en cada grupo. Luego se contó el número de estudiantes que seleccionó cadaalternativa. Los resultados fueron los siguientes:
* La C es la respuesta correcta.
Grupo AlternativasA B C* D Total
Alto 1 0 7 2 10Bajo 2 0 5 3 10
Totales 3 0 12 5 20
Ejemplo de Análisis de Alternativas
El índice de dificultad es:
El índice de discriminación es:
Grupo AlternativasA B C* D Total
Alto 1 0 7 2 10Bajo 2 0 5 3 10
Totales 3 0 12 5 20
%60100)60.0(2012
ncp
%20100)2.0(1001057100
2nccd BA
Ejemplo de Análisis de Alternativas
Un buen distractor debe ser atractivo para másestudiantes del grupo con puntuaciones bajas quepara los del grupo de puntuaciones altas.En este ítem se observa que la alternativa B fue un distractor inefectivo ya que no resultó atractivo paraninguno de los grupos. Esto sugiere que estaalternativa debe revisarse.Las alternativas A y D resultaron distractoresefectivos al ser seleccionados por más estudiantescon puntuaciones bajas.
Grupo AlternativasA B C* D Total
Alto 1 0 7 2 10Bajo 2 0 5 3 10
Totales 3 0 12 5 20
Ejemplo de Análisis de Alternativas
Para que un distractor sea atractivo se espera quecomo mínimo 10% de las personas lo seleccioneny que sea seleccionado con mayor frecuencia porlos estudiantes con puntuaciones bajas.En este ítem la alternativa A fue seleccionada por3/20 (15%) y la D por 5/20 (25%). Resultaron ser buenos distractores.
Grupo AlternativasA B C* D Total
Alto 1 0 7 2 10Bajo 2 0 5 3 10
Totales 3 0 12 5 20
Consideraciones para la interpretación7. Los índices de dificultad y discriminación
no necesariamente aplican a pruebas de criterios. En una prueba de criterios se espera que el índice de dificultad sea 0 antes de la instrucción y 1 después de la instrucción. El índice de discriminación se determina principalmente a través de la diferencia en la ejecución de los estudiantes que recibieron o no la instrucción.
Fin de la Lección