UNIVERSIDAD NACIONAL AUTÓNOMA DE MÉXICOUNIVERSIDAD NACIONAL AUTÓNOMA DE MÉXICO

Interpretación de Resultados con ITEMAN; como parte Interpretación de Resultados con ITEMAN; como parte

de las competencias docentes en evaluaciónde las competencias docentes en evaluación

(Análisis de reactivos mediante la Teoría Clásica de los Test)(Análisis de reactivos mediante la Teoría Clásica de los Test)

Mtro. Fernando Flores HernándezMtro. Fernando Flores HernándezFACULTAD DE MEDICINAFACULTAD DE MEDICINA

SECRETARIA DE EDUCACIÓN MÉDICASECRETARIA DE EDUCACIÓN MÉDICA

Lic. Rocío Juárez MéndezLic. Rocío Juárez MéndezCENTRO NACIONAL DE EVALUACIÓN PARA LA EDUCACIÓN SUPERIORCENTRO NACIONAL DE EVALUACIÓN PARA LA EDUCACIÓN SUPERIOR

CENEVAL CENEVAL

•• Brindar a los participantes recursos para ampliar sus Brindar a los participantes recursos para ampliar sus

conocimientos sobre el al análisis de reactivos en conocimientos sobre el al análisis de reactivos en

pruebas de respuesta estructurada (Opción Múltiple), pruebas de respuesta estructurada (Opción Múltiple),

mediante la TCT y familiarizarlos con el análisis de los mediante la TCT y familiarizarlos con el análisis de los mediante la TCT y familiarizarlos con el análisis de los mediante la TCT y familiarizarlos con el análisis de los

principales resultados derivados del software ITEMAN.principales resultados derivados del software ITEMAN.

•• Existe claridad en el propósito u objetivo de las evaluaciones que Existe claridad en el propósito u objetivo de las evaluaciones que realiza o en las que participa.realiza o en las que participa.

•• Hay un criterio que determine el tipo de instrumento a emplear en Hay un criterio que determine el tipo de instrumento a emplear en las evaluaciones de los alumnos.las evaluaciones de los alumnos.

•• Realizan algún análisis de sus instrumentos y evaluaciones.Realizan algún análisis de sus instrumentos y evaluaciones.

•• Como desarrollan el proceso de calificación de su instrumentos.Como desarrollan el proceso de calificación de su instrumentos.

•• Emplea un mismo estándar o criterios diferenciales entre sus Emplea un mismo estándar o criterios diferenciales entre sus •• Emplea un mismo estándar o criterios diferenciales entre sus Emplea un mismo estándar o criterios diferenciales entre sus grupos.grupos.

•• Puede considerar objetiva la forma como evalúa a sus alumnos.Puede considerar objetiva la forma como evalúa a sus alumnos.

Evaluación Evaluación

Evaluación educativa

Evaluación de

instituciones

Evaluación de planes, programas y proyectos

Evaluación del

aprendizaje

Evaluación de la

docencia

Trayectorias escolares

•• Establece de manera clara el objeto a evaluar.Establece de manera clara el objeto a evaluar.

•• La calificación de los alumnos se desarrolla de manera La calificación de los alumnos se desarrolla de manera •• La calificación de los alumnos se desarrolla de manera La calificación de los alumnos se desarrolla de manera

homogénea.homogénea.

•• Permite realizar un análisis rápido de la prueba y calificar Permite realizar un análisis rápido de la prueba y calificar

a un gran número de alumnos en poco tiempo y de a un gran número de alumnos en poco tiempo y de

manera objetiva.manera objetiva.

•• Reduce el tiempo para la emisión de resultados y puede Reduce el tiempo para la emisión de resultados y puede

asegurar el uso de algunos controles sobre los valores asegurar el uso de algunos controles sobre los valores

psicométricos del instrumento.psicométricos del instrumento.

•• En la puntuación de los alumnos en una prueba existen dos En la puntuación de los alumnos en una prueba existen dos variables latentes la puntuación verdadera (v) y el error de variables latentes la puntuación verdadera (v) y el error de medida (e).medida (e).

•• Ambas variables no están correlacionadas.Ambas variables no están correlacionadas.

•• Una misma evaluación realizada en dos momentos es Una misma evaluación realizada en dos momentos es independiente entre si.independiente entre si.

•• El (e) de una medición es independiente de la (v) de otra El (e) de una medición es independiente de la (v) de otra medición.medición.medición.medición.

Los parámetros básicos de un ítem son la dificultad y la Los parámetros básicos de un ítem son la dificultad y la

discriminación.discriminación.

•• La dificultad es dada por la proporción del número de La dificultad es dada por la proporción del número de

sujetos que contestan correctamente del total de sujetos que contestan correctamente del total de sujetos que contestan correctamente del total de sujetos que contestan correctamente del total de

sustentantes.sustentantes.

•• La discriminación es dada por diferencia de los alumnos que La discriminación es dada por diferencia de los alumnos que

contestan correcta o incorrectamente a un examen, contestan correcta o incorrectamente a un examen,

considerando para ello la división de los sustentantes en dos; considerando para ello la división de los sustentantes en dos; considerando para ello la división de los sustentantes en dos; considerando para ello la división de los sustentantes en dos;

(grupo alto, dado por los alumnos con un puntaje global (grupo alto, dado por los alumnos con un puntaje global

mayor en la evaluación y grupo bajo dado por los estudiantes mayor en la evaluación y grupo bajo dado por los estudiantes

con menor puntaje) con menor puntaje)

•• Una correlación, establece el grado de asociación entre dos Una correlación, establece el grado de asociación entre dos

variables continuas.variables continuas.variables continuas.variables continuas.

•• Cuando es susceptible que una de ellas sea dicotomizada, (siCuando es susceptible que una de ellas sea dicotomizada, (si--

no, verdaderono, verdadero--falso, correctofalso, correcto--incorrecto). En este caso incorrecto). En este caso

(acierto(acierto--error de cada sustentante en una pregunta) se asume error de cada sustentante en una pregunta) se asume

como discontinua o discreta, misma que es correlacionada como discontinua o discreta, misma que es correlacionada

con una continua (calificación en la prueba).con una continua (calificación en la prueba).con una continua (calificación en la prueba).con una continua (calificación en la prueba).

•• En la TCT se asume que existen diferentes fuentes de En la TCT se asume que existen diferentes fuentes de

variación en los puntajes, destacando que la confiabilidad variación en los puntajes, destacando que la confiabilidad

depende de manera directa de la variabilidad del grupo de depende de manera directa de la variabilidad del grupo de

referencia que es evaluadoreferencia que es evaluadoreferencia que es evaluadoreferencia que es evaluado

Generalidades y análisis con ITEMANGeneralidades y análisis con ITEMAN

•• El programa es susceptible de analizar los datos globales del El programa es susceptible de analizar los datos globales del

instrumento y hasta 10 temas o subescalas.instrumento y hasta 10 temas o subescalas.

•• Los datos de entrada se presentan en un formato de texto Los datos de entrada se presentan en un formato de texto

(Integrado por 5 componentes).(Integrado por 5 componentes).(Integrado por 5 componentes).(Integrado por 5 componentes).

•• Sólo califica una misma versión.Sólo califica una misma versión.

ELEMENTO DESCRIPCIÓN

Línea 1

(control)

C1 – C3 C4 C5 C6C7

OpcionalC8

C9 – C10

(Max. 80)

Núm. respuestas Blanco R/O * Blanco S/R Blanco Datos de identificación

Línea 2 Listado de respuestas correctas

Línea 3 Número de opciones de respuesta

Línea 4 Activación u omisión de reactivos – Especificación de áreas o temas

Lectura de los

datosArchivo de lectura de datos

10 O N 5 10 O N 5

4243553211 4243553211 4243553211 4243553211

5555555555 5555555555

YYYYYYYYYY YYYYYYYYYY

UNAM14343553215 UNAM14343553215

UNAM2425355OO13 UNAM2425355OO13 UNAM2425355OO13 UNAM2425355OO13

UNAM34343523NNN UNAM34343523NNN

UNAM4442211341O UNAM4442211341O

Scale: 1 2 3 4 5

Type of Scale DICHOT DICHOT DICHOT DICHOT DICHOT

N of Items 7 10 19 11 33

N of xaminees 11612 11612 11612 11612 11612

Item Statistics Alternative Statistics

Seq.

No.

Scale

-Item

Prop.

Correct

Disc.

Index

Point

Biser.Alt.

Prop.

Total

Endor

Low

sing

High

Point

Biser.Key

1 1-1 0.67 0.38 0.38 1 0.2 0.3 0.08 -0.25

2 0.67 0.49 0.87 0.38 *

3 0.04 0.06 0.01 -0.13

4 0.09 0.15 0.03 -0.194 0.09 0.15 0.03 -0.19

Other 0 0 0 -0.04

2 1-2 0.27 0.39 0.39 1 0.08 0.1 0.05 -0.09

2 0.27 0.12 0.51 0.39 *

3 0.5 0.58 0.34 -0.21

4 0.16 0.19 0.1 -0.11

Other 0 0 0 -0.03

Scale: 1 2 3 4 5

N of Items 7 10 19 11 33

N of Examinees 11612 11612 11612 11612 11612

Mean 3.711 5.206 9.164 5.382 16.527

Variance 1.697 3.257 6.331 3.965 14.579

Std. Dev. 1.303 1.805 2.516 1.991 3.818

Skew -0.036 -0.1 0.063 0.032 -0.119

Kurtosis -0.218 -0.422 -0.131 -0.413 0.048

Minimum 0 0 0 0 0

Maximum 7 10 19 11 29

Median 4 5 9 5 17

Alpha 0.131 0.418 0.368 0.438 0.537

SEM 1.215 1.377 2 1.492 2.598

Mean P 0.53 0.521 0.482 0.489 0.501Mean P 0.53 0.521 0.482 0.489 0.501

Mean Item-Tot. 0.401 0.388 0.283 0.387 0.249

Mean Biserial 0.525 0.51 0.369 0.506 0.328

Max Score (Low) 3 4 8 4 14

N (Low Group) 5017 4074 4703 3979 3398

Min Score (High) 5 6 11 7 19

N (High Group) 3172 5172 3466 3449 3545

Algunos recursos para el manejo y Algunos recursos para el manejo y

reporte de datos mas allá de ITEMANreporte de datos mas allá de ITEMAN

•• Reactivos y calificación.Reactivos y calificación.

•• Importar salidas.Importar salidas.

•• Copiado y pegado de salidas (recursos en Excel concatenar y extraer).Copiado y pegado de salidas (recursos en Excel concatenar y extraer).•• Copiado y pegado de salidas (recursos en Excel concatenar y extraer).Copiado y pegado de salidas (recursos en Excel concatenar y extraer).

•• Construcción de tabla eje.Construcción de tabla eje.

•• Distribuciones, intervalos.Distribuciones, intervalos.

•• Globales, áreas y/o temas.Globales, áreas y/o temas.

•• Reportes por grupos y entidades con filtrado de datos.Reportes por grupos y entidades con filtrado de datos.•• Reportes por grupos y entidades con filtrado de datos.Reportes por grupos y entidades con filtrado de datos.

•• Análisis descriptivo, estadística inferencial.Análisis descriptivo, estadística inferencial.

•• Generación de gráficos.Generación de gráficos.

EvaluaciónEvaluación

GraciasGraciasMtro. Fernando Flores HernándezMtro. Fernando Flores Hernández

FACULTAD DE MEDICINAFACULTAD DE MEDICINA

Lic. Rocío Juárez MéndezLic. Rocío Juárez MéndezCENTRO NACIONAL DE EVALUACIÓN PARA LA EDUCACIÓN SUPERIORCENTRO NACIONAL DE EVALUACIÓN PARA LA EDUCACIÓN SUPERIOR

SECRETARIA DE EDUCACIÓN MÉDICASECRETARIA DE EDUCACIÓN MÉDICA CENEVAL CENEVAL

fernando.evaluacion@gmail.comfernando.evaluacion@gmail.com jmrocio@yahoo.com.mxjmrocio@yahoo.com.mx