validez en evaluación educativa: conceptos actuales · consecuencias del examen • evidencia de...
TRANSCRIPT
Validez en EvaluaciónEducativa: Conceptos actuales
Steven M. Downing, PhDDepartment of Medical Education
University of Illinois at [email protected]
Traducido y adaptado porMelchor Sánchez Mendiola
“El uso indiscriminado de un término no sería grave si las palabras no
fueran un instrumento para analizar la realidad. Pero lo son. Sus
significados indican senderos abiertos en las cosas, que las hacen
transitables”.
José Antonio Marina Torres
¿Qué significan estos números?8055479994396871795688938688
¿Qué significan estos números?8055479994396871795688938688
¿Cómo interpretarapropiadamente estosnúmeros?
Hay que responder varias preguntas paraentender lo quesignifican.
¡Necesitamos másinformación!
¿Qué significan estos números?8055479994396871795688938688
¿En qué escala están? ¿Son puntuaciones de un examen?
• ¿Número de aciertos?• ¿Porcentaje de aciertos?• ¿Categorías o rangos?• ¿Puntuaciones estandarizadas?• ¿Percentilas?
¿Puntuaciones de qué examen?• ¿Qué contenido fue explorado?
¿Qué tipo de examen?• ¿Logro cognoscitivo?• ¿Desempeño estandarizado?• ¿Observación de desempeño clínico?
¿Qué significan estos números?8055479994396871795688938688
Información del examen Puntuaciones en el examen Porcentaje de aciertos Examen final de Física 250 POM en total Contenido acumulado del curso Ítems desarrollados por los profesores
• Utilizando un plan de muestreosistemático del contenido
• Muestreo de objetivos instruccionales• Énfasis en niveles cognitivos altos
¿Qué significan estos números?8055479994396871795688938688
¡SE NECESITA MÁS INFORMACIÓN!• ¿Qué tan dignas de confianza son
estas puntuaciones?• ¿Qué tan reproducibles?• ¿Cuál es la dificultad y discriminación
promedio de las POM de la prueba?• ¿Calidad de las POM? ¿Bien escritas, editadas? ¿Basadas en evidencia? ¿Revisión de contenido?
¿Qué significan estos números?8055479994396871795688938688
Aún más información…• ¿Cómo se relacionan estas
puntuaciones con exámenessimilares/diferentes?
• ¿Correlaciones lógicas, esperadas?• ¿Adecuadas a la teoría?• ¿Evidencia de un solo constructo?• ¿Correlaciones inesperadas?
¿Qué significan estos números?8055479994396871795688938688
Y aún hay más… ¿Cuál es el puntaje de pase?, ¿niveles de
desempeño?• ¿Cómo se estableció el punto de corte?• ¿Qué tan defendible es?• ¿Es aceptable?
¿Cuáles son las consecuencias de no aprobar la prueba?• ¿Para los estudiantes?• ¿Profesores?• ¿Escuelas?
¿Qué significan estos números?8055479994396871795688938688
La investigación de validezbusca evidencias, como un
detective
¿Qué significan estos números?8055479994396871795688938688
Validez se refiere a inferencias, interpretacionesy significados asociados con
los datos de evaluación
Validez“Validez es un juicio evaluativo e
integrado, del grado al que la evidenciaempírica y razonamientos teóricos apoyanlo adecuado y apropiado de las inferencias
y acciones basadas en puntuaciones de exámenes y otras formas de evaluación”
Messick, 1989
Validez“Validar una interpretación propuesta o un uso de los puntajes de exámenes es evaluar
las afirmaciones basadas en esaspuntuaciones. La mezcla específica de evidencia necesaria para la validación
depende de las inferencias que se hagan y los supuestos que se utilicen”
Michael Kane, 2006
INFERENCIA, ¡no instrumento!
o “El examen es válido”o “Usamos un
instrumento validado”
o “El instrumento es válido ya que tiene
un alfa de Cronbachalto”
INFERENCIA, ¡no instrumento!
o “El examen es válido”o “Usamos un
instrumento validado”
o “El instrumento es válido ya que tiene
un alfa de Cronbachalto”
Visión clásica de la validez
• La “trinidad” clásica de la validezContenidoRelacionada-a-criterio
• Concurrente• Predictiva
Constructo• Los exámenes eran “válidos” o “inválidos”.• La confiabilidad era un rasgo de las pruebas que
se analizaba por separado.
Panorama actual
• Es necesaria evidencia científica para apoyarla interpretación de las puntuaciones de los exámenes
• Cronbach, Messick, Kane• Standards of Educational & Psychological Testing
(1999, nueva edición 2014)
• La confiabilidad es parte de la validez
Validez• Evidencia científica, uso de teoría e
investigación para explicar la interpretaciónde los puntajes.
• Es la esencia de toda la evaluación en educación– Las evaluaciones adquieren significado sólo a
través de la evidencia de validez– Mediciones en las ciencias sociales: poco o
ningún significado intrínseco
Evolución de los conceptos de Validez
Cook DA et al. A contemporary approach to validity arguments:A practical guide to Kane’s framework. Med Educ 2015; 49:560-75.
Evolución de los conceptos de Validez
Cook DA et al. A contemporary approach to validity arguments:A practical guide to Kane’s framework. Med Educ 2015; 49:560-75.
Evolución de los conceptos de Validez
Cook DA et al. A contemporary approach to validity arguments:A practical guide to Kane’s framework. Med Educ 2015; 49:560-75.
Concepto contemporáneo de Validez
• Toda la validez es validez de constructo• Validez como hipótesis
– Método científico aplicado a las evaluaciones– Teoría, hipótesis, observación, análisis,
resultados, conclusiones: repetir
Principios de Validez
• Investigación de validez: más (menos) evidencia para (contra) usos específicos de los resultados de evaluación– Propósito, intención de la interpretación,
significado– Múltiples fuentes de evidencia– Mientras más altas son las consecuencias de un
examen, se requiere más evidencia
Validez y Ciencia
“Una afirmación merece algún gradode confianza solo cuando ha sobrevivido intentos serios de refutarla”
Lee Cronbach, 1980
Cinco Fuentes de Evidencia
1) Contenido del examen2) Proceso de respuesta3) Estructura interna4) Relación con otras variables 5) Consecuencias del examen
AERA, APA, NCME. Standards for Educational and Psychological Testing, 2014
Contenido del examen• Comprensión del contenido muestreado y su relación con
el dominio• Estudios de validez relacionada con contenido
– Plan de muestreo, tabla de especificaciones, “blueprint”– Muestra representativa de ítems → Dominio– Contenido apropiado para los objetivos instruccionales
• Nivel cognitivo de los ítems• Alinear con objetivos educativos
– Escritores de ítems expertos en contenido– Calidad de los ítems
Procesos de respuesta
• Control de calidad – precisión de las respuestas, manejo de los datos, forma de calificar
• Familiaridad del estudiante con el formato• Validación de la clave de respuestas• Control de calidad del reporte de resultados• Descripción comprensible y precisa de los
resultados
Estructura Interna
• Confiabilidad (examen, evaluadores)• Análisis de reactivos
– Dificultad y discriminación de los ítems– Análisis de las opciones (DNF)
• Error estándar de medición (SEM)• Análisis factorial• Funcionamiento diferencial de ítems (DIF)
Relación con otras variables
• Estudios de validez relacionada al criterio–Correlación entre los puntajes del
examen y otras mediciones–Estudios de convergencia y divergencia
Consecuencias del examen
• Evidencia de los efectos de los exámenes en los estudiantes, las escuelas y la sociedad
• “The Big Picture” (La visión global)• Consecuencias sociales y educativas del examen
• Efectos de aprobar o no el examen– Costos económicos y emocionales del fracaso– Costos a la sociedad de las decisiones falsas positivas y falsas
negativas
• Efectos de la evaluación en la enseñanza y el aprendizaje
Downing S. Med Educ 2006; 40:7-8.
Downing S. Med Educ 2006; 40:7-8.
Los Standards de AERA no mencionan el término.El capítulo de Messick en Educational Measurement solo
dice que se evite lo que llama ¡“face invalidity”!
Confiabilidad – Un aspecto de la validez
• La confiabilidad es un tipo importante de evidencia de validez– Para ser interpretados apropiadamente, es
importante que los datos sean reproducibles– Sin confiabilidad, es difícil que haya validez
• “La confiabilidad es una condición necesaria perono suficiente para la validez”
Validez vs. Confiabilidad
Amenazas a la Validez
• Subrepresentación del contenido (SC)Contenido trivial a nivel de memoria“Enseñando al examen” (teaching to the test)Muy pocos reactivos (muestra pequeña)
• Varianza irrelevante al constructo (VIC)Reactivos elaborados con deficienciasInseguridad, irregularidades (“trampa”)Destreza para exámenes (“testwiseness”)
Downing SM. Adv Health Sci Educ 2002; 7:235-41.
“Los desarrolladores del examen son los candidatos obvios para validar
las afirmaciones que hacen sobre la interpretación de los resultados…”
Brennan RL, Ed. Educational Measurement.National Council on Measurement in Education
4th Ed. 2006
EDUCACIÓN MÉDICA BASADA EN EVIDENCIA
EDUCACIÓN BASADAEN OPINIÓN
EDUCACIÓN BASADAEN EVIDENCIA
Educación Médica Basada en Evidencias: ¿Ser o no ser?Sánchez Mendiola M. Inv Ed Med 2012;1(2):82-89.
http://riem.facmed.unam.mx
www.aera.net/Publications/tabid/10067/Default.aspx
http://onlinelibrary.wiley.com/doi/10.1111/jedm.12000/abstract
Evolución de los conceptos de Validez
Cook DA et al. A contemporary approach to validity arguments:A practical guide to Kane’s framework. Med Educ 2015; 49:560-75.
Beneficios del marco conceptualbasado en argumentación
Enfoca la atención en una amplia gama de temas asociados con la interpretación y el usode los resultados de exámenes.Enfatiza que nos basamos en una serie de
premisas cuando interpretamos resultados, y que necesitamos checar nuestras premisas.Permite interpretaciones y usos alternos de
los resultados de exámenes.