tÉcnicas e instrumentos - tema 8: pruebas criteriales

TÉCNICAS E INSTRUMENTOS PARA LA RECOGIDA DE INFORMACIÓN

(Tema 8: Pruebas criteriales)

Asignatura Obligatoria (OB) de 2º curso Grado en Pedagogía

Valorar la utilidad de las pruebas criteriales en las investigaciones sociales. Conocer las distintas variantes de las pruebas criteriales y sus limitaciones. Saber elegir el modelo de prueba criterial más apropiado a un contexto concreto. Diseñar una prueba criterial.

Realizar los controles técnicos apropiados para controlar la calidad de las pruebas criteriales. Saber implementar una prueba criterial en el contexto de una investigación. Recoger y analizar los datos recogidos de una prueba criterial.

Objetivos

Tema 8 – Pruebas criteriales

1. Pruebas criteriales


Un grupo de test que merecen una mención aparte por sus implicaciones educativas es el de los test referidos al criterio o test de

referencia criterial (TRC) Los TRC tienen su origen en un artículo de Robert Glaser (1963), que define los test de referencia al criterio como “construidos para evaluar

el nivel de ejecución de un sujeto con respecto a un dominio de conductas bien definidas”



• Intentan medir y escalar a las personas en función del grupo normativo de referencia

• Responden a la pregunta “¿En qué percentil se encuentra el sujeto?”

Test clásicos o test referidos a una norma

(TRN)

• Intentan medir y escalar a las personas en función de su grado de dominio del criterio de interés,

• Responder a la pregunta “¿El sujeto domina suficientemente el contenido?”

Test referidos a un criterio

(TRC)



Obligan a definir con mayor claridad y operatividad los objetivos o criterios de interés, en la línea de la evaluación conductual.

Obligan a muestrear exhaustivamente los objetivos a evaluar (validez de contenido) y exigen sumo cuidado al confeccionar los ítems: aparecen en consecuencia gran variedad de formatos de ítems.

Potencian formas alternativas de evaluar la fiabilidad y la validez.

Obligan a desarrollar técnicas para establecer adecuadamente los puntos de corte, para determinar quién pasa y quién no pasa el TRC. El punto de corte debe establecerse en función del contenido, no de las personas evaluadas.

Al centrarse operativamente en objetivos muy específicos, son muy útiles para detectar puntos fuertes (dominio) y puntos débiles (deficiencias) de los estudiantes, en vez de simplemente analizar las diferencias entre ellos; y así tomar decisiones de enseñanza.

Consecuencias y efectos positivos derivados de los TRC…

2. Tipos de pruebas criteriales


Test de certificación o

admisión (“consecución”)

Test de nivel o de dominio

(“promoción”)

Test de diagnóstico (“detección”)

Test de aula o clase

Test individualizado

3. Elaboración de pruebas criteriales


Especificación del dominio educativo

Análisis de ítems

Determinación de estándares y puntos de

corte

Estudio de las características técnicas de la

prueba

Centrándonos en las pruebas criteriales de aula (muy similares a las pruebas objetivas del Tema 4), por ser las de mayor aplicación por el profesorado, la secuencia de elaboración de las mismas sería…

3.1. Especificación del dominio educativo


“El conocimiento del dominio instruccional es crucial porque está relacionado con la validez de contenido y constructo (…) por dominio de instrucción se entiende el conjunto de todos aquellos elementos (objetivos, acciones, tareas…) que

representan el propósito de la instrucción…

…las unidades que definen el dominio no deben solaparse y deben cubrir el dominio en su totalidad (mutua exclusión y

exhaustividad)…

…por tanto, el profesor ante una unidad didáctica o lección debe proponer ítems que recojan todos los objetivos, contenidos y

actividades relativos a la unidad a evaluar”

3.2. Análisis de los ítems


Revisión lógica: correspondencia entre los ítems y la operativización del dominio de contenidos; se realiza mediante el juicio de expertos. • Congruencia ítem-objetivo (representatividad). • Calidad técnica. • Ausencia de sesgo (neutralidad respecto a los sujetos o grupos).

Revisión empírica: se estudia la aplicación de la prueba y su funcionamiento; en varias etapas: • Formulación de hipótesis en relación con la dificultad y poder discriminativo

esperados en cada ítem. • Aplicación piloto a una muestra de alumnos. • Análisis de los resultados para determinar el nivel de dificultad, discriminación y validez

de cada ítem. • Interpretación y toma de decisiones respecto a los ítems analizados.

Los ítem generados se pueden analizar desde dos perspectivas…



Índice de dificultad (pi): proporción de personas que contestan correctamente el ítem.

Índices de discriminación: los ítems de los TRC deben maximizar la discriminación de los individuos de los grupos experimental y control, y minimizar la discriminación dentro del propio grupo. Son los llamados índices de sensibilidad a la instrucción.

• DISGN o ganancia neta • DISCI-SI o diferencia entre los grupos ‘con’ y ‘sin’ instrucción

Índice de homogeneidad: tiene como propósito que los ítems que cubren un mismo objetivo se comporten de forma similar (tanto en una aplicación del test como en sucesivas). Se puede calcular con la correlación ítem-total.

En relación con la revisión empírica de los ítems, pueden obtenerse varios índices…



EJEMPLO 1 – Página 255 del Libro

Sujetos (todos ‘experimentales’ = ‘con instrucción’)

Pretest Postest

Ítem 1 Ítem 2 Ítem 1 Ítem 2

1 0 1 0 1

2 0 0 1 1

3 1 0 1 1

4 0 0 1 1

5 1 0 1 1

6 0 0 0 0

7 0 1 1 1

8 1 0 1 0

9 0 0 0 1

10 1 0 1 1



EJEMPLO 2 – Página 255 del Libro

Sujetos (todos en condición ‘postest’)

Grupo Control – Sin instrucción

Grupo Experimental – Con instrucción

Ítem 1 Ítem 2 Ítem 1 Ítem 2

1 0 1 0 1

2 0 0 1 1

3 1 0 1 1

4 0 0 1 1

5 1 0 1 1

6 0 0 0 0

7 0 1 1 1

8 1 0 1 0

9 0 0 0 1

10 1 0 1 1

3.3. Determinación de estándares y puntos de corte


En la corrección de una prueba criterial se necesita determinar una puntuación que sirva para diferenciar a los alumnos que han alcanzado o no el nivel mínimo de competencia exigible en la aplicación de la prueba. Esta puntuación determina el estándar o punto de corte.

Para determinar los estándares o puntos de corte se utiliza de nuevo el juicio de los expertos (los mismos que han definido el dominio e intervenido en la revisión lógica de los ítems propuestos)

3.4. Estudio de las características técnicas de la prueba


Fiabilidad y validez

La fiabilidad se mide por el grado de estabilidad de los resultados en aplicaciones sucesivas de la prueba; es decir,

por la fiabilidad-estabilidad de las clasificaciones establecidas mediante el TRC en aplicaciones sucesivas.

La validez viene indicada por la adecuación de la prueba a los objetivos de la misma (de contenido, de criterio, y de

constructo)

4. Un ejemplo de prueba criterial


https://repositorio.uam.es/handle/10486/4717

https://repositorio.uam.es/handle/10486/4717

tÉcnicas e instrumentos - tema 8: pruebas criteriales

Education