bloque 2. finalidad, objetivos y diseño de una prueba

Bloque 2. Finalidad, objetivos y diseño

de una prueba: marco teórico

Autores

David Cervera Olivares

Paloma González Chasco

José Mª Sánchez Echave

INEE

Todo el documento está sujeto a los siguientes términos de la licencia Creative Commons Reconocimiento-CompartirIgual 4.0 Internacional

https://creativecommons.org/licenses/by-sa/4.0/deed.es


Evaluaciones externas Internacionales del Sistema Educativo

INTEF 2014 Pág. 1

Índice Finalidad, objetivos y diseño de una prueba: marco teórico .......................................... 2

BLOQUE II: Finalidad, objetivos y diseño de una prueba .................................. 2

Ejemplos de estímulos y preguntas .............................................................................. 3

PISA matemáticas: Unidad - Las formas....................................................................... 3

PISA matemáticas: Unidad - El faro .............................................................................. 4

PISA comprensión lectora: Unidad - Metrotransit .......................................................... 7

PISA Ciencias: Unidad - Agua potable .......................................................................... 9

Marco teórico: contenidos, dominios, matriz de especificaciones ............................... 11

Matriz de especificaciones .......................................................................................... 13

Matriz de especificaciones: contenidos, procesos ....................................................... 15

Matriz de especificaciones: ítems, pilotaje .................................................................. 17

Nota ........................................................................................................................ 18

TIMSS Matemáticas.................................................................................................... 18

TIMSS Ciencias .......................................................................................................... 20

PIRLS Comprensión lectora ........................................................................................ 22

PISA ........................................................................................................................... 24

PISA Ciencias ............................................................................................................. 26

PISA Lectura .............................................................................................................. 27

PISA Matemáticas ...................................................................................................... 28

EECL .......................................................................................................................... 30


INTEF 2014 Pág. 2

Finalidad, objetivos y diseño de una prueba: marco teórico

BLOQUE II: Finalidad, objetivos y diseño de una prueba

1. Marco teórico: contenidos, dominios, matriz de especificaciones. 2. Elaboración de ítems, pilotaje y psicometría. 3. Construcción de la prueba. 4. Cuestionarios de contexto.

La finalidad de una prueba depende de los objetivos a conseguir y, en función de estos, se diseñan los instrumentos que permiten medir, con la mayor precisión posible, aquello que queremos analizar. Para ello es necesario establecer los dominios de contenido, la vinculación con el currículo oficial, el alumnado objetivo, la duración de la prueba y las partes de las que consta, así como la población final de alumnado evaluada, a partir de la que se sacarán los resultados. Igualmente se hace imprescindible conocer cómo se desea analizar los resultados y las escalas de rendimiento que se emplearán.

Las evaluaciones internacionales se caracterizan por no estar vinculadas al currículo oficial de los países, fundamentalmente por las grandes diferencias que existen entre unos y otros, aunque con matices, como veremos. En el caso de PISA participan más de 70 economías y la diversidad hace que sea la propia prueba la que define lo que va a medir en los alumnos de 15 años, con independencia del sistema educativo por el que hayan pasado. Son, por tanto, pruebas fundamentadas en competencias más que en conocimientos concretos, y buscan las destrezas y habilidades que los alumnos de esa edad tienen para enfrentarse a determinadas situaciones. En definitiva, se pretende analizar la capacidad de respuesta y reacción frente a situaciones planteadas en las que el alumno, además de los conocimientos adquiridos en el aula, también debe poner en práctica otros que las diversas situaciones en las que se ha desarrollado su vida le han ido aportando (aprendizajes en la familia, el grupo de amigos, realización de actividades deportivas, vacaciones, etc.).

En este bloque vamos a realizar un recorrido por la estructura de distintas pruebas internacionales, conociendo sus fundamentos y objetivos.


INTEF 2014 Pág. 3

Elaborado por el INEE. Si no ves correctamente esta imagen, descárgate el siguiente PDF.

Ejemplos de estímulos y preguntas Antes de comenzar conviene familiarizarse con ciertas dinámicas que se siguen en este tipo de pruebas.

A continuación, en esta primera parte de contenidos del bloque, se presentan cuatro estímulos y los ítems o preguntas que se les vinculan. Además se ha añadido la competencia, contenido o tipo de pregunta a la que se refiere, términos que iremos empleando y desarrollando.

El primero de los estímulos mostrados es el del vídeo de la introducción. Los otros son un estímulo por competencia evaluada en PISA (Matemáticas, Comprensión Lectora y Ciencias).

La lectura de estos estímulos y preguntas permite tener una visión algo más global de este tipo de pruebas y conocer lo que se pregunta al alumnado de 15 años de los cinco continentes.

PISA matemáticas: Unidad - Las formas


INTEF 2014 Pág. 4

PREGUNTAS TIPO RESPUESTA, COMPETENCIA, CONOCIMIENTO

PREGUNTA 1

¿Cuál de las figuras tiene mayor área? Muestra tu razonamiento.

Respuesta abierta

Competencia: Reproducción

Conocimiento: Espacio y forma

PREGUNTA 2

Describe un método para hallar el área de la figura C.

Respuesta abierta

Competencia: Conexión e integración


PREGUNTA 3

Describe un método para hallar el perímetro de la figura C.

Respuesta abierta

Competencia: Conexión e integración



PISA matemáticas: Unidad - El faro Los faros son torres con un foco luminoso en la parte superior. Los faros ayudan a los barcos a seguir su rumbo durante la noche cuando navega cerca de la costa. Un faro emite destellos de luz según una secuencia regular fija. Cada faro tiene su propia secuencia. En el diagrama de abajo se puede ver la secuencia de un faro concreto. Los destellos de luz alternan con periodos de oscuridad.


INTEF 2014 Pág. 5

Se trata de una secuencia regular. Después de algún tiempo la secuencia se repite. Se llama periodo de la secuencia al tiempo que dura un ciclo completo, antes de que comience a repetirse. Cuando se descubre el periodo de la secuencia, es fácil ampliar el diagrama para los siguientes segundos, minutos o incluso horas.

PREGUNTAS TIPO RESPUESTA,

COMPETENCIA, CONOCIMIENTO

PREGUNTA 1

¿Cuánto dura el periodo de la secuencia de este faro?

a) 2 segundos

b) 3 segundos

c) 5 segundos

d) 12 segundos

Pregunta de elección múltiple

Competencia: Conexión

Conocimiento: Cambio y relaciones

PREGUNTA 2

¿Durante cuántos segundos emite este faro destellos de luz a lo largo de 1 minuto?

a) 4

b) 12


Competencia: Conexión



INTEF 2014 Pág. 6

c) 20

d) 24

PREGUNTA 3

En la cuadrícula de abajo traza el gráfico de una posible secuencia de destellos de luz de un faro que emite 30 segundos de destellos de luz cada minuto. El periodo de esta secuencia debe ser de 6 segundos.

Pregunta de respuesta abierta

Competencia: Reflexión




INTEF 2014 Pág. 7

PISA comprensión lectora: Unidad - Metrotransit



PREGUNTA 1

¿Desde qué estación de Metrotransit se pueden coger

Respuesta construida cerrada


INTEF 2014 Pág. 8

tanto autobuses interurbanos como trenes de cercanías? Competencia: Acceder y obtener información

Tipo de texto: Descriptivo - Discontinuo

PREGUNTA 2

Si te encuentras en la estación del Zoo y quieres ir a la estación de Puente de Piedra, ¿en qué estación tienes que cambiar de línea?

a) Consistorio.

b) Ribera.

c) Malecón.

d) Muelle Antiguo.

Respuesta de elección múltiple

Competencia: Acceder y obtener información

Tipo de texto: Descriptivo - Discontinuo

PREGUNTA 3

Algunas estaciones como Puerta Oeste, Zoo e Independencia tienen un sombreado gris a su alrededor ¿Qué indica dicho sombreado acerca de esas estaciones?

Respuesta corta

Competencia: Reflexionar y valorar

Tipo de texto: Descriptivo - discontinuo

PREGUNTA 4

Tienes que encontrar el camino más corto en metro desde la estación de Marie Curie hasta la estación de Bosque.

Dibuja en el plano el camino que seguirías.

Respuesta corta

Competencia: Acceder y obtener información

Tipo de texto: Descriptivo - discontinuo


INTEF 2014 Pág. 9


PISA Ciencias: Unidad - Agua potable



PREGUNTA 1

Es importante tener una reserva de agua potable de buena calidad. El agua que se encuentra bajo tierra se

Respuesta construida – abierta

Competencia: Explicar


INTEF 2014 Pág. 10

llama agua subterránea.

Da una explicación de por qué hay menos bacterias y partículas contaminantes en las aguas subterráneas que en las aguas de la superficie, como las de lagos y ríos.

fenómenos científicamente

Conocimiento: Sistemas de la tierra y el espacio. Recursos naturales.

PREGUNTA 2

La potabilización del agua suele hacerse en varias etapas, que requieren técnicas diferentes.

El proceso de potabilización mostrado en la figura comprende cuatro etapas (numeradas de

1 a 4). En la segunda etapa, el agua se recoge en un decantador.

¿De qué forma contribuye esta etapa a que el agua esté más limpia?

a) Las bacterias del agua mueren.

b) Se añade oxígeno al agua.

c) La grava y la arena se depositan en el fondo.

d) Las sustancias tóxicas se descomponen.


Competencia: Explicar fenómenos científicamente

Conocimiento: Sistemas físicos. Salud

PREGUNTA 3

En la cuarta etapa de potabilización se añade cloro al agua.

¿Por qué se añade cloro al agua?


Competencia: Explicar fenómenos científicamente.

Conocimiento: Sistemas vivos. Salud

PREGUNTA 4

Supón que los científicos que analizan el agua de la potabilizadora, descubren la presencia de bacterias peligrosas en el agua después de haber concluido el tratamiento de potabilización.

¿Qué deben hacer los consumidores con el agua, en sus casas, antes de beberla?





INTEF 2014 Pág. 11

PREGUNTA 5

¿Puede el agua contaminada producir los problemas de salud siguientes? Marca con un círculo la respuesta, Sí o No, en cada caso.

Diabetes. Sí / No

Diarrea. Sí / No

VIH / SIDA Sí / No

Respuesta elección múltiple compleja




Marco teórico: contenidos, dominios, matriz de especificaciones El marco teórico de una evaluación internacional recoge toda la información necesaria para llevar a cabo desde el diseño de la prueba hasta su aplicación y de ello depende el análisis final que se pueda hacer del rendimiento. Haciendo un símil, podríamos decir que es como el proyecto en el que se basa el arquitecto para construir el edificio, en él se incluye todo, desde la cimentación al tejado, y no solo su estructura sino que también se da información de instalaciones y otros muchos detalles.


INTEF 2014 Pág. 12


En nuestro símil, la cimentación estaría formada por los sistemas educativos que definen las competencias, conocimientos y estándares relacionados con las materias en cada país y que cada evaluación internacional adapta. Las competencias consideradas fundamentales y en las que se centran estas evaluaciones son Lectura, Matemáticas y Ciencias, aunque existen evaluaciones enfocadas a otras como las TIC o el aprendizaje de los idiomas. Como hemos visto en el bloque anterior, estos son por tanto elementos importantes de nuestra estructura. Todo lo anterior se esquematiza y expresa en una matriz de especificaciones que es una síntesis de lo que contendrá la prueba final que realizarán los alumnos. El marco teórico define todos los pormenores y detalles a tener en cuenta para realizar la evaluación; es como el tejado que protege todos los elementos que configuran la estructura.

Tal vez, la parte más visible de una prueba son las preguntas (ítems) que la configuran y son estas, en muchas ocasiones, causa de crítica por ser consideradas excesivamente fáciles o difíciles. Esto es debido a que se desconoce lo que pretenden medir, y por ello es importante no descontextualizar una pregunta del conjunto total de la prueba. Has tenido opción de ver unos pocos estímulos y preguntas de la prueba internacional PISA y habrás observado que cada ítem se relaciona siempre con un “grado de adquisición de la competencia” y con un “bloque de contenidos.”

Pero comencemos poco a poco, para ir profundizando y conociendo el funcionamiento de las evaluaciones internacionales, y la idea fundamental de evaluación que contienen.


INTEF 2014 Pág. 13

En este vídeo puedes ver un resumen de algunas de estas evaluaciones y sus características fundamentales. Es un extracto de una sesión informativa en la UNED

Matriz de especificaciones A la hora de planificar una prueba hemos de tener claro la edad, o el nivel al que se le va a realizar, y cuál es el objetivo (diagnosticar, evaluar, etc). Hay que establecer el contenido de la prueba, las preguntas, las técnicas a incluir, el límite del tiempo, el número de ítems. Por otro lado hay que considerar los contenidos y competencias que se van a implementar y cómo se ponderarán los mismos.

Estas y otras características son las que se definen en el marco teórico, pero sin duda la herramienta base que facilita y guía la construcción y la interpretación de pruebas es lo que denominamos matriz o tabla de especificaciones. También se denomina tabla curricular de referencia, dado que en ella definimos descriptores según el bloque de contenidos al que apuntan y a la competencia con la que se relacionan.

Definamos los conceptos implicados:

• Contenidos: Declaraciones procedimentales que forman el cuerpo de enseñanza de una disciplina.

• Procesos o competencias: Niveles de complejidad en la resolución de una tarea.

• Descriptores: Formulaciones sintéticas de las competencias que habrán de ser medidas por los ítems que se elaboren. De cada uno de ellos se pueden construir varios ítems.

Para elaborar una matriz necesitamos:

• Establecer los contenidos.

• Establecer los procesos cognitivos o grados de adquisición de la competencia.

• Determinar los descriptores.

• Determinar el peso relativo de cada casilla, donde se relacionan los contenidos con los procesos.

• Elaborar ítems específicos para cada descriptor.

Pongamos un ejemplo para poder entender mejor lo que es una matriz de especificaciones. En ella se clasifican una serie de descriptores que apuntan biunívocamente a un grado de adquisición de la competencia y a la vez al bloque de conocimientos con el que se vincula.

http://youtu.be/buP3FVKvEpA?list=UUBKvUbEeC56etpkHVLPbxhA


INTEF 2014 Pág. 14

Si no ves correctamente la imagen, puedes descargarte este PDF.

En la tabla se observa como el conjunto de descriptores, por ejemplo los representados en rojo, se relacionan con un proceso cognitivo inicial (Proceso I), o lo que podríamos definir como un grado de adquisición de la competencia bajo, ligado a procesos de reproducción de contenidos elementales, en este caso a contenidos de tipo C.

De igual manera, si nos fijamos en el conjunto de descriptores del Proceso II, de color azul, estaríamos vinculando estos con un grado de adquisición de competencia medio, con los contenidos de tipo B, donde el alumno necesita estrategias que permiten acciones de conexión de diversos conocimientos. Estamos por tanto frente a un grado mayor de competencia.

Si observamos el color verde del ejemplo estaríamos frente a descriptores que medirían un grado elevado de adquisición de la competencia (Proceso III) y como en los casos anteriores estos estarían vinculados a un grupo de contenidos concretos, pero las acciones que desarrollaría el alumno estarían basadas en procesos de reflexión, lo cual supone un mayor grado de complejidad en la resolución de las tareas planteadas para dicho proceso.

Es necesario señalar que distintas pruebas internacionales son ideadas y diseñadas por distintos organismos, por lo que los términos que cada uno emplea son propios y adaptados a la competencia que analizan. Por ello intentaremos emplear todos estos conceptos de forma que con independencia de cómo los nombre la OCDE, la IEA o la UE sepamos a qué se refieren.


INTEF 2014 Pág. 15


Matriz de especificaciones: contenidos, procesos Hasta ahora hemos hablado de procesos, contenidos y descriptores (para intentar mostrar y simplificar las mecánicas empleadas en cada evaluación).

Pero no nos perdamos con diversas denominaciones. Hagamos un zoom y centrémonos, por ejemplo, en la competencia matemática que en 2º de ESO debería adquirir un alumno. Si observamos el currículo vemos los siguientes bloques de contenidos: Números, Álgebra, Geometría, Funciones y Gráficas, Estadística y Probabilidad y Contenidos Comunes. Todos y cada uno de estos bloques en los que hemos subdividido las matemáticas implican procesos I, II y III, de más fácil a mayor dificultad según sea mayor la adquisición de la competencia o proceso cognitivo. Nombremos estos como Reproducción (grado bajo de adquisición de la competencia), Conexión (grado medio de adquisición de la competencia) y Reflexión (grado elevado de adquisición de la competencia).

No olvidemos que estamos diseñando una prueba de evaluación, por lo que una pregunta o ítem estará vinculada a un descriptor, que como hemos visto implicará un proceso cognitivo determinado y guardará relación con un bloque de contenido concreto. Por tanto, undescriptor lo podríamos definir como un criterio de evaluación, dado que con él intentamos medir el rendimiento del alumno. Como con cada ítem se mide un único indicador, en realidad podríamos hablar de microcriterios de evaluación, al tener que dar cada uno de ellos una información única. Se trataría, por tanto, de dividir los criterios de evaluación del currículo en pequeñas unidades de forma que podamos establecer los niveles que hayamos definido en la matriz de especificaciones. Veamos un ejemplo ampliado de una posible matriz para 2º de ESO que nos facilite comprender y conocer procesos, contenidos y descriptores.

Procesos cognitivos

Bloques de contenidos Reproducción Conexión Reflexión

Números ... ... ...

Álgebra ... ... ...

Geometría Identificar el teorema de Thales

Calcular la razón de semejanza entre

Aplicar el teorema de Thales en la resolución


INTEF 2014 Pág. 16

Reconocer el teorema de Pitágoras

Reconocer los criterios que cumplen dos triángulos semejantes

Identificar poliedros, poliedros regulares, prismas y pirámides

Reconocer los elementos de los poliedros

Identificar cuerpos de revolución: cilindro, cono y esfera

Reconocer los elementos de cada uno de los cuerpos de revolución

triángulos

Calcular las áreas laterales y totales de distintos poliedros

Calcular los volúmenes de los poliedros

Calcular las áreas laterales y totales de los cuerpos de revolución

Calcular los volúmenes de los cuerpos de revolución

de problemas

Aplicar el teorema de Pitágoras en la resolución de problemas

Resolver problemas de semejanza de triángulos

Resolver problemas de la relación de proporcionalidad en geometría: escalas

Resolver problemas de los cuerpos geométricos

Resolver problemas de los cuerpos de revolución

Funciones y Gráficas ... ... ...

Estadística y Probabilidad ... ... ...

Contenidos comunes ... ... ...

En la tabla se ha seleccionado el bloque de contenidos de Geometría, de igual modo podríamos actuar con los restantes cinco bloques. Observa los verbos vinculados a cada proceso. En la tabla se han marcado algunos descriptores en rojo (reproducción), azul (conexión) yverde (reflexión), en este caso todos ellos vinculados con la geometría.


INTEF 2014 Pág. 17


Matriz de especificaciones: ítems, pilotaje Una vez que se han identificado todos los criterios que configuran la matriz, es necesario generar preguntas o ítems que estén vinculados con ellos. Además es necesario hacer un elevado número de preguntas de forma que se puedan pilotar (ponerlas en práctica para comprobar que lo que se ha establecido en la matriz de especificaciones es contrastado por la realidad de lo que ocurre al enfrentar al alumnado a las mismas). Es decir, si una pregunta ha sido creada para medir un proceso cognitivo, que realmente lo mida. Seguramente de las preguntas que se han realizado, muchas se eliminarán, normalmente por un mal funcionamiento o anomalías observadas al aplicarlas con un grupo de alumnos, una mala redacción del enunciado, error en algunas de las respuestas, duplicidad de claves, errores tipográficos, que la dificultad esté en la forma de preguntar y no en lo que se pregunta, etc.

Los procesos de prepilotajes y pilotajes se realizan con alumnos que no tendrán dificultad en responder a lo que se les pregunta, de manera que lo que se analiza es la validez y viabilidad del ítem. Por ejemplo, si diseñáramos una prueba para 2º de ESO lo podríamos pilotar con alumnos de 3º de ESO en el momento de inicio del curso escolar (octubre o noviembre). Las evaluaciones internacionales realizan el estudio piloto un año antes que el estudio principal, en el mismo curso académico y con una cohorte de alumnos de iguales características a las que un año más tarde tendrán los alumnos que realizan el estudio principal, y del que se obtienen resultados. Al final, la prueba quedará configurada de forma que existan un conjunto de preguntas que recorran todos los procesos cognitivos y conocimientos.

Hay que considerar que las evaluaciones internacionales no pretenden evaluar al alumno, sino al sistema. Se emplea al alumno como elemento mínimo de información y solo contesta una parte del conjunto total de preguntas de la prueba. Si un alumno tuviese que realizar una de estas pruebas contestando a todos los ítems tardaría unas siete horas, por lo que se hace


INTEF 2014 Pág. 18

una distribución matricial de las preguntas para que todas ellas sean contestadas un número suficiente de veces, pero no todos los alumnos contestan las mismas, ya que las pruebas son de aproximadamente 50 minutos por competencia evaluada.

Debemos tener en cuenta que cuando un profesor hace un examen, normalmente establece un par de preguntas relativamente sencillas para tratar de que el mayor número de alumnos se aproxime al aprobado. De igual modo incluye una o dos preguntas para diferenciar aquellos alumnos que destacan y el resto de preguntas podríamos considerarlas de dificultad intermedia. En estas pruebas pasa algo parecido, por eso descontextualizar una pregunta del conjunto de la prueba no tiene mucho sentido. Hay preguntas muy fáciles, para conocer el alumnado que al menos llega a este nivel mínimo y quien no lo alcanza. De igual modo interesa saber qué porcentaje destaca de entre todo el alumnado, de ahí la existencia de algunas preguntas de cierta complejidad, siendo el grueso de dificultad intermedia que es donde normalmente se sitúa la mayor parte del alumnado.

Nota

En las matrices de especificaciones de diversas evaluaciones educativas que vamos a ver a continuación, figura el porcentaje de ítems para cada dominio (peso relativo), referido tanto a los contenidos como a los procesos cognitivos.

TIMSS Matemáticas En la siguiente tabla se recoge la matriz de especificaciones de la evaluación TIMSS matemáticas para 4º de Educación Primaria, de la IEA; observa que la importancia de cada bloque de contenidos en la prueba se muestra a través de los porcentajes asignados.

La IEA establece para esta evaluación de las matemáticas tres dominios de contenido y otros tres dominios cognitivos.

TIMSS Matemáticas

Dominios de contenido Dominios cognitivos

Números

50%

Números naturales

Fracciones y decimales

Expresiones numéricas

Modelos y

CONOCER. 40% Conocimiento de hechos y de procedimientos

Recordar - Reconocer – Identificar – Calcular –Recuperar - Medir – Clasificar - Ordenar


INTEF 2014 Pág. 19

relaciones

APLICAR. 40% Resolución de problemas habituales

Seleccionar – Representar – Interpretar – Aplicar - Verificar o comprobar

RAZONAR. 20% Resolución de problemas no habituales. Actividades que implican razonamiento

Analizar – Generalizar – Integrar - Justificar o demostrar

Formas y mediciones geométricas

35%

Puntos, líneas y ángulos

Formas bidimensionales y tridimensionales

Representación de datos

15%

Leer, interpretar y representar

Se pueden consultar las páginas 18 – 20 de la publicación “PIRLS – TIMSS 2011. Estudio Internacional de progreso en comprensión lectora, matemáticas y ciencias. IEA. Volumen I: Informe español” (puedes descargarlo en este enlace o en este otro alternativo) para ampliar la información sobre los dominios de contenido y cognitivos de TIMSS matemáticas.

Las preguntas, por lo general, no se presentan aisladas sino formando grupos bajo una presentación textual y/o gráfica común llamada estímulo, que presenta al alumno una situación cotidiana como las que se pueden encontrar en la vida real. Esta presentación permite minimizar el efecto de los cambios de contexto de las preguntas y también permite que el estímulo común se pueda explotar mejor.

Consulta el estímulo y preguntas “Figuras geométricas” de TIMSS matemáticas que está incluido en el libro “TIMSS 2007. Guía del usuario para la base de datos Internacional. Preguntas de Ciencias y Matemáticas”, págs. de la 130 a la 135 (puedes descargarlo en este enlace o en este otro alternativo).

Observa que los descriptores están vinculados a dominios de contenido y dominios cognitivos. Lo cierto es que la IEA busca en el desarrollo de las pruebas cercanía a los currículos de los sistemas educativos que participan.

http://www.mecd.gob.es/dctm/inee/internacional/pirlstimss2011vol1-1.pdf?documentId=0901e72b81710232

http://formacion.educalab.es/eva2014/pluginfile.php/286/mod_folder/content/0/PIRLS_TIMSS_2011_Vol1.pdf?forcedownload=1

http://www.mecd.gob.es/inee/publicaciones/estudios-internacionales.html#TIMSS2007_1


INTEF 2014 Pág. 20


TIMSS Ciencias La estructura para TIMSS ciencias es similar a la de matemáticas, como se muestra en la siguiente tabla. No olvides que se trata de la misma prueba que analiza dos áreas diferentes y por tanto su estructura es parecida. Los dominios de contenido se adecúan al área de ciencias mientras que se sigue el mismo esquema en cuanto a los dominios cognitivos.

TIMSS Ciencias

Dominios de contenido Dominios cognitivos

Ciencias de la vida

45%

Características y procesos de la vida en los seres vivos

Ciclos de la vida, reproducción y herencia

Interacción con el medio ambiente de los seres vivos

Ecosistemas

Salud humana

CONOCER. 40% Hechos, procedimientos y conceptos científicos

Recordar - Identificar – Definir - Describir –Dar ejemplos – Demostrar manejo de instrumentos

APLICAR. 40% Resolución de problemas habitualesde ciencias

Comparar/contrastar/clasificar – Relacionar


INTEF 2014 Pág. 21

Ciencias Físicas

35%

Clasificación y propiedades de la materia, y cambios de la materia

Formas de energía y transferencia de energía

Fuerzas y movimiento

- Interpretar – Utilizar modelos - Explicar

RAZONAR. 20% Capacidad para abordar situaciones y problemas desconocidos

Analizar – Integrar – Elaborar hipótesis – Generalizar - Justificar o demostrar – Extraer conclusiones

Ciencias de la tierra

20%

La estructura de la Tierra, sus características físicas y recursos

Los procesos y la historia de la Tierra

La Tierra en el sistema solar

Se puede consultar las páginas 20 – 23 de la publicación “PIRLS – TIMSS 2011. Estudio Internacional de progreso en comprensión lectora, matemáticas y ciencias. IEA. Volumen I: Informe español” (descarga el informe en este enlace o en este otro alternativo) para ampliar la información sobre los dominios de contenido y cognitivos de TIMSS ciencias.

Consulta el estímulo y preguntas “Tienda de ropa de camisetas”de TIMSS ciencias que está incluido en el libro “TIMSS 2007. Guía del usuario para la base de datos Internacional. Preguntas de Ciencias y Matemáticas”, págs. de la 16 a la 24 (descarga el informe en esteenlace o en este otro).

Observa de nuevo que los descriptores están vinculados a dominios de contenido y dominios cognitivos.



http://www.mecd.gob.es/inee/publicaciones/estudios-internacionales.html#TIMSS2007_1


INTEF 2014 Pág. 22


PIRLS Comprensión lectora Como ya introdujimos en el bloque I, la IEA realiza una prueba para medir la comprensión lectora a los alumnos de 4º de Educación Primaria. En la siguiente tabla se muestran los Tipos de texto sobre los que se realiza la prueba, en los que se busca conseguir:

• dos Propósitos de Lectura (Leer para informarse y aprender y Leer para disfrutar),

• cuatro Procesos cognitivos que la IEA ha establecido para esta evaluación internacional (Localizar y obtener información, Realizar inferencias, Interpretar e Integrar, Analizar y evaluar).

Si no ves correctamente la anterior imagen, descarga este PDF.

Observa que en la tabla se ha incluido entre paréntesis y entrecomillado lo que podríamos considerar denominaciones semejantes para TIMSS y PIRLS. Los dominios de contenido de TIMSS serán lo que en comprensión lectora PIRLS define como Tipos de texto, y los dominios cognitivos de TIMSS, PIRLS los nombra Procesos cognitivos.

PIRLS Comprensión lectora


INTEF 2014 Pág. 23

Tipos de texto

("dominio de contenido")

Procesos cognitivos

("dominios cognitivos")

Textos Literarios

50%

Localizar y obtener información explicita. 20%

Realizar inferencias directas. 30%

Interpretar e integrar ideas e informaciones. 30%

Analizar y evaluar el contenido, el lenguaje y los elementos textuales. 20%

Textos Informativos

50%

Puedes consultar las páginas 11 – 16 de la publicación “PIRLS – TIMSS 2011. Estudio Internacional de progreso en comprensión lectora, matemáticas y ciencias. IEA. Volumen I: Informe español” (puedes descargarlo en este enlace o en este otro alternativo) para ampliar la información sobre las características de los textos literarios e informativos y los procesos cognitivos que define la IEA en la evaluación PIRLS.

Por lo general, las preguntas no se presentan aisladas sino formando grupos bajo una presentación textual y/o gráfica común, llamada estímulo. En el caso de la comprensión lectora normalmente son textos, pero también pueden ser trípticos, esquemas, documentos oficiales, etc. Con ello se presenta al alumno una situación cotidiana como las que se pueden encontrar en la vida real. Esta presentación permite minimizar el efecto de los cambios de contexto de las preguntas y también posibilita que el estímulo común pueda ser mejor explotado.

Consulta el siguiente Texto Literario y las preguntas de PIRLS “Tarta para enemigos”. Está incluido en el libro “PIRLS – TIMSS 2011. Estudio Internacional de progreso en comprensión lectora, matemáticas y ciencias. IEA. Volumen I: Informe español” págs. de la 113 a la 130 (puedes descargarlo en este enlace o en este otro alternativo).

Consulta también el Texto informativo y las preguntas de “Buscando comida”, incluido en el libro “La lectura. Educación Primaria 4º curso. Pruebas de evaluación de la comprensión lectora. PIRLS 2001 y 2006”, págs. 195 a la 210 (puedes descargarlo en este enlace o en esteotro).

Video del estímulo de PIRLS "Tarta para enemigos"





http://www.mecd.gob.es/inee/publicaciones/estudios-internacionales.html#LA_LECTURA_2


INTEF 2014 Pág. 24

PISA Veamos esquemáticamente cómo define la OCDE qué evalúa PISA en Ciencias, Lectura y Matemáticas, a través de su marco teórico.

Observa que para cada área establece unas competencias (que se asemejarían a lo que se ha denominado procesos cognitivos o dominios cognitivos en PIRLS y TIMSS respectivamente) y dominios de conocimiento.

Ciencias Lectura Matemáticas

Definición y

características

El conocimiento científico y el uso que se puede hacer de ese conocimiento para identificar preguntas, adquirir nuevo conocimiento, explicar fenómenos científicos, y llegar a conclusiones basadas en pruebas científicas sobre cuestiones de este tipo.

Incluye la comprensión de las características de la cienciacomo una forma de conocimiento y de investigación.

Asimismo, la conciencia de que la ciencia y la tecnología organizan nuestro medio material e intelectual, y la voluntad de interesarse por cuestiones e ideas relacionadas con la ciencia, como ciudadanos reflexivos.

La capacidad de un individuo para comprender, utilizar, reflexionar e interesarse por textos escritos, para alcanzar los propios objetivos, desarrollar el conocimiento y potencial propios y participar en la sociedad.

El enfoque de PISA es “leer para aprender” más que “aprender a leer”; de ahí que no se evalúe a los alumnos en las destrezas de lectura más básicas.

La capacidad del individuo para formular, emplear e interpretar las matemáticas en distintos contextos. Incluye el razonamiento matemático y la utilización de conceptos, procedimientos, datos y herramientas matemáticas para describir, explicar y predecir fenómenos. Ayuda a los individuos a reconocer el papel que las matemáticas desempeñan en el mundo y a emitir los juicios y las decisiones bien fundadas que los ciudadanos constructivos, comprometidos y reflexivos necesitan.

Dominio de

conocim

Conocimiento de la ciencia, como:

• Sistemas físicos • Sistemas vivos

Tipo de textos:

• textos continuos o de

Cuatro áreas relativas a los números, el álgebra, la geometría y la estadística, interrelacionadas de


INTEF 2014 Pág. 25

iento • Sistemas de la tierra y el espacio

• Sistemas tecnológicos

Conocimiento sobre la ciencia, como:

• Investigación científica

• Explicaciones científicas

prosa, organizados en oraciones y párrafos (p. ej., narrativos, expositivos, argumentativos, descriptivos, instructivos)

• textos discontinuos, que presentan la información en forma de listas, gráficos, mapas, diagramas

formas diversas:

• cantidad • espacio y

forma • cambio y

relaciones • incertidumbre y

datos

Competencias o proceso

s

• Identificar cuestiones científicas

• Explicar fenómenos científicamente

• Utilizar pruebas científicas

• Acceder y obtener la información

• Integrar e interpretar el texto

• Reflexionar y valorar sobre el contenido y la forma del texto

• Formulación matemática de las situaciones

• Empleo de conceptos, datos, procedimientos y razonamientos matemáticos

• Interpretación, aplicación y valoración de los resultados matemáticos

Abreviado como “formulación, empleo e interpretación”


INTEF 2014 Pág. 26

Contexto y

situación

Las situaciones en las que se pueden aplicar las ciencias:

• personal (yo, familia y compañeros)

• social (la comunidad)

• global (la vida en todo el mundo)

Para algunas aplicaciones concretas:

• Salud • Recursos

naturales • Medio ambiente • Riesgos • Fronteras de

ciencia y tecnología

El uso para el que se escribe un texto:

• Personal (por ejemplo, una carta personal)

• Educativo (por ejemplo, un trabajo de clase)

• Pública (por ejemplo, un documento oficial)

• Profesional (por ejemplo, un informe)

Las situaciones en las que se pueden aplicar las matemáticas:

• Personal • Profesional • Social • Científica

Observa como en los dominios de conocimiento de Lectura se divide los textos en continuos y discontinuos.

Esta y mucha otra información está disponible en la publicación Marcos y pruebas de evaluación de PISA 2012 (también se puede descargar aquí).

En esta tabla se resumen las tres áreas que evalúa PISA, y en los tres casos identifica dominios de conocimiento y competencias o procesos. Veamos a continuación las matrices de especificaciones de las tres competencias en donde se recogen los tantos por ciento de cada una de las partes que configura la prueba.

PISA Ciencias PISA Ciencias 2012

Dominio de conocimiento Competencias (Capacidades científicas)

http://www.mecd.gob.es/dctm/inee/internacional/pisa2012/marcopisa2012.pdf?documentId=0901e72b8177328d

http://www.mecd.gob.es/dctm/inee/internacional/pisa2012/marcopisa2012.pdf?documentId=0901e72b8177328d


INTEF 2014 Pág. 27

Conocimiento de la ciencia 50 %

Identificar cuestiones científicas 23%

Explicar fenómenos científicamente 40%

Utilizar pruebas científicas 37%

Sistemas físicos

Sistemas vivos

Sistemas de la Tierra y el espacio

Sistemas tecnológicos

13%

16%

12%

9%

Conocimiento acerca de la ciencia 50%

Investigación científica

Explicaciones científicas

20%

15%

Los porcentajes expresados en la tabla hacen referencia al año 2012. Estos porcentajes varían de unas ediciones a otras. El estudio se centra en una de las tres áreas en cada ciclo para obtener resultados, y las otras dos áreas se evalúan para medir tendencias. Por tanto, escada 9 años cuando se cierra un ciclo y se comienza otro.

PISA Lectura A continuación se incluye la matriz de Comprensión lectora:

PISA Lectura 2012

Tipos de texto Competencias (capacidad lectora)

Textos continuos

58%

Narrativos, expositivos, descriptivos, persuasivos y argumentativos, preceptivos

Acceder y obtener 22%

Integrar e interpretar 56%

Reflexionar y valorar 22%

Textos discontinuos

Cuadros y gráficos, tablas, diagramas, formularios, mapas, anuncios


INTEF 2014 Pág. 28

31%

Textos mixtos

9%

Formato de revistas, obras de consulta, informes.

Textos múltiples

2%

Textos generados de forma independiente. Pueden ser complementarios o contradecirse

Aunque en la evaluación PISA 2000 se utilizaron algunos textos mixtos y múltiples, estos no se clasificaron de forma independiente, sino que se describieron más en función de sus elementos continuos o discontinuos. A partir de PISA 2009, donde se intensificó el estudio en el área de Lectura, en la elaboración de los ejercicios para la evaluación se realizó un esfuerzo por incluir estímulos de textos impresos mixtos y múltiples, y por introducir ejercicios en los que el lector debía integrar información de partes con diferentes formatos dentro de un texto mixto o con textos múltiples.

Observa como edición tras edición se modifican determinados aspectos de los marcos teóricos de las evaluaciones.

PISA Matemáticas El último informe PISA se publicó el 3 de diciembre de 2013, y recoge los datos de la evaluación realizada en 2012. Se centró en matemáticas y aquí tienes la matriz de especificaciones de referencia para esta prueba.

PISA Matemáticas 2012

Dominio de conocimiento Competencias (capacidades matemáticas)

Cantidad

25%

• Comprensión del tamaño relativo. • Reconocimiento de las regularidades

numéricas. • Utilización de los números para representar

cantidades y atributos cuantificables de los objetos del mundo real.

• Procesamiento y comprensión de los números.

Formulación matemática de las situaciones 25% (operaciones matemáticas simples)

Empleo de


INTEF 2014 Pág. 29

• Representación de los números de diferentes maneras.

• Comprensión del significado de las operaciones.

• Percepción de la magnitud de los números. • Cálculos matemáticamente elegantes. • La estimación y el cálculo mental.

conceptos, datos, procedimientos y razonamientos matemáticos 50% (relacionar ideas para resolver problemas)

Interpretación, aplicación y valoración de los resultados matemáticos 25% (razonamiento matemático en sentido amplio)

Espacio y forma

25%

• Reconocer las formas en diferentes representaciones y diferentes dimensiones.

• Comprender las propiedades de los objetos y sus posiciones relativas.

• Orientarnos por el espacio y a través de las construcciones y formas.

• Relación entre formas e imágenes. • Representación en dos dimensiones de

objetos tridimensionales. • La formación de las sombras y cómo

interpretarlas. • Qué es la perspectiva y cómo funciona.

Cambio y

relaciones

25%

• Expresiones algebraicas, ecuaciones e inecuaciones, representaciones tabulares y gráficas.

• Representar datos y relaciones utilizando estadísticas.

• Medidas geométricas. • Relaciones entre longitudes de los lados de

triángulos.

Incertidumbre y datos

25%

• Estadística y probabilidad. • Recogida de datos y error en la medida. • Análisis y presentación de datos. • Deducción. • Crear, interpretar y evaluar conclusiones

extraídas de situaciones donde se presenta incertidumbre.

Las matrices e información facilitada se han mostrado de manera resumida y simplificada para facilitar la comprensión de los procesos, sus parecidos y diferencias. Para tener una visión más amplia y profunda se recomienda la consulta de los libros e informes técnicos de cada una de ellas que se pueden descargar de la siguiente web.

http://www.mecd.gob.es/inee/publicaciones/estudios-internacionales.html

http://www.mecd.gob.es/inee/publicaciones/estudios-internacionales.html


INTEF 2014 Pág. 30

EECL Por último y en cuanto a lo que en el marco teórico de una evaluación se refiere a bloques de contenido o competencias, si analizamos la estructura del Estudio de Competencia Lingüística en Idioma Extranjero, vemos que los descriptores se han realizado desde los niveles del MCERL (Marco Común Europeo de Referencia para las Lenguas).

Descriptores de los niveles del MCERL:

MCERL COMPRENSIÓN ORAL

COMPRENSIÓN LECTORA EXPRESIÓN ESCRITA

B2

Comprende discursos y conferencias extensos e incluso sigue líneas argumentales complejas siempre que el tema sea relativamente conocido.

Puede leer con un alto nivel de independencia, adaptando el estilo y velocidad de lectura a los diferentes textos y propósitos. Es capaz de entender las ideas principales de textos complejos que traten de temas tanto concretos como abstractos, incluso si son de carácter técnico, siempre que estén dentro de su campo de especialización.

Es capaz de escribir textos claros y detallados sobre una amplia serie de temas relacionados con sus intereses, resumiendo y evaluando la información que procede de diversas fuentes. Puede escribir redacciones o informes transmitiendo información o proponiendo motivos que apoyen o refuten un punto de vista concreto.

B1

Es capaz de comprender los puntos principales cuando el discurso es claro y en lengua estándar si tratan sobre cuestiones que le son conocidas, ya sea en situaciones de trabajo, de estudio o de ocio, incluyendo breves narraciones.

Es capaz de comprender los puntos principales de textos claros y en lengua estándar si tratan de asuntos cotidianos relacionados con sus intereses.

Es capaz de producir textos sencillos y coherentes sobre temas que le son familiares o en los que tiene un interés personal. Puede describir experiencias, acontecimientos, deseos y aspiraciones, así como justificar brevemente sus opiniones o explicar sus planes.

A2

Puede comprender frases y el vocabulario más habitual sobre temas de interés personal (información

Puede comprender textos cortos y sencillos que contengan vocabulario frecuente, incluyendo palabras que se

Puede escribir una serie de expresiones y frases sencillas unidas por conectores sencillos como “y”, “pero” y


INTEF 2014 Pág. 31

personal y familiar muy básica, compras, lugar de residencia, empleo) siempre que la conversación se articule despacio y de forma clara.

compartan a nivel internacional.

“porque”. Puede escribir notas y mensajes breves y sencillos relativos a sus necesidades inmediatas.

A1

Puede seguir una conversación que se articule muy despacio y con cuidado, con pausas largas para poder asimilar el significado.

Comprende palabras y nombres conocidos y frases muy sencillas, por ejemplo las que hay en letreros, carteles y catálogos volviendo a leer cuando lo considera necesario.

Puede escribir sintagmas y frases sencillas de forma aislada. Puede pedir y dar información personal básica por escrito.

Pre-A1 No hay descripción en el MCERL.

No hay descripción en el MCERL.

No hay descripción en el MCERL.

Observa que se ha añadido un nivel Pre-A1 que intenta detectar aquellos alumnos que ni siquiera llegan al nivel A1.

Se recomienda la lectura del capítulo 1 del libro “Estudio Europeo de Competencia Lingüística EECL. Volumen I. Informe español” (si no funciona el anterior enlace, puedes descargarlo aquí).

INEE - Formación en Red del INTEF

Licencia Creative Commons Atribución-CompartirIgual 4.0 Internacional.

http://www.mecd.gob.es/inee/publicaciones/estudios-internacionales.html#EECL_I

http://www.mecd.gob.es/inee/publicaciones/estudios-internacionales.html#EECL_I


bloque 2. finalidad, objetivos y diseño de una prueba

Documents