evaluaciones externas internacionales -...

Evaluaciones externas internacionales

Autores

David Cervera Olivares, Paloma González Chasco y José Mª Sánchez Echave. INEE

Todo el documento está sujeto a los siguientes términos de la licencia Creative Commons Reconocimiento-CompartirIgual 3.0 España

http://creativecommons.org/licenses/by-sa/3.0/es/

Evaluaciones Externas Internacionales del Sistema Educativo

INTEF 2014 Pág. 2

Índice Evaluaciones externas internacionales ......................................................................... 1

Autores ...................................................................................................................... 1

Evaluaciones externas internacionales ......................................................................... 4

El Instituto Nacional de Evaluación Educativa (INEE) ............................................... 4

http://www.mecd.gob.es/inee .................................................................................... 5

Evaluaciones internacionales .................................................................................... 5

¿En qué evaluaciones internacionales participa España? ......................................... 5

Organismos internacionales y Evaluaciones ............................................................. 5

El estudio PISA ......................................................................................................... 5

Programa para la Evaluación Internacional de Estudiantes (PISA) ........................... 5

PISA: Ítems y muestra ....................................................................................... 7


PISA: Marco de la evaluación ............................................................................ 8


Marco de evaluación de PISA ................................................................................... 9

PISA: Cuestionarios ........................................................................................ 10

Programa para la Evaluación Internacional de Estudiantes (PISA) ......................... 10

Para saber más ....................................................................................................... 11

El estudio TALIS ..................................................................................................... 11

Estudio Internacional sobre la Enseñanza y el Aprendizaje (TALIS) ....................... 11

Niveles ISCED ........................................................................................................ 12

TALIS: Informe 2009 y nuevo ciclo .................................................................. 13

Estudio Internacional sobre la Enseñanza y el Aprendizaje (TALIS) ....................... 13

Para saber más ....................................................................................................... 14

El estudio EECL ...................................................................................................... 15

Estudio Europeo de Competencia Lingüística (EECL) ............................................. 15

EECL: qué y cómo se evalúa .......................................................................... 16

Estudio Europeo de Competencia Lingüística (EECL) ............................................. 16

Para saber más ....................................................................................................... 18

Ejercicio: verdadero o falso ..................................................................................... 18

Pregunta Verdadero-Falso ...................................................................................... 18

El estudio PIRLS ..................................................................................................... 19

Estudio Internacional de Progreso en Comprensión Lectora (PIRLS) ..................... 19

Marco de evaluación de PIRLS ............................................................................... 20


INTEF 2014 Pág. 3

PIRLS: cómo es la prueba ............................................................................... 21

Estudio Internacional de Progreso en Comprensión Lectora (PIRLS) ..................... 21

Para saber más ....................................................................................................... 22

El estudio TIMSS .................................................................................................... 23

Estudio Internacional de Matemáticas y Ciencias (TIMMS) ..................................... 23

TIMSS: Marco de evaluación ........................................................................... 23


Marco de evaluación de TIMSS............................................................................... 24

TIMSS: cómo es la prueba .............................................................................. 25


Para saber más ....................................................................................................... 26

El estudio ICCS ....................................................................................................... 26

Estudio Internacional sobre Educación Cívica y Ciudadana (ICCS) ........................ 26

ICCS: Marco de evaluación ............................................................................. 27

Estudio Internacional sobre Educación Cívica y Ciudadana (ICCS) ........................ 27

Marco teórico estudio ICCS ..................................................................................... 28

Para saber más ....................................................................................................... 29

Ejercicio: relacionar ................................................................................................. 29

Relaciona cada afirmación con su estudio internacional ......................................... 29


INTEF 2014 Pág. 4


El Instituto Nacional de Evaluación Educativa (INEE)

El Instituto Nacional de Evaluación Educativa es el organismo responsable de la evaluación del sistema educativo en el Ministerio de Educación, Cultura y Deporte (MECD).

La evaluación del sistema educativo busca conseguir información de la realidad educativa de un país. Utiliza procedimientos de muestreo para lograr la representatividad de la población y sus objetivos son:

• Mejorar la calidad educativa del sistema. • Proporcionar información a las administraciones educativas sobre la situación y

evolución del sistema educativo. • Difundir los resultados obtenidos.

Las funciones del INEE son:

• Evaluación general del sistema educativo y realización, en colaboración con las Administraciones educativas, de las evaluaciones generales de diagnóstico.

• Coordinación de la participación del Estado español en las evaluaciones internacionales.

• Elaboración del Sistema Estatal de Indicadores de la Educación. • Participación en la elaboración de los indicadores internacionales de la

educación.

El INEE publica los informes de los estudios en los que participa y además, periódicamente:

• Revista de Educación: publicación científica del Ministerio de Educación, Cultura y Deporte para la difusión de los avances en la investigación y en la innovación educativa. Se puede consultar en el siguiente enlace: http://www.mecd.gob.es/revista-de-educacion

• Boletín de educación: resumen informativo de los temas de mayor relevancia de los últimos informes publicados por el INEE.

• Boletines de la OCDE traducidos al español: PISA in Focus, Education Indicators in Focus y Teaching in Focus.

Se puede obtener más información sobre el Instituto Nacional de Evaluación Educativa en su página web oficial, accesible a partir del siguiente enlace:

http://www.mecd.gob.es/revista-de-educacion


INTEF 2014 Pág. 5

http://www.mecd.gob.es/inee

Evaluaciones internacionales

¿En qué evaluaciones internacionales participa España?

España participa desde hace años en una serie de evaluaciones externas internacionales, coordinadas por instituciones como la OCDE (Organización para la Cooperación y el Desarrollo Económico), la Unión Europea, o la IEA (Asociación Internacional para la Evaluación del Rendimiento Educativo). Son evaluaciones externas porque las realizan agentes que no están integrados en los centros educativos o programas que se evalúan.

Se puede ver a continuación una clasificación con las evaluaciones que realiza cada organismo internacional.

Organismos internacionales y Evaluaciones

OCDE UE IEA

• PISA

• TALIS

EECL

• PIRLS

• TIMSS

• ICCS

El estudio PISA

Programa para la Evaluación Internacional de Estudiantes (PISA)

http://www.mecd.gob.es/inee


INTEF 2014 Pág. 6

http://www.oecd.org/pisa/

PISA (Programme for International Student Assessment) es un estudio internacional de evaluación educativa de las competencias (lectora, matemática y científica) alcanzadas por los alumnos a la edad de 15 años. Es un estudio cíclico que se repite cada tres años con el fin de apreciar la evolución en el tiempo del rendimiento escolar individual en las materias evaluadas.

El estudio es impulsado por la Organización para la Cooperación y el Desarrollo Económico (OCDE), organización internacional de ayuda a los gobiernos en la formulación de políticas eficaces. Al igual que otras evaluaciones externas internacionales está orientado a la toma de decisiones para orientar a los sistemas educativos y no a medir el rendimiento de los procesos educativos en cada aula o centro; es decir, no es un estudio de diagnóstico que se destine a proporcionar información individualizada a los alumnos y centros participantes.

PISA proporciona tres tipos principales de resultados:

• Resultados globales y niveles de rendimiento en comprensión lectora y en las competencias matemática y científica, es decir, qué saben hacer los alumnos; y qué resultados obtienen en las diferentes dimensiones de estas competencias.

• La relación entre los resultados y distintos factores asociados, como son los contextos sociales, económicos y culturales, así como las circunstancias individuales de los alumnos y de la organización y el funcionamiento de los centros educativos.

• Análisis de tendencias, que se derivan de la recogida cíclica de datos; muestran los cambios en los niveles de rendimiento y en la distribución de los resultados a lo largo del tiempo, y en las relaciones entre las variables y los resultados del entorno de los alumnos y los centros.

La primera aplicación del estudio PISA se realizó en el año 2000; las siguientes ediciones han sido en 2003, 2006, 2009 y 2012 proporcionando todas ellas gran cantidad de información que se recoge en el informe que con posterioridad se publica por cada una de las ediciones. El próximo informe se publicará en diciembre de 2013 y se referirá a los resultados de la aplicación que se ha realizado en 2012. Actualmente ya se está trabajando en la próxima edición, PISA 2015. Son más de 70 países los que participan, tanto miembros de la OCDE como asociados (http://www.pisa.oecd.org).

La preparación y la ejecución de PISA son dirigidas y coordinadas por el Consejo de Gobierno de PISA (PGB-PISA Governing Board), los coordinadores nacionales del estudio (NPM-National Project Manager) y un coordinador de datos (NDM-National Data Manager).


http://www.pisa.oecd.org/


INTEF 2014 Pág. 7

PISA: Ítems y muestra


PISA cuenta con una serie de procedimientos y estándares técnicos consensuados por los países participantes, que se aplican en el diseño de la prueba, en las traducciones, en el muestreo, en la recogida de datos, en los análisis y en la presentación de resultados, dirigidos a conseguir un alto nivel de fiabilidad y validez. PISA lleva a cabo un estudio piloto en todos los países participantes, el año anterior al de la realización de la prueba principal. A partir de los resultados de dicho estudio se analiza el comportamiento de todas las unidades (estímulos y preguntas-ítems) en cada país y se retiran aquellos que no han medido de forma adecuada lo que se pretende.

La selección final de unidades e ítems se realiza mediante la colaboración de un grupo de expertos en cada competencia con arreglo a su ajuste al marco teórico de la evaluación. Además, se garantiza la adecuación de los materiales a las diversas culturas representadas por los países participantes y a los intereses de los jóvenes de 15 años. Por último, se utilizan conjuntos de ítems que cubren un amplio espectro de dificultad, que permite medir lo que son capaces de hacer los alumnos en cada competencia, desde el menos al más capaz.

Para hacer posible el análisis a lo largo del tiempo y observar la evolución de los resultados, se incluyen ítems de anclaje (ítems no liberados: aquellos que no han sido difundidos públicamente) que se han empleado en ediciones anteriores, además de nuevas preguntas de la competencia principal en cada edición.

Una característica destacada de este estudio es la muestra elegida. PISA no trata de evaluar a los alumnos escolarizados en un determinado curso académico, sino a aquellos que estén comprendidos entre los 15 años y tres meses y los 16 años y dos meses en el momento en que se realiza la aplicación. El muestreo es bi-etápico: primero se elige un determinado número de centros educativos (un mínimo de 150 por país) y luego se eligen 35 alumnos en cada centro. Una vez descontados los alumnos excluidos y los que no participan por distintas causas (acordadas internacionalmente), el número de alumnos evaluados por país debe ser superior a 4.500.

En 2012, la muestra española de PISA ha estado formada por 970 centros, eligiendo 35 alumnos por centro. En total participaron más de 26.000 alumnos españoles.

PISA siempre evalúa tres competencias: lectura, matemáticas y ciencias, pero en cada ciclo se intensifica más una de ellas (competencia principal), por lo que ocupa la mayor parte del tiempo de evaluación (dos tercios del tiempo de la prueba), mientras


INTEF 2014 Pág. 8

que de las otras dos solo se hace un breve sondeo. En total, las preguntas de la prueba completa cubren aproximadamente 390 minutos, pero cada alumno solo tiene que responder a una determinada combinación de las mismas (distribución matricial de ítems). La duración de la aplicación es de dos horas para cada alumno. Se combinan preguntas de elección múltiple y preguntas abiertas, en torno a una información textual y gráfica que describe una situación de la vida real.

La edición de 2012 se ha centrado en matemáticas y ha incluido una prueba de resolución de problemas y otra sobre competencia financiera. La edición de 2015 se centrará en la competencia científica y, como novedad, se realizará íntegramente por medios informáticos.

PISA: Marco de la evaluación


El marco de la evaluación está configurado de la siguiente forma:

Contenidos: conjunto de conocimientos científicos, habilidades, destrezas, actitudes y valores que deben aprender los estudiantes sobre un área de conocimiento.

Procesos cognitivos: niveles de complejidad en la resolución de una tarea planteada.

Contextos y situaciones: son las situaciones que dan significado a la tarea de enseñanza-aprendizaje propuesta.


INTEF 2014 Pág. 9

Marco de evaluación de PISA

MARCO DE LA

EVALUACIÓN Lectura Matemáticas Ciencias

Contenidos

El formato de los materiales de lectura puede ser:

• Textos continuos, que incluyen diferentes tipos de prosa como la narración, exposición y argumentación.

• Textos discontinuos, que incluyen gráficos, tablas, listas, mapas, etc.

• Textos mixtos: en formato continuo o discontinuo.

Conjunto de áreas y conceptos matemáticos:

• Cantidad. • Espacio y Forma. • Cambio y

Relaciones. • Incertidumbre.

Conocimiento de la ciencia, como:

• Sistemas físicos. • Sistemas vivos. • Sistemas de la tierra

y el espacio. • Sistemas

tecnológicos.

Conocimiento sobre la ciencia, como:

• Investigación científica.

• Explicaciones científicas.

Procesos cognitivos

Tipos de tarea o procesos lectores:

• Acceder y obtener información.

• Integrar (comprensión global y detallada del texto propuesto) e interpretar (dentro del texto propuesto).

• Reflexionar y evaluar (con relaciones externas al texto).

Los conjuntos de procesos definen las destrezas necesarias para las matemáticas:

• Reproducción (operaciones matemáticas simples).

• Conexión (relacionar ideas para resolver problemas).

• Reflexión (razonamiento matemático en sentido amplio).

Tipos de tarea o procesos científicos:

• Identificar cuestiones científicas.

• Explicar fenómenos científicamente.

• Utilizar pruebas científicas.

Contextos y situaciones

El uso para el que se ha escrito un texto:

• Personal. • Educativo. • Laboral. • Público.

El área de aplicación de las matemáticas, que se centra en su uso en relación con contextos personales y globales, como:

• Personal. • Educativo y laboral. • Público. • Científico.

El área de aplicación de la ciencia, centrada en su empleo en relación con contextos personales y globales, como:

• Salud. • Recursos naturales. • Medio ambiente.

• Riesgos naturales. • Límites de la ciencia

y la tecnología.


INTEF 2014 Pág. 10

Elaborado por INEE. Si no ves correctamente la anterior imagen, descártage este PDF.

PISA: Cuestionarios


El estudio también recoge importante información de contexto de los propios alumnos y de los directores de los centros educativos a través de unos cuestionarios de contexto. Esta información contextual, puesta en relación con los resultados de las pruebas de rendimiento, ofrece una rica comparación de los rasgos que caracterizan a los sistemas educativos de los países participantes.

• La aplicación del cuestionario del alumno dura 30 minutos y los estudiantes facilitan información sobre sí mismos y su entorno familiar.

• Cuestionario de padres: los padres responden a un cuestionario sobre datos socioeconómicos de sus familias, así como preguntas sobre la relación con el centro escolar, y también sobre el estudiante.

• Los directores cumplimentan un cuestionario de centro educativo con una duración aproximada de 20 minutos. Versa sobre aspectos administrativos y de gestión pedagógica en el centro educativo.

Enmarcado en el Estudio PISA, desde la edición 2009 se está desarrollando una nueva opción de pruebas por ordenador para los países participantes. En 2015 se tiene previsto que la totalidad de la prueba se realice por medios informáticos.

En las últimas ediciones de PISA no solo participó España como país, algunas comunidades autónomas optaron por ampliar su muestra, de modo que sus resultados


INTEF 2014 Pág. 11

tengan la precisión estadística suficiente como para poder ser comparadas entre sí y con los demás países participantes en PISA. En la última edición han participado ampliando muestra Andalucía, Aragón, Principado de Asturias, Islas Baleares, Cantabria, Castilla y León, Cataluña, Extremadura, Galicia, La Rioja, Madrid, Murcia, Comunidad Foral de Navarra y País Vasco.

Para saber más

Pueden consultarse los siguientes enlaces (abren en ventana nueva):

http://www.mecd.gob.es/inee/publicaciones/estudios-internacionales.html http://www.oecd.org/pisa/

El estudio TALIS

Estudio Internacional sobre la Enseñanza y el Aprendizaje (TALIS)

http://www.oecd.org/edu/talis

TALIS (Teaching and Learning Internacional Survey) es un estudio promovido por la OCDE cuyo objetivo principal es ofrecer información sobre los procesos educativos a través de encuestas a los profesores y a los directores de los centros de Educación Secundaria Obligatoria.

Con ello se pretende contribuir a la elaboración de indicadores internacionales que ayuden a los países a desarrollar su política educativa respecto al profesorado y al proceso de enseñanza y aprendizaje.

Durante 2007-2008 se desarrolló el primer ciclo del proyecto con el propósito de ofrecer una perspectiva internacional comparativa sobre las condiciones de enseñanza y aprendizaje en la Educación Secundaria Obligatoria y sobre algunos de los principales factores que permiten explicar las diferencias en los resultados educativos que PISA ha revelado.

El análisis de TALIS se basa en los puntos de vista y las opiniones de los profesores y de los directores y son por tanto apreciaciones subjetivas aunque muy relevantes. Se trata de una información muy valiosa ya que permite conocer cómo perciben los profesores el ambiente en el que trabajan, qué les motiva y cómo llevan a la práctica las políticas educativas vigentes. Pero como cualquier información basada en opiniones de los encuestados, subjetivas, esta debe ser contrastada siempre que ello sea posible con datos medidos de forma objetiva. Además, las comparaciones entre países siempre deben tener en cuenta las influencias culturales que pueden reflejar las respuestas.

http://www.mecd.gob.es/inee/publicaciones/estudios-internacionales.html




INTEF 2014 Pág. 12

BPC-Board of Participating Countries es el órgano directivo de la OCDE para el estudio TALIS. La aplicación en cada país está a cargo de un coordinador nacional del proyecto (NPM-National Project Manager) y un coordinador de datos (NDM-National Data Manager), los cuales siguen procedimientos técnicos y operativos muy rigurosos. Los coordinadores nacionales tienen un papel fundamental a la hora de asegurar la participación de los profesores y directores seleccionados, se encargan de traducir los cuestionarios, de gestionar la recogida de los datos y de verificar los resultados. Por su parte, los coordinadores de datos se ocupan de organizar la muestra y el procesamiento y limpieza de los datos nacionales.

En el primer ciclo de TALIS participaron un total de 24 países de la OCDE y asociados, de los cuales 17 pertenecían a la Unión Europea.

TALIS fue concebido como un estudio cíclico que en cada edición se aplica al profesorado y los directores de un nivel educativo distinto de centros públicos y privados. Por decisión de los países participantes en TALIS, el primer ciclo realizado en 2007-2008, se centró en el profesorado y los directores de Educación Secundaria Obligatoria (ISCED 2 - International Standard Classification of Education).

Un grupo de expertos internacionales elaboró dos cuestionarios, uno para profesores y otro para directores. Estos cuestionarios recogen las cuestiones analíticas y de política educativa acordados por los países participantes. Cada cuestionario podía cumplimentarse en 45 minutos tanto en la modalidad de lápiz y papel (opción utilizada en España) como en formato electrónico.

En España, la prueba principal se aplicó en 2008 y en la muestra estatal estuvieron representadas todas las comunidades autónomas excepto La Rioja y Canarias. La muestra estuvo formada por 4.000 profesores y 200 centros y directores por país, a razón de 20 profesores por centro.

Niveles ISCED

A continuación se presenta una tabla con la clasificación internacional de los diferentes niveles de los sistemas educativos, y su correspondencia en España:

Niveles ISCED Nombre internacional para este nivel

Cursos / número de años en España que corresponden a este nivel

ISCED 0 Educación Infantil 1º (3 años) a 3º (6 años)

ISCED 1 Educación Primaria 1º Primaria (6 años) a 6º Primaria (12 años)


INTEF 2014 Pág. 13

ISCED 2 Educación Secundaria Obligatoria

1º ESO (12 años) a 4º ESO (16 años)

ISCED 3 Bachillerato 1º Bachillerato (16 años) a 2º Bachillerato (18 años)

ISCED 4 SIN EQUIVALENTE EN ESPAÑA ------------

ISCED 5B Formación Profesional (grado medio o superior)

1º FP Grado Medio (16 años) a 1º y 2º FP Grado Superior (18 a 20 años)

ISCED 5A primer grado

Diplomatura / Ingeniería Técnica 1º (18 años) a 3º (21 años)

ISCED 5A segundo grado

Licenciatura / Ingeniería Superior 1º (18 años) a 5º (23 años)

ISCED 6 Estudios de tercer ciclo (Doctorado / Máster)

TALIS: Informe 2009 y nuevo ciclo

Estudio Internacional sobre la Enseñanza y el Aprendizaje (TALIS)

Para el informe 2009 fue excluido de la muestra el profesorado que únicamente enseñaba a alumnos de necesidades especiales o a adultos, los profesores sustitutos, los profesores con una baja prolongada y los que eran a su vez directores. Los cuestionarios del profesorado y de los directores fueron traducidos y aplicados, según las comunidades autónomas, en las cinco lenguas oficiales de España.


INTEF 2014 Pág. 14

La tasa de participación española fue muy alta, con más del 86% de profesores y el 97% de directores de la muestra, cifras superiores al mínimo exigido por la OCDE (75%) para garantizar una fiabilidad superior al 95%.

El informe TALIS (OCDE). Estudio Internacional sobre la Enseñanza y el Aprendizaje. Informe español 2009 se centra en los siguientes puntos (puede descargarse en la siguiente dirección de internet http://www.mecd.gob.es/inee/publicaciones/estudios-internacionales.html#TALIS_OCDE_2009_2):

• Profesores y centros de Educación Secundaria Obligatoria. • Formación y desarrollo profesional del profesorado. • Las opiniones y actitudes del profesorado y la mejora de la práctica de la

enseñanza. • La evaluación del profesorado y del centro y su repercusión en el trabajo

docente. • El liderazgo escolar.

En la actualidad el grupo de países interesados en participar en el segundo ciclo del estudio, que está teniendo lugar en 2012/2013, está debatiendo aspectos relativos al marco, los materiales y la implementación del proyecto. 29 países han confirmado de momento su participación en este segundo ciclo que presentará, entre otras novedades, la posibilidad de ampliar el muestreo a profesores de ISCED 1 e ISCED 3 además de los de ISCED 2, la opción de relacionar TALIS y PISA y la posibilidad de realizar un estudio en vídeo sobre las prácticas de enseñanza.

La prueba piloto se desarrolló en primavera de 2012 y la prueba principal se va a realizar en primavera de 2013, esperando que la publicación del informe con resultados se realice en el año 2014.

España ha decidido participar en la opción internacional que relaciona TALIS y PISA con el fin de comprender en mayor profundidad la variación que se da en las respuestas de los profesores con respecto a sus actitudes y prácticas educativas. Esta opción permitirá proporcionar un contexto a las respuestas de los profesores y directores de TALIS.

El objetivo de este nuevo ciclo consiste en mantener un equilibrio entre la estabilidad en el contenido (para poder medir tendencias entre ciclos) y añadir elementos nuevos relacionados con los aspectos pedagógicos del trabajo del profesorado. Con respecto al desarrollo profesional del profesorado, TALIS 2013 va a repetir parte de los indicadores utilizados en el primer ciclo e introducirá otros nuevos sobre la formación inicial del profesorado y sobre si ésta realmente les prepara para la enseñanza.

Para saber más


http://www.mecd.gob.es/inee/publicaciones/estudios-internacionales.html http://www.oecd.org/edu/talis

http://www.mecd.gob.es/inee/publicaciones/estudios-internacionales.html#TALIS_OCDE_2009_2





INTEF 2014 Pág. 15

El estudio EECL

Estudio Europeo de Competencia Lingüística (EECL)

http://ec.europa.eu/languages/eslc/index.html

El EECL (o ESLC en inglés - European Survey on Language Competences), promovido por la Unión Europea, pretende proporcionar a los Estados miembros información comparable sobre las competencias lingüísticas en lenguas extranjeras de los alumnos europeos al finalizar la Educación Secundaria Obligatoria (en nuestro país, alumnos de 4º de ESO o ISCED 2), así como conocimiento sobre buenas prácticas que permitan mejorar el aprendizaje de dichas lenguas.

La Comisión Europea, para llevar a cabo de manera satisfactoria este estudio a gran escala, contrató tras un concurso público al consorcio internacional Surveylang formado por las siguientes instituciones, clasificadas por área de experiencia:

• Lenguas: o Español: Instituto Cervantes y Universidad de Salamanca. o Inglés: University of Cambridge ESOL Examinations (Cambridge

ESOL). o Francés: Centre International d´Études Pedagogiques (CIEP). o Alemán: Goethe Institute. o Italiano: Universitá per Stranieri di Perugia.

• Análisis de datos y cuestionarios: National Institute for Educational Measurement (Cito).

• Muestreo: Gallup.

El estudio comenzó en 2008, año en el que se concretó su diseño general. En 2010 se realizó el estudio piloto, que permitió validar los ítems y poder así elaborar los cuestionarios y pruebas definitivos. La prueba principal del estudio EECL tuvo lugar en la primavera de 2011.

En el estudio han participado 14 países europeos, y en cada uno se ha evaluado las dos lenguas extranjeras más estudiadas por sus alumnos de entre las cinco lenguas oficiales más enseñadas en la Unión Europea: Inglés, Alemán, Francés, Español e Italiano. Se tomaron dos muestras independientes, de tal forma que los alumnos seleccionados solo realizaron la prueba en una de las lenguas. Además, debían haber cursado como mínimo un año académico de la lengua extranjera evaluada. En España las lenguas evaluadas fueron Inglés y Francés.

En la siguiente tabla podemos ver el tamaño de la muestra internacional y la española sin ampliaciones. Andalucía, Canarias y Navarra decidieron ampliar el tamaño de la muestra para obtener datos representativos propios, llegando la muestra total a unos 53.000 alumnos.



INTEF 2014 Pág. 16

EECL: qué y cómo se evalúa

Estudio Europeo de Competencia Lingüística (EECL)

El estudio se completó con información de contexto obtenida en cada centro seleccionado. El director rellenó un cuestionario, y además, rellenaron otro cuestionario todos los profesores que impartían clase de la lengua evaluada en la etapa educativa en la que se encontraban los alumnos seleccionados.

Se evaluaron tres destrezas: comprensión lectora, comprensión oral y expresión escrita. Se espera que en los siguientes ciclos del estudio se evalúe también la expresión oral.

Para evitar la fatiga, los alumnos realizaban la prueba con dos de las tres destrezas evaluadas. Además, todos completaban un cuestionario de contexto después de las pruebas de rendimiento. En la siguiente figura vemos un esquema de la prueba.


INTEF 2014 Pág. 17

Si no ves correctamente la imagen anterior, descárgate este PDF.

Las escalas de medición de nivel de conocimiento de lenguas se realizaron en los términos del Marco Común Europeo de Referencia de las Lenguas (MCERL) en sus 4 primeros niveles (A1, A2, B1 y B2).

El enfoque utilizado para el diseño de las pruebas se basa en el "target testing", que consiste en tratar de adaptar la dificultad de la prueba al nivel de competencia de cada alumno. Para ello fue necesario realizar una breve prueba de nivel de unos 15 ítems, de dificultad progresiva, que se llevó a cabo varios meses antes de la prueba principal.

Dependiendo del resultado obtenido, los alumnos hicieron unas pruebas fáciles (A1- A2), intermedias (A2-B1) o difíciles (B1-B2). De esta forma se pretendía evitar la frustración y desmotivación de los alumnos y, consecuentemente, el abandono.

El informe nacional se publicó en junio de 2012 a la vez que el internacional.

El siguiente ciclo de esta evaluación internacional está previsto que se realice en el año 2016.



INTEF 2014 Pág. 18

Para saber más




Ejercicio: verdadero o falso

Pregunta Verdadero-Falso

1) Los diversos ciclos del estudio EECL han sido en los años 2000, 2003, 2006, 2009 y 2012.

Verdadero Falso

2) El estudio TALIS se realizó a través de exámenes a profesores y directores de centros de Educación Secundaria Obligatoria. Por tanto, se basa en los puntos de vista y las opiniones de los profesores y de los directores y son por tanto apreciaciones totalmente objetivas.

Verdadero Falso

3) Los ítems de anclaje son preguntas que no han sido liberadas, que se han empleado en ediciones anteriores de un estudio de evaluación. Hacen posible el análisis a lo largo del tiempo y permiten observar la evolución de los resultados.

Verdadero Falso

4) En el estudio EECL, en cada país se ha evaluado las dos lenguas extranjeras más estudiadas por sus alumnos de entre las cinco lenguas oficiales más enseñadas en la Unión Europea: Inglés, Alemán, Francés, Español e Italiano.

Verdadero Falso

5) PISA siempre evalúa tres competencias: lectura, matemáticas e inglés, pero en cada ciclo se intensifica más una de ellas.

Verdadero Falso




INTEF 2014 Pág. 19

6) El enfoque utilizado para el diseño de las pruebas en el estudio TALIS se basa en el "target testing", que consiste en tratar de adaptar la dificultad de la prueba al nivel de competencia de cada alumno y profesor.

Verdadero Falso

7) Los procesos cognitivos de un marco de evaluación son los distintos niveles de complejidad en la resolución de una tarea planteada.

Verdadero Falso

8) La prueba principal del estudio PISA se va a realizar en primavera de 2013.

Verdadero Falso

9) PISA, TALIS y EECL son estudios promovidos por la OCDE.

Verdadero Falso

10) Cuando decimos que una Comunidad Autónoma ha ampliado muestra significa que un mayor número de alumnos y centros realizan el estudio, con el objetivo de que sus resultados puedan ser comparados entre sí y con otros países participantes en el estudio.

Verdadero Falso

El estudio PIRLS

Estudio Internacional de Progreso en Comprensión Lectora (PIRLS)

http://www.iea.nl/studies.html

PIRLS (Progress in International Reading Literacy Study), es un estudio de la Asociación Internacional para la Evaluación del Rendimiento Educativo (IEA). Fundada en 1959, la IEA ha dirigido estudios sobre las políticas, las prácticas y los resultados educativos en más de 60 países de todo el mundo.

PIRLS 2011 es el tercer estudio internacional, tras PIRLS 2001 y 2006, que mide las tendencias en el rendimiento en comprensión lectora de alumnos de cuarto curso de Educación Primaria (9-10 años). Han participado aproximadamente unos 50 países,



INTEF 2014 Pág. 20

entre ellos España que ya tomó parte en 2006. Este estudio tiene una periodicidad de 5 años.

La comprensión lectora en PIRLS se define como la habilidad para comprender y utilizar las formas lingüísticas requeridas por la sociedad y/o valoradas por el individuo. Los lectores de corta edad son capaces de construir significado a partir de una variedad de textos. Leen para aprender, para participar en las comunidades de lectores del ámbito escolar y de la vida cotidiana, y para disfrute personal.

El marco de la evaluación está configurado de la siguiente forma:

• Propósitos de lectura: es la finalidad con la que los alumnos leen, ¿para qué leen? Las motivaciones son dos:

o disfrute personal, asociado a la lectura literaria (cuentos, cómics, etc), o obtención y uso de información (lectura para el aprendizaje).

• Procesos de comprensión: niveles de complejidad en la resolución de una tarea planteada.

• Contextos y situaciones: son las situaciones que dan significado a la tarea de enseñanza-aprendizaje propuesta.


Marco de evaluación de PIRLS

MARCO DE LA EVALUACIÓN Comprensión lectora

Propósitos de lectura

El formato de los materiales puede ser:

Textos literarios: estructura narrativa y continua.

Textos informativos: descriptivos o expositivos, con organización más compleja y fragmentada (folletos,


INTEF 2014 Pág. 21

diagramas, tablas de datos, etc).

Procesos de comprensión

Tipos de tarea:

Localizar y obtener información explícita (encontrar la idea principal, identificar el contexto de una historia, buscar ideas específicas, identificar información relevante).

Realizar inferencias directas (habilidad para obtener o deducir información e ideas nuevas no explícitas en el texto, pero claramente implícitas en él).

Interpretar e integrar ideas e informaciones (captar significados implícitos e integrarlos, recurriendo a conocimientos previos del lector).

Analizar y evaluar el contenido, el lenguaje y los elementos textuales (evaluar si lo descrito en el texto puede suceder en la realidad; juzgar si la información es clara y completa; determinar el punto de vista del autor).

PIRLS: cómo es la prueba

Estudio Internacional de Progreso en Comprensión Lectora (PIRLS)

La prueba total está compuesta por 5 textos literarios (pequeños relatos o cuentos) y 5 informativos (artículos infantiles sobre un tema como por ejemplo La Antártida, un folleto de excursión, etc), disponiendo de un total aproximado de 120 preguntas o ítems para todos estos textos (unos 60 para cada tipo de texto). Dichos ítems están distribuidos según unos porcentajes preestablecidos para cada uno de los cuatro tipos de procesos de comprensión que acabamos de relatar en el marco de evaluación, por lo que siempre se dispone de ítems "fáciles", "medios" y "difíciles" en el conjunto de la prueba.

La prueba que realizan los alumnos se materializa en un cuadernillo de prueba que incluye dos bloques de evaluación, para los que el alumno dispone de dos periodos de 40 minutos, separados por un descanso de 20 minutos. Cada bloque de evaluación consta de un texto de estímulo que puede ser literario o informativo (aproximadamente de un folio y medio de extensión) seguido de las preguntas o ítems (una media de 12 por texto) de varios tipos: opción múltiple, de respuesta construida o de respuesta abierta (estas, aproximadamente la mitad).

Para evaluar la tendencia a lo largo de los años en el rendimiento lector del alumnado, PIRLS permite medir y comparar cada cinco años los rendimientos obtenidos por un


INTEF 2014 Pág. 22

mismo país en sucesivas ediciones del estudio. Esto es posible porque seis de los diez bloques de la prueba total de 2011 (tres literarios y tres informativos) ya han sido utilizados en los estudios anteriores (2001 y 2006), y solo cuatro textos con sus correspondientes ítems han sido nuevos en la prueba de 2011.

Con objeto de analizar los factores que puedan influir en los resultados, PIRLS obtiene también datos sobre el contexto personal, familiar y escolar de cada niño, así como sobre el contexto educativo nacional sobre el aprendizaje de la lectura. Esos datos permiten hacer un análisis comparativo más preciso y contextualizado entre los distintos países y, asimismo, buscar posibles relaciones que abran vías de explicación y directrices para la mejora futura del aprendizaje de la lectura. Para obtener estos datos de contexto el estudio PIRLS se sirve de los siguientes instrumentos:

• Se utilizan un total de cuatro cuestionarios tipo encuesta dirigidos a: los alumnos evaluados, padres o tutores legales de estos, profesor de la clase evaluada y director del colegio. En los cuestionarios se pregunta sobre actitudes y hábitos de ocio del niño, enseñanza recibida sobre lectura, primeros acercamientos del niño a la lectura, los recursos de lectura en la casa, el papel y la actitud de los padres en apoyo al aprendizaje lector; organización, recursos y estrategias de enseñanza y evaluación utilizadas, la política y recursos utilizados por el colegio para la enseñanza de la lectura.

• PIRLS Encyclopedia. Publicación en inglés que proporciona datos de todos los países participantes, fundamentalmente relativos al sistema educativo y, en particular, al currículo de la Educación Primaria y el lugar que en él ocupa la enseñanza de la lectura.

• Perfil del currículo oficial y la enseñanza de la lectura en los países que participan, obtenido mediante un cuestionario a las autoridades sobre el currículo escolar y cómo se contempla en él la enseñanza de la lectura.

En la primavera de 2010 se realizó el estudio piloto, que en España se llevó a cabo sobre una muestra de 40 centros y 1.365 alumnos, seleccionada de forma aleatoria. El estudio principal se realizó entre los meses de marzo y abril de 2011. En él participaron 152 colegios que imparten Educación Primaria, 199 grupos de clase, 201 profesores y 4.291 alumnos. Los informes nacional e internacional se publicaron en diciembre de 2012.

Para saber más


http://www.mecd.gob.es/inee/publicaciones/estudios-internacionales.html http://www.iea.nl/pirls_2011.html


http://www.iea.nl/pirls_2011.html


INTEF 2014 Pág. 23

El estudio TIMSS

Estudio Internacional de Matemáticas y Ciencias (TIMMS)


TIMSS (Trends in International Mathematics and Science Study) es un estudio de la Asociación Internacional para la Evaluación del Rendimiento Educativo (IEA).

TIMSS 2011 es el 5º estudio que realiza la IEA sobre matemáticas y ciencias, con un mismo marco teórico. En él han participado unos 60 países. El primer estudio TIMSS se realizó en 1995, y desde 1999 se lleva a cabo en ciclos de cuatro años (2003, 2007 y 2011).

Mide las tendencias en el rendimiento en matemáticas y ciencias de alumnos de cuarto curso de Educación Primaria (9-10 años).

En 2011, TIMSS coincide con el estudio PIRLS que acabamos de ver en el apartado anterior. El Ministerio de Educación, Cultura y Deporte, en coordinación con las autoridades autonómicas, ha participado en ambos estudios, lo que ha permitido obtener una fotografía más completa y rica del estado de estos aprendizajes básicos en el alumnado de 4º de Educación Primaria.

España tomó parte en TIMSS en 1995, aplicándose la prueba en aquella ocasión en 7º y 8º de EGB (el equivalente actual a 1º y 2º de ESO). Dado que hoy en día PISA proporciona datos similares sobre el rendimiento del alumnado de 15 años (3º y 4º ES0), el Ministerio de Educación, actual Ministerio de Educación, Cultura y Deporte, consideró oportuno aplicar TIMSS solo en 4º de Educación Primaria, y completar así la comparación internacional sobre los resultados de nuestro sistema educativo.

TIMSS: Marco de evaluación




INTEF 2014 Pág. 24

Tanto en matemáticas como en ciencias, TIMSS distingue en su marco teórico los dominios de contenido (contenidos conceptuales) y los dominios cognitivos (procesos o destrezas cognitivas, es decir, niveles de complejidad).


Marco de evaluación de TIMSS

MARCO DE LA EVALUACIÓN Matemáticas Ciencias

Contenidos

Conjunto de áreas y conceptos matemáticos:

• Números (naturales, fracciones, proporción, modelos y relaciones).

• Formas y mediciones geométricas (puntos, líneas, ángulos, formas bidimensionales y tridimensionales).

• Representación de datos (lectura e interpretación, organización y representación).

Áreas y conceptos de ciencias:

• Ciencias de la vida (procesos de la vida, reproducción y herencia, interacción con el medio ambiente, ecosistemas, salud humana).

• Ciencias físicas (la materia, la energía, fuerzas y movimiento).

• Ciencias de la Tierra (características físicas y recursos, ciclos e historia, la Tierra en el Sistema Solar).

Procesos cognitivos

• Conocer (recordar, reconocer, calcular, medir, clasificar).

• Aplicar (seleccionar, representar, poner en práctica, resolver problemas rutinarios).

• Conocer (recordar, definir, describir, ilustrar con ejemplos, conocimiento de instrumentos científicos).

• Aplicar (comparar,


INTEF 2014 Pág. 25

• Razonar (analizar, generalizar/especializar, integrar/sintetizar, justificar, resolver problemas no rutinarios).

contrastar, clasificar, utilizar modelos, relacionar, interpretar información, encontrar soluciones, explicar).

• Razonar (analizar, integrar/sintetizar, elaborar hipótesis, diseñar, extraer conclusiones, generalizar, evaluar, justificar).

TIMSS: cómo es la prueba


Al diseñar la prueba total, el objetivo principal es asegurar la cobertura de los contenidos del marco teórico. Como eso requiere un gran número de preguntas o ítems que exigirían una prueba exageradamente extensa (más de 7 horas) si cada alumno tuviera que responderla en su totalidad, lo que se hace es distribuir adecuadamente el conjunto de preguntas entre los alumnos, de forma que cada alumno solo tenga que responder a una parte de la prueba.

La totalidad de preguntas (unos 300 ítems) se distribuye en 14 bloques de preguntas o ítems de matemáticas y otros 14 de ciencias. Los 28 bloques se distribuyen según un muestreo matricial en 12 cuadernillos de prueba, cada uno dividido en dos partes con 4 bloques de preguntas en cada parte (2 de matemáticas y 2 de ciencias).

Cada uno de los bloques de preguntas aparecerá en al menos dos cuadernillos. Los bloques de tendencia (es decir, los que incluyen los ítems "de anclaje" utilizados en ciclos anteriores, puesto que se reservan 8 de los 14 bloques de cada una de las competencias) deben figurar en al menos tres cuadernillos. La prueba se realiza en dos sesiones de 36 minutos cada una, separadas por un breve descanso.

Los cuestionarios de contexto son los instrumentos utilizados para obtener información sobre el contexto del alumnado (sobre cada alumno y su familia, el centro escolar y el profesorado) que permiten analizar qué factores pueden haber condicionado los resultados de la prueba. Hay cuatro tipos de cuestionarios que son cumplimentados por:


INTEF 2014 Pág. 26

• Los alumnos que realizan la prueba. • Los padres o tutores de estos alumnos. • Los profesores tutores del grupo de alumnos seleccionado. • Los directores de los centros seleccionados.

El informe nacional se publicó en diciembre de 2012 junto con el de PIRLS.

Para saber más


http://www.mecd.gob.es/inee/publicaciones/estudios-internacionales.html http://www.iea.nl/timss_2011.html

El estudio ICCS

Estudio Internacional sobre Educación Cívica y Ciudadana (ICCS)


El estudio ICCS (International Civic and Citizenship Education Study) es el tercer proyecto que realiza la IEA para investigar el papel que desempeñan los centros educativos a la hora de preparar a los jóvenes para ser ciudadanos.

En el año 1971 se hizo un primer estudio sobre educación cívica y en 1999 se hizo el segundo, llamado CIVED. Entre otras consideraciones, el creciente impacto de la globalización, las amenazas externas que pesan sobre las sociedades cívicas y sus libertades, y el escaso interés que muestran las jóvenes generaciones por la vida pública y política han llevado a revisar el significado de "ciudadanía". Por ello, en 2006 la IEA puso en marcha el estudio ICCS con el fin de disponer de un conocimiento empírico que pudiera servir a los diversos países y organizaciones internacionales para mejorar sus políticas y sus prácticas en relación con el civismo y la ciudadanía.

Tiene como objetivo investigar el grado de civismo y ciudadanía que han adquirido los jóvenes para comprender y asumir los derechos, las libertades y las responsabilidades que corresponden a los ciudadanos y que les permiten ser ciudadanos activos. Para conseguir este propósito se ha investigado tanto el conocimiento y la comprensión de los alumnos sobre civismo y ciudadanía como sus actitudes, valores, percepciones y actuaciones relacionadas con la ciudadanía.

Con el término "civismo" ICCS alude al compromiso de los individuos con la sociedad o a una actitud activa de ciudadanía; con el término "ciudadanía" ICCS se refiere al


http://www.iea.nl/timss_2011.html



INTEF 2014 Pág. 27

estatus y características de las personas que ejercen el conjunto de derechos y deberes y asumen las responsabilidades ciudadanas de las sociedades democráticas.

ICCS valora el rendimiento de los alumnos a partir de en una prueba de comprensión y conocimientos conceptuales relacionados con la educación cívica y ciudadana. También recoge y analiza datos sobre la disposición y actitud de los alumnos con respecto a dicha educación cívica y ciudadana.

El ICCS trata de abordar asuntos específicos de algunas de las grandes áreas o regiones mundiales. Para ello se han introducido tres módulos regionales (el asiático, el europeo y el latinoamericano) que aportan datos para completar la información sobre la parte básica del estudio.

El estudio ICCS examina las diferencias entre países, cómo se relacionan estas diferencias con las características de los países y las variaciones dentro de los propios países en relación con las características de los alumnos y los contextos de los centros educativos.

Han participado 38 países con un total de 5.300 centros escolares que han proporcionado datos de más de 140.000 alumnos y 62.000 profesores. Además se han extraído datos de los directores de los centros y de los centros nacionales de los países participantes. La muestra española fue de 3.309 alumnos, 2.017 profesores y 149 centros educativos.

La población de estudiantes en la que se basa el estudio ICCS es el alumnado de grado 8 (en España, 2º curso de Educación Secundaria Obligatoria) que está formado en su mayoría por alumnos de 14 años.

ICCS: Marco de evaluación

Estudio Internacional sobre Educación Cívica y Ciudadana (ICCS)

El marco teórico del estudio ICCS, que se articula en torno a tres dominios:

• Un dominio correspondiente a los contenidos específicos de civismo y ciudadanía que se deben evaluar.

• Un dominio cognitivo que describe los procesos que se evalúan. • Un dominio relativo a afectos y comportamientos, que describe actitudes,

valores, percepciones y comportamientos del alumno.


INTEF 2014 Pág. 28

Marco teórico estudio ICCS

DOMINIOS

Contenidos

• Sociedad y sistemas cívicos • Principios cívicos • Participación cívica • Identidades cívicas

Procesos cognitivos

• Conocimiento • Razonamiento y análisis

Afectos y comportamientos

• Creencias sobre valores • Actitudes • Intenciones de comportamiento • Comportamientos •

Por otro lado, se tiene en cuenta el contexto de los estudiantes en el que estos desarrollan su idea del papel que desempeñan como ciudadanos en la sociedad contemporánea. Se identifican cuatro contextos diferentes: su familia, su centro educativo, el aula y la comunidad en general.

Para realizar el estudio se han utilizado los siguientes instrumentos:

• Prueba cognitiva internacional, constituida por 80 preguntas que miden el conocimiento cívico y ciudadano y la capacidad de los alumnos para analizar y razonar. Cada alumno responde a una parte asequible de la prueba y existe a la vez una amplia base de preguntas para discernir niveles de rendimiento en las distintas dimensiones del estudio. Dura 45 minutos.

• Cuestionario internacional del alumno, con ítems que miden las variables contextuales de los alumnos, así como sus actitudes, valores, percepciones y sus comportamientos, tanto actuales como previstos. Dura 45 minutos.

• Módulo Regional (en España, Módulo Europeo), formado por una prueba cognitiva y un cuestionario con preguntas específicas sobre Europa. Dura 30 minutos.

• Cuestionario del profesor, dirigido a los profesores seleccionados entre los que imparten docencia al grupo de alumnos seleccionado. Recoge información acerca de las variables contextuales de los profesores y su percepción sobre factores relativos al contexto de la Educación Cívica y ciudadana en sus respectivos centros. Dura 30 minutos.

• Cuestionario del centro, dirigido a los directores. Capta las características del centro y las variables de centro relativas a la participación cívica y ciudadana. Dura 30 minutos.


INTEF 2014 Pág. 29

• Estudio de contexto nacional, realizado por los coordinadores del ICCS en cada país. Se recoge información sobre la estructura de los sistemas educativos, el estatus de la educación cívica y ciudadana en el currículo nacional y los cambios recientes. Los datos obtenidos de dicho estudio ayudan a interpretar los resultados de los cuestionarios del alumno, del centro y del profesor, y aportan una descripción del contexto de la educación cívica y ciudadana en cada país. Duración entre 30 y 60 minutos.

El ICCS se inició en octubre de 2006. El estudio piloto se llevó a cabo de octubre a diciembre de 2007 y el estudio de campo definitivo tuvo lugar entre octubre y diciembre de 2008 en el hemisferio Sur y entre marzo y abril de 2009 en el hemisferio Norte. El Informe Internacional completo, el Informe del Módulo Europeo y el Informe Técnico se presentaron en noviembre de 2010.


Para saber más



http://www.iea.nl/iccs_2009.html

Ejercicio: relacionar

Relaciona cada afirmación con su estudio internacional

Pon en la columna Relación el número del Estudio de la columna de la derecha que creas que corresponde con la Afirmación de la columna de la izquierda.

Si crees que la afirmación no es correcta o no corresponde a ningún estudio, pon el número 4.


http://www.iea.nl/iccs_2009.html


INTEF 2014 Pág. 30

Afirmación

Estudio

1) Evalúa las tendencias en el rendimiento en matemáticas y competencia digital

1) PIRLS

2) Uno de los instrumentos utilizados en el estudio ha sido el módulo regional, formado por una prueba cognitiva y un cuestionario con preguntas específicas sobre Europa, Asia o Latinoamérica

2) TIMSS

3) Evalúa el rendimiento en comprensión lectora de alumnos de sexto de Educación Primaria

3) ICCS

4) El marco de evaluación establece que los procesos cognitivos (nivel de dificultad de cada tarea) son: conocer, aplicar y razonar

4) Ninguno

5) Se aplica a alumnos de 2º de Educación Secundaria Obligatoria

6) El cuadernillo de la prueba que contestan los alumnos incluye dos textos como estímulos, que pueden ser literarios o informativos

Obra publicada con Licencia Creative Commons Reconocimiento Compartir igual 3.0

http://creativecommons.org/licenses/by-sa/3.0/

Bloque 2. Finalidad, objetivos y diseño de una prueba: marco teórico

Autores

David Cervera Olivares, Paloma González Chasco, José Mª Sánchez Echave. INEE



Evaluaciones Extranjeras Internacionales del Sistema Educativo

INTEF 2014 Pág. 2

Índice Autores ...................................................................................................................... 1

Finalidad, objetivos y diseño de una prueba: marco teórico .......................................... 3

BLOQUE II: Finalidad, objetivos y diseño de una prueba .................................. 3

Ejemplos de estímulos y preguntas ........................................................................... 4

PISA matemáticas: Unidad - Las formas ........................................................... 4

PISA matemáticas: Unidad - El faro .................................................................. 5

PISA comprensión lectora: Unidad - Metrotransit .............................................. 8

PISA Ciencias: Unidad - Agua potable ............................................................ 10

Marco teórico: contenidos, dominios, matriz de especificaciones ............................ 12

Matriz de especificaciones ............................................................................... 13

Matriz de especificaciones: contenidos, procesos ........................................... 15

Matriz de especificaciones: ítems, pilotaje ....................................................... 17

Nota ........................................................................................................................ 18

TIMSS Matemáticas ........................................................................................ 18

TIMSS Ciencias ............................................................................................... 20

PIRLS Comprensión lectora ............................................................................ 21

PISA ................................................................................................................ 23

PISA Ciencias ................................................................................................. 26

PISA Lectura ................................................................................................... 26

PISA Matemáticas ........................................................................................... 27

EECL ............................................................................................................... 30


INTEF 2014 Pág. 3

Finalidad, objetivos y diseño de una prueba: marco teórico

BLOQUE II: Finalidad, objetivos y diseño de una prueba

1. Marco teórico: contenidos, dominios, matriz de especificaciones. 2. Elaboración de ítems, pilotaje y psicometría. 3. Construcción de la prueba. 4. Cuestionarios de contexto.

La finalidad de una prueba depende de los objetivos a conseguir y, en función de estos, se diseñan los instrumentos que permiten medir, con la mayor precisión posible, aquello que queremos analizar. Para ello es necesario establecer los dominios de contenido, la vinculación con el currículo oficial, el alumnado objetivo, la duración de la prueba y las partes de las que consta, así como la población final de alumnado evaluada, a partir de la que se sacarán los resultados. Igualmente se hace imprescindible conocer cómo se desea analizar los resultados y las escalas de rendimiento que se emplearán.

Las evaluaciones internacionales se caracterizan por no estar vinculadas al currículo oficial de los países, fundamentalmente por las grandes diferencias que existen entre unos y otros, aunque con matices, como veremos. En el caso de PISA participan más de 70 economías y la diversidad hace que sea la propia prueba la que define lo que va a medir en los alumnos de 15 años, con independencia del sistema educativo por el que hayan pasado. Son, por tanto, pruebas fundamentadas en competencias más que en conocimientos concretos, y buscan las destrezas y habilidades que los alumnos de esa edad tienen para enfrentarse a determinadas situaciones. En definitiva, se pretende analizar la capacidad de respuesta y reacción frente a situaciones planteadas en las que el alumno, además de los conocimientos adquiridos en el aula, también debe poner en práctica otros que las diversas situaciones en las que se ha desarrollado su vida le han ido aportando (aprendizajes en la familia, el grupo de amigos, realización de actividades deportivas, vacaciones, etc.).

En este bloque vamos a realizar un recorrido por la estructura de distintas pruebas internacionales, conociendo sus fundamentos y objetivos.

Elaborado por el INEE. Si no ves correctamente esta imagen, descárgate el siguiente PDF.


INTEF 2014 Pág. 4

Ejemplos de estímulos y preguntas

Antes de comenzar conviene familiarizarse con ciertas dinámicas que se siguen en este tipo de pruebas.

A continuación, en esta primera parte de contenidos del bloque, se presentan cuatro estímulos y los ítems o preguntas que se les vinculan. Además se ha añadido la competencia, contenido o tipo de pregunta a la que se refiere, términos que iremos empleando y desarrollando.

El primero de los estímulos mostrados es el del vídeo de la introducción. Los otros son un estímulo por competencia evaluada en PISA (Matemáticas, Comprensión Lectora y Ciencias).

La lectura de estos estímulos y preguntas permite tener una visión algo más global de este tipo de pruebas y conocer lo que se pregunta al alumnado de 15 años de los cinco continentes.

PISA matemáticas: Unidad - Las formas


INTEF 2014 Pág. 5

PREGUNTAS TIPO RESPUESTA, COMPETENCIA, CONOCIMIENTO

PREGUNTA 1

¿Cuál de las figuras tiene mayor área? Muestra tu razonamiento.

Respuesta abierta

Competencia: Reproducción

Conocimiento: Espacio y forma

PREGUNTA 2

Describe un método para hallar el área de la figura C.

Respuesta abierta

Competencia: Conexión e integración


PREGUNTA 3

Describe un método para hallar el perímetro de la figura C.

Respuesta abierta

Competencia: Conexión e integración



PISA matemáticas: Unidad - El faro

Los faros son torres con un foco luminoso en la parte superior. Los faros ayudan a los barcos a seguir su rumbo durante la noche cuando navega cerca de la costa. Un faro emite destellos de luz según una secuencia regular fija. Cada faro tiene su propia secuencia. En el diagrama de abajo se puede ver la secuencia de un faro concreto. Los destellos de luz alternan con periodos de oscuridad.


INTEF 2014 Pág. 6

Se trata de una secuencia regular. Después de algún tiempo la secuencia se repite. Se llama periodo de la secuencia al tiempo que dura un ciclo completo, antes de que comience a repetirse. Cuando se descubre el periodo de la secuencia, es fácil ampliar el diagrama para los siguientes segundos, minutos o incluso horas.

PREGUNTAS TIPO RESPUESTA,

COMPETENCIA, CONOCIMIENTO

PREGUNTA 1

¿Cuánto dura el periodo de la secuencia de este faro?

a) 2 segundos

b) 3 segundos

c) 5 segundos

d) 12 segundos

Pregunta de elección múltiple

Competencia: Conexión

Conocimiento: Cambio y relaciones

PREGUNTA 2

¿Durante cuántos segundos emite este faro destellos de luz a lo largo de 1 minuto?

a) 4

b) 12

c) 20

d) 24


Competencia: Conexión



INTEF 2014 Pág. 7

PREGUNTA 3

En la cuadrícula de abajo traza el gráfico de una posible secuencia de destellos de luz de un faro que emite 30 segundos de destellos de luz cada minuto. El periodo de esta secuencia debe ser de 6 segundos.

Pregunta de respuesta abierta

Competencia: Reflexión




INTEF 2014 Pág. 8

PISA comprensión lectora: Unidad - Metrotransit



PREGUNTA 1

¿Desde qué estación de Metrotransit se pueden coger tanto autobuses interurbanos como trenes de cercanías?

Respuesta construida cerrada

Competencia: Acceder y obtener información

Tipo de texto: Descriptivo - Discontinuo


INTEF 2014 Pág. 9

PREGUNTA 2

Si te encuentras en la estación del Zoo y quieres ir a la estación de Puente de Piedra, ¿en qué estación tienes que cambiar de línea?

a) Consistorio.

b) Ribera.

c) Malecón.

d) Muelle Antiguo.

Respuesta de elección múltiple


Tipo de texto: Descriptivo - Discontinuo

PREGUNTA 3

Algunas estaciones como Puerta Oeste, Zoo e Independencia tienen un sombreado gris a su alrededor ¿Qué indica dicho sombreado acerca de esas estaciones?

Respuesta corta

Competencia: Reflexionar y valorar

Tipo de texto: Descriptivo - discontinuo

PREGUNTA 4

Tienes que encontrar el camino más corto en metro desde la estación de Marie Curie hasta la estación de Bosque.

Dibuja en el plano el camino que seguirías.

Respuesta corta


Tipo de texto: Descriptivo - discontinuo



INTEF 2014 Pág. 10

PISA Ciencias: Unidad - Agua potable



PREGUNTA 1

Es importante tener una reserva de agua potable de buena calidad. El agua que se encuentra bajo tierra se llama agua subterránea.

Da una explicación de por qué hay menos bacterias y partículas contaminantes en las aguas subterráneas que en las aguas de la superficie, como las de lagos y ríos.

Respuesta construida – abierta

Competencia: Explicar fenómenos científicamente

Conocimiento: Sistemas de la tierra y el espacio. Recursos naturales.

PREGUNTA 2

La potabilización del agua suele hacerse en varias etapas, que requieren técnicas diferentes.

El proceso de potabilización mostrado en la figura comprende cuatro etapas (numeradas de

1 a 4). En la segunda etapa, el agua se recoge en un decantador.

¿De qué forma contribuye esta etapa a que el agua


Competencia: Explicar fenómenos científicamente

Conocimiento: Sistemas físicos. Salud


INTEF 2014 Pág. 11

esté más limpia?

a) Las bacterias del agua mueren.

b) Se añade oxígeno al agua.

c) La grava y la arena se depositan en el fondo.

d) Las sustancias tóxicas se descomponen.

PREGUNTA 3

En la cuarta etapa de potabilización se añade cloro al agua.

¿Por qué se añade cloro al agua?


Competencia: Explicar fenómenos científicamente.

Conocimiento: Sistemas vivos. Salud

PREGUNTA 4

Supón que los científicos que analizan el agua de la potabilizadora, descubren la presencia de bacterias peligrosas en el agua después de haber concluido el tratamiento de potabilización.

¿Qué deben hacer los consumidores con el agua, en sus casas, antes de beberla?




PREGUNTA 5

¿Puede el agua contaminada producir los problemas de salud siguientes? Marca con un círculo la respuesta, Sí o No, en cada caso.

Diabetes. Sí / No

Diarrea. Sí / No

VIH / SIDA Sí / No

Respuesta elección múltiple compleja




INTEF 2014 Pág. 12


Marco teórico: contenidos, dominios, matriz de especificaciones


El marco teórico de una evaluación internacional recoge toda la información necesaria para llevar a cabo desde el diseño de la prueba hasta su aplicación y de ello depende el análisis final que se pueda hacer del rendimiento. Haciendo un símil, podríamos decir que es como el proyecto en el que se basa el arquitecto para construir el edificio, en él se incluye todo, desde la cimentación al tejado, y no solo su estructura sino que también se da información de instalaciones y otros muchos detalles.

Tal vez, la parte más visible de una prueba son las preguntas (ítems) que la configuran y son estas, en muchas ocasiones, causa de crítica por ser consideradas excesivamente fáciles o difíciles. Esto es debido a que se desconoce lo que pretenden medir, y por ello es importante no descontextualizar una pregunta del conjunto total de la prueba. Has tenido opción de ver unos pocos estímulos y preguntas de la prueba internacional


INTEF 2014 Pág. 13

PISA y habrás observado que cada ítem se relaciona siempre con un “grado de adquisición de la competencia” y con un “bloque de contenidos.”

Pero comencemos poco a poco, para ir profundizando y conociendo el funcionamiento de las evaluaciones internacionales, y la idea fundamental de evaluación que contienen.

Matriz de especificaciones

A la hora de planificar una prueba hemos de tener claro la edad, o el nivel al que se le va a realizar, y cuál es el objetivo (diagnosticar, evaluar, etc). Hay que establecer el contenido de la prueba, las preguntas, las técnicas a incluir, el límite del tiempo, el número de ítems. Por otro lado hay que considerar los contenidos y competencias que se van a implementar y cómo se ponderarán los mismos.

Estas y otras características son las que se definen en el marco teórico, pero sin duda la herramienta base que facilita y guía la construcción y la interpretación de pruebas es lo que denominamos matriz o tabla de especificaciones. También se denomina tabla curricular de referencia, dado que en ella definimos descriptores según el bloque de contenidos al que apuntan y a la competencia con la que se relacionan.

Definamos los conceptos implicados:

• Contenidos: Declaraciones procedimentales que forman el cuerpo de enseñanza de una disciplina.

• Procesos o competencias: Niveles de complejidad en la resolución de una tarea.

• Descriptores: Formulaciones sintéticas de las competencias que habrán de ser medidas por los ítems que se elaboren. De cada uno de ellos se pueden construir varios ítems.

Para elaborar una matriz necesitamos:

• Establecer los contenidos. • Establecer los procesos cognitivos o grados de adquisición de la

competencia. • Determinar los descriptores. • Determinar el peso relativo de cada casilla, donde se relacionan los

contenidos con los procesos. • Elaborar ítems específicos para cada descriptor.

Pongamos un ejemplo para poder entender mejor lo que es una matriz de especificaciones. En ella se clasifican una serie de descriptores que apuntan biunívocamente a un grado de adquisición de la competencia y a la vez al bloque de conocimientos con el que se vincula.


INTEF 2014 Pág. 14

Si no ves correctamente la imagen, puedes descargarte este PDF.

En la tabla se observa como el conjunto de descriptores, por ejemplo los representados en rojo, se relacionan con un proceso cognitivo inicial (Proceso I), o lo que podríamos definir como un grado de adquisición de la competencia bajo, ligado a procesos de reproducción de contenidos elementales, en este caso a contenidos de tipo C.

De igual manera, si nos fijamos en el conjunto de descriptores del Proceso II, de color azul, estaríamos vinculando estos con un grado de adquisición de competencia medio, con los contenidos de tipo B, donde el alumno necesita estrategias que permiten acciones de conexión de diversos conocimientos. Estamos por tanto frente a un grado mayor de competencia.

Si observamos el color verde del ejemplo estaríamos frente a descriptores que medirían un grado elevado de adquisición de la competencia (Proceso III) y como en los casos anteriores estos estarían vinculados a un grupo de contenidos concretos, pero las acciones que desarrollaría el alumno estarían basadas en procesos de reflexión, lo cual supone un mayor grado de complejidad en la resolución de las tareas planteadas para dicho proceso.

Es necesario señalar que distintas pruebas internacionales son ideadas y diseñadas por distintos organismos, por lo que los términos que cada uno emplea son propios y adaptados a la competencia que analizan. Por ello intentaremos emplear todos estos conceptos de forma que con independencia de cómo los nombre la OCDE, la IEA o la UE sepamos a qué se refieren.



INTEF 2014 Pág. 15

Matriz de especificaciones: contenidos, procesos

Hasta ahora hemos hablado de procesos, contenidos y descriptores (para intentar mostrar y simplificar las mecánicas empleadas en cada evaluación).

Pero no nos perdamos con diversas denominaciones. Hagamos un zoom y centrémonos, por ejemplo, en la competencia matemática que en 2º de ESO debería adquirir un alumno. Si observamos el currículo vemos los siguientes bloques de contenidos: Números, Álgebra, Geometría, Funciones y Gráficas, Estadística y Probabilidad y Contenidos Comunes. Todos y cada uno de estos bloques en los que hemos subdividido las matemáticas implican procesos I, II y III, de más fácil a mayor dificultad según sea mayor la adquisición de la competencia o proceso cognitivo. Nombremos estos como Reproducción (grado bajo de adquisición de la competencia), Conexión (grado medio de adquisición de la competencia) y Reflexión (grado elevado de adquisición de la competencia).

No olvidemos que estamos diseñando una prueba de evaluación, por lo que una pregunta o ítem estará vinculada a un descriptor, que como hemos visto implicará un proceso cognitivo determinado y guardará relación con un bloque de contenido concreto. Por tanto, un descriptor lo podríamos definir como un criterio de evaluación, dado que con él intentamos medir el rendimiento del alumno. Como con cada ítem se mide un único indicador, en realidad podríamos hablar de microcriterios de evaluación, al tener que dar cada uno de ellos una información única. Se trataría, por tanto, de dividir los criterios de evaluación del currículo en pequeñas unidades de forma que podamos establecer los niveles que hayamos definido en la matriz de especificaciones. Veamos un ejemplo ampliado de una posible matriz para 2º de ESO que nos facilite comprender y conocer procesos, contenidos y descriptores.

Procesos cognitivos

Bloques de contenidos Reproducción Conexión Reflexión

Números ... ... ...

Álgebra ... ... ...

Geometría

Identificar el teorema de Thales

Reconocer el teorema de Pitágoras

Calcular la razón de semejanza entre triángulos

Calcular las

Aplicar el teorema de Thales en la resolución de problemas

Aplicar el teorema de Pitágoras en la


INTEF 2014 Pág. 16

Reconocer los criterios que cumplen dos triángulos semejantes

Identificar poliedros, poliedros regulares, prismas y pirámides

Reconocer los elementos de los poliedros

Identificar cuerpos de revolución: cilindro, cono y esfera

Reconocer los elementos de cada uno de los cuerpos de revolución

áreas laterales y totales de distintos poliedros

Calcular los volúmenes de los poliedros

Calcular las áreas laterales y totales de los cuerpos de revolución

Calcular los volúmenes de los cuerpos de revolución

resolución de problemas

Resolver problemas de semejanza de triángulos

Resolver problemas de la relación de proporcionalidad en geometría: escalas

Resolver problemas de los cuerpos geométricos

Resolver problemas de los cuerpos de revolución

Funciones y Gráficas ... ... ...

Estadística y Probabilidad ... ... ...

Contenidos comunes ... ... ...

En la tabla se ha seleccionado el bloque de contenidos de Geometría, de igual modo podríamos actuar con los restantes cinco bloques. Observa los verbos vinculados a cada proceso. En la tabla se han marcado algunos descriptores en rojo (reproducción), azul (conexión) y verde (reflexión), en este caso todos ellos vinculados con la geometría.


INTEF 2014 Pág. 17


Matriz de especificaciones: ítems, pilotaje

Una vez que se han identificado todos los criterios que configuran la matriz, es necesario generar preguntas o ítems que estén vinculados con ellos. Además es necesario hacer un elevado número de preguntas de forma que se puedan pilotar (ponerlas en práctica para comprobar que lo que se ha establecido en la matriz de especificaciones es contrastado por la realidad de lo que ocurre al enfrentar al alumnado a las mismas). Es decir, si una pregunta ha sido creada para medir un proceso cognitivo, que realmente lo mida. Seguramente de las preguntas que se han realizado, muchas se eliminarán, normalmente por un mal funcionamiento o anomalías observadas al aplicarlas con un grupo de alumnos, una mala redacción del enunciado, error en algunas de las respuestas, duplicidad de claves, errores tipográficos, que la dificultad esté en la forma de preguntar y no en lo que se pregunta, etc.

Los procesos de prepilotajes y pilotajes se realizan con alumnos que no tendrán dificultad en responder a lo que se les pregunta, de manera que lo que se analiza es la validez y viabilidad del ítem. Por ejemplo, si diseñáramos una prueba para 2º de ESO lo podríamos pilotar con alumnos de 3º de ESO en el momento de inicio del curso escolar (octubre o noviembre). Las evaluaciones internacionales realizan el estudio piloto un año antes que el estudio principal, en el mismo curso académico y con una cohorte de alumnos de iguales características a las que un año más tarde tendrán los alumnos que realizan el estudio principal, y del que se obtienen resultados. Al final, la prueba quedará configurada de forma que existan un conjunto de preguntas que recorran todos los procesos cognitivos y conocimientos.

Hay que considerar que las evaluaciones internacionales no pretenden evaluar al alumno, sino al sistema. Se emplea al alumno como elemento mínimo de información y solo contesta una parte del conjunto total de preguntas de la prueba. Si un alumno tuviese que realizar una de estas pruebas contestando a todos los ítems tardaría unas siete horas, por lo que se hace una distribución matricial de las preguntas para que todas ellas sean contestadas un número suficiente de veces, pero no todos los alumnos contestan las mismas, ya que las pruebas son de aproximadamente 50 minutos por competencia evaluada.


INTEF 2014 Pág. 18

Debemos tener en cuenta que cuando un profesor hace un examen, normalmente establece un par de preguntas relativamente sencillas para tratar de que el mayor número de alumnos se aproxime al aprobado. De igual modo incluye una o dos preguntas para diferenciar aquellos alumnos que destacan y el resto de preguntas podríamos considerarlas de dificultad intermedia. En estas pruebas pasa algo parecido, por eso descontextualizar una pregunta del conjunto de la prueba no tiene mucho sentido. Hay preguntas muy fáciles, para conocer el alumnado que al menos llega a este nivel mínimo y quien no lo alcanza. De igual modo interesa saber qué porcentaje destaca de entre todo el alumnado, de ahí la existencia de algunas preguntas de cierta complejidad, siendo el grueso de dificultad intermedia que es donde normalmente se sitúa la mayor parte del alumnado.

Nota

En las matrices de especificaciones de diversas evaluaciones educativas que vamos a ver a continuación, figura el porcentaje de ítems para cada dominio (peso relativo), referido tanto a los contenidos como a los procesos cognitivos.

TIMSS Matemáticas

En la siguiente tabla se recoge la matriz de especificaciones de la evaluación TIMSS matemáticas para 4º de Educación Primaria, de la IEA; observa que la importancia de cada bloque de contenidos en la prueba se muestra a través de los porcentajes asignados.

La IEA establece para esta evaluación de las matemáticas tres dominios de contenido y otros tres dominios cognitivos.

TIMSS Matemáticas

Dominios de contenido Dominios cognitivos

Números

50%

Números naturales

Fracciones y decimales

Expresiones numéricas

Modelos y relaciones

CONOCER. 40% Conocimiento de hechos y de procedimientos

Recordar - Reconocer – Identificar – Calcular –Recuperar - Medir – Clasificar - Ordenar

APLICAR. 40% Resolución de problemas habituales Formas y

mediciones

Puntos, líneas y ángulos


INTEF 2014 Pág. 19

geométricas

35%

Formas bidimensionales y tridimensionales

Seleccionar – Representar – Interpretar – Aplicar - Verificar o comprobar

RAZONAR. 20% Resolución de problemas no habituales. Actividades que implican razonamiento

Analizar – Generalizar – Integrar - Justificar o demostrar

Representación de datos

15%

Leer, interpretar y representar

Se pueden consultar las páginas 18 – 20 de la publicación “PIRLS – TIMSS 2011. Estudio Internacional de progreso en comprensión lectora, matemáticas y ciencias. IEA. Volumen I: Informe español” (puedes descargarlo en este enlace o en este otro alternativo) para ampliar la información sobre los dominios de contenido y cognitivos de TIMSS matemáticas.

Las preguntas, por lo general, no se presentan aisladas sino formando grupos bajo una presentación textual y/o gráfica común llamada estímulo, que presenta al alumno una situación cotidiana como las que se pueden encontrar en la vida real. Esta presentación permite minimizar el efecto de los cambios de contexto de las preguntas y también permite que el estímulo común se pueda explotar mejor.

Consulta el estímulo y preguntas “Figuras geométricas” de TIMSS matemáticas que está incluido en el libro “TIMSS 2007. Guía del usuario para la base de datos Internacional. Preguntas de Ciencias y Matemáticas”, págs. de la 130 a la 135 (puedes descargarlo en este enlace o en este otro alternativo).

Observa que los descriptores están vinculados a dominios de contenido y dominios cognitivos. Lo cierto es que la IEA busca en el desarrollo de las pruebas cercanía a los currículos de los sistemas educativos que participan.


http://www.mecd.gob.es/dctm/inee/internacional/pirlstimss2011vol1-1.pdf?documentId=0901e72b81710232

http://formacion.educalab.es/eva2014/pluginfile.php/286/mod_folder/content/0/PIRLS_TIMSS_2011_Vol1.pdf?forcedownload=1

http://www.mecd.gob.es/inee/publicaciones/estudios-internacionales.html#TIMSS2007_1


INTEF 2014 Pág. 20

TIMSS Ciencias

La estructura para TIMSS ciencias es similar a la de matemáticas, como se muestra en la siguiente tabla. No olvides que se trata de la misma prueba que analiza dos áreas diferentes y por tanto su estructura es parecida. Los dominios de contenido se adecúan al área de ciencias mientras que se sigue el mismo esquema en cuanto a los dominios cognitivos.

TIMSS Ciencias

Dominios de contenido Dominios cognitivos

Ciencias de la vida

45%

Características y procesos de la vida en los seres vivos

Ciclos de la vida, reproducción y herencia

Interacción con el medio ambiente de los seres vivos

Ecosistemas

Salud humana

CONOCER. 40% Hechos, procedimientos y conceptos científicos

Recordar - Identificar – Definir - Describir –Dar ejemplos – Demostrar manejo de instrumentos

APLICAR. 40% Resolución de problemas habitualesde ciencias

Comparar/contrastar/clasificar – Relacionar - Interpretar – Utilizar modelos - Explicar

RAZONAR. 20% Capacidad para abordar situaciones y problemas desconocidos

Analizar – Integrar – Elaborar hipótesis – Generalizar - Justificar o demostrar – Extraer conclusiones

Ciencias Físicas

35%

Clasificación y propiedades de la materia, y cambios de la materia

Formas de energía y transferencia de energía

Fuerzas y movimiento

Ciencias de la tierra

20%

La estructura de la Tierra, sus características físicas y recursos

Los procesos y la


INTEF 2014 Pág. 21

historia de la Tierra

La Tierra en el sistema solar

Se puede consultar las páginas 20 – 23 de la publicación “PIRLS – TIMSS 2011. Estudio Internacional de progreso en comprensión lectora, matemáticas y ciencias. IEA. Volumen I: Informe español” (descarga el informe en este enlace o en este otro alternativo) para ampliar la información sobre los dominios de contenido y cognitivos de TIMSS ciencias.

Consulta el estímulo y preguntas “Tienda de ropa de camisetas”de TIMSS ciencias que está incluido en el libro “TIMSS 2007. Guía del usuario para la base de datos Internacional. Preguntas de Ciencias y Matemáticas”, págs. de la 16 a la 24 (descarga el informe en este enlace o en este otro).

Observa de nuevo que los descriptores están vinculados a dominios de contenido y dominios cognitivos.


PIRLS Comprensión lectora

Como ya introdujimos en el bloque I, la IEA realiza una prueba para medir la comprensión lectora a los alumnos de 4º de Educación Primaria. En la siguiente tabla se muestran los Tipos de texto sobre los que se realiza la prueba, en los que se busca conseguir:

• dos Propósitos de Lectura (Leer para informarse y aprender y Leer para disfrutar),

• cuatro Procesos cognitivos que la IEA ha establecido para esta evaluación internacional (Localizar y obtener información, Realizar inferencias, Interpretar e Integrar, Analizar y evaluar).



http://www.mecd.gob.es/inee/publicaciones/estudios-internacionales.html#TIMSS2007_1


INTEF 2014 Pág. 22

Si no ves correctamente la anterior imagen, descarga este PDF.

Observa que en la tabla se ha incluido entre paréntesis y entrecomillado lo que podríamos considerar denominaciones semejantes para TIMSS y PIRLS. Los dominios de contenido de TIMSS serán lo que en comprensión lectora PIRLS define como Tipos de texto, y los dominios cognitivos de TIMSS, PIRLS los nombra Procesos cognitivos.

PIRLS Comprensión lectora

Tipos de texto

("dominio de contenido")

Procesos cognitivos

("dominios cognitivos")

Textos Literarios

50%

Localizar y obtener información explicita. 20%

Realizar inferencias directas. 30%

Interpretar e integrar ideas e informaciones. 30%

Analizar y evaluar el contenido, el lenguaje y los elementos textuales. 20%

Textos Informativos

50%

Puedes consultar las páginas 11 – 16 de la publicación “PIRLS – TIMSS 2011. Estudio Internacional de progreso en comprensión lectora, matemáticas y ciencias. IEA. Volumen I: Informe español” (puedes descargarlo en este enlace o en este otro alternativo) para ampliar la información sobre las características de los textos literarios e informativos y los procesos cognitivos que define la IEA en la evaluación PIRLS.

Por lo general, las preguntas no se presentan aisladas sino formando grupos bajo una presentación textual y/o gráfica común, llamada estímulo. En el caso de la comprensión lectora normalmente son textos, pero también pueden ser trípticos, esquemas, documentos oficiales, etc. Con ello se presenta al alumno una situación cotidiana como las que se pueden encontrar en la vida real. Esta presentación permite minimizar el efecto de los cambios de contexto de las preguntas y también posibilita que el estímulo común pueda ser mejor explotado.

Consulta el siguiente Texto Literario y las preguntas de PIRLS “Tarta para enemigos”. Está incluido en el libro “PIRLS – TIMSS 2011. Estudio Internacional de




INTEF 2014 Pág. 23

progreso en comprensión lectora, matemáticas y ciencias. IEA. Volumen I: Informe español” págs. de la 113 a la 130 (puedes descargarlo en este enlace o en este otro alternativo).

Consulta también el Texto informativo y las preguntas de “Buscando comida”, incluido en el libro “La lectura. Educación Primaria 4º curso. Pruebas de evaluación de la comprensión lectora. PIRLS 2001 y 2006”, págs. 195 a la 210 (puedes descargarlo en este enlace o en este otro).

PISA

Veamos esquemáticamente cómo define la OCDE qué evalúa PISA en Ciencias, Lectura y Matemáticas, a través de su marco teórico.

Observa que para cada área establece unas competencias (que se asemejarían a lo que se ha denominado procesos cognitivos o dominios cognitivos en PIRLS y TIMSS respectivamente) y dominios de conocimiento.

Ciencias Lectura Matemáticas

Definición y

características

El conocimiento científico y el uso que se puede hacer de ese conocimiento para identificar preguntas, adquirir nuevo conocimiento, explicar fenómenos científicos, y llegar a conclusiones basadas en pruebas científicas sobre cuestiones de este tipo.

Incluye la comprensión de las características de la ciencia como una forma de conocimiento y de investigación.

Asimismo, la

La capacidad de un individuo para comprender, utilizar, reflexionar e interesarse por textos escritos, para alcanzar los propios objetivos, desarrollar el conocimiento y potencial propios y participar en la sociedad.

El enfoque de PISA es “leer para aprender” más que “aprender a leer”; de ahí que no se evalúe a los alumnos en las destrezas de lectura más básicas.

La capacidad del individuo para formular, emplear e interpretar las matemáticas en distintos contextos. Incluye el razonamiento matemático y la utilización de conceptos, procedimientos, datos y herramientas matemáticas para describir, explicar y predecir fenómenos. Ayuda a los individuos a reconocer el papel que las matemáticas desempeñan en el mundo y a emitir los juicios y las decisiones bien



http://www.mecd.gob.es/inee/publicaciones/estudios-internacionales.html#LA_LECTURA_2


INTEF 2014 Pág. 24

conciencia de que la ciencia y la tecnología organizan nuestro medio material e intelectual, y la voluntad de interesarse por cuestiones e ideas relacionadas con la ciencia, como ciudadanos reflexivos.

fundadas que los ciudadanos constructivos, comprometidos y reflexivos necesitan.

Dominio de

conocimiento

Conocimiento de la ciencia, como:

Sistemas físicos

Sistemas vivos

Sistemas de la tierra y el espacio

Sistemas tecnológicos

Conocimiento sobre la ciencia, como:

Investigación científica

Explicaciones científicas

Tipo de textos:

textos continuos o de prosa, organizados en oraciones y párrafos (p. ej., narrativos, expositivos, argumentativos, descriptivos, instructivos)

textos discontinuos, que presentan la información en forma de listas, gráficos, mapas, diagramas

Cuatro áreas relativas a los números, el álgebra, la geometría y la estadística, interrelacionadas de formas diversas:

cantidad

espacio y forma

cambio y relaciones

incertidumbre y datos

Competencias o procesos

Identificar cuestiones científicas

Explicar fenómenos científicamente

Utilizar pruebas

Acceder y obtener la información

Integrar e interpretar el texto

Reflexionar y valorar sobre el

Formulación matemática de las situaciones

Empleo de conceptos, datos, procedimientos y razonamientos


INTEF 2014 Pág. 25

científicas contenido y la forma del texto

matemáticos

Interpretación, aplicación y valoración de los resultados matemáticos

Abreviado como “formulación, empleo e interpretación”

Contexto y

situación

Las situaciones en las que se pueden aplicar las ciencias:

personal (yo, familia y compañeros)

social (la comunidad)

global (la vida en todo el mundo)

Para algunas aplicaciones concretas:

Salud

Recursos naturales

Medio ambiente

Riesgos

Fronteras de ciencia y tecnología

El uso para el que se escribe un texto:

Personal (por ejemplo, una carta personal)

Educativo (por ejemplo, un trabajo de clase)

Pública (por ejemplo, un documento oficial)

Profesional (por ejemplo, un informe)

Las situaciones en las que se pueden aplicar las matemáticas:

Personal

Profesional

Social

Científica

Observa como en los dominios de conocimiento de Lectura se divide los textos en continuos y discontinuos.


INTEF 2014 Pág. 26

Esta y mucha otra información está disponible en la publicación Marcos y pruebas de evaluación de PISA 2012 (también se puede descargar aquí).

En esta tabla se resumen las tres áreas que evalúa PISA, y en los tres casos identifica dominios de conocimiento y competencias o procesos. Veamos a continuación las matrices de especificaciones de las tres competencias en donde se recogen los tantos por ciento de cada una de las partes que configura la prueba.

PISA Ciencias

PISA Ciencias 2012

Dominio de conocimiento Competencias (Capacidades científicas)

Conocimiento de la ciencia 50 %

Identificar cuestiones científicas 23%

Explicar fenómenos científicamente 40%

Utilizar pruebas científicas 37%

Sistemas físicos

Sistemas vivos

Sistemas de la Tierra y el espacio

Sistemas tecnológicos

13%

16%

12%

9%

Conocimiento acerca de la ciencia 50%

Investigación científica

Explicaciones científicas

20%

15%

Los porcentajes expresados en la tabla hacen referencia al año 2012. Estos porcentajes varían de unas ediciones a otras. El estudio se centra en una de las tres áreas en cada ciclo para obtener resultados, y las otras dos áreas se evalúan para medir tendencias. Por tanto, es cada 9 años cuando se cierra un ciclo y se comienza otro.

PISA Lectura

A continuación se incluye la matriz de Comprensión lectora:

http://www.mecd.gob.es/dctm/inee/internacional/pisa2012/marcopisa2012.pdf?documentId=0901e72b8177328d




INTEF 2014 Pág. 27

PISA Lectura 2012

Tipos de texto Competencias (capacidad lectora)

Textos continuos

58%

Narrativos, expositivos, descriptivos, persuasivos y argumentativos, preceptivos

Acceder y obtener 22%

Integrar e interpretar 56%

Reflexionar y valorar 22%

Textos discontinuos

31%

Cuadros y gráficos, tablas, diagramas, formularios, mapas, anuncios

Textos mixtos

9%

Formato de revistas, obras de consulta, informes.

Textos múltiples

2%

Textos generados de forma independiente. Pueden ser complementarios o contradecirse

Aunque en la evaluación PISA 2000 se utilizaron algunos textos mixtos y múltiples, estos no se clasificaron de forma independiente, sino que se describieron más en función de sus elementos continuos o discontinuos. A partir de PISA 2009, donde se intensificó el estudio en el área de Lectura, en la elaboración de los ejercicios para la evaluación se realizó un esfuerzo por incluir estímulos de textos impresos mixtos y múltiples, y por introducir ejercicios en los que el lector debía integrar información de partes con diferentes formatos dentro de un texto mixto o con textos múltiples.

Observa como edición tras edición se modifican determinados aspectos de los marcos teóricos de las evaluaciones.

PISA Matemáticas

El último informe PISA se publicó el 3 de diciembre de 2013, y recoge los datos de la evaluación realizada en 2012. Se centró en matemáticas y aquí tienes la matriz de especificaciones de referencia para esta prueba.


INTEF 2014 Pág. 28

PISA Matemáticas 2012

Dominio de conocimiento Competencias (capacidades matemáticas)

Cantidad

25%

Comprensión del tamaño relativo.

Reconocimiento de las regularidades numéricas.

Utilización de los números para representar cantidades y atributos cuantificables de los objetos del mundo real.

Procesamiento y comprensión de los números.

Representación de los números de diferentes maneras.

Comprensión del significado de las operaciones.

Percepción de la magnitud de los números.

Cálculos matemáticamente elegantes.

La estimación y el cálculo mental.

Formulación matemática de las situaciones 25% (operaciones matemáticas simples)

Empleo de conceptos, datos, procedimientos y razonamientos matemáticos 50% (relacionar ideas para resolver problemas)

Interpretación, aplicación y valoración de los resultados matemáticos 25% (razonamiento matemático en sentido amplio)

Espacio y forma

25%

Reconocer las formas en diferentes representaciones y diferentes dimensiones.

Comprender las propiedades de los objetos y sus posiciones relativas.

Orientarnos por el espacio y a través de las construcciones y formas.

Relación entre formas e


INTEF 2014 Pág. 29

imágenes.

Representación en dos dimensiones de objetos tridimensionales.

La formación de las sombras y cómo interpretarlas.

Qué es la perspectiva y cómo funciona.

Cambio y relaciones

25%

Expresiones algebraicas, ecuaciones e inecuaciones, representaciones tabulares y gráficas.

Representar datos y relaciones utilizando estadísticas.

Medidas geométricas.

Relaciones entre longitudes de los lados de triángulos.

Incertidumbre y datos

25%

Estadística y probabilidad.

Recogida de datos y error en la medida.

Análisis y presentación de datos.

Deducción.

Crear, interpretar y evaluar conclusiones extraídas de situaciones donde se presenta incertidumbre.

Las matrices e información facilitada se han mostrado de manera resumida y simplificada para facilitar la comprensión de los procesos, sus parecidos y diferencias. Para tener una visión más amplia y profunda se recomienda la consulta de los libros e informes técnicos de cada una de ellas que se pueden descargar de la siguiente web.




INTEF 2014 Pág. 30

EECL

Por último y en cuanto a lo que en el marco teórico de una evaluación se refiere a bloques de contenido o competencias, si analizamos la estructura del Estudio de Competencia Lingüística en Idioma Extranjero, vemos que los descriptores se han realizado desde los niveles del MCERL (Marco Común Europeo de Referencia para las Lenguas).

Descriptores de los niveles del MCERL:

MCERL COMPRENSIÓN ORAL

COMPRENSIÓN LECTORA

EXPRESIÓN ESCRITA

B2

Comprende discursos y conferencias extensos e incluso sigue líneas argumentales complejas siempre que el tema sea relativamente conocido.

Puede leer con un alto nivel de independencia, adaptando el estilo y velocidad de lectura a los diferentes textos y propósitos. Es capaz de entender las ideas principales de textos complejos que traten de temas tanto concretos como abstractos, incluso si son de carácter técnico, siempre que estén dentro de su campo de especialización.

Es capaz de escribir textos claros y detallados sobre una amplia serie de temas relacionados con sus intereses, resumiendo y evaluando la información que procede de diversas fuentes. Puede escribir redacciones o informes transmitiendo información o proponiendo motivos que apoyen o refuten un punto de vista concreto.

B1

Es capaz de comprender los puntos principales cuando el discurso es claro y en lengua estándar si tratan sobre cuestiones que le son conocidas, ya sea en situaciones de trabajo, de estudio o de ocio,

Es capaz de comprender los puntos principales de textos claros y en lengua estándar si tratan de asuntos cotidianos relacionados con sus intereses.

Es capaz de producir textos sencillos y coherentes sobre temas que le son familiares o en los que tiene un interés personal. Puede describir experiencias, acontecimientos, deseos y aspiraciones, así como justificar


INTEF 2014 Pág. 31

incluyendo breves narraciones.

brevemente sus opiniones o explicar sus planes.

A2

Puede comprender frases y el vocabulario más habitual sobre temas de interés personal (información personal y familiar muy básica, compras, lugar de residencia, empleo) siempre que la conversación se articule despacio y de forma clara.

Puede comprender textos cortos y sencillos que contengan vocabulario frecuente, incluyendo palabras que se compartan a nivel internacional.

Puede escribir una serie de expresiones y frases sencillas unidas por conectores sencillos como “y”, “pero” y “porque”. Puede escribir notas y mensajes breves y sencillos relativos a sus necesidades inmediatas.

A1

Puede seguir una conversación que se articule muy despacio y con cuidado, con pausas largas para poder asimilar el significado.

Comprende palabras y nombres conocidos y frases muy sencillas, por ejemplo las que hay en letreros, carteles y catálogos volviendo a leer cuando lo considera necesario.

Puede escribir sintagmas y frases sencillas de forma aislada. Puede pedir y dar información personal básica por escrito.

Pre-A1 No hay descripción en el MCERL.

No hay descripción en el MCERL.

No hay descripción en el MCERL.

Observa que se ha añadido un nivel Pre-A1 que intenta detectar aquellos alumnos que ni siquiera llegan al nivel A1.

Se recomienda la lectura del capítulo 1 del libro “Estudio Europeo de Competencia Lingüística EECL. Volumen I. Informe español” (si no funciona el anterior enlace, puedes descargarlo aquí).


http://www.mecd.gob.es/inee/publicaciones/estudios-internacionales.html#EECL_I




Bloque 2, parte 2. Finalidad, objetivos y diseño de una prueba: elaboración de ítems, pilotaje y psicometría

Autores David Cervera Olivares, Paloma González Chasco y José Mª Sánchez Echave


CC - BY - SA Autores. INTEF – INEE. 2013 Pág. 2

Índice

Autores ...................................................................................................................... 1

Finalidad, objetivos y diseño de una prueba: elaboración de ítems, pilotaje y psicometría ................................................................................................................. 3

1. Tipos de ítems o preguntas ............................................................................ 4

Elaboración de items ......................................................................................... 6

Sugerencias para la creación de ítems .............................................................. 7

2. Ítem de respuesta cerrada .............................................................................. 8

Varias preguntas para un estímulo .................................................................... 9

Recomendaciones para la creación de un ítem ............................................... 10

3. Ítem de respuesta elaborada ........................................................................ 11

4. Los estímulos ................................................................................................ 12

Algunas ideas para crear estímulos ................................................................. 13

5. Pilotaje de ítems ............................................................................................ 21

6. Análisis de ítems: comparabilidad, discriminación y validez .................... 22




Finalidad, objetivos y diseño de una prueba: elaboración de ítems, pilotaje y psicometría

Hasta ahora nos hemos centrado en algunos aspectos del marco teórico, entresacando y combinando diversa información referida a distintas pruebas internacionales. También hemos trabajado con diversas preguntas vinculadas a estímulos que han formado parte de las pruebas o de los procesos de pilotaje de las mismas. Ten en cuenta que un objetivo importante de estas evaluaciones externas internacionales es la comparación a lo largo del tiempo (en las sucesivas ediciones) por lo que solo se liberan parte de los materiales que configuran la prueba y nunca una prueba completa, de forma que una parte importante de la prueba se repite de una edición a otra. A estos ítems se les denomina ítems de anclaje.

En esta parte de contenidos del segundo bloque nos vamos a centrar en la elaboración de ítems, el pilotaje de los mismos y una breve introducción a la psicometría.

Nota

• Recuerda que en PISA se habla de economías, dado que algunos países no participan en su totalidad sino sólo una región, p.ej. Shanghái.

• En España, no solo participamos en las pruebas internacionales a nivel nacional. En algunas pruebas algunas comunidades participan para poder obtener datos comparativos con otros países, lo que supone una ampliación de la muestra de los alumnos que se someten a estas pruebas.




1. Tipos de ítems o preguntas

Las preguntas de una prueba de rendimiento pueden ser de diversos tipos. A continuación se muestra una selección de preguntas clasificadas atendiendo a la forma de la respuesta.

• Preguntas de respuesta cerrada, son las que muestran alternativas de respuestas.

o De respuesta alternativa simple (dicotómicas), combinan diferentes opciones de respuesta binaria (sí / no; verdadero / falso).

o De respuesta de alternativa múltiple. Presentan varias alternativas (A, B, C, D).

o De respuesta de elección múltiple compleja, cuando se combina en un mismo ítem varias frases o alternativas con selección de respuesta binaria (sí / no; verdadero / falso).

• Preguntas abiertas de respuesta elaborada

o Respuestaelaboradaconstruida. o Respuesta elaborada corta (precisan de correctores con

pormenorizados criterios de valoración). o Respuesta elaborada larga (precisan de correctores con

pormenorizados criterios de valoración).




Observa unos ejemplos que pueden ayudarte a identificar esta clasificación:

Respuestas de pregunta cerrada

Respuestaalternativa simple El Quijote lo escribió Cervantes. SI / NO

Respuestaalternativamúltiple

¿Quién escribió el Quijote? A. Góngora B. Quevedo C. Cervantes D. Unamuno

Respuesta de elección múltiple compleja

Indica cuales de las siguientes afirmaciones son ciertas El Quijote lo escribió Cervantes. Verdadero / Falso El caballo de Don Quijote se llamaba Clavileño. Verdadero / Falso Cervantes escribió “El licenciado vidriera”. Verdadero / Falso

Preguntas abiertas de respuesta elaborada

Respuestaelaboradaconstruida

¿Quiénescribió el Quijote? ______________________

Respuestaelaboradacorta

Cita dos obras escritas por Miguel de Cervantes 1. ___________________________ 2. ___________________________

Respuestaelaboradalarga

¿Qué supuso el Quijote en la época en la que fue escrito? ______________________________________________ ______________________________________________

Las preguntas no se presentan aisladas, sino formando grupos bajo una presentación textual y/o gráfica común, que denominamos ”estímulo”, que presenta al alumno una situación cotidiana como las que se pueden encontrar en la vida real. En el caso concreto de TIMSS para 4º curso de Educación Primaria, se combinan grupos de preguntas vinculadas a estímulos, con otras que no se refieren a un estímulo y que se configuran como preguntas sueltas, o estímulos con una única pregunta.




Pensemos un rato

Elaboración de items

La elaboración de un ítem y su inclusión dentro del conjunto de la prueba debe permitir la medida del rendimiento de los alumnos en la competencia evaluada; debe discriminar. De esta forma se pueden obtener relaciones entre los diversos sistemas educativos participantes.

Crear un ítem puede ser relativamente sencillo. Crear ítems que se adapten a los descriptores establecidos en la matriz de especificaciones y además en un número elevado para poder hacer una selección posterior, según los porcentajes que se establezcan para la prueba, tanto de conocimientos como de procesos cognitivos, ya no es tan sencillo.

Además hay que crearlos vinculados a estímulos y esto supone un riesgo: en el caso de que se detecte que el estímulo no es adecuado, todos los ítems creados dependientes de él quedan anulados. Es por tanto necesario crear un número elevado y pensado desde el principio, adaptándose a las especificaciones de la matriz para evitar en la medida de lo posible trabajos innecesarios, o una mala calidad de los ítems y los estímulos.

¿Recuerdas los estímulos y grupos de preguntas que vimos al principio de PISA, “Las formas, El faro, Metrotransit y Agua potable”?

Podrías añadir nuevas preguntas. Piensa un ítem de cada tipo de los vistos para los estímulos que elijas.

No es necesario que sean preguntas vinculadas a matemáticas, ciencias o comprensión lectora. Intenta vincular estos estímulos con preguntas para tu propia asignatura, en la medida de lo posible.




Sugerencias para la creación de ítems

A continuación se detallan ciertas características para el diseño de ítems, en este caso los de preguntas de respuesta cerrada. Aunque de momento no vamos a ver las características de los estímulos, no olvides que los ítems o preguntas se diseñan vinculados a estos.

Requisitos para la construcción de ítems:

• Conocimiento en profundidad de los contenidos de la materia a evaluar. • Conocimiento de los descriptores de cada dominio o proceso cognitivo.

Estos dos puntos son los que definen la matriz de especificaciones de una prueba y por tanto es el elemento de partida para comenzar la creación y construcción de preguntas de manera organizada. Al partir de una clasificación estructurada (descriptores) se evita producir un exceso o defecto de ítems para cada uno de los contenidos y dominios de la materia en la que se centra la prueba.

Nota

Recuerdaque:

• Cada prueba tiene una matriz de especificaciones concreta. • La matriz es la herramienta que guía la construcción y la interpretación de la

prueba. • Además, es el instrumento de comienzo y es fundamental para el análisis final.

Antes de elaborar los ítems es necesario tener la matriz de la prueba diseñada:

• Establecer la competencia. • Determinar los contenidos. • Determinar los descriptores. • Determinar el peso relativo de cada casilla. • Elaborar ítems (varios) específicos para cada descriptor.

Un ítem que ha sido escrito considerando un determinado nivel cognitivo y un contenido concreto, tiene más probabilidades de ser un buen ítem.




Pensemos un rato

Crea una matriz de especificaciones, o tabla curricular de contenidos para una asignatura y un curso concreto.

Detalla los descriptores y los porcentajes de cada bloque de contenidos y proceso considerando la importancia de cada uno de ellos en el conjunto del curso.

2. Ítem de respuesta cerrada

Antes de comenzar la construcción de ítems, vamos a tratar de dar respuesta a la pregunta, “¿Qué es un ítem?”

• Es una unidad de medida. • Consiste en un reactivo (tronco) y una forma prescrita de respuesta. • Su objetivo es obtener una conducta observable y claramente interpretable

(debe ser capaz de discriminar). • De la respuesta debe poder inferirse, con un grado suficiente de fiabilidad y

validez, un nivel de dominio de la competencia.

Conozcamos cuales son los componentes que configuran un ítem de respuesta cerrada:

• Tronco o vástago: Parte inicial del ítem en la que se especifica la tarea. Puede ser una pregunta, instrucciones, una frase incompleta, una situación de la vida real, etc.

• Opciones: Son todas las alternativas de respuesta de un ítem. o CLAVE, es la respuestacorrecta o DISTRACTORES, son las opciones incorrectas.

Observa los distintos componentes en las siguientes imágenes. Corresponden a un ítem de TIMSS Ciencias. Advierte que el tronco o vástago incluye todo lo recuadrado en azul dado que solo hay una pregunta.




Varias preguntas para un estímulo

Si construyéramos varias preguntas a partir de la imagen proporcionada, diferenciaríamos entre estímulo y tronco.




Nota

Un estímulo trata de ser un elemento de partida que posiciona al alumno en una situación que pudiera ser real. Normalmente estas pruebas vinculan varios ítems o preguntas con el mismo estímulo.

Recomendaciones para la creación de un ítem

Recomendaciones para la redacción del tronco

• Puede ser una pregunta o una frase a completar. • Ha de ser claro. Favorecer la claridad sobre la concisión. • No debe utilizarse para enseñar. • Debe proporcionar solo información precisa para responder. • Emplear formas positivas al redactar los textos siempre que sea posible. • Evitar las negaciones y, sobre todo, la doble negación.

Recomendaciones para las opciones (Clave y Distractores)

• La opción correcta debe ser claramente correcta. Si dos expertos albergan dudas acerca de la validez de la clave, habrá que revisar cómo se ha expresado o redactado el tronco y las opciones, y analizar el porqué de la diferencia de criterio. Si no hay acuerdo, no es un buen ítem y no debe ir a una prueba.

• Los distractores que confunden a los expertos no son buenos. • Podemos emplear preconceptos erróneos como distractores. • La dificultad del ítem se puede variar haciendo los distractores similares a la

clave. • No abusar de opciones “todos los anteriores” – “ninguna de las anteriores”. • Si algo se repite en todas las opciones, valorar eliminarlo o llevarlo al tronco. • Todas las opciones deben ser de la misma longitud y complejidad, y de similar

estructura sintáctica. La respuesta correcta no debe ser la más larga, ni la más corta, ni la única distinta.

• Con más opciones hay menor probabilidad de adivinación, pero también es más difícil la construcción.

• Es recomendable solo una respuesta correcta, facilita el proceso de codificación.

• Evitar utilizar en la clave palabras que lleven a los que desconocen la solución el seleccionarla. La repetición de palabras del tronco solo en la clave es una pista que debe evitarse.

• Si el tronco es negativo, evitar opciones negativas. • Distribuir la posición de la clave al azar. Evitar usar siempre la misma posición.




3. Ítem de respuesta elaborada

Veamos ahora cuáles son los componentes de un ítem de respuesta elaborada:

• Tronco o vástago, es la parte inicial del ítem en la que se especifica la tarea. Puede ser una pregunta, instrucciones, una frase incompleta, una situación de la vida real, etc.

• Solución, es la respuesta correcta.

De una misma situación, contexto o estímulo, pueden derivarse varios ítems. Observa en la imagen las distintas partes del ítem. Es de TIMSS matemáticas.

Sugerencias

• Emplear vocabulario claro y adecuado para la edad y nivel educativo. • Utilizar la sintaxiscorrecta. • Una misma idea puede medirse en varios niveles cognitivos. Seleccionar el nivel

cognitivo y ajustarse a él.




4. Los estímulos En muchas ocasiones los estímulos son un texto de partida, como generalmente ocurre en Comprensión Lectora, aunque se pueden incluir gráficos, esquemas, planos, medidas, cómics, etc. El estímulo o contexto de partida puede crearse a partir de varios elementos y por tanto podemos diseñarlos para que se adapten a las preguntas que vamos a realizar en referencia a los descriptores.

El alumnado actual está inmerso en un mundo de información a través de Internet, por lo que gran cantidad de información a la que se enfrentan está en ese entorno. Podemos emplearlo como un recurso muy rico de estímulos sin olvidar otros como folletos informativos, textos o anuncios de periódicos, fotografías de situaciones reales, etc.

A continuación se incluyen algunos posibles estímulos de los que podríamos emplear, son simples sugerencias. Ahora se trata de que dentro de la materia o materias que desarrollas con tus alumnos veas qué información y de dónde es posible captarla para emplearla como elemento de partida de posibles preguntas.




Algunas ideas para crear estímulos

Ejemplo 1

En este estímulo se presenta un libro de lectura por el que el alumnado de 4º de EP siente cierto interés. A partir del contenido de una página web se da información del mismo y del proceso de compra y precio, por lo que se pueden realizar diversas preguntas relacionadas con competencia matemática, científica y de comprensión lectora. ¿Qué preguntas se te ocurren? ¿Sabrán los alumnos colocar “LONDON”, en un mapa de Europa? Observa cualquier detalle de los que muestra el estímulo y se creativo. Cambiando el libro y la información proporcionada podemos componer un estímulo válido para conseguir adaptarnos a los descriptores para los que queremos escribir ítems.




Ejemplo 2

Este estímulo o contexto facilita información sobre un mapamundi de las temperaturas y se pone en relación con Albacete. En realidad es información de dos páginas web diferentes ¿Qué tipo de preguntas se te ocurren? Observa que se dan precipitaciones cada 6 horas y temperaturas de distintos países clasificados por los más fríos y los más cálidos. ¿Se podría preguntar a qué intervalo de meses se corresponde la información?, ¿una clasificación alfabética de los países?, ¿las regiones que rodean a Albacete?, ¿un cálculo comparativo de superficies?, ¿ubicar los grandes océanos y mares?, ¿cálculos con la velocidad del viento? … ¿Te atreves? ¿Qué te gustaría preguntar pero a la vista de la información no puedes? Añade lo que necesites y compón el estímulo.




Ejemplo 3

En este estímulo recogido de la prensa se informa de diversas posibilidades y ofertas para ir a Disneyland París. ¿Qué preguntas de comprensión lectora se te ocurren a la vista de la información?, ¿qué preguntas de competencia matemática?, ¿y de competencia científica? ¿Qué otras preguntas relacionadas con otras competencias se te ocurren?




Ejemplo 4

Este ejemplo se diseñó para una prueba de matemáticas y describe una situación típica de compra. En los bocadillos se ha incluido información para facilitar ciertas preguntas. Pero además existen distintos tipos de números, el orden, la temperatura, peso, tiempo. ¿Se te ocurren preguntas que los puedan relacionar? Observa el triángulo que forman los clientes, ¿algo que preguntar próximo a Pitágoras o Thales? ¿Se te ocurre alguna pregunta que relacione la estructura de la estantería con la del poste de temperatura? ¿Algo sobre alimentación? ¿Sobre materiales textiles? … ¿Cómo lo modificarías para conseguir realizar de 12 a 15 preguntas?




Ejemplo 5

En este ejemplo, obtenido de una página web, se recoge información sobre una película. Seleccionando de la cartelera una u otra película podemos actualizar el ítem y adaptarlo a los intereses de los descriptores. Podemos añadir las críticas que ha recibido, algún comentario de los actores o del director, etc. Y con toda esta información realizar diversas preguntas. ¡Ánimo!




Ejemplo 6

¿Has pensado todo lo que podrías preguntar sobre un plano? Cómo llegar, trayectoria más corta, reconocer figuras geométricas, comparar superficies, distancias, ordenar alfabéticamente, paralelismo, perpendicularidad, reconocimiento de símbolos, recorridos a pie, en coche, en transporte público, monumentos, edificios singulares, etc.




Ejemplo 7

También podemos emplear un texto relacionado con un mensaje de correo electrónico, o con un SMS, Whatsapp, etc.




¿Qué otras posibilidades se te ocurren?

• Propaganda • Programación de televisión • Cartelera • Instrucciones de juegos • Etiquetas de productos • Anuncios de prensa • Cartelespublicitarios • Una nota escritaporalumnos • Deportes • Planos de metro, cercanías, autobuses • Horarios de trenes, autobuses • Planos de instalaciones deportivas, biblioteca, hospital, colegio…

Se trata de buscar un elemento de partida que centre a los alumnos en una situación a partir de la cual realizar preguntas basadas en nuestra matriz de especificaciones.




5. Pilotaje de ítems

Las evaluaciones se construyen a partir de ítems y necesitamos que estos sean de buena calidad. Cualquier prueba puede ser mejorada a través de una adecuada selección de los elementos (ítems) que la componen. Una vez creados los ítems se hace necesario realizar un proceso de pilotaje que permita analizar y calibrar el trabajo realizado, seleccionando posteriormente aquellos que van a configurar la prueba.

Nota

Ya hemos dicho en repetidas ocasiones que un descriptor apunta a un bloque de contenidos y a un determinado proceso, por tanto el autor debe desarrollar para cada descriptor múltiples ítems, cada uno de ellos vinculados a diversos estímulos.

Se denomina pilotaje al proceso en que se configuran cuadernillos (trozos de la prueba total) para llevar a campo los ítems, con la intención de medir el ítem, no la prueba, ni los resultados de los que las realizan. En realidad se generan muchas pruebas distintas de manera que se incluyan todos los ítems y hay que garantizar que se dé respuesta a todos ellos un número de veces suficiente.

Mediante el pilotaje se pretende comprobar que los ítems cumplen la función para la que han sido escritos, y que el grado de dificultad, basado en los aciertos de los alumnos, confirman el proceso cognitivo para el cual el autor los concibió. El pilotaje se realiza con alumnos de otros cursos o con la cohorte de alumnos correspondiente, dado que responder al ítem no debe ser la dificultad, sino validar que discrimina, que no hay errores de redacción, que se interpretan correctamente, etc. En el proceso detectamos qué ítems son problemáticos por diversas causas.

Una vez realizado todo el proceso se deben elegir aquellos ítems que configurarán la prueba, eliminando los que se han comportado mal o de manera ineficiente y eligiendo entre los restantes, de forma que la prueba final se corresponda con la matriz de especificaciones que hemos diseñado. Por otro lado, aquellos que son adecuados y no van a formar parte de la prueba podrán ser utilizados en otras ocasiones.

El pilotaje y análisis de ítems es una parte muy importante en el proceso de construcción de una prueba.




Por tanto, puede suponer un problema cuando muchos ítems de un estímulo son rechazados, o cuando a pesar de no ser rechazados se elimina el estímulo por considerarlo inadecuado. Cuando se selecciona un ítem, automáticamente queda seleccionado el estímulo, pero no todos los ítems que se diseñaron para el estímulo irán a la prueba. Es por esto que es necesario desarrollar un amplio número de ítems por estímulo y, a su vez, un amplio número de ítems por descriptor de manera que al final tengamos suficientes elementos de calidad para poder cumplimentar la matriz de especificaciones y configurar la prueba.

6. Análisis de ítems: comparabilidad, discriminación y validez

Uno de los objetivos de las evaluaciones internacionales es la comparabilidad a lo largo del tiempo y, por eso, un conjunto importante de los ítems se mantienen de una edición a otra. Además hay que tener garantías de que los ítems que sustituyen a los que se liberan cumplen la función de sus antecesores. Es importante tener un gran banco de ítems contestados por un número suficiente de alumnos de manera que podamos tener información válida de los mismos.

Aunque no es objeto de este curso entrar en complicaciones estadísticas, se mencionan a continuación diversos parámetros que nos permiten analizar las características técnicas de un ítem:

• Dificultad • Discriminación u Homogeneidad • Validez

Todos los elementos que configuran la prueba han de contribuir a diferenciar, a discriminar entre los participantes. Por lo tanto, los elementos no tienen que ser ni muy fáciles, ya que los contestarían bien todos los alumnos, ni muy difíciles, ya que nadie sabría responder. La dificultad de los elementos tendrá que estar entre estos dos extremos para que puedan discriminar adecuadamente.

Del mismo modo que la discriminación del ítem tiene que ver con la fiabilidad, la validez del ítem tiene que ver con la validez del test. Por ejemplo, en los casos en los que medimos alguna variable de rendimiento, la variable de contraste o criterio externo pueden ser las notas o calificaciones académicas obtenidas por los estudiantes (lo que no es aplicable a las evaluaciones externas dado el carácter confidencial de las mismas).

Para seleccionar un ítem que irá a la prueba tendremos en cuenta los siguientes puntos:

1. Correlación del ítem con un criterio externo (si lo hay). 2. Correlación del ítem con la puntuación total del test (consistencia interna). 3. Dificultad del ítem (grado de adecuación de la competencia). 4. Covarianza del ítem en el test.


Bloque 2, parte 3. Finalidad, objetivos y diseño de una prueba: construcción de la prueba y cuestionarios de contexto

Autores David Cervera Olivares, Paloma González Chasco y José Mª Sánchez Echave


CC - BY - SAAutores. INTEF – INEE. 2013 Pág. 2

Índice

Autores ...................................................................................................................... 1

Finalidad, objetivos y diseño de una prueba: construcción de la prueba y cuestionarios de contexto .......................................................................................... 3

1.Construcción de la prueba …………………………………………………………….3

1.1Fases ................................................................................................................ 4

1.2 Fiabilidad y validez de laprueba ....................................................................... 5

1.3 ¿Qué es una escala de rendimiento?............................................................... 5

1.4 Escalas de rendimiento en PISA ...................................................................... 8

1.5 Seguimos con escalas de rendimiento ........................................................... 12

1.6 Distribución de la prueba ............................................................................... 14

2.Cuestionarios de contexto …………………………………………………………...16

Escala tipo Likert ................................................................................................. 16

(A) PISA: cuestionario de alumnado ............................................................... 18

(B) PISA: cuestionario de centro ..................................................................... 19

(C) PIRLS y TIMSS: cuestionarios de alumno y familia ................................... 20

(D) PIRLS y TIMSS: cuestionario de profesor ................................................. 21

(E) PIRLS y TIMSS: cuestionario de centro .................................................... 23

(F) TALIS ........................................................................................................ 25

Ejercicio: verdadero o falso ................................................................................. 27





Finalidad, objetivos y diseño de una prueba: construcción de la prueba y cuestionarios de contexto

Esta tercera parte de contenidos del segundo bloque va a tratar sobre la construcción de la prueba y los cuestionarios de contexto.

1. Construcción de la prueba

Una prueba o test es una situación “problemática”, preparada y examinada con anterioridad, a la que el alumno tiene que responder siguiendo unas instrucciones o reglas. Posteriormente se estiman sus respuestas comparándolas con las respuestas del grupo normativo y así se estima la calidad y el nivel. Para todo lo anterior necesitamos dos característicasimportantes:

• Las puntuaciones tienen que poder compararse con las puntuaciones conseguidas por otros participantes.

• Las condiciones de aplicación, codificación (corrección) e interpretación han de ser las mismas para todos.

Cuando se planifica una prueba hay que definir la población objeto del estudio y la finalidad:

• Población objeto de la muestra (edad, nivel, etc.) • Objetivo de la prueba (diagnóstico, evaluación, propuestas de mejora, etc.)

Posteriormente hay que determinar el contenido de la prueba, las preguntas o técnicas a incluir y el límite de tiempo y número de ítems. Sin olvidar definir objetivos, contenidos y competencias específicos, ponderaciones de los mismos y tipos específicos de ítems a incluir.

Podemos establecer un proceso general para la construcción de una prueba. Algunos de ellos ya los conoces y otros se verán a lo largo del curso:

• Definición de la finalidad y el propósito de la prueba: Marco de la evaluación. • Elaboración de la matriz de especificaciones. • Construcción y validación de ítems. • Selección de ítems y construcción de pruebas piloto. • Pilotaje de laspruebas. • Análisis y selección de los ítems definitivos. • Elaboración de la escala de rendimiento. • Descripción e interpretación de la escala. • Análisis y explotación de resultados.





1.1 Fases En el siguiente esquema se representan de forma esquemática las fases y etapas, desde el diseño de la matriz de especificaciones hasta conseguir resultados analizables.

Nota

En muchas ocasiones se presupone que en preguntas de elección múltiple el azar juega un papel importante, pero es un factor claramente detectable al disponer de pruebas que han sido analizadas antes de realizar el estudio principal. Un alumno que responde al azar tendrá preguntas muy sencillas mal y otras de elevada complejidad bien, lo que nos indicaría que el alumno está contestando de manera aleatoria, por lo que podría ser causa de un análisis más detallado. Tendrá un patrón de respuesta diferenciado.

Nota

Por otro lado las pruebas por ordenador modifican las condiciones de aplicación y desarrollo de una prueba. En la actualidad hay una clara apuesta por el empleo de medios informáticos en este tipo de pruebas. La OCDE lleva años probando y pilotando la comparabilidad de los resultados de la pruebas de lápiz y papel y las realizadas con apoyo de ordenador (PISA-ERA / 2009; PISA-CBA / 2012) y la próxima edición PISA 2015 será íntegramente con ordenador.





1.2 Fiabilidad y validez de la prueba

Fiabilidad de la prueba Es un concepto relacionado con la estabilidad de la medida proporcionada por la prueba, con su consistencia y con la predictibilidad de la misma.

• Cuando a las mismas personas se les pasa la misma prueba en diferentes momentos, si no han cambiado, deberían obtener las mismas puntuaciones (o muy parecidas). Fiabilidadcomoestabilidad temporal (correlación entre test – retest)

• De una prueba de competencia, por ejemplo en matemáticas, esperamos que todos sus elementos midan lo mismo (competencia matemática) y que, por tanto, sean sumables en una puntuación total única. Fiabilidadcomoconsistenciainterna.

Validez de la prueba

• Grado en que mide lo que pretende medir y no otra cosa. • Necesidad de referente o criterio externo (una prueba de matemáticas debe

medir conocimientos matemáticos y no añadir dificultad por un uso complejo del idioma; una prueba de comprensión lectora no debe medir la corrección ortográfica del ejercicio).

1.3 ¿Qué es una escala de rendimiento? Más allá de complejos análisis estadísticos, la escala de rendimiento la podemos entender como una simplificación de la matriz de especificaciones en la que se fijan unos niveles que definen lo que sabe hacer el alumno que es capaz de superar los ítems de ese nivel.

Para ello, consideremos todos los descriptores de los bloques de contenidos asignados al proceso cognitivo I. Si reorganizamos todos los descriptores de mayor facilidad a menor facilidad, podemos hacer dos niveles de dificultad dentro del primer proceso cognitivo, dado que si, por ejemplo, hablamos de matemáticas habrá determinados descriptores de números más fáciles que otros de geometría, pero algunos de geometría serán más fáciles que alguno de números. Si repetimos el proceso con los demás procesos, podremos establecer seis niveles de rendimiento como, por ejemplo, establece PISA, o los cinco niveles que establece la IEA para PIRLS y TIMSS. En el siguiente esquema podemos ver gráficamente esta simplificación, aunque debemos destacar que PISA, al estar más alejada de los contenidos curriculares, incluye en los distintos niveles tareas de distinta consecución de la capacidad.





En la imagen se han definido cuatro bloques de contenidos (A, B, C y D) que se organizan de menor a mayor dificultad según los descriptores empleados para el Proceso I. En el caso de los procesos II y III se han representado simplemente los de una organización de descriptores (D-II y D-III), sin especificar el bloque de contenidos al que pertenecerían.

En la imagen puedes observar cómo los descriptores de cada proceso se han clasificado según el nivel de dificultad, generando en el ejemplo 6 niveles. Los recuadros marcados en rojo, naranja, morado, azul y verde son los ítems cuyos descriptores tienen la incertidumbre de permitir diferenciar entre niveles, discriminan el nivel en el que está el estudiante, confirmando con el resto de descriptores de ese nivel la pertenencia al mismo.

La simplificación mostrada anteriormente, aunque válida, se complica en el caso de la evaluación PISA, donde debemos considerar una matriz de especificaciones tridimensional, dada la distancia que esta prueba tiene de los contenidos curriculares y la mayor vinculación con las competencias adquirida. Observa la siguienteimagen.





A continuación se incluye una tabla en la que se indican los intervalos que PISA ha establecido en las últimas ediciones para cada uno de los niveles y por competencia evaluada. Dado que en cada edición se tiene mayor intensificación en una de las competencias, la tabla muestra una simplificación sobre los niveles reales empleados en cada edición.

NIVEL LECTURA MATEMÁTICAS CIENCIAS

6 + 698 + 668 + 708

5 626 – 698 607 – 668 634 – 708

4 553 – 625 545 – 606 560 – 633

3 481 – 552 483 – 544 485 – 559

2 408 – 480 421 – 482 411 – 484

1 335 – 407 358 – 420 335 - 410

< 1 -335 -358 -335





1.4 Escalas de rendimiento en PISA

La siguiente tabla recoge de manera resumida las tareas que podemos vincular a cada nivel de competencia y, por tanto, lo que un alumno sabría hacer si resuelve los ítems vinculados a estos niveles de competencia PISA.

CARACTERÍSTICAS DE LAS TAREAS EN CADA NIVEL DE COMPETENCIA ¿Qué son capaces de hacer los alumnos en cada nivel?

NIVEL LECTURA MATEMÁTICAS CIENCIAS

6

Las tareas requieren habitualmente hacer múltiples inferencias, comparaciones y contrastes precisos y detallados. Implican la demostración de una comprensión completa y detallada de uno o más textos y puede requerir integrar información de más de un texto. El lector maneja ideas con las que no está familiarizado, junto con información distractora, elaborando interpretaciones. Las tareas de Reflexión y Valoración pueden implicar que el lector haga hipótesis sobre un texto complejo, o que lo valore críticamente, con múltiples criterios o perspectivas.

Los alumnos conceptualizan, generalizan y utilizan información a partir de sus propias indagaciones. Relacionan diversas fuentes y representan la información. Muestran un pensamiento matemático avanzado. Pueden aplicar su comprensión y entendimiento, junto con su dominio de las operaciones y relaciones matemáticas simbólicas y formales, al desarrollo de nuevos enfoques y estrategias para afrontar situaciones nuevas. Pueden formular y comunicar con precisión sus acciones y reflexiones relacionadas con sus hallazgos, interpretaciones y razonamientos, así como su adecuación a las situaciones originales.

Los estudiantes identifican, explican y aplican, de manera consistente, el conocimiento científico y el conocimiento sobre la ciencia en una variedad de circunstancias complejas de la vida. Relacionan diferentes fuentes de información y explican, y utilizan la evidencia de las fuentes para justificar sus decisiones. Demuestran pensamiento y razonamiento científicos avanzados, y demuestran la voluntad de utilizar su entendimiento científico orientado a solucionar problemas científicos y tecnológicos poco comunes para ellos. Utilizan el conocimiento científico para resolver situaciones personales, sociales o globales.





5

Las tareas que implican recuperación de información requieren que el lector localice y organice varios elementos de información que están profundamente insertados en el texto, infiriendo que información del texto es relevante. Las tareas de reflexión implican la valoración crítica de hipótesis, basándose en conocimientos especializados. Tanto las tareas Interpretación como las de Reflexión requieren una comprensión completa y detallada del texto cuyo contenido o forma no son familiares.

Los estudiantes trabajan con modelos apropiados en situaciones complejas, identificando limitaciones y estableciendo supuestos. Seleccionan, comparan y valoran estrategias de solución. Pueden desarrollar estrategias utilizando un pensamiento amplio y bien desarrollado, destrezas de razonamiento, representaciones adecuadamente relacionadas, caracterizaciones simbólicas y formales, y una comprensión global acorde a estas situaciones. Pueden reflexionar sobre sus acciones y son capaces de formular y comunicar sus interpretaciones.

Los estudiantes identifican los componentes científicos de muchas situaciones complejas de la vida y aplican tanto los conceptos científicos como el conocimiento acerca de la ciencia a dichas situaciones, y pueden comparar, seleccionar y evaluar la evidencia científica adecuada para responder a circunstancias específicas de la vida. Utilizan la Investigación vinculando el conocimiento con razonamiento crítico. Pueden dar explicaciones basados en evidencias y argumentos que surgen del análisis crítico.

4

La recuperación implica localizar y organizar información insertada en el texto. El lector debe interpretar el significado de sutilezas del lenguaje en una parte del texto teniendo en cuenta todo el conjunto. Otras tareas de Interpretación implican la comprensión y aplicación de categorías en un contexto desconocido. Las tareas de Reflexión de este nivel conllevan que los lectores utilicen conocimientos formales o públicos para establecer hipótesis sobre el texto o para valorarlo. Los lectores deben demostrar una comprensión precisa de textos largos o complejos cuyo contenido o forma pueden ser desconocidos.

Los estudiantes trabajan con modelos explícitos adecuados para situaciones complejas concretas que pueden incluir limitaciones o requerir que se establezcan supuestos. Pueden seleccionar e integrar diversas representaciones, incluyendo representaciones simbólicas, y relacionarlas directamente con aspectos de las situaciones del mundo real. Pueden utilizar destrezas bien desarrolladas y razonar con flexibilidad en estos contextos con cierta pericia. Pueden generar y comunicar explicaciones y argumentaciones fundamentadas en sus interpretaciones, razonamientos y acciones.

Los estudiantes trabajan con eficacia en situaciones y problemas que pueden involucrar fenómenos explícitos requeridos para hacer deducciones sobre el papel de la ciencia o tecnología. Seleccionan e integran explicaciones de diferentes disciplinas de ciencia o tecnología y vinculan estas explicaciones directamente con los aspectos de la vida cotidiana. Los estudiantes en este nivel reflexionan sobre sus acciones y comunican sus decisiones utilizando el conocimiento y la evidencia científica.





Los estudiantes identifican Localizar y reconocer las claramente los relaciones entre varios Los estudiantes pueden problemas científicos elementos de información. llevar a cabo descritos en diversos Integrar varias partes de un procedimientos que estén contextos. Pueden texto para identificar una idea claramente descritos, seleccionar hechos y principal, comprender una incluyendo los que conocimientos para relación o construir el requieren decisiones de explicar fenómenos y significado de una palabra o tipo secuencial. Pueden aplicar modelos frase. Comparar, contrastar o seleccionar y aplicar sencillos o categorizar. Los textos estrategias simples de estrategias de

3 incluyen obstáculos tales como ideas que son contrarias. Las

solución de problemas. Pueden interpretar y utilizar

investigación. Los estudiantes en este

tareas de Reflexión necesitan representaciones basadas nivel interpretan y que se hagan conexiones y en diferentes fuentes de utilizan conceptos de comparaciones, y se den información y razonar distintas disciplinas y explicaciones, o pueden directamente a partir de los aplican requerir que el lector evalúe ellas. Pueden generar directamente. una característica del texto. comunicaciones breves Desarrollan breves Otras tareas requieren que el que expliquen sus comunicados lector se fundamente en interpretaciones, resultados refiriendo hechos y conocimientos menos y razonamientos. toman decisiones comunes. basadas en el conocimiento

científico.

Los alumnos tienen un conocimiento

2

Localizar uno o más elementos de información, que puede ser necesario inferir. Reconocer la idea principal en un texto, la comprensión de relaciones o la construcción de un significado de una parte limitada del texto cuando la información no es prominente y el lector debe hacer inferencias de baja complejidad. Hacer una comparación o establecer varias conexiones entre el texto y los conocimientos externos al texto, a partir de la experiencia y las actitudes personales.

Los estudiantes pueden interpretar y reconocer situaciones en contextos que no requieran más que una inferencia directa. Pueden extraer información relevante de una única fuente y utilizar un único modo de representación. Pueden emplear algoritmos, fórmulas, procedimientos y convenciones básicos. Son capaces de realizar un razonamiento directo y de hacer interpretaciones literales de los resultados.

científico adecuado para ofrecer explicaciones posibles en contextos que conocen o sacar conclusiones basadas en investigaciones sencillas. Son capaces de razonar directamente e interpretar literalmente los resultados de una investigación científica o la resolución de un

problema tecnológico.

Las tareas implican reconocer Las preguntas que se Los estudiantes el tema principal o el propósito encuentran los estudiantes tienen un del autor o establecer implican contextos conocimiento

conexiones sencillas entre la familiares en los que está científico tan limitado 1 información del texto y presente toda la que sólo lo pueden

conocimientos comunes y información relevante aplicar a pocas cotidianos. La información que claramente definida. Lo situaciones que se solicita del texto es alumnos identifican la conocen. Dan





prominente y no suele haber información distractora. El lector considerafactoresrelevantes del texto.

información y llevan a cabo procedimientos rutinarios siguiendo instrucciones directas en situaciones explícitas.

explicaciones científicas obvias y parten de evidencias explícitas.

El lector localiza un elemento aislado de información

< 1

expuesta explícitamente en una posición prominente de un texto corto, sintácticamente sencillo, y con un contexto y tipo de texto conocidos, tales como una narración o un listado. El texto proporciona ayuda al lector, mediante la repetición de la información, dibujos o símbolos conocidos. La información distractora es

El estudio PISA por el momento no ha incluido tareas matemáticas que puedan describirse para los estudiantes que no alcanzan el nivel 1.

El estudio PISA por el momento no ha incluido tareas de ciencias que puedan describir para los estudiantes que no alcanzan el nivel 1.

mínima. En tareas que necesitan Interpretación el lector establece conexiones entre elementos de información adyacentes en el texto.





1.5 Seguimos con escalas de rendimiento

Para poder realizar comparaciones y analizar en profundidad los rendimientos, se emplea una escala con una puntuación central de referencia de 500 puntos y una desviación típica de 100 puntos.

A cada país se le asigna una puntuación global que equivale al promedio de puntuaciones de su alumnado, que permite hacer comparaciones entre países y entre las puntuaciones de un mismo país a lo largo de los años (análisis de tendencia). La puntuación de 500 es una referencia central que facilita posicionarse con respecto a los demás países. A la puntuación media de cada país, en el gráfico de rendimientos o en la tabla asociada con los datos de los informes de resultados, le acompaña una cifra que marca el error típico, o margen de error estadístico. Trataremos este tema en el último bloque del curso, pero por poner un ejemplo, en la figuras siguientes tenemos el rendimiento promedio en PIRLS 2011 para tres países. España obtuvo una puntuación de 513 puntos y el error típico es 2,3.





En el bloque 4 se explica mediante ejemplos qué es la desviación típica y el error típico.

Nota

Hemos visto en el ejemplo anterior la escala empleada para PISA ciencias en 2006. A continuación se muestra la escala de puntuaciones de PIRLS y TIMSS que establece niveles de rendimiento en las tres competencias evaluadas: “comprensión lectora”, “matemáticas” y “ciencias”. En la siguiente tabla se indican las puntuaciones internacionales de corte o nivel (International Benchmarks).

Tomando esas puntuaciones como puntos de corte o de nivel, es posible distribuir los sistemas educativos participantes en cinco grandes grupos según niveles de logro, para estas evaluaciones de la IEA.

Nivel de rendimiento Puntuación

Nivelavanzado superior a 625

Nivel alto entre 550 y 625

Nivelmedio entre 475 y 550

Nivelbajo entre 400 y 475

Nivelmuybajo inferior a 400





1.6 Distribución de la prueba

Estos estudios no pueden devolver información por alumnos sin cometer un elevado error estadístico, dado que son estudios en los que la muestra representa al estado o nación. Además los cuadernillos responden a una distribución de ítems de forma matricial, por lo que cada alumno responde preguntas distintas, pero de la aplicación global conseguimos un número de respuestas por ítem adecuado para los objetivos que pretende la evaluación. Si cada alumno realizara la prueba completa, tardaría en torno a las siete horas. Por esta razón se emplea una distribución matricial, de forma que cada alumno realiza una parte concreta de la totalidad de la prueba, pero se consiguen suficientes respuestas a todas las preguntas de la prueba en el cómputo total.

Veamos por ejemplo la distribución de la prueba TIMSS. Cada alumno solo responde un cuadernillo que tiene dos partes: una con 2 bloques de matemáticas y la otra con 2 de ciencias. Cada parte suele tener unas 20 preguntas, 10 aproximadamente por bloque, por lo que el alumno responde unas 40 preguntas. Para cada parte, los alumnos disponen de 36 minutos con un breve descanso intermedio.

Los 28 bloques de la prueba, 14 de matemáticas (M01 a M14) y 14 de ciencias (C01 a C14), se distribuyen en 14 cuadernillos mediante la técnica de muestreo matricial, tal como se indica en la siguiente figura. De este modo, cada bloque se repite en dos cuadernillos en los que se asocia con bloques distintos.

Además, la mitad de los cuadernillos lleva en su primera parte los bloques de matemáticas y la otra mitad los de ciencias. Esto es lo que se denomina contrabalancear las pruebas de forma que el agotamiento no sea un factor que produzca que la última parte se haga en peores condiciones. De esta forma la mitad del alumnado hace una parte al principio y la otra mitad al final, evitando que el agotamiento afecte a los resultados de una prueba o conjunto de ítems por estar colocados al final.

Por otra parte, la distribución de los bloques entre los cuadernillos se complementa con una distribución de estos entre los alumnos, de forma que cada uno es contestado por un número equivalente de alumnos.





Esta distribución de bloques y cuadernillos asegura la representatividad y fiabilidad de los resultados, en primer lugar, porque neutraliza el efecto que puedan tener las condiciones de respuesta a cada bloque (al principio o al final de la prueba, asociado a uno u otro bloque más o menos atractivo, etc.) y, sobre todo, porque garantiza que en cada país el conjunto de alumnos que responde a un bloque de ítems es equivalente en número y niveles de capacidad a los que responden a los demás bloques.

Otro aspecto importante tiene que ver con la evaluación de la tendencia a lo largo de los años en el rendimiento del alumnado. TIMSS permite medir y comparar cada cuatro años los rendimientos obtenidos en sucesivas ediciones del estudio, dado que algo más de la mitad de los ítems en cada prueba se han utilizado también en ediciones anteriores. Así, por ejemplo, al concluir TIMSS 2007 se reservaron 8 de los 14 bloques de matemáticas y otros tantos de ciencias para la prueba de 2011. Los bloques restantes (6 de matemáticas y 6 de ciencias) fueron reemplazados por nuevos bloques de ítems una vez probados y calibrados en el estudio piloto antes de su utilización final en 2011.

Para conocer más en detalle la distribución matricial de otras pruebas se recomienda la consulta de los marcos teóricos de PISA, PIRLS y TIMSS.





2. Cuestionarios de contexto

El aprendizaje del alumnado tiene lugar dentro de un contexto y no de manera aislada, y es por ello por lo que las evaluaciones internacionales hacen todo el esfuerzo posible para obtener información sobre los principales factores que fomentan la mejora de las competencias. Los cuestionarios se centran en los procedimientos y las prácticas que han demostrado ser eficaces para aumentar el rendimiento en ellas. De esta manera, los países pueden evaluar mejor sus resultados, en términos de la prevalencia de la situación en los hogares, en el centro o en la práctica de la enseñanza por países, referida al rendimiento del estudiante.

Hay numerosos factores contextuales que afectan al aprendizaje de los estudiantes. Por ejemplo, el tipo de escuela, los recursos escolares, los métodos de enseñanza, las características del profesor, las actitudes de los estudiantes y la ayuda al aprendizaje en sus hogares contribuyen en gran medida, al aprendizaje y al logro de los estudiantes. Por tanto, el marco contextual identifica las principales características del contexto educativo y social que se estudiarán con el fin de mejorar el aprendizaje del estudiante.

Comenzaremos este último apartado explicando qué es una escala tipo Likert, puesto que se usa profusamente en este tipo de cuestionarios.

Escala tipo Likert

La Escala de tipo Likert es una escala psicométrica (disciplina que se encarga de la medición en psicología) comúnmente utilizada en cuestionarios, y es la escala de uso más amplio en encuestas para la investigación, principalmente en ciencias sociales.

Al responder a una pregunta de un cuestionario elaborado con la técnica de Likert, se especifica el nivel de acuerdo o desacuerdo con una declaración (ítem o pregunta). La escala se llama así por Rensis Likert, quien publicó en 1932 un informe donde describía su uso.

Un elemento de tipo Likert es una declaración que se le hace a los sujetos (en nuestro caso alumnos, padres, profesores o directores) para que estos lo evalúen en función de su criterio subjetivo; generalmente se pide a los sujetos que manifiesten su grado de acuerdo o desacuerdo mediante unos niveles.

La escala de Likert es un método que mide tanto el grado positivo como neutral y negativo de cada enunciado.





El siguiente ejemplo lo hemos extraído del cuestionario del alumno de PISA 2009:

Después de completar el cuestionario, cada elemento se puede analizar por separado o, en algunos casos, las respuestas a cada elemento se suman para obtener una puntuación total para un grupo de elementos. Por ello las escalas de tipo Likert son un tipo de escalas sumativas.

Más información

Puedes consultar esta página web: http://es.wikipedia.org/wiki/Escalas_Likert



http://es.wikipedia.org/wiki/Escalas_Likert



(A) PISA: cuestionario de alumnado

El cuestionario del alumnado se centra en su trayectoria educativa; el contexto familiar y los recursos del hogar; el ambiente del aula y el aprendizaje en la competencia principal del ciclo de aplicación (lectura, matemáticas o ciencias); el centro donde estudia; experiencias con la resolución de problemas. Además, contestan preguntas sobre su acceso a las tecnologías de la información y comunicación, el uso que hacen de los ordenadores y su actitud hacia los mismos.

PISA obtiene información de los alumnos para determinar las diferencias individuales existentes entre ellos que puedan explicar las diferencias en el rendimiento. Las principales categorías de información son:

• Contexto socioeconómico de los alumnos: los padres con mayor formación son capaces de proporcionar un conjunto más rico de experiencias que favorecen la educación de sus hijos antes y durante su estancia en la escuela. También son capaces de facilitar un mayor acceso a materiales, viajes y otros recursos que despiertan la curiosidad de sus hijos. También se consulta la profesión de los padres.

• Condición de inmigrante. • Estilos de aprendizaje: información sobre la manera de estudiar del alumno. • Actitudes y actividades de la competencia evaluada: preferencia y

comportamiento del alumno ante determinadas actividades de lectura, matemáticas o ciencias.

• Calidad del profesorado: es importante la calidad y profundidad del personal docente. Pero todavía lo es más el modo de enfocar la enseñanza y la actitud hacia los alumnos y las asignaturas. Hay otros factores que favorecen el aprendizaje como maximizar el tiempo activo de formación, utilizar distintos enfoques, establecer expectativas elevadas y ofrecer el apoyo necesario para los diferentes tipos de alumnos.

• Oportunidad de aprender: frecuencia de diferentes actividades o tipos de ejercicios de la competencia principal evaluada.

• Disciplina en el aula: un ambiente disciplinado es una condición clave para el aprendizaje, y se producen rendimientos superiores en los alumnos cuando se consigue dicho ambiente.

• Condiciones de enseñanza y aprendizaje que proporcionan apoyo: percepción de los alumnos sobre el interés y apoyo del profesor.





(B) PISA: cuestionario de centro

La organización de los centros docentes es compleja y varía considerablemente, no solo de un país a otro, sino también entre provincias o regiones. PISA intenta identificar las diferencias que tienen más posibilidades de afectar al rendimiento de los alumnos y selecciona aquéllas que serán medidas en el marco de tiempo limitado destinado a la administración de los cuestionarios.

El cuestionario del centro se administra a los directores y versa sobre la estructura y organización del centro educativo; el alumnado y el profesorado; los recursos del centro; la enseñanza, el currículo y la evaluación del centro; el ambiente en el centro; la política y las prácticas del centro; y la educación financiera en el centro. Se tarda aproximadamente 30 minutos en contestarlo.

Algunas de las principales categorías en las que PISA trata de reunir información general sobre las características de los centros educativos son:

• Liderazgo escolar: la investigación sobre este tema ha tenido un cierto éxito a la hora de medir las actividades de los directores en aspectos clave del programa educativo y relacionarlas con los resultados de los alumnos. El objetivo es recopilar información sobre los directores que se dedican activamente a atender aquellos aspectos que parecen más eficaces para mejorar el aprendizaje de sus alumnos.

• Composición de la matrícula: el tipo de alumnado repercute en el rendimiento escolar.

o Los centros con estudiantes de nivel socioeconómico alto tienden a crear un ambiente escolar general ambicioso y apoyar un aprendizaje académico que proporciona ventajas a todos los alumnos matriculados, independientemente del estatus socioeconómico alto o bajo que puedan tener.

o El porcentaje de inmigrantes según su zona de origen también afecta al rendimiento. Estos estudiantes se enfrentan a una serie de inconvenientes como tener una lengua materna diferente de la lengua oficial del centro escolar. Además, tienen que adaptarse a un entorno cultural desconocido y pueden ser víctimas de discriminación.

• Apoyo ofrecido por el entorno escolar: o El bienestar económico de la comunidad circundante tienen a ejercer

una influencia positiva en la comunidad educativa del centro. Esto es debido a que dichas comunidades suelen ser más seguras, con un menor índice de delincuencia y violencia. Y por otro lado, estos barrios disponen de más recursos para apoyar a los centros de manera informal a través del voluntariado o la prestación ocasional de recursos adicionales.





o La participación de los padres tiene un efecto directo. Cuando los centros fomentan esta participación, los padres pueden ser más eficaces a la hora de apoyar los programas escolares y el progreso educativo de sus hijos.

• Énfasis curricular: es el tiempo dedicado en el centro a materias concretas del currículo, como la lectura, las matemáticas o las ciencias. Algunos centros escolares exigen a los docentes que dediquen una cierta cantidad de tiempo a intensificar la enseñanza de estas áreas.

• Actividades extraescolares: inventario de actividades escolares ofrecidas a los alumnos que hagan hincapié en las competencias evaluadas en PISA.

• Tamaño del centro: los centros educativos con mayor número de alumnos pueden ofrecer mayor variedad de programas, asignaturas optativas y actividades extraescolares. Sin embargo, los centros de mayor tamaño también tienden a ser más impersonales, donde los alumnos pueden sentir que no están muy apoyados por los profesores y el resto del personal. Así, la relación de tamaño transcurre en ambas direcciones y no hay un consenso general sobre dónde se encuentra el equilibrio.

(C) PIRLS y TIMSS: cuestionarios de alumno y familia

Los estudiantes aportan experiencias y expectativas a la clase, esto afecta a su capacidad de aprendizaje y motivación. El éxito de los centros y de los profesores en la aplicación del currículo está influenciado por los conocimientos y capacidades previas de los estudiantes, así como por sus actitudes hacia el aprendizaje de la lectura, las matemáticas y las ciencias.

Cada estudiante que es sometido a la evaluación de PIRLS y/o TIMSS completa un cuestionario que le pregunta sobre los aspectos de su vida en su hogar y en el centro, incluyendo información demográfica básica, su entorno familiar, el ambiente escolar para el aprendizaje, su auto-percepción y sus actitudes hacia la lectura, las matemáticas y las ciencias. La contestación al cuestionario para el estudiante requiere un tiempo de unos 30 minutos, y el de familias de unos 15 minutos.

Una explicación más detallada sobre cada ámbito consultado se presenta a continuación:

• Demografía y antecedentes domésticos de los estudiantes: los estudiantes entran en los centros procedentes de distintos orígenes y con diferentes experiencias. Existe una amplia evidencia por la que se piensa que el logro del estudiante está relacionado con:

o Sus características, como el sexo o la lengua. o Factores relativos a su origen, como el estatus migratorio (el origen

inmigrante de un estudiante cuya lengua materna no es el idioma en el que se imparte la enseñanza) o el nivel socioeconómico (fuerte





relación positiva entre los logros y los indicadores de estatus socio-económico, tales como, nivel de educación o trabajo de los padres o tutores, número de libros en el hogar, la presencia de una mesa de estudio y la disponibilidad de un ordenador y una conexión a Internet).

o El apoyo de los padres, que pueden estar más dispuestos a ayudar en las tareas escolares cuando están capacitados e interesados en el contenido, independientemente de las calificaciones de sus hijos.

• Actitudes hacia el aprendizaje de la lectura, las matemáticas y las ciencias: los estudiantes con más autoeficacia o con mayor autoestima, generalmente rinden más en estas disciplinas. Debido a que la motivación para aprender incluye tener la sensación de poder tener éxito, es importante, que los estudiantes tengan un fuerte concepto de sí mismos acerca de sus habilidades.

(D) PIRLS y TIMSS: cuestionario de profesor

El profesor es el agente principal de la aplicación del currículo y también, una influencia muy determinante para el ambiente en el aula. A pesar de que las políticas y recursos curriculares del centro marcan a menudo el rendimiento general en el aula, y de que el centro proporciona un contexto general para el aprendizaje, las actividades diarias de clase de los estudiantes pueden tener un impacto mucho más directo sobre su rendimiento en lectura, matemáticas y ciencias.

Este cuestionario está diseñado para recoger información sobre las características de los profesores, así como, sobre los contextos del aula para la enseñanza y el aprendizaje de la lectura, las matemáticas y las ciencias.

El cuestionario del profesor formula preguntas sobre los antecedentes de los profesores, sus puntos de vista sobre las oportunidades de colaboración con otros profesores, su satisfacción en el trabajo, y su educación y formación, así como, sobre el desarrollo profesional. El cuestionario, recoge información sobre las características de las clases a las que se les ha aplicado la prueba en el estudio PIRLS o TIMSS, el tiempo de formación, los materiales y actividades para la enseñanza y el fomento del interés de los estudiantes en las asignaturas, el uso de ordenadores, prácticas de evaluación y deberes.

Para su contestación requiere unos 45 minutos de tiempo de los profesores.

Una explicación más detallada sobre cada ámbito consultado se presenta a continuación:

• Educación y desarrollo del profesor: resultados de investigaciones sugieren que, para conseguir excelencia docente, los profesores deben tener una buena capacidad académica, enseñar en el campo en el que han recibido su





formación (título académico específico para la asignatura que enseñan), tener suficientes años de experiencia y participar en una inducción de alta calidad y en programas de desarrollo profesional (a través de seminarios, talleres, conferencias y publicaciones profesionales que puedan ayudar a los profesores a aumentar su eficacia y a mejorar sus conocimientos).

• Características del profesor: o Los estudiantes aprenden más, cuando las asignaturas son impartidas

por profesores con experiencia. o Las actitudes de los profesores, como la motivación y la autoeficacia,

conforman las experiencias y logros académicos de los estudiantes. Los profesores que están satisfechos con su profesión y con las condiciones de trabajo en su escuela están más motivados para enseñar y preparar sus clases. Los factores de insatisfacción pueden ser los salarios bajos, un número excesivo de horas de enseñanza, la falta de equipamiento y espacio de trabajo, y la falta de comunicación y colaboración entre el personal docente. La autoconfianza de los profesores respecto a sus capacidades para enseñar se asocia con el rendimiento y la motivación de los estudiantes.

• Características de la clase: las características fundamentales del aula son el tamaño, el tiempo de enseñanza y la composición de la clase.

o Algunas investigaciones indican que los grupos de clases menos numerosos durante los primeros años de escolarización pueden ser beneficiosos para el desarrollo académico de los estudiantes.

o El tiempo de enseñanza debe utilizarse de manera eficaz para alcanzar los objetivos de aprendizaje, y no se debe desperdiciar para actividades secundarias no relacionadas con los contenidos de la enseñanza.

o Los estudiantes con alguna barrera física o psicológica, como la desnutrición o la privación del sueño, no son capaces de asistir y participar igual de bien en el aula. Si los estudiantes están despiertos y bien alimentados estarán más preparados para el aprendizaje que un aula llena de estudiantes cansados y hambrientos, o con discapacidades no resueltas.

• Materiales y tecnología de instrucción: o Ordenadores e Internet ofrecen a los estudiantes formas de explorar

los conceptos en profundidad, desencadenan el entusiasmo y la motivación por aprender, permiten que los estudiantes aprendan a su propio ritmo y proporcionan, a los mismos, acceso a extensas fuentes de información. Para que los ordenadores estén integrados de manera efectiva en la enseñanza, los profesores tienen que sentirse cómodos al usarlos, y recibir el apoyo técnico y pedagógico adecuado.

o Muchos países tienen políticas que regulan el acceso y el uso de calculadoras, especialmente en los cursos menos avanzados.

o Libros de texto o libros de trabajo, herramientas o representaciones visuales de objetos matemáticos que ayudan a los estudiantes a entender las cantidades y los procedimientos, etc.

• Temas del currículo que se enseñan (TIMSS): la medida en que se atienden en la clase los temas de matemáticas y ciencias de los marcos teóricos de TIMSS. Se pregunta a los profesores de las dos disciplinas acerca de si se han





cubierto en clase los temas de prueba, ya sea en el año actual o en el anterior, y el porcentaje de tiempo de clase dedicado a los dominios de ambas asignaturas.

• Actividades de instrucción: o Las principales prácticas, que aumentan la motivación, incluyen el

establecimiento de objetivos, llevar materiales interesantes a clase, relacionar lo que los estudiantes están aprendiendo con su vida diaria y ofrecer recompensas extrínsecas y elogios.

o Los estudiantes que realizan actividades de aprendizaje práctico superan a sus compañeros.

o Los deberes para el hogar constituyen una forma de extender la enseñanza y evaluar el progreso del alumno. En algunos países, los deberes se establecen normalmente para los estudiantes que más lo necesitan. En otros países, los estudiantes tienen que hacer deberes como un ejercicio de enriquecimiento.

• Evaluación: los profesores dedican una buena cantidad de tiempo a la evaluación del estudiante. La frecuencia y el formato de la evaluación son importantes indicadores de la enseñanza y la pedagogía escolar. Las evaluaciones informales durante la instrucción ayudan a los profesores a identificar las necesidades de las distintas personas, a evaluar el ritmo de la presentación y a adaptar la enseñanza. Las pruebas oficiales y las evaluaciones estandarizadas de los profesores, por lo general, se utilizan para tomar decisiones importantes acerca de los estudiantes, tales como calificaciones o notas.

(E) PIRLS y TIMSS: cuestionario de centro

El entorno y la organización de una escuela influyen en la facilidad y la eficacia de la aplicación de los objetivos curriculares. Aceptando que una escuela eficaz, no es simplemente una colección de atributos discretos, sino más bien, un sistema integrado y bien gestionado donde cada acción o política afecta directamente a todas las demás partes. Se hace hincapié en un conjunto de indicadores de calidad de los centros, que la investigación ha demostrado que caracterizan a centros eficaces que a su vez tienen éxito en la consecución de los objetivos curriculares.

Se pide al director de cada escuela participante en el estudio TIMSS que responda a este cuestionario. Se le pregunta sobre las características del centro, el tiempo de enseñanza, recursos y tecnología, participación de los padres, el clima del centro para el aprendizaje, el personal docente, el papel del director y la disponibilidad del centro escolar para los estudiantes. Está diseñado para que haya que dedicarle unos 30 minutos.

Una explicación más detallada sobre cada ámbito consultado la tenemos a continuación:





• Características del centro: el tamaño del centro, su ubicación y las características de los estudiantes tienen repercusiones respecto a cómo funciona el sistema escolar.

• Organización escolar para la enseñanza: o El tiempo de instrucción puede influir en el rendimiento. o El director del centro, con su estilo de liderazgo, tiene un efecto

indirecto en el rendimiento estudiantil. Un director eficaz aporta coherencia a las complejidades de la escolarización alineando la estructura y la cultura del centro con su propósito básico. Esto incluye guiar al centro en el establecimiento de direcciones y en la búsqueda de oportunidades futuras, controlar el logro de los objetivos del centro, y crear y mantener un ambiente de aprendizaje eficaz y un clima escolar positivo.

• Clima escolar para el aprendizaje: se compone de muchos factores, incluidos los valores, las culturas, las prácticas de seguridad y las estructuras organizativas que hacen que una escuela funcione y reaccione de determinadas formas.

o El respeto de los estudiantes y profesores; un ambiente seguro y ordenado; así como las interacciones constructivas entre los administradores, profesores, padres y alumnos, contribuyen a un clima escolar positivo y conducen a un logro académico más alto. Es importante recopilar información sobre el clima escolar percibido, tanto por los alumnos como por los profesores y los directores.

o La investigación ha demostrado que una buena asistencia de estudiantes y profesores se relaciona con un mayor rendimiento. Si los estudiantes no asisten al centro escolar con regularidad, se reducen drásticamente sus oportunidades de aprender.

• Profesorado: o Los directores eficaces son más creativos a la hora de encontrar

maneras de asegurar los recursos necesarios para poner oportunidades de desarrollo profesional a disposición de sus profesores.

o Una de las preguntas que se realizan en el cuestionario es cómo se evalúa al profesorado para mejorar la calidad de la formación recibida por los estudiantes: observando las aulas, revisión por otros profesores o seguimiento del rendimiento de los alumnos.

• Recursos del centro: los alumnos en los centros que están bien dotados de recursos en general, tienen un mayor rendimiento que los de los centros donde la escasez de recursos afecta a la capacidad para aplicar el currículo. Hay dos tipos de recursos:

o Los recursos generales incluyen los materiales de enseñanza, el presupuesto para útiles escolares, los edificios, la calefacción / refrigeración y sistemas de iluminación y espacio en la clase.

o Los recursos específicos para lectura, matemáticas y ciencias incluyen ordenadores, software, calculadoras, equipos y materiales de laboratorio, materiales de la biblioteca y recursos audiovisuales.

• Participación de los padres: un significativo número de investigaciones indican que, cuando los padres toman parte en la educación de sus hijos, el resultado es un aumento en el rendimiento académico de los alumnos y una mejor actitud general hacia el centro. La cooperación entre el centro escolar y el hogar, sin embargo, requiere una labor de divulgación por parte del centro. Los centros con éxito se comunican con los padres de sus comunidades y les proporcionan las oportunidades y la estructura necesarias para que se involucren.





(F) TALIS

En el bloque I de este curso ya vimos que TALIS es un estudio cuyo objetivo principal es ofrecer información sobre los procesos educativos a través de encuestas a los profesores y a los directores de los centros.

En el ciclo del año 2008 dichas encuestas fueron realizadas en papel y reproducimos a continuación dos de las preguntas realizadas a los profesores que participaron en el estudio. En el ciclo del 2013, las encuestas van a ser realizadas mediante medios informáticos.

• ¿Cuánto tiempo lleva trabajando como docente? Excluya los periodos de excedencia siempre que sea posible (p. ej., paréntesis laborales).

Este es mi primer año 1-2 años 3-5 años 6-10 años 11-15 años 16-20 años Más de 20 años

• Respecto a la clase seleccionada, ¿qué porcentaje de tiempo de clase dedica generalmente a cada una de las siguientes actividades? Escriba un porcentaje para cada actividad. Escriba 0 (cero) si no dedica nada de tiempo. Asegúrese de quetodaslasrespuestassuman el 100%.

a) % Tareas administrativas (p. ej., pasar lista, distribuir información/impresos del centro)

b) % Mantenimiento del orden en clase (mantenimiento de la disciplina)

c) % Enseñanza y aprendizaje propiamente dichos

100 % Total

En el informe de resultados publicado en 2009, podemos observar que hay en cada uno de los capítulos una serie de ladillos a modo de resumen de lo que se cuenta en el informe, facilitando la lectura rápida del mismo. Algunos ejemplos son los siguientes:

“Un tercio de los profesores españoles de ESO tiene más de 50 años” (pág. 17)

“La autonomía de directores y centros con respecto al profesorado es muy escasa en España” (pág. 22)

“Todos los profesores españoles han participado en actividades de formación en los 18 meses anteriores al estudio” (pág. 23)

“Los profesores se inclinan más por considerar su trabajo como apoyo y guía del aprendizaje que como transmisión de información…” (pág. 31)





“Son varios los criterios para evaluar al profesorado” (pág. 38)

El informe se puede descargar desde el siguiente enlace:




http://www.mecd.gob.es/inee/publicaciones/estudios-internacionales.html%23TALIS_OCDE_2009_2

http://www.mecd.gob.es/inee/publicaciones/estudios-internacionales.html%23TALIS_OCDE_2009_2




1) En España, los cuestionarios utilizados en PISA 2012 han sido los del alumno, centro, profesor y familias

Verdadero Falso

2) En España, los cuestionarios utilizados en PIRLS y TIMSS 2012 han sido los del alumno, centro, profesor y familias

Verdadero Falso

3) Tanto en PISA como en PIRLS y TIMSS se le pregunta al alumno por su nivel socioeconómico.

Verdadero Falso

4) En el cuestionario de profesor de PIRLS y TIMSS se consultan diversas cuestionesobre los deberes para el hogar.

s

Verdadero Falso

5) En el ciclo 2013 la encuesta a los profesores en TALIS va a ser realizada en papel.

Verdadero Falso

6) En el cuestionario de centro de PISA se hace la siguiente pregunta "Aproximadamente, ¿cuántos ordenadores de los disponibles para los alumnos están conectados a Internet?" en la sección de evaluación del centro.

Verdadero Falso



Bloque 3. Evaluaciones externas internacionales.

Autores

David Cervera Olivares, Paloma González Chasco y José Mª Sánchez Echave. INEE




INTEF 2014 Pág. 2

Índice Bloque 3. Evaluaciones externas internacionales. ........................................................ 1

Autores ...................................................................................................................... 1

Evaluaciones externas internacionales ......................................................................... 3

Aplicación y trabajo de campo ...................................................................................... 3

Población y muestra .................................................................................................. 3

Aplicación de la prueba ............................................................................................. 5

Instrucciones para equipo directivo, aplicador y alumnos .................................. 6

Ejemplos de distribución horaria ........................................................................ 8

PIRLS y TIMSS ......................................................................................................... 8

PISA .......................................................................................................................... 8

EECL......................................................................................................................... 9

Funciones del aplicador y Situaciones especiales ........................................... 10

Instrucciones para el desarrollo de la aplicación .............................................. 10

Importante ............................................................................................................... 11

Corrección de la prueba (codificación) .................................................................... 11

Ejemplo de TIMSS ciencias ............................................................................. 12

Nutrientes ................................................................................................................ 12

Ejemplo de TIMSS ciencias: criterios de corrección ........................................ 13

TIMSS y PIRLS ............................................................................................... 14

Ejemplo de PISA ............................................................................................. 15

De mal gusto ........................................................................................................... 15

Ejemplo de PISA: criterios de corrección ......................................................... 16

¿Te atreves a codificar las respuestas? .......................................................... 18

Descarga los criterios de corrección ........................................................................ 18

Corrección del ejemplo "De mal gusto" ................................................................... 18

EECL ............................................................................................................... 20

¿Quién escribió "El Quijote"? .......................................................................... 22


INTEF 2014 Pág. 3


Aplicación y trabajo de campo

Aplicación y trabajo de campo

• Población y muestra. • Aplicación de la prueba. • Corrección de la prueba.

El proceso de aplicación es el momento en el que a través de los alumnos se consigue la información que permitirá un análisis posterior. Es importante destacar, aunque ya lo hemos mencionado anteriormente, que las evaluaciones externas internacionales no pretenden evaluar o calificar al alumno, sino que buscan analizar los sistemas educativos y detectar vías de mejora a partir de la observación de buenas prácticas que puedan ser replicadas.

Para ello se emplean las respuestas de los alumnos a las pruebas cognitivas y a los cuestionarios de contexto, que permiten extrapolar y analizar los resultados en el rendimiento a través de diversos indicadores como género, contexto social, situación económica, etc., pudiendo a través del análisis detectar fortalezas y debilidades. Por tanto, una vez configurada la prueba, dividida en sus diferentes cuadernillos o módulos informáticos y preparados los cuestionarios de contexto, se hace imprescindible ir al aula y contar con la colaboración del alumnado y su participación con implicación en la realización de los ejercicios y las distintas partes que configuran estas evaluaciones.

Si no ves correctamente la imagen anterior, puedes descargarte este PDF.

Población y muestra

El marco teórico de la evaluación determina las características del alumnado que realiza las pruebas. Según cada evaluación internacional podemos ver los siguientes ejemplos:

• PIRLS y TIMSS: grupos completos de alumnos de 4º de Educación Primaria, seleccionados aleatoriamente. Un grupo en caso de centros pequeños y dos de los grupos si el centro es grande. Consideramos que un centro es pequeño,


INTEF 2014 Pág. 4

mediano o grande en función de la línea que tienen para el curso en el que se realiza la evaluación.

• PISA: 35 alumnos seleccionados al azar de entre todos los del centro que cumplen 16 años en ese curso escolar. (En el caso de España alumnos de 4º, 3º o 2º de ESO, siempre que cumplan la condición de 15 años para cumplir 16 en ese curso escolar).

• EECL: 25 alumnos del conjunto de alumnado de 4º de Educación Secundaria Obligatoria con al menos un año en el estudio de la lengua evaluada.

No todos los centros forman parte de la muestra. Los centros son seleccionados aleatoriamente de forma que quede representada la realidad que se quiere analizar. En España, en general, se consideran los siguientes estratos (divisiones o clasificación en grupos de los que se extraen porcentajes representativos): las 17 comunidades autónomas y las ciudades autónomas de Ceuta y Melilla; de todos ellos deben existir alumnos. Además en cada Comunidad Autónoma se organizan los centros según titularidad, públicos, concertados y privados. Y dentro de estos tres grupos se subdividen en centros pequeños, medianos y grandes. Una vez asignados todos los centros del territorio español a cada grupo según esta clasificación, se seleccionan aleatoriamente de estos grupos de forma que el porcentaje de representación de cada uno de los grupos se corresponda con la realidad a analizar.

Como algunas CCAA amplían muestra en algunas evaluaciones para poder obtener datos representativos, además se puede hablar de otros estratos como las provincias, direcciones de área territorial (Madrid), servicios periféricos (Castilla-La Mancha), delegaciones provinciales, ..., según la comunidad.

Los centros seleccionados que forman parte de la muestra son informados a través de sus respectivas administraciones educativas de la participación en una u otra prueba al haber sido seleccionados como centro adjudicado. Esta información se facilita en los dos o tres meses previos a la realización de la prueba. No todos los centros realizan la prueba el mismo día dado que existe una persona (aplicador) que irá al centro a realizar la evaluación. Con suficiente antelación este acordará junto con el equipo directivo del centro el momento más adecuado para hacerla dentro del periodo establecido por el organismo internacional correspondiente (OCDE, IEA, UE).

No existe riesgo de difusión de las preguntas dado que los aplicadores entregan y recogen todo el material y el profesor que acompaña, en ningún momento tiene acceso a fotocopiar o digitalizar los cuadernillos de trabajo de los alumnos. Hay que señalar que existen distintos cuadernillos y preguntas diversas dentro de cada uno de ellos, lo que


INTEF 2014 Pág. 5

dificulta aún más el proceso de posible copia en caso de que se produzca alguna incidencia.

Estas pruebas son confidenciales y no pueden ser fotocopiadas ni difundidas bajo ningún concepto, por lo que el aplicador se responsabiliza de su custodia y firma un compromiso de confidencialidad. Por otro lado, los centros participantes generalmente no tienen información directa de qué otros centros forman parte de la muestra. De esta forma, aunque la prueba se realiza en días distintos, la posibilidad de filtración de preguntas es realmente difícil.

Aplicación de la prueba

Conocida la muestra de centros y de alumnos dentro de cada centro llega el momento de ir al colegio o instituto y dar instrucciones a los alumnos, repartir los cuadernillos, etc. Una pregunta habitual que el alumnado realiza cuando se les reparten los cuestionarios es: "¿dónde pongo mi nombre en el examen?" La respuesta es “En ningún sitio”. Para garantizar el anonimato de los alumnos los centros asignarán un código a cada uno que será una identificación que únicamente el responsable del centro puede conocer en relación con el nombre del alumno. Ningún cuadernillo sale del centro con un nombre que lo identifique y la conexión código-alumno, solo la conoce el responsable del centro educativo.

Como se ha señalado, no todos los alumnos realizan las pruebas, ni estas son las mismas para aquellos que participan, por lo que no es relevante devolver una nota al alumno. Sería injusto, dado que el grado de dificultad de las distintas partes (cuadernillos) que configuran la prueba total es variable. Además, los datos no tienen suficiente significatividad para devolver resultados objetivos al centro, dado que solo una pequeña parte de su alumnado ha participado. En cualquier caso es interesante que el centro conozca estos resultados, una vez finalizado el proceso. Existe una importante información subjetiva que se puede analizar en los departamentos conociendo el marco teórico en el que está fundamentada la prueba y conociendo los ítems liberados. Hay que destacar que las comparaciones directas no se deben realizar dado el elevado error estadístico que tendríamos.

Dada la complejidad del proceso de pilotaje en estos estudios debida a factores como el número de países participantes, las fechas en las que cada país participa, la recogida de toda la documentación, la corrección y codificación, etc., hace que las bases de datos tarden varios meses en estar preparadas para el análisis y que los resultados se proporcionen aproximadamente un año más tarde, otro factor que contribuye a no devolver datos individualizados al alumno pues en muchos casos ya ni se encontrarán en el mismo.

Algunas evaluaciones, como es el caso de PIRLS y TIMSS, incluyen cuadernillos especiales que realizan solo algunos alumnos del grupo y que se emplean para hacer análisis secundarios y comparativos de consistencia dentro de la misma prueba. Por ejemplo en PIRLS, todos los alumnos se enfrentan a los textos en blanco y negro y con las preguntas situadas a continuación de cada uno de los textos. En cambio algunos alumnos disponen de un cuadernillo a todo color con todos los textos seguidos, como si


INTEF 2014 Pág. 6

de un libro se tratase y otro cuadernillo en el que se encuentran las preguntas y en el que tiene que contestar.

Instrucciones para equipo directivo, aplicador y alumnos

Dependiendo de la prueba el proceso de aplicación varía, aunque en casi todas ellas se emplean procesos estandarizados de forma que se garantice la homogeneidad de la aplicación en todos los centros.

Podríamos hablar de instrucciones al menos en tres niveles aunque son similares con adaptaciones puntuales según el rol de cada participante:

• Instrucciones para el equipo directivo. • Instrucciones para el aplicador. • Instrucciones para el alumno.

A continuación se muestran algunas de las normas generales. Para conocer en detalle las normas específicas de cada prueba habría que tener acceso a los manuales del aplicador.

Los equipos directivos deben estar familiarizados con el proceso de la prueba, conocer los tiempos para adaptar la / las jornadas lo mejor posible a la propia jornada habitual del centro, por ejemplo haciendo coincidir la hora del recreo, la hora de la comida, etc. Los tiempos dedicados a la realización de la prueba cognitiva no se pueden variar, pero se puede modificar el comienzo para hacerlo coincidir, por ejemplo, con la hora de cambio de clase. Los tiempos de descanso tampoco se deben modificar pero en esto se puede ser flexible en unos pocos minutos si facilita la adaptación a la organización del centro. Por otro lado, los cuestionarios de contexto deben cumplimentarse de la mejor forma posible. Si esto significa dar algo más de tiempo a los alumnos para la recopilación de esta información podemos alargar los tiempos.

El director del centro es el responsable de los alumnos y será quien determine quién estará en el aula durante la aplicación: él mismo, un jefe de estudios, el tutor del grupo, etc.

El aplicador es el responsable de la prueba pero no de los alumnos, y no debe estar solo en ningún momento del proceso. Si durante la aplicación se produjera algún incidente por el que fuera necesario que alguien abandonara el aula, debe estar el docente asignado como responsable del grupo para que la incidencia altere lo menos posible al proceso de la aplicación.

El aplicador se pondrá en contacto con el centro educativo y contrastará que está informado de la realización de la prueba, le explicará las fases al responsable para comprobar que ambos conocen los procesos de funcionamiento y acordarán una hora previa al comienzo de la evaluación para verificar la disposición individual de mesas, el espacio y otras características del centro. Es responsabilidad del aplicador llevar y recoger los materiales, y firmar y solicitar la firma de algún miembro del equipo directivo de determinados procesos realizados, como la asistencia de los alumnos o la no asistencia, características especiales de alguno de ellos, ausencias justificadas por visitas de médico, así como otras incidencias inesperadas, etc.


INTEF 2014 Pág. 7

El aplicador únicamente conoce el código del alumno por lo que es el responsable del centro el que debe proporcionar e identificar a cada alumno al comienzo de la prueba, aunque el aplicador realizará la verificación del proceso. Por ejemplo, el listado con nombres y apellidos de los alumnos con los códigos solo los tiene el centro, pero durante la aplicación los alumnos se sentarán en orden alfabético. Incluso si por algún motivo un alumno falta, se dejará el hueco y se pegarán etiquetas con los códigos de los alumnos en cada mesa. El aplicador tendrá a su disposición este listado que vincula código con nombre y puede solicitar al alumno su identificación, pero no podrá quedarse con este documento.

El aplicador es el encargado de transmitir las instrucciones de funcionamiento de la jornada a los alumnos, de responder sus preguntas, de orientarles, animarles y guiar en definitiva todo el proceso. El docente que acompañe al grupo debe de encargarse del correcto funcionamiento y el orden del aula, no interfiriendo en las labores del aplicador ni en el reparto de materiales, ni en su recogida y no debe contestar ninguna pregunta de los cuadernillos cognitivos. En cambio toda ayuda será poca para la correcta interpretación de las preguntas de los cuadernillos de contexto y su ayuda en este proceso puede ser de gran utilidad, sobre todo si es tutor o profesor del grupo. Un procedimiento que en ocasiones se emplea para cumplimentar los contextos es que el aplicador guíe todo el proceso de respuestas en el cuadernillo, leyendo una a una y explicando las dificultades, que seguro surgen. De esta forma garantizamos que todos los alumnos entienden y contestan lo más verídicamente posible a las cuestiones sobre su contexto. También puede dejar que contesten de manera individual pero aclarando todas las dudas y solicitando ayuda, si fuera necesario del docente, para agilizar el proceso a la hora de que los alumnos cumplimenten el cuestionario.

Las instrucciones para los alumnos se recogen en la primera o primeras páginas de los cuadernillos y se refieren a cómo contestar, alguna pregunta tipo a modo de ejemplo, duración, cómo tachar y corregir una pregunta en la que se han confundido, etc. Las instrucciones son para los alumnos pero el aplicador debe conocerlas y debe informar y resolver las dudas derivadas de las mismas antes de comenzar el desarrollo de la prueba.

Como se ha señalado en varias ocasiones, los alumnos seleccionados para formar parte de la muestra contestan además de las pruebas, un cuestionario de contexto y en ocasiones estos se complementan con cuestionario de centro, profesor y familias en función de la prueba. En el estudio PIRLS y TIMSS, el cuestionario para las familias fue entregado a los niños y niñas al terminar el primer día de la prueba, con el ruego de que lo devolvieran cumplimentado a su profesor tutor en los próximos días. Muchos de ellos fueron recogidos en el segundo día de prueba, asegurándose así una alta tasa de participación; otros se recogieron con posterioridad gracias a la colaboración de los equipos directivos.

Existen documentos que deben firmar tanto aplicador como responsable del equipo directivo como garantía de calidad del proceso. Además en un porcentaje no menor al 10% se realizan controles de calidad, por lo que es posible que acudan al centro miembros de la organización internacional responsable, de la Administración central o de la Administración autonómica, que observarán todo el proceso de aplicación.


INTEF 2014 Pág. 8

Ejemplos de distribución horaria

PIRLS y TIMSS

La prueba de 2011 se aplicó en dos días. Para neutralizar el posible efecto del cansancio en los resultados, la mitad de los centros hicieron el primer día la prueba de PIRLS y la otra mitad, la de TIMSS. La organización y el horario de las pruebas podemos verlo en la siguiente tabla:

ACTIVIDAD Primer día Segundo día

Preparación de los alumnos

(instrucciones)

10 min 5 min

Primera parte de la prueba

40 min PIRLS / 36 min TIMSS

36 min TIMSS / 40 min PIRLS

Descanso 15 min 15 min

Preparación 5 min 5 min

Segunda parte de la prueba

40 min PIRLS / 36 min PIRLS

36 min TIMSS / 40 min PIRLS

Cuestionario del alumno 10 - 30 min

PISA

ACTIVIDAD Tiempo

Preparación de los alumnos

(instrucciones)

10 minutos


INTEF 2014 Pág. 9

Tiempo de la Prueba 55 minutos

Descanso 10 minutos

Tiempo de la Prueba 55 minutos

Descanso 30 minutos

Cuestionario de contexto 30 minutos

En los años 2009 y 2012, 14 de los 35 alumnos, seleccionados al azar, también realizaban una prueba mediante ordenador.

OPCIÓN COMPUTER BASED ASSESSMENT

(prueba por ordenador)

Tiempos

Preparación 20 minutos

Prueba 40 minutos

EECL

A continuación podemos ver un esquema donde se representa la distribución temporal de la prueba para los bloques de contenido y el cuestionario de contexto.

Si no ves correctamente la anterior imagen, descárgate este PDF.

http://127.0.0.1:51235/EEISE_Modulo03_v4/resources/OrganizacionPruebaDistribucionTiempos_EECL.pdf


INTEF 2014 Pág. 10

Funciones del aplicador y Situaciones especiales

Las funciones que debe cumplir el aplicador son las siguientes:

• Representación del organismo internacional para la realización de la prueba. • Garantizar el desarrollo de la prueba en un espacio adecuado de trabajo. • Velar por el cumplimiento de las instrucciones. • Crear un clima adecuado de atención e interés. • Transmitir con precisión instrucciones generales y específicas. • Resolver las dudas de manera global y a ser posible antes de comenzar la

prueba. • Indicar tiempo, hora de inicio y hora de fin. • Observar como rellenan los alumnos los datos. • Hacer un control horario preciso de cada parte de la prueba. • Respetar el orden de las pruebas y sus partes. • Ayudar en el cuestionario de contexto. • Motivar a los alumnos para que contesten con interés. • Mantener el silencio y el orden.

Cuando en un centro participe un solo grupo, de entre los que tiene, la selección se realizará al azar por el organismo internacional responsable, al igual que cuando la selección se realiza de manera individual sobre los alumnos, como ocurre en PISA.

Algunas posibles situaciones especiales y procedimientos aplicables durante el proceso de aplicación:

• Si un alumno llega tarde, no debe incorporarse a esa parte de la prueba, haciéndolo, sin embargo, a las siguientes., registrando la incidencia.

• En caso de que un alumno tuviera que abandonar la prueba se debe anotar en la hoja de seguimiento la razón del abandono.

• Los alumnos con necesidades educativas especiales o de compensación educativa realizarán la prueba si así lo recoge el marco teórico y las instrucciones de la misma, quedando esta información recogida en el formulario de seguimiento de la sesión (estos alumnos no intervienen en los cálculos finales de rendimiento).

En el formulario de seguimiento de la sesión se recogerán las incidencias anteriores y otras referidas a los alumnos.

Instrucciones para el desarrollo de la aplicación

Algunas instrucciones comunes al desarrollo de aplicación en distintas pruebas:

• Los alumnos serán colocados por orden de lista. • Cuando los alumnos estén colocados en el aula, el aplicador dará las

instrucciones generales, tratando de crear un clima adecuado de atención e interés, con aproximación al guión siguiente:

o Hoy vais a responder a una serie de cuadernillos (de matemáticas, comprensión lectora y lengua) y también contestaréis a algunas preguntas sobre vosotros y vuestras familias. Debéis responder en …


INTEF 2014 Pág. 11

o Es importante que sigáis mis instrucciones en todo momento y rellenéis los códigos que os diga en la hoja de respuestas y en el cuestionario de contexto.

o Debéis leer con mucha atención cada pregunta para entender con claridad lo que se os pide que hagáis.

o Aunque los resultados de estas pruebas no van a influir en las calificaciones de final de curso, es preciso que os esforcéis por hacerlo lo mejor posible.

o Deberéis realizar los ejercicios en silencio; si tenéis alguna duda, levantad la mano y esperad a que se os atienda.

o Si no entendéis o no sabéis responder a una o más preguntas, después de haberlas leído atentamente, debéis pasar a las siguientes. Al final, si os queda tiempo, podréis intentar de nuevo responderlas.

Importante

EL APLICADOR DEBE PONER ESPECIAL INTERÉS EN QUE LOS ALUMNOS MARQUEN CORRECTAMENTE LOS CÓDIGOS EN LOS CUADERNILLOS COGNITIVOS, EN LOS CUESTIONARIOS DE CONTEXTO, EN LAS HOJAS DE RESPUESTA, SI SE REALIZA POR ORDENADOR QUE LA INCLUSIÓN DE LOS CÓDIGOS SEA CORRECTA, ETC.

Para el día de la aplicación se recomienda:

• Concertar con el aplicador la llegada al centro con antelación suficiente para solucionar posibles imprevistos (20 min).

• Solicitar la acreditación como aplicador de la prueba. • Verificar junto con el aplicador que se dispone de todo el material necesario

para la aplicación de la prueba y, en caso de incidencia, registrarla en la hoja de seguimiento y expresar la solución adoptada, contactando en caso necesario con la Administración responsable.

• Repasar conjuntamente el proceso de aplicación y presentar a las personas que estarán en el aula durante la prueba. El aplicador no debe de estar solo en el aula en ningún momento.

• Comprobar que el aula cumple las condiciones necesarias para la prueba junto con el aplicador.

• Aunque el aplicador controlará los tiempos con exactitud es conveniente que el aula disponga de reloj.

• Realizar las adaptaciones de los horarios del centro con los de la prueba. Se debe respetar en todo momento los tiempos de cada parte y ajustando los descansos a periodos como el recreo o la comida.

Corrección de la prueba (codificación)

La corrección de una prueba también debe estar sometida a unos estándares preestablecidos que garanticen la homogeneidad en la corrección. La preguntas de respuesta de elección múltiple son fáciles de codificar, pero las que permiten respuestas abiertas son más complejas. Algo que en ocasiones cuesta mucho esfuerzo a los correctores es no penalizar por cuestiones que en una prueba de aula se considerarían errores. Por ejemplo, penalizar por faltas de ortografía o por una mala expresión


INTEF 2014 Pág. 12

gramatical. En las pruebas internacionales es difícil la comparación entre lenguas por lo que no se debe añadir un elemento que distorsione o rompa la homogeneidad, al participar diversos países y emplear distintas lenguas para expresar las respuestas. Si de lo que el alumno expresa se sobrentiende que conoce lo que la pregunta indaga, se codificará como correcta o parcialmente correcta, en función de los códigos de cada ítem.

Ejemplo de TIMSS ciencias

Observa en el siguiente ejemplo de TIMSS cómo son las reglas de codificación.

Nutrientes

Gregorio le cuenta a su amiga Sofía que él puede obtener de la fruta todos los nutrientes que necesita para estar sano. Sofía piensa que Gregorio tiene que tomar, además, otros tipos de alimentos.

¿Quién está en lo cierto?

(Marca una casilla.)

Gregorio

Sofía

Explica tu respuesta

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

Regla de codificación

NOTA: Se consideran correctas tanto aquellas respuestas que mencionen alimentos concretos (o grupos de alimentos) necesarios para seguir una dieta equilibrada, como las respuestas que hagan referencia a nutrientes concretos que no se obtienen con una dieta basada únicamente en la fruta (código 11). Las respuestas que solo repitan la información dada en el enunciado (diciendo que se necesita comer otros tipos de alimentos, o que comer solo fruta no es saludable, etc.) se considerarán incorrectas. Al corregir la respuesta debe primar la explicación. Si esta es correcta, la respuesta debe considerarse correcta aunque el alumno haya marcado GREGORIO (Código 12), lo que indicaría cierta confusión acerca de la postura de Gregorio y de Sofía.


INTEF 2014 Pág. 13

Ejemplo de TIMSS ciencias: criterios de corrección

Código de correción Criterios de correción en las respuestas

Respuesta correcta

10

SOFÍA, junto con una explicación que indique otros alimentos (o grupos de alimentos) que necesita comer Gregorio.

Ejemplos: Verduras, carne, pescado, huevos, judías, arroz, cereales, productos lácteos, etc.

11

SOFÍA, junto con una explicación que indique nutrientes que faltan en una dieta basada únicamente en la fruta.

Ejemplos:

Hay que comer diferentes alimentos para obtener todas las vitaminas.

Se necesitan algunas proteínas para mantenerse sano.

12

GREGORIO, junto con una explicación correcta.

Ejemplos:

Tiene que comer alimentos de los cuatro grupos para que la dieta sea sana.

19 Otras respuestas correctas.

Respuesta incorrecta

70

SOFÍA, sin explicación o con una explicación incorrecta [se incluyen respuestas que solo repitan la información del enunciado, o que digan algo verdadero que no responda a la pregunta.]

Ejemplos:

Para tener buena salud también son necesarios otros tipos de alimentos.


INTEF 2014 Pág. 14

Es malo comer demasiada fruta.

Creo que Sofía tiene razón.

Necesita otros alimentos para obtener nutrientes.

71

GREGORIO, sin explicación o con una explicación incorrecta [se incluyen respuestas que solo repitan la información del enunciado, o que digan algo verdadero que no responda a la pregunta.]

Ejemplos:

La fruta contiene muchas vitaminas.

79 Otras respuestas incorrectas (incluidas respuestas tachadas/borradas, marcas fuera de su sitio, respuestas ilegibles o inapropiadas).

Sin respuesta

99 En blanco

TIMSS y PIRLS

En realidad, observa que el corrector o codificador no corrige la pregunta sino que compara la producción del alumno con unos criterios y en base a esta comparación asigna un determinado código. Es importante destacar que para evitar los sesgos que se pueden producir por parte de un corrector a la hora de asignar los códigos, este proceso se somete a un control de calidad. En el caso de PIRLS y TIMSS, además del proceso de corrección en las preguntas abiertas, se realiza al 25 % un proceso de doble corrección de las respuestas totales asegurando que el grado de acuerdo entre correctores supera la tasa requerida. Por otro lado algunos correctores con dominio de inglés realizan una corrección transversal a un porcentaje de respuestas en idioma inglés. Con este doble ejercicio se garantiza la fiabilidad de los criterios de corrección aplicados en los países participantes.

Muchas de las respuestas dadas por los alumnos en los pilotajes son empleadas en el estudio principal como ejemplos de guía para facilitar el trabajo del codificador.

Puedes consultar los estímulos de PIRLS y TIMSS que se han liberado del último estudio realizado en 2011. Presta especial atención a las guías de codificación. Para ello consulta el anexo del capítulo 1, ítems liberados del volumen “PIRLS ‐ TIMSS 2011. Estudio Internacional de progreso en comprensión lectora, matemáticas y ciencias. IEA.


INTEF 2014 Pág. 15

Volumen I: INFORME ESPAÑOL” (págs. 141 - 180). Se puede descargar en el siguiente enlace o en este otro alternativo.

Ejemplo de PISA

El texto que aparece a continuación es uno de los textos continuos en prosa más breves del conjunto de los liberados de PISA. Es una carta titulada “De mal gusto” que apareció en un periódico y ha sido clasificada como texto argumentativo porque el autor intenta convencer al lector de su propio punto de vista. Procede de un contexto público.

De mal gusto

Esta carta apareció en un periódico australiano en 1997. Remítete a ella para responder a las siguientes preguntas.

¿Sabías que en 1966 los australianos gastaron casi la misma cantidad en chocolate que gastó su gobierno en ayuda exterior?

¿Hay algo que no funciona en nuestra escala de valores?

¿Qué vas a hacer al respecto?

Sí, tú.

Arnold Jago,

Mildura

Fuente: The Age, 1 de abril de 1997

Pregunta 1

El propósito de la carta de Arnold Jago es provocar

A. Culpabilidad

B. Diversión

C. Temor

D. Satisfacción




INTEF 2014 Pág. 16

Pregunta 2

¿Qué tipo de respuesta o de acción crees tú que quiere provocar Arnold Jago con esta carta?

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

Ejemplo de PISA: criterios de corrección

Código de corrección Criterios de corrección de las respuestas

Respuesta correcta pregunta 1

1 Opción A: Culpabilidad

Respuesta incorrecta pregunta 1

0 Otras

El alumno no responde

9 Sin respuesta

Respuestas correctas pregunta 2

1

Respuestas del tipo a o b

a. Respuestas que aportan una afirmación o frase que indique que el gobierno o los particulares deberían gastar más en ayuda exterior, por ejemplo:

“Gente que dé dinero para ayuda exterior”.

“Dar dinero para obras de caridad”.


INTEF 2014 Pág. 17

“La gente debería gastar menos en chocolate y más en los pobres”.

b. Respuestas que aportan una afirmación o frase que indique que el gobierno o los particulares deberían cambiar su sistema de valores o su visión del problema:

“Cambiar nuestros valores”.

“Querría que la gente se preocupara más de cómo gastamos los recursos”.

Respuestas incorrectas pregunta 2

0

Respuestas del tipo c, d o e:

c. Respuestas que indiquen la intención del autor para hacer que el lector se sienta culpable

“Sentirse culpable o avergonzado”.

d. Respuestas que aportan una afirmación o frase que indique que se debería gastar menos en chocolate o ser menos goloso, por ejemplo:

“No comprar más chocolate”.

“Dejar de comer comida basura”.

e. Otras, vagas, inapropiadas o irrelevantes, por ejemplo

“Gastar más en obras de caridad”.

“Le gustaría que despidieran a los del gobierno”.

“Le gustaría que la gente dijese: voy a dar todo mi dinero para obras de caridad”.

“No estoy de acuerdo con Arnold Jago”.

“Estoy de acuerdo con él”.

El alumno no responde

9 Sin respuesta


INTEF 2014 Pág. 18

En el caso del programa internacional PISA, la corrección de cada ejercicio se realiza por equipos de 4 personas de manera rotatoria, siendo la nota válida internacionalmente la del cuarto codificador. Al ir rotando, todos codifican en algún momento como cuarto y este código es el que se marca en el cuadernillo; el resto se recogen en un estadillo que posteriormente se somete a un control de calidad. Se selecciona aproximadamente el 25% de los ejercicios al azar para comprobar que los distintos codificadores no están introduciendo ningún sesgo.

¿Te atreves a codificar las respuestas?

Descarga los criterios de corrección

Bájate este PDF con los criterios de corrección del ítem 2 del estimulo PISA "De mal gusto" para que lo puedas consultar cuando hagas el siguiente test.

Corrección del ejemplo "De mal gusto"

Gente que gasta menos dinero en chocolate y más en los enfermos del extranjero.

1

0

9

Que la gente no gaste todo el dinero en chocolate en vez de en el extranjero.

1

0

9

Un aumento en el gasto del gobierno en ayuda exterior para ayudar a los pobres.

1

0

9


INTEF 2014 Pág. 19

En vez de comprar y comer chocolate la gente debería dar para una buena causa y no ser tan indulgente consigo misma.

1

0

9

Gente conmovida para pensar más en ayudar a los demás que en dedicarse a gustos personales.

1

0

9

Que la gente se dé cuenta de que los pobres necesitan nuestra ayuda para que hagan algo sobre este asunto.

1

0

9

Creo que le gustarían cartas con opiniones escritas y lo que deberían hacer para ayudar este problema.

1

0

9


INTEF 2014 Pág. 20

Puede querer ver las sugerencias de la gente sobre cómo recaudar fondos para el uso del chocolate en el extranjero.

1

0

9

EECL

En el estudio de Competencia Lingüística en idioma extranjero EECL, se evaluaron tres destrezas: comprensión lectora, comprensión oral y expresión escrita. Las dos primeras se codifican de manera similar a los ejemplos que hemos visto. En cambio, para poder codificar la expresión escrita y evitar la subjetividad que un corrector puede incorporar al ser más duro en la codificación, se recurrió a testigos de comparación. Para corregir los ejercicios de los alumnos de niveles bajos se empleó un único testigo de forma que el corrector tenía que decidir si la producción del alumno (la redacción que ha escrito como respuesta) era peor, más o menos igual o mejor que la de comparación. De esta forma un corrector duro siempre tendría presente el documento empleado como testigo de comparación; tal vez este ejemplo le podía parecer muy malo pero la estrategia es decidir si la producción que está codificando es aún peor, más o menos igual o mejor. De la misma forma un profesor que no diera gran importancia a ciertos errores por considerar que el texto se entiende, puede tener la impresión de que la producción del alumno está bien, pero tendrá que emitir un juicio sobre si está mejor, más o menos igual o peor que el testigo.


INTEF 2014 Pág. 21


Es importante destacar la importancia de la formación en este tipo de tareas para que la corrección sea lo más homogénea posible, no solo a nivel nacional sino también internacional.

Cuando el nivel de producción es B1-B2, empleando expresiones gramaticales de mayor dificultad, vocabulario más complejo, etc., se hace necesario el empleo de dos testigos (uno de nivel bajo y otro alto). Esto es, a la hora de codificar un ejercicio si nos parece mejor que el testigo de nivel bajo, tendremos que compararlo nuevamente con el siguiente para comprobar si es peor, igual o mejor.


En su origen estos testigos de comparación fueron producciones artificiales que contenían errores pero que sirvieron para los procesos de pilotaje. En el caso del estudio principal los testigos de comparación fueron producciones reales de alumnos seleccionadas de entre las que los alumnos realizaron durante el proceso de pilotaje.

Puedes consultar todos los ítems liberados y los audios de los mismos en la siguiente dirección http://www.mecd.gob.es/inee/Recursos.html.

No solo es importante conocer lo que se pregunta y cómo se pregunta, sino también conocer lo que se busca a la hora de la respuesta, pues la codificación depende en gran medida de esto.

http://www.mecd.gob.es/inee/Recursos.html


INTEF 2014 Pág. 22

¿Quién escribió "El Quijote"?


Pongamos como ejemplo final algo que puede ayudarnos a diferenciar entre cómo corregir un examen de aula por el profesor y una evaluación internacional.

Supongamos una pregunta.

¿Quién escribió “El Quijote”?

Estas son algunas de las respuestas que nos podríamos encontrar

1. Cervantes 2. Miguel de Cervantes 3. Miguel de Cervantes Saavedra 4. El Ingenioso hidalgo don Quijote de la Mancha fue escrito por el ilustre escritor

Miguel de Cervantes Saavedra. 5. Servantes 6. Zervantes 7. Cerbantes 8. Góngora 9. Quevedo

¿Qué codificación pondrías?

A pesar de que las respuestas 1, 2, 3 y 4 difieren en la cantidad de información que el alumno ofrece, no podríamos considerar que estén mejor o peor unas que otras dado que la codificación es Bien (1), Mal (0) o sin respuesta (9). Por tanto, la codificación para todas ellas sería (1).

Si nos fijamos en las respuestas 5, 6 y 7, la codificación en una prueba de estas características tiene que ser acordada antes de su aplicación y, si consideramos que lo importante es que el alumno sepa que Cervantes fue quien escribió el Quijote, deberían ser codificadas como correctas (1).

Por supuesto si esta pregunta la hacemos en un examen de clase, el profesor podrá pedir al alumno que sepa escribir correctamente el nombre y considerarlo como un error, pero


INTEF 2014 Pág. 23

el valor ortográfico y gramatical no es comparable entre idiomas como el castellano, el inglés, el francés, el chino, el ruso… todos ellos participantes en este tipo de pruebas.

En cambio las respuestas 8 y 9 son incorrectas y por tanto las codificaríamos con un (0).



Bloque 4. Análisis de resultados: conceptos estadísticos y resultados

Autores

David Cervera Olivares Paloma González Chasco José Mª Sánchez Echave INEE






INTEF 2014 Pág. 1

Índice Bloque 4. Análisis de resultados: conceptos estadísticos y resultados ......................... 0

Autores ...................................................................................................................... 0

Todo el documento está sujeto a los siguientes términos de la licencia Creative Commons Reconocimiento-CompartirIgual 3.0 España ................................................ 0

Análisis de resultados: conceptos estadísticos y resultados ......................................... 2

Descargad estos tres informes .................................................................................. 2

Conceptos estadísticos ................................................................................................. 3

Desviación típica (o desviación estándar) ..................................................................... 3

Para saber más ......................................................................................................... 4

Error típico (o error estándar) ........................................................................................ 4

Para saber más ......................................................................................................... 6

Resultados .................................................................................................................... 6

Resultados globales (PISA) .......................................................................................... 6

Nota .......................................................................................................................... 8

Resultados globales (EECL) ......................................................................................... 9

Notas....................................................................................................................... 11

Resultados por niveles de rendimiento ....................................................................... 11

Notas....................................................................................................................... 13

Resultados por dimensiones ....................................................................................... 13

Ejercicio: verdadero o falso ......................................................................................... 15


Pregunta 1 ....................................................................................................... 15

Pregunta 2 ....................................................................................................... 15

Pregunta 3 ....................................................................................................... 15

Pregunta 4 ....................................................................................................... 16

Pregunta 5 ....................................................................................................... 16

Pregunta 6 ....................................................................................................... 17


INTEF 2014 Pág. 2

Análisis de resultados: conceptos estadísticos y resultados

Llegados a este punto tenemos que aprender a leer e interpretar los informes que sobre estos estudios internacionales se elaboran. Hemos seleccionado los realizados por el INEE, pero gráficos parecidos se pueden localizar en los informes internacionales de la OCDE, IEA, UE y otros. En este bloque vamos a explicar los más usuales que se utilizan para describir los resultados obtenidos:

• rendimientos globales • rendimientos por dimensiones • niveles de rendimiento • resultados teniendo en cuenta el contexto social, económico y cultural de

los estudiantes • otros factores sobre los que ampliar la investigación

Se recogen los últimos informes de PISA, de EECL y de TIMSS, por poner los más actuales. Habitualmente en el segundo capítulo de dichos informes se reflejan los tres primeros apartados de este bloque, y se desarrollan como ejemplo los de PISA 2012. En el tercer capítulo y posteriores se tratan los dos últimos apartados del bloque, y el ejemplo a seguir será el de PIRLS-TIMSS 2011.

Este primer conjunto de contenidos se centra en resultados mediante los rendimientos globales, por dimensiones y niveles. Pero antes de nada, conviene introducir la explicación de dos conceptos estadísticos que se utilizan muy a menudo en este tipo de estudios: la desviación estándar y el error estándar.

Descargad estos tres informes

Podéis descargar los tres informes propuestos desde cualquiera de los enlaces propuestos en cada caso:

• PISA 2012. Programa para la Evaluación Internacional de los Alumnos. Informe español. Volumen I: Resultados y contexto.

http://www.mecd.gob.es/dctm/inee/internacional/pisa2012/pisa2012lineavolumeni.pdf?documentId=0901e72b81786310

PISA 2012

Descargad también las tablas con los datos de cada capítulo.

• PIRLS - TIMSS 2011. Estudio Internacional de progreso en comprensión lectora, matemáticas y ciencias. IEA.Volumen I: Informe español


PIRLS TIMSS 2011







INTEF 2014 Pág. 3

• Estudio Europeo de Competencia Lingüística EECL. Volumen I. Informe español


EECL

Conceptos estadísticos

Tanto la desviación estándar como el error estándar son dos conceptos estadísticos que es importante entender para poder leer y comprender adecuadamente los informes de evaluaciones externas internacionales.

Hemos intentado huir de complicadas fórmulas matemáticas y por ello los vamos a explicar mediante ejemplos sencillos.

Desviación típica (o desviación estándar)

La desviación estándar (en inglés “standard deviation”; SD) es una medida de la dispersión de los datos, cuanto mayor sea la dispersión mayor es la desviación estándar, si no hubiera ninguna variación en los datos, es decir, si fueran todos iguales, la desviación estándar sería cero. La desviación estándar cuantifica la dispersión alrededor de la media aritmética. Informa de la media de distancias que tienen los datos respecto de su media aritmética.

Supónganse dos poblaciones de 100.000 individuos en las que la edad se distribuye como se muestra en los histogramas A y B de la figura 1 (se tienen datos del 100% de los individuos en este ejemplo).

• La edad media (media aritmética) en ambas poblaciones es 44,5. • La desviación estándar es 14,9 en la población A y 10,0 en la B.

Si no ve correctamente la imagen, puede descargarse este PDF.

En la población B las edades de los individuos están menos dispersas alrededor de la media, como corresponde a una desviación estándar menor.



INTEF 2014 Pág. 4

Unas fórmulas muy difundidas establecen que en el intervalo comprendido entre la media menos UNA desviación estándar y la media más UNA desviación estándar están aproximadamente el 68% central de los datos.

Además, en el intervalo comprendido entre la media menos 1,96 (aproximadamente 2) veces la desviación estándar y la media más 1,96 veces la desviación estándar están aproximadamente el 95% central de los datos.

Según estas reglas, en la población A del ejemplo:

• aproximadamente los 68.000 individuos (68%) con edades más cercanas a la media tendrían edades comprendidas entre 29,6 (44,5-14,9) y 59,4 (44,5+14,9) (realmente en ese intervalo hay 67.961 individuos).

• 95.000 individuos (95%) estarían entre 15,3 (44,5-1,96*14,9) y 73,7 años (44,5+1,96*14,9) (realmente hay 95.006).

• de los 5.000 restantes (5%), la mitad tendrían menos de 15,3 (en los datos hay 2.528) y la otra mitad más de 73,7.

Estos intervalos para la población B son:

• entre 34,5 (44,5-10) y 54,5 (44,5+10) los 68.000 individuos (68%) con edades más cercanas a la media.

• entre 24,9 (44,5-1,96*10) y 64,1 (44,5+1,96*10) los 95.000 centrales (95%).

Hay que resaltar que esta regla solo es cierta si la variable se ajusta a una distribución normal o gaussiana; en el ejemplo la regla se cumple porque los datos ajustan perfectamente a la distribución normal como se observa en la figura.

Ejemplos extraídos de: http://www.elsevier.es/es/revistas/semergen-medicina-general--familia-40/desviacion-estandar-error-estandar-13041428-notas-estadisticas-2002

Para saber más

Desviación estándar: http://es.wikipedia.org/wiki/Desviaci%C3%B3n_est%C3%A1ndar

Error típico (o error estándar)

Las investigaciones rara vez se hacen sobre el conjunto de la población; lo habitual es realizarlas en un subconjunto (muestra) de ella. Esta práctica está justificada porque la teoría estadística establece que, si la muestra se selecciona aleatoriamente, sus características (forma de la distribución, media, desviación estándar, etc.) son parecidas a las de la población y tanto más parecidas cuanto mayor sea la muestra.

En la figura 2 se representa el histograma de la edad de una muestra aleatoria de 100 individuos extraída de la población representada en la figura 1 A (que eran 100.000

http://www.elsevier.es/es/revistas/semergen-medicina-general--familia-40/desviacion-estandar-error-estandar-13041428-notas-estadisticas-2002


http://es.wikipedia.org/wiki/Desviaci%C3%B3n_est%C3%A1ndar


INTEF 2014 Pág. 5

individuos). Obsérvese que es parecido al de la población aunque, por ejemplo, su ajuste a la curva normal es peor.

Si no ve correctamente la imagen, puede descargarse este PDF.

En esta muestra, la media y la desviación estándar son 46,2 y 14,7 respectivamente, también parecidas a las de la población. Si se tomara otra muestra aleatoria se obtendrían otros valores distintos, aunque probablemente también parecidos a los de la población (que son 44,5 de media y 14,9 desviación estándar).

El error estándar de la media (en inglés “standard error of the mean”; SEM o SE) es el valor que cuantifica cuánto se apartan los valores de la media de la población. Es decir, el error estándar de la media cuantifica las oscilaciones de la media muestral (media obtenida en base a los datos medidos en la muestra utilizada) alrededor de la media poblacional (verdadero valor de la media). Es una medida del error que se comete al tomar la media calculada en una muestra como estimación de la media de la población total.

A partir del error estándar se construye el intervalo de confianza de la medida correspondiente.

1) El error estándar de la media estimado en la muestra del ejemplo es 1,47. Se calcula dividiendo la desviación estándar por la raíz cuadrada del tamaño muestral 14,7/√100=14,7/10


INTEF 2014 Pág. 6

2) Calculado a partir de él, el intervalo de confianza al 95% para la media va desde 43,3 a 49,1

• Límite inferior = media - 1,96 veces el error estándar = 46,2 – 1,96 * 1,47 = 43,3 (límite inferior)

• Límite superior = media + 1,96 veces el error estándar = 46,2 + 1,96 * 1,47 = 49,1 (límite superior)

Este es uno de los métodos estadísticos que exige normalidad de la población. Quiere decir que podemos afirmar, con una confianza del 95%, que la media poblacional está incluida en dicho intervalo. Compárese con el valor de la media poblacional (verdadero valor de la media) que, en este ejemplo y en contra de lo que ocurre en las investigaciones reales, es conocido. Vemos que el valor verdadero (44,5 años) está dentro del intervalo de confianza que habíamos calculado (43,3 – 49,1). Por tanto, hablar de una confianza del 95% significa que en el 95% de las posibles muestras que podríamos tomar de la población total, la edad media (44,5) estaría contenida en el intervalo construido.

Ejemplos extraídos de: http://www.elsevier.es/es/revistas/semergen-medicina-general--familia-40/desviacion-estandar-error-estandar-13041428-notas-estadisticas-2002

Para saber más

Error estándar: http://es.wikipedia.org/wiki/Error_est%C3%A1ndar

Resultados

En este apartado se van a explicar diferentes resultados por países que se obtienen de los análisis realizados por PISA sobre el rendimiento del alumnado. La combinación de estos resultados ofrece una muy valiosa información sobre el funcionamiento de los sistemas educativos.

Se han tomado datos del informe español PISA 2012.

Resultados globales (PISA)

Los resultados de PISA se presentan por medio de escalas con una puntuación media de 500 y una desviación típica de 100, lo que significa que el 68% de los alumnos de los países de la OCDE obtuvieron entre 400 y 600 puntos. Estas puntuaciones representan distintos grados de competencia en el área de conocimiento.



http://es.wikipedia.org/wiki/Error_est%C3%A1ndar


INTEF 2014 Pág. 7

En el año 2012 la competencia principal fue matemáticas, dentro del marco establecido en PISA 2003 (primer año en que las matemáticas fueron área principal de evaluación) que se ha tomado como referencia para los resultados posteriores y para valorar su evolución, y en el que se fijaba que los resultados se refieren a una desviación típica de 100 puntos. Los resultados globales se presentan gráficamente mediante las puntuaciones medias obtenidas por los alumnos de los distintos países de la muestra seleccionada. Estos resultados se refieren a una escala continua en la que se hace equivaler a 500 puntos el promedio de las puntuaciones medias obtenidas por los alumnos de los países OCDE en PISA 2003 (área principal matemáticas) y en la que la desviación típica es 100 puntos.

En este promedio, los resultados de todos los países OCDE han sido ponderados por igual como si aportaran todos ellos el mismo número de alumnos. Este Promedio OCDE que tenemos marcado en la figura anterior es, por tanto, la media aritmética de


INTEF 2014 Pág. 8

las puntuaciones medias de los países OCDE. Se utiliza el Promedio OCDE para comparar el rendimiento medio de los alumnos de un país con el rendimiento medio de los países de la OCDE. El Promedio UE tiene el mismo significado, pero teniendo en cuenta a los 27 países miembros de la Unión Europea (todos excepto Malta).

Los resultados promedio de cada país se representan junto con los correspondientes intervalos de confianza del 95%, estimados a partir de sus errores típicos, en los que se puede afirmar, con una confianza del 95%, que se encuentra su promedio verdadero. Estos datos deben interpretarse del modo siguiente: hay una probabilidad del 95% de que el verdadero valor promedio de un país esté en el intervalo de confianza señalado en la figura.

Esto significa que entre todos los países con puntuaciones medias próximas (con diferencias tales que sus intervalos de confianza coinciden en parte) nada se puede decir sobre el “orden” que unos tienen con respecto a otros. Por ejemplo, no hay diferencias significativas entre Suiza con 531 puntos y Países Bajos con 523 puntos. Dicho de otro modo, nada se puede afirmar sobre cuál de estos dos países tiene un “resultado” mejor que el otro, pues sus intervalos de confianza comparten un tramo común (observa la siguiente figura).

España obtuvo una puntuación media de 484 puntos, siendo el intervalo de confianza desde 480,60 a 488,04 puntos, extremos entre los que se encuentra el resultado real español con una confianza del 95%.

En la presentación gráfica de los resultados promedio de rendimiento se ha optado por resaltar en la parte inferior del gráfico unas franjas delimitadas por los valores correspondientes a los extremos inferior y superior de los niveles de rendimiento (se explican en el siguiente apartado). Todos los países situados en estas franjas tienen resultados con diferencias inferiores a un nivel. Por ejemplo, encontramos a la mayoría de países de la OCDE y los europeos participantes en el nivel 3 de rendimiento.

Nota

La OCDE ha constatado que un año académico más incrementa 10 puntos de media el rendimiento del alumno.


INTEF 2014 Pág. 9

Resultados globales (EECL)

Acabamos de ver cómo se representan los resultados globales en PISA. En otros estudios como PIRLS o TIMSS se hace de forma muy parecida. Sin embargo, en el Estudio Europeo de Competencia Lingüística (EECL) no es posible asignar puntuaciones medias, dado que no existe una población objetivo uniforme. Entre otras discrepancias podemos observar las siguientes:

• cada entidad eligió dos lenguas diferentes con dos muestras de alumnos distintas;

• el curso en el que se realizó la prueba no fue el mismo en todas las entidades; • los alumnos tenían distintas edades; • existen diferencias en cuanto a la obligatoriedad, edad de comienzo de la

enseñanza de las lenguas extranjeras.

Por ello los resultados de este estudio son estimaciones de la distribución de los alumnos de cada población según los niveles descritos por el MCERL.

La primera lengua evaluada por la mayoría de las entidades fue el Inglés. Y las comunidades alemana y flamenca de Bélgica e Inglaterra evaluaron el Francés. Resulta complejo establecer un criterio de comparación de los resultados y por lo tanto de ordenación de las entidades. Lo deseable es tener el mayor porcentaje de alumnos en el nivel B (suma de B1 y B2) y el menor porcentaje posible en el nivel Pre-A1, ya que estos estudiantes son aquellos que no alcanzan un mínimo nivel de competencia como el descrito en el nivel A1. Por todo ello, el criterio empleado en estos gráficos para ordenar las entidades es el cociente entre los porcentajes de alumnos en los niveles B y los situados en Pre-A1, interpretándose esta razón como el número de alumnos B por cada Pre-A1. Una entidad con mayor valor para ese cociente tiene, según este criterio, mejores resultados.

En el siguiente gráfico se muestra la distribución por niveles de los alumnos en las distintas entidades y comunidades autónomas que ampliaron muestra, en concreto para la primera lengua evaluada (inglés en en caso de España) y para la destreza llamada comprensión lectora. También se muestran en la parte inferior del gráfico los porcentajes globales medios para poder establecer comparaciones.


INTEF 2014 Pág. 10


Algunas de las conclusiones que se extrajeron en el informe español son las siguientes:

• Malta, Suecia, Holanda, y Estonia consiguen un elevado nivel en el dominio de la primera lengua, con más de un 50% de alumnos en los niveles B y Eslovenia, muy cercana a este porcentaje. Dejando aparte Malta, cuyo pasado como colonia británica explica claramente estos resultados, los otros cuatro países tienen ciertas características comunes como son tener poblaciones pequeñas e idiomas minoritarios, lo que hace que sea muy importante para su población poder comunicarse en otra lengua diferente a la materna para cualquier tipo de relación exterior.

• El porcentaje de estudiantes en Pre-A1 y A1 es superior o cercano al 50%.en España, Francia, Inglaterra, Polonia, Portugal y Bulgaria. Se observa que la lengua materna en las entidades que evaluaron Inglés es una lengua romance o eslava, todas ellas con gran distancia lingüística respecto al Inglés.

• España obtiene sus mejores resultados relativos en comprensión lectora y los peores en comprensión oral (descarga este PDF si quieres ver los resultados en comprensión oral). Diferentes razones pueden explicar estos resultados; entre otras, la metodología de enseñanza empleada durante años, que ha insistido en contenidos gramaticales y de comprensión lectora y escrita, la escasa exposición al uso de esta lengua en el contexto social español.


INTEF 2014 Pág. 11

Notas

• En el EECL, cuando se habla de entidades se hace referencia a los distintos países o comunidades lingüísticas participantes en el estudio. Por ejemplo Bélgica participó con sus tres comunidades lingüísticas de forma independiente (alemana, flamenca y francesa).

• En España ampliaron muestra Andalucía, Canarias y Comunidad Foral de Navarra.

Resultados por niveles de rendimiento

En PISA 2012 se establecieron distintos niveles de rendimiento, que se corresponden a distintos grados de dificultad en las tareas requeridas, en cada una de las tres competencias básicas evaluadas. Estos niveles se describen de acuerdo con los ítems que se encuentran en cada uno de ellos. Las puntuaciones de los participantes se organizaron en los niveles de rendimiento establecidos para cada competencia.

Para matemáticas, podemos ver descargando este PDF una tabla donde se presenta un resumen con la descripción de lo que los alumnos son capaces de realizar en cada uno de los niveles establecidos (no es necesario leerla de forma exhaustiva). Esta descripción ha sido elaborada por los especialistas correspondientes.

La utilidad de la definición y valoración de los niveles de rendimiento es doble:

• Permite cuantificar el porcentaje de alumnos que se encuentra en cada nivel en cada uno de los países.

• La correspondencia entre las preguntas planteadas y el nivel resultante permite a los expertos describir qué caracteriza el grado de adquisición de la competencia por parte de los alumnos que en él se encuentran, es decir, qué saben hacer, cómo aplican sus conocimientos y con qué grado de complejidad.

En la figura vemos, para la competencia matemática, los porcentajes de alumnos de cada país cuyo resultado se encuentra dentro del intervalo de puntuaciones de cada nivel de rendimiento. A los niveles establecidos se añadió un nivel inferior al primero (nivel menor que 1), que es aquel en el que se encuentran los alumnos cuyo rendimiento es tan bajo que PISA no es capaz de describir.


INTEF 2014 Pág. 12

El nivel de rendimiento 1 y <1 corresponde al grado más modesto de adquisición de la competencia. PISA considera que los alumnos que se encuentran en este nivel tienen riesgo de no poder afrontar con suficiente garantía de éxito sus retos formativos, laborales y ciudadanos posteriores a la educación obligatoria. España e Italia obtuvieron un 24% de alumnos en esos niveles, cifra igua a la UE y similar al promedio OCDE (23%).

Como señala el informe internacional, puede considerarse que los estudiantes que se encuentran en el nivel de rendimiento 2 en matemáticas demuestran el tipo de competencia mínimo requerido para el aprendizaje posterior y la vida social y laboral.


INTEF 2014 Pág. 13

En España, el porcentaje de alumnos en los niveles 5 y 6, que corresponden a los rendimientos más elevados, es del 8%, frente al 12% del Promedio OCDE.

Notas

Observa que, según las puntuaciones marcadas para la separación entre los niveles de rendimiento en matemáticsa, cada nivel supone 62,3 puntos:

• 2 - 1: 420,1 - 357,7 = 62,4 puntos. • 3 - 2: 482,4 - 420,1 = 62,3 puntos. • 4 - 3: 544,7 - 482,4 = 62,3 puntos. • 5 - 4: 607 - 544,7 = 62,3 puntos. • 6 - 5: 669,3 - 607 = 62,3 puntos.

Recordemos que el alumno que está, por ejemplo, en el nivel 3 es capaz de desarrollar las tareas también de los niveles 2 y 1.

Resultados por dimensiones

PISA 2012 ofrece una valoración del rendimiento de los alumnos en las cuatro sub-áreas de contenido matemático (Cantidad; Cambio y relaciones; Incertidumbre y datos; Espacio y forma) y en relación con los tres procesos matemáticos (Formular, Emplear e Interpretar).

Los resultados permiten estimar las diferencias entre el promedio global en matemáticas y el obtenido para cada sub-área o proceso valorados.

Tomando como referencia el promedio general y el de cada sub-área o proceso en la OCDE, las siguientes figuras muestran la diferencia entre dos distancias d1 y d2 (en el gráfico se representa d = d2-d1):

• d1: Puntuación media del país menos promedio de la OCDE. • d2: Puntuación media en la sub-área o proceso del país menos promedio de la

OCDE en dicha sub-área o proceso.

Un resultado positivo en una sub-área o proceso significa que el alumnado tiene mejor rendimiento relativo en el mismo que en el conjunto de las matemáticas.

Si tomamos, por ejemplo, para España la sub-área Cantidad, el dato representado (5) está calculado de la siguiente manera:

d = (490,84-495,15) - (484,32-494,05) = (-4,30) - (-9,73) = 5,42 que, redondeado, se representa como un 5 en la gráfica.


INTEF 2014 Pág. 14

España presenta mejor rendimiento relativo en las sub‐áreas de cantidad e incertidumbre y datos que en cambio y relaciones y espacio y forma. Por tanto, el rendimiento relativo es peor en las dos últimas que en las dos primeras.

En España, el proceso Interpretar tiene un resultado positivo (8) y está calculado como sigue:

d = (495,08 -497,01) - (484,32 -494,05) = (-1,93) - (-9,73) = 7,8 que, redondeado, se representa com un 8 en la gráfica.

En general, los alumnos de 15 años españoles tienen más dificultades a la hora de formular los conceptos matemáticos que de interpretar los mismos. Es


INTEF 2014 Pág. 15

decir, les resulta más complicado identificar oportunidades para aplicar (formular) las matemáticas que reflexionar sobre las soluciones o los resultados matemáticos e interpretarlos en el contexto de un problema o desafío. En las tareas relacionadas con el empleo de conceptos, datos, procedimientos y razonamientos matemáticos no se observa un patrón definido en cuanto al rendimiento de los alumnos.



Pregunta 1

1) El intervalo de confianza al 95% para un país con 520 puntos de rendimiento, si su error típico es 2 será desde 516,08 puntos hasta 523,95 puntos

Nota:

Límite inferior = media - 1,96 veces el error estándar

Límite superior = media + 1,96 veces el error estándar

Verdadero Falso

Feedback

Pregunta 2

2) Los resultados de PISA se presentan por medio de escalas con una puntuación media de 500 y una desviación típica de 100, lo que significa que el 95% de los alumnos de los países de la OCDE obtuvieron entre 400 y 600 puntos.

Verdadero Falso

Feedback

Pregunta 3

3) En los gráficos de resultados globales, los países con intervalos de confianza que comparten un tramo común, no se puede decir nada concluyente sobre el "orden" que unos países tienen respecto a otros.

Verdadero Falso


INTEF 2014 Pág. 16

Feedback

Pregunta 4

4) En PISA 2012 se establecieron seis niveles de rendimiento para la competencia matemática.

Verdadero Falso

Feedback

Pregunta 5

5) Observa detenidamente el gráfico. ¿Es verdadera o falsa la siguiente afirmación?

"En los niveles de rendimiento más elevados (5 y 6), Japón tiene en la competencia matemática un 27% de alumnado".

Verdadero Falso


INTEF 2014 Pág. 17

Feedback

Pregunta 6

6) Observa detenidamente el gráfico. ¿Es verdadera o falsa la siguiente afirmación?

"Interpretar es uno de los cuatro procesos de la competencia matemática y se les da mejor a los alumnos españoles que los otros tres".

Verdadero Falso

Feedback



Bloque 4. Análisis de resultados: contexto social, económico y cultural; otros factores.

Autores

David Cervera Olivares Paloma González Chasco José Mª Sánchez Echave INEE






INTEF 2014 Pág. 1

Índice Análisis de resultados: contexto social, económico y cultural; otros factores ................ 0

Autores ...................................................................................................................... 0

Todo el documento está sujeto a los siguientes términos de la licencia Creative Commons Reconocimiento-CompartirIgual 3.0 España ................................................ 0

Análisis de resultados: contexto social, económico y cultural; otros factores ................ 2

ISEC ............................................................................................................................. 2

ISEC: máximo nivel de estudios alcanzado por los padres ........................................... 4

Nota .......................................................................................................................... 4

ISEC: recursos domésticos ........................................................................................... 5

Nota .......................................................................................................................... 5

Líneas de regresión del rendimiento en función del ISEC ............................................. 6

Relación entre el rendimiento y el ISEC de los países .................................................. 6

Otras variables de carácter individual ........................................................................... 8

Diferencias en el rendimiento de alumnos y alumnas (matemáticas PISA 2012) .......... 9

Diferencias en el rendimiento de alumnos y alumnas (lectura y ciencias PISA 2012) . 11

Titularidad de los centros educativos .......................................................................... 13

Más información ...................................................................................................... 14

Otros factores ............................................................................................................. 14

Informe para un centro ................................................................................................ 16

Promedio de rendimiento en lectura en un contexto nacional .......................... 16

Relación entre el rendimiento y el índice socio-económico y cultural de los centros ............................................................................................................ 17

Promedio de rendimiento en lectura en un contexto internacional ................... 18

Niveles de rendimiento .................................................................................... 18

Ejercicio: verdadero o falso ......................................................................................... 19


Pregunta 1 ....................................................................................................... 19

Pregunta 2 ....................................................................................................... 19

Pregunta 3 ....................................................................................................... 19

Pregunta 4 ....................................................................................................... 19

Pregunta 5 ....................................................................................................... 20

Pregunta 6 ....................................................................................................... 21


INTEF 2014 Pág. 2

Análisis de resultados: contexto social, económico y cultural; otros factores

Los valores promedio responden a comportamientos, a veces muy diferentes, del rendimiento de los alumnos y de los centros. El rendimiento está influido por las circunstancias en las que se desarrollan los aprendizajes, la habilidad de cada alumno, los condicionantes de partida, los entornos sociales, económicos y culturales de los alumnos y centros educativos considerados u otros factores cuya posible asociación con los resultados se analizan en diversos gráficos que veremos a continuación.

Por tanto, nos queda por ver:

• resultados teniendo en cuenta el contexto social, económico y cultural de los estudiantes,

• otros factores sobre los que ampliar la investigación.

ISEC

ISEC son las siglas del índice socioeconómico y cultural. En PISA este índice lo llaman ESCS (Economic, Social and Cultural Status). Se calcula a partir de algunas de las respuestas de los alumnos y de sus familias en los cuestionarios de contexto, las cuales están sometidas a subjetividad y, por tanto, hay una componente de error debida al instrumento de recogida de información. Por tanto, el ISEC resume diversa información sobre el contexto social y familiar del alumnado y se elabora a partir de los siguientes datos:

• El nivel de estudios de la madre y del padre (se toma como valor el más alto de los dos).

• La profesión de la madre y del padre (se asigna el valor de mayor nivel de ambos).

• Nivel de recursos domésticos (por ejemplo, en PIRLS-TIMSS, son el ordenador, escritorio o mesa para uso personal, libros propios, habitación propia, conexión a Internet, reproductor de CD o DVD).

• El número de libros que el alumno tiene en su casa.

El valor se expresa como una variable continua tipificada para cada país, con media 0 y desviación típica 1. El ISEC de cada país se obtiene realizando la media de los índices de los alumnos de ese país, con la correspondiente ponderación de forma que cada alumno tiene un peso equivalente al número de individuos de la población a los que representa.

En el gráfico se representan los valores promedio del índice calculado para un conjunto de países en PIRLS-TIMSS 2011. Los valores promedio negativos corresponden a países en los que el ISEC es inferior al promedio. El índice asignado a España es prácticamente igual a la media 0.


INTEF 2014 Pág. 3


En las siguientes secciones se analiza la relación entre el rendimiento promedio de los alumnos y las distintas variables que intervienen en el cálculo del ISEC. Solo vamos a describir en este curso dos de las cuatro. Para consultar el resto se remite al capítulo 3 del informe:

PIRLS - TIMSS 2011. Estudio Internacional de progreso en comprensión lectora, matemáticas y ciencias. IEA.Volumen I: Informe español. o en este enlace alternativo.





INTEF 2014 Pág. 4

ISEC: máximo nivel de estudios alcanzado por los padres

En la siguiente figura se representa la puntuación media del alumnado según el máximo nivel de estudios de los padres en PIRLS 2011.


En el eje horizontal tenemos los cinco niveles establecidos por nivel de estudios de los padres, para España, internacional, Andalucía y Canarias. Además se tiene el dato del tanto por ciento de alumnos que hay en cada nivel. En el vertical se establecen los rendimientos promedio (puntuación) en cada uno de estos niveles de estudio.

Dos de las conclusiones que se extraen en el informe PIRLS-TIMSS 2011 son:

• Las diferencias entre los resultados de los alumnos cuyos padres tienen estudios básicos a lo sumo y los de aquellos con estudios universitarios superiores es, en España, más de 70 puntos en PIRLS. Estas diferencias son todavía más acusadas en la muestra internacional donde se llega a alcanzar una diferencia en torno a 100 puntos en ambos estudios.

• Los alumnos españoles cuyos padres tienen un nivel educativo superior tienen un rendimiento inferior al de los alumnos extranjeros del mismo grupo. Por el contrario, los españoles que son hijos de padres con escaso nivel educativo logran un rendimiento superior a sus homólogos extranjeros.

Nota

En el gráfico anterior aparecen Andalucía y Canarias porque ambas comunidades autónomas ampliaron su muestra y se tienen datos representativos de ellas.


INTEF 2014 Pág. 5

ISEC: recursos domésticos

La variable recursos domésticos es un indicador de la capacidad económica de las familias. Los artículos que recoge el cuestionario de contexto en PIRLS 2011 son: ordenador, escritorio o mesa para uso personal, libros propios, habitación propia, conexión a Internet y reproductor de CD o DVD.


En el eje horizontal tenemos los cuatro niveles establecidos por número de artículos que el alumno tiene en casa, para España, internacional, Andalucía y Canarias. Además se tiene el dato del tanto por ciento de alumnos que hay en cada nivel. En el vertical se establecen los rendimientos promedio (puntuación) en cada uno de estos niveles.

Una conclusión que se extrae en el informe PIRLS-TIMSS 2011 es: los alumnos con mayor número de artículos obtienen mejores resultados. Se observa un escalón muy pronunciado entre el primer nivel y los siguientes, disminuyendo la pendiente al aumentar el número de artículos. Este hecho indica que el aumento en el rendimiento no es proporcional al incremento de los artículos.

Nota

En el gráfico anterior aparecen Andalucía y Canarias porque ambas comunidades autónomas ampliaron su muestra y se tienen datos representativos de ellas.


INTEF 2014 Pág. 6

Líneas de regresión del rendimiento en función del ISEC

Mediante gráficos con líneas de regresión se representa la relación entre las puntuaciones en los diversos estudios y el índice socioeconómico y cultural (ISEC).

Los gráficos y el valor de R2 (coeficiente de determinación) permiten conocer y cuantificar la influencia del ISEC en los resultados. Por otro lado, también puede observarse si los resultados obtenidos por los países, centros o alumnos son superiores, inferiores o iguales a los esperados según su índice, observando si el punto correspondiente se sitúa por arriba, por debajo o sobre la curva de regresión estimada.

Cada curva de regresión representada ofrece tres informaciones (ver gráfico del siguiente apartado: relación entre rendimiento e ISEC de los países):

• Primero, el punto de corte de la curva con el eje vertical corresponde a la estimación del rendimiento promedio, descontando el ISEC.

• Segundo, la pendiente de la línea de regresión muestra la relación entre el ISEC y el rendimiento: cuanto menor es la inclinación de la curva, menos diferencias en el rendimiento se producen al variar el ISEC.

• Tercero, la curvatura de la línea de regresión indica si el efecto del nivel socioeconómico y cultural es de la misma magnitud para los diferentes valores de este índice a lo largo de la escala. Por ejemplo, una línea de regresión con una pendiente alta en el tramo inferior de la escala del ISEC y en la que disminuye gradualmente la pendiente según se asciende en esta escala, implicaría que el efecto del estatus socioeconómico sobre el rendimiento es superior para valores bajos del índice.

El análisis se suele realizar por países, por centros educativos y por alumnos. Para no extendernos demasiado, en este curso comentaremos el análisis por países.

Relación entre el rendimiento y el ISEC de los países

En este gráfico se relacionan las puntuaciones medias de los países (rendimientos) con su índice socioeconómico y cultural medio en PIRLS 2011.


INTEF 2014 Pág. 7


En el eje horizontal tenemos la media del ISEC para cada país. En el vertical se establecen los rendimientos promedio (puntuación) de cada país en comprensión lectora.

Conclusiones que se extraen en el informe PIRLS-TIMSS 2011 son:

• En general, países con mayor índice obtienen mejor resultado promedio en las pruebas. Sin embargo, no siempre esto es así: existen grandes diferencias en los resultados obtenidos en países con ISEC similares (por ejemplo entre Finlandia -568 puntos- o Noruega -507 puntos-, ambos con valores elevados del índice, o Malta -477 puntos- y Portugal -541 puntos-, entre los de índice con valores intermedios).

• Los resultados de los alumnos españoles son inferiores a los valores esperados para su índice. No obstante se debe tener en cuenta que la capacidad explicativa de los modelos ajustados es escasa, dado que el valor R2 no es elevado.

• Se estima que el efecto de incrementar en un punto el ISEC medio del país supondría un aumento de 27 puntos en los promedios PIRLS.


INTEF 2014 Pág. 8

Otro de los gráficos típicos que se utilizan es el siguiente, que pone en relación cuál sería la puntuación que correspondería a cada país si todos tuvieran un ISEC similar. En el gráfico, la barra de color representa la puntuación que ha obtenido el país en el estudio, y el rombo la puntuación si se descuenta el ISEC. Países con ISEC positivo bajan su puntuación y los que tienen ISEC negativo suben su puntuación.


Una conclusión del informe PIRLS 2011 es que al descontar el ISEC las puntuaciones promedio en comprensión lectora se aproximan. Por ejemplo, se acortan las distancias entre Australia, España, Irlanda, Noruega, Polonia y Suecia en mayor o menor medida en función del estudio.

Otras variables de carácter individual

En estos estudios se suele analizar otro tipo de factores tanto de alumnos como de centros educativos extrayendo datos objetivos de los cuestionarios de contexto como pueden ser los siguientes:

• Alumnos: diferencias en el rendimiento entre alumnos y alumnas; resultados en función de la repetición de curso; resultados en función de la condición de inmigrante.

• Centros: titularidad de los centros educativos; clima disciplinar; área de localización del centro; autonomía y gestión

Nos vamos a centrar en comentar un factor relativo a alumnos y otro a los centros de PISA 2012.


INTEF 2014 Pág. 9

Diferencias en el rendimiento de alumnos y alumnas (matemáticas PISA 2012)

Diferentes estudios de evaluación educativa vienen confirmando diferencias en rendimiento asociadas al sexo del alumnado. El análisis de la relación entre esta variable y los resultados es importante, porque permite constatar el posible efecto de las diferentes políticas de igualdad que deben poner en práctica los países y las escuelas a fin de garantizar el máximo desarrollo educativo de todas las personas, independientemente de cuáles sean su sexo, o cualesquiera otras circunstancias personales o sociales.

En el gráfico siguiente se representa, en PISA 2012, la diferencia de puntuación en matemátcas según sexo, en los países OCDE y las comunidades autónomas.

En la columna de la izquierda tenemos una barra de color azul por cada país que establece la diferencia de puntuación entre chicos y chicas. Si la barra está a la derecha del punto central, significa que los chicos de ese país han logrado un mejor resultado, y si está a la izquierda son las chicas las que alcanzaron mejor puntuación. Además, si la barra tiene un color azul oscuro es poque la diferencia de puntuación es estadísticamente significativa, y si es azul claro no es estadísticamente significativa.

En la columna de la derecha se representa la puntuación total en casa país de los chicos con un círculo verde y la de las chicas con un triángulo azul.


INTEF 2014 Pág. 10

Algunas conclusiones del informe PISA 2012 son: en la mayoría de los países, los chicos obtienen mejores resultados que las chicas. La diferencia alcanza, a favor de los chicos, 11 puntos en el promedio de los países de la OCDE, 8 en la UE y 16 puntos en España.


INTEF 2014 Pág. 11

Diferencias en el rendimiento de alumnos y alumnas (lectura y ciencias PISA 2012)

Siguiendo con PISA 2012, vemos a continuación la diferencia de puntuación en lectura según sexo. A diferencia de lo que ocurre en matemáticas, en lectura las chicas logran mejores resultados que los chicos. En el conjunto de los países de la OCDE, estas llegan a alcanzar los 38 puntos a favor de las chicas y los 43 puntos en la UE. En España, esta diferencia se sitúa en 29 puntos.


INTEF 2014 Pág. 12

Y, por último, en ciencias. En esta competencia no se observa relación entre los resultados y el sexo de los alumnos. En algunos países, las chicas obtienen mejores resultados, mientras que en otros son los chicos los que consiguen mejores puntuaciones. El promedio del conjunto de los países de la OCDE es de 1 punto a favor de los chicos, en la UE de 2 puntos a favor de las chicas y en España de 7 puntos a favor de los chicos.


INTEF 2014 Pág. 13

Titularidad de los centros educativos

La titularidad del centro educativo es uno de los factores a tener en cuenta al analizar el rendimiento del alumnado. La distribución varía notablemente de unos países a otros como podemos ver en la columna de la izquierda de la siguiente figura. La barra verde representa el tanto por ciento de centros de titularidad pública y la barra azul el tanto por ciento de titularidad privada.

El alumnado en España se escolariza en centros de titularidad pública y de titularidad privada, la mayoría de estos últimos concertados. En el estudio PISA 2012, España cuenta con un 32% de alumnos en centros privados. En la OCDE el 18% son de titularidad privada y en la UE el 14%.


INTEF 2014 Pág. 14

En la columna a la derecha de los países tenemos la puntuación media de los centros públicos con un triángulo verde, y la de los centros privados con un círculo azul.

Algunas conclusiones reflejadas en el informe PISA 2012 fueron: en la mayoría de países los alumnos de centros privados obtienen puntuación media en matemáticas superior a la de los centros públicos. En España, la puntuación media de alumnos escolarizados en centros públicos es de 471 puntos y en centros privados es de 510 puntos, habiendo una diferencia de 39 puntos.

Más información

Si se quiere ampliar información al respecto, en el apartado "Rendimiento del alumnado en función de la titularidad de los centros educativos" del infome español PISA 2012, encontramos las diferencias en los resultados descontando el índice socioeconómico y cultural.

Allí se concluye que la diferencia de 39 puntos a favor de los centros privados se reduce a 10 puntos al detraer el ESCS de las familias y de los centros. Lo cual indica que si los niveles sociales, económicos y culturales de los centros públicos y privados en España fueran similares, las diferencias entre los centros de distinta titularidad se reducirían considerablemente.

Otros factores

Además de todo lo analizado anteriormente, se puede estudiar el efecto que algunos índices de contexto, relacionados con los alumnos y su familia, el profesor y el centro educativo, tienen sobre el rendimiento de los alumnos en cada una de las competencias evaluadas.

Estos índices se distancian de aspectos económicos y centran su atención en temas como los hábitos lectores, el disfrute y consideración de las competencias evaluadas, la ayuda de los padres en las tareas, la valoración del centro educativo por los alumnos, los recursos de los que dispone el profesor, el leer por placer, etc.

Los estudios internacionales de evaluación recogen, junto con la información del rendimiento de los alumnos, datos sobre algunas características del contexto educativo que pueden explicar parte de la varianza de los resultados de rendimiento.

Toda esta información se extrae de los cuestionarios de contexto, de los que ya hablamos en el bloque II de este curso. El número de variables que incluyen es muy alto y, para resumir la información se realiza una agrupación en índices siguiendo la estructura interna de los propios cuestionarios.

Se realiza en primer lugar un análisis factorial que consiste en:

• tomar un conjunto de ítems del cuestionario de contexto (que tengan que ver entre sí),


INTEF 2014 Pág. 15

• unirlos en un solo índice que representará una variable continua, • estudiar mediante métodos estadísticos el % de varianza explicada por dicho

índice, es decir, en qué medida representan al conjunto de ítems del cuestionario de contexto que componen al índice.

Por ejemplo, nos vamos a centrar en el índice “Valoración centro” del informe PIRLS-TIMSS 2011. Dicho índice, para TIMSS-ciencias, recoge de la pregunta 12 “¿Cómo valoraría cada uno de los siguientes aspectos de su centro?” las opciones A, D, E, F, G y H del cuestionario de contexto del centro porque tienen que ver entre sí, puesto que intentan explicar si el colegio es valorado positivamente por el docente, los padres y alumnos, y se pretende investigar si esto influye de forma favorable en el rendimiento en ciencias de los alumnos. Podemos volver a descargar el cuestionario de contexto desde este enlace.

Se ha calculado que este índice explica un 52,6% de la varianza recogida por el conjunto de opciones A, D, E, F, G y H. Al haberlos unido en una sola variable, se pierde parte de la información aportada por cada una de las opciones por separado, por lo que se considera interesante continuar con el estudio del mismo.

Una vez obtenidos los índices que nos resultan más interesantes mediante el análisis factorial, se realiza un análisis de regresión multinivel, mediante el cual se observa la influencia del índice construido sobre el rendimiento en los alumnos.

Continuando con el índice “Valoración centro”, hemos dicho que incluye ítems que informan sobre la satisfacción y expectativas del docente, el apoyo e implicación de los padres y el comportamiento de los alumnos. Con este índice pretendemos ver si la escuela es valorada positivamente por el docente, los padres y alumnos, si esto influye de forma favorable en el rendimiento en ciencias de los alumnos.

En el gráfico, para el índice “Valoración centro” observamos lo siguiente:


INTEF 2014 Pág. 16

• % de varianza explicada en el rendimiento de los alumnos para España (4%) y para los países de la OCDE (8%). Este dato nos informa de cuánta información aporta este índice en concreto sobre el rendimiento que el alumno obtiene en ciencias. Dicho de otra manera, cuánto depende el rendimiento del alumno del índice “Valoración centro”. Como vemos, un 4% no es una cantidad muy elevada para España, aunque para la OCDE es más alto.

• Además, se separan todos los alumnos que intervienen en el estudio en cuatro cuartos para este índice según la valoración que otorgan al centro:

o el primer 25% de alumnos, los que menos valoran el centro, obtienemn un rendimiento medio de 474,72 puntos (representado con un segmento vertical),

o el segundo 25% de alumnos, los que valoran algo más el centro, consiguen un rendimiento medio de 501,16 puntos (representado con un rombo),

o el tercer 25% de alumnos, los que valoran todavía más el centro que los anteriores, obtienen un rendimiento medio de 513,14 puntos (representado con un cuadrado),

o el cuarto 25% de alumnos que valoran todavía más el centro, obtienen un rendimiento medio de 523,46 puntos (representado con un aspa).

Informe para un centro

Con los datos de PIRLS 2011 de 4º curso de Educación Primaria, se pueden hacer análisis para presentar un resumen de los resultados de uno de los centros educativos de la muestra. Los datos están anonimizados.

En el estudio PIRLS participaron en este centro 51 alumnos.

Promedio de rendimiento en lectura en un contexto nacional

A continuación se presentan las puntuaciones medias obtenidas por el centro educativo en lectura, en comparación con las de la comunidad autónoma a la que pertenece el centro y el conjunto del Estado.

Puntuación en

comprensión lectora

Centro educativo 494

Comunidad Autónoma 457

España 513


INTEF 2014 Pág. 17

La puntuación del centro educativo en lectura con respecto a los percentiles 5, 10, 25, 50, 75, 90 y 95 de rendimiento de España, puede observarse en el siguiente gráfico.

Si no ves correctamente la anterior imagen, puedes descargarte este PDF.

Relación entre el rendimiento y el índice socio-económico y cultural de los centros

A cada centro educativo se le asigna el valor medio del índice que se asigna a sus alumnos. Este índice es un dato que permite describir el nivel social, económico y cultural del conjunto de las familias de cada centro educativo.

El siguiente gráfico relaciona el rendimiento de los centros educativos de la muestra española, con su índice socio-económico y cultural. Para mayor claridad comparativa, los valores del centro educativo se muestran resaltados con respecto al resto de centros.


INTEF 2014 Pág. 18


Promedio de rendimiento en lectura en un contexto internacional

Se compara el rendimiento del centro educativo en PIRLS con el rendimiento de algunos de los países participantes en dicho estudio y la media de la OCDE. Los países que se han utilizado en la comparativa son: España, Estados Unidos, Finlandia, Francia, Inglaterra y Portugal.


Niveles de rendimiento

El estudio PIRLS establece 5 niveles de rendimiento. Estos niveles son delimitados por unos puntos de referencia internacionales fijados en 400, 475, 550 y 625. La distribución de las preguntas de las pruebas a los alumnos en los distintos niveles, según su dificultad, permite describir el grado de adquisición de comprensión lectora. Los niveles de rendimiento son los siguientes:



INTEF 2014 Pág. 19



Pregunta 1

1) Una de las preguntas que se les hace a los alumnos en los cuestionarios de contexto y que se tiene en cuenta en el cálculo del ISEC es la profesión del padre y de la madre.

Verdadero Falso

Feedback

Pregunta 2

2) Para el cálculo del ISEC se tiene en cuenta el nivel de estudios de los padres y de los abuelos del alumno.

Verdadero Falso

Feedback

Pregunta 3

3) El ISEC de cada país se obtiene realizando la media de los índices de los profesores de ese país.

Verdadero Falso

Feedback

Pregunta 4

4) Observa el siguiente gráfico de PIRLS 2011 sobre el nivel de estudios de los padres y su influencia sobre el rendimiento. ¿Es verdadera o falsa la siguiente afirmación?

"Los padres españoles con estudios universitarios tienen una menor influencia en el rendimiento que los padres de los alumnos extranjeros del mismo grupo".


INTEF 2014 Pág. 20


Verdadero Falso

Feedback

Pregunta 5

5) Observa el siguiente gráfico de PIRLS 2011 que establece la relación entre el rendimiento y el ISEC de los países. ¿Es verdadera o falsa la siguiente afirmación?

"Los resultados de los alumnos españoles son inferiores a los valores esperados para su índice".


INTEF 2014 Pág. 21


Verdadero Falso

Feedback

Pregunta 6

6) Observa el siguiente gráfico de PISA 2012 sobre las diferencias en el rendimiento de alumnos y alumnas. ¿Es verdadera o falsa la siguiente afirmación?

"Los alumnos españoles obtienen mejores resultados que las alumnas en competencia matemática, siendo la diferencia de 30 puntos".


INTEF 2014 Pág. 22

Verdadero Falso

Feedback



evaluaciones externas internacionales -...

Documents