pruebas pisa

21

EDUCACIÓN, Revista Semestral de la Facultad de Educación de la UNMSM

1. INTRODUCCIÓN

E n este artículo nos proponemos describir las características de lo que puede denominarse el Proyecto PISA (OECD Programme for International Student Assessment) que constituye el esfuerzo de mayor envergadura y complejidad,

dentro de la comunidad internacional, para medir los conocimientos y habilidades delos escolares de 15 y 16 años, en términos que permitan la comparación fiable de lospuntajes obtenidos, por muestras tomadas en los centros educativos, de una pluralidadde países instalados en diversas culturas. Creemos que una presentación, aunquesea preliminar, de los alcances del proyecto PISA es importante no sólo por suenvergadura y generalidad sino, principalmente, por las peculiaridades que caracterizana su concepción de la medición de la calidad de los servicios que ofrecen los sistemaseducativos en actual vigencia, la misma que está ligada a las más avanzadas cienciasy tecnologías de la educación y a una comprensión explícita del rol central que debecumplir la educación en cualquier proyecto social orientado por una visión de futuroracionalmente fundada.

El contexto dentro del cual deben entenderse los objetivos sociales y educacionalesdel proyecto PISA es, en medida significativa, extraño a la realidad educacional denuestro país. En efecto, han transcurrido ya aproximadamente 40 años desde quepaíses vecinos como Chile, Colombia y Brasil establecieron sistemas de pruebasnacionales con la finalidad de medir anualmente los rendimientos escolares en elnivel de la educación básica, a fin de contar con indicadores de la calidad de losaprendizajes producidos por los sistemas educativos como justificación del gastopúblico que realizan los estados en infraestructura, equipamiento, sueldos de losdocentes y materiales educativos, con cargo a los impuestos que pagan los miembrosde la comunidad nacional. Sin embargo en el Perú, salvo el caso de las denominadaspruebas de madurez mental que tuvieron vida efímera en la década de 1950, no haexistido proyecto alguno para la aplicación cíclica de pruebas nacionales a los escolaresdel nivel de educación básica, pese a que el desarrollo científico y tecnológico en lamateria ha sido notable y a que el perfeccionamiento y abaratamiento de los equiposinformáticos ha sido creciente, lo cual ha facilitado que los sistemas de pruebasnacionales sean de uso generalizado en la región, en Europa y en amplios sectoresasiáticos, encontrándonos entre las pocas excepciones.

La difusión de las pruebas nacionales y de las internacionales en América Latinaha sido una consecuencia de la influencia de las aplicaciones educacionales de lapsicometría a través del Educational Testing Service de New Jersey. Esta institucióndesarrolló una metodología para la elaboración de pruebas de selección múltiple, decalificación automática y de aplicación masiva, entre las que destaca el SAT (ScholasticAptitud Test) que es el instrumento de selección de postulantes que usan hasta lafecha la mayor parte de las universidades norteamericanas. Utilizando esta mismametodología se han establecido en América Latina pruebas internacionales, algunas

Educación , Año I, N.° 2, diciembre 2004; pp. 21-34

Luis PiscoyaHermoza

EDUC

ACIÓ

N

PRUEBAS PISA: NIVELES DE DESEMPEÑOY CONSTRUCCIÓN DE PREGUNTAS

22

PRUEBAS PISA

EDUC

ACIÓ

N

de las cuales tienen su origen en Estados Unidos yCanadá. Entre ellas puede mencionarse a CivicEducation Study, IALS (International Adult LiteracySurvey), ALL (Adult Literacy and Lifeskills), PIRLS(Progress in International Reading Literacy Study),TIMSS (Third International Mathematics and ScienceStudy) y TIMSS-R, entre otras. Al respecto, debemosseñalar que el Perú, con excepción de la pruebaLLECE de UNESCO, no ha participado en ningunade estas pruebas que permiten comparaciones enla región, mientras que Argentina, Colombia, Brasil,Chile, México y, ocasionalmente, Bolivia y Costa Ricaregistran participaciones reiteradas entre 1991 y elaño 2002.

Seguramente, lo que singulariza con mayor nitidezy relevancia al Proyecto PISA es su peculiarconcepción de la alfabetización que excede en mucholo que tradicionalmente se ha entendido en caste-llano al respecto, esto es, saber leer, escribir y realizaroperaciones aritméticas muy elementales.

Normalmente no diríamos, de acuerdo connuestros estándares, que un alumno al concluir elquinto grado de secundaria está aceptablementealfabetizado o que es objetivo de la educaciónsecundaria alfabetizar a nuestros escolares que seencuentran entre 15 y 16 años. En nuestro lenguajedecimos que alfabetizamos a quien no ha tenidoacceso oportuno al sistema escolar y si lo realizamoscon éxito hemos resuelto una emergencia, perotodavía nos encontramos muy lejos de un mínimoeducativo deseable. Por ejemplo, nunca he escucha-do que el uso del plano cartesiano o que la soluciónde ecuaciones de primer grado sean parte de unprograma de alfabetización, pero sí del plan deestudios de educación secundaria.

En contraposición a lo anterior, lo que podemosdenominar el Enfoque PISA (PISA literacy approach) sepropone definir cada área de evaluación, esto esmatemática, ciencias, comprensión de lectura y soluciónde problemas no principalmente en términos decapacidades y destrezas minimalistas, sino en términosde los conocimientos y habilidades que se requierenpara lograr una participación plena en la cada vez máscompleja sociedad del siglo XXI. Este planteamiento,

que es completamente compatible con lo que piensansobre evaluación de la educación los especialistasrespetados por la comunidad académica internacional,evita las discusiones bizantinas de quienes seencuentran enfrascados en debates curriculares hacetres décadas tratando de dirimir devotamente si elaboranel plan de estudios a partir de un listado de objetivosconductuales skinnerianos o de competencias "cons-tructivistas". Esta es la herencia pesada que dejaron,pienso que involuntariamente, los teóricos iniciales delSAT, cuyos planteamientos han sido tergiversados porquienes han pretendido, primero, medir las aptitudescon independencia de los conocimientos y, luego,escribir currículos a partir de competencias y destrezasdisolviendo por resolución ministerial las disciplinascientíficas.

El énfasis del proyecto PISA en tomar en el planocartesiano como eje X los conocimientos y como ejeY un conjunto de habilidades generales o de desem-peños identificables (recuperar información, Interpre-tar textos, reflexionar y valorar) se manifiesta clara-mente en el hecho de que cada una de sus etapasha estado definida por una dimensión del conoci-miento o por aquello que lo viabiliza y fortalece. Laspruebas PISA 2000 estuvieron orientadas preferente-mente a evaluar la comprensión de lectura pero noen términos de "aprender a leer" sino de "leer paraaprender". Así se entiende el sentido instrumental dela lectura, que no se limita al texto literario sino queincorpora de manera equilibrada la lectura de diagra-mas y curvas en el plano cartesiano, la comprensiónde diagramas de flujo, organigramas, mapas, tablasde doble entrada y signos icónicos. Todo ello es parteno sólo de los informes científicos sino también delos administrativos, de los informes periodísticos ode la señalización de las estaciones del Metro quetodavía no hay en Lima pero que existe en la mayorparte de las ciudades del planeta que son represen-tativas de la compleja sociedad contemporánea. Enarmonía con lo expuesto, las pruebas PISA 2003, enlas que han participado 40 países, han estadoorientadas eminentemente a evaluar matemática ylas pruebas PISA 2006, en las que participarán 60países, privilegiarán la evaluación de las cienciasbásicas.

23


Lo antes dicho prueba suficientemente que el enfoquePISA parte de los conocimientos científicos queconstituyen la herramienta de supervivencia, desarrollo ydominio más potente que ha creado la cultura occidentala partir de la racionalidad del pensamiento filosóficogriego y de su correspondiente matemática. Desde estaentrada, enraízada en la tradición filosófica y científica, sedefinen las preguntas de las pruebas en términos detareas, que miden las habilidades y destrezas necesariaspara utilizar la comprensión de lectura como herramientapara aprender e incrementar el conocimiento, y lamatemática y las ciencias como herramientas para serempleadas en el mundo real poniéndolas enfuncionamiento en la solución de necesidades presentesy en la previsión de futuras, más que en la elaboraciónde respuestas exitosas a las preguntas del currículumescolar. De esta manera no se pierde el sentido de laeducación en la descomposición artificial y psicologistade competencias en capacidades, destrezas yhabilidades que asumidas como funciones o entidadesindependientes se multiplican en átomos que nadatienen que ver con el carácter estructural e integrador delas producciones científicas. En lugar de ello, losconductores académicos de PISA proponen tareas contemas adecuadamente definidos que se distinguen porsu grado de organización lógica, por la riqueza simbólicadel lenguaje utilizado y por el grado en que demandanejercitar habilidades como intuir, razonar, argumentar,comunicar, modelar y plantear y solucionar problemas.Estos criterios son suficientes para definir operacional-mente, por ejemplo, seis niveles de desempeño enmatemática y construir 85 preguntas (tareas) queexpresan una meta teórica que no se espera que escolaralguno pueda responder en su totalidad.

Estando el presente número de la revista Educacióndedicado a la innovación y evaluación pedagógicas, en

lo que sigue procederemos a exponer el aporte de losteóricos de las pruebas PISA en la definición de losniveles de desempeño para la medición de losconocimientos y habilidades que requieren losescolares de 15-16 años para afrontar con éxito losdesafíos del futuro. Incluiremos también algunoscriterios específicos para orientar la construcción depreguntas, y luego presentaremos como anexo algunoscuadros que muestran los resultados de las pruebasUNESCO 1998-2000, y PISA 2000 y 2003, y susimplicancias. El Perú sólo participó en las dos primerascon resultados extremadamente deficientes que no hanrecibido hasta la fecha la atención que merecen de losresponsables de la conducción y administración denuestro preocupante sistema educativo. En la medidaque consideramos que los referidos cuadros hablanpor sí mismos, hemos omitido, esta vez, comentarioalguno para dejar la tarea de reflexión y enjuiciamientocompletamente a cargo del lector.

2. PRUEBAS DE COMPRENSIÓN DE LECTURA

2.1. Niveles de Desempeño

Las pruebas PISA de comprensión de lectura seproponen medir cinco niveles de desempeño, ensentido decreciente, del más complejo al más simple,los mismos que combinan en diversos grados decomplejidad las siguientes habilidades: a)recuperación de información; b) interpretación detextos; y c) razonamiento y evaluación. A continuación,presentamos un cuadro que es, en lo principal, unaversión castellana del autor de este artículo delcuadro que se encuentra en el capítulo II, página 42del informe PISA 2000.

24

PRUEBAS PISA

EDUC

ACIÓ

N

NIVELES DE DESEMPEÑO DE LAS PRUEBAS PISA 2000 DE COMPRENSIÓN DE LECTURA

Habilidades Recuperación de información

Interpretación detextos

Razonamiento y evaluaciónNiveles

Localiza una o más piezas inde-pendientes con información explí-cita que satisface típicamente un solo criterio, con escasa o ningu-na información en conflic to.

Reconoce el tema principal o el propósito del autor en un texto sobre un tópico familiar cuando la información requerida por el texto es muy visible.

Localiza y en algunos casos re-conoce las relaciones entre pie-zas de información, cada una de las cuales puede incluir una diver-sidad de criterios. Trata con infor-mación alternativa.

Integra varias partes de un texto para identif icar la idea principal, comprende una relación o cons-truye el significado de una pala-bra o frase. Compara, contrasta o categoriza teniendo en cuenta va-rios criterios. Trata con informa-ción alternativa.

Hace conexiones o comparacio-nes, da explicaciones o evalúa una característica de un texto. Demuestra una comprens ión detallada del texto con respecto al conocimiento cotidiano o recurre al conocimiento menos común.

Localiza una o más piezas de in-formación cada una de las cuales puede incluir diversos criterios. Tra-ta con información alternativa.

Identifica la idea principal de un texto, comprende relaciones, cons-truye o aplica categorías simples o construye el signif icado de una par-te limitada de texto que contiene información no-obvia y que requie-re referentes de bajo nivel.

Hace comparaciones o conexio-nes entre el texto y el conoci-miento exterior al mismo o explica una característ ica del texto recu-rriendo a la experiencia personal y a actitudes.

Hace una conexión simple entre el texto y el conocimiento cotidia-no o común.

Localiza y posiblemente secuen-cia o combina múltiples piezas con información implícita, parte de la cual puede encontrarse fue-ra del cuerpo principal del texto. Inf iere qué información del texto es relevante para la tarea. Trata con información altamente plausi-ble o con alternativas en conflicto.

Construye el significado de un lenguaje con matices sutiles o demuestra una comprensión ple-na y detallada de un texto.

Evalúa críticamente o hipotet iza recurriendo a conocimiento espe-cializado maneja conceptos poco comunes y muestra una com-prensión profunda de textos lar-gos o complejos.

Localiza y posiblemente secuen-cia o combina múltiples piezas con información, cada una de las cuales puede incluir criterios diversos dentro de un texto con forma o contexto poco común. Inf iere qué información del texto es relevante para la tarea.

Hace inferencias en base a un texto complejo para comprender y aplicar categorías en un contexto poco común y para construir el sig-nificado de un segmento del texto teniendo en cuenta el texto como un todo. Trata con ambigüedades, ideas poco comunes e ideas ex-presadas negativamente.

Usa conocimiento público o for-mal para hipotetizar sobre un tex-to o evaluarlo críticamente. Mues-tra comprensión cuidadosa de un texto largo o complejo.

1.º

2.º

3.º

4.º

5.º

25


2.2. Intervalos de los Niveles de Desempeño

En el siguiente cuadro detallamos los intervaloscorrespondientes a cada nivel de desempeño en laspruebas PISA de comprensión de lectura. El 1.º es elnivel de desempeño más bajo considerado dentrode la escala de calificación. Sin embargo, este nivelno corresponde a un estándar mínimo aceptable sinoa un estándar mínimo registrado en los países de laOECD, que coincide con el puntaje que correspondeal valor del promedio menos tres desviacionesestándar (s ). Cabe señalar que los escolaresperuanos obtuvieron en promedio, en el año 2001,un puntaje inferior a 335, lo que los ubica en unaposición, estadísticamente, bajo 0.

ESTÁNDARES DE LAS PRUEBAS PISA POR NIVELDE DESEMPEÑO EN COMPRENSIÓN DE

LECTURA

Niveles Intervalo

5.º más de 625 4.º 553 - 625 3.º 481 - 552 2.º 408 - 480 1.º 335 - 407

2.3. Naturaleza de las Tareas o Preguntas deComprensión de Lectura

El contenido de las tareas expresada por laspreguntas ha sido clasificado en 31 categorías quepresentamos, luego, de mayor a menor orden decomplejidad. Asimismo, en la medida que laspruebas PISA de comprensión de lectura han sidoestandarizadas, después de detallar el contenido delas preguntas propias de cada categoría, hemosañadido entre paréntesis el puntaje estándar que conuna probabilidad de 0.62 alcanzaría el estudiantecapaz de contestar la pregunta correspondiente adicha categoría. Naturalmente, para este estudiantela probabilidad de contestar preguntas corres-pondiente a estándares menores al de la preguntade referencia es mayor que 0.62.

2.3.1. Manejo de hipótesis acerca de un fenómenoinesperado teniendo en cuenta conocimientosexternos al texto y toda la información relevantecontenida en un cuadro complejo sobre untópico relativamente no familiar (puntajeaproximado: 822).

2.3.2. Análisis de varios casos descritos asociándolosa las categorías presentadas en un diagramade árbol en el que parte de la informaciónrelevante se encuentra en notas a pie de páginas(puntaje aproximado: 727).

2.3.3. Manejo de hipótesis acerca de un fenómenoinesperado tomando en cuenta el conoci-miento externo al texto y parte de la informa-ción relevante, contenida en un cuadrocomplejo, sobre un tópico relativamente nofamiliar (puntaje aproximado: 705).

2.3.4. Evaluación del episodio final de una larganarración en relación a un tema implícito(puntaje aproximado: 652).

2.3.5. Distinguir matices del lenguaje en una na-rración respecto al tema principal, en presen-cia de ideas en conflicto (puntaje aproxima-do: 645).

2.3.6. Localizar información en un diagrama deárbol usando información contenida en notasde pie de página (puntaje aproximado: 631).

2.3.7. Construir el significado de una oración rela-cionándolo con un contexto amplio en unanarración (puntaje aproximado: 603).

2.3.8. Manejar hipótesis acerca de una decisiónrelacionándola con la evidencia mostrada enun gráfico para inferir el tema principal de ungráfico múltiple (puntaje aproximado: 600).

2.3.9. Comparar y evaluar el estilo de dos cartasabiertas (puntaje aproximado: 581).

2.3.10. Evaluar la parte final de una narración en relacióncon la trama (puntaje aproximado: 567).

2.3.11. Inferir una relación analógica entre dos fenó-menos discutidos en una carta abierta (pun-taje aproximado: 542).

2.3.12. Identificar la información de partida implicadapor la construcción de un gráfico (puntajeaproximado: 540).

26

PRUEBAS PISA

EDUC

ACIÓ

N

2.3.13. Construir el significado de citas cortas de unanarración en relación con la atmósfera osituación inmediata (puntaje aproximado:539).

2.3.14. Conectar evidencias dadas en una narracióncon conceptos personales para justificar unpunto de vista opuesto (puntaje aproximado:537).

2.3.15. Explicar las motivaciones de un personajevinculándolas a eventos descritos en unanarración (puntaje aproximado: 529).

2.3.16. Inferir la relación entre dos gráficos presen-tados con convenciones diferentes (puntajeaproximado: 508).

2.3.17. Evaluar la aplicabilidad de un diagrama deárbol para propósitos particulares (puntajeaproximado: 486).

2.3.18. Localizar información numérica en un dia-grama de árbol (puntaje aproximado: 485).

2.3.19. Conectar la evidencia descrita en unanarración con conceptos personales parajustificar un punto de vista particular (puntajeaproximado: 480).

2.3.20. Localizar y combinar información en ungráfico lineal y luego usarla para inferir unvalor numérico desconocido (puntaje aproxi-mado: 478).

2.3.21. Comprender la estructura de un diagramade árbol (puntaje aproximado: 477).

2.3.22. Aparear categorías dadas en un diagrama deárbol para describir casos en situaciones enlas que la información relevante está en unanota a pie de página (puntaje aproximado: 473).

2.3.23. Interpretar información proporcionada en unpárrafo para comprender el escenario de unanarración (puntaje aproximado: 447).

2.3.24. Distinguir entre variables y característicasestructurales de un diagrama de árbol(puntaje aproximado: 445).

2.3.25. Identificar los propósitos de dos textos cortos(puntaje aproximado: 421).

2.3.26. Localizar las partes de la información implícitaen un texto que contiene organizadores fuertes(puntaje aproximado: 405).

2.3.27. Inferir la idea principal de un gráfico de barrasdesde su título (puntaje aproximado: 397).

2.3.28. Localizar un fragmento de información literalen un texto con estructura clara (puntajeaproximado: 392).

2.3.29. Localizar información explícita en unasección corta, previamente especificada, deuna narración (puntaje aproximado: 367).

2.3.30. Localizar un fragmento con informaciónexplícitamente definida en un texto con títulos(puntaje aproximado: 363).

2.3.31. Reconocer el tema de un artículo que tienesubtítulos claros y redundancia considerable(puntaje aproximado: 356).

3. PRUEBAS PISA DE MATEMÁTICA

3.1. Contenidos y habilidades

Las pruebas PISA 2003, como hemos señaladoantes han estado destinadas principalmente a medirlos conocimientos y habilidades que se expresan através del concepto de Mathematical Literacy quepuede traducirse literalmente al castellano comoAlfabetización Matemática pero que, ciertamente,debe entenderse en el contexto que hemos descritoen la Introducción. Estas pruebas estuvierondestinadas a medir el desempeño de los escolaresen cuatro áreas: espacio y figura, cambio y relaciones,cantidad e incertidumbre. La primera incluyefenómenos geométricos y espaciales, y propiedadesde los objetos. La segunda incluye relaciones entrevariables y una comprensión de lo que ellasrepresentan, incluyendo ecuaciones. La terceraincluye fenómenos numéricos, relaciones y modeloscuantitativos. La cuarta explora fenómenos estadís-ticos y probabilísticos.

Como puede observarse, las áreas no estánplanteadas en el nivel del conocimiento del formalismomatemático sino en el nivel de la identificación y manejode situaciones problemáticas que se expresan enestados fenoménicos, las mismas que deben sermanejadas utilizando herramientas matemáticas.

27


Las habilidades requeridas para utilizar losconocimientos incluidos en las cuatro áreas antesmencionadas no se entienden como entidades sinocomo conjuntos de destrezas que se clasifican en tresconglomerados distinguibles aunque generalmenteoperen en conjunto.

• Habilidades para la reproducción de informa-ción. Referentes a la reproducción del conoci-miento así como al reconocimiento de tipos deproblemas y procesos matemáticos realizandooperaciones rutinarias. Estas habilidades seaplican a las tarea más simples.

• Habilidades de conexión o ligaduras. Exigen irmas allá de los problemas de rutina para hacerinterpretaciones y vincular situaciones diferentes,pero todo ello en contextos relativamentefamiliares. Estas habilidades se usan en lasolución de problemas de mediana dificultad.

• Habilidades de razonamiento. Requiereintuición y razonamiento tanto como creatividaden la identificación de los elementos queconstituyen un problema matemático. Estosproblemas a menudos son complejos, requie-ren hacer conexiones y tienden a ser los másdifíciles de las pruebas PISA.

3.2.Niveles de desempeño en las pruebas PISAde Matemática

La calificación de las prueba PISA de Matemáticaincluye seis niveles de desempeño, en sentidodecreciente, del más complejo al más simple. Cadauno de estos niveles combina por grado de comple-jidad cada una de los conjunto de habilidades antesdescritos. En lo que sigue presentamos una versióncastellana del cuadro contenido en la página 5 delsumario ejecutivo del informe PISA 2003.

NIVELES DE DESEMPEÑO EN LAS PRUEBAS PISA 2003 DE MATEMÁTICA

Los estudiantes pueden conceptualizar, generalizar y utilizar información basada en sus investigaciones y el modelamientode situaciones problemáticas complejas. Pueden vincular diferentes fuentes de información y representaciones y hacertraducciones flexibles entre ellas. Son capaces de alcanzar el razonamiento y el pensamiento matemático avanzado.Aplican la intuición y comprensión acompañadas de un manejo diestro de la relaciones y operaciones matemáticas enel nivel formal y simbólico para desarrollar estrategias y aproximaciones nuevas para manejar situaciones novedosas.Pueden comunicar y formular con precisión sus acciones y razonamientos considerando sus hallazgos, interpretaciones,argumentos, y la adecuación de estos a la situación original.

Los estudiantes pueden desarrollar y trabajar con modelos aplicables a situaciones complejas identificando restriccionesy especificando presuposiciones. Pueden seleccionar, comparar y evaluar estrategias apropiadas de solución p ara tratarproblemas complejos relativos a estos modelos. Pueden trabajar estratégicamente usando habilidades de razonamientoy de pensamiento bien desarrollado, representaciones adecuadamente vinculadas, caracterizaciones formales y simbólicase intuiciones propias de las situaciones complejas. Pueden razonar sobre sus acciones y formular y comunicar susinterpretaciones y razonamientos.

Los estudiantes pueden trabajar eficientemente con modelos explícitos aplicables a situaciones concretas, pero complejasque pueden incluir restricciones y demandar presuposiciones. Pueden seleccionar e integrar diferentes representaciones,incluyendo las simbólicas, para ligarlas directamente a situaciones problemáticas del mundo real. En este nivel losestudiantes pueden utilizar habilidades bien desarrolladas y razonamiento flexible junto con algunas intuiciones.Pueden construir y comunicar explicaciones y argumentaciones basadas en sus interpretaciones, argumentos y acciones.Los estudiantes pueden ejecutar procedimientos previamente descritos incluyendo aquellos que requiere decisionessecuenciales. Pueden seleccionar y aplicar estrategias simples de solución de problemas. Pueden interpretar y usarrepresentaciones basadas en diferentes fuentes de información y razonar directamente sobre ellas. Pueden desarrollarcomunicaciones cortas informando sus interpretaciones, resultados y razonamientos.

Los estudiantes pueden interpretar y reconocer situaciones en contextos que requieren sólo inferencias directas. Puedenextraer información relevante de una sola fuente y hacer uso de un modo especifico de elaborar representaciones.Pueden utilizar algoritmos básicos, fórmulas, procedimientos o convenciones. Pueden hacer uso del razonamientodirecto y de interpretaciones literales de los resultados.Los estudiantes pueden responder preguntas dentro de contextos familiares en los que toda la información relevanteestá presente y las preguntas están claramente definidas. Son capaces de identificar información y de realizarprocedimientos rutinarios siguiendo instrucciones directas en situaciones explicitas. Pueden realizar actividades que sonobvias y que se siguen inmediatamente del estimulo dado.

6

5

4

3

2

1

28

PRUEBAS PISA

EDUC

ACIÓ

N

3.3.Puntajes de los Niveles de Desempeño enMatemática

El más alto nivel de desempeño se encuentraalrededor de los 750 puntos. Los estudiantes secaracterizan por asumir un rol activo y creativo en suenfoque de los problemas matemáticos. Interpretany formulan los problemas en términos matemáticos.Manejan información más compleja y ensayan unnúmero de pasos de proceso. En este nivel identificany aplican herramientas relevantes y conocimientos,con frecuencia, a un contexto problemático no familiar.Usan la intuición para identificar un método adecuadopara encontrar la solución y muestran dominio deprocesos cognitivos de orden superior tales comogeneralización, razonamiento y argumentación paraexplicar y comunicar resultados.

Alrededor de los 570 puntos de la escala losestudiantes son capaces normalmente de interpretarligar e integrar diferentes representaciones de unproblema o diferentes piezas de información. Usan ymanipulan un modelo dado incluyendo a menudoálgebra u otras representaciones simbólicas.Verifican y registran proposiciones o modelos dados.El trabajo típico de estos estudiantes se realiza através de estrategias, modelos o proposicionesdadas, por ejemplo, a través del reconocimiento yextrapolación a partir de un modelo. Seleccionan yaplican conocimientos matemáticos relevantes, parasolucionar un problema, que pueden incluir unpequeño número de pasos de proceso.

El más bajo nivel de la escala se encuentra alrededorde los 380 puntos. Los estudiantes usualmente soncapaces de completar un procedimiento de pasossimples consistente en reproducir hechos matemáticosbásicos o procesos, o son capaces de aplicarhabilidades computacionales simples. Normalmentereconocen información a partir de un diagrama o de untexto que es familiar y simple, en el cual se proporcionala formulación matemática o se la facilita visiblemente.Cualquier interpretación o razonamiento típico de estenivel incluye el reconocimiento de un elemento simple yfamiliar de un problema dado. La solución demanda laaplicación de un procedimiento rutinario consistente enun procedimiento de pasos simples.

En este caso no es posible incluir un cuadrodistinguiendo niveles con estándares mínimos debido

a que las pruebas PISA-2000 en el área de matemáticano han sido estandarizadas y sólo se dispone deinformación detallada reciente de PISA-2003 que serámateria de un próximo artículo. En cuanto a losresultados de las pruebas PISA-2000 de Matemática,podemos señalar que en los países de la OECD y sussocios los estudiantes ubicados en el 5% superiorobtuvieron un promedio de 655 puntos. Sin embargo,los países ubicados en las posiciones superiores deeste 5% tuvieron puntajes promedio mayores que 680

puntos. En esta situación se encuentra Hong Kong-China, Japón, Nueva Zelandia y Suiza. En el nivelinferior de la escala se encuentra que el 75% de losestudiantes de los países de la OECD lograron almenos 435 puntos y más del 95% de estos paísesalcanzó 326 puntos. En esta pruebas la muestra deescolares peruanos alcanzó 292 puntos, esto es, 34puntos menos que el puntaje más bajo registrado enlos países de la OECD y 42 puntos menos que elpromedio de Brasil que se ubicó en el penúltimo lugar

entre los 41 países registrados como participantes enlas pruebas Pisa.

3.4. Criterios para la construcción de preguntaso tareas de Matemáticas

Como regla general de construcción de ítems en estaárea, se puede señalar que una pregunta dematemática es buena si el hecho de contar con unacalculadora de mano o con una computadora nootorga al sujeto examinado ventaja significativa pararesponderla correctamente.

Las tareas más simples requieren conectar eintegrar material. Exigen al estudiante aplicar una

representación simple o una técnica aplicable a unapieza simple de información. Las tareas menos simplesrequieren que el estudiante integre más de una piezade información usando diferentes representaciones, odiferentes herramientas matemáticas, o conocimientosen una secuencia simple de pasos.

Hay tareas que requieren representar e interpretarun material para razonar sobre la situación y los

29


métodos. Tales tareas varían en un rango que va desdeel reconocimiento de una fórmula usual a la formulación,traducción o creación de un modelo adecuado dentrode un contexto inusual y demandan el uso de la intuición,el razonamiento y la generalización.

4. LAS PRUEBAS PISA 2000 DE CIENCIAS

La evaluación focalizada en las ciencias, como hemosseñalado antes, está programada para el año 2006.Sin embargo, en el año 2000 y en el año 2003 se haevaluado este ámbito pero no con la suficienteamplitud e intensidad, razón por la que la informacióndisponible no es particularmente detallada. Empero,revisando lo realizado en las dos oportunidadesanteriores se aprecia que las pruebas incidieron enel uso del conocimiento científico-empírico ocientífico-factual en el manejo de situación realesponiendo énfasis en la lógica de la identificaciónplanteamiento y solución de problemas.

En general, la comprensión de lenguaje de lasciencias naturales y de la ciencias sociales se midea través de la presencia de las siguientes habilidades:

• Comprensión de conceptos científicos.• Capacidad para reconocer preguntas científi-

cas relevantes.• Identificación de los procesos que la investiga-

ción científica implica.• Capacidad para relacionar evidencias fácticas

con hipótesis y conclusiones.• Capacidad para comunicar con claridad y

precisión procesos y resultados científicos.• Capacidad para usar conceptos científicos de

alto nivel de abstracción o cadenas lógicas derazonamientos.

• Conocimiento y manejo de modelos conceptualessimples y de modelos de análisis de datos paraensayar enfoques alternativos.

4.1.Niveles de desempeño y puntajes en laspruebas de ciencias

El más alto nivel de desempeño en la comprensión ymanejo de lenguaje científico (aproximadamente 690puntos) se manifiesta en el hecho de que losestudiantes son generalmente capaces de crear ousar modelos conceptuales para hacer prediccioneso dar explicaciones. Analizan la investigación científicapara comprender, por ejemplo, el diseño de unexperimento o para identificar la idea o hipótesis queestá siendo sometida a prueba. Comparan datos paraevaluar puntos de vista alternativos o perspectivasdiferentes. Comunican argumentos científicos yproporcionan descripciones detalladas y precisas.

Los estudiantes que alcanzan aproximadamente550 puntos son normalmente capaces de usarconceptos científicos para hacer predicciones oexplicaciones. Reconocen preguntas que pueden serrespondidas por la investigación científica y/oidentifican detalles acerca de aquello que implica lainvestigación científica. Seleccionan informaciónrelevante a partir de datos en competencias y decadenas de razonamiento esquematizadas engráficos o evaluando conclusiones.

El tercer nivel de la escala, aproximadamente 400puntos, se manifiesta en que los estudiantes soncapaces de recordar información científica factualsimple (nombres, hechos, terminología, reglassimples) y usan el conocimiento científico común paraderivar conclusiones o evaluaciones.

Las pruebas PISA en esta área tampoco han sidoestandarizadas. La información disponible sobre lospaíses de la OECD revela que el 5% superior tuvo unpromedio de 657 puntos, el 10% superior alcanzó unpromedio de 627 puntos y el 25% superior logró unpromedio de 572 puntos. En el extremo de menorrendimiento se registra que más del 75% de lospaíses OECD alcanzó al menos 432 puntos, más del90% alcanzó 368 puntos y más del 95% 332 puntos.

30

PRUEBAS PISA

EDUC

ACIÓ

N

Entre los países que no son miembros de la OECD,han tenido un desempeño destacado Hong Kong -China cuyos promedios han sido de 671, 645, 448,426 y 391 puntos para los percentiles 95º, 90º, 25º,10º y 5º, respectivamente. Claramente estos indica-dores estadísticos revelan rendimientos más altosque los de los países de la OECD. Japón y Corea,considerando sólo los promedios, han mostradorendimientos aún más altos que Hong Kong-China.Los escolares peruanos en esta área obtuvieron unpuntaje promedio de 333, esto es, 42 puntos menosque Brasil que se ubica en el penúltimo lugar de los

41 países que participaron en PISA 2000 y 167 puntospor debajo del promedio de los países de la OECD.

BIBLIOGRAFÍA

UNESCO, OECD (2003). Literacy Skills for the Worldof Tomorrow - Further Results from PISA 2000. 389 p.OECD, PISA (2004). First Results from PISA 2003Executive Summary. 37 p.OECD, PISA (2004). Learning for Tomorrows's World,First Results from PISA 2003. 471 p.

31


CUADROS ANEXOS

CUADRO 1

UNESCO 1998-2000GRADIENTES SOCIOCULTURALES POR RENDIMIENTO EN LENGUAJE POR PAÍS

CUADRO 2

UNESCO 1998-2000GRADIENTES SOCIOCULTURALES POR RENDIMIENTO EN MATEMÁTICA POR PAÍS

32

PRUEBAS PISA

EDUC

ACIÓ

N

Resultados de PISA-OCDE 2000.2002

Posición Lectura Matemáticas Ciencia L+M+C 1 Japón 522 557 550 1629 2 Hong Kong 525 560 541 1626 3 Corea 525 547 552 1624 4 Finlandia 546 536 538 1620 5 Canadá 534 533 529 1596 6 Nueva Zelanda 529 537 528 1594 7 Australia 528 533 528 1589 8 Reino Unido 523 529 532 1584 9 Irlanda 527 503 513 1543 10 Austria 507 515 519 1541 11 Suecia 516 510 512 1538 12 Bélgica 507 520 496 1523 13 Francia 505 517 500 1522 14 Suiza 494 529 496 1519 15 Islandia 507 514 496 1517 16 Noruega 505 499 500 1504 17 Rep. Checa 492 498 511 1501 18 Estados Unidos 504 493 499 1496 19 Dinamarca 497 514 481 1492 20 Liechtenstein 483 514 476 1473 21 Hungría 480 488 496 1464 22 Alemania 484 490 487 1461 23 España 493 476 491 1460 24 Polonia 479 470 483 1432 25 Italia 487 457 478 1422 26 Fed. Rusa 462 478 460 1400 27 Portugal 470 454 459 1383 28 Grecia 474 447 461 1382 29 Latvia 458 463 460 1381 30 Luxemburgo 441 446 443 1330 31 Israel 452 433 434 1319 32 Bulgaria 430 430 448 1308 33 Tailandia 431 432 436 1299 34 México 422 387 422 1231 35 Chile 410 384 415 1209 36 Argentina 418 388 396 1202 37 Macedonia 373 381 401 1155 38 Indonesia 371 367 393 1131 39 Albania 349 381 376 1106 40 Brasil 396 334 375 1105 41 Perú 327 292 333 952 Fuente: OECD (2003) PISA, Literacy Skills for the World of Tomorrow, Furthern Results. From PISA 2000. Paris, France. Tabla 3.3, p.287.

CUADRO 3

33


CUADRO 4

Rendimiento de los estudiantes en lectura combinada, ciencias y matemática enla escala PISA vs. ingreso nacional

1. Dólares USA convertidos a dólares PPPs (paridad del poder de compra).2. Sólo instituciones públicas.3. Año de referencia: 1998.4. Año de referencia: 2000.5. Sólo instituciones públicas y privadas independientes.

Fuente: OECD (2003c) para los países de la OECD. Y para los países que no son de la OECD la fuente ha sido el Banco Mundial.

Traducción del autor

34

PRUEBAS PISA

EDUC

ACIÓ

N

CUADRO 5

PISA-2003Rendimiento promedio en la escala PISA de matemática

* Nota: Debido a que la información se ha recogido por muestreo no es posible precisar una posición exacta de los países en el ranking. Sólo hasido posible precisar para cada país su posición máxima y mínima con un 0.95 de probabilidad.

Variación de las posiciones en el Ranking*

Ranking para países de la OECD Ranking incluyendo países que no pertenecen a la OECD

Posición Máxima Posición Mínima Posición Máxima Posición Mínima Hong Kong-China — — 1 3 Finlandia 1 3 1 4 Corea 1 4 1 5 Noruega 1 5 2 7 Liechtenstein — — 2 9 Japón 2 7 3 10 Canadá 4 7 5 9 Bélgica 4 8 5 10 Macao-China — — 6 12 Suiza 4 9 6 12 Australia 7 9 9 12 Nueva Zelanda 7 10 9 13 República Checa 9 14 12 17 Islandia 10 13 13 16 Dinamarca 10 14 13 17 Francia 11 15 14 18

País

esco

nun

prom

edio

esta

díst

icam

ente

sign

ifica

tivo

sobr

eel

prom

edio

deO

ECD

Suecia 12 16 15 19 Austria 13 18 16 20 Alemania 14 18 17 21 Irlanda 15 18 17 21

Países con unPromedioestadísticamente semejanteal de OECD República Eslovaca 16 21 19 24

Noruega 18 21 21 24 Luxemburgo 19 21 22 24 Polonia 19 23 22 26 Hungría 19 23 22 27 España 22 24 25 28 Latvia — — 25 28 Estados Unidos 22 24 25 28 Federación Rusa — — 29 31 Portugal 25 26 29 31 Ita lia 25 26 29 31 Grecia 27 27 32 33 Servia — — 32 34 Turquía 28 28 33 36 Uruguay — — 34 36 Tailandia — — 34 36 México 29 29 37 37 Indonesia — — 38 40 Túnez — — 38 40

País

esco

nun

prom

edio

esta

díst

icam

ente

sign

ifica

tivo

pord

ebaj

ode

OEC

D

Brasil — — 38 40

pruebas pisa

Documents