qué mide realmente el simce -cep (fontaine eyzaguirre)

Estudios Pblicos, 75 (invierno 1999).

ESTUDIO

QU MIDE REALMENTE EL SIMCE?

Brbara Eyzaguirre y Loreto Fontaine

BRBARA EYZAGUIRRE A. Sicloga educacional especializada en desarrollo cognitivo,con experiencia en programas de mejoramiento de la calidad de la educacin en sectores deescasos recursos. Fundadora y asesora pedaggica de la Escuela San Joaqun (Renca), perte-neciente a la Fundacin Marcelo Astoreca. Investigadora del Centro de Estudios Pblicos.

LORETO FONTAINE C. Master en educacin (M. S.) Se ha desempeado como profeso-ra de enseanza bsica, en programas de rehabilitacin de problemas de aprendizaje y comocoordinadora acadmica en los colegios Los Andes y Tabancura. Ha asesorado proyectos debiblioteca y lectura de la Sociedad de Instruccin Primaria (Escuelas Matte) y Fundacin LosNogales. Ha publicado antologas de cuentos infantiles. Investigadora del Centro de EstudiosPblicos.

Una evaluacin estandarizada, masiva y con resultados pblicos,como es nuestro SIMCE (Sistema de Medicin de la Calidad de laEducacin), puede tener efectos positivos o negativos sobre la cali-dad de la enseanza. El presente estudio analiza la informacindisponible sobre el SIMCE, su proceso de construccin y validacin,as como los contenidos incluidos en esta prueba y las seales queellos emiten para el quehacer educativo.De este estudio se concluye que los progresos (expresados en por-centajes de logro) que se han evidenciado a lo largo de los aos deaplicacin del SIMCE no son fcilmente interpretables, ya que losniveles de dificultad de la prueba no son absolutos sino variables (esdecir, sufren ajustes de acuerdo a la validacin experimental que

108 ESTUDIOS PBLICOS

n 1998, en el afn de actuar con transparencia y de suscitar elanlisis y el debate sobre materias educacionales, el Ministerio de Educa-cin dio a conocer parte de las preguntas del ltimo SIMCE administrado alos alumnos de 8 ao bsico el ao 1997. Hasta ese momento, los educa-dores haban conocido slo los resultados y contaban con escasos ejemplosde las preguntas que contemplaba la prueba. El paso dado por el Ministeriode Educacin de publicar ahora las preguntas es una iniciativa que, sinduda, ser fructfera, pues por primera vez se da a padres, profesores y a lacomunidad en general la oportunidad de conocer cabalmente este instru-mento que no solamente evala nuestra educacin, sino que tiene una pro-funda influencia sobre la calidad de sta. La mayor transparencia as logra-da ser un paso adelante para el logro de una mejor calidad. La informacinaportada permite interpretar con mayor claridad el significado de los punta-jes obtenidos a nivel del pas entero y a nivel de los establecimientos enparticular. Por otra parte, debiera ayudar a visualizar mejor cules son losobjetivos esperados por el sistema educacional y permitir a los colegiosidentificar con precisin las reas deficitarias que deben ser corregidas.

Simultneamente a la divulgacin de esta informacin, y con el finde adecuarlo a las nuevas orientaciones curriculares, el Ministerio de Edu-cacin se aboc al rediseo del SIMCE y distribuy, a modo de orientacin

recibe la prueba cada ao). A su vez, se advierte que la tcnica deconstruccin de la prueba la hace perder validez de contenido, albajar demasiado el nivel de dificultad. El anlisis del contenido delas pruebas revela que, en promedio, su complejidad corresponde ados y tres grados menores que el cursado por los alumnos. Tambinqueda de manifiesto una falta de coordinacin entre las exigenciasde bsica y media, falencias en la formulacin de los tems y en laseleccin de las materias.Conforme a las deficiencias encontradas, se sugiere un cambio en lateora de construccin de la prueba y un mayor celo en su elabora-cin, de modo que refleje las metas educacionales que el pas se hapropuesto y que a la vez permita discriminar entre las escuelas. Sepropone, asimismo, avanzar hacia una poltica de total transparenciaen las metodologas y contenidos del SIMCE. Finalmente, se sealaque debiera mantenerse la poltica inicial de que organismos inde-pendientes del Estado se encarguen de la prueba.

E

BRBARA EYZAGUIRRE Y LORETO FONTAINE 109

para los educadores, alguna informacin sobre lo que sera la nueva genera-cin de pruebas, con ejemplos de las preguntas que se aplicaran ese ao enla evaluacin de 2 medio. Este estudio analiza los datos disponibles sobreel SIMCE 1997 y 1998 y sus efectos sobre el quehacer educacional.

Influencia de las pruebas estandarizadas en la educacin

Si bien Chile es uno de los pioneros en este tipo de mediciones enLatinoamrica1, la aplicacin masiva de pruebas de rendimiento destinadasa medir los logros de aprendizaje obtenidos por el sistema escolar es unaprctica comn en un gran nmero de pases2. Estas mediciones se realizancon diversos objetivos: monitorear la efectividad del sistema y disearpolticas pertinentes; evaluar la utilizacin de recursos y la aplicacin demedidas; detectar sectores ms dbiles y disear estrategias correctivas. Enalgunos sistemas educacionales estas evaluaciones cumplen tambin el pa-pel de seleccionar a los alumnos para las diferentes vas que ofrece elsistema. En otros casos, aunque los resultados no incidan en la suerteacadmica de los alumnos, la informacin de los resultados de cada colegioestimula entre ellos la competencia y permite a los usuarios del sistema(padres y alumnos) escoger las alternativas ms adecuadas a sus intereses.Estas pruebas permiten tambin la creacin de sistemas de incentivos: exis-ten ciertas iniciativas consistentes en premiar a los colegios con buen des-empeo con aumentos en el aporte econmico o, incluso, en condicionarparte del financiamiento de las escuelas segn los resultados de tales eva-luaciones3.

Estas evaluaciones ejercen gran influencia en el proceso de ensean-za-aprendizaje y en ellas se han cifrado altas esperanzas de mejoramientode la calidad de la educacin. Hay tambin una corte de detractores quesostienen que estas evaluaciones suelen ser injustas y que tienen el poderde degradar la enseanza.

Para muchos, la evaluacin estandarizada y transparente sera unade las herramientas fundamentales para mejorar la calidad de la educacin:el que los profesores y los colegios en cierto modo rindan cuentas sobre el

1 Las primeras evaluaciones de este tipo en Chile fueron en 1968.

2 Vase B. Eyzaguirre, Polticas educacionales comparadas: Consideraciones a partirdel Tercer Estudio Internacional de la Enseanza de Matemticas y Ciencias (TIMSS)(1999).

3 Vase D. Koretz, Using Student Assessments for Educational Accountability

(1996).


aprendizaje de los alumnos conduce naturalmente a que concentren e inten-sifiquen sus esfuerzos en tal sentido. Las pruebas estimularan a los cole-gios a superarse y a competir por su prestigio o por su financiamiento.Tambin sealaran a los profesores en forma precisa el tipo de competen-cias que debe exigirse a los estudiantes y las metas de aprendizaje a lascuales se debe llegar. Por otra parte, son instrumentos de costo relativa-mente bajo, cuya aplicacin no requiere perder una gran cantidad del tiem-po destinado a la instruccin, y con un inmenso potencial de afectar lacalidad de la enseanza. Adems, su utilizacin extendida por largo tiempoy en forma masiva las hace cientficamente confiables4. Las investigacio-nes realizadas en Estados Unidos e Inglaterra, donde este tipo de evaluacio-nes tienen una larga trayectoria, coinciden en que stas:

tienen una influencia directa en la definicin de los objetivos deestudio, tanto o ms que los currculos diseados para ello. Danseales concretas de los logros que el sistema espera (Prophet yRowell, 1988);

normalmente focalizan la enseanza hacia el aprendizaje de conteni-dos y destrezas bsicas. La reduccin de objetivos puede implicaruna degradacin de la enseanza, pero tambin puede incidir positi-vamente. Hay evidencia de que las naciones con currculos focaliza-dos tienen mejores rendimientos5 y que los alumnos menos aventa-jados se benefician con la enseanza dirigida a objetivos acotados,porque aumentaran el tiempo dedicado a la completacin y com-prensin de la tarea (Gickling y Thompson, 1985);

establecen parmetros de comparacin que desincentivan el confor-mismo, siempre y cuando los estndares sean altos;

estimulan a los alumnos al estudio cuando son utilizadas para discri-minar el acceso a las diferentes instancias educativas;

ayudan al proceso de asimilacin de las materias. Las pruebas noslo evalan sino que promueven el aprendizaje. Se ha observadoque la retencin de una materia aumenta sustancialmente en losalumnos que han sido examinados sobre esa materia, aunque noreciban retroalimentacin ni vuelvan a estudiar esa materia (Demps-ter, 1997);

4 Vase N. F. Mc. Ginn y A. M. Borden, Framing Questions, Constructing Answers.

Linking Research with Education Policy for Developing Countries (1995), p. 154.5 Vase B. Eyzaguirre, Polticas educacionales comparadas: Consideraciones a partir

del Tercer Estudio Internacional de la Enseanza de Matemticas y Ciencias (TIMSS)(1999).


proveen retroalimentacin objetiva a los establecimientos de losaciertos a mantener y de los errores a corregir;

son utilizadas por los padres para ejercer fuertes presiones en losequipos de gestin de los colegios. Los directivos presionan a su veza los profesores para lograr buenos puntajes (Hanushek, 1986)6.

A pesar de los efectos positivos que se esperan de este tipo deevaluacin masiva estandarizada del desempeo de los alumnos, existentambin consecuencias negativas que finalmente se pueden traducir en unadegradacin de la instruccin7:

La enseanza se puede reducir, enfocndose slo a lo que se puedemedir con facilidad y dejando de lado aspectos relevantes de msdifcil evaluacin (Williams, 1998). Para algunos estas pruebas noson un reflejo de las habilidades que exige la vida real, es decir,evalan aspectos irrelevantes de la formacin de los alumnos. Seacusa a los tests de dirigir a los alumnos hacia un tipo de pensa-miento correcto-incorrecto, a entregar respuestas simples, en vez deorientarlos hacia el desarrollo del juicio reflexivo y fundamentado ohacia la solucin creativa de problemas. Parte de esta crtica serefiere al formato de preguntas prevalente en la mayora de las prue-bas que se usan en la actualidad: preguntas de respuesta breve, deltipo correcto-incorrecto o seleccione la alternativa. Si bien lasinvestigaciones demuestran que es ms fcil construir tems quemiden memorizacin de datos, esto no implica que las pruebas dealternativas no puedan evaluar habilidades de pensamiento superior.Fredericksen, en The Real Test Bias, demuestra que las pruebas derazonamiento matemtico pueden medir los mismos atributos inde-pendientemente del formato que se utilice para hacer las preguntas8.

Tambin se puede limitar la instruccin slo a lo que se sabe va aser evaluado. Para entender este efecto es necesario recordar que laspruebas estandarizadas por lo general son slo una muestra, unaseleccin de todo el contenido que puede abarcar una asignatura oun campo de conocimientos. Se ha detectado que los profesores

6 Vase tambin el caso de Tailandia en N. F. Mc. Ginn y A. M. Borden, Framing

Questions, Constructing Answers. Linking Research with Education Policy for DevelopingCountries (1995), p. 227.

7 Vase E. A. Hanushek y D. W. Jorgenson, Improving Americas Schools: The Role

of Incentives (1996).8 Vase en E. D. Hirsch, The Schools We Need: Why We Dont Have Them (1996),

p. 200.


tienden frecuentemente a limitar la enseanza a aquellos temas den-tro de una asignatura que se sabe sern evaluados, disminuyendoas, de hecho, las oportunidades de aprendizaje de sus alumnos.Cuando los profesores estn enterados de cules son las habilidadesque se evaluarn pueden sobreejercitar estas destrezas, en desmedrode otras igualmente importantes. Las asignaturas no evaluadas tam-bin son desatendidas: los profesores tienden a destinar las horasque corresponden a esas asignaturas a trabajar en las asignaturasevaluadas9. Por otra parte, ocultar o retener la informacin sobre elcontenido de las pruebas resulta contraproducente, pues esa infor-macin es condicin necesaria para que los profesores puedan mejo-rar o al menos focalizar mejor su enseanza. Uno de los axiomasque fundamentan la evaluacin como agente de mejoramiento edu-cacional es que los tems o tareas de la prueba dan a los maestros unmodelo acerca del tipo de competencias que debe exigirse a losestudiantes10. El justo equilibrio se encontrara, entonces, en propor-cionar una informacin amplia sobre el tipo de tareas, habilidades yconocimientos requeridos en las pruebas y luego examinar una frac-cin significativa de ello.

Puede tambin darse una ejercitacin excesiva del test mismo endesmedro de la enseanza de la materia. (Por ejemplo, cuando seasigna tiempo de clases para que los alumnos hagan ensayos confacsmiles.) Smith (1991) constat que el tiempo destinado por losalumnos de EE.UU. a la preparacin y ejecucin de pruebas estan-darizadas tomaba un tiempo promedio de 100 horas de las 1.000horas lectivas anuales. Esta proporcin es ms significativa si seconsidera que el tiempo efectivo de enseanza, para ese mismoperodo, es slo de 300 horas en promedio (Weimstein y Mignano,1993). El entrenamiento en la lgica de las pruebas puede conducira aumentos de puntajes que no se condicen con lo realmente apren-dido. Williams et al. (1996) comprobaron que los alumnos queaprenden estrategias especficas para responder pruebas mejorabanen forma permanente su rendimiento en todo tipo de pruebas. Unsistema adecuado de supervisin de clases y una buena construccinde los instrumentos contribuiran a paliar este problema.

Tambin se sostiene que las pruebas pueden reflejar mejoramientosespurios de los resultados y, por lo tanto, conducir a un conformis-

9 D. Koretz, Using Student Assessments for Educational Accountability (1996).

10 Ibdem.


mo inmerecido y de efectos perniciosos en la calidad. Esto sucede silos estndares son bajos o si no se atiende a los posibles efectos yadescritos de limitacin de la instruccin.

Otra vertiente de crtica se refiere a que las pruebas estandarizadastienen un sesgo cultural y utilizan un vocabulario propio del gruposocial dominante y, por ello, discriminan negativamente a los niosde niveles socioeconmicos bajos y con carencias culturales (M.Neill, 1994). Esta crtica sera vlida solamente cuando se quierecondicionar los incentivos econmicos a los diferentes estableci-mientos segn su desempeo en una prueba, o cuando los resultadosde las pruebas se traducen en un cierre de oportunidades educacio-nales para los alumnos con resultados insatisfactorios. En esas cir-cunstancias es importante considerar las ganancias relativas de pun-tajes tomando en cuenta los distintos niveles de entrada de los nios.Pero cuando se desea tener una imagen exacta y acertada del nivelde desempeo que ha alcanzado la totalidad de los alumnos de unsistema, es necesario reconocer que las diferencias en el nivel decomprensin del lenguaje puestas en evidencia por estas pruebas,son el reflejo real de la brecha que existe entre los diferentes nivelessocioeconmicos. Esta distancia tiene que ser reconocida como talpara ser compensada por la va de la educacin.

Finalmente, hay quienes sostienen que un sistema de evaluacinexterna crea en la escuela un clima de competencia y ansiedad con-trapuesto al placer de aprender por aprender e incluso a un desarro-llo emocional sano.

Los efectos perversos de evaluar masivamente con pruebas objetivasy estandarizadas pueden disminuirse con un cuidadoso diseo de estaspruebas, con una adecuada supervisin de clases y con polticas educacio-nales sensatas. Los inconvenientes de la aplicacin masiva de evaluacionesse potencian cuando se asigna a estas evaluaciones un papel que no lescorresponde. Por ejemplo, cuando ellas se transforman en el nico instru-mento para tomar decisiones crticas acerca de financiamiento, promocinde profesores o para determinar el futuro acadmico de los alumnos. Tam-bin, cuando no estn claramente establecidas las metas educacionales decada etapa, las pruebas pueden llegar a ser la nica herramienta para deter-minar el currculo e incluso el contenido de los libros de texto. Esto da a laspruebas un peso desmesurado en el quehacer educacional. Por ltimo, cabedecir que las pruebas de evaluacin alcanzan su mximo potencial de utili-dad slo cuando forman parte de un sistema coherente con metas educacio-nales claras y bien especificadas, donde hay una adecuada y transparente


comunicacin acerca de los objetivos de la medicin, las caractersticas delinstrumento y los resultados obtenidos, y complementacin con otros mto-dos para asegurar la calidad del sistema.

En la actualidad no hay pruebas que eviten todos los inconvenientesy que maximicen los efectos positivos. Elaborar una buena prueba objetivano es fcil, pero tampoco se trata de una tarea imposible. La recienteaplicacin en nuestro pas de la prueba internacional TIMSS nos ha dado aconocer ciertamente un ejemplo de evaluacin bien construida: por su equi-librio entre la medicin de habilidades, conocimientos y procedimientos;por la amplitud del rango de las materias medidas y por la adecuada pro-porcin de ellas; por la claridad en la construccin de las preguntas; por lacombinacin de preguntas de seleccin mltiple con preguntas abiertas ypreguntas que evalan desempeo en tareas complejas; por la diferenteponderacin dada segn el nivel de dificultad de las preguntas11.

Los intentos por encontrar formas alternativas a las clsicas pruebasobjetivas de lpiz y papel, como lo son las evaluaciones de desempeo ylas de portafolios12, se han topado con un sinnmero de desventajas: pro-blemas con los grados de objetividad que pueden alcanzar, altos costos decorreccin y, por ltimo, no han tenido los efectos educativos que se lesatribuan. Por lo tanto, el debate acerca de los sistemas de evaluacin y labsqueda de mejores instrumentos continuar por un tiempo.

Evaluar pensamiento reflexivo, razonamiento y la capacidad de en-frentar tareas de la vida real es ms fcil y posible en la asignatura dematemticas que en lenguaje. Sin embargo, hay evidencia de que, aun enesta rea, se puede alcanzar en las pruebas un alto grado de validez (medirlo que se propone medir) y confiabilidad (distintas mediciones, con elmismo instrumento, entregan los mismos resultados). Al respecto, podemoscitar una investigacin que demuestra que las pruebas de alternativas pue-den medir vlida y confiablemente la capacidad de redactar, que es unatarea de gran complejidad, propia de la vida real y que requiere pensamien-

11 Vase B. Eyzaguirre, Polticas educacionales comparadas: Consideraciones a par-

tir del Tercer Estudio Internacional de la Enseanza de Matemticas y Ciencias (TIMSS)(1999).

12 Las evaluaciones de desempeo se refieren a pruebas que exigen a los alumnos la

ejecucin de tareas concretas para ser calificados; por ejemplo, disear y llevar a cabo unexperimento cientfico. Las evaluaciones de portafolios se refieren a la aplicacin de unmtodo tradicionalmente utilizado en la enseanza del arte, al resto de las asignaturas. steconsiste en acumular todos los trabajos que el alumno realiza durante un largo perodo yanalizar los avances que ha tenido con respecto a sus primeras producciones. Para una revisinde los problemas de confiabilidad que presenta este tipo de evaluacin, vase Koretz etal.,The Vermont Portfolio Assessment Program: Findings and Implications (1994), pp. 5-16.


to reflexivo. En esta rea normalmente se obtiene una baja correlacin(0,25) entre las correcciones de distintos jueces sobre un mismo escrito.Para aumentar la confiabilidad de las mediciones se exigi que cinco juecescorrigieran 5 ensayos escritos por cada uno de los estudiantes que partici-paron en la investigacin. Se evalu ms de un ensayo por alumno, porquese sabe que la habilidad para redactar est mejor representada cuando seconsideran distintos temas. De este modo, la produccin de cada alumnoreciba 25 lecturas. Al aumentar el nmero de personas que revisan laspruebas y el nmero de ensayos por alumno el coeficiente de correlacinentre los evaluadores subi a un 0,84. Esto refleja que entre expertos habraun alto grado de acuerdo sobre lo que se considera un buen escrito. Luegose compar el resultado de esta prueba, que exiga redactar directamente,con una prueba de alternativas mltiples y se obtuvo una correlacin de0,775. Esto demuestra que la prueba de alternativas mltiples puede ser unbuen indicador de la destreza de redaccin, aun cuando las tareas que exigeno correspondan a la tarea real de escribir. Si bien la prueba de seleccinmltiple demostr tener un alto grado de eficiencia y bajo costo, los inves-tigadores recomendaron agregar un tem que exigiera redactar directamen-te, a pesar de que ste aumentaba la correlacin slo del 0,775 al 0,784.Esto se propone con el fin de dar la seal de que es necesario que losalumnos redacten en clases para aprender a escribir y as evitar que losprofesores se dediquen slo a preparar a los nios para los tems de alterna-tivas13. Citamos esta experiencia porque nos indica cmo la investigacinexperimental puede orientar la elaboracin de instrumentos de evaluacinms precisos y eficaces sin los inconvenientes que normalmente se asociana ellas. Hasta el momento las pruebas que combinan preguntas de alternati-vas mltiples y preguntas abiertas son las que mejor resolveran el proble-ma de reflejar aprendizajes significativos, a bajo costo y con un alto gradode confiabilidad.

Pese a las crticas enunciadas, pocos se atreveran a descartar laevaluacin como un medio para mejorar la educacin. H. Gardner, creadorde la teora de las inteligencias mltiples, sostiene que el enigma de lareforma educativa es intrincado y que, de hecho, depende por igual decuatro ndulos diferentes: evaluacin, currculo, educacin del educador yapoyo de la comunidad14.

13 En E. D. Hirsch, The Schools We Need: Why We Dont Have Them (1996), p. 186.

14 H. Gardner, La mente no escolarizada: Cmo piensan los nios y cmo deberan

ensear las escuelas (1997).


Las evaluaciones estandarizadas en Chile

El inters por las evaluaciones de desempeo escolar a nivel nacio-nal se inicia durante el perodo de la reforma educacional de los aos 60.En 1968 se crea la primera Prueba Nacional dirigida a los 8 bsicos, la quese aplic anualmente hasta el ao 1971. El propsito de estas pruebas eraaportar informacin para el proceso de desarrollo curricular y disponer deparmetros para mejorar la asignacin de recursos.

Esta poltica de evaluacin se vio interrumpida hasta el ao 1982 enque se inicia el Programa de Evaluacin del Rendimiento Escolar (PER)para los cursos de 4 y 8 ao de enseanza bsica. Uno de los fines delPER era entregar datos sobre el rendimiento escolar del establecimiento yde cada alumno al equipo educativo del colegio y a los padres. Esta infor-macin se consideraba una de las herramientas imprescindibles para poneren funcionamiento el sistema de voucher15, en el cual los padres y lasescuelas pasaran a tener un peso importante en la toma de decisioneseducacionales. Este sistema slo tendra efectos sobre el mejoramiento dela calidad de la educacin, si la decisin de los padres de cambiar decolegio a los alumnos tena un costo para el establecimiento. El PER pre-tenda entregar a los padres informacin externa y confiable sobre los lo-gros de las escuelas para basar estas decisiones. Este proyecto se realizmediante un convenio del Ministerio de Educacin con la UniversidadCatlica que estuvo a cargo del diseo y ejecucin del proyecto. En eseentonces, se consider importante que un organismo externo realizara lasevaluaciones nacionales de modo que el Ministerio de Educacin no hicierael papel de juez y parte del proceso. La publicacin de los resultados en losmedios de comunicacin y la entrega de los resultados por alumno encon-traron fuertes resistencias al interior del Ministerio. El argumento principalse centraba en que se estaba juzgando la labor del profesor sin tomar encuenta las diferencias de entrada de los alumnos de diversos niveles socio-culturales. Recin el ao 1995 los resultados conocieron la luz pblica porprimera vez.

En el perodo 1985 y 1986 el Centro de Perfeccionamiento, Experi-mentacin e Investigaciones Pedaggicas, dependiente del Ministerio deEducacin, se hizo cargo del sistema de evaluacin y pas a llamarse

15 El sistema de voucher consiste en financiar la educacin pblica y particular

subvencionada a travs de un bono que se otorga a los establecimientos por cada alumnomatriculado. El monto del bono se determina por el nmero de das que asiste el alumno aclases. Si el alumno se cambia de establecimiento el bono que le corresponde se trasladacon l.


Sistema de Evaluacin de la Calidad de la Educacin (SECE). En estelapso no se realizaron evaluaciones nacionales y la tarea se restringi a laelaboracin de los datos recogidos anteriormente por el PER.

El actual Sistema de Medicin de la Calidad de la Educacin (SIM-CE) empieza a operar en 1988 mediante un nuevo convenio del Ministeriode Educacin con la Universidad Catlica. En 1992 el Ministerio de Educa-cin asume la responsabilidad total del SIMCE. La Ley Orgnica Constitu-cional de Enseanza (LOCE) de marzo de 1990 establece que el Ministeriode Educacin Pblica es el organismo encargado de disear los instrumen-tos de evaluacin peridica. Para cumplir con esta normativa se establece elorganismo SIMCE como una estructura funcional, tcnica, dependiente dela Subsecretara de Educacin.

Caractersticas de la actual prueba SIMCE

El SIMCE es un conjunto de pruebas e indicadores de carcter cen-sal que se aplica anualmente en forma alternada a los alumnos de 4 y 8ao bsico. En 1997 en la prueba de 8 fueron evaluados 217.000 estudian-tes. Cabe hacer notar que todas aquellas escuelas que tienen menos decinco alumnos en el nivel a evaluar, no participan en la medicin. Eneducacin bsica esto representa algo ms de tres mil escuelas rurales, lascuales suman alrededor de quince mil alumnos. En educacin media seaplica al final del Segundo Ao; en este ciclo se han realizado slo dospruebas, la primera en 1994 y la segunda en 1998.

Estas evaluaciones mantienen los objetivos del antiguo PER, estoes, obtener informacin acerca del nivel de logros del sistema educacional,proveer a los directivos de las escuelas de retroalimentacin externa sobresu labor docente y entregar a los apoderados datos confiables acerca deldesempeo del establecimiento.

Sin embargo, con la incorporacin de la Reforma Educacional sedefinen algunas nuevas funciones como la identificacin de las escuelascon rendimientos deficientes para entregar ayuda focalizada y las de rendi-miento sobresaliente para instituir un sistema de incentivos. El Programade las 900 Escuelas consiste en asignar asesora pedaggica y recursosmateriales a las escuelas con peor puntaje en el SIMCE y el Premio deExcelencia se otorga a los profesores de aquellas escuelas que han logradobuenos resultados en un conjunto de indicadores, entre los cuales el buendesempeo en el SIMCE es uno de los ms importantes. Otro objetivo quedebiera lograr esta evaluacin es entregar datos acerca del impacto que ha


producido el conjunto de medidas emprendidas por la reforma. Obteneresta informacin no es posible an, pues como veremos a continuacin lanaturaleza de la prueba no permite hacer comparaciones de un ao a otromientras no se establezca un sistema que las haga comparables.

A los tradicionales ndices de eficiencia del sistema que meda elPER, es decir, porcentaje de logro en las pruebas acadmicas y tasas derepitencia y desercin, se incorporaron indicadores que van ms all de laformacin netamente acadmica. Estos apuntan a la formacin general delalumno como es la medicin de la autoestima y a factores que muestran elgrado de satisfaccin de los participantes del proceso educativo (grado deaceptacin de la labor educacional de padres, alumnos y profesores). En elfuturo, el SIMCE planea integrar a la evaluacin los objetivos transversalesincluidos en la reciente reforma. Es as que para el futuro se contempla laposibilidad de sondear el pleno desarrollo de la personalidad individual ysocial del alumno, la formacin ciudadana, el ejercicio de la tolerancia ylibertad, la cooperacin y la solidaridad.

Tambin se est considerando la posibilidad de recopilar informa-cin acerca de las variables que tienen relacin con los logros escolares yque requieren ser controladas para permitir una comparacin justa de lagestin educativa del establecimiento, a saber: capital cultural y econmicode la familia; gasto por alumno; participacin en programas remediales,etc. La tendencia actual en evaluacin es poder determinar el valor agrega-do de la gestin educacional por parte de cada establecimiento.

En la actualidad, en el nivel acadmico, las pruebas miden aprendi-zaje en las reas de Lenguaje, Matemticas, Ciencias Naturales y CienciasSociales. Cada una de ellas contiene alrededor de 60 preguntas de seleccinmltiple, las que deben ser respondidas en 90 minutos.

Los resultados se expresan desagregados por establecimiento y nopor alumno. Los resultados individualizados se entregaban en el antiguoPER, pero esta medida se descontinu en parte por costos y en parte porquese argumenta que los directores de establecimientos podran tomar medidascontra los nios que obtenan bajos puntajes. Sin embargo, el hecho de quela prueba sea annima quita toda responsabilidad a los alumnos y estopuede tener como consecuencia una falta de compromiso que se puedetraducir en una baja en los resultados. El rendimiento final no reflejaraentonces el nivel real de conocimientos de los alumnos. Con esta polticaadems se desperdicia la oportunidad de que los alumnos se apliquen ms asus estudios a partir de la presin de la prueba.

Los informes que se entregan a cada colegio incluyen informacinacerca del porcentaje promedio de respuestas correctas obtenidas por el


colegio en cada prueba y un desglose de estos resultados en trminos de losporcentajes de respuestas correctas alcanzados en cada uno de los objetivosde cada asignatura. Se entregan tambin ndices que permiten comparar alestablecimiento con el promedio general del pas y con los de los estableci-mientos de nivel sociocultural similar. A partir de 1997 se est entregandoun nuevo indicador, el PALS, que se refiere al porcentaje de alumnos quelogra sobre el 70% de respuestas correctas. Persigue entregar, de un modoms comprensible, informacin acerca de la dispersin de resultados.

Los padres tienen acceso a los puntajes generales a travs de losmedios de comunicacin quedando al criterio de cada colegio el informarcon ms detalle a los apoderados. El PER entregaba una carta por alumnocon la informacin individual y del establecimiento la cual deba hacersellegar a cada apoderado. La difusin actual de la naturaleza de la prueba yde sus resultados es adecuada a nivel de establecimientos educacionales,pero no lo es a nivel de apoderados y de pblico en general. Tampoco lo esa nivel de investigadores: las bases de datos no estn disponibles y losaspectos tcnicos de la construccin de la prueba no han sido expuestospara su discusin. Una mayor difusin, disponibilidad de los datos y trans-parencia metodolgica es necesaria.

Construccin de la prueba

Los contenidos y destrezas a evaluar se determinan de acuerdo a losplanes y programas de estudios vigentes, por lo tanto en el perodo actualde reforma curricular, el SIMCE est sometido a una serie de ajustes16.Segn la mayor o menor cercana a los objetivos de la reforma curricular,se habla de instrumentos de primera, segunda o tercera generacin:

Las pruebas de primera generacin son las que se aplicaron hasta1997. Su propsito era la medicin de los contenidos del currculodefinido en los decretos 4002 y 300 para Educacin Bsica y Media,respectivamente, y vigentes desde 1980. Las preguntas se han com-puesto exclusivamente de tems de seleccin mltiple.

16 Los nuevos Objetivos Mnimos y Contenidos Fundamentales datan del ao 1996.

A partir de stos se elaboraron los planes y programas de estudio para cada ciclo. Los de 1 a4 ao bsico fueron publicados en 1996 y 1997, los de 5 bsico en 1998 y los restantes sepublicarn en los prximos aos. Por lo tanto, una evaluacin de la aplicacin de estosprogramas tiene que considerar el tiempo necesario para que su aplicacin haya abarcado unciclo completo.


Las pruebas de segunda generacin tambin miden los contenidosy objetivos definidos en el antiguo currculo, pero excluyen aquellosconsiderados prescindibles en relacin a las nuevas propuestas curri-culares. Adems de los tems de seleccin mltiple se considernecesario agregar preguntas con respuestas abiertas, orientadas a lamedicin de aprendizajes ms complejos, respondiendo as al cam-bio de orientacin curricular cuyo foco es el desarrollo de destrezasy de habilidades de pensamiento superior ms que la adquisicin deconocimientos.

Las pruebas de tercera generacin medirn solamente los objetivospropuestos en el nuevo currculo (Decreto 40 de Educacin Bsicade 1980 y Decreto 200 de Educacin Media de 1980). Supuesta-mente se compondrn de tems de seleccin mltiple, as como tam-bin de preguntas de respuesta abierta, orientados, en una alta pro-porcin, a la medicin de aprendizajes complejos.Interpretar a travs de preguntas los objetivos fundamentales y con-

tenidos mnimos que aparecen en nuestro nuevo currculo de estudio, no estarea fcil, ya que stos no estn redactados como objetivos de logro eva-luables. Muchas veces no es posible una interpretacin unvoca de losmismos, por lo tanto al SIMCE le cabr la responsabilidad de fijar qu seentiende por cada uno de los objetivos y determinar los reales niveles deaprendizaje esperados. Por otra parte, el nuevo currculo incluye entre susobjetivos muchos de carcter instrumental, es decir, incorpora objetivosque fuerzan el uso de determinadas metodologas para aprender, con laesperanza de impulsar desde all la renovacin pedaggica. Por ejemplo, elcontenido de 4 bsico, conocer monedas y billetes nacionales y establecerequivalencias, persigue el objetivo de comprender el sistema decimal, ladescomposicin de nmeros, equivalencias y el valor posicional. La deci-sin de medir el objetivo instrumental o el objetivo central ser del SIMCE,cualquier decisin que tome afectar la enseanza y el aprendizaje de losalumnos. Es ms difcil y mejor ensear hacia el objetivo central, porqueimplica un mayor nivel de generalizacin. Si se evala directamente elobjetivo instrumental, aquellos nios que hayan sido entrenados especfica-mente en ellos tendrn mejores resultados que aquellos que tuvieron unaeducacin de carcter ms general; por lo tanto, es necesario que el SIMCEelabore las preguntas con la conciencia clara de cules son los incentivosque est estableciendo.

Las nuevas pruebas tambin tendrn que responder, al momento deelegir las preguntas, al desafo de adecuar el sistema de evaluacin a lalibertad curricular planteada por la reforma. Desde luego tendrn que resol-


ver el problema de evaluar establecimientos que estn implementando pla-nes y programas educacionales propios, distintos a los que propone elMinisterio. La dificultad surge por el hecho de que restringirse a los obje-tivos fundamentales y contenidos mnimos comunes y obligatorios paratodos los establecimientos baja el estndar de exigencia nacional. Estosucede porque ningn colegio se rige slo por estos objetivos. Los estable-cimientos tienen que adoptar el programa del Ministerio o uno propio y encualquiera de los dos casos sern ms amplios que los objetivos mnimos.Tampoco sera viable evaluar por alguno de los programas especficos,porque limitara la libertad de eleccin de programas propios.

Histricamente, numerosos docentes, seleccionados en concurso p-blico, elaboraban los tems de seleccin mltiple de la prueba. Esta medidabuscaba aportar a la confeccin de las preguntas un criterio de realidad,basado en la experiencia en el aula. Las nuevas pruebas no estn elaboradaspor un grupo de docentes de aula. Este cambio de poltica se bas en elsupuesto de que los profesores no estn an familiarizados con las nuevasorientaciones de la reforma centrada en la enseanza de habilidades depensamiento superior; por ello no tendran el bagaje para construir pregun-tas dirigidas a la evaluacin de este nuevo tipo de objetivos. El desfaseentre lo que los profesores y los expertos entienden por preguntas queevalan pensamiento de orden superior pone de manifiesto la brecha queexiste entre lo que se propone el currculo y lo que realmente se implemen-ta. La antigua prueba estaba ms cerca del currculo implementado al tomaren cuenta la interpretacin de los profesores de aula; la nueva prueba esco-gi la interpretacin de los expertos.

La construccin de la prueba responde a la teora clsica de evalua-cin. La seleccin final de las preguntas se hace, ao a ao, de la siguienteforma: despus de haber elaborado un conjunto grande de preguntas, seensamblan diez pruebas de formas paralelas de modo que cada tem searespondido por 400 nios de una muestra no probabilstica. Luego se elimi-nan todas aquellas preguntas que han obtenido menos de un 30% de res-puestas correctas y aquellas que han obtenido ms de un 80% de respuestascorrectas. Se analiza tambin el comportamiento de las preguntas y de losdistractores, descartndose las preguntas de formulacin ambigua y aqu-llas en que las alternativas sugieren marcadamente la respuesta o inducen aerror. Tambin se revisa la correlacin de cada pregunta con la prueba totalpara asegurar que la prueba tenga un grado alto de homogeneidad, de modoque los resultados sean interpretables unvocamente. Por diseo, un peque-o porcentaje de las preguntas debe cubrir contenidos de ciclos anterioresal cual est dirigida la prueba, de modo de sondear la persistencia de losaprendizajes a travs de los aos y la adquisicin de las destrezas y concep-


tos ms bsicos de la asignatura. La mayor parte de las preguntas restantesdebiera estar dirigida a evaluar los objetivos que debieran aprenderse en elao que se aplica la prueba y en el anterior.

El segundo paso es confeccionar las pruebas definitivas, para lo cualse exige que el conjunto de tems elegidos hayan obtenido en promedio un65% de logro en la prueba experimental para el curso de 4 bsico y un60% de logro en 8 bsico y II medio.

Este sistema de diseo tiene una serie de consecuencias que normal-mente no se conocen. El fijar un promedio de logro esperado segn lamuestra experimental implica que los niveles de dificultad de la prueba sonvariables de un ao a otro, ya que dependen de la poblacin en la cual setom la muestra. Esto significa que es una prueba relativa, por lo tanto nose pueden comparar directamente los porcentajes de logro entre pruebas dedistintos aos. Un porcentaje de logro determinado en un ao puede no serequivalente, en trminos absolutos, al del ao subsiguiente. Por otra parte,si el SIMCE hubiera sido construido testeando los tems en una muestraprobabilstica y representativa de la poblacin el promedio nacional obteni-do debiera haber estado siempre en el margen del 65% en 4 bsico y del60% en 8 y II medio. La representacin grfica de los resultados a lo largode los aos debiera ser una horizontal. Es un error esperar aumentos enella. Sin embargo, las muestras experimentales no han sido probabilsticashasta el ao 1998, por lo tanto los resultados nacionales podran haberseposicionado en cualquier valor, dado que las muestras experimentales noeran representativas de la poblacin general.

Los aumentos de puntaje que se aprecian en el Grfico N 1 nonecesariamente indican aumento de rendimiento, podran ser reflejo de lasdiferencias de rendimiento entre el grupo experimental con el cual se cons-truye la prueba y la poblacin total. Si la muestra hubiese sido probabilsti-ca y representativa de la poblacin, los resultados debieran estar en losmrgenes del 65% para 4 bsico y del 60% en 8 bsico.

Una prueba relativa, en la cual la distribucin de los resultados sedecide empricamente, se hace para lograr una buena dispersin de losresultados y poder as discriminar finamente el rendimiento entre los diver-sos establecimientos. Es necesario diferenciar este tipo de pruebas de lasreferidas a criterio, ya que la mayora de las personas piensa que el SIMCEes una de estas ltimas. En ellas se determina el nivel de dificultad segnparmetros tericamente establecidos, por ejemplo, qu porcentaje de loscontenidos de 8 bsico tendran que dominar los alumnos despus de 7aos y medio de enseanza. En estas pruebas no se espera una distribucinsegn una curva normal: podra obtenerse que la mayora de los estableci-mientos dominaran todos los contenidos si la educacin fuese buena o que


no dominaran casi ninguno si la educacin es deficiente. Este tipo de prue-bas indica ms directamente el nivel de aprendizaje alcanzado en relacin alas metas esperadas por el sistema. Sin embargo, no es ptimo para ran-quear a los establecimientos por rendimiento.

El SIMCE tiene dos grandes objetivos que son el entregar informa-cin acerca del cumplimiento de los objetivos educacionales por parte delsistema general y el de discriminar la calidad de la educacin entre losestablecimientos. Estos objetivos tienen que compatibilizarse en el diseode las pruebas, tarea que no resulta del todo fcil. Los requerimientostcnicos para obtener una buena dispersin exigen un porcentaje de logropromedio en el rango 60% al 65%, pero, qu sucede si en la pruebaexperimental, con los contenidos definidos para ese curso, no se alcanzaeste porcentaje de logro? Se baja el nivel de exigencia para adaptarse alporcentaje de logro esperado? Se baja tanto el nivel que las preguntas yano corresponden a los cursos en los cuales estn los alumnos? Entonces,cmo se conjugara la validez de contenido con la necesidad de lograr ladispersin adecuada? El anlisis que a continuacin se realizar de laspreguntas de la prueba de 1997 nos muestra cmo no ha sido posiblemantener la validez de contenido en la prueba de 8 bsico, esto es: lamayora de las preguntas no corresponde a este curso sino a cursos infe-riores.

GRFICO N 1: PROMEDIOS NACIONALES DE LA EDUCACIN BSICA 90-97(Promedio de castellano y matemtica (%))

4 bsico 8 bsico

%75

70

65

60

55

50

Fuente: Juan Eduardo Garca Huidobro y Cristin Cox, La reforma educacionalchilena 1990-1998, visin de conjunto (1999), p. 34.

4 bsico8 bsico

71,5

64,1

67,5

60,6

68,3

53,3

58,757,5

5 0

5 5

6 0

6 5

7 0

7 5

9 0 9 1 9 2 9 3 9 4 9 5 9 6 9 7

4 bsico8 bsico

(aos)


Para conseguir la comparabilidad de los resultados en las pruebasrelativas se realiza la tcnica del equating. Este proceso permite compararlos puntajes de una prueba con la de otros aos. Consiste en tomar unporcentaje de tems para repetirlos en aos sucesivos. Luego se analiza lacorrelacin de los resultados de esas preguntas en relacin a la prueba totallogrndose un ndice que se utiliza para obtener la equivalencia de puntajesentre una prueba y otra. El equating de un ao a otro se hizo entre las dosprimeras aplicaciones del PER y nuevamente se est realizando desde elao 1997. Por lo tanto, la comparacin de pruebas anteriores a 1997 nosera metodolgicamente correcta, y sera aventurado formular conclusio-nes sobre avances en la calidad de educacin antes de esa fecha. Recorde-mos que al probar experimentalmente los tems cada ao se exige un 60% oun 65% de logro promedio a la prueba, por lo que los niveles absolutos dedificultad pueden variar de un ao a otro si no se hace equating. En 1999 sehar un estudio de comparabilidad de las pruebas de 4 bsico repitiendoporciones de pruebas de los 10 aos anteriores a muestras representativasde la poblacin. Esto permitir recuperar los datos de los aos en que no sehizo equating. Esperamos que este estudio se haga pblico.

El SIMCE, a diferencia de la Prueba de Aptitud Acadmica, nocorrige puntajes por respuestas al azar. En toda prueba de alternativas hayuna probabilidad de responder bien una proporcin de tems por adivina-cin al azar, por lo tanto se castiga esa actitud descontando una proporcinde las respuestas malas a las buenas. No tomar en cuenta este punto puedeaumentar el rendimiento espuriamente.

En las nuevas pruebas se utilizar la teora de Respuesta al tem;sta permite resolver el problema de asignar puntajes equivalentes a pre-guntas de diferentes niveles de dificultad. Los tems ms difciles recibenuna mayor ponderacin que los ms fciles. Las pruebas construidas conesta teora siguen siendo relativas y no aseguran la comparabilidad si no sehace equating.

La prueba SIMCE est en proceso de reforma como tambin elorganismo (llamado con el mismo nombre) responsable de ella. Por unaparte, las evaluaciones estn sometidas a una serie de cambios y desafospara adaptarse a la reforma curricular. Por otra parte, el organismo SIMCEampla sus funciones al pasar a coordinar una serie de evaluaciones interna-cionales del sistema educacional a las cuales Chile ha decidido incorporar-se. Una amplia difusin de las polticas de medicin estimulara la discu-sin en torno al tema, lo cual contribuira a mejorar la calidad de nuestrosistema nacional de evaluacin y la calidad de la educacin misma.


El SIMCE de lenguaje y matemticas de 1997y orientaciones futuras

Los antecedentes expuestos anteriormente sobre los efectos tantopositivos como negativos de una evaluacin estandarizada, masiva, no ha-cen ms que confirmar el efecto profundo que tiene la evaluacin sobre loque sucede adentro de la clase. An sin efectos sobre el financiamiento osobre la destinacin acadmica de los alumnos, una evaluacin central,administrada censualmente y cuyos resultados son pblicos, emite una se-al poderosa a directores y profesores acerca de lo que debe hacerse. Es porlo tanto vlido examinar los contenidos del SIMCE de 8 bsico de 1997dados a conocer en 1998 y preguntarse qu seales son las que ste trans-mite.

Este trabajo pretende hacer un anlisis de nuestras pruebas a partirde una doble coyuntura: el hecho de que por primera vez se publiquen laspreguntas de las pruebas rendidas en 1997 y el momento de pleno procesode rediseo de las pruebas futuras. Podra parecer intil el anlisis enperodo de transicin; sin embargo, pensamos que su discusin puede ayu-dar a interpretar los resultados de las pruebas ya rendidas y aportar antece-dentes para la elaboracin de las nuevas evaluaciones.

El anlisis se basar en los tems publicados por el Ministerio, quecorresponden a una de las formas administradas en 8. En este curso sebusca medir el aprendizaje de los contenidos que debieran haber sido asi-milados en el transcurso de enseanza bsica. Una pequea proporcin delos tems evala conocimientos de 4 bsico y el resto cubre los del segun-do ciclo. Son 48 preguntas de alternativas mltiples para matemticas y 50para lenguaje que deben ser respondidas en 90 minutos. La muestra escensal, es decir, se someten a la prueba todos los nios del nivel, lo queequivale a 217.000 estudiantes pertenecientes a 4.755 establecimientos.Basamos nuestro estudio en los documentos publicados por el Ministeriode Educacin, Resultados SIMCE, octavos aos, 1997. (Fascculos de cas-tellano y de matemticas), julio 1997, y Orientaciones para la medicin delogros (fascculos de castellano y de matemticas), Segundo ao medio,1998. Para el caso de matemticas se ha considerado tambin como puntode referencia la prueba de 8 bsico realizada por el Tercer Estudio Interna-cional de la Enseanza de Matemticas y Ciencias (TIMSS)17.

17 Para ms informacin sobre el estudio del TIMSS, vase B. Eyzaguirre, Polticas

educacionales comparadas: Consideraciones a partir del Tercer Estudio Internacional de laEnseanza de Matemticas y Ciencias (TIMSS) (1999).


SIMCE de 8 bsico de lenguaje 1997

Como hemos dicho, una prueba implica seleccionar algunos de loselementos que constituyen un campo amplio de conocimientos asumiendoque el dominio de ellos que tenga un alumno refleja o significa un dominiodel campo total. En el caso del SIMCE de lenguaje que comentamos (de1997), se opt por ocupar un 40% de la prueba en materias correspondien-tes a aspectos normativos, como ortografa, gramtica, estructura de pala-bras, puntuacin, etc. Las habilidades de lectura ocupan otro 52% de laprueba. En este grupo incluimos algunas de las preguntas que evalancontenidos de 4 y de 6, la agrupacin Dilogo Escrito y la agrupacinComprensin Lectora, pues todas se refieren a comprensin de textosledos. El 8% restante corresponde a 4 preguntas que supuestamente eva-lan razonamiento lgico. (El facsmil publicado, correspondiente a una delas formas de la prueba, consta de 50 preguntas en lugar de las 60 queconstituyen la prueba; como se indica en el mismo documento, 10 pregun-tas han sido mantenidas en reserva para efectos de un anlisis histrico.)18

Nivel de dificultad

El grupo de preguntas de tipo normativo est constituido por unmuestreo de casos de ortografa, puntuacin, gramtica, vocabulario y es-tructura de palabras que supuestamente revelara el dominio que tiene elalumno de su lengua. Llama la atencin en primer lugar el bajo nivel deconocimientos que requieren estas preguntas. El 78% de los contenidosevaluados en este grupo pertenece a los cursos entre 3 y 6 del programaque estaba vigente en ese momento segn el decreto 4002. No aparece,entre los contenidos medidos, ninguno de los temas ms difciles que tradi-cionalmente se ensean en 7 y 8 y que corresponden a un verdadero ytotal dominio del idioma. Por ejemplo, la ortografa de algunos verbosirregulares, casos ms complejos de sintaxis y de acentuacin (acento dia-crtico y acento diertico) que s estaban contemplados en las evaluacionesanteriores como lo indicara al menos el informativo entregado a los cole-gios para la prueba de 8 de 1995. Salvo dos preguntas sobre nexos oconjunciones, tampoco hay contenidos gramaticales nuevos propios de 7 y8. Slo algunos tems de vocabulario corresponden, por el nivel de abs-traccin de los vocablos evaluados, a un nivel ms propio de 8 bsico.

18 La prueba constara de dos formas paralelas, vase Ministerio de Educacin,

SIMCE: Folleto Tcnico 1995 (1995).


Todas las preguntas se refieren al dominio ms elemental del conte-nido, nunca a un grado ms complejo. Por ejemplo: hay tres preguntas quemiden la habilidad de ordenar palabras alfabticamente. sa es una habili-dad muy simple que, en general, se puede ensear en 3 bsico y que sirvepara ubicar datos en un diccionario, en una enciclopedia o en una guatelefnica. Segn el documento, estas preguntas corresponden al 10% de laprueba destinado deliberadamente a verificar lo que los alumnos de 8saben de los contenidos del subciclo anterior. El grado ms simple decomplejidad consiste en ordenar palabras que comienzan con letras diferen-tes; un grado superior sera ordenar palabras que tienen la misma letrainicial, pero difieren en la segunda y as sucesivamente. Pues, de las trespreguntas sobre esta materia tan elemental, slo una tiene dos palabras quecomienzan con la misma letra. En gramtica, la nica pregunta sobre ver-bos se refiere al modo indicativo, presente, es decir, el caso ms elementalde esta materia. De las posibles respuestas, todas estn en modo indicativoy slo una est en presente. En la pregunta sobre la conjuncin o las tresopciones incorrectas son completamente absurdas. Y as sucesivamente.

Entre las preguntas de comprensin de textos escritos, 8 (el 30%)exigen la comprensin de una sola frase, 6 (el 23%) se refieren al manejode documentos muy breves (por ejemplo, un cheque o un aviso econmico)y el resto se reparte entre una estrofa potica de cuatro versos y dos frag-mentos narrativos de media pgina cada uno. El grado de dificultad de lostextos (salvo, tal vez, en el fragmento potico), su longitud y el tipo depreguntas corresponden en su mayor parte tambin a un nivel aproximada-mente entre 5 y 6 bsico. Por ejemplo, se pide: determinar quines son losprotagonistas de un relato que slo tiene dos personajes; escoger, de unalista de cuatro, el calificativo que caracteriza a un personaje; el porqu de laaccin de un personaje (la opcin correcta es una frase textual del prrafo yes la nica que lo es), etc. Hay dos preguntas que apuntan a la identifica-cin del tema o motivo principal de la lectura, pero resultan poco convin-centes, en un caso, porque es dudoso que se pueda preguntar por el motivoprincipal de un fragmento tan breve sacado de una novela y, en otro, por loambiguo de las alternativas de respuesta. No hay ni una sola pregunta queexija una lectura crtica, ni un aporte personal, ni siquiera las que se refie-ren a textos de los medios de prensa. (Hay 4 preguntas [19%] con textos deprensa, pero todas ellas referidas slo a identificar las secciones que con-forman un diario. Por ejemplo, se pide determinar en qu seccin de unperidico se encontrara determinado aviso.) Dado el bajo nivel de com-prensin que requieren estas preguntas es aventurado sacar cualquier tipoconclusiones acerca de cmo comprenden los alumnos el lenguaje escrito.


Es interesante comparar los niveles de exigencia en lectura que evi-dencia este SIMCE con los descritos para una edad similar en el programaestatal ingls19: Nivel 5: Los alumnos demuestran comprensin de unagama de textos seleccionando los puntos esenciales y usando inferencia ydeduccin cuando sea apropiado. En sus respuestas identifican caractersti-cas principales, temas y personajes, y seleccionan oraciones, frases y cual-quier otra informacin relevante para sostener sus puntos de vista. Soncapaces de obtener y relacionar informacin de diversas fuentes. Nivel 6:Al leer y analizar una gama de textos, los alumnos identifican diferentesniveles de significado y pueden comentar acerca de su importancia y efec-to. Dan respuestas personales a textos literarios, refirindose a aspectos dellenguaje, la estructura y los temas para justificar su opinin. Son capacesde resumir una variedad de informacin de diversas fuentes20.

Redaccin elemental

Mencin aparte merece la prueba de expresin escrita. Es un avanceimportante contar con una prueba que evale esta habilidad y ms an si,como se sostiene en el documento, desde 1991 se observa un incremento dems de 10 puntos porcentuales a nivel nacional. El aumento de puntaje esespecialmente significativo en las dependencias municipal y particular sub-vencionado. Este avance indica que el hecho de evaluar probablemente hamodificado la conducta de los profesores hacindoles dedicar ms tiempode clases a la expresin escrita.

Lamentablemente, la informacin que se nos da sobre esa parte de laprueba es poco clara. Los cuadros y grficos con que se presenta un estudiodel nmero de lneas escritas por los estudiantes son confusos y, por lotanto, no es posible comprender el anlisis cuantitativo de este punto reali-zado por los autores del documento. S queda claro que los alumnos escri-bieron un promedio de 21 lneas sobre un tema dado. (No se informa sobreel tiempo que tuvieron los alumnos para ello.)

Tampoco queda completamente clara la forma de corregir esta prue-ba. Se nos dice que hay una pauta de correccin constituida por sietefactores, pero no se publica la pauta, no se indica cmo se contabilizanlos errores del alumno ni qu puntaje tiene cada factor, ni tampoco el pesodel puntaje de expresin escrita en el puntaje total del SIMCE. Los siete

19 Los niveles de desempeo citados corresponden aproximadamente a lo exigido

entre 6 y 7.20 Department for Education (Inglaterra), The National Curriculum (1995), p. 28.


factores son: expresin creativa, expresin lxica, organizacin interna,ortografa puntual, ortografa literal, ortografa acentual y presentacin for-mal. Una breve descripcin de estos factores nos indica que el factor ex-presin creativa verifica que el alumno titule un relato central, dondeestn presentes el espacio y el tiempo de la situacin narrada o descrita;cree personajes identificables movilizadores de accin, emplee un tono oactitud emotiva, d opiniones e infiera valores21. Parece discutible acumu-lar en un solo factor todo lo que se refiere al contenido del texto escrito yque los otros seis factores apunten a describir el lenguaje utilizado y laaplicacin de normas. Esto otorgara un peso desmesurado a la forma endetrimento del contenido. Tambin llama la atencin que se ignoren aspec-tos tales como la estructura, el propsito, la adecuacin del estilo y dellenguaje, etc.

Los autores se felicitan por el logro obtenido en organizacin inter-na (86,5%). Sin embargo, ese factor no se refiere a la estructura narrativadel escrito, como su nombre hace suponer, sino meramente a la utilizacinadecuada de pronombres, ilativos o nexos, la no omisin de trminos eideas; la concordancia de sujeto-predicado, gnero y nmero22. Es decir,al dominio gramatical ms elemental. (Aunque cabe la duda sobre cmo semide la no omisin de ideas.) La descripcin de ste y de los otrosfactores que conforman la pauta indican que esta evaluacin se refiere a undominio muy elemental del discurso escrito, limitado al logro de una cohe-rencia bsica y de las mnimas condiciones de ortografa y puntuacin paraobtener claridad. Es decir, un dominio correspondiente, en su mayor parte,a un 5 o 6 bsico bastante indulgente.

Ilustra este punto el hecho de que en los pases con buen niveleducacional se esperan estos niveles de desempeo en redaccin ya en losprimeros aos de la enseanza bsica23. Vase, por ejemplo, esta descrip-cin del nivel de desempeo esperado para alrededor de 3 a 4 bsico en elcurrculum nacional britnico:

La escritura de los alumnos es a menudo bien organizada, imagina-tiva y clara. Usan apropiadamente las caractersticas principales delos diferentes tipos de textos y empiezan a adaptarse a diferenteslectores. La secuencia de las frases extiende las ideas lgicamente y

21 Ministerio de Educacin, Castellano: Resultados SIMCE octavos aos, 1997

(1998), p. 40.22 Ibdem, p. 41.23

Vase L. Fontaine, La asignatura de lenguaje vista en programas escolares extran-jeros estatales y privados (1998).


selecciona las palabras para dar variedad e inters. La estructuragramatical bsica de las oraciones es usualmente correcta. La orto-grafa es usualmente perfecta, incluso la de los polislabos ms co-munes. Usan con correccin la puntuacin para demarcar las oracio-nes: puntos, maysculas y signos de interrogacin. La caligrafa esligada y legible24.

Igualmente, en el programa de Francia, se espera al finalizar el 5bsico que el alumno sea capaz, entre otras cosas, de escribir un cuento, re-escribir un texto, relatar un suceso desde varios puntos de vista, presentarsu punto de vista frente a un evento, redactar un resumen, preparar uncuestionario, redactar un informe (y distinguirlo de un relato), tomar notassobre las lecturas, estructurar un texto para su presentacin (prrafos, grfi-cos), utilizando un procesador de textos. Como puede apreciarse, ya el 6bsico se inicia con un dominio funcional de la escritura mucho mayor queel que se evidencia en nuestro SIMCE de 8. Un dominio suficiente paradesempearse en cualquier trabajo y que le asegura al alumno proseguircon xito las etapas siguientes de su educacin.

El grado de dificultad de estas preguntas no corresponde en absolutoa lo que debiera esperarse para 8 y no refleja el conjunto de aprendizajesque debieran estar logrados al terminar la enseanza bsica. Qu puedendeducir los profesores al analizar el nivel de dificultad de la prueba? Sidesean obtener un buen puntaje en el SIMCE y se guan por este conjuntode preguntas, les bastar con mantener la materia simple; no ensear cosasdifciles. Puede ser arriesgado avanzar mucho con la gramtica o perder eltiempo en acentuacin. Quienes han hecho otra cosa han perdido su tiem-po, pues no se reflejar en la evaluacin. No harn a los alumnos leer textosavanzados; no vale la pena. Bastar con breves lecturas infantiles y algunosdocumentos utilitarios. Ms que leer la prensa, ensearn muy bien en qusecciones se divide un diario y se concentrarn en los avisos publicitarios,los cuales, al parecer, son considerados ms importantes que las noticias ylos artculos de opinin. En cuanto a expresin escrita, podrn contentarsecon un dominio elemental de la escritura, limitado al logro de una coheren-cia bsica y de mnimas normas de correccin formal.

Ms all de las seales acerca del qu, cunto y cmo ensear quenos entrega esta prueba, interesa que la interpretacin de los resultados seajuste a la realidad. A la luz de las preguntas que se han dado a conocer,parece alarmante sacar conclusiones sobre los rendimientos de 8 y compa-rar colegios sobre la base de una prueba que en su mayor parte corresponde

24 Department for Education (Inglaterra), The National Curriculum (1995), p. 30.


a un fcil 6 bsico. Ms alarmante es que se use la comparacin con aosanteriores (ya hemos visto que estrictamente las pruebas de diferentes aoshasta 1997 no son comparables) para deducir visiones optimistas que pue-den no reflejar progresos verdaderos.

Preguntas ambiguas

Naturalmente surge el interrogante de por qu se dan tan pobresresultados con materias tan fciles. Hay muchas explicaciones posibles yno es el fin de este documento analizar los mltiples factores desde so-cioeconmicos hasta metodolgicos que pueden dificultar o impedir elaprendizaje. Pero queremos llamar la atencin sobre un factor que era paranosotros desconocido antes de que el documento que comentamos cayeraen nuestras manos y que quizs explica en parte este bajo rendimiento. Setrata de la formulacin de las preguntas: entre los tems de comprensin detextos se encuentra una cantidad importante de preguntas mal formuladas,de respuesta ambigua. Aparentemente sta tambin ha sido una inquietuddel Ministerio, pues en los documentos sobre la prxima generacin depruebas se anuncia un nuevo mecanismo de seleccin y validacin de pre-guntas. Especial mencin reciben las tres preguntas de comprensin detextos que, segn el documento, corresponden a materia de 4 bsico. Con-sisten en un pequeo dibujo, de muy mala calidad, debajo del cual se leencuatro oraciones. El alumno debe escoger la oracin que mejor representaen el primer caso el mensaje, en el segundo el contenido y en el tercercaso la idea que representa la lmina. No slo es confundidor para elalumno que se le pida de tres formas diferentes realizar una misma tareasino que, adems, los dibujos en s son tan ambiguos, que permiten respon-der con casi cualquiera de las alternativas propuestas. Vanse figuras N 1y N 2.

No es de extraar que aunque esta parte de la prueba pretende eva-luar habilidades de 4 bsico, en ninguna pregunta se super el 61% derespuestas correctas.

Una revisin de las preguntas con bajo porcentaje de respuestascorrectas (menos de 65%) revela una proporcin importante de preguntasambiguas. Hay 14 tems sobre comprensin de textos que alcanzaron me-nos de 65% de respuestas correctas; de stos, al menos 9 son discutibles(las preguntas 4, 5, 6, 8, 33, 37, 38, 43, 45).

Entre las preguntas sobre aspectos normativos hay menos tems am-biguos. Pero s hay algunos cuya dificultad no estriba tanto en el contenido


FIGURA N 1

FIGURA N 2


evaluado sino en la manera de preguntar, que exige una lectura muy cuida-dosa para no caer en la trampa. Por ejemplo, la pregunta 23:

Cul de las opciones no es sinnimo de la palabra subrayada en lasiguiente oracin?Todos fuimos invitados a la boda de mi prima.A) matrimonio B) casamiento C) idilio D) enlace

Otro ejemplo es la pregunta 13:

En cul de estas oraciones la coma est bien aplicada?A) La maana estaba clara, sin embargo, se nubl pronto.B) La maana, estaba clara, sin embargo se nubl pronto.C) La maana estaba, clara sin embargo, se nubl pronto.D) La maana estaba clara sin embargo, se nubl pronto.

Segn el documento, la alternativa correcta es A), que fue elegidapor un 61,87% de los alumnos. Hubo, sin embargo un importante grupo(18,84%) que escogi D), desorientados por el hecho de que la alternativacorrecta tuviera dos comas y no una, como se deducira de la pregunta.

Cuando se interpretan los resultados de una prueba con tales pregun-tas siempre cabr la duda de si los alumnos dominan o no el contenido o ladestreza evaluada, pues los resultados se ven contaminados por las diversasinterpretaciones que han hecho los alumnos acerca de la pregunta. Igual-mente, omitiendo el punto (grave de todas maneras) de que algunas pregun-tas son equvocas en su formulacin y que se requiere ciertamente de unamayor prolijidad en su elaboracin, cabe hacerse la reflexin acerca delefecto que puede tener sobre la instruccin el hecho de que haya preguntasque aunque estn bien formuladas sean de alguna forma tramposas. Cules el mensaje para profesores y directivos? Para obtener buenos puntajes enel SIMCE conviene gastar el tiempo de clases entrenando especficamentecon este tipo de preguntas, para disminuir las posibilidades de error. Eldegradar la instruccin haciendo ms ensayos y menos clases es la conse-cuencia natural de una prueba mal formulada.

Tareas artificiales

La mayor parte de las tareas que pide esta prueba no corresponde altipo de tareas que normalmente hacemos cuando usamos el lenguaje. Escri-bir con buena ortografa no consiste en completar los espacios que faltan en


las palabras; leer, en trminos generales, no consiste en escoger la frase quemejor expresa el contenido de una lmina; apreciar la poesa no pasa nece-sariamente por discriminar entre metforas, personificaciones, etc. Domi-nar o comprender los medios informativos no se reduce a conocer lassecciones de un diario. Tener un buen vocabulario no consiste en reconocerun diminutivo. Una vez ms la asignatura de castellano se ve reducida auna serie de simplificaciones, nomenclaturas y clasificaciones. (Esta ten-dencia ya fue observada y descrita respecto de los textos escolares delenguaje de nuestro pas.)25 Este punto tiene gran importancia pues el tipode preguntas incide en lo que se ensea y este tipo de preguntas puedeconducir a una enseanza limitante y que no aporte a los alumnos oportuni-dades de desarrollar su uso del lenguaje, que es la finalidad de la asignatu-ra. Una vez ms, los profesores que deseen trabajar desarrollando verdade-ramente el lenguaje de los alumnos con mucho tiempo dedicado a la lecturay a la comunicacin oral y escrita pueden verse inhibidos al conocer cmose les va a evaluar. Por otra parte, es posible que esta forma de evaluar nomida el verdadero desempeo de los alumnos cuando se comunican en lavida real y por lo tanto arroje un diagnstico errneo sobre sus capacida-des. Afortunadamente, se percibe que la prxima versin de estas pruebastiende a corregir este aspecto.

El nuevo SIMCE de lenguaje de 2 medio

La prueba aplicada a los 2s medios en 1998 obedece a una nuevaconcepcin del SIMCE. sta surge de la necesidad de ajustar los conteni-dos de la prueba a los nuevos lineamientos de la reforma curricular. El ao1998 corresponde a una prueba de segunda generacin, es decir, una prue-ba en que se miden objetivos y contenidos del programa anterior (Decreto300, en este caso) pero slo aquellos que ms se acercan al sentido delnuevo26. Al momento de escribir este estudio no contamos con informa-cin acerca de la totalidad de las preguntas utilizadas y, por lo tanto, nosbasamos nicamente en el folleto publicado por el Ministerio de Educacinantes de la prueba para orientar a los profesores. En este folleto se incluyela fundamentacin terica en que se basa la prueba, una descripcin delinstrumento y 18 tems. Naturalmente no se pueden derivar demasiadas

25 B. Eyzaguirre y L. Fontaine (eds.), El futuro en riesgo, nuestros textos escolares

(1997).26

Ministerio de Educacin, Sistema de medicin de calidad de la educacin: Orien-taciones para la medicin de logros. Asignatura de castellano, segundo ao medio (1998).


conclusiones sin conocer el conjunto de todos los tems. Pero intentaremoshacer un comentario sobre la muestra entregada.

El folleto nos ofrece un conjunto de 18 preguntas, referidas a 9objetivos del programa de castellano segn el Decreto 300. Los objetivosque se pretenden evaluar son citados textualmente del decreto, encabezan-do los tems correspondientes y, contrariamente a lo que sucede con laprueba de 8, conciernen en su mayora a 2 medio. Sin embargo, losobjetivos de media en esta asignatura no especifican niveles de dificultadpor lo cual el rango de preguntas que se pueden formular a partir de ellospodran corresponder a cursos inferiores o superiores. Por lo tanto, es laobservacin detallada de las preguntas la que ms nos revelar acerca delnivel de dificultad de esta prueba y de las orientaciones que da para laenseanza.

Este documento denota un importante progreso respecto de algunasde las deficiencias observadas en la prueba de 8. Al no conocer el total delas preguntas no podemos formarnos una opinin sobre el nivel de dificul-tad general, pero se puede apreciar al menos una mayor prolijidad en laconfeccin de las preguntas y una intencin de medir destrezas ms rele-vantes. Vista en su conjunto, la muestra ofrece una visin ms funcional yms completa de la asignatura. Se busca evaluar el uso de la lengua contems ms similares a las verdaderas acciones que realizamos cuando noscomunicamos. ste es, por lo dems, uno de los objetivos que se proponenlos autores de esta prueba de segunda generacin y podemos decir queparece bien logrado. ste es un punto de gran valor, pues en trminosgenerales influir a los docentes a realizar prioritariamente esas tareas en laclase y no otras. Revela tambin una elaboracin mucho ms cuidadosa delas preguntas. Las instrucciones para responder los tems son claras y preci-sas y no se observan preguntas ambiguas. Es decir, el alumno sabe lo quedebe hacer. Slo las preguntas abiertas podran ofrecer alguna dificultad ensu correccin, pues las pautas para corregir no aparecen del todo claras.Esta dificultad, sin embargo, podra obviarse al momento de corregir me-diante el perfeccionamiento y aclaracin de las pautas.

Tal como se indica en la introduccin del documento, se ha buscadoestimular el uso de destrezas cognitivas superiores y entre stas se ha dadoprioridad a la evaluacin de habilidades deductivas e inductivas por sobrelas habilidades de memoria y creatividad. Esto, porque las habilidadesdeductivas e inductivas son de un nivel cognitivo ms alto que las habilida-des de memoria, (...) y las habilidades de creatividad, si bien son de altonivel cognitivo, no se pueden utilizar en exceso, puesto que requieren de


preguntas abiertas27. Sin duda, este nfasis se debiera traducir en un cam-bio de las actividades de la clase. Parece especialmente auspicioso respectoa la orientacin que da a las actividades de comprensin de lectura, alejn-dose de la recoleccin y reproduccin textual de los datos ledos y enfati-zando ms la interpretacin y comprensin de aspectos no implcitos.

Lamentablemente este foco en habilidades superiores ha llevado auna total prescindencia de los aspectos normativos del ramo. A pesar deque el programa lo requiere, no hay preguntas de ortografa ni gramtica,tal vez asumiendo que stas han sido ya completamente asimiladas por losestudiantes de 2 medio. ste es un supuesto arriesgado, ya que la expe-riencia indica que en la actualidad los graduados de enseanza media engeneral parecen tener una formacin deficitaria en estos aspectos. Transmi-tir la idea de que estos contenidos no sern evaluados en segundo mediopuede conducir a una total falta de atencin a los aspectos formales bsicosy, por consiguiente, a un deterioro de la expresin escrita de los estudian-tes. Este riesgo se hace ms real a la luz del bajo nivel exigido en estosaspectos en la prueba de 8. Slo asegurando que estos contenidos han sidologrados en los cursos bsicos se podra liberar a la enseanza media decubrirlos.

A pesar de que en esta muestra hay una fuerte proporcin de pre-guntas de lectura y que stas parecen medir aspectos relevantes de la habili-dad de leer, se echan de menos algunas preguntas con trozos ms largos. Sise desea medir competencia en habilidades usadas en el mundo real, nopuede obviarse que ste nos exige a menudo la lectura de trozos extensos.stos, a su vez, exigen habilidades de concentracin, retencin y captacinde la estructura general del texto que no pueden ser evaluados con pocaslneas. Al menos entre los ejemplos dados a conocer no hay trozos quesobrepasen las tres lneas. Podra ser que haya una correlacin entre lashabilidades requeridas para lecturas largas y el desempeo en preguntascortas, pero creemos que la seal que emiten las pruebas para determinar loque pasa con la instruccin es demasiado poderosa y existe el riesgo de queuna prueba que slo se basa en textos breves desincentive la lectura detextos completos en la sala de clases.

Pero tal vez la mayor objecin que se puede hacer a esta muestra detems se refiere a lo que las preguntas realmente miden (validez de conteni-do). Llama la atencin que aunque se han escogido objetivos del programa

27 Ministerio de Educacin, Sistema de medicin de calidad de la educacin: Orien-

taciones para la medicin de logros. Asignatura de castellano, segundo ao medio (1998),p. 13.


antiguo que en las palabras del documento son los que ms se acercan alsentido del nuevo, los tems mismos ofrecen a veces una curiosa interpre-tacin de stos. Por ejemplo, para el objetivo Conocer obras valiosas de laliteratura universal, el tem requiere slo parear una lista de obras con susautores. Esto es, no examina si verdaderamente se conocen (se han ledo)estas obras. Para el objetivo Conocer y manejar algunas tcnicas paraescribir sencillas piezas teatrales, se escogi una pregunta que exige reco-nocer la definicin de tragedia. Saber definir tragedia es verdaderamenteuna tcnica para escribir mejor? Para el objetivo Iniciarse en un encuentrosistemtico con la literatura, se pide reconocer la definicin de metfora.Es decir, si bien los objetivos corresponden en algunos casos al mbito dela valoracin, y, en otros, a habilidades de comunicacin, las preguntas norecogen estas intenciones sino miden ms bien la retencin de informacin.Tampoco lo hace la pregunta 6 que, para el objetivo Descubrir la propiacreatividad y desarrollarla, propone: Explica con tus palabras qu es unaleyenda.

El cuidado de la validez de contenido es fundamental para la correc-ta interpretacin de los resultados de un test. En el caso de la pregunta 6nada serio se podra deducir sobre la creatividad, pues los resultados depen-deran del conocimiento que tengan los alumnos acerca del tema de laleyenda. Este tipo de confusiones puede reflejar errneamente la realidadde los alumnos y conducir a diagnsticos equivocados.

Esta confusin de intenciones se observa al menos en 4 de los 18tems. En todos los casos la informacin exigida tiene que ver con literatura(preguntas 1, 2, 3 y 6). Las materias literarias se prestan magnficamentepara evaluar comprensin, apreciacin, pensamiento crtico, etc. Sin em-bargo, no se ha hecho as y se ha optado por preguntar definiciones yclasificaciones. Es sorprendente que, en todos los casos, se ha perdido laoportunidad de estimular el uso de destrezas cognitivas superiores, y darmayor relevancia a las habilidades deductivas e inductivas que a las dememoria y creatividad, pese a la intencin expresada en el documento dehacerlo as. Esta forma de preguntar tal vez obedece a una visin peculiarsobre la enseanza de la literatura que percibe a sta como incompatiblecon el desarrollo de destrezas comunicativas o con el uso de destrezascognitivas superiores. Curiosamente, en el documento se anuncia que seotorga mayor peso a los contenidos no literarios que a los literarios, porconsiderarse que el espritu de las nuevas propuestas curriculares as comoel del Decreto 300 enfatiza lo comunicacional por sobre lo literario, criterio


que se aplic en el diseo de la prueba28. Es discutible que el espritu delas nuevas propuestas curriculares y del Decreto 300 enfatice lo comuni-cacional por sobre lo literarario. En primer lugar, ambos programas deenseanza media valoran igualmente la literatura y, adems, la frase impli-cara que literatura y comunicacin son cosas distintas. No es as: la litera-tura no es otra cosa que comunicacin. Comunicacin del mejor nivel ysobre los temas ms importantes para el hombre. En un documento ofreci-do como orientacin para el profesorado es alarmante que se entregue estetipo de afirmaciones equvocas. Por lo dems, la posicin contrasta con loobservado en las propuestas curriculares de otras naciones que logran me-jores resultados educacionales para la totalidad de su poblacin y que notrepidan en permear su currculo con una gran cantidad de literatura de lamejor calidad29.

El SIMCE de matemticas 1997

Como hemos dicho, este anlisis se basa en los tems publicados porel Ministerio de Educacin de la prueba del SIMCE de 8 de matemticasrendida en 1997. Como punto de referencia para este anlisis, se utilizartambin la prueba de 8 bsico realizada por el Tercer Estudio Internacionalde la Enseanza de Matemticas y Ciencias (TIMSS)30. ste es el estudioms amplio y ambicioso sobre rendimientos comparados jams realizado.Abarc ms de 40 pases y exigi la revisin de los currculos de todasestas naciones para determinar los contenidos cuyo manejo se considerabaindispensable al final de 8 bsico. Los contenidos seleccionados en ningnmodo representaban las posiciones extremas de los pases en cuanto aexigencias, sino ms bien el trmino medio. Las preguntas, cuidadosamenteelaboradas, se ocuparon de evaluar tanto conocimientos como destrezas, deque los diferentes contenidos tuvieran una proporcin de preguntas deacuerdo a su importancia y de que los niveles de dificultad tuvieran unagraduacin que permitiera diferenciar los niveles de aprendizaje. Por lo

28 Ministerio de Educacin, Sistema de medicin de calidad de la educacin: Orien-

taciones para la medicin de logros. Asignatura de castellano, segundo ao medio (1998).29

Vase L. Fontaine, La asignatura de lenguaje vista en programas extranjerosestatales y privados (1998).

30 Para ms informacin sobre el estudio del TIMSS, vase B. Eyzaguirre, Polticas

educacionales comparadas: Consideraciones a partir del Tercer Estudio Internacional de laEnseanza de Matemticas y Ciencias (TIMSS) (1999).


tanto, podemos estar seguros de que esta prueba constituye un buenparmetro de comparacin.

El anlisis abarcar diferentes aspectos de la prueba intentando dilu-cidar las seales que el SIMCE enva a nuestra educacin.

Nivel de dificultad

En primer lugar, llama la atencin el bajo nivel de dificultad de laspreguntas del SIMCE. Si partimos del supuesto que debe evaluar lo que seespera que los alumnos aprendan al final de la enseanza bsica, la lecturade los tems nos indica que el estndar al cual se est aspirando es bajo. Sise hace el ejercicio de tomar tem por tem de la prueba y analizar el cursoen que debe ser tratado el contenido de cada una de las preguntas, tenemosque las materias evaluadas corresponden a un 6 bsico en el antiguo pro-grama de estudio chileno, a un 5 bsico avanzado si nos referimos a losnuevos objetivos fundamentales y contenidos mnimos y a un 5 bsico sitomamos como estndar el curso en que se trata el tema en la mayora delos 45 pases participantes en el estudio del TIMSS31.

A continuacin se presenta el Cuadro N 1, con las preguntas delSIMCE clasificadas segn el curso en que dicho contenido aparece en elcurrculo. Para determinar el curso se consider el Decreto 4002 (1980),que es el currculo con el cual se hizo el SIMCE de 1997, luego el Decreto40 (1996), que define los objetivos mnimos y los contenidos fundamenta-les actualmente vigentes, y en tercer lugar se utiliza el nivel identificadosegn la mayora de los pases del TIMSS. Se incluye tambin el puntaje delogro nacional por pregunta en el SIMCE de 1997.

En el Cuadro N 1 se observa que, en general, en Chile se tratan mstardamente los contenidos que en la mayora de los pases del estudio delTIMSS. Las naciones que obtienen puntajes sobre y en el promedio en elTIMSS tienen currculos ms exigentes. Los alumnos avanzan ms rpidode manera que al final de enseanza bsica han tenido la oportunidad deaprender ms a fondo los contenidos de lgebra, medicin, geometra, pro-babilidades y recoleccin, representacin y anlisis de datos.

Si se analizan los contenidos de la prueba que corresponden a 7 y8 bsico segn los programas nacionales, se constata que, en general, se

31 Vase W. H. Schmidt, Many Visions, Many Aims: A Cross National Investigation

of Curricular Intentions in School Mathematics (1997), Vol. 1.


CUADRO N 1: CLASIFICACIN DE LOS TEMS DEL SIMCE DE MATEMTICAS DE 1997SEGN EL CURSO EN QUE SE ESTUDIAN LOS CONTENIDOS DE CADAUNA DE LAS PREGUNTAS

Contenido Pregunta % Decreto Decreto Promediologro 4002 40 TIMSS

Sentido nmero descubrir si el 1 en 1.234representa a las unidades,decenas, centenas o unidadde mil 85,00 3 3 2

Propiedades de reconocer entre 0, 5, 60, 90los nmeros un mltiplo de 30 59,44 5 5 5

reconocer que los mltiplosde 4 terminan en par 76,31 6 * 6

Operatoria Multiplicar 305 x 123 82,03 5 5 4Dividir 18.492:23 56,75 6 5

Fracciones reconocer la fraccin 1/4en un diagrama 66,13 4 4 3equivalencia de fraccionesen dibujo (6/8 y 3/4) 72,31 4 4 3suma y resta de fracciones de igual denominador 74,10 6 5 5suma con distinto denominador 1/4 + 1/3 50,53 6 5 5simplificar 4/20 por 4 62,96 6 5 6equivalencia distintodenominador 52,98 6 5 5

Fracciones ordenar fracciones con igualcon nmeros denominador connegativos negativo fracciones negativas 48,06 7 8 6

suma y resta combinada defracciones con nmero negativodistinto denominador 38,97 7 8 6divisin de fracciones connmeros negativos 55,03 7 8 6multiplicacin de fraccionescon nmeros negativos 57,92 7 8 6incgnita con fracciones connmero negativo 7 8 6

Nmeros sumar -5 + 3= 55,53 7 8 5negativos multiplicar -150 por 7 75,34 7 8 6

dividir -234 por 9 73,27 7 8 6dividir -20 por -4 y sumarloa 4 66,78 7 8 6

(contina)


Decimales sumar 0,22+4,08+57,90 90,38 5 6 5

Porcentajes calcular el 25% de 60.000 61,09 6 7 6

Proporciones proporciones: resolver cuntoes el 100% de un curso si el10% son 3 alumnos 67,11 8 7 6proporciones: si se tejen 3chalecos con 48 ovillos,cuntos ovillos se necesitanpara 4? 60,44 8 7 5proporcin de dinero ganadosi se trabajan 60 dasen vez de 15 con el mismosueldo 54,92 8 7 6

Geometra reconocer el conceptocara en poliedro 79,83 4 2 3construir un ngulo obtuso 64,98 5 8 5reconocer un radio en undibujo 69,66 6 7 5reconocer ngulo rectocomo caracterstica tringulorectngulo 44,02 6 5 5clasificacin de un ngulosegn sus grados 60,53 7 5 5deduccin de un ngulo deltringulo 56,86 8 8 6deduccin de un ngulo deun cuadriltero 46,16 8 8 6ngulo en rectas paralelascon una secante 54,00 8 8 6

Medicin Clculo de volumen de unparaleleppedo 51,06 8 7 5Clculo del rea de unrectngulo de 3mts x 2 mts 45,35 6 5 5

Representacin lectura de datos en un grficode datos, de torta con los porcentajesprobabilidad escritos en cada porcin 67,05 7 * 6y estadstica sacar promedio de las

siguientes notas 5-7-5-6-6 48,87 6 * 5

Funciones, resolver 72.600 = 30 71,43 7 6 6relaciones, resolver 40 : = (-5) 64,95 7 8 6


(contina)


Ecuaciones -descubrir la incgnita en unamultiplicacin de fracciones

1 2 = 52,13 7 8 6

3 15resolver la ecuacin(-50) + X = (-25) 54,06 7 8 6

Problemas de resta con reservaun paso (300 cms. - 37 cms.) 75,88 3 3 3

multiplicacin 138 x 24 82,03 4 5 4divisin $18.810:3 56,75 5 5 5

Problemas de multiplicar 12 por 9 y luegodos pasos restar al resultado 72 60,52 6 5 5

Problemas de Qu hace falta para resolverrazonamiento el problema? 71,40 5 * 5

Tiene solucin el problema? 69,05 6 * 5

Curso promedio en que setrata el conjunto de 62,7 6 5,8 5,1temas del SIMCE

Promedionacional

* No figura como contenido en este documento.


refieren al tema de los nmeros negativos, contenido que en la mayora delos pases se trata en cursos ms tempranos, ya que no presenta dificultadesmayores de razonamiento para los alumnos. Adems, en contraste con elgrueso de los pases del TIMSS, en nuestro pas los contenidos de propor-ciones y de geometra se postergan hacia los cursos finales de enseanzabsica. Entonces, el curso promedio en que se trata el conjunto de temasdel SIMCE aparece ms elevado por el curso en que se ubicaron esoscontenidos.

A partir del Cuadro N 1 y del dato de que slo el 35,6% de losalumnos logr tener ms del 70% de respuestas correctas en la prueba, sepuede concluir que existira un 64,4% de estudiantes que no alcanza elnivel satisfactorio de aprendizaje esperado para 6 bsico en el programachileno, o el de un 5 bsico segn parmetros internacionales, habiendocursado ocho aos de enseanza bsica.


Este panorama se agrava ms an al analizar la manera de formularlas preguntas, porque se comprueba no slo que los contenidos pertenecena cursos bajos, sino que el grado de complejidad elegido para cada conteni-do corresponde a los niveles ms elementales con que normalmente setratan esos temas en los cursos que los trabajan por primera vez. Por ejem-plo, se pide sumar los siguientes nmeros decimales: 0,22 + 4,08 + 57,90,obtenindose un porcentaje de 90,38% de respuestas correctas. Este buenresultado era de esperarse porque la dificultad real de ordenar los decimalessegn su valor posicional fue soslayada: todos los nmeros tenan la mismacantidad de dgitos despus de la coma y las alternativas no proponan laposibilidad de que los nios alinearan los nmeros de izquierda a derecha.En cambio, la prueba del TIMSS evala la comprensin del valor posicio-nal de los decimales pidiendo sumar 3,75 + 5,625, obteniendo un 66% delogro. La prueba del SIMCE contempla esta nica pregunta sobre decima-les, en cambio la prueba del TIMSS evala adems multiplicacin y divi-sin de decimales y transformacin de decimales a fracciones. Por ejemplo,Escriba 0,28 como una fraccin reducida a su mnima expresin (33% delogro). Esta pregunta refleja el mayor grado de dominio que se espera delos alumnos a nivel internacional. Otro ejemplo, esta vez del tema de medi-cin, nos vuelve a mostrar que el SIMCE evala lo ms bsico de cadatema: la pregunta es:

Se desea pintar un letrero rectangular de 3 metros de largo ydos metros de ancho.

Cul es el rea de la superficie que se desea pintar?

Si comparamos este tem con uno del TIMSS (vase Figura N 3),nuevamente comprobamos las diferencias de exigencia en el mismo tema:

FIGURA N 3

La figura consiste en 5 cuadrados del mismo tamao. El rea totalde la figura es de 405 cm2.

Encuentre el rea de un cuadrado. Respuesta __________ centme-tro cuadrados.Encuentre el largo de un lado de los cuadrados. Respuesta__________ centmetros.Encuentre el permetro de la figura total en centmetros. Respuesta_______ centmetros.


El nivel de dificultad tambin disminuye con la entrega de pistasque facilitan la eleccin de las respuestas, por ejemplo, al interrogar sobrecul de las fracciones que aparecen en las alternativas es equivalente a 1/4,se entrega la ayuda adicional de dos diagramas donde est resuelto elproblema grficamente. En una pregunta sobre interpretacin de un grficode torta se le entrega los porcentajes inscritos en cada porcin, con lo cualla dificultad se reduce a la correcta lectura del achurado. (Vase Figura N 4)

Observa a

qué mide realmente el simce -cep (fontaine eyzaguirre)

Documents