1

No 40

Pedro Ravela, UruguayPatricia Arregui, Perú

Gilbert Valverde, Estados UnidosRichard Wolfe, Canadá

Guillermo Ferrer, ArgentinaFelipe Martínez Rizo, México

Mariana Aylwin, ChileLaurence Wolff, Estados Unidos

Las evaluaciones educativasque América Latina necesita*

Programa de Promoción de la Reforma Educativa en América Latina y el CaribePartnership for Educational Revitalization in the Americas

* Los autores de este documento son los miembros del Comité Gestor del Grupo de Trabajo sobre Estándares y Evaluación del PREAL.

Las opiniones vertidas en este trabajo son responsabilidad de los autores y no comprometen a PREAL ni a las instituciones que lo patrocinan.

Marzo 2008

DOCUMENTOS

2

© 2008 Programa de Promoción de la Reforma Educativa en América Latina y el Caribe (PREAL)

Todos los derechos reservados

Si desea solicitar copias adicionales, contacte al PREAL y al Inter-American Dialogue.Este estudio puede ser descargado de: www.preal.org/publicacion.asp

Inter-American Dialogue1211 Connecticut Avenue, NW, Suite 510Washington, DC 20036202-822-9002iad@thedialogue.orgwww.thedialogue.org y www.preal.org

Para citar: Ravela, Pedro; Arregui, Patricia; Valverde, Gilbert; Wolfe, Richard;Ferrer Guillermo; Martínez Rizo, Felipe; Aylwin, Mariana; Wolff, Laurence,Las evaluaciones educativas que América Latina necesita(PREAL, Santiago 2008).

ISBN: 0-9772271-8-9Primera EdiciónPublicado en Chile

Diseño e Impresión:Editorial San Marinoesm.cl

3

Presentación 5

I. ¿Por qué son importantes las evaluaciones nacionales de logroseducativos? 6

II. La situación de la evaluación estandarizada en América Latina 9

III. Los propósitos y los usos de los resultados de las evaluacionesestandarizadas 12

Evaluaciones para la certificación de los aprendizajes de losestudiantes 12

Evaluaciones de carácter diagnóstico y formativo 13

Uso de las evaluaciones para establecer incentivos 15

Criterios básicos para la divulgación y uso de los resultados 15

Advertencias sobre la comparación de resultados entre escuelas 16

Itinerario para la toma de decisiones 17

IV. Los desafíos de calidad técnica de las evaluaciones 19

V. Sobre la constitución de las Unidades de Evaluación 20

VI. Diez recomendaciones acerca de las evaluaciones que la regiónnecesita 22

ÍNDICE

4

5

PRESENTACIÓN

Este documento aborda la importancia, propósi-tos y usos de las evaluaciones estandarizadas agran escala de aprendizajes y/o logros educati-vos en América Latina y el Caribe, básicamenteen los niveles primario y medio. Está dirigido aquienes formulan políticas educativas, docentes,académicos, empresarios, sindicatos, organiza-ciones sociales, agencias de financiamiento ymedios de prensa, con el fin de aportar al deba-te y decisiones sobre la evaluación estandariza-da en los sistemas educativos.

Se entiende por evaluación estandarizada engran escala a aquella que permite producir infor-mación comparable acerca de los desempeñosde estudiantes pertenecientes a distintos con-textos culturales y regionales e, incluso, a distin-tos países, y que ofrece un panorama de la si-tuación de un país o de un estado o provincia,aun cuando ello se haga a veces a través deuna muestra no demasiado grande (por ejemplo,5.000 estudiantes)1.

El documento se centra en evaluaciones deaprendizaje –definido como el cambio ocurridoen los conocimientos y capacidades de cada es-tudiante a lo largo del año lectivo– y/o de logroeducativo, entendido como la acumulación deconocimientos y capacidades a lo largo de todala vida del estudiante. No se pretende orientaraquí acerca de otros aspectos también impor-tantes de la evaluación del quehacer educativo,

como son las evaluaciones del desempeño do-cente, de las políticas educativas, de los centroseducativos o aquellas que realizan los docentesen las aulas, entre otras. Tampoco se pretendeincursionar en la evaluación en el nivel terciarioni en las pruebas de selección para el mismo.

Los contenidos de esta publicación ayudarán aquienes toman decisiones de política educativaa comprender y analizar las diversas opcionesexistentes en cuanto a los propósitos y usos delos sistemas de evaluación y las implicancias decada una de ellas, de modo de orientarlos encómo concebir una estrategia de evaluación.

Es preciso evitar el simplismo y la ingenuidadcon que muchos piensan en la evaluación, loque genera sistemas mal concebidos y deficien-temente implementados y, como consecuenciade ello, efectos perversos para el sistema edu-cativo, malgasto de recursos y descrédito de laevaluación externa entre los docentes. Por elcontrario, se debe reconocer la gran variedad deaspectos que deben considerarse al momentode implementar un sistema de evaluación o re-formar uno existente. Para que la inversión enevaluación valga la pena, debe tener propósitosclaros, una filosofía orientada a construir unavisión de responsabilidad compartida en rela-ción a la educación, un diseño técnico de cali-dad y adecuado a los propósitos, una orienta-ción fuerte a apoyar a los docentes en su tareay una voluntad política manifiesta de encarar ac-ciones dirigidas a resolver los problemas y defi-ciencias que la evaluación ponga de manifiesto.Asimismo, requiere de una inversión importantepara construir una unidad técnica competente y

1 El término “en gran escala” no se emplea como sinónimo deevaluaciones censales.

6

un plan de largo plazo, lo cual lleva tiempo y nopuede ser improvisado.

I. ¿POR QUÉ SON IMPORTANTES LASEVALUACIONES NACIONALES DE LO-GROS EDUCATIVOS?

La realización de evaluaciones estandarizadascomo forma de conocer mejor la dinámica deprocesos y resultados en los sistemas educati-vos es cada vez más frecuente a nivel regionaly mundial, en países de muy diversas culturasy orientaciones ideológicas de gobierno. Prue-ba de ello es la creciente participación de lospaíses en las evaluaciones internacionalescomo PISA, TIMSS y PIRLS, y regionales comoSERCE (en América Latina) y SACMEQ (enÁfrica), así como el desarrollo de diferentes ti-pos de sistemas nacionales y subnacionales deevaluación.

En algunos casos, la evaluación está motivadapor una preocupación por la formación ciudada-na y la consolidación de una sociedad democrá-tica; en otros, por la productividad de la fuerzade trabajo y la competitividad de la economíanacional, por las oportunidades para el desarro-llo integral de las personas y sus posibilidadesde participación en la sociedad del conocimien-to, o por la equidad y la visión de la educacióncomo uno de los caminos para superar la pobre-za. Muchos sistemas de evaluación parten deuna combinación de los intereses anteriores. Encasi todos los casos se asume que la evalua-ción puede servir:

– como base para adoptar políticas educati-vas mejor fundamentadas;

– para mejorar la gestión de los sistemas edu-cativos;

– como instrumento para la colaboración y elaprendizaje continuo al interior de los mis-mos.

A continuación se destacan los aportes principa-les de este tipo de evaluaciones.

La evaluación estandarizada ayuda avisualizar los resultados educativos delconjunto de estudiantes

La educación es una actividad “opaca”, en elsentido de que sus resultados no son directa niinmediatamente observables. Un buen docentepuede apreciar si sus estudiantes están apren-diendo o no y cómo, pero no todos los docentestienen los mismos criterios de valoración, loscuales están fuertemente vinculados a su expe-riencia profesional: su formación general y espe-cífica, su conocimiento de la disciplina que en-seña, su capacidad para percibir los procesos ydificultades de los estudiantes, su familiariza-ción con diversos tipos de alumnos, etc. Dada laheterogeneidad del cuerpo docente de un país,no es posible obtener una visión de la situacióndel conjunto por la mera agregación de los pun-tos de vista individuales. La evaluación estanda-rizada apunta a lograrlo.

Las evaluaciones entregan informaciónsobre el real acceso al conocimiento y a lascapacidades que alcanzan los alumnos, másallá de la cantidad de años de estudio quetengan

En décadas pasadas, la equivalencia entre per-manencia en el sistema educativo y acceso alconocimiento y a las capacidades simbólicas sedaba por descontada y los indicadores para va-lorar a los sistemas educativos estaban relacio-nados con el acceso (matrícula, cobertura, re-tención, etc.). En esos tiempos, las mayoríasmás pobres y con menor capital cultural no ac-cedían al sistema educativo o apenas cursabanunos pocos años de educación básica. Con laprogresiva universalización del acceso al siste-ma educativo, hoy muchos estudiantes proce-dentes de los sectores sociales más desfavore-cidos llegan en desventaja en términos demanejo del lenguaje oral (oficial) y escrito, conlo cual la equivalencia entre años de estudio yacceso al conocimiento y a las capacidades yano es tal. Por otra parte, el crecimiento del acce-so a la profesión docente no fue acompañadopor garantías de calidad en su formación, lo cualtambién cuestiona la mencionada equivalencia.

7

Así, más años en el sistema educativo no nece-sariamente significa que todos los niños y jóve-nes estén incorporando los conocimientos, acti-tudes y capacidades necesarias para la vidapersonal y social, los que son cada vez mássofisticados y complejos. Las evaluaciones bus-can dar luces sobre lo que está ocurriendo alrespecto.

Las evaluaciones estandarizadas ayudan ahacer visibles un conjunto de aspectoscentrales de la labor educativa

Entre otras cosas, las evaluaciones estandariza-das aportan información sobre:

– en qué medida los alumnos están apren-diendo lo que se espera de ellos al finalizarciertos grados o niveles;

– cuál es el grado de equidad o inequidad enel logro de dichos aprendizajes;

– cómo evolucionan a lo largo de los años,tanto los niveles de logro como la equidaden el acceso al conocimiento por parte delos diversos grupos sociales;

– en qué medida y cómo las desigualdades so-ciales y culturales inciden sobre las oportuni-dades de aprendizajes de los estudiantes;

– cuál es la diversidad de prácticas educati-vas existentes en escuelas y maestros ycómo las mismas se relacionan con losaprendizajes de los estudiantes en diversoscontextos sociales;

– cómo influyen las condiciones de la ense-ñanza (situación de los maestros, recursosdisponibles, tiempos de estudio, etc.) en losprogresos de los alumnos;

– qué efecto tienen en los logros educativoslas inversiones en programas educativos,los cambios en la estructura del sistema, loscambios curriculares, los programas de for-mación, la adquisición de material educati-vo, etc.

Un sistema de evaluación de aprendizajesy/o logros educativos puede aportarinformación importante a diversos actoressociales

En la medida que el sistema produzca y comuni-que adecuadamente información sobre los as-pectos antes indicados, puede ser un instrumen-to clave de mejora, enriqueciendo lacomprensión de la situación educativa y la tomade decisiones en diversos ámbitos:

– Las autoridades y los encargados de formu-lar políticas educativas pueden comprendermejor los problemas de la enseñanza y delaprendizaje; hacerse cargo de las carenciasen que se desarrolla la labor docente y de-sarrollar políticas pertinentes para apoyar eltrabajo de las escuelas. Las evaluacionestambién les permiten valorar, sobre unabase de evidencia empírica sólida, el impac-to de las políticas y programas que han im-pulsado y los probables efectos de las quese proponen impulsar.

– Los directivos y docentes pueden, a partir deuna mirada externa sobre los logros educati-vos en el conjunto del sistema, comprendermejor lo que están logrando y lo que no es-tán logrando sus propios estudiantes, cómoestán aprendiendo y qué dificultades tienen.Pueden aprender de las experiencias deotros docentes y escuelas que trabajan conestudiantes de características tanto similarescomo diferentes a los propios. Pueden tomardecisiones más apropiadas acerca de quéaspectos del currículo enfatizar y enriquecersus propios modos de evaluar el aprendizajede sus estudiantes.

– Los supervisores y encargados de la forma-ción de docentes pueden apoyarse en la in-formación sobre los logros y dificultadeseducativas en el conjunto del sistema paraestudiar en profundidad las debilidades enel enfoque o en la práctica de la enseñanzaque probablemente generan algunas de lasinsuficiencias constatadas en los aprendiza-jes. Desde esa nueva perspectiva, pueden

8

mejorar su labor tanto de orientación a losdocentes como de formación de los mis-mos. En particular, los supervisores puedenbeneficiarse de contar, como instrumento deapoyo para su labor, con un mapa de lasescuelas que las caracterice tanto en térmi-nos de la composición sociocultural de sualumnado como de sus logros educativos.

– Los padres y madres de estudiantes, ade-cuadamente informados, pueden compren-der mejor qué se espera que sus hijosaprendan, qué es lo que están logrando yqué pueden hacer para colaborar con la es-cuela y con el aprendizaje de sus hijos.

– La ciudadanía en general estará mejor infor-mada sobre lo que acontece al interior delsistema educativo y, por tanto, estará másatenta a los temas y problemas de la educa-ción. Estará, además, en mejores condicio-nes para exigir, tanto a los poderes públicoscomo a los profesionales de la docencia, lamejora continua de la educación que sebrinda a los niños, niñas y jóvenes, y el usoresponsable de los recursos que se desti-nan a la educación.

El desarrollo de un sistema nacional deevaluación estandarizada puede obligar arealizar una discusión informada sobre quéaspectos del currículo formal son exigibles atodos los estudiantes y a definir con claridadqué es lo que todos los estudiantes deberíanhaber aprendido al final de cada cicloeducativo

La mayoría de los currículos en la región estánconstituidos por largas listas de objetivos y te-mas, todos deseables pero no todos realizables.La elaboración de pruebas nacionales obliga adefinir qué es lo que debe ser consideradocomo fundamental y, por tanto, lo que todos losestudiantes deben saber y ser capaces de ha-cer. Se pueden usar distintos términos para de-signar a estas definiciones: estándares, compe-tencias fundamentales, indicadores de logro,niveles de desempeño, metas de aprendizaje,criterios de suficiencia, entre otros.

Para no confundir…

Al desarrollar estos sistemas nacionales deevaluación, es necesario explicitar tanto elrol que estos cumplen así como las funcio-nes que no cumplen y cuáles son sus limita-ciones, para evitar así los riesgos de malainterpretación respecto a lo que son y la in-formación que recogen y difunden.

– Una evaluación estandarizada aportainformación fundamental e indispen-sable sobre la “calidad educativa”,aunque no sea un indicador completode la misma. No todos los objetivos va-liosos de la educación están incluidosen este tipo de evaluaciones. Hay unagran cantidad de saberes, actitudes, va-lores y aprendizajes relevantes que nopueden –por la dificultad de medirlos deesta manera– o no deben –porque sonpropios de cada entorno local y, por tan-to, no son exigibles a todos los estu-diantes del país– formar parte de unaevaluación estandarizada.

– La evaluación estandarizada deaprendizajes y/o logros educativos esun componente esencial de un siste-ma integral de evaluación educativa,pero no es el único tipo de evaluaciónrelevante. También tienen importanciala evaluación realizada en el aula porlos docentes, la evaluación del desem-peño docente, la evaluación de los cen-tros educativos, la evaluación de las po-líticas educativas, la evaluación del usode los recursos, la evaluación de la rele-vancia del currículo, etc.

– La evaluación es condición necesaria,pero no suficiente, para mejorar la edu-cación. Si bien existe alguna evidencia deque la mera existencia y difusión de infor-mación tiene algún impacto sobre ciertosactores, es necesario recordar que la eva-luación es apenas uno de varios elemen-tos clave de la política educativa que debeprocurarse estén adecuadamente alinea-

9

dos: la formación docente inicial y en ser-vicio, la carrera y condiciones para el tra-bajo docente, la gestión escolar, la super-visión, los diseños curriculares, los libros ymateriales educativos, una inversión derecursos proporcional a las necesidadesde las diversas poblaciones y una accióndecidida por parte de los responsableseducativos para resolver los problemasdetectados, entre otros.

– La evaluación estandarizada externasolo tendrá efectos positivos sobre laeducación si es concebida, percibida yempleada como un mecanismo de res-ponsabilización pública de todos losactores vinculados al quehacer educa-tivo. Existe siempre el riesgo de que lapolítica educativa se concentre en la im-plementación de evaluaciones, pero queluego no se tomen acciones concretaspara enfrentar y resolver los problemasque las mismas ponen de manifiesto.Muchas veces las autoridades se limitana informar de los resultados y transferirtoda la responsabilidad por la solución delos problemas detectados a las escuelasy familias. Otras veces, toda la responsa-bilidad se atribuye a los docentes, quie-nes, por su parte, tienden a transferirtoda la responsabilidad a los padres o alcontexto. Lo importante es evitar ingresaren una dinámica de culpabilización y, porel contrario, intentar construir una lógicade responsabilidad compartida en torno ala educación.

menzar prácticamente desde cero en repetidasoportunidades o tendrán que hacerlo en el futu-ro próximo. Además de ello, actualmente:

– Dieciséis países están participando en el Se-gundo Estudio Regional en 3° y 6° de prima-ria que lleva adelante la OREALC/UNESCO:Argentina, Brasil, Chile, Colombia, CostaRica, Cuba, Ecuador, El Salvador, Guatema-la, México, Nicaragua, Panamá, Paraguay,Perú, República Dominicana y Uruguay.

– Seis de estos países participan en PISA2006 y otros tres se incorporarían al cicloPISA 2009.

– Algunos países de la región han participadoademás (o lo están haciendo) en los estudiosde Matemática y Ciencias (TIMSS), Lectura(PIRLS) y Educación Cívica que lleva ade-lante la International Association for the Eva-luation of Educational Achievement (IEA).

– Durante los últimos 12 años ha estado acti-va en la región la red de los sistemas deevaluación organizada en torno al Laborato-rio Latinoamericano de Evaluación de la Ca-lidad de la Educación (LLECE) de OREALC/UNESCO, en la que participan actualmentecasi todos los países latinoamericanos. Estared se reúne dos veces al año y es un espa-cio de intercambio de experiencias y forma-ción en el ámbito de la evaluación.

– Más recientemente se ha constituido el Gru-po Iberoamericano de PISA, integrado porArgentina, Brasil, Chile, Colombia, España,México, Portugal y Uruguay.

Las evaluaciones a gran escala en la regiónno solo son más frecuentes sino tambiénestán mejorando

Los principales cambios y mejoras que se ob-servan en los últimos años incluyen:

– Mayor transparencia en la difusión de losresultados. Parece haberse superado laetapa en que las autoridades en varios paí-

II. LA SITUACIÓN DE LA EVALUACIÓNESTANDARIZADA EN AMÉRICA LATINA

Los sistemas nacionales de evaluación estanda-rizada se desarrollaron con fuerza en toda laregión durante los años 90. Algunos países hanmantenido sus sistemas en funcionamiento concontinuidad, aun cuando se produjeran cambiosde enfoque o variaciones en la institucionalidadde los mismos. Otros países han tenido impor-tantes discontinuidades y han tenido que co-

10

ses interferían en la divulgación de los re-sultados de las evaluaciones cuando estosno les parecían favorables.

– Tendencia creciente a pasar de pruebasnormativas –que tienen como propósitoprincipal ordenar comparativamente a losestudiantes– a pruebas de criterios, que seenfocan en qué es lo que los estudiantessaben y son capaces de hacer. Asimismo,crecientemente se incluye en las pruebasde criterios una definición de cuál es el re-sultado que todos los estudiantes deberíanalcanzar para que su desempeño pueda serconsiderado satisfactorio.

– Mejoría de las capacidades técnico-metodo-lógicas para la construcción de pruebas ypara el procesamiento de los datos. Existenesfuerzos por desarrollar pruebas que eva-lúen un rango de conocimientos y capacida-des más amplio y que incluyan preguntasde respuesta construida. Se han ido incor-porando también metodologías más sofisti-cadas para el tratamiento de datos, como laTeoría de Respuesta al Ítem y el AnálisisMultinivel.

– Creciente atención a la difusión y uso de losresultados. Se ha ido comprendiendo queno basta con implementar una evaluación ypublicar un informe, sino que es necesariodesarrollar una estrategia de divulgación yun conjunto de reportes apropiados a cadauna de las audiencias a las que se quierellegar. Las Unidades de Evaluación tienenuna mayor conciencia acerca de los usosapropiados e inapropiados para cada tipode evaluación, aunque esto muchas vecesno está suficientemente claro entre quienestoman decisiones de política.

– Mayor preocupación por la investigación delos factores que inciden sobre los aprendi-zajes. Si bien falta mucho por hacer en tér-minos metodológicos e interpretativos paraproducir buenos trabajos de investigación,en la mayoría de los países hay concienciade que es preciso avanzar en la investiga-

ción y en la construcción de hipótesis sobrecómo las dinámicas de la gestión de los sis-temas educativos, los procesos escolares,las prácticas de enseñanza y las decisionesde política educativa influyen en las oportu-nidades de aprendizaje de los niños y niñas.

– Creciente participación de los países en eva-luaciones internacionales. Esto ha tenidoconsecuencias positivas en las Unidades deEvaluación y en la calidad de su trabajo: hacontribuido a la construcción y acumulaciónde capacidad técnica en evaluación, ha faci-litado el intercambio y el desarrollo de unlenguaje común entre países y ha ayudado amejorar la calidad de diversos procesos téc-nicos (elaboración de pruebas, incorporaciónde preguntas de respuesta abierta, mues-treo, control de las aplicaciones, análisis dedatos, modos de difusión, entre otros).

Las principales debilidades presentes en lossistemas de evaluación estandarizada en laregión se observan en la estrategia dedifusión, en el uso de los resultados y en lacalidad técnica de las evaluaciones

A pesar de las mejoras previamente menciona-das, persiste un conjunto importante de debilida-des que es preciso abordar:

– Es frecuente que desde el nivel político sedemande la implementación de grandesoperativos de evaluación sin propósitos cla-ramente definidos y en tiempos y con recur-sos absolutamente insuficientes para hacer-lo técnicamente bien.

– Aún no se tiene claro que no cualquier eva-luación sirve para cualquier propósito y quees necesario diseñar cuidadosamente elsistema de evaluación para el largo plazo,en función de propósitos y usos claramenteestablecidos. Esto es determinante para lasdecisiones relativas a la utilización de cen-sos o muestras, a los grados y disciplinasque serán evaluados, la periodicidad de lasevaluaciones, el tipo de pruebas y escalasde reporte, entre otros.

11

– Falta una mayor discusión pública sobrequé debe ser evaluado y qué aspectos delcurrículo deben haber sido enseñados a to-dos los estudiantes al concluir determinadosniveles educativos. Como resultado de ello,las metas y/o estándares de aprendizaje noson claros. Mientras no exista claridad alrespecto, tampoco existirá claridad ni parala enseñanza ni para la evaluación. Esta ta-rea requiere de un amplio debate social yde un trabajo técnico coordinado entre lasunidades de currículo y de evaluación.

– Para mejorar la investigación sobre los fac-tores que explican los resultados, falta me-jorar mucho los instrumentos complementa-rios que se aplican junto con las pruebas yconcebir diseños de investigación más am-biciosos: estudios longitudinales, estudiosde “valor agregado” y estudios cualitativos,entre otros.

– Los Ministerios de Educación han tenido, porlo general, una limitada capacidad para con-cebir, formular e implementar políticas queden respuesta a los problemas identificadosen las evaluaciones. Falta para ello mayor ar-ticulación entre las Unidades de Evaluación yotros actores educativos relevantes, dentro yfuera de los Ministerios de Educación, y ma-yor articulación entre la evaluación, el desa-rrollo curricular, la formación inicial y el desa-rrollo profesional de los docentes.

– Las acciones para la divulgación y uso delos resultados de las evaluaciones aún soninsuficientes, en particular para lograr quelos docentes los comprendan y utilicen ypara que los resultados se incorporen a lacultura escolar.

– En la mayoría de los países perdura la prác-tica de divulgar resultados de tipos de es-cuela, escuelas individuales, estados o pro-vincias, sin una adecuada consideración delos contextos socioculturales en que operanlas instituciones y subsistemas educativos.Esto conduce a interpretaciones y conclu-siones erróneas sobre la eficacia educativa

de dichas instituciones o subsistemas. Paraello es necesario realizar evaluaciones de“valor agregado”, que implican dos medicio-nes sobre una misma población en distintosmomentos. Sobre este aspecto la experien-cia en la región es mínima.

– En muchos países persisten importantesdebilidades técnicas en el diseño de lasevaluaciones: excesiva simplicidad de lamayor parte de las preguntas y dificultadpara elaborar preguntas que permitan eva-luar capacidades cognitivas complejas; fo-calización de las evaluaciones en los logroseducativos correspondientes a un grado es-pecífico, lo que impide saber qué hanaprendido quienes aún no logran lo espera-do para dicho grado; deficiencias en la con-formación de las muestras y en la forma deestimar y reportar los errores de medición; ydebilidades para establecer mediciones quesean comparables en el tiempo.

– No hay suficientes profesionales calificadospara diseñar y conducir este tipo de evalua-ciones, lo que se agrava por la falta de con-tinuidad de los equipos técnicos de los paí-ses, muchas veces por razones de índolepolítico-partidaria. Esto dificulta la acumula-ción de conocimiento y experiencia en la re-gión y ha dado lugar a que muchos paísestengan que comenzar desde “cero” con sussistemas de evaluación, algunos años des-pués de haber tenido uno en funcionamien-to y haberlo desmantelado.

El riesgo de las malas evaluaciones

Solo una evaluación técnicamente buena ycuyos resultados sean conocidos y utilizadosde manera apropiada, puede tener algún im-pacto en la mejora de los aprendizajes. Comoes obvio, una evaluación cuyos resultadosson poco conocidos y utilizados supone unejercicio estéril y un desperdicio de recursos.

Más graves aún son aquellas situaciones enque evaluaciones técnicamente malas sonampliamente difundidas o en que las evalua-

12

ciones son empleadas para fines diferentesde aquellos para los cuales fueron concebi-das y diseñadas, lo cual puede tener efectosdañinos para el sistema educativo. El razona-miento según el cual lo que importa es eva-luar y difundir resultados como mecanismo derendición de cuentas, sin importar la calidadde la evaluación, es una falacia que puedehacer retroceder los sistemas de evaluación eimposibilitar una discusión seria de las venta-jas y desventajas de la rendición de cuentaso responsabilización por los resultados.

establecer quiénes han alcanzado los cono-cimientos y desempeños necesarios paraaprobar un curso o nivel y, en consecuen-cia, aprueba o reprueba.

Es necesario también establecer unadecuado balance entre la implementaciónde pruebas nacionales y la participación enpruebas internacionales

Las pruebas nacionales pueden ofrecer una mi-rada más apropiada acerca de qué aprenden losestudiantes de aquello que se les está enseñan-do, mientras que las pruebas internacionalespueden servir para ubicar la situación del paísen relación a lo que saben y son capaces dehacer los estudiantes en otras sociedades y en-riquecer el debate sobre el currículo nacional yel enfoque de la enseñanza. Los países debe-rían analizar cuidadosamente en qué pruebasinternacionales participar, teniendo en cuenta loque cada una pretende evaluar y su pertinenciaen relación a los objetivos nacionales. Parecerecomendable participar periódicamente en almenos una evaluación regional o internacional,en el marco de la política de prioridades quecada país defina.

EVALUACIONES PARA LA CERTIFICACIÓN DE LOS

APRENDIZAJES DE LOS ESTUDIANTES

Un sistema de evaluación para certificar losaprendizajes de los estudiantes a través deexámenes nacionales de alta calidad técnicatiene ventajas asociadas a la transparencia yresponsabilidad por los resultados

Hoy es común que dos estudiantes que hanaprobado un mismo nivel educativo en dos re-giones distintas de un país, posean en realidadniveles de conocimiento muy diferentes. Los sis-temas de evaluación para la certificación dantransparencia al valor de los certificados educa-tivos ante la sociedad. Además, dichos sistemashacen responsables tanto a los docentes comoa los propios estudiantes por alcanzar los cono-cimientos y capacidades que evalúa el examen,lo cual tiene impactos positivos sobre el apren-dizaje. En todo caso, la evaluación externa con

III. LOS PROPÓSITOS Y LOS USOS DE LOSRESULTADOS DE LAS EVALUACIONESESTANDARIZADAS

Sea en la implementación de un sistema de eva-luación o en su reforma, es necesario conside-rar algunas opciones básicas de acuerdo a loque se espera de él.

El primer paso es definir cuál será elpropósito del sistema de evaluación y paraqué se usarán sus resultados

Es preciso considerar diversas opciones, queno son necesariamente excluyentes. Un siste-ma puede combinar varias de ellas, pero esimportante tener conciencia de que cada op-ción requiere de un determinado diseño y tieneexigencias técnicas y de costos diferentes. Sedebe analizar si el sistema nacional de evalua-ción será:

– de carácter diagnóstico (para alumnos, es-cuelas o sistema educativo), sin consecuen-cias directas para los estudiantes, cuya fi-nal idad principal es enriquecer coninformación de calidad las percepciones,decisiones y acciones de diversos actoresdel sistema –autoridades y cuerpos técni-cos, supervisores, directivos, docentes, es-tudiantes y sus familias– para mejorar la en-señanza y el aprendizaje.

– de certificación de los logros educativos delos estudiantes, cuyo propósito central es

13

propósitos de certificación es más apropiadapara los ciclos superiores del sistema educativo,sobre todo hacia el final de la educación media.

Un sistema de evaluación para lacertificación implica algunos requerimientosque son costosos

Por una parte, las pruebas deben ser de carác-ter censal y cada estudiante debe tener más deuna oportunidad para rendirla, lo cual requiereimplementar varios operativos de evaluacióncada año. Por otra parte, las pruebas deben te-ner una amplia cobertura curricular, lo cual re-quiere que sean extensas, en lo posible con pre-guntas de respuesta construida (que tienen unimportante costo de codificación) y deben abar-car varias asignaturas o disciplinas.

Un sistema de evaluación para lacertificación puede generar tensionesimportantes que es necesario anticipar

Si las pruebas son exigentes, ello puede conducira niveles de reprobación muy altos, que afecta-rían principalmente a los sectores sociales másvulnerables y podrían agudizar problemas comola deserción y el desempleo juvenil, lo cual lasharía insostenibles desde el punto de vista socialy político. Por ello, es preciso acompañar estetipo de evaluaciones (en realidad todo tipo deevaluaciones, pero estas en particular) con accio-nes pedagógicas de carácter complementario ycompensatorio. Proponer estándares altos impli-ca asumir responsabilidad sistémica por propor-cionar todas las oportunidades para aprender:textos, materiales, instalaciones y preparación demaestros, entre otros. Existen diversos caminospara enfrentar este problema:

– Establecer que la evaluación estandarizadaconstituya solo una parte del proceso decertificación de aprendizajes de los estu-diantes (por ejemplo, el 40% de su califica-ción final). El resto de la nota corresponde-ría a las evaluaciones que realizan losdocentes a cargo de los estudiantes. Si bienen este caso se mantiene el problema res-pecto a la heterogeneidad de los criterios de

evaluación empleados por los docentes, esuna forma de combinar la evaluación exter-na y la interna, e incluso de aportar a losdocentes una mirada externa que les permi-ta reflexionar sobre sus propios criterios.

– Establecer un período de transición hacia es-tándares únicos y universalmente aplicables.Durante dicho período, el foco principal secentra en la mejoría o progreso de los estu-diantes de cada escuela respecto a su situa-ción anterior, y no únicamente en el cumpli-miento del estándar absoluto de certificación.

La peor respuesta que podría darse a este pro-blema sería establecer un porcentaje fijo de re-probación, por ejemplo, no debe reprobar másdel 10% de los estudiantes. Ello implica utilizarpruebas más fáciles y, por lo tanto, enviar a estu-diantes, familias y educadores una señal equivo-cada respecto a las expectativas de aprendizaje.

EVALUACIONES DE CARÁCTER DIAGNÓSTICO

Y FORMATIVO

Un sistema de evaluación de tipo formativo ysin consecuencias directas para losestudiantes tiene ventajas en términos decostos, posibilidades de diseño y deestablecimiento de estándares altos, y aportea una cultura de evaluación

Los costos de aplicación de estas pruebas pue-den ser menores, dado que pueden hacerse enbase a muestras y aplicarse solo en algunos gra-dos claves y cada cierto número de años. Porotra parte, las pruebas pueden diseñarse con ca-rácter matricial, en que no todos los estudiantesresponden a las mismas preguntas, sino a blo-ques de las mismas, lo cual permite trabajar conuna cantidad muy grande de preguntas y obtenerun análisis más detallado de los distintos aspec-tos del currículo. Estos sistemas permiten definirestándares o niveles de expectativa exigentes sinque ello produzca un fracaso generalizado. Asi-mismo, ayudan a construir una cultura de la eva-luación y a acumular capacidad técnica, de modoque, cuando se analice la posibilidad de estable-cer un sistema con consecuencias, existan las

14

condiciones para hacerlo apropiadamente. Unade las alternativas a considerar entre los usos decarácter formativo es la de “liberar” una pruebacompleta para que sea aplicada en forma autóno-ma por parte de los maestros, con el fin de ayu-darles a identificar dificultades de alumnos indivi-duales y de enriquecer su repertorio deinstrumentos de evaluación.

El principal problema de estas evaluacioneses que pueden carecer de impacto si no setoman algunas acciones complementarias

Las evaluaciones de carácter diagnóstico y for-mativo pueden resultar intrascendentes si novan acompañadas de una estrategia precisa yde una inversión importante para asegurar la di-vulgación de los resultados y su uso en accio-nes educativas posteriores, puesto que su efec-tividad se juega en que los diferentes actoresreciban, comprendan y utilicen los resultados.Por esto hay que tener presente que:

– Para que los resultados de este tipo de eva-luaciones tengan impacto sobre las políticaseducativas, se debe invertir tiempo en elanálisis y discusión de los mismos por partede diversas áreas del Ministerio de Educa-ción y otros actores relevantes, en la com-prensión de los problemas y deficienciasque los resultados ponen de manifiesto y enla concepción de acciones e inversionesapropiadas para hacerles frente. Las autori-dades deben estar dispuestas a sometersus políticas y decisiones al escrutinio de laciudadanía, para lo cual es necesario tam-bién invertir en la comunicación apropiada ypermanente de los resultados a la opiniónpública.

– Para que los resultados tengan impacto so-bre las prácticas de enseñanza, es impres-cindible asimismo invertir tiempo en el análi-sis e interpretación de sus implicanciasdidácticas: si los estudiantes no son capacesde resolver cierto tipo de situaciones, ¿quées lo que se está haciendo de manera insufi-ciente o inapropiada en las aulas y qué es loque se debería hacer? Este tipo de análisis

debe ser realizado tanto por especialistas enla didáctica de las áreas evaluadas como porlos docentes, creando para este último efec-to espacios permanentes y sistemáticos deformación en servicio y de trabajo colectivoal interior de las escuelas. Es muy importan-te que los maestros puedan analizar la ma-yor cantidad posible de ítemes para poderidentificar cuáles revelan un bloqueo impor-tante para el desarrollo de nuevos conceptoso capacidades. Sin embargo, siempre seránecesario conservar el carácter confidencialde una parte de los ítemes para poder reali-zar mediciones comparables en el tiempo.

– Para que los resultados tengan impacto so-bre la motivación de los estudiantes y sobrela actitud de las familias hacia el aprendiza-je escolar, es necesario proveerles de infor-mación apropiada y comprensible acerca delo que se considera imprescindible haberaprendido en cada grado o nivel educativo yde las acciones que pueden contribuir al lo-gro de dichos aprendizajes.

Evaluar con una perspectiva amplia

Es muy importante que las pruebas no selimiten a evaluar los conocimientos y compe-tencias correspondientes a un único grado(aquel en que se aplica la evaluación), sinoque incluyan una perspectiva más amplia deniveles de desempeño –desde más básicosa más complejos– a lo largo de varios gra-dos, de modo de identificar qué han aprendi-do los estudiantes en grados anteriores yqué necesitan ahora. De este modo, los do-centes podrán constatar y subsanar las defi-ciencias en los aprendizajes de cursos pre-vios, que impiden a los estudiantes continuaravanzando y los resultados serán útiles nosolo para los docentes del grado evaluado,sino también para los de grados anteriores.El énfasis no estará puesto en comunicar alos docentes que los estudiantes “aprueban”o “desaprueban”, sino en comunicar que es-tán en diferentes puntos de un continuo deaprendizaje, en el que todos pueden y nece-sitan progresar.

15

Las pruebas de tipo diagnóstico pueden tenercarácter muestral o censal, dependiendo de laestrategia de cambio educativo

El carácter censal o muestral tiene diversas im-plicancias, aunque también es posible combinaruna aplicación por muestras controlada con unadistribución censal de las pruebas para su apli-cación en forma autónoma por parte de las es-cuelas, con fines formativos y de análisis de re-sultados e identificación de estudiantes quenecesitan apoyos complementarios.

– Las pruebas a base de muestras sirvenpara tener un diagnóstico global del siste-ma. Requieren de un cuidadoso diseño dela muestra, de modo de obtener informaciónrepresentativa para los niveles de desagre-gación en los que se desee actuar y tomardecisiones (regional, provincial, municipal;urbano y rural; escuelas indígenas, etc.). Elimpacto de los resultados de estas pruebasdepende principalmente de las medidas depolítica educativa que se tomen a nivel cen-tral y de una estrategia de difusión apropia-da que llegue a todas las escuelas.

– Las pruebas censales sirven para obtener in-formación de cada una de las escuelas e in-cluso de los alumnos. El impacto de sus re-sultados depende de la devolución de lainformación a cada comunidad educativa, conun enfoque y un formato adecuados para pro-mover una mayor participación y compromisoa nivel local. La información también puederesultar muy útil para dirigir mejor las políticashacia distritos o escuelas con mayores pro-blemas, ya que se puede contar con un“mapa” de resultados de todas las escuelas,zonas, provincias, tipos de escuela, etc.

USO DE LAS EVALUACIONES PARA ESTABLECER

INCENTIVOS

Además de las opciones examinadas, existenpolíticas de evaluación estandarizadadirigidas a establecer incentivos económicosen función de los resultados o a propiciar unmercado competitivo entre las escuelas

Tres son las principales modalidades en estetipo de políticas:

– Utilizar los resultados para construir rankingsde escuelas y hacerlos públicos, como formade: fomentar la responsabilidad de las escue-las por sus resultados; entregar a las familiasinformación para la toma de decisiones sobrela escuela a la cual enviar a sus hijos; promo-ver la competencia entre los centros educati-vos por obtener mejores resultados.

– Utilizar los resultados para entregar incenti-vos económicos a las escuelas que obtienenmejores resultados o mejoras en relación asus resultados en evaluaciones anteriores.

– Utilizar los resultados como indicador de lacalidad del trabajo de cada docente y comocriterio para otorgar incentivos económicos.

Estos enfoques de uso de la evaluación aveces se constituyen, con o sin intencióndeliberada, en un mecanismo por el cual elEstado renuncia a su responsabilidad por losresultados del sistema educativo

En ocasiones, el Estado limita su accionar a larealización de evaluaciones, la entrega de resulta-dos y el establecimiento de incentivos en funciónde estos resultados, transfiriendo la responsabili-dad por los resultados a la relación entre escuelasy familias, como si se tratase de un asunto entreactores privados, en lugar de ocuparse de crearlas condiciones para que la enseñanza resulteefectiva proveyendo los recursos necesarios,constituyendo un elenco docente adecuadamenteformado y estableciendo mecanismos idóneospara la evaluación y la orientación de la labor delas escuelas. Este modo de operar no considera lacomplejidad de la labor educativa, en especial enmedios socialmente desfavorecidos, y la necesi-dad de invertir en la creación de capacidadescomo herramienta principal para la mejora de laenseñanza y el aprendizaje.

CRITERIOS BÁSICOS PARA LA DIVULGACIÓN Y USO

DE LOS RESULTADOS

La responsabilidad por los resultados debeser compartida por diversos actores

Debería evitarse todo uso de los resultados conel fin deliberado o implícito de culpabilizar o res-

16

ponsabilizar de manera exclusiva a ciertos acto-res. La responsabilidad debe ser compartida en-tre las autoridades nacionales y regionales, loscuerpos docentes, los estudiantes y sus familias.

La responsabilidad por los resultadosrequiere de una adecuada combinación entrelas exigencias y los apoyos a las escuelas ya los docentes

Por un lado, es necesario que escuelas y do-centes asuman su responsabilidad respecto alobjetivo de que todos los estudiantes aprendanlo que se espera de ellos. Simultáneamente, esdeber de las autoridades establecer las políticasde apoyo necesarias para que escuelas y do-centes puedan desarrollar su labor de maneraapropiada. Un esquema de exigencias altas so-bre escuelas y docentes sin los correspondien-tes apoyos solo puede generar malestar y des-ánimo. Un esquema de apoyos sin contrapartesy exigencias puede generar autocomplacencia.

Es inapropiado utilizar los resultados de laspruebas estandarizadas como indicadorprincipal de la calidad del trabajo del docenteo de la escuela

Esto es importante, en particular si no se hacontrolado el efecto de otros factores internos yexternos al sistema educativo y si no se tiene encuenta que el aprendizaje depende también dela motivación y esfuerzo personal del estudian-te. Además, dado que los resultados de pruebasestandarizadas no son el único indicador de lacalidad de la educación, es preciso considerar-los en conjunto con otros aspectos relevantescomo la retención, la pertinencia y relevancia delo que se enseña, la formación de valores y há-bitos o la formación ciudadana. Debe evitarse laidentificación del término “calidad” con resulta-dos de pruebas estandarizadas.

Para facilitar la comprensión y uso de losresultados, no basta con ofrecer resultadosnuméricos

Es fundamental ilustrar a los distintos actoresacerca del tipo de tareas que los estudiantes

debieron resolver en las pruebas. Este criteriodebe combinarse adecuadamente con la necesi-dad de mantener el carácter confidencial de unconjunto de preguntas que puedan emplearseen futuras evaluaciones para establecer medi-ciones comparables en el tiempo. Si bien no sepretende que los docentes utilicen pruebas es-tandarizadas para evaluar a sus estudiantes, elconocimiento y la comprensión de las mismaspueden contribuir a mejorar sus modos de eva-luar y a desarrollar una cultura de la evaluación.

Al reportar las diferencias de resultados enfunción de la composición sociocultural delalumnado de las escuelas, se debe cuidar deno crear un sistema de expectativas de logrodiferenciado por grupos sociales

En todo caso, las diferencias deberían producir-se en las políticas para crear condiciones apro-piadas para enseñar a los grupos más desfavo-recidos. Se debería descartar también cualquiertipo de uso de los resultados que, directa o indi-rectamente, propicie la selección de estudiantespor parte de las escuelas a los efectos de mejo-rar sus resultados.

ADVERTENCIAS SOBRE LA COMPARACIÓN DE

RESULTADOS ENTRE ESCUELAS

Aunque los resultados de pruebasestandarizadas no dan cuenta en formaexhaustiva de la calidad educativa de unaescuela, sí aportan información relevante delos niveles de desempeño alcanzados

La información sobre resultados en dos pruebasestandarizadas –en general, lenguaje y matemá-tica– no constituye por sí misma una evaluaciónde la “calidad educativa” de las escuelas ni debe-ría presentarse al público como tal. La “calidad”de una escuela incluye otros aspectos relevantesy valorados por los docentes, estudiantes y fami-lias, tales como el desarrollo emocional, las rela-ciones interpersonales, la formación cívica y envalores, entre otros. Aun así, la información com-parativa acerca de los niveles de desempeño al-canzados por los estudiantes en una diversidadde escuelas puede ser relevante para los equi-

17

pos docentes de las escuelas, en la medida enque enriquece la percepción de la propia labor,permitiéndoles ubicar los logros de sus estudian-tes en el contexto de los alcanzados por los estu-diantes en otras escuelas.

Para que la comparación entre los niveles dedesempeño de los estudiantes seaapropiada, se deben considerar suscondiciones sociales de origen

Los resultados académicos de las escuelas de-berían poder compararse con los de escuelasde similar composición social, dado que los re-tos y dificultades que implica enseñar a estu-diantes de origen desfavorecido (o de lenguamaterna indígena) son muy diferentes que en elcaso de estudiantes de familias con educaciónsecundaria completa y/o terciaria. También hayque tener en cuenta las tasas de deserción delas escuelas y sus políticas de selección de es-tudiantes, dado que una escuela puede mejorarsus resultados a través de la exclusión de estu-diantes con dificultades.

Las comparaciones entre escuelas debenconsiderar la diferencia entre medir el “logroeducativo” y medir el “aprendizaje”

En rigor, si el propósito es entregar a las escue-las, familias y/o autoridades, información acercade la capacidad de enseñar de los docentes ylas escuelas, es necesario medir el progreso delos estudiantes a lo largo de un período lectivo(“aprendizaje”) y no únicamente el resultado fi-nal (“logro”). Las diferencias entre estos dos tér-minos se expresan en que:

– El aprendizaje puede ser definido como elcambio ocurrido en los conocimientos y ca-pacidades de cada estudiante a lo largo delaño lectivo. Su medición requiere la aplica-ción de dos pruebas, una al inicio y otra alfinal. De este modo es posible constatar elprogreso realizado por cada alumno.

– El “logro educativo” en cambio, se mide conuna única prueba y refleja la acumulación deconocimientos y capacidades a lo largo de

toda la vida del estudiante, lo cual incluye elcapital cultural familiar y sus experiencias enotras escuelas o con otros docentes.

Debe tenerse siempre presente que el aprendi-zaje y el logro educativo de los estudiantes de-penden tanto de lo que hacen las escuelas ydocentes, como del esfuerzo de los propios es-tudiantes, del apoyo de las familias a la tareaescolar, del contexto comunitario y cultural y delas políticas educativas. Los problemas educati-vos no pueden ser resueltos apelando exclusivani principalmente a mecanismos de mercado.

Los resultados expresados en términos derankings de escuelas deben ser mirados conprecaución

La mayoría de los rankings de escuelas transmi-ten una falsa imagen de ordenamiento. Una es-cuela puede ocupar el primer lugar y otra el nú-mero 40 y, sin embargo, las diferencias entresus promedios pueden no ser estadísticamentesignificativos. Esto significa que no puede decir-se si un promedio es realmente superior al otro,porque las diferencias entran dentro de los már-genes de error de la medición. Pero aun cuandolas diferencias en los promedios sean estadísti-camente significativas, pueden ser irrelevantesen términos de las proporciones de alumnos quelogran los niveles de desempeño esperados.

ITINERARIO PARA LA TOMA DE DECISIONES

Considerando las alternativas existentes parauna política de evaluación, antes de poner enmarcha un sistema de evaluación (o de modifi-car uno existente) es indispensable seguir unitinerario de decisiones para definir las caracte-rísticas del sistema que incluya al menos lassiguientes preguntas básicas:

– ¿Para qué se quiere evaluar? ¿Quiénesusarán los resultados y con qué propósitos?¿Qué se espera saber que no se sepa ya?

– ¿Cuáles serán las unidades de análisis parael reporte de resultados: estudiantes indivi-duales, grupo de clase/maestros, escuelas,

18

tipos de escuela, entidades subnacionales,sistema educativo?

– De acuerdo a los propósitos definidos, ¿quées más apropiado evaluar –aprendizaje ologro educativo– al egreso de determinadosgrados o ciclos?

– ¿Qué tipo de consecuencias tendrán los re-sultados y para quiénes?

– De acuerdo a los propósitos definidos, ¿esnecesario trabajar en forma censal o son su-ficientes evaluaciones en base a muestras?

– ¿Qué grados y qué disciplinas es importan-te evaluar?

– ¿Cada cuánto tiempo es necesario y ade-cuado realizar las evaluaciones?

Las respuestas a estas preguntas deberíanplasmarse en un plan de evaluación a corto,mediano y largo plazo, claro y explícito. En laelaboración de dicho plan es muy importanteconsiderar los costos en dinero implicados encada opción y los recursos humanos necesariospara su adecuada implementación. En particu-lar, se debe balancear la inversión a realizar enla recogida de información con la inversión en ladifusión y uso de los resultados. Muchos Minis-terios de Educación destinan importantes sumasde dinero a recoger una gran cantidad de infor-mación todos los años, que luego casi no seanaliza, ni se difunde ni se utiliza. Es absoluta-mente inconducente implementar un primer ope-rativo de evaluación si no se ha elaborado unplan de trabajo de largo plazo.

la hora de pensar en un sistema de eva-luación es importante considerar los ries-gos de efectos no deseados y perjudicia-les que la estrategia de evaluacióndiseñada podría tener sobre el propio sis-tema educativo que se desea mejorar.

– “El consumo excesivo de este pro-ducto puede resultar perjudicial parala salud”. La evaluación no puede estarpor encima de la educación. El excesode evaluaciones puede producir perjui-cios para la salud del sistema educativo,en especial si solo hay evaluacionespero no hay políticas para dar respuestaa los problemas que estas ponen de ma-nifiesto.

– “No evaluarás en vano”. Se debe evitarrecoger todos los años información quenunca será analizada ni utilizada. Paraque un sistema de evaluación tenga im-pacto, debe tener una periodicidad quegarantice que los datos puedan ser anali-zados, discutidos, comprendidos y utiliza-dos. Incorporar la nueva información ytraducirla en decisiones y acciones llevatiempo. Los cambios en el sistema edu-cativo requieren más tiempo aún.

– “Vísteme despacio, Sancho, que estoyapurado”. Es muy importante que quie-nes toman las decisiones en los Ministe-rios de Educación desestimen la creenciaingenua en la existencia de caminos fáci-les y rápidos. No es posible montar unprograma de evaluación serio en tresmeses. No existe coyuntura ni “ventanade oportunidad” que lo justifique: las con-secuencias de la improvisación se haránsentir tarde o temprano. La evaluaciónrequiere reflexión cuidadosa acerca desus fines y usos; discusión pública sobrequé es lo fundamental a evaluar; diálogoe involucramiento de diferentes actores;conformación de equipos técnicos com-petentes en diversos aspectos; e infor-mación previa para que los actores seinvolucren con la evaluación.

“Mandatos” útiles al momento de tomardecisiones políticas respecto al sistemade evaluación

– “No harás daño”. Una de las primerasnormas del juramento hipocrático señalaque el médico se abstendrá de todoaquello que pueda generar daño o perjui-cio a sus pacientes. Del mismo modo, a

19

IV. LOS DESAFÍOS DE CALIDADTÉCNICA DE LAS EVALUACIONES

Una vez definida la política de evaluación, esnecesario implementarla de acuerdo con diver-sos estándares apropiados de calidad técnica.Esto implica abordar los siguientes desafíos:

Elaborar un referente o marco conceptualque defina con precisión los conocimientos ydesempeños que son consideradosapropiados al finalizar el grado o cicloeducativo que será evaluado

Si bien esta construcción exige antes que nadaun debate y decisiones de carácter político, lasdefiniciones tomadas en dicho terreno debenluego ser adecuadamente traducidas en especi-ficaciones y estándares de carácter técnico. Asi-mismo, el debate político-educativo debe estaralimentado por información sobre los avancesconceptuales recientes en cuanto a la enseñan-za y a los desempeños de los estudiantes en lasdisciplinas consideradas.

Incluir en las pruebas actividades condiversos grados de complejidad

Se debe contemplar actividades cuya solución re-quiera de competencias cognitivas suficiente-mente complejas, apropiadas a los desafíos de lasociedad del conocimiento, así como también ac-tividades sencillas que permitan informar sobre elpunto en que se encuentran los estudiantes me-nos avanzados. Las actividades deben poseeruna serie de propiedades psicométricas que esnecesario garantizar y cuyo control requierepruebas piloto y análisis cuidadoso. También esimportante, en la medida de lo posible, ampliar eluso de preguntas de respuesta construida, con eldoble propósito de evaluar capacidades máscomplejas y de mejorar la articulación entre laevaluación externa y la cultura docente y escolar.

Conformar las pruebas a partir de laapropiada integración de las actividades enbloques y cuadernillos

Este es un desafío técnico importante y comple-jo, que requiere de conocimientos especializa-

dos y experiencia. Especial atención debe otor-garse a la decisión de utilizar la Teoría Clásica ola Teoría de la Respuesta al Ítem para la cons-trucción y el análisis de las pruebas, lo cual re-quiere de programas de procesamiento moder-nos, anal istas bien entrenados, anál isisrigurosos y asesoramiento de alto nivel.

Definir los “puntos de corte” que establecenlos límites entre niveles de desempeño enuna prueba

Vinculado con esto, se debe definir la metodologíaa seguir para establecer cuál de los niveles debeser considerado como aceptable para un estudian-te al finalizar el grado o ciclo educativo evaluado.Un rendimiento aceptable no puede ser estableci-do automáticamente como equivalente al 51% omás del máximo posible en una prueba.

Diseñar muestras apropiadas a lospropósitos de la evaluación

Esto tiene por objeto evitar operaciones másgrandes y costosas de las estrictamente nece-sarias y que, al mismo tiempo, tengan un nivelde precisión adecuado. En relación a este últimoaspecto debe incluirse, además, la estimación yreporte de los márgenes de error de las medi-ciones.

Definir cómo se equipararán lasevaluaciones

La equiparación de las evaluaciones se refiere ala metodología mediante la cual los resultados depruebas aplicadas en distintos años se hacencomparables. Este es uno de los desafíos técni-cos más importantes que los sistemas de evalua-ción deben afrontar si uno de sus propósitos esinformar sobre los avances o retrocesos en loslogros educativos a lo largo del tiempo. Este pro-ceso es indispensable para poder afirmar que loseventuales cambios que se constaten respondena cambios en la realidad educativa y no mera-mente a cambios en el instrumento de medición.Requiere tomar recaudos tanto desde el punto devista estadístico, como desde el punto de vistade la continuidad de los conocimientos y compe-

20

zar en los procesos escolares y los procesosque ocurren en las aulas. Esta combinación deenfoques es el mejor modo de aportar informa-ción rica y compleja para pensar en las políticaseducativas y en las prácticas de enseñanza.

tencias evaluadas, y la estabilidad en la longitudy la estructura de la prueba.

Construir datos longitudinales que permitanapreciar la evolución en el tiempo de losaprendizajes de un mismo conjunto deestudiantes

Este tipo de datos, que exigen más de una me-dición en el tiempo, es el que evalúa el “aprendi-zaje” entendido como cambio y el que mejorpermite establecer cuáles son los procesos pro-piamente escolares que tienen influencia sobreel mismo. Este enfoque es el que permitiría ob-tener información más relevante para la políticaeducativa y para la investigación.

Establecer mecanismos de control delcumplimiento de las condicionesestandarizadas que deben regir durante laaplicación de las pruebas

El cumplimiento de las condiciones de aplica-ción de las pruebas involucra aspectos técnicoscomplejos y muchas veces descuidados. Sinembargo, son fundamentales para que la infor-mación sea confiable y comparable. Esto apuntaa temas como:

– La calidad de la capacitación de los aplica-dores.

– El establecimiento de controles de calidaddurante la aplicación de las pruebas.

– La motivación a los estudiantes para reali-zar las pruebas.

– La logística de la distribución.

– El retorno seguro de los materiales.

Combinar las evaluaciones con estudioscualitativos

Es importante combinar las evaluaciones nacio-nales estandarizadas, que ofrecen una miradasobre el conjunto del sistema, con la realizaciónde estudios cualitativos que permitan profundi-

La necesaria transparencia

Sobre todos los procesos técnicos debeexistir información transparente y accesible.Es necesario dar un especial énfasis a ladocumentación de los procedimientos técni-cos seguidos en:

– La construcción de los instrumentos.

– La estimación de la precisión de las me-diciones (y, por consiguiente, su margende error).

– El diseño de las muestras y la coberturaalcanzada.

– La aplicación y control de calidad de lamisma.

– La definición de niveles de desempeño ypuntos de corte.

– La equiparación y comparabilidad de losresultados con mediciones anteriores.

V. SOBRE LA CONSTITUCIÓN DE LASUNIDADES DE EVALUACIÓN

Para llevar adelante una política de evaluaciónde logros educativos o aprendizajes apropiada,es necesario contar con Unidades de Evalua-ción con las capacidades y los recursos adecua-dos que implica este complejo emprendimiento.

La puesta en marcha de un sistema deevaluación serio requiere de un tiempomínimo de entre dos y tres años

Este periodo es necesario para llevar adelantelos siguientes procesos fundamentales:

– Discusión, definición y difusión pública delos propósitos del sistema de evaluación,

21

del tipo de consecuencias, de los usos es-perados y de qué debe ser evaluado.

– Diseño del plan de evaluación a largo plazo.

– Conformación de equipos técnicos con la di-versidad de capacidades requeridas (elabo-ración de pruebas; elaboración de cuestio-narios; conocimiento de las disciplinas aevaluar y de su didáctica; currículo y están-dares; muestreo; logística de la aplicación ycontrol de calidad de la misma; captura ylimpieza de datos; procesamiento y análisis;construcción de escalas; contextualizaciónsociocultural de los resultados y análisis defactores asociados; interpretación de los da-tos en términos de políticas educativas, dedidáctica y de prácticas de enseñanza).

– Elaboración de instrumentos, pilotaje y su-pervisión externa de los mismos.

Las Unidades de Evaluación necesitan teneruna cierta estabilidad en el tiempo de suselencos técnicos

El desarrollo de un sistema de evaluación requierede una planificación a 10 ó 15 años. Si los equipostécnicos cambian con frecuencia, se desperdiciael conocimiento y la experiencia acumulada en unárea compleja y se desacreditan los procesos deevaluación ante la sociedad y los educadores.

Las Unidades de Evaluación necesitan tenerindependencia para reportar los resultadosde su trabajo

Al igual que en el caso de las Unidades de Esta-dísticas sociales y económicas, las unidadesque realizan las acciones de evaluación y la di-vulgación de los correspondientes resultados nodeben depender de los tiempos e intereses polí-tico-partidarios. Se ha discutido mucho respectoa si las Unidades de Evaluación deberían estardentro o fuera de los Ministerios de Educación.El argumento principal para esta última opciónes justamente la necesaria independencia ytransparencia. Sin embargo, la experiencia en laregión muestra casos de países con unidades

estables e independientes dentro de los Ministe-rios de Educación y otros con unidades inesta-bles que no han logrado consolidar su trabajoaun estando en una institución externa. La res-puesta a esta disyuntiva es que no importa tantoel lugar institucional como la cultura de continui-dad y transparencia que se cree en torno a laevaluación. Esto se logra cuando existe un man-dato claro y una institucionalidad sólida en rela-ción a la evaluación, lo cual implica algún tipode estatuto jurídico para el sistema de evalua-ción. Establecer esto por ley es uno de los cami-nos a considerar, dado que exige un acuerdoamplio, en lo posible suprapartidario, que permi-ta establecer un plan de evaluación de la educa-ción de largo plazo. En este terreno, al igual queen el económico, se requiere de cierta estabili-dad en las reglas de juego. Si la política de eva-luación cambia permanentemente, se generadesconfianza y se pierde credibilidad.

Una institucionalidad sólida requiere deórganos de gobierno y de asesoría técnicaindependientes y plurales, y de unpresupuesto apropiado y plazas de trabajoque garanticen la operación de la unidad conla calidad técnica requerida

La independencia de la Unidad de Evaluaciónno debe dar lugar a su desvinculación de la polí-tica educativa. Por el contrario, la evaluacióndebe responder a un proyecto político-educativocon amplio respaldo y debe mantener una estre-cha relación con otras áreas claves de la políti-ca educativa como la formación docente, el de-sarrollo curricular, el planeamiento y formulaciónde proyectos, la evaluación de programas y lainvestigación.

Para que las evaluaciones estandarizadastengan impacto sobre las políticas y lasprácticas educativas, es necesario generarnuevas interfases y modalidades de trabajoque aseguren el alineamiento de los distintosactores y ámbitos de decisión

Las Unidades de Evaluación deben asumir quesu tarea va más allá de producir datos. Si sumisión es producir información para otros acto-

22

res, se requiere de personas preparadas y contiempo para establecer líneas de diálogo coninstancias y actores responsables de:

– Análisis de política educativa, con el fin demejorar tanto los diseños de las evaluacio-nes como los planes de procesamiento y losreportes de resultados, teniendo en cuentapreguntas relevantes para la política educa-tiva (por ejemplo, la muestra puede ser di-señada de modo que permita evaluar el im-pacto de políticas o programas específicosen ciertos grupos de escuelas).

– Análisis didáctico, con el fin de interpretarlos resultados y los problemas de aprendi-zaje de los estudiantes desde la perspectivade la enseñanza y la didáctica de la discipli-na evaluada, elaborar reportes con signifi-cado didáctico para los docentes, diseñarprogramas de formación en servicio a partirde los resultados, pensar la articulación delas evaluaciones estandarizadas con la eva-luación en el aula.

– Comunicación, con el fin de elaborar unadiversidad de reportes de resultados, condiversos formatos y lenguajes, que seanapropiados y comprensibles para diversasaudiencias.

Evaluar bien requiere inversión

Más vale no hacer ninguna evaluación que ha-cer una evaluación mala o deficiente. Esto debeser tenido en cuenta al tomar las decisionesacerca del Plan de Evaluación. Asimismo, másvale un sistema de evaluación modesto perocon costos asequibles y sostenibles en el tiem-po, que una gran evaluación, amplia y sofistica-da, que solo podrá realizarse una vez y que lue-go no podrá replicarse.

La inversión en evaluación debe ser valoradaen función del uso que se hace de susresultados, más que a partir de otrosindicadores como el costo por alumno

Los costos de las evaluaciones son relativamen-te bajos cuando se los compara con los presu-

puestos nacionales y con las inversiones alter-nativas. Pero cualquier inversión en evaluación,alta o baja, es inútil si no se hace uso de losresultados.

VI. DIEZ RECOMENDACIONES ACERCA DELAS EVALUACIONES QUE LA REGIÓNNECESITA

1. La evaluación debe concebirse como unelemento articulado en un conjunto másamplio de acciones y políticas educati-vas. La evaluación por sí misma no producemejoras. Deben existir articulaciones esta-bles entre el área de evaluación y las áreasde desarrollo curricular, formación docente,investigación, diseño de políticas, comuni-cación y prensa, entre otros.

2. La evaluación debe contemplar un proce-so de reflexión colectiva sobre el estadode la educación y los caminos para mejo-rarla. El primer paso para ello es la consul-ta y el debate públicos acerca de qué debenaprender los estudiantes y acerca de lospropósitos y consecuencias de la evalua-ción. Del mismo modo, es fundamental ladiscusión pública constructiva a partir de losresultados, con el fin de encarar las insufi-ciencias e inequidades en el acceso al co-nocimiento por parte de los y las estudian-tes. Para ello es necesario invertir encomunicación y difusión tantos o más recur-sos que en la propia evaluación, antes, du-rante y después de la misma.

3. La evaluación debe estar al servicio deldesarrollo de un sentido de responsabili-dad compartida por la educación comobien público. Debe promover el compromi-so con la educación de todos los actores,cada uno según su lugar y ámbito de ac-ción. Por este motivo, debe evitarse utilizarla evaluación para culpabilizar a actores es-pecíficos por los problemas detectados.

4. Los sistemas de evaluación de la regiónnecesitan ampliar progresivamente el

23

abanico de fines educativos que son ob-jeto de evaluación. Es importante en estesentido incluir a la formación ciudadana,otras disciplinas además de Lenguaje y Ma-temática, así como un espectro más ampliode competencias y capacidades.

5. Los sistemas de evaluación de la regióndeberían progresivamente diseñar evalua-ciones de progreso de los estudiantes,dado que son las que pueden aportar mayorinformación acerca del impacto de las políti-cas educativas, de las acciones de las es-cuelas y de las prácticas de enseñanza, enlos aprendizajes de los y las estudiantes.

6. Un sistema de evaluación es un proyectode largo plazo, por lo que requiere de uncompromiso del Estado y de una planifi-cación cuidadosa del diseño del sistema.Ello exige tomar decisiones acerca de los fi-nes, las consecuencias, los aspectos a eva-luar, las áreas y los grados, y la periodicidadde las evaluaciones, entre otras cosas. Todoello exige tiempo, por lo que no es conve-niente pretender la implementación de siste-mas de evaluación en plazos reducidos.

7. Un buen sistema de evaluación requiereinversión, principalmente en la conforma-ción de equipos humanos calificados, asícomo recursos económicos suficientes parauna adecuada implementación de todos losprocesos implicados.

8. El sistema de evaluación debe sustentar-se en una actitud firme de transparenciaen relación a los resultados y de rendiciónde cuentas a la sociedad.

9. Los ministerios de educación debenasumir un compromiso serio y consis-tente con los resultados de la evalua-ción, lo cual implica promover el diálogoacerca de los problemas detectados y losmodos de enfrentarlos, diseñar líneas deacción apropiadas para resolver los proble-mas e invertir los recursos necesarios parallevarlas adelante.

10. Los sistemas de evaluación deben serobjeto de evaluación periódica, con el finde analizar la calidad técnica de la informa-ción que producen y su relevancia para di-versos actores educativos y sociales.

24

Programa de Promoción de la Reforma Educativa en América Latina y el CaribePartnership for Educational Revitalization in the Americas

El Programa de Promoción de la Reforma Educativa enAmérica Latina y el Caribe es un proyecto conjunto delDiálogo Interamericano, con sede en Washington, y laCorporación de Investigaciones para el Desarrollo, consede en Santiago de Chile.

Desde su creación en 1995, el PREAL ha tenido comoobjetivo central contribuir a mejorar la calidad y equidadde la educación en la región mediante la promoción dedebates informados sobre temas de política educacional yreforma educativa, la identificación y difusión de buenasprácticas y la evaluación y monitoreo del progresoeducativo.

La ejecución de las actividades se realiza a través deCentros Asociados de Investigación y Políticas Públicasen diversos países de la región y comprenden larealización de estudios, la organización de debates y lapromoción de diálogos públicos sobre temas de políticaeducacional y reforma educativa.

Las actividades del PREAL son posibles gracias al apoyode la United States Agency for International Development(USAID), el Banco Interamericano de Desarrollo (BID),la International Association for the Evaluation ofEducational Achievement (IEA), GE Foundation, TheTinker Foundation, entre otros.

Inter-American Dialogue • 1211 Connecticut Ave. N.W. Suite 510Washington, D.C. 20036 U.S.A. • Tel: (202) 822-9002Fax: (202)822-9553 • E-mail: iad@thedialogue.orgInternet: www.thedialogue.org & www.preal.org

CINDE • Santa Magdalena 75, Piso 10 • Oficina 1002 • ProvidenciaSantiago, Chile • Tel: (56-2) 334-4302

Fax: (56-2) 334-4303 • E-mail: infopreal@preal.orgInternet: www.preal.org