tendencias en el aprendizaje de la educación en méxico: una comparación entre enlace, excale y...
TRANSCRIPT
1
TENDENCIAS EN EL APRENDIZAJE DE LA EDUCACIÓN EN MÉXICO: UNA
COMPARACIÓN ENTRE ENLACE, Excale y PISA
Sofía Contreras-Roldán y Eduardo Backhoff Escudero Instituto Nacional para la Evaluación de la Educación
Referenciar este artículo de la siguiente manera: Contreras-Roldán, S. y Backhoff, E. (octubre, 2014). Tendencias en el aprendizaje de la
educación en México: una comparación entre ENLACE, Excale y PISA. Revista Nexos. Edición
en línea. Recuperado de http://www.nexos.com.mx/?p=22749
Resumen
Este estudio tuvo dos propósitos: (1) conocer las tendencias en el aprendizaje de los estudiantes
en México de educación básica y media superior, con base en tres evaluaciones de logro a gran
escala: ENLACE, Excale y PISA; y (2) identificar el fenómeno de inflación en los resultados de
ENLACE. Para ello se consultaron las bases de datos de las tres pruebas, en español (lectura) y
matemáticas. Se graficaron los resultados de las medias poblacionales y se calcularon las líneas
de regresión para comparar las pendientes. Los resultados indican que ENLACE presenta
crecimientos mayores que los que se observan en Excale y PISA. Se concluye que el
comportamiento de las puntuaciones de ENLACE se debe al fenómeno de inflación de los
resultados de las evaluaciones educativas de alto impacto.
Palabras clave: Educación básica, educación media superior, evaluación del aprendizaje,
validez de las pruebas, México
Abstract
This study had two purposes: (1) identify trends in student learning in elementary education and
high school in Mexico, based on three main evaluations of large-scale achievement: ENLACE,
Excale and PISA; and (2) identify the phenomenon of score inflation in the ENLACE results.
The database of the three tests in Spanish (reading) and mathematics were consulted. The results
of the population means were plotted and the regression lines were calculated to compare the
tendencies. The results indicate that the gains shown in ENLACE were much larger than the
Excale and PISA results. It is concluded that the behavior of ENLACE scores is due to the
phenomenon of score inflation from high-stakes testing.
Keywords: Elementary school, high school, learning assessment, test validity, México.
Introducción
Las pruebas estandarizadas de rendimiento académico, que se utilizan para evaluar la calidad y
progreso educativos de un país, tomar decisiones de política educativa y rendir cuentas a la
2
sociedad, inician a nivel mundial en los años sesentas del siglo pasado. Dos proyectos que
destacan por su relevancia mundial son la creación de la Asociación Internacional de Evaluación
de Logro (IEA, por sus siglas en inglés) y la implementación del Programa Nacional de Progreso
Educativo (NAEP, por sus siglas en inglés) de los Estados Unidos. El Primer Estudio
Internacional de Matemáticas y Ciencias fue realizado por la IEA en 1964 (Husen, 1967),
mientras que el primer estudio nacional de NAEP fue realizado en 1969 (National Center for
Education Statistics, 2012).
Sin embargo, tuvieron que pasar casi cuatro décadas para que los gobernantes y la sociedad
en general pusieran interés en los resultados de las evaluaciones de logro. Esta actitud cambió
con la implementación del Programa Internacional de Evaluación de Estudiantes (PISA, por sus
siglas en inglés), coordinado por la Organización para la Cooperación y Desarrollo Económico
(OCDE) en el año 2000. Ahora, los tomadores de decisiones y la prensa de muchos países creen
firmemente que tales estudios son importantes para las reformas educativas y le ponen mucha
atención cada vez que se publican sus resultados (Ben-Simon y Cohen, 2004).
De esta manera, durante los años noventa, los resultados obtenidos mediante pruebas
estandarizadas se convirtieron en información sustantiva para los tomadores de decisiones en los
Estados Unidos, así como un indicador importante para la rendición de cuentas (Koretz, 2010).
En 2002, el presidente George Bush decretó la ley federal No child left behind (NCLB) la cual
ejerció presión a los estados para establecer estándares de desempeño para la rendición de
cuentas e incrementar sus puntuaciones en las pruebas estandarizadas, año con año; asimismo,
decretó cerrar las brechas educativas entre los sectores mayoritarios (blancos) y los minoritarios
(afroamericanos y latinos) de la población; y, condicionó el acceso de recursos federales de las
escuelas a los resultados de aprendizaje obtenidos (Linn, Baker y Betebenner, 2002). Las pruebas
implementadas en los estados comenzaron a tener consecuencias importantes para los alumnos,
los docentes y los planteles, debido a la presión por alcanzar y superar los niveles de desempeño
deseados (Heubert y Hauser, 1999; Koretz, 2010). Esto dio paso a que la rendición de cuentas
fuera poco a poco sustituyendo el propósito informativo y diagnóstico de las evaluaciones de
aprendizaje de gran escala (Koretz, 2010).
A través de los años, la función de rendición de cuentas de la evaluación de logro ha
adquirido gran preponderancia debido, al menos, a tres razones: (1) el convencimiento de los
3
países de que una mejor educación traerá un mayor desarrollo económico y una menor
desigualdad social; (2)la creencia de los gobernantes y de un sector de la sociedad de que la
exposición pública de los resultados educativos sirve como “motor” o incentivo, por sí mismo,
para el mejoramiento de la calidad educativa; y (3) la exigencia creciente de la sociedad por
conocer los resultados de los programas de gobierno, entre los que se encuentran los educativos.
Esta exigencia ha pasado rápidamente, del ámbito nacional y estatal, al de la escuela y del
docente. Más aún, a la evaluación con función de rendición de cuentas (que por sí misma tiene
efectos sociales) se le han asociado recientemente consecuencias de mayor impacto, tales como
el otorgamiento de estímulos económicos y laborales a los maestros, el reconocimiento a las
escuelas y a los estudiantes con mejores puntuaciones, o la amenaza de cerrar aquellos planteles
que no presenten una mejora significativa (consultar la Ley NCLB de los Estados Unidos y el
Programa de Carrera Magisterial de México).
Las pruebas de logro con funciones de rendición de cuentas se consideran evaluaciones de
alto impacto por las consecuencias que están asociadas a ellas. Este tipo de evaluaciones tiende a
responsabilizar a las instituciones (autoridades federales y locales, organismos descentralizados,
escuelas) y a las personas (directores y docentes) de los resultados de aprendizaje de los
estudiantes. En consecuencia, cuando se rinden cuentas públicamente, el prestigio social de las
instituciones y de las personas “responsables” de los bajos resultados educativos se pone en
entredicho (Ravela, 2006). Esta situación genera incentivos para que se “inflen” los resultados de
las evaluaciones a través de una gran variedad de mecanismos, algunos muy obvios y otros más
sutiles.
En el ámbito educativo, la inflación de los resultados se entiende como un crecimiento
desmedido de las puntuaciones que arroja una prueba conforme se aplique a lo largo del tiempo y
se mantengan las consecuencias asociadas para los involucrados (Koretz, 2010). Este fenómeno
inflacionario está muy bien estudiado en distintos ámbitos de las ciencias sociales y se le conoce
como corrupción de las medidas y lleva el nombre de “Ley de Campbell” la cual afirma que:
“Entre más se utilice cualquier indicador social cuantitativo para tomar decisiones sociales,
más sujeto estará a las presiones de corrupción y será más propenso a distorsionar y corromper
los procesos sociales que pretende monitorear” (Campbell, 1975: 35). Lo anterior sugiere que no
es necesario asociar a las mediciones estímulos de cualquier naturaleza para que éstas tiendan a
4
corromperse; basta con que haya un interés público del indicador y que éste aparezca con
suficiente frecuencia en los medios de comunicación.
Diversos investigadores se han dedicado a estudiar las razones y mecanismos que hacen que
los resultados sufren estas inflaciones (Koretz, Linn, Dunbar y Shepard, 1991; Heubert y Hauser,
1999; Koretz, 2005; Holcombe, Jennings y Koretz, 2012). Por lo general, señalan que la presión
por obtener mejores puntuaciones (o sufrir las consecuencias implícitas) induce a que los
profesores reduzcan la enseñanza del currículo a los contenidos que evalúan las pruebas,
dediquen gran parte del tiempo de clase a la preparación-para-la-prueba, permitan la copia entre
estudiantes, eviten que los estudiantes de menor rendimiento sean evaluados, por mencionar
algunos de los mecanismos perversos que producen la inflación de las puntuaciones (Holcombe,
Jennings y Koretz, 2012).
Antecedentes del fenómeno de la inflación
Sin duda alguna, Estados Unidos es el país con mayor tradición en el uso de pruebas
estandarizadas y es donde más se han generado estudios sobre la validez de las pruebas de alto
impacto (Koretz, 2000). Por lo general, estas investigaciones advierten sobre los efectos
inflacionarios en los resultados que se obtienen con pruebas que tienen consecuencias para los
actores educativos (Koretz, Linn, Dunbar y Shepard, 1991; Koretz y Barron, 1998; Klein,
Hamilton, McCaffrey y Stecher, 2000; Ho, 2007).
Un buen ejemplo que ilustra este fenómeno en los Estados Unidos es el caso conocido como
el “Milagro de Texas”. En los años noventas, los resultados estatales de Texas en la prueba
criterial Texas Assessment of Academic Skills (TAAS) mostraron un progreso exponencial en los
estudiantes, así como una reducción de las brechas entre las puntuaciones de los estudiantes
blancos, y los estudiantes afroamericanos y latinos (Klein, Hamilton, McCaffrey y Stecher, 2000;
Haney, 2000). En consecuencia, el estado de Texas recibió un gran reconocimiento de políticos y
de medios de comunicación norteamericanos. Sin embargo, para algunos académicos estos
resultados generaron suspicacia sobre la validez de dichos resultados, debido a que el sistema de
evaluación texano tenía un componente muy alto en la rendición de cuentas y en la asociación de
consecuencias de alto impacto, entre las que se encontraban: premios en efectivo para escuelas
que alcanzaran altas puntuaciones; sanciones, incluso la clausura, para las escuelas que
5
obtuvieran un bajo rendimiento dos veces consecutivas; y, acreditación del nivel secundaria para
los estudiantes que aprobaran la prueba (Haney, 2000).
En el año 2000, Klein, Hamilton, McCaffrey y Stecher realizaron un estudio para conocer si
el progreso mostrado en las pruebas TAAS era similar al reportado por las pruebas NAEP, que se
considera de bajo impacto debido a que son muestrales y no arrojan resultados, ni por escuela ni
por estudiante. La comparación de los resultados de ambas pruebas mostró tendencias similares;
sin embargo, las ganancias observadas en TAAS eran muy superiores a las reportadas por NAEP,
tanto en matemáticas como en inglés.
Otro ejemplo norteamericano que ilustra un caso similar al de Texas es el Kentucky
Instructional Information System (KIRIS), que mostraba grandes ganancias anuales en las
puntuaciones de los estudiantes, supuestamente debido al sistema de altas consencuencias
asociadas a las evaluaciones, pero que no coincidía en magnitud con los resultados de NAEP
(Koretz y Barron, 1998).
Un ejemplo más se puede ubicar en Australia, con las pruebas National Assessment Program:
Literacy and Numeracy (NAPLAM), que fueron muy criticadas por usar los resultados de los
estudiantes para hacer rankings nacionales, establecer comparaciones del progreso entre
escuelas, ejercer presión para mejorar el rendimiento académico de los alumnos, condicionar el
financiamiento de las escuelas e, incluso, promover la inasistencia de alumnos de bajo
rendimiento el día de la prueba (Klenowski,y Wyatt-Smith, 2012; Polesel, Dulfer y Turnbull,
2012; Wyn, Turnbull y Grimshaw, 2014).
En Gran Bretaña el sistema de evaluación nacional también cuenta con un sistema severo de
rendición de cuentas a través de pruebas estandarizadas, el cual ha generado importantes críticas
y dudas sobre la validez de sus resultados (West, 2010).
Finalmente, en América Latina, la tentación por utilizar los resultados de las pruebas
estandarizadas de gran escala para fines distintos al monitoreo y diagnóstico educativos, también
se ha hecho presente. Por ejemplo, en Chile, la prueba conocida como Sistema de Medición de la
Calidad de la Educación (SIMCE) se creó con el fin de medir el logro de los aprendizajes y de
ser una herramienta complementaria de apoyo a los docentes para identificar fortalezas y
debilidades de sus estudiantes. Sin embargo, los resultados del SIMCE comenzaron a utilizarse
6
como indicadores para la evaluación de docentes y para elaborar ranking de escuelas, entre otros
propósitos no previstos originalmente (Manzi, González y Sun, 2011). Fueron tantos los efectos
negativos asociados a la prueba, que grupos de estudiantes y académicos en Chile emprendieron
durante 2013 la campaña “Alto al SIMCE”, como forma de rechazo total a estas evaluaciones
(Pino, 2014). Hoy en día, la continuidad del SIMCE está en duda, toda vez que la Presidenta
Bachelet ha solicitado un análisis técnico de éste, para evaluar su posible desaparición.
La experiencia nacional en materia de evaluación de logro.
La experiencia de México en el uso de las evaluaciones de logro para la rendición de cuentas con
alcance nacional se puede ubicar a mediados de los años noventas con la participación de
México en el proyecto TIMSS (1995), de la IEA, y con el desarrollo de las evaluaciones
conocidas como Estándares Nacionales, que implementó la SEP. Desafortunadamente, México
se retiró del proyecto TIMSS y la SEP no publicó los resultados de las evaluaciones de
Estándares Nacionales (evaluaciones que pasaron después a ser responsabilidad del INEE).
A principios de siglo aparecen en el escenario nacional tres grandes proyectos evaluativos:
PISA, que se implementa por primera ocasión en el año 2000; la creación del INEE en 2002 y,
con él, las evaluaciones de aprendizaje de gran escala, conocidas como Excale (Exámenes para la
Calidad y el Logro Educativos), cuyos resultados se publicaron por primera ocasión en 2005; y,
ENLACE (Exámenes Nacionales de Logro en Centros Escolares), proyecto de la SEP, que
también iniciara en 2005 en educación básica (ENLACE/básica), y en 2008 para educación
media superior (ENLACE/MS).
Tanto PISA como Excale son evaluaciones de bajo impacto diseñadas para aplicarse
cíclicamente (PISA cada tres años y Excale cada cuatro), con muestras nacionales de estudiantes,
con propósitos meramente informativos y de rendición de cuentas a escala nacional; por su
naturaleza muestral sus resultados solo se publican con altos niveles de agregación: país, estados
y estratos educativos. Por su parte, la prueba ENLACE fue diseñada para ser utilizada de manera
censal y anual; aunque su propósito original fue meramente informativo y pedagógico (dirigido a
padres de familia, docentes y directores) en un par de años se convertió en un instrumento de
rendición de cuentas de escuelas y docentes. Los resultados de ENLACE/básica se hicieron
públicos a través de rankings escolares, a los docentes se les pagó un estímulo salarial de
7
acuerdo con los resultados de sus estudiantes1, y a las escuelas y alumnos con mejores resultados
les hacía un reconocimiento público el Presidente de la República cada año.
En estas condiciones, la publicación de resultados de la prueba ENLACE/básica tuvo un
impacto muy grande en los medios de comunicación y en la sociedad en general, ya que
permitía hacer todo tipo de comparaciones y ordenamientos entre las cerca de 250 mil escuelas
de educación básica del país. Desafortunadamente, las altas consecuencias que se le asociaron a
ENLACE/básica, tanto sociales como económicas, generó una dinámica perversa en el sector
educativo para mejorar los resultados de los estudiantes a toda costa y, con ello, mejorar el
prestigio social de los planteles y la percepción económica de los docentes.
Aunque solo se tiene información anecdótica y aislada, se sabe del robo y venta de exámenes,
de la copia de respuestas entre alumnos, del dictado de respuestas por parte del docente
encargado del examen, de la preparación que planea la escuela para la prueba (ej.: jueves de
ENLACE), y de la páctica de evitar que alumnos de bajo rendimiento asistan a la escuela el día
de aplicación de la prueba. Estas prácticas ocasionaron un aparente incremento de las
puntuaciones de ENLACE/básica, que inexplicablemente iban mejorando exponencialmente en
algunos estados, especialmente en aquellos con los rendimientos más bajos, como eran los casos
de Oaxaca, Chiapas y Guerrero.
Ante las diversas denuncias y críticas de las prácticas que incentivaba la prueba
ENLACE/básica, así como la pérdida de credibilidad de sus resultados, en 2013 el secretario de
Educación Pública, Emilio Chuayffet Chemor, declaró la supensión de las pruebas
ENLACE/básica, decisión que fue apoyada por el INEE basándose en las evidencias de invalidez
de los resultados que se disponían en el momento. Sin embargo, hasta el momento no existe una
investigación formal que muestre el grado de inflación que han sufrido los resultados de la
prueba ENLACE a lo largo del tiempo, en los distintos grados y asignaturas evaluadas. Por lo
anterior, nos dimos a la tarea de estudiar el comportamiento de las puntuaciones de las tres
evaluaciones que se han aplicado consistentemente en los últimos trece años en la educación
obligatoria, con el objetivo de comparar la tendencia de los resultados de aprendizaje en la
1 En 2008, como una medida para mejorar los resultados, se determinó que las puntuaciones de los alumnos tendrían
un valor del 20% del programa de Carrera Magisterial. En 2011, las puntuaciones de ENLACE/básica alcanzaron un
valor del 50% en el programa de Carrera Magisterial.
8
educación básica y media superior del país, así como documentar la posible inflación de los
resultados del programa de evaluaciones de ENLACE.
Método
Esta investigación es de tipo retrospectivo y transversal y consistió, básicamente, en comparar
las puntuaciones medias que obtuvo México en las tres pruebas de interés a lo largo de los años:
ENLACE, Excale y PISA, en los todos los años en que fueron aplicadas. La comparación se
realizó para los dominios comunes que miden las pruebas, en aquellos grados en el que al menos
dos de las tres evaluaciones coincidían, por lo que se analizaron los resultados de los grados 3º,
6º, 9º y 12º, en los dominios de español (lectura) y matemáticas. La información de los
resultados de las evaluaciones se obtuvieron de las respectivas páginas de Internet del INEE2
(para Excale y PISA) y de la SEP3 (para ENLACE).
Instrumentos
Las pruebas de ENLACE evaluaron tanto a educación básica como la educación media superior.
Los exámenes de ENLACE/básica eran de tipo criterial y de opción múltiple. Su marco teórico
fueron los planes y programas de estudios oficiales, de los que se seleccionaban los contenidos
que se consideraban más importantes4 para el aprendizaje de los estudiantes. Los grados para los
que se diseñaron estas pruebas fueron 3º, 4º, 5º, 6º, 7º, 8º, y 9º. Estas pruebas se aplicaron de
manera censal y anual en las asignaturas de español y matemáticas, aunque también se
evaluaron, de forma rotativa, los dominios de ciencias naturales, historia, geografía, formación
cívica y ética (SEP, 2013). Los primeros resultados se publicaron en 2006 y los últimos en 2013.
En 2008 se empezaron a publicar rankings de escuelas de manera oficial y se asociaron los
resultados de los estudiantes a la evaluación de sus docentes en Carrrera Magisterial (programa
de estímulos salariales). El peso o ponderación de la calificación de los estudiantes fue en
principio de 20% y en 2011 de 50%. La aplicación de las pruebas se llevó a cabo con personal de
las mismas escuelas y, en algunos casos, con participación de padres de familia. En cuanto a los
2http://www.inee.edu.mx/index.php/bases-de-datos/bases-de-datos-excale/ y
http://www.inee.edu.mx/index.php/bases-de-datos/bases-de-datos-pisa 3 http://www.enlace.sep.gob.mx/ 4 Para saber más sobre los criterios de selección de los contenidos a evaluar, consultar el sitio web de
http://www.enlace.sep.gob.mx/ en Información general sobre ENLACE/básica 2012.
9
exámenes de ENLACE/MS, iniciaron en 2008 y continúan hasta la fecha. Se aplican de forma
censal a todos los estudiantes en el último ciclo de este nivel. A diferencia de educación básica,
la prueba no está alineada a un currículo específico sino a un perfil referencial5 que se elaboró
para evaluar las competencias disciplinares básicas en las áreas de comunicación (lectura) y
matemáticas de los estudiantes al egreso de la educación media superior. La aplicación de las
pruebas se lleva a cabo por aplicadores externos a la escuela (CENEVAL, 2012) y sus resultados
no tienen consecuencias para los planteles, docentes y estudiantes.
Las evaluaciones de Excale son de opción múltiple y de tipo criterial, cuyo referente es el
currículo nacional. Excale tiene un diseño matricial6 que le permite evaluar una gran cantidad de
contenidos de los planes y programas de estudio. Se evalúan las áreas de español (lectura) y de
matemáticas (así como algunas asignaturas de las ciencias sociales y naturales, que varían según
grado y año), de manera muestral y cíclica (cada cuatro años) a estudiantes del último grado de
preescolar, así como de 3º, 6º, 9º y 12º grados (Backhoff, Monroy, Peón, Sánchez y Tanamachi,
2005). La aplicación de las pruebas se hace de manera controlada con personal ajeno a las
escuelas y sus resultados no tienen ninguna consecuencia.
Las evaluaciones de PISA están diseñadas para evaluar las competencias que tienen los
estudiantes de 15 años de distintos países y que estén inscritos en cualquier grado de secundaria
o media superior. La cantidad de alumnos de secundaria y de bachillerato ha variado en cada
aplicación. Por ejemplo, en el año 2000 la mayoría de estudiantes eran de secundaria; mientras
que en la aplicación de 2009, cerca del 75% eran estudiantes de bachillerato (INEE, 2011). Las
competencias que se evalúan no están alineadas al currículo y se centran en la solución de
problemas de la vida real que se relacionen con la lectura, las matemáticas y las ciencias
naturales. Los tres dominios se aplican cada tres años, poniendo en cada aplicación el énfasis en
una de las tres áreas (Vidal y Díaz, 2004). La mitad de los reactivos de PISA son de opción
múltiple y la otra mitad de respuesta construida corta. La aplicación de las pruebas se hace de
manera controlada con personal ajeno a las escuelas.
5 Para conocer más sobre el marco teórico de ENLACE/MS, consultar el Manual técnico en
http://www.enlace.sep.gob.mx/content/ms/docs/2012/Manual_Tecnico_ENLACE_MS.pdf 6 Consiste en un muestreo matricial de reactivos, es decir, se aplican una gran cantidad de contenidos curriculares
que se distribuyen entre todos los estudiantes aplicados de tal forma que no todos los estudiantes tengan que
contestar a todos los contenidos sino solo a un subconjunto (INEE, 2009).
10
En las tres pruebas, la escala de calificación es de 200 a 800 puntos, con una media de 500 y
una desviación de 100 unidades. El escalamiento de las pruebas nacionales de ENLACE y
Excale se hizo con base en muestras nacionales de estudiantes del grado correspondiente,
mientras que el escalamiento de PISA se hizo con base en las muestras de estudiantes de los
países pertenecientes a la OCDE.
Resultados
A continuación se muestran los resultados nacionales de ENLACE, Excale y PISA de español
(lectura) y matemáticas en educación básica, para tercero y sexto de primaria, tercero de
secundaria y tercero de media superior.
La Tabla 1, como todas las de su tipo, muestra los años de aplicación de las evaluaciones de
los grados considerados para este estudio, la media nacional en español y matemáticas, el error
estándar de la media (e.e.) y el número de estudiantes evaluados para cada caso (N). Para los
grados de educación básica se realizaron ocho evaluaciones (2006 a 2013), mientras que para
media superior se llevaron a cabo seis (2008 a 2013). En total, las pruebas ENLACE han
evaluado a cerca de 50 millones de estudiantes de estos cuatro grados.
11
Tabla 1
Puntuaciones de ENLACE/básica y ENLACE/MS en español y matemáticas: 2006-2013
Grado Año Español Matemáticas
Media e.e N Media e.e. N
3º Primaria
2006 500 3.2 1,852,158 500 3.1 1,840,417
2007 508 3.2 1,979,746 508 3.1 1,984,594
2008 521 3.2 2,023,253 516 3.0 2,009,201
2009 533 3.1 2,066,001 530 3.1 2,081,460
2010 544 3.1 2,197,455 528 3.0 2,224,353
2011 556 3.6 2,234,337 541 3.0 2,264,175
2012 556 3.2 1,979,850 569 3.1 1,979,766
2013 556 3.3 2,022,468 592 2.8 2,017,057
6º Primaria
2006 500 3.6 1,830,991 500 3.5 1,863,489
2007 509 3.5 1,973,453 510 3.4 1,984,347
2008 512 3.5 2,012,881 517 3.4 2,026,575
2009 514 3.6 1,886,331 527 3.5 1,874,055
2010 545 3.4 1,958,828 547 3.4 1,981,983
2011 549 3.1 1,976,231 551 3.1 2,000,214
2012 548 3.1 1,987,332 571 3.6 2,006,188
2013 550 3.3 2,158,956 588 3.2 2,180,349
3º Secundaria
2006 500 3.6 1,373,651 500 3.8 1,371,202
2007 514 3.6 1,522,573 511 3.7 1,526,867
2008 514 3.5 1,611,747 519 3.9 1,614,281
2009 514 3.7 1,571,859 519 3.5 1,582,315
2010 505 3.7 1,638,896 523 3.4 1,642,129
2011 501 3.6 1,635,712 527 3.5 1,636,471
2012 497 3.7 1,566,366 545 3.5 1,575,028
2013 494 3.3 1,646,054 554 3.1 1,650,732
3º Media Superior
2008 512 0.1 808,346 510 0.1 808,346
2009 587* 3.1 835,741 622* 3.6 835,741
2010 523 0.1 884,663 524 0.1 884,663
2011 516 0.1 912,878 542 0.1 912,878
2012 509 0.1 965,144 558 0.1 965,144
2013 504 0.1 1,012,952 574 0.1 1,012,952
Fuente: Los datos de educación básica se extrajeron del sitio web:
http://www.enlace.sep.gob.mx/content/ba/pages/estadisticas/estadisticas_2013.html y de los manuales técnicos de ENLACE/básica. Los datos de media superior fueron por elaboración propia a partir de las bases de datos con los puntajes brutos de ENLACE MS. *Los puntajes de la
aplicación de 2009 presentaron un comportamiento extraño que pudieron deberse a problemas técnicos de la prueba, por lo que deben tomarse
con precaución o no considerarse.
La Tabla 2 muestra la información de las evaluaciones de Excale, donde se puede observar
que en cada año se evaluaron grados diferentes, lo que obedeció al esquema cíclico de las
evaluaciones del INEE. En el periodo 2005 a 2013, el tercero de primaria se evaluó en dos
ocasiones, mientras que el sexto de primaria y el tercero de secundaria se evaluaron tres veces.
Las pruebas Excale se han utilizado en cerca de 200 mil estudiantes de educación básica.
12
Tabla 2
Puntuaciones de Excale en español y matemáticas: 2005-2012
Grado Año Español Matemáticas
Media e.e. N Media e.e N
3º Primaria 2006 500 2.0 16,563 500 1.9 20,721
2010 511 1.6 21,174 526 1.8 21,187
6º Primaria
2005 500 1.4 47,858 500 1.5 47,858
2007 516 2.3 11,999 512 2.3 11,999
2009 518 1.6 19,090 511 1.6 18,859
3º Secundaria
2005 500 1.3 52,251 500 1.4 52,251
2008 498 2.0 23,971 504 2.1 23,967
2012 496 1.6 27,133 501 1.3 27,009
Fuente: Elaboración propia a partir de las bases de datos e informes de los Excale 03, 06 y 09 (Backhoff, et al 2006; INEE, 2008;
INEE, 2009; INEE, 2013a; INEE, 2013b).
La Tabla 3 presenta las evaluaciones y resultados de PISA, en tres partes: la información de
todos los alumnos de 15 que participaron en los estudios de PISA (independientemente del grado
que cursaran); la información de quienes se encontraban inscritos en el nivel de secundaria; y, la
información de los alumnos de bachillerato. Aunque las cifras cambian en cada aplicación, en el
último año, los estudiantes de secundaria de la muestra de PISA representa cerca del 25% de la
población evaluada. En las evaluaciones de PISA han participado aproximádamente 140
estudiantes de 15 años de edad. Es interesante notar que, por alguna razón, en el año 2000 no se
evaluaron estudiantes de bachillerato en el área de matemáticas.
Tabla 3
Puntuaciones de PISA en lectura y matemáticas: 2000-2012
Población Año Lectura Matemáticas
Media E.E. n Media E.E. n
15 años
2000 422 3.3 5,276 387 3.3 5,276
2003 400 4.0 29,983 385 3.6 29,983
2006 410 3.1 33,706 406 2.9 33,706
2009 425 2.0 38,250 419 1.8 38,250
2012 424 1.5 33,806 413 1.4 33,806
Secundaria
2000 375 5.0 1,735 345 4.9 967
2003 367 7.2 6,649 355 6.2 6,649
2006 367 0.3 6,362 364 0.5 6,362
2009 385 3.6 10,505 385 3.1 10,505
2012 392 1.5 8,764 385 2.5 8,764
Media Superior
2000 467 4.3 2,553 N/A N/A N/A
2003 441 1.8 22,802 422 2.1 22,802
2006 444 2.8 24,092 437 3.1 24,092
2009 465 2.8 19,741 457 0.2 19,741
2012 442 1.9 25,042 430 1.8 25,042
Notas: N/A: No aplicaron.
Fuente: Elaboración propia a partir de las bases de datos de PISA, tanto las disponibles en el sitio web de INEE, así como las
disponibles en la OCDE para el caso de la aplicación de 2000 y 2006.
13
Tendencia de los aprendizajes en español/lectura
En las siguientes gráficas se muestran las tendencias en el aprendizaje de los estudiantes de la
educación obligatoria en las dos asignaturas y cuatro grados escolares evaluados. La Figura 1
presenta los resultados de español en tercero de primaria. Esta gráfica, como todas las de su tipo,
muestra las puntuaciones medias de los estudiantes en ambas pruebas (señaladas con rombos
para ENLACE y cuadros para Excale), en los años correspondientes, así como las líneas de
regresión que muestran las tendencias de los resultados de aprendizaje. Los valores de las
tendencias de aprendizaje se muestran en las ecuaciones de las líneas de regresión
correspondientes. En esta figura se puede apreciar que en 2006 las medias nacionales en las dos
pruebas fue de 500 puntos (dado que en esta puntuación se centraron ambas escalas) y que la
tendencia de las puntuaciones de los estudiantes muestran un incremento con el paso del tiempo.
No obstante, la magnitud de las tendencias es muy distinto: mientras que el mejoramiento en
las puntuaciones de Excale es moderado7 (2.8 puntos por año), el incremento en las puntuaciones
de ENLACE es tres veces mayor (8.9 puntos anuales). De esta manera, las expectativas
educativas y la toma de decisiones variarán significativamente según los resultados de las
pruebas que se consulten.
Figura 1.
7 Es importante señalar que la tendencia en la prueba de Excale se obtuvo con solo dos datos (2006 y 2010), por lo
que seguramente la pendiente podrá cambiar en las siguientes evaluaciones.
y = 8.8792x + 494.09
y = 2.7585x + 497.24
450
500
550
600
2006 2007 2008 2009 2010 2011 2012 2013
Puntu
ació
nes
tand
ariz
ada
Año de aplicación
ENLACE Excale
14
Tendencias de los resultados de ENLACE y Excale: español 3º de primaria
Las tendencias en los resultados de español de sexto de primaria se muestran en la Figura 2,
donde se observa un comportamiento parecido al de tercero de primaria. El crecimiento en los
resultados en la prueba Excale es de 4.5 puntos por año, mientras que los de ENLACE es de 8.1
puntos anuales, lo que representa casi el doble en el “mejoramiento” del aprendizaje.
Figura 2.
Tendencias de los resultados de ENLACE y Excale: español 6º de primaria
Respecto a las tendencias en el aprendizaje de español en tercer año de secundaria, en la
Figura 3 se observan los resultados de ENLACE, Excale y PISA (tanto el puntaje global de los
estudiantes de 15 años, como el puntaje de los alumnos de secundaria). Aquí se observa una
tendencia negativa o decremento de los resultados de español en las dos pruebas nacionales (-0.5
para Excale y -2.0 para ENLACE), mientras que en PISA se observa un ligero incremento en las
puntuaciones a lo largo de doce años (de un punto por año para estudiantes de 15 años y de 1.7
puntos al año para estudiantes de secundaria). Este caso es paradójico pues las tendencias en el
aprendizaje son opuestas; no obstante, se debe matizar esta diferencia, ya que las pendientes son
pequeñas (menores a dos puntos por año) y, probablemente, no significativas.
y = 8.1423x + 483.48
y = 4.536x + 497.65
450
500
550
600
2005 2006 2007 2008 2009 2010 2011 2012 2013
Puntu
ació
nes
tand
ariz
ada
Año de aplicación
ENLACE Excale
15
Figura 3.
Tendencias de los resultados de español en ENLACE y Excale de 3º de secundaria y de lectura en PISA para
estudiantes de 15 años (global) y de secundaria.
En cuanto a las tendencias del aprendizaje de comprensión lectora en la educación media
superior, la Figura 4 muestra los resultados de ENLACE/MS8, así como las puntuaciones en
PISA de los estudiantes de 15 años y de aquellos inscritos en bachillerato (PISA/MS). Los
resultados de ENLACE/MS y los de PISA/MS muestran una desaceleración en el aprendizaje de
-2.0 y -0.8 puntos anuales, respectivamente; resultados que contrastan ligeramente conlos
reportados para la población global de PISA, que se incrementan en 0.9 puntos por año. Como en
el caso anterior, esta aparente discrepancia debe matizarse, debido a que los valores de las
pendientes son pequeños y, probablemente, no significativos.
8 Es importante aclarar que las puntuaciones de ENLACE/MS de 2009 se excluyeron del cálculo de las pendientes,
debido a que su comportamiento es poco confiable.
y = -2.0113x + 526.08
y = -0.5763x + 503.39
y = 0.9667x + 409.43
y = 1.7528x + 364.74
350
400
450
500
550
600
2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013
Pu
ntu
ació
n p
rom
edio
Año de publicación
ENLACE Excale PISA 15 años PISA Secundaria
16
Figura 4.
Tendencias de los resultados de PISA 15 años, PISA Bachillerato y ENLACE MS: lectura
Nota: El puntaje ENLACE en 2009 se muestra en la gráfica pero no se consideró para calcular la línea de regresión.
Tendencia de los aprendizajes en matemáticas
Los resultados de matemáticas de ENLACE y Excale, que se muestran en la Figura 5, indican
que en tercero de primaria los estudiantes han ido mejorando en el logro de los aprendizajes
curriculares. Sin embargo, como en el caso del dominio del español, esta tendencia es muy
distinta entre ambas pruebas. Mientras que en Excale el crecimiento es de 6.5 puntos por año, en
ENLACE es de 12.2 puntos anuales, lo que equivale casi al doble de mejoramiento en los
resultados de aprendizaje.
y = -2.0953x + 537.53
y = -0.8467x + 458.03
y = 0.9667x + 409.43
350
400
450
500
550
600
2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013
Punta
je p
rom
edio
Año de aplicación
ENLACE Media Superior PISA Media Superior
PISA 15 años Lineal (PISA 15 años)
17
Figura 5.
Tendencias de los resultados de ENLACE y Excale: matemáticas 3º de primaria
Por su parte, en la Figura 6 se muestran las tendencias en el aprendizaje de los estudiantes de
sexto de primaria en matemáticas en Excale y ENLACE. En esta gráfica se puede apreciar que
ambas apuntan en la misma dirección, pero con tasas de crecimiento muy distintas. Mientras que
en Excale se mejora a un ritmo de 2.6 puntos anuales, en ENLACE presenta un crecimiento de
12.4 puntos por año; es decir, cinco veces mayor que Excale.
y = 12.244x + 480.34
y = 6.5183x + 493.48
450
500
550
600
2006 2007 2008 2009 2010 2011 2012 2013
Puntu
ació
nes
tand
ariz
ada
Año de aplicación
ENLACE Excale
18
Figura 6.
Tendencias de los resultados de ENLACE y Excale: matemáticas 6º de primaria
La Figura 7 muestra las tendencias en el aprendizaje de matemáticas de tercero de secundaria
en las pruebas de ENLACE, Excale y PISA. Como se puede observar, los resultados de
ENLACE y PISA marcan un incremento de las puntuaciones en el tiempo, mientras que en
Excale las puntuaciones permanecen prácticamente iguales. Los resultados de ENLACE
presentan una tendencia más acelerada que los de PISA, ya que marcan un crecimiento anual de
6.8 puntos, mientras que en PISA el aumento anual es de 2.9 puntos para estudiantes de 15 años
y de 3.7 puntos para estudiantes de secundaria.
y = 12.443x + 470.41
y = 2.6283x + 499.59
450
500
550
600
2005 2006 2007 2008 2009 2010 2011 2012 2013
Puntu
ació
nes
tand
ariz
ada
Año de aplicación
ENLACE Excale
19
Figura 7.
Tendencias en los resultados de ENLACE y Excale en 3º de secundaria, así como PISA 15 años y PISA secundaria:
matemáticas
Finalmente respecto a las tendencias en la competencia matemática en la educación media
superior, la Figura 8 presentan las puntuaciones de ENLACE/MS junto con los dos puntajes de
PISA (estudiantes de15 años y de media superior). Se observa que las tendencias de las
puntuaciones apuntan en un mismo sentido pero con magnitudes muy dierentes: mientras que el
crecimiento de PISA es de 1.4 (estudiantes de 15 años) y 2.8 un incremento de 1.4 (estudiantes
de media superior), el crecimiento de ENLACE/MS es de13 puntos por año, lo que representa un
crecimiento mayor que PISA entre 4.6 y nueve veces por año.
y = 6.7876x + 453.42
y = 0.0817x + 500.95
y = 2.8667x + 381.93
y = 3.6893x + 341.05
300
350
400
450
500
550
2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013
Puntu
ació
n p
rom
edio
Año de publicación
ENLACE Excale PISA 15 años PISA Secundaria
20
Figura 8.
Tendencias en los resultados de PISA 15 años, PISA MS y ENLACE MS: matemáticas
Nota: El puntaje ENLACE en 2009 se muestra en la gráfica pero no se consideró para calcular la línea de regresión.
En síntesis, en la mayoría de los grados y asignaturas se observan diferencias muy
importantes en las tendencias de aprendizaje de los estudiantes de educación básica, cuando se
comparan los resultados de las pruebas de ENLACE, Excale y PISA. Por lo general, las
tendencias de Excale y PISA son muy moderadas, mientras que las de ENLACE son muy
aceleradas, llegando a ser hasta cinco veces mayores los crecimientos de ENLACE que las de
Excale y nueve veces mayor que las de PISA (ver Figura 7).
y = 13.112x + 386.94
y = 1.4064x + 424.91
y = 2.8667x + 381.93
350
400
450
500
550
600
650
2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013
Punta
je p
rom
edio
Año de aplicación
ENLACE Media Superior PISA Media Superior
PISA 15 años Lineal (PISA 15 años)
21
Discusión
En las últimas décadas, las evaluaciones estandarizadas que se utilizan para conocer la calidad
educactiva de los países han tomado una gran relevancia por diversas razones, entre las que
destacan tres: representan una manera de monitorear los resultados de los sistemas educativos a
nivel nacional y regional, sirven para rendir cuentas a la sociedad y son un insumo para tomar
decisiones de política educativa.
En fechas más recientemente, las evaluaciones estandarizadas se han utilizado también para
evaluar a cada una de las escuelas, con la idea de responsabilizarlas (junto con sus maestros) por
el rendimiento académico de sus estudiantes y, en consecuencia, premiarlas o castigarlas por sus
resultados. Un ejemplo de lo anterior es la Ley estadounidense No child left behind (NCLB Act
of 2001, 2008) que condicionó el acceso de recursos federales de las escuelas al incremento de
sus puntuaciones en pruebas estandarizadas y a la reducción de las brechas educativas entre
poblaciones extremas (Linn, Baker y Betebenner, 2002). Como era de esperarse, esta Ley puso
una gran presión en las escuelas norteamericanas y tuvo consecuencias importantes para los
alumnos, los docentes y los planteles (Heubert y Hauser, 1999; Koretz, 2010).
A diferencia de las evaluaciones diagnósticas, las evaluaciones de logro que se diseñan para la
rendición de cuentas son muy suceptibles a mostrar incrementos en sus resultados que no son
producto de un mejor aprendizaje, sino del fenómeno social conocido como corrupción de la
medida (Campbell, 1975), que trae como consecuencia una inflación en las puntuaciones. De
esta manera, los propósitos informativos originales de este tipo de evaluaciones no solo no se
cumplen, sino que distorcionan la realidad educativa de un país, estado o plantel, ocasionando
que se tomen decisiones equivocadas al proporcionar información que no es válida.
Tomando en cuenta que en el caso de México, los resultados de la prueba ENLACE (de
educación básica) se han venido utilizando para la rendición de cuentas, para el pago de
estímulos económicos a los docentes (en educación básica) y para la toma de decisiones
educativas, nos propusimos investigar: 1) las tendencias en el aprendizaje de los estudiantes
mexicanos de la educación obligatoria y 2) el fenómeno de la inflación de resultados de la prueba
ENLACE, tanto básica como media superior.
22
Una síntesis de los resultados encontrados en este estudio se muestra en la Tabla 4, donde se
pueden apreciar los valores de las pendientes de las tres evaluaciones, de acuerdo a la asignatura
y grado evaluados. Los avances en el aprendizaje en México se pueden analizar de dos maneras:
de acuerdo con la prueba utilizada, y según el grado y asignatura correspondientes.
En el primer caso, las tendencias en el aprendizaje pueden variar considerablemente.
ENLACE muestra avances en el aprendizaje de los estudiantes mexicanos a pasos muy
acelerados en primaria, tanto en español como en matemáticas; también se observan avances
muy considerables en secundaria y en bachillerato en el área de matemáticas, y una pequeña
desaceleración (o estancamiento) en el área de español en la educación media superior. Por su
parte, Excale muestra avances más modestos en la educación primaria, en las dos asignaturas, y
prácticamente un estancamiento en la educación secundaria. Finalmente, PISA presenta un
avance modesto en estudiantes de 15 años (de secundaria y bachillerato) en matemáticas y casi
ningún avance en lectura; y muestra mayor avance, aunque modesto, en secundaria que en
bachillerato en ambos dominios; inclusive en este nivel educativo muestra un ligero retroseso en
el área de lectura.
Tabla 4
Valores de las pendientes de las tres evaluaciones de logro, según grado y asignatura.
Evaluación Grado Periodo Español/Lectura Matemáticas
ENLACE
3º primaria 2006-2013 8.88 12.24
6º primaria 2006-2013 8.14 12.44
3º secundaria 2006-2013 -2.01 6.79
3º media superior 2008-2013 -2.09 13.11
Excale
3º primaria 2006-2010 2.76 6.52
6º primaria 2005-2009 4.54 2.63
3º secundaria 2005-2012 -0.57 0.08
PISA
15 años 2000-2012 0.97 2.87
Secundaria 2000-2012 1.73 3.67
Media Superior 2000-2012 -0.84 1.40
Fuente: elaboración propia, con base en los resultados públicos de las evaluaciones
De acuerdo con la asignatura y grado escolar, independientemente de la prueba utilizada, los
datos muestran que es en el nivel de primaria donde se dan los mayores avances, especialmente,
en el área de matemáticas, seguidos por los resultados de español en este mismo grado. En
secundaria los resultados no son consistentes: se observa un decrecimiento incipiente en español
(ENLACE y Excale), así como un crecimiento incipiente e en matemáticas (PISA/secundaria),
23
mientras que en matemáticas se observa un estancamiento (Excale), un crecimiento moderado
(PISA) a un crecimiento considerable (ENLACE). Finalmente, en bachillerato los resultados
muestran un decrecimiento en lectura y una discrepancia en matemáticas, donde se observa
desde un crecimiento incipiente (PISA), hasta un crecimiento desproporcionado (ENLACE/MS).
En cuanto al fenómeno de la inflación, el promedio de las puntuaciones de ENLACE/básica
mostraron un incremento aproximado de nueve puntos anuales, mientras que los incrementos de
Excale y PISA fueron de tres y dos puntos, respectivamente. En conjunto, se observa mayor
inflación de resultados en el nivel de primaria (3º y 6º grados). Asimismo, las tendencias en los
resultados en matemáticas de ENLACE/MS supera en nueve veces a las de PISA/MS.
Tomando en cuenta los resultados obtenidos, podemos afirmar que debido a las altas
consecuencias de ENLACE/básica (rendición de cuentas de las escuelas más estímulos
económicos a los docentes) sus medidas se corrompieron, por lo que sus últimos resultados están
inflados y no son confiables.Aunque en el caso de ENLACE/MS no hay aparentemente
consecuencias, también se observa una inflación importante en las puntuaciones de matemáticas,
lo que pudiera obedecer a posibles cambios en la estructura de la prueba. La magnitud de la
inflación que se reporta en este trabajo para el caso de México es similar a la que han encontrado
otros autores para el caso de Estados Unidos, cuando se comparan las evaluaciones estatales
censales (con altas consecuencias) con las evaluaciones nacionales muestrales (sin
consecuencias), que es del orden de tres a cinco veces (Koretz, 2005).
Finalmente, con la idea de mostrar hasta qué punto se llegaron a inflar las puntuaciones de
ENLACE/básica, la Figura 9 muestra los resultados de tercero de secundaria en matemáticas
para el estado de Chiapas, entidad cuyos estudiantes obtienen por lo general las puntuaciones
más bajas en los estudios nacionales e internacionales (Backhoff y col., 2006; INEE, 2011). En
esta gráfica se aprecia un incremento en ENLACE/básica de 19 puntos anuales, mientras que en
Excale no se muestra ningún incremento a lo largo de los mismos años.
24
Figura 9.
Tendencias de los resultados de Chiapas de ENLACE/básica y Excale: matemáticas 3º de secundaria.
Es interesante hacer notar que la alta inflación de los resultados de ENLACE/básica de
Chiapas (así como de Guerrero, Oaxaca y Michoacán, que no se muestran en este trabajo)
confirma lo que señalan Holcombe, Jennings y Koretz (2012), en el sentido de que las escuelas
que atienden a estudiantes de bajos recursos y que pertenecen a minorías sociales, son quienes
enfrentan mayor presión por incrementar de manera rápida las puntuaciones de las evaluaciones
y, por lo tanto, donde más se reflejan los efectos de inflación de manera más severa. Aunado a
esto, el comportamiento exponencial de las puntuaciones de Chiapas en ENLACE/básica
también confirman lo señalado por Koretz (2010) respecto a que las puntuaciones de las
evaluaciones de alto impacto tienden a inflarse cada vez más conforme se sigan aplicando la
misma generación de evaluaciones.
Para finalizar, hay que decir que las evaluaciones estandarizadas, cuando se utilizan con
mucha frecuencia, sirven para la rendición de cuentas y tienen consecuencias importantes para
las escuelas, los docentes o los alumnos, tienden a corromperse en lapsos de tiempo muy corto y
ocasionan el fenómeno de la inflación, lo que a su vez, invalida la información que pretenden
proporcionar. Esta realidad nos confronta con un dilema social y nos obliga a repensar cómo
utilizar la evaluacion de logro para la mejora educativa. Algunos autores, como la Comisión
y = 19.012x + 433.37
y = -0.1777x + 470.98
450
500
550
600
2005 2006 2007 2008 2009 2010 2011 2012 2013
Puntu
ació
n e
stan
dar
izad
a
Año de aplicación
ENLACE EXCALE
25
Gordon (2013) ya lo han hecho, al señalar que se debe de disminuir el peso que tiene la rendición
de cuentas en las evaluaciones estandarizadas y aumentar la importancia de su función
pedagógica; es decir, aquella que es útil en el salón de clases para el docente y sus estudiantes.
En otras palabras, como lo señala Martínez-Rizo (2003), “la evaluación de la calidad
educativa cobra sentido cuando contribuye a que dicha calidad mejore” (p.15). Para que las
evaluaciones nacionales cumplan con sus propósitos es importante que tengan un perfil de bajo
impacto que ayuden a garantizar que la información que proporcionan, tengan la mayor validez y
confiabilidad posible. De tal suerte que orienten las estrategias necesarias para contribuir a la
calidad de la educación y al máximo de los aprendizajes de los estudiantes, tal y como lo señala
la Reforma Educativa en México (Congreso de la Unión, 2013).
26
Referencias
Backhoff, E., Monroy, L., Peón, M., Sánchez, A. y Tanamachi, M. L. (2005) Exámenes de la
Calidad y el Logro Educativos (Excale): nueva generación de pruebas nacionales,
Cuaderno de investigación no. 17. México: INEE.
Backhoff, E., Andrade, E., Peón, M., Sánchez, A., & Bouzas, A. (2006). El aprendizaje del
Español y las Matemáticas en la educación básica en México. Sexto de primaria y
tercero de secundaria, México: INEE.
Backhoff, E., Andrade, E., Sánchez, A., & Peón, M. (2007). El aprendizaje en tercero de
primaria en México. Español, Matemáticas, Ciencias Naturales y Ciencias Sociales,
México: INEE.
Ben-Simon, A., & Cohen, Y. (2004, junio). International assessment: merits and pitfalls. Trabajo
presentado en la 30ª Conferencia Anual de la Asociación Internacional para la Evaluación
Educativa. Filadelfia, PA.
Campbell, D.T. (1975). Assessing the impact of planned social change. En G. Lyons (Ed.),
Social research and public policies: The Darmouth/OECD Conference (pp. 3-45).
Hanover. NH: Darthmouth College.The Public Affairs Center.
CENEVAL. Centro Nacional de Evaluación para la Educación Superior. (2012) Manual técnico
de la prueba Evaluación Nacional de Logro Académico en Centros Escolares de
Educación Media Superior (ENLACE MS). México: CENEVAL.
Congreso de la Unión. (2013, 11 de septiembre). Decreto por el que se reforman, adicionan y
derogan diversas disposiciones de la Ley General de Educación. Diario Oficial de la
Federación, México: Secretaría de Educación Pública. Recuperado de
http://www.presidencia.gob.mx/reformaeducativa/assets/downloads/reforma-a-la-ley-
general-de-educacion.pdf
Gordon Commission. (2013). A public policy statement. The Gordon Commission on the future
of assessment in education. Recuperado de
http://www.gordoncommission.org/rsc/pdfs/gordon_commission_public_policy_report.p
df
27
Haney, W. (2000). The myth of the Texas Miracle in Education. Education Policy Analysis
Achives, 4(8), ERIC, EBSCOhost, visto el 25 de junio de 2014.
Heubert, J. P., & Hauser, R.M. (1999). High stakes: Testing for tracking, promotion, and
graduation. A report of the National Research Council. Washington, DC: National
Academy Press (en línea). Recuperado de
http://www.nap.edu/openbook.php?record_id=6336
Ho, A. D. (2007). Discrepancies between score trends from NAEP and state tests: a scale-
invariant perspective, Educational Measurement: Issues and Practice, 26(4), 11-20,
ERIC, EBSCOhost, visto el 25 de Junio de 2014.
Holcombe, R., Jennings, J.L., & Koretz, D. (2012). The roots of score inflation: examination of
opportunities in two states´ test. Working Paper: Pre Publication Draft. Recuperado de
http://dash.harvard.edu/bitstream/handle/1/10880587/roots%20of%20score%20inflation.
pdf?sequence=1
Husen, T. (1967). International study of achievement in mathematics. A comparison of twelve
countries. Estocolmo: Almqvist & Wiksell. Recuperado de
http://www.jstor.org/stable/3443305
INEE. Instituto Nacional para la Evaluación de la Educación. (2004) Resultados de las pruebas
PISA 2000 y 2003 en México. Habilidades para la vida en estudiantes de 15 años.
Resumen ejecutivo. México: INEE.
INEE. (2006) Políticas y sistemas de evaluación educativa en México. Avances, logros y
desafíos. Informe para la reunión ministerial del grupo E-9 (UNESCO). INEE: México.
INEE. (2008). Estudio comparativo del aprendizaje en sexto de primaria en México 2005-2007:
Español y matemáticas. Primera edición. México: INEE.
INEE. (2009). El aprendizaje en tercero de secundaria en México. Informe sobre los resultados
de Excale 09, aplicación 2008. México: INEE.
INEE. (2011). México en PISA 2009. México: INEE.
28
INEE. (2013a). El aprendizaje en sexto de primaria en México. Informe sobre los resultados del
Excale 06, aplicación 2009 Español Matemáticas Ciencias Naturales y Educación
Cívica. México: INEE.
INEE. (2013b). El aprendizaje en 3o de primaria en México. Informe de resultados Excale 03,
aplicación 2010 Español Matemáticas Ciencias Naturales y Educación Cívica. México:
INEE.
Klein, S. P., Hamilton, L. S., McCaffrey, D. F., & Stecher, B.M. (2000). What do Test Scores in
Texas Tell Us?. Education Policy Analysis Archives, 49(8), 1-22. Recuperado de
http://epaa.asu.edu/ojs/article/view/440/563
Klenowski, V., & Wyatt-Smith, C. M. (2012). The impact of high stakes testing: the Australian
story. Assessment in Education: principles, policy & practice, 19(1), 65-79. Recuperado
de
http://www98.griffith.edu.au/dspace/bitstream/handle/10072/48454/80693_1.pdf?sequen
ce=1
Koretz, D. M., Linn, R. L., Dunbar, S. B., & Shepard, L. A. (1991). “The effects of high stakes
testing on achievement: preliminary findings about generalization across test”, trabajo
presentado en el Annual Meeting of the American Educational Research Association,
Chicago, Illinois (en línea) Recuperado de
http://nepc.colorado.edu/files/HighStakesTesting.pdf
Koretz, D. M., & Barron, S.I. (1998). The validity of gains in scores on the Kentucky
Instructional Results Information System (KIRIS). RAND Education. Recuperado de
http://www.rand.org/content/dam/rand/pubs/monograph_reports/2009/MR1014.pdf
Koretz, D. D. (2000). Limitations in the use of achievement test as measures of educators
productivity. The journal of human resources, 37(4), 752-777. Recuperado de
http://www.irp.wisc.edu/newsevents/other/symposia/koretz.pdf
Koretz, D. M. (2005). Alignment, High Stakes, and the Inflation of Test Scores. CSE Report 655,
Los Angeles: University of California.
Koretz, D. M. (2010). El ABC de la evaluación educativa (Measuring Up). México: Ceneval.
29
Linn, R. L., Baker, E. L., & Betebenner, D.W. (2002). Accountability systems: Implication of
requirement of the No Child left Behind Act of 2001. Educational Researcher, 31(6), 3–
16. Recuperado de http://www.cse.ucla.edu/products/reports/tr567.pdf
Manzi, J., González, R., & Sun, Y. (2011). La evaluación docente en Chile. Pontifica
Universidad Católica de Chile: Santiago de Chile. Recuperado de
http://disde.minedu.gob.pe/xmlui/bitstream/handle/123456789/2849/La_Evaluacion_Doc
ente_en_Chile.pdf?sequence=1
Martínez-Rizo, F. (2003). Los resultados de las pruebas PISA. Elementos para su interpretación.
Colección cuadernos. México: INEE.
NCES. National Center for Education Statistics. (2012). NAEP: Measuring Student Progress
Since 1964. Recuperado de http://nces.ed.gov/nationsreportcard/about/naephistory.aspx
No Child Left Behind Act of 2001, 20 U.S.C § 6319 (2008) (en línea). Recuperado de
http://www2.ed.gov/policy/elsec/leg/esea02/107-110.pdf
Pino, M. (2014). Los valores que sustentan el Simce: pensando en un sistema de evaluación más
allá de una medición estandarizada. Revista docencia, 52, 15-29. Recuperado de
http://www.revistadocencia.cl/pdf/20140605095321.pdf
Polesel, J., Dulfer, N., & Turnbull, M. (2012). The Experience of Education: The impacts of high
stakes testing on school students and their families – literature review, Sydney: Whitlam
Institute (en línea). Recuperado de
http://www.whitlam.org/__data/assets/pdf_file/0008/276191/High_Stakes_Testing_Litera
ture_Review.pdf
Ravela, P. (2006). Para comprender las evaluaciones educativas. Fichas didácticas, PREAL,
Chile: Ed. San Marino (en línea). Recuperado de http://m.preal.org/detalle.asp?det=729
SEP. Secretaría de Educación Pública. (2013). Evaluación Nacional del Logro Académico en
Centros Escolares. Educación Básica. Manual técnico 2013. México: SEP. Recuperado
de http://www.enlace.sep.gob.mx/ba/manuales_tecnicos/
Vidal, R., & Díaz, M.A. (2004). Resultados de las pruebas PISA 2000 y 2003 en México.
Habilidades para la vida en estudiantes de 15 años. México: INEE.
30
West, A. (2010). High stakes testing, accountability, incentives and consequences in English
schools. Policy and Politics, 38(1), 23-39.
Wyn, J., Turnbull, M., & Grimshaw, L. (2014). The experience of education: the impact of high
stakes testing on school students and their families. A quality study. Sydney: Whitlam
Institute. Recuperado de
http://whitlam.org/__data/assets/pdf_file/0011/694199/The_experience_of_education_-
_Qualitative_Study.pdf