sistemas estatales de evaluación educativa en …³n luis... · es expresa en una escala...
TRANSCRIPT
Luís Antônio Fajardo Pontes
Manuel Palacios da Cunha e Melo
Tufi Machado Soares
Sistemas estatales de evaluación educativa en
Brasil:
expansión, principales características y retos
metodológicos
Página 2
Placeholder, enter your own text here
Enseñanza Básica en Brasil:
algunos indicadores
Índice
Ex.: Tasas de analfabetismo en Brasil em años recientes, Fuente: MEC (2012)
Tasas de escolarización líquida y bruta en la Enseñanza Fundamental en años recientes en Brasil. Fuente: MEC (2012)
Tasas de escolarización líquida y bruta en la Enseñanza Média en años recientes en Brasil. Fuente: MEC (2012)
Sin embargo, si la frecuencia a las
escuelas de la enseñanza fundamental
ha presentado un gran aumento en
Brasil, lo mismo no se puede decir de
la enseñanza media. Además, la
calidad y la equidad educativas todavía
permanecen como un reto para los
responsables por las políticas públicas
y los profesionales de la educación.
En consecuencia, un movimiento
político rumbo a un mayor
mejoramiento educativo ha ganado
impulso en las últimas décadas,
habiendo sido iniciado
principalmente por agencias
gubernamentales, como el
Ministerio de la Educación y los
gobiernos estatales.
Elementos de la Reforma
• Profesionalización
• Selección de dirigentes por criterios de formación y experiencia
• Certificación previa de candidatos a la dirección de escuelas
• Combate al uso clientelista de la administración educativa
• Descentralización
• Propuestas curriculares estatales y municipales
• Sistemas propios de evaluación educativa
• Acuerdos de gestión y transferencia de recursos para las escuelas
• Municipalización de la enseñanza fundamental
• Aprendizaje
• Monitoreo de los resultados
• Rendición de cuentas
Page 8
En este contexto, los sistemas de evaluación a gran
escala es un proceso que ha experimentado un
crecimiento consistente en Brasil, y cuya historia
relativamente corta, puede ser, grosso modo, dividida
en tres períodos, como se sigue:
1) 1990 a 1997: Fundaciones
2) 1997 a 2007: Expansión
3) 2007 al presente: Metas y rendición de cuentas
1er Período (1990 – 1997)
Las fundaciones
1.1. El SAEB
1.2. Las escalas de habilidad
1.3. La teoría de la respuesta al ítem
(TRI)
1.1. El SAEB
Sistema Brasileiro de Avaliação
da Educação Básica
Sistema Brasileño de Evaluación de la
Enseñanza Básica
Algunas características:
Implementado por el Ministerio Brasileño de
la Educación (MEC).
SAEB (cont.)
Evaluación nacional de los estudiantes
Asignaturas: lengua portuguesa (lectura) y
matemáticas (resolución de problemas)
Inicio: 1990
Periodicidad: 2 años
SAEB (cont.)
Diseño: muestra nacional, representativa para el
país como un todo, así como para sus regiones
geográficas, estados y redes de enseñanza
(pública – federal, estatales y municipales – y
privada).
Grados evaluados: 4º, 8º y 12º (los grados 4 y 8
corresponden a los años finales de los dos ciclos
que componen el nivel fundamental; el grado 12
corresponde al último año de la enseñanza
media)
Instrumentos del SAEB:
Pruebas: aplicadas a los estudiantes, son formadas de
ítems de opción múltiple, formato que tiene el objetivo de
facilitar la confiabilidad y la velocidad de la corrección.
Encuestas de contexto: aplicadas a los estudiantes,
maestros y directores de las escuelas. Sus cuestiones
tratan de una gran diversidad de dimensiones que son
consideradas relevantes al proceso de aprendizaje, como el
nivel socioeconómico de los principales actores escolares,
las actitudes en relación al aprendizaje, clima escolar,
relaciones interpersonales e infraestructura escolar. Como
los testes, las encuestas también se componen de ítems de
opción múltiple.
1.2. Escalas de Habilidad
Tablas de especificaciones:
En 1997, con la participación de especialistas
de Portugués y Matemáticas, el SAEB
elaboró las especificaciones de cada una de
las dos asignaturas del teste, que desde
entonces han sido utilizadas como un
estándar para la evaluación educativa en
Brasil.
Escalas de habilidad: un ejemplo de Lengua Portuguesa
1.3. La Teoría de la Respuesta al Item (TRI)
Todos los ítems de opción múltiple del SAEB
son calibrados según el modelo de 3
parámetros de la TRI, que lleva en cuenta
su respectivo
1) nivel de dificultad;
2) capacidad de discriminar a los estudiantes
según su respectiva habilidad en la
disciplina que se está evaluando;
3) factor de adivinanza.
Ejemplo de una curva característica del item (CCI) en la TRI
La utilización de los procedimientos de
la TRI tiene diversas ventajas, pues
permite que los diseñadores y los
analistas de las pruebas sean capaces
de comparar testes aplicados en
diferentes lugares y momentos, lo que
permite la realización de estudios de
series temporales y de comparaciones
regionales.
2º Período (1997 – 2007)
Expansión
2.1. El desarrollo de la Prueba Brasil
2.2. La expansión de los sistemas
estatales de evaluación educativa
2.1. El Desarrollo de la Prueba Brasil
La Prueba Brasil, así como el SAEB, es un
sistema de evaluación diseñado y aplicado
por el gobierno federal, por medio del MEC y
del INEP.
Con su primera aplicación se realizando en
1997, ella posee muchas otras características
en común con el SAEB, como por ejemplo:
Periodicidad de 2 años
Evaluación de Portugués y Matemáticas
Prueba Brasil (cont.)
Uso de las escalas y especificaciones del
SAEB
Uso de ítems de opción múltiple
Adopción de la TRI para los
procedimientos de corrección y análisis
de los resultados
Prueba Brasil (cont.)
Sin embargo, diferentemente del SAEB, la
Prueba Brasil tiene las siguientes
peculiaridades:
No incluye el 3er grado de la enseñanza
media, pero solamente el 4º y el 8º grados
de la enseñanza fundamental.
Es una evaluación censal.
Solamente se aplica a las escuelas
públicas.
Prueba Brasil (cont.)
Debido a su carácter censal, produce
resultados también al nivel de las
escuelas, que son utilizados no solamente
para propósitos de diagnóstico e
planeación (como el SAEB), sino también
para el monitoreo del desempeño
individual de todas las escuelas públicas
brasileñas de nivel fundamental.
2.2. Expansión de los sistemas estatales
de evaluación
En los primeros años de la última década,
muchos estados brasileños han decidido
implementar sus propios sistemas de
evaluación educativa, con el propósito de
realizar evaluaciones más detalladas, así
como de hacer con que ese proceso se
acercase más de las características y
necesidades específicas de sus respectivos
sistemas educativos.
3er Período (2007 – presente)
Metas, diseminación de los sistemas
estatales y rendición de cuentas
3.1. Metas de desempeño
3.2. Diseminación de los sistemas estatales
de evaluación
3.3. Rendición de cuentas
3.1. Metas de Desempeño
En 2005, el Ministerio de la Educación y el
INEP elaboraron un índice general con el
propósito de evaluar el desarrollo general de
la educación en Brasil, al cual llamaron de
Ideb: índice de desenvolvimento da educação
básica (lit. índice de desarrollo de la
enseñanza básica). Para ese índice, el
gobierno calculó metas que cada unidad
educativa en Brasil debería alcanzar a partir
de 2007.
El Ideb, para un año específico y una determinada unidad
educativa (como una escuela, un estado o mismo el país
como un todo), se calcula según la siguiente fórmula:
Ideb = N x P
donde,
N = un promedio combinado de las disciplinas de Portugués
y Matemáticas, según evaluadas en la Prueba Brasil, y que
es expresa en una escala transformada que varía de 0 a 10.
P = una tasa combinada de aprobación para todos los
grados que componen un ciclo escolar específico (por
ejemplo, los grados de 1 a 4 para el primer ciclo básico de
escolarización), y que se exprime en una escala que varía de
0 a 1 (por ejemplo, un promedio de aprobación igual al 92%
correspondería a P = 0,92).
En resumen, el Ideb tiene una
interpretación muy sencilla, dado que
consiste de un índice de calidad que varía
de 0 a 10.
Estudios comparativos internacionales
conducidos por el INEP han concluido
que, al tiempo en que el Ideb fue
desarrollado, habría sido razonable
atribuir un “Ideb” de 6 a los países de la
OCDE.
)
3.2. Diseminación de los sistemas
estatales de evaluación
Los objetivos
• Nuestros sistemas de evaluación combinan dos objetivos
declarados:
– Mensurar el desempeño para fines de evaluación de escuelas e
redes de la enseñanza básica; y
– Producir información para la distribución de beneficios en los
recién-instituidos sistemas de rendición de cuentas.
•
• A veces, por medio de programas especiales, tienen un tercer
objetivo:
• Incidir directamente en el proceso de enseñanza con la expectativa
de orientar el desarrollo curricular.
Page 33
Sistemas Estaduales de Evaluación de la Enseñanza Básica
¿Por qué?
Principal meta
Mejorar la calidad de la educación con la
promoción de la equidad
Diseño propio de la evaluación objetivando
al atendimiento de necesidades específicas
Rapidez en el acceso a las informaciones (menor tiempo de
procesamiento de las bases de datos)
Menor periodicidad entre los ciclos
evaluativos (ciclos anuales de evaluación)
Sistemas Autónomos de Evaluación
¿Para qué?
Evaluación del efecto de las
políticas públicas implementadas
Divulgación, apropiación y uso de los resultados con un foco en la identidad escolar
Establecimiento de metas propias y de
estándares de desempeño estudiantil
Inclusión de otros grados y áreas del conocimiento en la
evaluación
Alineamiento entre currículo,
enseñanza y evaluación
Sistemas Autónomos de Evaluación
Resultados Estaduales Transversales o Longitudinales por:
Estado
Unidades regionales
Municipios
Escuelas
Grupos
Alumnos
Formas de Presentación de los Resultados
Logro promedio – promedios comparados
Participación
Distribución porcentual de alumnos por nivel de logro y por estándar de desempeño
Evolución del porcentaje de alumnos por estándar de desempeño
Porcentaje de aciertos por descriptores
Resultados por alumno
Página 39
Placeholder, enter your own text here
Consecuencias:
Rendición de cuentas
en los estados
Estado Programa Bonificación Indicador Marco Legal Valor y
amplitud
Ceará SPAECE
Alfa
Son premiadas las 150 primeras
escuelas con mayor logro promedio y con participación
arriba del 85%
Considera el logro promedio de la
escuela, corregido por la participación
(Ide Alfa con corrección de participación)
Ley nº 14.484 del 25 de
septiembre de 2008
R$2500 (MXN
$18.324) per capita/alumno evaluado
para cada escuela. Premio
estimado alrededor de
R$30 millones
(MXN $220 millones)
Sistemas Autónomos de Evaluación
Estado Programa Bonificación Indicador Marco Legal Valor y
amplitud
Rio de Janeiro
SAERJ
Bonificación por resultados para las escuelas, unidades
regionales de educación y servidores
Indicador de desempeño = IDERJ (Índice de Desarrollo de la Educación del
Estado de Rio de Janeiro) + IF – (Indicador de
flujo)/Indicador de infraestructura = IGE
(Indicador general del estado del inmueble)
Resolución nº 4669 del 7 de
enero de 2011
Debe ser pagado en
2012
Sistemas Autónomos de Evaluación
Estado Programa Bonificación Indicador Marco Legal Valor y
amplitud
Pernam-buco
SAEPE
Bonificación a los servidores que alcancen por lo
menos el 50% de las metas
establecidas
IDEPE (Índice de Desarrollo de Educación de Pernambuco): es un
índice creado por la Secretaría de Educación del Estado, compuesto por la combinación de
los resultados del SAEPE y del flujo escolar, para evaluar el desempeño de los alumnos de la
red
Leyes nº 13.486 del
01/07/2008, nº 13696 del 18/12/2008 y el decreto nº
32.300 del 08/09/2008
R$48 millones
(MXN $352 millones) para más de 32 mil
servidores en 838
escuelas en 2011
Sistemas Autónomos de Evaluación
Estado Programa Bonificación Indicador Marco Legal Valor y
amplitud
São Paulo
SARESP
Bonificación salarial a
profesores y funcionarios que
atingen la totalidad, o por lo
menos parcialmente, las metas del IDESP
IDESP (Índice de Desarrollo de la
Educación de São Paulo), que considera el desempeño de los
alumnos en los exámenes del SARESP
(distribución del porcentaje de
alumnos por nivel de desempeño)
Sancionado el 15 de
octubre de 2007
R$655 millones
(MXN $4800 millones) en
2010 para 210 mil
profesionales
Sistemas Autónomos de Evaluación
Los desafíos • Currículos bien diseñados y de fácil comprensión, que
asocien a las etapas de escolarización los conocimientos y
competencias deseables, así como los estándares de
desempeño.
• Evaluación aliñada al currículo, produciendo información
sobre las realizaciones del alumnado y los niveles de
desempeño.
• Consecuencias bien definidas que premien el compromiso
con el aprendizaje y que punan la indiferencia ante el
fracaso escolar, de modo reconocidamente equilibrado y
justo.
• Canales de comunicación efectivos con los diversos
públicos de la educación: padres, alumnos, maestros,
gestores, sociedad.
Page 44
Volatilidad de los resultados de la
evaluación educativa: el caso del SIMAVE
9º Ano EF – Português: 2000 - 2011
9º Ano EF – Matemática: 2000 - 2011
Modelo Lineal
Pequeñas desviaciones:
Grandes desviaciones:
Hallazgos:
1) Las escuelas difieren significativamente entre sí
cuanto al logro promedio: Var (r0i) ≠ 0
2) Las escuelas difieren significativamente entre sí
cuanto a las tasas de evolución de los logros
promedios: Var (r1i) ≠ 0
3) Tasas promedias de evolución de los logros
promedios de las escuelas:
Mat.: 3,3 puntos/año
Port.: 1,3 puntos/año
Pequeñas desviaciones:
Pequeñas desviaciones: gráfico de residuos
Grandes desviaciones:
Grandes desviaciones: gráfico de residuos
La desviación típica de los residuos:
una medida de la volatilidad de los
resultados
El número promedio de alumnos
evaluados por escuela
El número promedio de alumnos
evaluados por escuela
El número promedio de alumnos
evaluados por escuela
Promedio de la desviación típica de los resíduos por
tamaño de las escuelas en el SIMAVE, en el período
2000-2011 – 9º EF
)
La volatilidad de los resultados y sus
implicaciones en el cumplimiento de
metas de desempeño educativo
Banco de datos básico:
Estadísticas de desempeño de las
escuelas en el SIMAVE en el período
2000-2011.
Estadísticas de desempeño por
escuela en la Prova Brasil en 2005,
2007 y 2009 (con estos dos últimos
años sustituyendo las respectivas
ediciones del SIMAVE)
Pregunta:
Considerando que las escuelas públicas
mineras presentan desviaciones aleatorias
significativas entre sus promedios reales
y sus respectivos promedios previstos por
el modelo de crecimiento longitudinal,
¿habrá entonces una asociación
significativa entre esas desviaciones
observadas en 2005 – año de fijación de
las metas del Ideb – y el hecho de que
esas escuelas hayan o no atingido sus
respectiva metas del Ideb en años
posteriores?
El cumplimiento de las metas del Ideb en
2007 y 2009
Tipos de escuelas públicas mineras cuanto a los
residuos de su logro promedio medidos em relación a
los valores previstos da sus respectivos promedios em
la Prueba Brasil de 2005
Porcentaje de las escuelas que no atingieron la meta del
Ideb, en asociación con el tipo de residuo de sus
promedios en la Prueba Brasil de 2005
Efecto del residuo de los promedios de
la escuela sobre el odds de ella no haber
atingido su respectiva meta del Ideb.
Regresión logística:
Variable dependiente: logaritmo del odds de una
escuela pública minera NO atingir su respectiva
meta del Ideb en un determinado año (2007 o 2009),
o en ambos.
Variable independiente: promedio estandarizado de
los residuos estandarizados de Portugués y
Matemáticas para cada escuela en la Prueba Brasil
2005
Efecto del residuo de los promedios de la escuela sobre
el odds de ella no haber atingido su respectiva meta del
Ideb.
Conclusiones
1) Según los resultados de la evaluación estatal de Minas
Gerais, las escuelas públicas difieren significativamente
entre sí tanto en términos de logro promedio como de tasas
anuales de crecimiento de los promedios.
2) Las escuelas han aumentado significativamente sus
logros promedios en los últimos años.
3) Sin embargo, aún cuando se controla el promedio de las
escuelas por su respectiva tasa de evolución temporal, una
gran proporción de la variación de los resultados queda
inexplicada.
Conclusiones (cont.)
4) El promedio de esa fluctuación alcanza, en general, dos
dígitos en las escalas de habilidad en portugués y
matemáticas consideradas. Esa volatilidad es aún mayor en
las escuelas pequeñas (con un promedio anual de 40
alumnos o menos evaluados), aunque sigue siendo
significativa en las escuelas medianas y grandes.
5) Un problema asociado a la volatilidad es que ella pone en
riesgo la validad del monitoreo anual del desempeño de las
escuelas, cuando este es realizado, por lo menos
parcialmente, con base en los promedio de habilidad
alcanzados por las escuelas en las evaluaciones más
recientes.
6) Otro problema es que la volatilidad puede ejercer
consecuencias considerables e indeseadas en las
situaciones en que se fijan metas de desempeño basadas en
los resultados de un año específico de una evaluación a gran
escala.
¡Muchas gracias!