Sistema de Medición de Calidad de Educación

Medellín, 7 de Febrero de 2013

1. Sistema de Medición de la Calidad de las Instituciones Educativas de Medellín

2. Indicador Multivariado

3. Resultados Indicador Multivariado para Medellín

4. Reportes WEB y Aplicativo

Contenido

El Sistema de Medición de la Calidad Educativa es una plataforma informática que evalúa las IE según:

SIMCIE

Indicador Cuantitativo Indicador Multidimensional (EAFIT)

Ambiente Escolar Rendimiento Progreso

Indicador Cualitativo Rubrica de Gestión Curricular

Coherencia Curricular Planeación Empleo herramientas información Formación Docente

Sistema de Medición Calidad Educativa

Monitoreo Evaluación

Toma de Decisiones

Evaluación Cuantitativa- Índice Multivariado

Informes Ambiente

Escolar Rendimiento

y Progreso de las IE

Análisis de clústeres: Conocer el nivel de calidad de educación de la IE con respecto a sus pares en

condiciones socioeconómicas y de

entorno

Evaluación cualitativa de

calidad – Rubrica Gestión

Curricular

Permite ordenar las IE en términos de calidad

Permite medir todas las IE con el mismo instrumento

Permite comparar las IE en cada categoría con todas las IE de la ciudad y con sus semejantes (definidas por metodología de clústeres)

Permite identificar las fortalezas y debilidades de las IE en diferentes dimensiones analizadas: proporciona un índice de calidad por dimensión y su posición con respecto a las otras IE

Funciones Sistema

Análisis por componentes principales

El indicador está compuesto de tres dimensiones, donde cada una tiene un peso distinto según su importancia relativa dentro del conjunto total de variables.

Indicador Multidimensional

Dimensión Aporte porcentual máximo al

indicador

Ambiente Escolar 29.82%

Rendimiento 34.80%

Progreso 35.38%

• Encuesta de percepción a docentes, padres de familia y estudiantes

• Muestra representativa a nivel de IE

• Cuantificación de respuestas cualitativas

• Pilotos: – Evaluación de Escuelas de Calidad para la Equidad y la Convivencia –

Medellín, 2008

– IEs Publicas – Medellín, 2011 y 2012

– IEs Privadas – Medellín, 2012

– IEs Publicas – Cali, 2011

– Revisiones: Secretaria de Educación de Medellín, EAFIT, ExE, Sistema de Evaluación de Escuelas New York

Ambiente Escolar

Componentes:

• Expectativas Académicas: si la IE motiva a los estudiantes a cumplir con éxito su formación, objetivos académicos rigurosos y coherentes

• Comunicación: si la IE mantiene informados a los actores acerca de los objetivos educativos y del progreso del estudiante con respecto a sus resultados académicos

• Nivel de participación: si la IE incentiva en los actores con la finalidad de comprometerlos con la labor de la institución

• Seguridad y el respeto: imagen que los actores tienen con relación a la seguridad física y emocional que ofrece la IE

Ambiente Escolar

Que hemos aprendido:

– La percepción entre actores no es estadísticamente diferente, lo que valida la agregación de respuestas entre actores

– La percepción es relativamente alta, aunque si hay variabilidad

– Hay correlación entre puntaje total y el estimado

– Comportamiento general entre encuestas: siempre Expectativas Académicas parece estar mejor que las otras categorías pero Seguridad y Respeto menor que el resto

– Adición de preguntas relacionadas con inclusión, ambientes de aprendizaje

Ambiente Escolar

– Mediana de los resultados en las pruebas SABER

– Porcentaje de estudiantes en cada rango de calificación pruebas SABER (después de normalizar, el cambio en puntaje para alto no cambia mucho los resultados)

– Indicadores de aprobación y extra edad

– Recientemente se adiciono continuidad, pero se esta tratando de crear una nueva dimensión de Retención

Rendimiento

• Objetivo: indicador que permita estimar el avance de las IE en los resultados de la pruebas SABER en el tiempo

• Limitaciones: no comparabilidad de los resultados entre años

• Propuesta: crear un indicador ordinal que mida el cambio de cada IE en percentiles con respecto al resto de las IE en misma entidad territorial

• Indicador no lineal que de mayor peso a aumentos en el percentil cuando la situación inicial de la IE es alta, y menor peso a las que están en posición baja; de igual forma, que de mayor peso a disminuciones en percentil en las posiciones bajas y menor peso en las posiciones altas

Indicador de Progreso

El progreso se estimó con una función de crecimiento no lineal entre la diferencia del percentil alcanzado en el año 2010 y en el año 2007.

Se establece una forma exponencial

Progresolen11=dlen*(len07)^1.5 + len10^1.5 if dlen > =0

Progresolen11=dlen*((101-len07)) ^1.5+len10^1.5 if dlen <0 En donde, dlen= len10-len07 len10: Percentil que ocupa la IE en el rendimiento en lenguaje en la prueba saber 11 del año 2010 len07: Percentil que ocupa la IE en el rendimiento en lenguaje en la prueba saber 11 del año 2007

Indicador de Progreso

Con estos valores finalmente se normaliza el indicador para que quede entre 0 y 100: Progresolen11= (Progresolen11+Min)*100/(Max-Min)

Indicador de Progreso

Dificultades: 1. Muchas IE pueden tener la misma mediana (media?)

entonces el percentil asignado depende de la ordenación de las IE

a. Corrección por continuidad: todas las IEs con el mismo resultado se le asigna el mismo percentil. El problema es que puede castigar fuertemente a las vecinas.

b. Normalizar los puntajes y asignarle los percentiles de la normal, el problema es definir los parámetros

2. Definición en el conjunto de evaluación: país, ciudad, clústeres etc….

3. Forma funcional debería ser resultado de proceso de análisis mejor fundamentado (no ensayo y error)

Indicador de Progreso

Resultados de la Estimación del Indicador Multivariado de la Calidad

Educativa para las IE Oficiales de Medellín

Variable Ponderador(Primera componente)

Expectativas académicas 0.5269

Comunicación 0.5151

Nivel de participación 0.5157

Seguridad y respeto 0.4371

Ponderadores Ambiente Escolar

Variable Ponderador (Primera componente)

Promedio del rendimiento en matemáticas saber 11

2007.

0.2636

Promedio del rendimiento en lenguaje saber 11 2007. 0.3347

Porcentaje de los estudiantes que está en el nivel alto

en la prueba de matemáticas de saber 11 2007

0.1786

Porcentaje de los estudiantes que está en el nivel alto

en la prueba de lenguaje de saber 11 2007

0.1685

Promedio del rendimiento en lenguaje saber 11 2010. 0.3190

Promedio del rendimiento en matemáticas saber 11

2010.

0.3610

Porcentaje de los estudiantes que está en el nivel alto

en la prueba de matemáticas de saber 11 2010

0.2503

Porcentaje de los estudiantes que está en el nivel alto

en la prueba de lenguaje de saber 11 2010

0.1132

Ponderadores Rendimiento

Variable Ponderador (Primera componente)

Porcentaje de estudiantes que está en el nivel alto en

la prueba de matemáticas saber 9 2009.

0.0565

Porcentaje de estudiantes que está en el nivel alto en

la prueba de lenguaje saber 9 2009

0.2504

Porcentaje de estudiantes que está en el nivel alto en

la prueba de matemáticas saber 5 2009.

0.0499

Porcentaje de estudiantes que está en el nivel alto en

la prueba de lenguaje saber 5 2009.

0.2479

Aprobación 5 0.3472

Aprobación 9 0.2992

Proporción de personas que presentan la prueba saber

11 en edad esperada

0.3327

Ponderadores Rendimiento

Variable Ponderador (Primera

componente)

Crecimiento de la posición relativa de la IE en lenguaje en la prueba saber 5

0.5679

Crecimiento de la posición relativa de la IE en lenguaje en la prueba saber 9

0.4130

Crecimiento de la posición relativa de la IE en lenguaje en la prueba saber 11

0.7071

Crecimiento de la posición relativa de la IE en matemática en la prueba saber 5

0.5327

Crecimiento de la posición relativa de la IE en matemática en la prueba saber 9

0.4724

Crecimiento de la posición relativa de la IE en matemática en la prueba saber 11

0.7071

Ponderadores Progreso

• Hay imputación de algunos indicadores, pero se excluyen aquellas IEs que requieren mas de una variable de imputación

• Se genera un Bonus a las IE con alto porcentaje en estrato 1 y 2 que obtienen alto rendimiento en las Olimpiadas del Conocimiento

• Se hace una lectura cualitativa de los resultados por rangos: categorías

• Se hace comparación del ranking de la IE con respecto al resto de IE en la ciudad y con respecto a las pertenecientes a su clúster

Resultados Indicador

Institución educativa Indicador Multivariado

indicador M + Bonus

Ambiente escolar

Rendimiento Progreso Bonus

1 INST EDUC LA PRESENTACION 55.15 55.15 16.416 13.995 24.739 0 2 INST EDUC LA SALLE DE CAMPOAMOR 55.022 55.022 16.129 12.563 26.329 0 3 INS TEC INDUSTRIAL PASCUAL BRAVO 53.314 63.314 13.553 13.404 26.357 10 4 INST EDUC SANTA JUANA DE LESTONAC 52.506 62.506 16.965 12.724 22.817 10 5 INST EDUC YERMO Y PARRES 52.042 52.042 14.565 12.458 25.019 0 6 INST EDUC SANTO ANGEL 51.837 51.837 14.868 14.296 22.673 0 7 INST EDUC INEM JOSE FELIX DE RESTREPO 51.374 60.374 14.807 12.082 24.486 9

8 INST EDUC OCTAVIO CALDERON MEJIA 51.218 51.218 15.868 11.69 23.659 0 9 INST EDUC JESUS MARIA EL ROSAL 51.217 51.217 16.009 13.301 21.906 0 10 INST EDUC FRANCISCO ANTONIO ZEA 51.195 51.195 15.114 11.678 24.403 0 11 INST EDUC SANTOS ANGELES CUSTODIOS 50.986 50.986 15.357 12.271 23.358 0

12 INST EDUC JOSE ASUNCION SILVA 50.855 50.855 15.065 11.658 24.133 0 13 INST EDUC JAVIERA LONDOÑO 50.719 50.719 14.546 11.545 24.628 0 14 INST EDUC ESCUELA NORMAL SUPERIOR

DE MEDELLIN 50.657 60.657 14.33 13.194 23.133 10

15 INST EDUC SOR JUANA INES DE LA CRUZ 50.562 50.562 15.309 12.245 23.008 0 16 INST EDUC RAFAEL GARCIA HERREROS 50.226 50.226 15.332 11.085 23.808 0 17 INST EDUC SANTA TERESA 49.933 59.933 15.744 11.817 22.372 10 18 CENT EDUC PERMANENTE MAZO 49.578 65.578 18.125 11.402 20.052 16 19 INST EDUC JOSE EUSEBIO CARO 49.352 57.352 13.036 11.598 24.717 8 20 INST EDUC RAFAEL URIBE URIBE 49.25 49.25 15.226 11.377 22.647 0

Resultados Indicador

Según el puntaje obtenido en el indicador se definen

unas categorías para las IE, siendo A la mas alta y E la

mas baja.

Categoría Cantidad Porcentaje Corte (techo)

Rango

A 49 25% 55.15 55.15-46.500

B 70 35% 46.48 46.48-43.079

C 49 25% 43.045 43.045-40.890

D 20 10% 40.856 40.856-38.26

E 10 5% 38.171 38.171-34.235

Categorías

Categoría Corte Ambiente

Escolar

Corte Rendimiento

Corte Progreso

A 18.125 14.296 26.357

B 15.56 11.096 20.155

C 14.784 10.365 17.68

D 14.137 9.828 16.146

E 13.51 9.445 13.856

Cortes por Dimensión

Indicador/Ambiente

Escolar

A B C D E Total

general

A 15 22 8 3 1 49

B 23 23 19 4 1 70

C 10 16 13 7 3 49

D 4 6 6 4 20

E 1 5 3 1 10

Total general 49 70 49 20 10 198

Distribución del Indicador

Indicador/Rendimie

nto

A B C D E Total

general

A 36 13 49

B 10 36 18 6 70

C 3 14 19 6 7 49

D 6 7 5 2 20

E 1 5 3 1 10

Total general 49 70 49 20 10 198

Distribución del Indicador

Indicador /

Progreso

A B C D E Total

general

A 36 13 49

B 13 42 15 70

C 15 27 7 49

D 7 12 1 20

E 1 9 10

Total general 49 70 49 20 10 198

Distribución del Indicador

Institución educativa Indicador Multivariado

Ambiente Escolar

Rendimiento Progreso

INST EDUC LA PRESENTACION A A A A INST EDUC LA SALLE DE CAMPOAMOR A A A A INS TEC INDUSTRIAL PASCUAL BRAVO A D A A INST EDUC SANTA JUANA DE LESTONAC A A A A INST EDUC YERMO Y PARRES A C A A INST EDUC SANTO ANGEL A B A A INST EDUC INEM JOSE FELIX DE RESTREPO A B A A

INST EDUC OCTAVIO CALDERON MEJIA A A A A INST EDUC JESUS MARIA EL ROSAL A A A A INST EDUC FRANCISCO ANTONIO ZEA A B A A INST EDUC SANTOS ANGELES CUSTODIOS A B A A

INST EDUC JOSE ASUNCION SILVA A B A A INST EDUC JAVIERA LONDOÑO A C A A INST EDUC ESCUELA NORMAL SUPERIOR DE MEDELLIN A C A A

INST EDUC SOR JUANA INES DE LA CRUZ A B A A INST EDUC RAFAEL GARCIA HERREROS A B B A INST EDUC SANTA TERESA A A A A CENT EDUC PERMANENTE MAZO A A A B INST EDUC JOSE EUSEBIO CARO A E A A INST EDUC RAFAEL URIBE URIBE A B A A

Multivariado - 20 Primeras IES

Institución educativa Indicador Multivariado

Ambiente Escolar

Rendimiento Progreso

INST EDUC JOSE MARIA BRAVO MARQUEZ B A B B

INST EDUC DOCE DE OCTUBRE B A C B

INST EDUC SAN ANTONIO DE PRADO B B B B

INST EDUC LA ESPERANZA B A B B

INST EDUC JOSE MARIA VELAZ B C D A

INST EDUC FE Y ALEGRIA AURES B A B B

INST EDUC LUIS LOPEZ DE MESA B A B B

INST EDUC HORACIO MUÑOZ SUESCUN B B B B

INST EDUC CIUDAD DON BOSCO B A A B

INST EDUC AURES B C B A

INST EDUC TRICENTENARIO B D A A

Multivariado – IES en B

Institución educativa Indicador Multivariado

Ambiente Escolar

Rendimiento Progreso

INST EDUC VILLA DEL SOCORRO C A D B

INST EDUC ARZOBISPO TULIO BOTERO SALAZAR C C C B

INST EDUC JOSE ROBERTO VASQUEZ C C B C

INST EDUC SANTA ROSA DE LIMA C B C C

INST EDUC MONSEÑOR FRANCISCO CRISTOBAL TORO

C A C C

INST EDUC EL PEDREGAL C B B C

INST EDUC HECTOR ROGELIO MONTOYA C E C B

INST EDUC JORGE ROBLEDO C B C C

INST EDUC SAN CRISTOBAL C C C B

INST EDUC JOSE MARIA BERNAL C C B C

INST EDUC ANTONIO RICAURTE C B A D

Multivariado – IES en C

Institución educativa Indicador Multivariado

Ambiente Escolar

Rendimiento Progreso

CENT EDUC EL SALADO D C D C

INST EDUC FELIX HENAO BOTERO D C B D

INST EDUC PERPETUO SOCORRO D D B D

INST EDUC PBRO ANTONIO JOSE BERNAL LONDOÑO

D D B C

INST EDUC PRESBITERO JUAN J. ESCOBAR D C C D

INST EDUC PEDRO CLAVER AGUIRRE D E B C

INST EDUC CIRO MENDIA D D D C

INST EDUC SOL DE ORIENTE D C D D

INST EDUC FEDERICO OZANAM D D C D

INST EDUC ALVARO MARIN VELASCO D E D C

Multivariado – IES en D

•Población total del barrio en el que se encuentra ubicada la IE

•Número de homicidios en el barrio en el que se encuentra la IE en el año 2010

•Número de alumnos con los que cuenta la IE

•Proporción de estudiantes de la IE que computador en sus hogares

•Proporción de estudiantes de la IE que se encuentran en el SISBEN en la

categoría 1

•Proporción de estudiantes de la IE que se encuentran en el SISBEN en la

categoría 2

•Proporción de estudiantes de la IE cuyos hogares son estrato 0

Criterios Clúster

Clúster 7 Instituciones Educativas

ubicadas en corregimientos

INST EDUC DEBORA ARANGO PEREZ

INST EDUC SANTA ELENA

INST EDUC HECTOR ROGELIO MONTOYA

INST EDUC CARLOS ALBERTO CALDERON

INST EDUC MARINA ORTH

INST EDUC SAN JOSE OBRERO

INST EDUC FRANCISCO LUIS HERNANDEZ

BETANCUR

INST EDUC LA HUERTA

Clúster 6 Centros Educativos

CENT EDUC MEDIA LUNA

CENT EDUC PERMANENTE MAZO

CENT EDUC PEDREGAL ALTO

CENT EDUC LA ALDEA

CENT EDUC LAS PLAYAS

CENT EDUC EL SALADO

CENT EDUC JUAN ANDRES PATINO

CENT EDUC EL MANZANILLO

CENT EDUC TRAVESIAS EL MORRO

Clúster 8 Instituciones educativas nuevas 2011

INST EDUC JORGE ELIECER GAITAN

INST EDUC COL LOYOLA PARA LA CIENCIA Y LA

INNOVACION

INST EDUC MIRAFLORES

INST EDUC EL PINAL

INST EDUC MANUEL URIBE ANGEL

INST EDUC CARLOS VIECO ORTIZ

Criterios Especiales Clúster

Clúster Tamaño Porcentaje

1 28 13.40

2 45 21.53

3 34 16.27

4 47 22.49

5 32 15.31

6 9 4.31

7 8 3.83

8 6 2.87

Total 209 100.00

Tamaño Clúster

Reporte Aplicativo Web

Reporte Aplicativo Web

Reporte sistema web

Diseño de Aplicativo

Multiusuario y flexible de manera que permita ser instalado y operado por entidades diferentes a la SE

Captura de información de fuentes primarias y secundarias

Estimación de indicadores

Permite hacer consultas de los datos vía web

Integra las fuentes de datos primarias y secundarias para generar informes de progreso de las IE

Plataforma Informática

Mide calidad usando diferentes criterios

Centraliza la información y genera informes estándares para todas las IE

Se espera adicionar al sistema los resultados del instrumento de gestión de rendimiento escolar que esta piloteando actualmente la SEM

Se esta buscando que sea compatible y converse con los sistemas de información del MEN

Facilita el monitoreo, la evaluación y la toma de decisiones

Ventajas del Sistema