sesion informativa taller sobre uso de bases de datos censales saber 5 y 9

Taller sobre uso de las bases de datos censales SABER 5° y 9°

Programa ICFES de Fomento a la Investigación

Oficina de Investigaciones

Bogotá, marzo de 2011

Dirección de Evaluación

Instituto Colombiano de Evaluación de la Educación

Taller sobre uso de bases de datos SABER 5 y 9Programa de fomento a la Investigación –ICFES-

SABER: Evaluaciones muestrales

Año aplicación

Grados Áreas Muestra

1991 3 , 5 , 7 y 9• Lenguaje • Matemáticas

21.000 estudiantes de primaria de 13 departamentos

1992-1994 3 , 5 , 7 y 9• Lenguaje • Matemáticas• Factores asociados

22.000 3 y 5 grado; 15.000 7 y 9 grado

1997-1999 3 , 5 , 7 y 9

• Lenguaje• Matemáticas• Ciencias Naturales,• Ciencias Sociales Competencias

Ciudadanas• Factores asociados

Muestra representativa a nivel nacional y 6 regiones

2


SABER: Evaluaciones Censales

3

Año

aplicaciónGrados Áreas Población

2002-03 5 y 9 grado

• Lenguaje

• Matemáticas

• Ciencias naturales

• Competencias ciudadanas

1.030.626 estudiantes

33.652 instituciones

2005-06 5 y 9 grado

• Lenguaje

• Matemáticas


• Ciencias sociales

• Competencias ciudadanas



2009 5 y 9 grado

• Lenguaje

• Matemáticas


• Factores asociados




Etapas y actividades de SABER 5 y 9 , edición 2009

Etapas.

1. Diseño de SABER, proyectado para 12 años (2009 a 2021)

2. Diseño y desarrollo de los instrumentos de evaluación

3. Aplicación definitiva de las pruebas y cuestionarios

4. Procesamiento de resultados

5. Equiparación resultados históricos

6. Producción de reportes y divulgación de resultados

Actividades

1. Operativo de la aplicación censal.

2. Operativo de la aplicación muestral.

3. Estudio de factores asociados.

4


Qué se evalúa en SABER 5 y 9 2009

Evaluación alineada con los estándares básicos de competenciadel MEN

– Resultados posibilitan el monitoreo de los avances en el tiempoy son un insumo para el diseño de estrategias específicas demejoramiento

Evalúa las competencias en lenguaje, matemáticas y cienciasnaturales que han desarrollado los estudiantes hasta 5 grado(ciclo de básica primaria) y hasta 9 grado (ciclo de básicasecundaria).

Prueba estandarizada de “lápiz y papel”

– No es posible evaluar todas la competencias establecidas en losestándares

5


Pruebas estructuradas bajo la metodología conocida como diseño deespecificaciones basado en el modelo de evidencias.

6

7

EjemplosES

TÁN

DA

R

Identifico estructuras de los seres vivos que les permiten desarrollarse en un entorno y que puedo utilizar como criterios de clasificación

CO

MP

ETEN

CIA

Uso del conocimiento científico

CO

MP

ON

ENTE

Entorno vivo

AFI

RM

AC

IÓN Analiza algunas

diferencias y semejanzas de las características de los seres vivos

Ciclo 1º a 5º, Ciencias Naturales

8

EjemplosES

TÁN

DA

R Explico la variabilidad en las poblaciones y la diversidad biológica como consecuencia de estrategias de reproducción, cambios genéticos y selección natural

CO

MP

ETEN

CIA

Uso del conocimiento científico

CO

MP

ON

ENTE

Entorno vivo

AFI

RM

AC

IÓN

Analiza el funcionamiento de los seres vivos en términos de sus estructuras y procesos

Ciclo 6º a 9º, Ciencias Naturales


Área Competencias Componentes

LenguajeComunicativa

Proceso de lecturaProceso de escritura

SemánticoSintácticoPragmático

Matemáticas

Razonamiento y argumentaciónComunicación, representación y modelaciónPlanteamiento y resolución de problemas

Numérico-variacionalGeométrico-métricoAleatorio

Ciencias Naturales

Uso comprensivo del conocimiento científicoExplicación de fenómenosIndagación

Entorno vivoEntorno físicoCiencia, tecnología y sociedad (CTS)

9

Competencias y componentes evaluados


Población evaluada en 2009

Operativo censal

Operativo muestral controlado

10

Grado Calendario Estudiantes Establecimientos

Quinto

A 595.768 13.233

B 64.103 2.248

Total 659.871 15.481

Noveno

A 409.227 7.044

B 48.528 913

Total 457.755 7.957

Grado Calendario Estudiantes Establecimientos

Quinto

A 73.658 986

B 28.106 453

Total 101.764 1.439

Noveno

A 61.781 850

B 24.778 366

Total 86.559 1.216


Población evaluada en 2009

Factores asociados

11

Grado Calendario Población

Estudiantes

5° grado 5.454

9° grado 5.704

Total 11.158

Docentes

5° grado 301

9° grado 294

Total 595

Aulas Total 596

Sedes-jornada Total266

Rectores Total 122


Instrumentos utilizados

Pruebas: se aplicaron pruebas en matemáticas, lenguaje y ciencias, en 5 y 9 grado, para un totalde 6 pruebas. Cada una de estas pruebas se califica separadamente, aunque siguiendo los mismospatrones de procesamiento.

Cada estudiante contestó pruebas de dos de las tres áreas evaluadas.

– 5 grado respondieron 84 o 96 ítems, en una sesión de 180 minutos

– 9 grado respondieron 108 ítems, en una sesión de 180 minutos de duración.

Todas las preguntas utilizadas en las pruebas son de selección múltiple con única respuesta. En cadapregunta se presenta el enunciado y cuatro opciones de respuesta, denominadas A, B, C y D. Sólouna de ellas es correcta y válida con respecto a la situación planteada.

12

Numero de Ítems Bloques Ítems por Bloque

Área 5° 9° 5° 9° 5° 9°

Matemáticas 192 216 8 8 24 27

Lenguaje 144 216 8 8 18 27

Ciencias 192 216 8 8 24 27


Cuestionario sociodemográfico: Consta de 13 preguntas que indagan por:edad, género, condición de discapacidad, bilingüismo en alguna lenguaindígena, modelo educativo, antecedentes educativos de los padres yalgunas condiciones del hogar

Cuestionarios de factores asociados

– Cuestionario de estudiantes

– Cuestionario de docentes

– Cuestionario de rectores

– Ficha de observación del aula

– Ficha de observación del establecimiento educativo

13


Resultados SABER 5 y 9

Resultados censales:

– Retroalimentar a los establecimientos educativos y las administracionesmunicipales y departamentales, dando elementos para la formulación y/oreorientación de sus planes de mejoramiento.

Resultados muestrales:

– Estimar con márgenes de error bajos el estado de las competencias de losestudiantes de educación básica y secundaria y las diferencias entrediversos grupos

– Consolidar una línea de comparación hacia el futuro que facilitará elseguimiento de los avances en la calidad de la educación colombiana.

Resultados históricos

– Establecer una comparación entre resultados de aplicaciones anteriores

14


Tipos de resultados

Puntajes promedio:

– Independiente para cada grado y área. Para la calificación se empleó la Teoría deRespuesta al Ítem (TRI) de dos parámetros y la metodología de valores plausibles

Desviación estándar:

– Medida de la dispersión de los resultados

Niveles de desempeño:

– Describen las competencias de los estudiantes en cuanto a lo que saben y sabenhacer en una determinada área y grado

Desagregaciones:

– Sector (Oficial, No oficial)

– Zona (Urbano, Rural)

– Interacción sector-zona (Oficiales urbanos, oficiales rurales y no oficiales)

– Género

– Nivel socioeconómico (Cuatro categorías)

15


Niveles de desempeño

Tipo de resultados que permiten observar laclasificación a los estudiantes según el desempeñoalcanzados en cada una de las áreas evaluadas.

Describen las competencias de los estudiantes encuanto a lo que saben y saben hacer según la pruebaen cada área evaluado y grado.

16


Características de los niveles de desempeño

Globales:

– Se encuentran definidos para la prueba total y no para

competencias y componentes específicos.

Jerárquicos:

– Significa que tienen complejidad creciente. Por tanto, el nivelavanzado es más complejo que el satisfactorio y, a su vez, esteúltimo es más complejo que el mínimo.

Inclusivos

– Para ubicarse en un nivel determinado es necesario superar losniveles precedentes

17


Descripción general de los niveles de desempeño

18

Avanzado

El estudiante promedio ubicado en este nivel muestra

un desempeño sobresaliente en las competencias

esperadas para el área y grado evaluado.

Satisfactorio

El estudiante promedio ubicado en este nivel tiene un

desempeño adecuado en las competencias exigibles

para el área y grado evaluado. Este es el nivel esperado

que todos, o la gran mayoría de los estudiantes, debería

alcanzar.

Mínimo

El estudiante promedio ubicado en este nivel muestra

un desempeño mínimo en las competencias exigibles

para el área y grado evaluado.

InsuficienteEl estudiante promedio ubicado en este nivel no

demuestra los desempeños mínimos establecidos.


Resultados Censales

ObjetivosTipos de

resultadosBases de

datosInformación

adicional

19


Objetivos

Retroalimentar y dar elementos a los establecimientoseducativos, así como a las administraciones municipales ydepartamentales, para la formulación o reorientación desus planes de mejoramiento.

20


Información que provee

• Los resultados en lenguaje, matemáticas y ciencias naturales de unestablecimiento educativo y sus respectivas sedes y jornadas, enquinto o noveno grado.

• Los resultados agregados de las instituciones educativas a nivel demunicipios, departamentos y entidad territorial en lenguaje,matemáticas y ciencias naturales para quinto y noveno grado.

• Los resultados de las instituciones educativas a nivel de municipios,departamentos y entidades territoriales desagregados por sector,zona, género y nivel socioeconómico en lenguaje, matemáticas yciencias naturales para quinto y noveno grado.

• Las fortalezas y debilidades de las instituciones educativas en lascompetencias y componentes evaluados.

21


Tipos de resultados

Puntajes promedio: media de los promedios ponderados de cada valorplausible de los estudiantes de la institución.

Desviaciones estándar: media de las desviaciones estándar ponderadasde cada valor plausible de los estudiantes de la institución

Distribuciones según niveles de desempeño: porcentajes de estudiantesen cada nivel de desempeño. Estos se ubican en sólo un nivel dedesempeño según la mediana de sus valores plausibles.

Fortalezas y debilidades en las competencias y componentes evaluados:categorización de la diferencia entre el promedio de los estudiantes encada competencia y componente de acuerdo con el valor esperado paralos colegios de un rendimiento similar en esa misma área y grado.

Resultados discapacitados: Número de estudiantes con discapacidadcognitiva ubicados en cada nivel desempeño de acuerdo con la medianade sus valores plausibles. Estos estudiantes no se incluyen para el cálculode los otros resultados de la institución.

22


Modelo entidad de relación

23


Base de datos con resultados censales

– Resultados por Entidad Territorial

– Resultados por Municipios

Resultados por Departamentos

– Resultados por Establecimiento Educativo

– Resultados por Sede-jornada

24

Bases de datos

BASE DE DATOS

BASE CENSAL


Bases de datos

Bases Tablas Variables

• Resultados por Entidad

Territorial

• Resultados por Municipios

• Resultados por

Departamentos

• Evaluados discapacitados

• Evaluados modelo educativo

• Id

• Id_municipio

• Nombre

• Grado

• Caso

• Total

• Áreas*

• Ficha técnica

• Grado

• Presentes*

• Ausentes*

• Copia_eval*

• Copia_inst*

• Resultados

• Resultados género

• Resultados NSE

• Resultados Sector

• Resultados Zona

• Resultados Discapacitados

• Subtipo*

• Área

• Grado

• Peso

• Promedio*

• Desviación*

• Rango (1-6)

25BASE DE DATOS

BASE CENSAL\SB5y9-2009-entidad territorial-v1-1.mdb


Bases de datos

26


• Resultados por

Establecimiento

educativo

• Entidad_territorial• Id_ente

• Nombre

• Municipios_incluidos

• Municipios_excluidos

• Evaluados Discapacitados

• Evaluados Ente Educativo

• Id

• Id_municipio

• Nombre

• Grado

• Caso

• Total

• Áreas*

• Ficha_tecnica

• Grado

• Presentes*

• Ausentes*

• Copia_eval*

• Copia_sede*

• Institución

• Ente_id

• Id_institucion

• Id_municipio

• Nombre

• Direccion

• Nivel_socio

• Zona

• Sector

• Resultados

• Resultados_

Discapacitados

• Subtipo*

• Área

• Grado

• Peso

• Promedio*

• Desviación*

• Rango (1-6)

BASE DE DATOS

BASE CENSAL\SB5y9-2009-establecimiento educativo-v1-1.mdb


Bases de datos

27


• Resultados por

Sede jornada

• Entidad_territorial• Id_ente

• Nombre

• Municipios_incluidos

• Municipios_excluidos

• Evaluados

Discapacitados

• Evaluados Ente

Educativo

• Id

• Id_municipio

• Nombre

• Grado

• Caso

• Total

• Áreas*

• Ficha_tecnica

• Grado

• Presentes*

• Ausentes*

• confiable*

• Copia_eval*

• Institución

• Ente_id

• Id_institucion

• Id_municipio

• Nombre

• Direccion

• Nivel_socio

• Zona

• Sector

• Sede

• Id_sede

• Codidodane_inst

• Codigodane_sede

• Jornada

• Nombre

• Direccion

• Resultados

• Resultados_

Discapacitados

• Subtipo*

• Área

• Grado

• Peso

• Rango (1-6)

BASE DE DATOS

BASE CENSAL\SB5y9-2009-sede jornada-v1-1.mdb


Recomendaciones

• No combinar resultados por grado

• No combinar resultados por áreas

• No combinar resultados censales, muestrales e históricos

• Usar los pesos en los casos en que se encuentran disponibles

• Usar los valores plausibles en los casos en que se encuentrandisponibles

• Tener en cuenta las unidades de análisis

– Censal: instituciones

• No realizar comparaciones entre diferentes aplicaciones deSABER 5º y 9º

28


Información adicional

29

http://www.icfes.gov.co/saber59/

http://www.icfes.gov.co/saber59/

sesion informativa taller sobre uso de bases de datos censales saber 5 y 9

Education