La Relacin entre Es/maciones de Valor Agregado de Profesores y sus Resultados en la Evaluacin Docente

Sandy Taut, Edgar Valencia, Jorge Escobar Presentacin en COLMEE 2012

San/ago, 5 octubre, 2012

Financiado por Fondecyt No. 1120441

Validacin de sistemas de medicin

Agenda de validacin de la Evaluacin Docente (Taut, Santelices & Manzi, 2011).

Evidencia sobre validez en base de relaciones con otras variables (AERA, APA & NCME, 1999): aprendizaje de los alumnos en pruebas estandarizadas (SIMCE).

2

Denicin de Valor Agregado a nivel profesor

Valor Agregado (VA) intenta capturar la contribucin especca del profesor al aprendizaje de sus alumnos usando al menos dos mediciones de desempeo de los mismos alumnos en el /empo. VA controla al menos por el punto de par/da de los alumnos y en muchos casos incluye variables adicionales de caracters/cas de los alumnos y del contexto, todos los cuales describen aspectos que inuyen en la labor docente pero que estn fuera del control directo del profesor.

Ver Braun, 2010 3

Estudios similares En Estados Unidos, correlacin entre medidas de Valor

Agregado del profesor y evaluacin basada en estndares u otras medidas son posi/vas y de magnitud pequea a moderada (Milanowski, 2004, 2011; Hill, Kapitula & Umland, 2011; Gates Founda/on, 2012).

En Chile, reciente estudio de MINEDUC (2012) - sin u/lizar VAM muestra correlaciones entre SIMCE 4 bsico y ED de 0.12 en mat y 0.10 en leng

Todos estos estudios muestran cierta evidencia que apoya a la validez convergente de diferentes medidas del desempeo docente.

4

Pregunta de Inves/gacin

Existe evidencia que apoye la validez de la Evaluacin Docente usando aprendizaje de los estudiantes como criterio de desempeo docente? Hiptesis: Resultado de Evaluacin Docente est posi/vamente (0.3) asociado con es/maciones de Valor Agregado del profesor.

5

Bases de datos u/lizados

Evaluacin Docente: datos 2005-2010. Registro Docente 2005 2006: vincula docentes a cursos.

Rendimiento y matricula 1 medio 2005 y 2 medio 2006: vincula alumnos a cursos.

Aprendizaje de los alumnos: SIMCE 8vo-2do (2004-2006), Lenguaje y Matem/ca.

Muestras nales Solo se incluyen alumnos y docentes que han estado

trabajando juntos tanto en 1o medio como en 2o medio. Solo se incluyen profesores si /enen datos completos de al

menos N=10 alumnos. Muestra 2006: se calculan resultados de correlacin entre

docentes evaluados en 2006 y resultados de sus alumnos.

7

Tamao Lenguaje Total

Matemtica Total

Lenguaje 2006

Matemtica 2006

Alumnos 27156 27601 6045 5552 Cursos 1187 1187 245 233 Profesores 761 725 165 154 Cursos / Profesor 1.56 1.65 1.48 1.51 Media alumno / profesor 35.68 38.07 36.64 36.05 Min alumnos / profesor 10 10 10 10 Max alumnos / profesor 187 327 187 130 Escuelas 476 477 90 95 !

Los seis modelos Modelos que NO son VAM (tribute to the economists): M1 (Pseudo-VA1): covariables a nivel estudiante, pero sin

rendimiento previo M2 (Pseudo-VA2): covariables a nivel estudiante y aula, pero sin

rendimiento previo Modelos VAM sin covariables (tribute to Tennessee): M3 (VA1): solo rendimiento previo a nivel alumno M4 (VA2): solo rendimiento previo a nivel alumno y aula Modelos VAM con covariables (tribute to complexity): M5 (VA3): covariables a nivel alumno, incl. rendim. previo M6 (VA4): covariables a nivel alumno y aula, incl. rendim. previo

8

RESULTADOS DE MODELOS DE VALOR AGREGADO

10

Resultados de es/maciones de VA

Portafolio N VA D.E. %VA>0 Insatisfactorio 6 -0.16 0.26 16.67 Bsico 107 -0.01 0.21 17.76 Competente 38 0.05 0.19 21.05

!

SIMCE Matem/ca, M6 ms completo, muestra 2006 y resultados ED Portafolio 2006

Resultados de es/maciones de VA

12

SIMCE Matem/ca, M6 ms completo, muestra 2006 y resultados ED Portafolio 2006

RESULTADOS DE CORRELACIONES ENTRE VA Y ED

13

Correlaciones VA-ED: Muestra 2006 Matem/ca (n=150)

logro M1 M2 dif M3 M4 M5 M6 AE -0.01 0.04 0.10 0.04 0.03 0.09 0.07 0.09 EP 0.13 0.11 0.07 0.10 0.10 0.02 0.08 0.00 IRT 0.11 0.11 0.08 0.16 0.16 0.18* 0.14 0.17* M1 0.22** 0.26** 0.14 0.28** 0.25** 0.19** 0.27** 0.21** M2 0.21* 0.26** 0.31** 0.24** 0.23** 0.18* 0.27** 0.19* PF 0.26** 0.32** 0.24** 0.32** 0.29** 0.21** 0.33** 0.23** TOTAL 0.24** 0.28** 0.21** 0.28** 0.26** 0.19* 0.28** 0.20* !

Correlaciones VA-ED: Muestra 2006 Lenguaje (n=164)

logro M1 M2 dif M3 M4 M5 M6 AE -0.07 -0.07 -0.09 -0.03 -0.06 -0.05 -0.08 -0.06 EP 0.05 0.01 -0.01 0.09 0.10 0.11 0.07 0.10 IRT 0.05 0.05 -0.05 0.06 0.05 0.03 0.05 0.02 M1 0.06 0.03 0.02 0.11 0.10 0.13 0.10 0.13 M2 0.10 0.15 0.22** 0.20* 0.18* 0.22** 0.23** 0.24** PF 0.11 0.10 0.12 0.17* 0.17* 0.20* 0.19* 0.21** TOTAL 0.09 0.08 0.07 0.16* 0.16* 0.18* 0.16* 0.19* !

Resumen

Correlaciones entre ED y VA estn cerca de lo esperado comparado con estudios internacionales similares y entregan evidencia de validez convergente.

Evidencia ms fuerte de validez existe respecto del portafolio de la ED y para la muestra 2006 que vincula la ED con VA del mismo ao.

Limitaciones de los datos disponibles

Carencia de datos de varios aos de un mismo profesor para inves/gar la estabilidad de las es/maciones y correlaciones.

Carencia de pruebas ver/calmente alineadas (8vo-2do): distancia de dos aos entre primera y segunda medicin y dis/ntos contenidos.

17

Preguntas pendientes Cmo se relacionan las es/maciones de VA del mismo profesor en dis/ntos cursos y aos?

Cmo se relacionan las es/maciones de VA con resultados en las dis/ntas dimensiones del portafolio?

Cmo se ven cambiados las es/maciones de VA al incluir un tercer nivel escuela o comuna, o efectos jos escuela o comuna?

Cmo cambian los resultados al tener datos con un vnculo ms directo entre dis/ntas medidas de aprendizaje y prc/cas docente?

18