carrasco sanmartin

¿Están los cuasi mercados de educaciónlogrando su propósito en Chile?

Re-examinando hipótesis desde modelos de valoragregado

Alejandro Carrasco∗ y Ernesto San Martín∗,‡,†

∗Facultad de Educación, Pontificia Universidad Católica de Chile‡Centro de Medición MIDE UC

†Departamento de Estadística, Pontificia Universidad Católica de Chile

Seminario sobre Elección de Escuelas, Competencia y Resultados

Estudios de Economía, Departamento de Economía, Universidad de Chile

CEPPE, Pontificia Universidad Católica de Chile

Santiago, Septiembre 12, 2011

Motivación

I ¿Por qué re-examinar las hipótesis de fondo de losmecanismos de cuasi-mercado en educación?

I Son una política educativa (i.e., contingente).

I Treinta años de funcionamiento.

I Examen ex-post: política implementada sin evidencia debase.

I Política implementada sin deliberación pública.

Antecedentes

I Replantearse lo que sabemos sobre el impacto de los vouchers:

I Diferencias de rendimiento entre colegios públicos y privados: evidenciamixta, levemente a favor de colegios particulares subvencionados(Gallego & Sapelli, 2003; McEwan, 2003; Mizala & Romaguera, 2000;Bellei, 2007; Paredes & Drago, 2011).

I Impacto en segregación escolar del sistema escolar: concluyente (Mizala& Romagera, 2000; Carnoy, 1998; Hsieh & Urquiola, 2006; Valenzuela etal 2008; Elacqua, 2009).

I Libertad de elección por parte de las familias: incipiente evidencia ycontroversial. Padres eligen por cercanía (Elacqua, 2009), calidad(Chamucero et al, 2008; Gallego, 2006), composición social pares(Elacqua & Schneider, 2006), families escogidas por escuelas (Contreraset al, 2007).

Preguntas de Interés

I Pregunta 1: En términos de efectividad escolar, ¿existen diferenciasentre colegios municipalizados (MUN) y colegios particularessubvencionados (PS)?

I Hipótesis de cuasi-mercado: La existencia de diversos proveedores quecompiten por capturar los vouchers los estimulará a mejorar sudesempeño, siendo los proveedores privados quienes responderán demanera más eficiente y así ofreciendo una educación de mejor calidad.

I Pregunta 2: Al buscar el bienestar de sus hijos/as, ¿están los padres yapoderados eligiendo las escuelas más efectivas?

I Hipótesis de cuasi-mercado: Buscando el bienestar de sus hijos/as, lospadres y apoderados elegirán escuelas de mejor calidad, y retirarán a sushijos/as de las que no lo son.

Características de la Información Disponible

I Características de la información sobre la cual podemosofrecer respuestas:

I Datos observacionales en oposición a datos experimentales.

I No hay asignación aleatoria de estudiantes en escuelas.

I Existe información socio-económica y cultural tanto a nivel deestudiantes como a nivel de escuela.

I Existen dos mediciones estandarizadas a nivel de estudiantes:la primera tomada en 2004 y la segunda tomada en 2006.

Herramientas de Modelamiento

I Modelamiento de datos observacionales: la información subyacente alfenómeno estudiado es caracterizada por medio de relacionesestructurales de dependencia entre las variables que capturandicha información.

I Conditional independence is the key concept of structural modelling(Novick, 1979).

I Condicionalización: sean X ,Y y Z tres conjuntos de variables.

I E(Y | X ,Z ): La predicción de Y por (X ,Z ).

I X ⊥⊥ Y | Z : X depende de (Y ,Z ) por medio de Z sólo, siendo Yredundante (relación es simétrica en X e Y ).

I Ejemplo: un procedimiento de selección universitaria (X ) puede dependerdel sexo del candidato (Y ) y del puntaje Z en una prueba de selección. Unprocedimiento justo está caracterizado por X ⊥⊥ Y | Z .

Información Disponible

I Puntaje SIMCE Matemáticas 2006 de estudiante i de colegio j : Yij .

I Puntaje SIMCE Matemáticas 2004 de estudiante i de colegio j : Xij .

I Sexo, Repitencia con anterioridad a 2006 (y, por tanto, a 2004), Cambiode colegio entre 2004 y 2006.

I Efecto composicional X•j , promedio de SIMCE 2004 de estudiantes decolegio j en 2006.

I Grupo socio-económico de la escuela, Proporción de Selectividad.

I Las covariables tanto individuales como a nivel de escuela serándenotados por T j . En cada caso, se explicitará qué variablesespecíficas se incluye.

Estructura Básica de Modelamiento

I Efecto escuela θj : corresponde a un efecto no-observable.

I Una vez que se fijan las covariables T j , el efecto θj permite explicar ladependencia entre los puntajes Yij ’s:

Yij ⊥⊥ Yi′ j | T j , θj .

I Interpretación: la dependencia entre los puntajes individuales se debe tanto alas covariables T j , como al efecto escuela θj , y no a cierta influencia directaentre los estudiantes.

I Si se asume que E(Yij | Tj , θj ) = f (Tj ) + θj , la dependencia inducida se reducea una correlación positiva entre los puntajes Yij ’s (controlando por lascovariables T j ).

Estructura Básica de Modelamiento

I Descomposición básica de Yij :

Yij = E(Yij | T j )︸︷︷︸Modelo

Estadístico

+[E(Yij | T j , θj )− E(Yij | T j )

]︸︷︷︸Valor agregado

VAj

+[Yij − E(Yij | T j , θj )

]︸︷︷︸Error de medición

εij

I Por construcción, los componentes a la derecha de la igualdad anteriorestán no-correlacionados.

I En T j es necesario incluir las variables que representen los procesosde selección realizados por las escuelas, además del puntaje inicial Xij .

I Practicamente todas las aproximaciones metodológicas que tienen porobjetivo modelar efectividad escolar (en particular, todas las queaparecen en el meta-análisis de Drago & Paredes, 2011) puedendescribirse estructuralmente en los términos anteriores.

Modelos sin Puntaje Previo

I Una forma de estimar la efectividad de una escuela ha sido por mediodel uso de Modelos Lineales Jerárquicos (HLM).

I Conceptualmente, el error de medición εij está “separado” del valoragregado VAj pues, po rconstrucción„ la correlación entre ambos esnula.

I Sin embargo, en estos modelos no se ha incluido como covariableun puntaje inicial medido con anterioridad al puntaje Yij .

I Esto se debe al hecho que, hasta antes de 2006, en Chile no existíanmedidas repetidas a nivel de estudiante.


I La falta de puntaje inicial tiene consecuencias sobre la estructurabásica de los modelos:

Yij = E(Yij | T j ) +[E(Yij | T j , θj ) − E(Yij | T j )

]+

[Yij − E(Yij | T j , θj )

]= T̃

′jβ + PVAj + εij

donde, por ejemplo,

T̃ j = (GSEj ,Prop.Selectj ,Sexoij ,Cambioij ,Repiteij .Ed. Madreij ,Ed.Padreij)

I Aquí, PVAj representa una pseudo-efectividad de la escuela j .


I La base de datos SIMCE 2004-2006 incluye 163.286 estudiantes,repartidos en 1.886 colegios.

I Se estimó la pseudo-efectividad PVAj y se clasificaron las escuelasen 4 grupos de acuerdo a los cuartiles de la disttribución empírica dedichos indicadores:

I Grupo 1: escuelas con valor agregado menores o iguales al primer cuartil.I Grupo 2: escuelas con valor agregado mayores que el primer cuartil y

menores o iguales que la mediana.I Grupo 3: escuelas con valor agregado mayores que la mediana y

menores o iguales que el tercer cuartil.I Grupo 4: escuelas con valor agregado mayores que el tercer cuartil.

I Reportamos los resultados por medio de tablas de contingenciacondicional.


I Tabla de contingencia dependencia dadapseudo-efectividad:

Grupo 1 Grupo 2 Grupo 3 Grupo 4(MUN | Pseudo-Efect) 30,3 % 29,9 % 32,4 % 34,2 %(PS | Pseudo-Efect) 63,1 % 53,1 % 49,9 % 56,5 %(PP | Pseudo-Efect) 6,6 % 17,0 % 17,7 % 9,3 %

I Tabla de contingencia pseudo-efectividad dadadependencia:

MUN PS PP(Grupo 1 | Dependencia) 23,9 % 28,4 % 13,0 %(Grupo 2 | Dependencia) 23,6 % 23,8 % 33,6 %(Grupo 3 | Dependencia) 25,4 % 22,3 % 34,9 %(Grupo 4 | Dependencia) 27,1 % 25,5 % 18,5 %


I PVAj corresponde a una pseudo-efectivdsd pues conceptualmente:

I PVAj incluye el efecto composicional X •j y, enconsecuencia, está correlacionado con las covariables T̃ ij .

I El error de medición εij incluye el puntaje inicial Xij y, enconsecuencia, está correlacionado con PVAj .

I Por lo tanto, las estimaciones de efectividades de escuela estánsesgadas.

Modelamiento de Valor Agregado

I Considerar el puntaje inicial significa contemplar un aspectoeducacional relevante: el aprendizaje que los estudiantesexperimentaron entre una y otra medición.

I Estimar el valor agregado de una escuela significa estimar lacontribución de ésta al aprendizaje de cada estudiante.

I Dada la actual disponibilidad de datos, buscamos conectar laevaluación de los cuasi-mercados educacionales con el conceptosustantivo de efectividad escolar.


I Hipótesis 1: θj representa los aspectos educacionales no-observablesdel colegio j .

I Hipótesis 2: Zj = (GSEj ,Prop.Selectj) representa los aspectossocio-selectivos de la escuela j .

I Hipótesis 3: θj ⊥⊥ Zj .

Es decir, consideramos que Zj no es informativo para determinar θj , einversamente. Si lo fuera, asumiríamos que los aspectos socio-selectivos sonsuficientes para determinar la totalidad de los aspectos educacionales delcolegio.


I Covariables educacionales: el puntaje inicial Xij y el efectocomposicional X•j .

I Bajo estas hipótesis, los aspectos educacionales θj estáncorrelacionados con (Xij ,X•j). Es necesario separar estos dosaspectos.

I Hipótesis 4:(Ed. Padrej ,Ed. Madrej) ⊥⊥ θj | Zj ,

es decir, el nivel educacional de padre y de madre depende de (θj ,Zj ) sólo pormedio de los aspectos socio-selectivos del colegio, siendo θj redundante.


I Bajo las hipótesis anteriores, se deduce que

(Ed. Padrej ,Ed. Madrej) ⊥⊥ θj ,

por lo que (Ed. Padrej ,Ed. Madrej) es un buen candidato para servariable instrumental.

I Además, están correlacionados con las otras covariables exógenas.

I Usando la metodología desarrollada por Manzi, Van Bellegem & SanMartín (2011), se estimaron los indicadores de valor agregado.


I ¿Cuál es el impacto del puntaje previo sobre la estimación deefectividad escolar?

Modelo sin Puntaje Inicial (PVAj )Grupo 1 Grupo 2 Grupo 3 Grupo 4

Modelo con Grupo 1 216 119 77 57Puntaje Grupo 2 127 116 125 106Inicial Grupo 3 82 127 132 131(VAj ) Grupo 4 47 109 135 180

I El 65.8 % de las escuelas cambió su clasificación: el 33.2 % subió suclasificación inicial definida con PVAj , mientras que el 32.6 % bajó suclasificación inicial con PVAj .


I Municipalizados: el 65.4 % cambió su clasificación con respecto a PVAj .



I Particulares Subvencionados: el 71.3 % cambió su clasificación conrespecto a PVAj .




I Particulares Pagados: el 73.1 % cambió su clasificación con respecto aPVAj .



I Resumiendo,

PVAj ↑ VAj VAj ↓ PVAjMN 31.4 % 33.9 %PS 37.8 % 33.5 %PP 33.6 % 39.5 %


I Tabla de contingencia dependencia dada efectividad:

Grupo 1 Grupo 2 Grupo 3 Grupo 4(MN | Efectividad) 30,3 % 32,3 % 35,8 % 28,5 %(PS | Efectividad) 56,5 % 55,3 % 52,8 % 58,2 %(PP | Efectividad) 13,2 % 12,4 % 11,4 % 13,4 %

I Tabla de contingencia efectividad dada dependencia:

MN PS PP(Grupo 1 | Dependencia) 23,7 % 25,2 % 26,1 %(Grupo 2 | Dependencia) 25,6 % 25,0 % 24,8 %(Grupo 3 | Dependencia) 28,3 % 23,7 % 22,7 %(Grupo 4 | Dependencia) 22,4 % 26,1 % 26,5 %

Elección de Escuelas y Efectividad Escolar

I De los 1886 establecimientos bajo estudio, hay 601 que albergan aestudiantes nuevos. Se trata 79.073 estudiantes repartidos sólo encolegios MUN y PS.

I En el cuestionario de padres y apoderados de 2006 hay informaciónacerca de las razones por las cuales padres y apoderados hanescogido el colegio en el que han sido medidos los estudiantes.

I Para la submuestra mencionada, dichas razones tienen un horizontetemporal de al menos dos años.


I Por medio de análisis factoriales exploratorios, se pudieron determinartres razones:

I Calidad: buen SIMCE; buena PSU; Prestigio; GSE.

I Acceso: cercanía de colegio; único en la comuna; costoaccesible.

I Familia: miembros de la familia ya están en el colegio.


I Con la información disponible, podemos ofrecer una primeraaproximación descriptiva.

I Las correlaciones de los indicadores de valor agregado y la proporción(a nivel de colegio) de padres que lo escoge por calidad es igual a 0.03(pero no es estadísticamente significativa).

I Las correlaciones de los indicadores de valor agregado y la proporción(a nivel de colegio) de padres que lo escoge por acceso es igual a 0.02(pero no es estadísticamente significativa).

I Patrones similares se obtienen si dichas correlaciones se calculan pordependencia.


I Si dichas correlaciones se calculan parra cada uno de los grupos deefectividades definidos anteriormente, se observa las siguientescorrelaciones estadísticamente significativas:

I Para el Grupo 2, la correlación entre efectividad y el factoracceso es 0.3.

I Para el Grupo 4, la correlación entre efectividad y el factoracceso es 0.17.

Implicaciones Conceptules y Metodológicas

I La evaluación del impacto del esquema de cuasi-mercado educacionalrequiere metodologías basadas en efectividad sustantiva. De estamanera, la atención se focaliza sobre efectividad escolar en términosde valor agregado, en lugar de diferencias de desempeño.

I Para ello, es necesario conectar dos tradiciones de investigacióneducacional desconectadas ante un objeto común.

I Los modelos de valor agregado se caracterizan por incluir comovariable explicativa el puntaje inicial. En este tipo de modelos esimportante considerar la naturaleza observacional de los datos y, portanto, explicitar las hipótesis estructurales subyacentes al análisis.

Implicaciones Conceptules y Metodológicas

I Las limitaciones tanto de mediciones longitudinales, comoconceptuales, reconfiguran nuestra óptica de clasificación de escuelas:un 65.8 % de las escuelas ha sido reclasificada en términos deefectividad al considerar modelos de valor agregado. Alconsiderar las diferentes dependencias educacionales, laconclusión es similar.

I Re-definir efectividad escolar (calidad educacional) y su medición:

Estimar la contribución de las escuelas, en términos deagregación de valor, en el desarrollo integral de todos ycada uno de sus alumnos, más allá de lo que seríaprevisible teniendo en cuenta su rendimiento inicial y susituación social, cultural y económica.

Re-examinando supuestos de mercado educacional

I Los proveedores privados no son más eficientes:

I Los privados (PS y PP) no lo hacen ni mejor ni peor que losmunicipales en términos de agregación de valor.

I PS proporcionalmente mayor en grupo de menor agregación devalor (56,5 %).

I Pese a restricciones económicas y organizacionales, un cuarto delas escuelas municipalizadas son muy efectivas.

I La competencia no redunda en efectividad (calidad):

I Provisión mixta contribuyó en cobertura, pero no en efectividad(calidad).

I Enorme dispersión de efectividad (calidad), no de proyectoseducativos.

I Presión competitiva por vouchers parece no haber expulsado delsistemas las escuelas no-efectivas.

Re-examinando supuestos de mercado educacional

I Mecanismo de “accountability corta” estático:

I La definición de las familias de una escuela de calidad esidiosincrática (sólo homología semántica).

I El principio regulador del desempeño de las escuelas desde ellado de la demanda es desconocido.

I Reguladores son necesarios ante espirales opuestos dedesempeño con fondos públicos:

I Muchas escuelas efectivas sobre-exigidas al máximo.

I Muchas escuelas, a la vez, muy inefectivas, operando de modoinvisible bajo tolerancia del sistema.

I Familias con un poder de decisión sobre un sistema con máximaopacidad sobre términos calidad educacional.

Implicaciones de Política Pública

I Re-balancear papel excesivo de auto-regulación de mercadoseducacionales, implementando una suerte de accountability larga.

I Consenso político de qué tipo de información es necesario medir a finde remediar en el modelamiento estadístico de valor agregado la faltade asignación aleatoria de alumnos en escuelas (GSE, procedimientosde selectividad, . . . ).

I Clasificación de escuelas: ¿podemos atribuir a las escuelas laresponsabilidad por sus resultados desconociendo si agregan o novalor?

I Responsabilización justa del desempeño de las escuelas.

I Políticas que apunten a caracterizar escuelas efectivas (efectividadsustantiva), para así construir capacidades (mejora escolar).

I Esta presentación está principalmente basada en Are quasi-markets ineducation meeting their policy in Chile? Re-examining empirical hypothesis fromvalue-added models, por A. Carrasco & E. San Martín.

I También se ha utilizado el trabajo School System Evaluation by Value AddedAnalysis Under Endogeneity, por J. Manzi, E. San Martín & S. Van Bellegem.

I Estos trabajos, como esta presentación, han sido parcialmente financiados porel Proyecto FONDECYT No. 1110315 School Effectiveness and Value AddedModels: From Quantitative Analysis to Qualitative Outcomes.

carrasco sanmartin

Documents