diapositiva 1cognitive-and-educational-assessment.org/documents/...title diapositiva 1 author...
TRANSCRIPT
Alternative
Methodologies
For Identifying
Effective
School.
W.J. Webster, R.L. Mendro, K.L. Bembry, T. H. Orsak.(1995)
Annual
Meeting of
the
American
Educational
Research
Association
Prof. Adj. Roberto Daniel Cáceres Bauer
Unidad de Evaluación, Dep. de Educación Médica, UdelaR.
SEMINARIOS DE EVALUACIÓN DE LA EFECTIVIDAD EN LA ENSEÑANZA
INTRODUCCIÓN
PROPÓSITO DEL TRABAJO.
•
Definir "escuelas" efectivas controlando por factores sobre los que las escuelas no tienen control y luego determinar que escuela realizó
el progreso más grande.
•
Estudiar la consistencia entre dos metodologías diferentes de evaluación: una basada en la aplicación de regresión lineal múltiple, y la otra basada en modelos jerárquicos.
•
Específicamente, la consistencia de resultados estudiada, es entre un modelo que se basa en interacciones para asegurar "fairness" y modelos jerárquicos de dos niveles que usan las mismas variables de contexto y que adicionan variables condicionantes a nivel de la escuela.
FUNDAMENTOS Y MARCO CONCEPTUAL
Esta metodología determina un resultado esperado sobre una variable para el estudiante con un conjunto dado de características y un nivel de valores previos de desempeño en un resultado relacionado.
La efectividad está
determinada por cuanto el estudiante excede o cae debajo del valor predicho para el resultado en el nivel del estudiante y por cuanto el promedio de la escuela hace eso en el nivel agregado.
Determinación de la Efectividad mediante el Enfoque del Valor Agregado.
Método de Valor Agregado-
Aplicación de Regresión Lineal Múltiple (MLM).
•
Variables a nivel de los estudiantes pueden ser usadas para controlar su efecto sobre la variable resultado. Se suelen considerar variables concomitantes y variables que describen niveles previos de rendimiento.
•
Las variables a nivel de “clase”
o “escuela”
se pueden considerar, pero se consideran como efectos fijos.
Método de Valor Agregado-
Aplicación de Modelos Jerárquicos (HLM).•
Variables a nivel de los estudiantes pueden ser usadas
para controlar su efecto sobre la variable resultado. Se suelen considerar variables concomitantes y variables que describen niveles previos de rendimiento.
•
Las variables a nivel de “clase”
o “escuela”
se pueden considerar tratandolos como efectos aleatorios.
•
Este modelo puede tomar en cuenta correlaciones dentro de una “clase”
o “escuela”.
Metodología de la Evaluación Longitudinal de la Efectividad Instruccional: MLR
1.
Primera Etapa:
Se usa MLR para remover el efecto de variables concomitantes en variables explicativas y variables respuesta.
2.
Segunda Etapa: Se aplica un modelo a los residuos obtenidos en la primer etapa. El modelo es de dos niveles, con variables relacionadas con la escuela. Los residuos de las variables explicativas son usadas para explicar los residuos de las variables respuesta.
3.
Tercera Etapa: Los residuos obtenidos en la etapa 2, se usan para calcular los índices de efectividad de los docentes y cursos.
Metodología de la Evaluación Longitudinal de la Efectividad Instruccional:MLR
Primera Etapa:
Se usa MLR para remover el efecto de variables concomitantes en variables explicativas y variables respuesta (efectos principales e interacciones).
Observaciones:• Ejemplos de variables concomitantes:
género, SES.
•Residuo de variable respuesta:
•Residuo de variable respuesta:
• i (individuo), g (grado), m (medida).
ˆcmgi mgi mgid Y Y
ˆpmgi mgi mgid X X
Metodología de la Evaluación Longitudinal de la Efectividad Instruccional: MLM
Segunda Etapa:
Se aplica un modelo a los residuos obtenidos en la primer etapa. El modelo es de dos niveles, con variables relacionadas con la escuela. Los residuos de las variables explicativas son usadas para explicar los residuos de las variables respuesta.
0 1 2rmgi rmgi rmgiY b b X b X e
• r denota “residuo”, m, g, i tienen el mismo significado.
Metodología de la Evaluación Longitudinal de la Efectividad Instruccional: MLM
Tercera Etapa: Los residuos obtenidos en la etapa 2, se usan para calcular los índices de efectividad de los docentes y cursos.
• Residuo bruto: rmgi rmgi rmgid Y Y
•
El “Espacio Predictor”
se divide en intervalos(ej. 256 intervalos), para cada uno de ellos se calcula la media y el desvío.
• Residuo estandarizado: ( )rpmgi rpmgi rpmg rpmgd d d sd
• p es el índice del intervalo.
•
Los residuos para una “escuela”
se obtienen asociando cada residuo con la escuela y agregandolos.
•
Para obtener un ordenamiento general para varias “escuelas” tomando en cuenta el tamaño muestral,n, en cada “escuela”
se
multiplica por raiz de n, el residuo al cual se le resto la media de los residuos de las escuelas y dividiendo por el desvio estándar de los residuos de las escuelas (aprox, 0 y 1, respectivamente).
•
Las desviaciones medias se convierten a un puntaje T con media 50 y un devío
10.
Metodología de la Evaluación Longitudinal de la Efectividad Instruccional:(HLM).
1.
HLM estima ecuaciones lineales que explican resultados para miembros de un grupo como función las características del grupo así
como también las características de los miembros.
2.
La estructura anidada de los estudiantes dentro de la clases y clases dentro de escuelas produce una varianza diferente a cada nivel de los factores medidos a cada nivel.
3.
HLM puede explicar los resultados de los estudiantes y
crecimiento como una función las características del nivel de la escuela o nivel de la clase, tomando en cuenta la varianza de los resultados de los estudiantes dentro de la escuela.
Metodología de la Evaluación Longitudinal de la Efectividad Instruccional:(HLM).
4.
HLM puede modelar el efecto de las variables del perfíl
del estudiante, tales como género, etnia, SES, sobre resultados dentro de la escuela o clase, y explicar diferencias en estos efectos entre escuelas y clases usando diferencias en las escuelas o clases.
5.
HLM puede modelar la varianza entre e intra
escuela simultáneamente y así
producir mejores estimados de los
resultados de los estudiantes.
4.
HLM puede producir mejores estimados de los predictores
de lo resultados de los estudiantes dentro de las clases usando información sobre estas relaciones obtenida a partir de otras escuelas y clases.
Metodología de la Evaluación Longitudinal de la Efectividad Instruccional:(HLM).
Debido a limitaciones en el número de variables que pueden ser usadas en HLM debido a tamaños muestrales
pequeños
en algunas escuelas, y las correlaciones altas entre variables de base:
(A)
se utilizó
la metodología descripta en la Primera etapa del método basado en MLR, para obtener los residuos en los que se controlo por las variables de contexto.
(B)
Se utilizo un HLM con 2 niveles basado en los residuos obtenidos en la parte A.
MODELO.
Nivel 1:
0 1 1 2 2rjmgi j j j rjmgiY B B X B X r
•
j denota la escuela, m la medida de resultado, g el grado, i el estudiante.
MODELO.Nivel 2:
0 00 01 0
1 10 11
j j j
j j ij
B W u
B W u
•
j denota la escuela,i
el estudiante, primer indice
de B denota variable resultado.
MODELO.
B0j = intersección para la escuela j;
00
= parámetro de nivel 2, media de las intersecciones para todas las escuelas;
01
= parámetro de nivel 2, coeficiente de regresión de predicción de la intersección de la escuela en función de los variables condicionantes.
u0j
= efecto aleatorio de nivel 2.
MODELO.
Bij
= pendiente individual para la escuela j;
10
= parámetro de nivel 2, media de las pendientes para todas las escuelas;
11
= parámetro de nivel 2, coeficiente de regresión de predicción de la pendiente de la escuela en función de los variables condicionantes.
uij
=
efecto aleatorio de nivel 2.
Wj
son predictores
de segundo nivel.
METODOLOGÍA
Muestra.
•
119 escuelas elementales de la Escuela Pública de Dallas en el grado cuarto.
• 7446 estudiantes.
Resultados
Consistencia de las dos Metodologías.
La consistencia entre modelos comparables fue alta, con una correlación de los resultados de 0.97.
Correlación entre los rankings
producidos por los modelos y las variables de contexto
de las escuelas.
•
El porcentaje de la varianza de los rankings
explicada por variables de contexto, en general fue menor a un 3%.
•
En los modelos HLM es necesario incluir dichas variables en el segundo nivel como variables condicionantes. En ese caso las correlaciones se ajustan a 0.
Sumario y Conclusiones.
1.
Las diferencias en “rankings”
obtenidas por las dos metodologías fue mímica.
2.
Las clasificaciones de las “escuelas”
basadas en escores brutos es sesgada.
3.
Es necesario incluir las variables concomitantes incluso con los modelos HLM, para evitar correlaciones con variables a nivel de la “escuela”
que no están bajo su control.
4.
En conclusión es importante que se incluyan tanto variables contextuales a nivel del “estudiante”
como variables a nivel
de la “escuela”.
Gracias.