hacia un sistema integral y objetivo de evaluación en...
TRANSCRIPT
Hacia un Sistema Integral y Objetivo de Evaluación en Educación Médica.
Prof. Adj. Roberto Daniel Cáceres Bauer
Unidad de Evaluación
Departamento de Educación Médica
Facultad de Medicina, UdelaR
28/03/2011
Conceptos Previos.
La Enseñanza, en un sentido global y general, puede ser definida como el proceso de participar en interacciones con el estudiante diseñadas específicamente, que facilitan, promueven, y resultan en el aprendizaje de los estudiantes.
Enseñanza
El Aprendizaje
podría ser definido como un cambio específico, medible, persistente en el desempeño del estudiante, resultante de una experiencia diseñada por el docente. La experiencia diseñada por el docente se entiende que promueve el logro de metas u objetivos específicos del curso u otra unidad instruccional.
Aprendizaje
La Instrucción
puede ser definida como la entrega de experiencias diseñadas específicamente que, de ser realizada por el tipo de individuo para el cual se pretendía, tiene como consecuencia resultados de aprendizaje predecibles.
Instrucción
Medición
Medición es el proceso de asignar sistemáticamente números a miembros individuales de un conjunto de objetos o personas con el propósito de diferenciar entre ellos en el grado en el cual ellos poseen la característica siendo medida.
La Evaluación
es el proceso de colección sistemática e interpretación de datos de mediciones de valores específicos de constructos
sobre el aprendizaje de los estudiantes y las
características de la instrucción o proceso educativo, con el propósito de determinar el grado en el cual los datos representan una condición deseada e informar las decisiones que afectan el aprendizaje de los estudiantes.
Evaluación
•
La Evaluación debe llevarse a cabo de tal forma que se ajuste al tiempo, conocimiento, experticia y recursos disponibles.
•
La Evaluación debe llevarse a cabo en condiciones realistas, esto es, debe ajustarse al aprendizaje, instrucción y procesos educativos que ocurren en una determinada institución educativa.
•
La evaluación requiere que se realice investigación científica y se genere conocimiento, pero no se limita a ello.
Evaluación
•
El propósito de la evaluación
es la toma de decisiones basada en información. La evaluación ayuda a la institución a entender que tan bien está
alcanzando sus objetivos, y
sugiere pasos efectivos para mejorar.
•
Si bien la evaluación es un requisito para que la institución consiga acreditaciones, y para conseguir financiamiento, es importante diseñar un sistema de evaluación que sea útil para la mejora continua de la institución, los docentes y estudiantes.
Finalidad de la Evaluación
1. Objetivos o Resultados Esperados. ¿Qué
es lo que queremos que un estudiante sea capaz de hacer, una vez finalizado el curso o los
estudios?
2. Información, Medidas o Evidencia. ¿Cuán bien los estudiantes están alcanzando estos resultados y que factores influyen su aprendizaje?
3. Acción. ¿Cómo podemos hacer para usar la información para mejorar el aprendizaje de los estudiantes?
4. Evaluación de los resultados de las Acciones. Luego de la toma de acciones basada en la información recabada, sigue la evaluación de si las acciones tomadas realmente mejoraron el aprendizaje de los estudiantes cómo se esperaba.
Las 4 etapas de la Evaluación.
•
Recabar más información, orientándose por la información previamente recabada;
•
Cambios curriculares, requerimientos, o estructuras programáticas;
•
Cambios en las Políticas, Financiamiento, y Planificación que apoya el aprendizaje;
•
Desarrollo de la Facultad y sus Estructuras Académicas.
Acciones más comunes.
Niveles de Evaluación.
1.
Evaluación de Clase;
2.
Evaluación de Programas.
Evaluación de Clase
Se recoge información sobre lo aprendido por los estudiantes y se recoge información sobre la opinión de los estudiantes, y en base a dicha información se toman decisiones sobre cambios en la pedagogía o actividades de clase.
Ejemplo de Evaluación de Clase
Un departamento preocupado por mejorar el aprendizaje de los estudiantes podría trabajar en colaboración con el DEM, y hacer evaluaciones diagnósticas, planificar la obtención de información aportada por los estudiantes, revisar la literatura científica acerca de cómo los estudiantes aprenden más efectivamente, y basándose en la información recabada, tomar decisiones que se espera que mejoren el aprendizaje de los estudiantes.
Evaluación de Programa.
Se recoge información sobre lo aprendido por los estudiantes y se recoge información sobre la opinión de los estudiantes, y en base a dicha información se evalúa en que medida el programa general de educación está
cumpliendo con sus objetivos, y se utiliza dicha información para fundamentar la toma decisiones sobre cambios necesarios en el programa.
Ejemplo de Evaluación de Programa.
Se puede llevar a cabo una investigación para evaluar que tan bien el programa educativo general está
cumpliendo
con algunos de los resultados esperados, aplicando técnicas de evaluación diagnóstica cognitiva a una muestra de estudiantes en diferentes etapas de la carrera.
Diferentes Aspectos en los que se Puede Centrar la Evaluación Educativa.
1.
En lo aprendido por el estudiante (Requiere realizar Evaluación Diagnóstica);
2.
En las características de los cursos y docentes, y su efecto en el aprendizaje de los estudiantes (Evaluación de la Efectividad Instruccional);
3.
En lo que la institución o departamento aporta al aprendizaje de los estudiantes (Mapeo Curricular)
Evaluación de la Efectividad Instruccional
mediante la aplicación
de “Rating Forms”
1. Se basa en obtener información de retroalimentación a partir de la aplicación de “rating forms”
respondidas por:
•
estudiantes;
•
docentes (autoevaluación, evaluación de pares, evaluación de aspectos en los que no está
directamente involucrado);
2.
Requiere definir los constructos
a ser medidos relacionados con la “Efectividad Instruccional”, el desarrollo de escalas y cuestionarios;
3.
Se debe investigar la validez de constructo
y la estructura factorial de los instrumentos (¿cuáles son los principales factores involucrados?);
4.
Los “Student’s Rating Forms”
principalmente aportan información útil acerca de las “Habilidades en Impartir Instrucción”.
5.
Dependen también de los procesos mentales, cognitivos, afectivos, de los estudiantes, por ejemplo, de la forma de atribución de causas de sus éxitos y fracasos.
6.
Los puntajes asignados son multifactoriales;
7.
Los puntajes pueden afectarse por factores diversos que no están directamente relacionado con los principales factores de “Efectividad Instruccional”:
a)
Tamaño de clase;
b)
Disciplina involucrada;
c)
Si el estudiante está
especializado en el campo de estudio;
d)
Si el curso es obligatorio u optativo;
e)
Rango académico del docente;
f)
Si el género del estudiante y el docente coincide;
g)
Edad del docente;
h)
Género del docente;
i)
Belleza del docente;
j)
Calificación Esperada por el estudiante.
Dimensiones generales de la Evaluación de la Efectividad
Instruccional
Dimensiones generales de la Evaluación de la Efectividad Instruccional
1.
Experticia en el contenido ;
2.
Habilidades de Diseño Instruccional;
3.
Habilidades de Impartir Instrucción;
4.
Habilidades de Evaluación Instruccional;
5.
Habilidades de Gestión de Cursos.
La Experticia en el Contenido
es el cuerpo de habilidades, competencias, y conocimientos específicos, en el área o tópico específico a ser enseñado, en el cual el docente ha recibido educación avanzada, entrenamiento, y/o experiencia.
1. Experticia en el Contenido
Las Habilidades de Diseño Instruccional
son aquellas habilidades técnicas en el diseño y secuenciación de experiencias que, cuando son realizadas por un estudiante calificado, resultan en una alta probabilidad que los resultados de aprendizaje específico sean alcanzados por el estudiante.
2. Habilidades de Diseño Instruccional
Las habilidades de Impartir Instrucción son
habilidades de interacción humana y características que promueven o facilitan el aprendizaje, incluyendo la habilidad para motivar a los estudiantes, generar entusiasmo, y comunicación efectiva usando varias formas de tecnologías de transmisión de información.
3. Habilidades de Impartir Instrucción
Las Habilidades de Evaluación Instruccional
son aquellas habilidades en el desarrollo, procedimientos, y estrategias para la evaluación del aprendizaje de los estudiantes y provisión de una retroalimentación significativa para los estudiantes.
4. Habilidades de Evaluación Instruccional
Las habilidades de gestión de cursos
son aquellas habilidades en configurar, mantener, y administrar recursos y instalaciones requeridas para proveer un ambiente apropiado para la enseñanza/aprendizaje.
5. Habilidades de Gestión de Cursos.
Dimensiones Generales involucradas en Habilidades
de Impartir Instrucción
1.
Claridad de Presentación;
2.
Carga de Trabajo;
3.
Atención Personal;
4.
Discusión de Clase;
5.
Organización/Planificación;
6.
Calificación;
7.
Realización o logro del Estudiante.
Ejemplo 1. Endeavor
Instrument
(Frey, 1975)
1.
Aprendizaje/Valor;
2.
Entusiasmo
del Instructor;
3.
Organización/Claridad;
4.
Interacción
con el Grupo;
5.
Relaciones
Individuales;
6.
Amplitud
del Tratamiento
o Cobertura;
7.
Evaluación/Calificación;
8.
Tareas
/ Lecturas;
9.
Carga
de Trabajo/Dificultad;
Ejemplo 2. Student
Evaluation
of
Educational Quality, SEEQ. (Marsh, 1982)
Endeavor
Instrument SEEQ Instrument
(7) Student Accomplishement (1) Learning/Value;
(4) Class
Discution (4) Group Interaction;
(3) Personal Attention (5) Individual Rapport;
(6) Grading (7) Examination Grading
(2) Workload (9) Workload/Difficulty
(1) Presentative
Clarity (3) Organization/clarity;
(5) Organization-planning (3)
Organization/clarity;
(2) Instructor Enthusiasm;
Relación entre factores del “Endeavor Instrument”
y el SEEQ Instrument:
Sistema de Elaboración de Reportes Asistida por Ordenador Aplicado a la
Evaluación de la Efectividad Instruccional.
SERAO
INTRODUCCIÓN
PROBLEMA
Un sistema de evaluación de la efectividad en la instrucción, una vez desarrollado, requiere llevar varias tareas en forma masiva:
(i)
Obtención de datos, almacenamiento y manejo de datos;
(ii)
Análisis e Interpretación;
(iii)
Presentación y comunicación de los resultados encontrados;
(iv)
Orientación en la toma de decisiones y acciones relacionadas.
•
En Facultad de Medicina, un sistema de evaluación y retroalimentación o “feedback”
que aporte información acerca de la efectividad instruccional implica realizar decenas de informes al año de evaluación de cursos y algunos miles de informes al año de evaluación de docentes.
•
Para que las evaluaciones puedan ser útiles es necesario que sean válidas, confiables, y que tengan un valor diagnóstico, que permita tomar decisiones y acciones que tiendan a corregir problemas y tener mecanismos de mejora continua de la instrucción a diferentes niveles.
•
Por lo tanto, implementar un sistema de evaluación de la efectividad en la instrucción requiere de alguna forma de automatización, de varias de las tareas que requiere la realización de las evaluaciones.
•
Aproximaciones sobre simplificadas a la evaluación de efectividad en la instrucción, no cambian substancialmente la dificultad de los problemas prácticos a resolver, y solo generar criterios operativos, con posibles problemas de validez y confiabilidad, sin un real valor diagnóstico, que tienden limitar la utilidad y pueden tener un efecto negativo, tendiendo a la disminución de los estándares académicos, y a la toma de decisiones y acciones erróneas.
SERAO
•
SERAO es un sistema de retroalimentación o “feedback”
aplicado a la evaluación de la efectividad en la instrucción, que permite llevar a cabo tareas de análisis, interpretación, reporte y presentación, asistida por ordenador.
La implementación de SERAO se basa en los siguientes elementos:
• La aplicación de los lenguajes R y Latex;
•
La aplicación de técnicas de análisis estadístico, modelización
estadística, y teorías y métodos de medición.
• Técnicas de programación relacionadas con procesamiento de texto.
Recolección de datos y Almacenamiento
(Aplicación WEB)
Archivo plano o
DB
Capa de manejo de datos.
Capa de Análisis de datos.
Capa de Presentación, Reporte e Interpretación de Resultados.
Módulo Generador de Gráficos
Módulo de Procesamiento Dinámico de Código en Latex
Módulo R de Compilación de Archivos Latex.
Archivos con Informes de Evaluación con Texto y Gráficos en formato pdf
o ps, generado de acuerdo a los resultados del Análisis de datos.
Módulo de Análisis Descriptivo y Exploratorio
Módulo de Evaluación diagnóstica, Modelización
estadística y Análisis confirmatorio.
Módulo de Análisis de Decisiones.
Módulo de Análisis Descriptivo y Exploratorio
•
El módulo de “Análisis Descriptivo y Exploratorio”
permite llevar a cabo un primer análisis, de carácter descriptivo y exploratorio, que tiene el propósito de generar hipótesis sobre la efectividad instrucional de docentes y cursos.
•
Los resultados obtenidos con este módulo sirven cómo una primera aproximación, rápida y pragmática, que permite una devolución de información que junto con otros elementos puede ayudar a detectar posibles aspectos a mejorar.
•
Este módulo se basa el análisis directo de los puntajes obtenidos a diferencia del “Módulo de Evaluación Diagnóstica, Modelización Estadística y Análisis Confirmatorio”, que tiene el propósito principal de obtener medidas basadas en modelos de atributos latentes vinculados a la efectividad instruccional.
•
De acuerdo a la revisión de la literatura sobre evaluación estudiantil de la efectividad instruccional
y considerando los instrumentos utilizados actualmente en las evaluaciones llevadas a cabo en Facultad de Medicina:
1.
Los puntajes obtenidos para cada ítem deben interpretarse como un indicador del “nivel de conformidad/satisfacción del estudiante”, no como una verdadera medida de la efectividad instruccional.
2.
Los puntajes obtenidos para cada ítem no necesariamente
tienen un valor diagnóstico: no se puede, sin información adicional, relacionar dicha conformidad/satisfacción con diferencias objetivas en la efectividad instruccional vinculada con el aspecto que intenta evaluar el ítem.
3.
La realización de trabajo de investigación adicional nos permitirá
obtener información más rica, al obtener un conocimiento más profundo de la
interpretación de los puntajes.
Evaluación de la Efectividad Instrucional
de Docentes.
•
Los resultados obtenidos se basan en la comparación de la distribución global de los puntajes obtenidos con la distribución para un docente particular.
•
Cuando la distribución del docente tiene una tendencia central bastante por debajo o por encima de la observada en la distribución global para un puntaje relacionado con un ítem, esta desviación indica una desviación en la forma de evaluación que sugiere una percepción más negativa o positiva, que puede reflejar una diferencia en la efectividad instruccional.
•
Con esta aproximación es posible aplicar técnicas de remuestreo, o test
de permutaciones o técnicas de inferencia exacta, para evaluar la significación estadística con respecto a diferentes hipótesis nulas, vinculadas a diferentes patrones de respuesta de los estudiantes.
Evaluación de la Efectividad Instrucional
de Docentes.
La distribución global para cada variable se describe con 5 percentiles:
percentil 5 (P5
),
percentil 25 o primer cuartil
(Q1
),
percentil 50 o mediana (Md),
percentil 75 o tercer cuartil
(Q3
)
y percentil 95 (P95
).
La distribución para el docente se describe con el puntaje mediano (Mdind
) dado por los estudiantes a dicho docente.
Evaluación de la Efectividad Instrucional
de Docentes.
Con fines descriptivos definimos las siguientes 7 categorías ordenadas:
a)
una evaluacion
es considerada “excelente”
si el puntaje mediano asignado al docente, Mdind
, es igual o superior P95
;
b)
“muy buena" si Mdind
es igual a Q3
o su valor esta entre Q3
y P95
;
c)
“buena" si Mdind
esta entre Md y Q3
;
d)
“regular" si Mdind
es igual a Md;
e)
“levemente mala" si Mdind esta entre Md y Q1
;
f)
“mala" si Mdind
es igual a Q1
o esta entre Q1
y P5
;
g)
“muy mala" si Mdind
es igual a P5
o menor.
Ejemplos.
A continuación se muestran algunos de los resultados obtenidos usando el módulo de “Análisis Descriptivo y Exploratorio”
para los
datos que corresponden al “Ciclo Introductorio 2010”.
Evaluación de Tutores de Aprendizaje en Pequeños Grupos en el “Ciclo Introductorio 2010”.
Asiduidad y Puntualidad.
Actuación Docente General.
Actuación Docente General.
Manejo de Técnicas Docentes Relacionadas con el Aprendizaje Basado en Problemas.
Manejo de Técnicas Docentes Relacionadas con el Aprendizaje Basado en Problemas.
Evaluación Formativa.
Evaluación Formativa.
Autoevaluación
de los Estudiantes.
Evaluación de la Efectividad Instruccional
de Cursos.
•
Los resultados obtenidos se basan en la comparación de la distribución de los puntajes obtenidos para el curso con:
a)
la distribución de los puntajes para el mismo curso en un período previo;
b)
La distribución de los puntajes para los diferentes ciclos en un período definido.
•
Cuando la distribución condicional para el curso tiene una tendencia central bastante por debajo o por encima de la observada en a) o en b) para un puntaje relacionado con un ítem, esta desviación indica una desviación en la forma de evaluación que sugiere una percepción más negativa o positiva, que puede reflejar una diferencia en la efectividad instruccional.
Evaluación de la Efectividad Instrucional
de Docentes.
•
La distribución de los puntajes, correspondientes a un ítem, para el curso considerado en la instancia considerada, se describe con 5 percentiles:
percentil 5 (P5
),
percentil 25 o primer cuartil
(Q1
),
percentil 50 o mediana (Md),
percentil 75 o tercer cuartil
(Q3
)
y percentil 95 (P95
).
•
La distribución de los puntajes, correspondientes a un ítem, para el curso considerado en un período previo se describe mediante la mediana, Md intra
•
La distribución de los puntajes, correspondientes a un ítem, para otros cursos en un cierto período se describe mediante la mediana, Md inter.
Evaluación de la Efectividad Instrucional
de Cursos.
Con fines descriptivos definimos las siguientes 7 categorías ordenadas:
(a) una evaluación es considerada “muy mala" si elpuntaje mediano dado por MdC
, es igual o superior a P95
;
(b) “mala" si MdC
es igual a Q3
o su valor esta entre Q3
y P95
;
(c) “levemente mala" si MdC
esta entre Md y Q3
;
(d) “regular" si MdC
es igual a Md;
(e) “buena" si MdC
esta entre Md y Q1
;
(f) “muy buena" si MdC
es igual a Q1
o esta entre Q1
y P5
;
(g) “excelente" si MdC
es igual a P5
o menor.
• MdC
representa Md
intra
o Md
inter
.
Ejemplos
•
Evaluación del Curso “Ciclo Introductorio 2010”.
•
Mdinter
: corresponde a “Ciclo Básico Clínico Comunitario 2009”, denotada por +.•
Mdintra
: corresponde a “Ciclo Introductorio 2009”, denotado por +.
Funcionamiento Global y por Grandes Áreas.
Lecturas Recomendadas (1/2):•
Arreola
(2007) Developing
a Comprenhensive
Faculty
Evaluation
System: A Guide
to
Designing, Building, and
Operating
Large-Scale
Faculty
Evaluation
Systems.
•
Marsh
y col.(1985) Student´s
Evaluation
of
University
Instructors: The
Applicability
of
American
Instruments
a Spanish
Settings. Teaching
& Teacher
Education, vol
1, nº
2, 123-138.
•
Walvoord
(2010) Assessment: Clear
and
Simple: A practical
Guide
for
Institutions, Departments
and
General Education.
•
Ames y Lau
(1979) An
Attributional
Approach
to
the
Validity
of
Student
Ratings
of
Instruction. Contemporary
Educational
Psychology, 4, 26-39.
•
L. M. Aleamoni.(1999) Student
rating
myths
versus research
facts
from
1924 to
1998. Journal
of
Personnel
Evaluation
in Education, 13:153-166.
Lecturas Recomendadas (2/2):S.-G. Baek
and
H.-J. Shin. Multilevel
analysis
of
the
efects
of
student
courses
characteristics
on
satisfaction
in undergraduate
liberal art
courses. Asia Pacic
Education
Review, 2008.
•
K. A. Feldman.(1983) Seniority
and
experience
of
college
teachers
as related
to
evaluations
they
receive
from
students. Research
in Higher
Education, 18:3-124.
•
K. A. Feldman.(1993) College
students' views
of
male
and
female
college
teachers: Part
II. Evidence
from
students' evaluations
of
their
classroom
teachers. Research
in Higher
Education, 34:151-211.
•
D. S. Hamermesh
and
A. Parker
(2005). Beauty
in the
classroom: instructors' pulchritude
and
putative
pedagogical
productivity. Economics
of
Educational
Review.
•
P. Wright, R. Whittington, and
G. E. Whittenburg.(1984) Student
ratings
of
teaching
efectiveness: What
the
research
reveals. Journal
of
Accounting
Education, 2(2):5-30.
Gracias.