sistema de calificaciones. - documentos...
TRANSCRIPT
Sistema de Calificaciones.
Prof. Adj. Roberto Daniel Cáceres Bauer
Unidad de Evaluación
Departamento de Educación Médica
Facultad de Medicina, UdelaR
Comisión del nuevo plan de estudios, 06/09/2012
1.Tipos de Puntuaciones.
2. Puntos de Corte.
3. Definición de relaciones entre puntuaciones, notas o calificaciones.
4.Convenciones sobre la toma de decisiones.
Organización y contenido de la Presentación
Tipos de Puntuaciones.
Ejemplo.
En una Prueba con 70 items
un estudiante respondió
correctamente un TOTAL =35,
la proporción p de respuestas correctas es
p=35/70
p=0.5, y la puntuación es
P=100p
P=50
puntos.
Proporciones de respuestas correctas porcentuadas.
Aquí
no todos los items
corresponden al mismo puntaje.
Ejemplo.
En una Prueba con 70 items
un estudiante obtuvo un puntaje total de TOTAL = 60, el puntaje total máximo es TOTALmax
110,
EL puntaje es
P = (60/110)100= 54 puntos.
Proporciones porcentuadas
con items
ponderados.
Escalas Típicas Transformadas: Escala T.
Ejemplo.
En una Prueba con 70 items
un estudiante respondió
correctamente 35, la media fue de 50 y el
desvió
de 25 y su puntuación típica es
z=(35-50)/25
z=-0.6
En escala T: t=
10z+50= -6 +50
t=
44 puntos.
Escalas Theta transformada a escala T
Ejemplo.
En una Prueba con 70 items
un estudiante respondió
correctamente 35. Se uso un modelo 3pl y
se obtuvo un c=0.6 en 5 items, c=0.3 en 10 items
y en los demás c=0
(guessing) y un coeficiente de
discriminación a=0.8 en 15 items, a=1.2 en 20 items, etc, y, el puntaje theta=
-1.8. La media de theta es 0 y
el desvío es 2. El puntaje en escala T a partir de este valor de theta es
z = (-1.8)/2 = -0.9
En escala T: t=
10z+50= -9 + 50
t = 41 puntos.
Escalas Theta transformada a escala T
Observación 1.
El valor de Theta, es la habilidad estimada del sujeto a partir de los datos de una prueba, que se calcula tomando en cuenta y controlando el “guessing”
y la
capacidad de discriminación de cada uno de los items.
Escalas Theta transformada a escala T
Observación 2.
En este caso no solo importa cuantos items respondió
bien el sujeto, sino que también cuales,
esto es el patrón de respuesta.
Ejemplo. En una prueba el patrón “1001110”
no es lo mismo que el patrón “1111000”, si bien en puntaje P=(4/7)100=57 puntos.
PUNTOS DE CORTE
PUNTOS DE CORTE
La definición de puntos de corte sirve para definir categorías en base a la cuales luego se puede tomar decisiones.
Ejemplo 1. Aprueba / Reprueba un curso o exámen.
Ejemplo 2. Reprueba Curso /
Aprueba Curso y Gana Derecho a dar Examen /
Aprueba Curso y Exonera /
Ejemplos simples de puntos de corte utilizados en Facultad de Medicina.
Ejemplo 1. Si el puntaje es igual a un porcentaje de respuestas contestadas correctamente igual o mayor a 60% aprueba.
Obs. 1. Aquí
el punto de corte se fija a priori sin ningún análisis o consideración adicional.
Obs. 2. En este caso la definición del punto de corte es arbitraria, se fija sin tomar en cuenta las características de los ítems de la prueba.
Obs. 3. En general se basa en una estadística no suficiente como estimador de la “habilidad”
del sujeto en la prueba (no se usa toda la información disponible)
Ejemplos simples de puntos de corte utilizados en Facultad de Medicina.
Ejemplo 2.
A)
Se toma el 50% central de la distribución de puntos totales en cada periodo.
B)
Se calcula para el 50% central media M y desvió
D.
C)
PC = M-D
D)
Si es menor a 50 % , se toma 50% como punto de corte.
Observaciones:
1.
Se toma en cuenta las variaciones en la dificultad de la prueba.
2.
Se define un criterio basado en la norma.
3.
Depende de la muestra de estudiantes en ese período.
Definición de relaciones entre puntuaciones, notas o calificaciones.
Relación Porcentajes y Calificaciones Finales en Facultad de Medicina.
Porcentajes PuntosCalificación Final en el Examen
Aprobación de Examen
0 hasta 19 0 D.D.D NO
20 hasta 39 0 D.D.D NO
40 hasta 59 0 D.D.D NO
60,61,62 3 R.R.R SI
63,64,65 4 R.R.B SI
66,67,68,69 5 B.B.R SI
70,71,72,73 6 B.B.B SI
74,75,76,77 7 B.B.MB SI
78,79,80,81 8 MB.MB.B SI
82,83,84,85 9 MB.MB.MB SI
86,87,88,89,90 10 MB.MB.S SI
91,92,93,94,95 11 S.S.MB SI
96,97,98,99,100 12 S.S.S SI
Ejemplo Para Examen Final.
Relación Porcentajes y Calificaciones Finales en el ECOE.
Porcentajes Puntos Calificación Final en el Examen Aprobación de Examen
0 a 1PC/3 0 D.D.D NO
1PC/3 a 2PC/3 0 D.D.D NO
2PC/3 a 3PC/3 0 D.D.D NO
PC a PC +1(100-PC)/10 3 R.R.R SI
PC +1 (100-PC)/10 a PC+ 2(100-PC)/10 4 R.R.B SI
PC+ 2(100-PC)/10 a PC+ 3(100-PC)/10 5 B.B.R SI
PC+ 3(100-PC)/10 a PC+ 4(100-PC)/10 6 B.B.B SI
PC+ 4(100-PC)/10 a PC + 5(100-PC)/10 7 B.B.MB SI
PC + 5(100-PC)/10 a PC + 6(100-PC)/10 8 MB.MB.B SI
PC + 6(100-PC)/10 a PC+ 7(100-PC)/10 9 MB.MB.MB SI
PC+ 7(100-PC)/10 a PC+ 8(100-PC)/10 10 MB.MB.S SI
PC+ 8(100-PC)/10 a PC+9(100-PC)/10 11 S.S.MB SI
PC+9(100-PC)/10 a PC+ 10(100-PC)/10 12 S.S.S SI
Ejemplo para ECOE
Calificaciones Finales de Curso, Exoneración y Calificación de Examen
Porcentajes Punto
s
Calificación Final en el
Curso
Aprobación de Curso
Exoneració
n de Examen
Nota de Examen por exoneración
0 hasta 19 0 D.D.D NO NO -
20 hasta 39 0 D.D.D NO NO -
40 hasta 59 0 D.D.D NO NO -
60,61,62 3 R.R.R SI NO -
63,64,65 4 R.R.B SI NO -
66,67,68,69 5 B.B.R SI NO -
70,71,72,73 6 B.B.B SI SI B.B.B
74,75,76,77 7 B.B.MB SI SI B.B.MB
78,79,80,81 8 MB.MB.B SI SI MB.MB.B
82,83,84,85 9 MB.MB.MB SI SI MB.MB.MB
86,87,88,89,90 10 MB.MB.S SI SI MB.MB.S
91,92,93,94,95 11 S.S.MB SI SI S.S.MB
96,97,98,99,100 12 S.S.S SI SI S.S.S
Ejemplo con PC fijo a priori
Convenciones sobre la toma de decisiones.
Convenciones sobre la toma de decisiones.
Aspectos a Considerar.
•
Se debería considerar las diversas situaciones que pueden existir en relación a la toma de decisiones.
•
Se debería conocer y documentar la situación actual.
•
En función del punto 1 y 2, y tomando en cuenta los tipos de puntuaciones y puntos de corte posibles, definir criterios comunes y pautas.
Situaciones que pueden existir en relación a la toma de decisiones.
Ejemplo. Un curso está
compuesto por 3 componentes A, B, C.
Para el componente A, no hay un examen final. El curso se aprueba o reprueba dependiendo de los resultados de las evaluaciones en dicho componente.
Para el componente B, se puede aprobar o no dicho componente según las evaluaciones realizadas en el componente B, y la aprobación de dicho componente permite ganar el “derecho”
a dar un examen final.
El componente C, es igual al B, pero además se puede exonerar el examen final, y la nota final de aprobación surge de las evaluaciones hechas durante el componente C.
Gracias.