evaluación de programas en psicología...
TRANSCRIPT
Psicometría
Tema 6
Tema 6
Validez de las inferencias
Validez de las inferenciasMedición de variables psicológicas
Mediante conductas (indicadores de la variable a medir)
(con la medida obtenida en los indicadores obtendremos la medida en el constructo)
Construcción de instrumentos de medida (tests)
Un test ha de ser:
Fiable:
• Preciso: mediciones libre de errores
• Estable: no hay diferencia entre dos aplicaciones
Válido:
• Que el test mida lo que pretende medir
• Que las inferencias sobre V sean válidas: alto grado de correlación entre las medidas y el valor de constructo
Tipos de validez
• De contenido: el objetivo no es la correlación de la puntuación en un criterio, sino asegurarse de que los ítems son una muestra relevante y representativa del constructo– Test de conocimientos: que todos los contenidos a evaluar estén
representados en el test
• De constructo: garantizar que las conductas observables elegidas son indicadores de ese, y sólo de ese constructo.
• De criterio: grado de correlación con un criterio externo. Puede ser:– Perspectiva: corr.test/criterio a posteriori– Concurrente: corr.test/criterio simultánea– Retrospectiva: corr.test/criterio a priori
Validez de contenido
• Objetivo: evaluar hasta qué punto los ítems del test son una muestra representativa y relevante del constructo
• Especificación del dominio
• Relevancia de los ítems. – Especificar las conductas indicadores del constructo y valorar la relevancia de
cada ítem para cada una (especificación del dominio de cdtas)
– Método de Hambelton: grupo de jueces: mediana
• Representatividad de los items: todas las áreas y aspectos de las mismas han de estar representados (tanto en cuanto a los contenidos como objetivos propuestos)
ejercicio
• Un grupo de 100 expertos han de juzgar la relevancia de 3 items para medir la calidad de la enseñanza.
• Tabla: Valoración asignada a cada uno de los ítems por el grupo de expertos
items 1 2 3 4 5
A 0 10 10 60 20
B 20 40 30 10 0
C 10 20 50 10 10
ejercicio
• Un grupo de 100 expertos han de juzgar la relevancia de 3 items para medir la calidad de la enseñanza.
• Tabla: Valoración asignada a cada uno de los ítems por el grupo de expertos con frecuencias acumuladas
items 1 2 3 4 5
A 0 10 20 80 100
B 20 60 90 100 100
C 10 30 80 90 100
ejercicio
• N=100 3 items para medir la calidad de la enseñanza
• Tabla: Valoración asignada a cada uno de los ítems por el grupo de expertos con frecuencias acumuladas
items 1 2 3 4 5
A 0 10 20 80 100
B 20 60 90 100 100
C 10 30 80 90 100
Item A = 3,5 + 50−20
60= 4
Item B = 1,5 + 50−20
402,25
Item C = 2,5 + 50−20
50= 2,9
Validez de constructo
• Objetivo: garantizar que las conductas observables elegidas son indicadores de ese y sólo de ese constructo
• Procedimiento: medir un mismo constructo por varios procedimientos y varios constructos por el mismo procedimiento y hallar coeficientes de correlación
• Validez convergente: correlación alta entre medidas de un mismo constructo por distintos procedimientos
• Validez discriminante: correlación anterior significativamente mayor que la existente entre distintos constructos por el mismo procedimiento
• Validación de constructo es necesario:– Definir constructo y postular hipótesis
– Diseñar instrumento medida adecuado
– Obtener datos empíricos de relaciones entre las puntuaciones obtenidas y vbs. hipotetizadas
Validez de constructo
Estudios de validación de constructo están centrados en el análisis de la estructura (interna y externa) del test. el estudio de las interrelaciones entre las puntuaciones obtenidas por los sujetos en los distintos ítems del test (estructura interna) y en las relaciones entre las puntuaciones obtenidas en el test y otras medidas del mismo constructo obtenidas en medidas externas al mismo pero relevantes (estructura externa).
• Matriz multimétodo-multirrasgo. Validez convergente: grado de relación entre distintos test que miden el mismo constructo. Este indicador servirá como indicador de su validez discriminante.
• Análisis factorial técnica más utilizada para poner a prueba la estructura interna
Validez referida al criterio• Objetivo: estudiar la efectividad con la que se puede pronosticar la eficiencia
en un criterio a partir de la puntuación en un test (normalmente mediante el modelo de regresión)
• Para el estudio de validación referida al criterio– Definir el criterio que se quiere medir– Identificar el indicador que se va a utilizar para obtener la medida del criterio– Seleccionar una muestra representativa de la población– Aplicar test a la muestra y obtener la puntuación para cada uno de los sujetos– Obtener una medida de cada uno en el criterio en el momento de aplicación del test
(concurrente) o después de cierto tempo (predictiva)
• Necesidad de un indicador en el criterio que ha de ser:– Relevante. Necesidad de juicio de expertos– Libre de sesgos– Fiable (estable en el tiempo)– Accesible (en tiempo y coste)
Procedimientos para la validación referida al criterio:– Un predictor y un indicador de criterio (correlación y regresión simple)– Varios predictores y un indicador de criterio (regresión múltiple sig. Tema)– Varios predictores y varios indicadores del criterio (no veremos)– Basados en la teoría de la decisión: selección de sujetos (test y criterios dicotómicos. T7)
Validación 1 predictor/1 indicador
• Coeficiente de validez: coeficiente de correlación entre las puntuaciones obtenidas por los sujetos en el test y las obtenidas en el criterio
Indicadorcriterio Continua
T E S TDicotomizada dicotómica
continua PEARSON BISERIAL BISERIAL PUNTUAL
dicotomizada BISERIAL TETRACÓRICA Biserial φ
dicotómica BISERIALPUNTUAL
Biserial φ φ
Coeficiente biserial puntual
• Varía entre -1 y 1.
• Ej: Media= 5¸ 𝑀edia de los aptos = 5,75 Varianza=2,3
X Y
3 NA
4 A
4 NA
5 NA
5 A
6 A
8 A
rbp =ҧ𝑥𝑃− ҧ𝑥𝑞
𝑆𝑋𝑝𝑞 =
ҧ𝑥𝑃− ҧ𝑥
𝑆𝑋
𝑝
𝑞
5,75−5
1,51
0,57
0,43=0,57
Coeficiente Ф
• Ф =𝑐𝑏−𝑎𝑑
𝑎+𝑏 𝑐+𝑑 (𝑎+𝑐)(𝑏+𝑑)=
•23∗20−4∗3
4+20 23+3 (4+23)(20+3)=
448
24∗26∗27∗23=
448
622,5=0,72
criterio
test
0 1
1 a b
0 c d
• Varía entre -1 y 1.
criterio
test
0 1
1 4 20
0 23 3
Modelo de regresión linealpredictor y criterio continuas
– Coeficiente de validez: rxy si está próximo a +-1 hallaremos recta de regresión para hacer predicciones:
– Recta de regresión de Y sobre X: Y’=a + bX
– Error de estimación: E= Y-Y’
– Error típico de estimación: DT(E) Se representa por Sy.x
Conclusiones del modelo:
1. Media de las estimaciones=medias de Y
2. Media de los errores = 0
3. S2y= S2
y’ + S2y .x Y=Y’+E
4. Coeficiente de determinación = proporción varianza
explicada CD = 𝑟𝑥𝑦2 =
𝑠𝑦′2
𝑠𝑦2
5. Cálculo Sy.x
1= 𝑠𝑦′2
𝑠𝑦2 +
𝑠𝑦.𝑥2
𝑠𝑦2
𝑠.𝑦.𝑥2
𝑠𝑦2 = 1 − 𝑟𝑥𝑦
2 Sy.x = S.y 1 − 𝑟𝑥𝑦2
Modelo de regresión linealpredictor y criterio continuas
– Coeficiente de validez: indica la eficacia del test variable predictorapara estimar el criterio. Cuanto más alto el coeficiente de validez, la estimación será más exacta. Esta viene afectada x
– error de estimación: diferencia entre puntuación en el criterio y la que se pronostica mediante ecuación de regresión. Con C/sujeto comete 1 error
– Varianza residual, varianza error o error cuadrático medio: varianza de todos los errores de estimación cometidos con los sujetos de la muestra.
– En ecuaciones de regresión, para pronósticos se cumplen propiedades:• Media puntuaciones obtenidas en criterio es igual a media de puntuaciones
pronosticadas
• Suma de todos los errores de estimación es cero, y su media también
• Varianza de puntuaciones obtenidas por los sujetos en el criterio es igual a la varianza de las puntuaciones pronosticadas más la varianza de los residuos o varianza error
Intervalo de confianza para Y:
• Debido a errores de estimación hacemos estimaciones por intervalos, asumimos que la distribución es normal, cuya DT viene dada por el error típico de estimación y se establece intervalo en torno a una puntuación pronosticada.
• Pasos:
– Determinar nivel de confianza y buscar puntuación típica asociada– Calcular el error típico de estimación – Calcular el error máximo – Aplicar la ecuación de regresión correspondiente y obtener la
puntuación pronosticada– Establecer el intervalo de confianza
Interpretación de la evidencia obtenida x su capacidad predictora
• Coeficiente de determinación– Proporción de varianza común o asociada entre el test y el criterio
– proporción varianza explicada CD = 𝑟𝑥𝑦2 =
𝑠𝑦′2
𝑠𝑦2
• Coeficiente de alineación – Raíz de la proporción de varianza no explicada = inseguridad (proporción
de azar) que afecta a los pronósticos– Inverso al anterior oscila entre 0 y 1
CA = K =𝑠𝑦.𝑥
𝑠𝑦= 1 − 𝑟𝑥𝑦
2
• Coeficiente de valor predictivo– Proporción de seguridad con la que se hacen los pronósticos 1-CA
– 𝐶 ⋅ V ⋅ P = 1 − 1 − 𝑟𝑥𝑦2
ejercicio
• Estudio de validación relativo al criterio de un test de aptitud mecánica. Los sujetos son posteriormente evaluados por sus profesores de 0-10 utilizando como indicador su capacidad mecánica el tiempo, en horas, que tarda en reparar un coche
ejercicio
• Calcular Calcular coeficiente de validez
• Buena capacidad predictiva
6.473 − 43.61
(6.711 − 612)(6.335 − 432)𝑟𝑥𝑦
=
𝑟𝑥𝑦= 0,73
ejercicio
• Ecuación de regresión
• ത𝑋 =Σ𝑋
𝑁=61
6
• 𝑠𝑥2=
Σ𝑋2
𝑁- ത𝑋2=
711
6− 10,172 = 15,07
• 𝑠𝑦2=
Σ𝑌2
𝑁- ത𝑌2=
335
6− 7,172 = 4,43
• b =rxy
𝑠𝑦
𝑠𝑥= 0,73
2,10
3,88=0,395
• a = ഥ𝑌- ത𝑋 𝑏 = 7,17- 10,17.0,395 =3,15
– Puntuaciones directas: Y=3,15+0,395.X– Puntuaciones diferenciales Y= 0,395.X– Puntuaciones típicas: Zy’=0,73.Zx
• Y’= rxy
𝑠𝑦
𝑠𝑥(X- ത𝑋 )+ ഥ𝑌=
• y’= rxy
𝑠𝑦
𝑠𝑥x= rxy
𝑠𝑦
𝑠𝑥(X- ത𝑋 )
• Zy’= rxy Zx = rxy(X− ത𝑋 )
𝑠𝑥
ejercicio
• Calculamos las tres varianzas
• 𝑠𝑦2 = 4,43
• 𝑠𝑦′2 = 2,31
• S2y.x = 2,12
• Comprobar varianza de puntuaciones de los sujetos en el criterio es igual a varianza de las puntuaciones pronosticadas más la varianza de errores
• S2y= S2
y’ + S2y.x 4,43= 2,31+2,12
• Error típico de estimación
• Sy.x = S𝑦.𝑥2 = 2,12 =1,46
ejercicio
• Intervalo confidencial
• Tenemos los datos para hacer estimación acerca de la puntuación q se pronosticaría a un sujeto en el criterio a partir de su puntuación en el test
• Si sujeto obtiene en el test x=13
• Calculamos nivel confianza 95% Zc=1,96
• Error típico de estimación Sy.x =1,46
• Error máximo =1,96.1,46=2,86– En puntuaciones típicas el error típico de estimación será diferente
– Szy.zx = 1− 𝑟𝑥𝑦2 = 1 − 0,732 = 1− 0,53 =0,69
• Error máximo en puntuaciones típicas 1,96*0,69=1,35
• Y= 3,15+0,395(13)=8,28 puntuac directas
• Y=0,395 (13-10,17)=1,12 puntuaciones dif
• Zy=0,73*0,73=0,53 puntuac típicas
ejercicio
• Coeficiente determinación
• proporción varianza explicada CD = 𝑟𝑥𝑦2 =
𝑠𝑦′2
𝑠𝑦2 =
2,31
4,43=0,52
• Coeficiente de alineación – Raíz de la proporción de varianza no explicada = inseguridad (proporción de azar)
que afecta a los pronósticos– Inverso al anterior oscila entre 0 y 1
CA = K =𝑠𝑦.𝑥
𝑠𝑦= 1 − 𝑟𝑥𝑦
2 =0,69
• Coeficiente de valor predictivo– Proporción de seguridad con la que se hacen los pronósticos 1-CA
– 𝐶 ⋅ V ⋅ P = 1 − 1 − 𝑟𝑥𝑦2 =0,31