tema 8 validez evidencia externa

17
1 PSICOMETRÍA Bloque I. Introducción a la Psicometría Bloque II. Métodos de Escalamiento para la construcción de escalas y tests Bloque III. Teoría de los Tests I: Teoría Clásica de los Tests 1º Cuatrimestre 2º Cuatrimestre Bloque IV. Validez TEMA 7. Validez. Introducción TEMA 8. Validez. Fuentes de evidencia externas TEMA 9. Validez. Fuentes de evidencia internas TEMA 10. Otros aspectos de la validez del test Bloque V: Interpretación de pnuntuaciones TEMA 11. Interpretación de puntuaciones Bloque VI: Teoría de los Tests II: Teoría de la Respuesta al Ítem TEMA 12. Modelos de la TRI, estimación y Ajuste en TRI TEMA 13. Aplicaciones de la TRI Tema 8. Validez Fuentes de evidencia externas 1. Relaciones del test con otras variables 1.1. Evidencia convergente y discriminante 1.2. Relaciones test-criterio 2. Sesgo y funcionamiento diferencial del ítem 3. Otras fuentes de evidencia 3.1. Basada en el proceso de respuesta 3.2. Basada en las consecuencias de la aplicación 2

Upload: grupoacantun

Post on 23-Dec-2015

19 views

Category:

Documents


2 download

DESCRIPTION

Apuntes de II de Psicologia

TRANSCRIPT

Page 1: Tema 8 Validez Evidencia Externa

1

PSICOMETRÍA

Bloque I. Introducción a la Psicometría

Bloque II. Métodos de Escalamiento para la construcción de escalas y tests

Bloque III. Teoría de los Tests I: Teoría Clásica de los Tests

1º Cuatrimestre

2º Cuatrimestre

Bloque IV. ValidezTEMA 7. Validez. IntroducciónTEMA 8. Validez. Fuentes de evidencia externasTEMA 9. Validez. Fuentes de evidencia internasTEMA 10. Otros aspectos de la validez del testBloque V: Interpretación de pnuntuacionesTEMA 11. Interpretación de puntuaciones

Bloque VI: Teoría de los Tests II: Teoría de la Respuesta al ÍtemTEMA 12. Modelos de la TRI, estimación y Ajuste en TRITEMA 13. Aplicaciones de la TRI

Tema 8. Validez Fuentes de evidencia externas

1. Relaciones del test con otras variables1.1. Evidencia convergente y discriminante

1.2. Relaciones test-criterio

2. Sesgo y funcionamiento diferencial del ítem

3. Otras fuentes de evidencia3.1. Basada en el proceso de respuesta

3.2. Basada en las consecuencias de la aplicación 2

Page 2: Tema 8 Validez Evidencia Externa

3

1. Relaciones del test con otras variables

Concluir sobre el grado en que las relaciones de laspuntuaciones del test con otras medidas

reproducen las relaciones implicadas en la red nomológica

Objetivos

Demostrar que los constructos no son productos artificialescreados por los instrumentos de medida utilizados

4

Convergente Discriminante

Medidas del mismorasgo efectuadas con diferentes métodos

tienen una altacorrelación

Medidas del mismorasgo efectuadas con diferentes métodoscorrelacionan másque medidas de

diferentes rasgos con el mismo método

Un caso particular:

1.1. Evidencia Convergente - Discriminante

Page 3: Tema 8 Validez Evidencia Externa

5

Hay que medir varios rasgospor diferentes métodos

Análisis de matricesmultirasgo-multimétodo

MRMM

Campbell y Fiske (1959)

6

Ejemplo:

Test DAT: Test de Aptitudes Diferenciales

• Razonamiento Verbal• Cálculo• Razonamiento Abstracto• Velocidad y precisión• Razonamiento Mecánico• Relaciones Espaciales• Ortografía• Lenguaje

Test P.M.A.: Test de Aptitudes Mentales Primarias

• Comprensión Verbal (Factor V)• Comprensión Espacial (Factor E)• Razonamiento (Factor R)• Cálculo Numérico (Factor N)• Fluidez Verbal (Factor F)

Page 4: Tema 8 Validez Evidencia Externa

7

Matriz multirasgo-multimétodo

8

Convergente MRHM

Discriminante

SignificativosPositivos y altos

HRMMHRHM

Criterios de Campbell y

Fiske

Page 5: Tema 8 Validez Evidencia Externa

9

La validez convergente, discriminante y si existen efectos de método, puede evaluarse más sistemáticamente con procedimientos como el

AFC de matrices MRMM (ej. Byrne y Goffin, 1993)

Tema 8. Validez Fuentes de evidencia externas

1. Relaciones del test con otras variables1.1. Evidencia convergente y discriminante

1.2. Relaciones test-criterio

2. Sesgo y funcionamiento diferencial del ítem

3. Otras fuentes de evidencia3.1. Basada en el proceso de respuesta

3.2. Basada en las consecuencias de la aplicación 10

Page 6: Tema 8 Validez Evidencia Externa

11

1. Relaciones del test con otras variables

OBJETIVO

Concluir sobre la existencia de relación

entre las puntuaciones del test

y las medidas del criterio que se pretende

predecir

Especial relevancia en el ámbito de la selección

1.2. Relaciones test-criterio

12

Primero el test, después el

criterio

¿Cuándo medir el criterio?

Test y criterioa la vez

Primero el criterio, después

el test

Estudiospredictivos

Estudiosconcurrentes

Estudiosretrospectivos

Page 7: Tema 8 Validez Evidencia Externa

13

Procedimientos para la recogida de evidencia

Coeficiente de validez

Regresión lineal simple y múltiple

14

Coeficiente de validez

Correlación entre las puntuacionesdel test (X) y del criterio (Y)

Rango de valoresadmisibles

Importancia: coeficiente de determinación

Interpretación:General: como cualquier correlaciónExistencia: contraste de hipótesis

Page 8: Tema 8 Validez Evidencia Externa

15

Coeficiente de validez

Ejemplo:

16

Regresión lineal simple

DepresiDepresióónn

Page 9: Tema 8 Validez Evidencia Externa

17

Regresión lineal múltiple

18

Otro ejemplo

Page 10: Tema 8 Validez Evidencia Externa

Tema 8. Validez Fuentes de evidencia externas

1. Relaciones del test con otras variables1.1. Evidencia convergente y discriminante

1.2. Relaciones test-criterio

2. Sesgo y funcionamiento diferencial del ítem

3. Otras fuentes de evidencia3.1. Basada en el proceso de respuesta

3.2. Basada en las consecuencias de la aplicación 19

20

2.2. Sesgo y funcionamiento diferencial del ítem

Un ítem presentafuncionamiento diferencial (DIF)

cuando individuos con el mismo nivel de habilidad tienen diferente probabilidad de acertar (estar de acuerdo...) por el simple

hecho de pertener a grupos distintos

Page 11: Tema 8 Validez Evidencia Externa

21

Si individuos de diferentes grupos culturales, sociales o étnicos responden de maneradistinta a los ítems del test, ¿qué reflejan losresultados?

¿Diferencias reales entre los individuos de esosgrupos?, o

¿son producto de factores secundarios e irrelevantes respecto a lo que mide el test (porejemplo, experiencias y oportunidades educativasdistintas)?

22

DIF - IMPACTO

Impacto

DIF - SESGO

DIF

Sesgo

DIF

Cuando las diferencias existentes entre gruposde personas se deben a diferencias reales

Cuando aparecen diferencias entre individuosde dos grupos que tienen el mismo nivel de habilidad (producto de factores secundarios)

Explicación teórica de las diferencias

Explicación estadística de las diferencias

Page 12: Tema 8 Validez Evidencia Externa

23

PROCEDIMIENTOS PARA LA DETECCIÓN DE DIF

ParamétricosNo paramétricos

Basados en tablasde contingencia

Regresión logísticaTRI ajustada a diferentes grupos

24

2. Sesgo y Funcionamiento Diferencial del ítem

GrupoGrupo FF

Grupo FGrupo FPPii (( ))

rasgo)rasgo)

0.000.00

0.250.25

--44 --22 00 22 44

0.500.50

0.750.75

1.001.00

Grupo RGrupo R

PPii Grupo RGrupo R(( ))

PP

rasgo)rasgo)

0.000.00

0.250.25

0.500.50

0.750.75

1.001.00

--44 --22 00 22 44

Grupo FGrupo FPPii Grupo FGrupo F(( ))

PPii Grupo RGrupo R(( ))

Grupo RGrupo R

PPii (( ))

DIF uniformeDIF no-uniforme

Page 13: Tema 8 Validez Evidencia Externa

Tema 8. Validez Fuentes de evidencia externas

1. Relaciones del test con otras variables1.1. Evidencia convergente y discriminante

1.2. Relaciones test-criterio

2. Sesgo y funcionamiento diferencial del ítem

3. Otras fuentes de evidencia3.1. Basada en el proceso de respuesta

3.2. Basada en las consecuencias de la aplicación 25

26

3.1. Evidencia basada en el proceso de respuesta

OBJETIVOConcluir sobre el grado en que las estrategias

usadas para responder son acordes con la definición del constructo a medir

¿Se encuentran implicados en el proceso de respuestade los individuos

los componentes cognitivos que definen el constructo?

Page 14: Tema 8 Validez Evidencia Externa

27

Psicología Cognitiva

Paradigma del procesamiento de la

información

Teoría Psicométrica

El enfoque tradicional de la validez es incompleto

Necesidad de considerar el análisis más profundode los mecanismos implicados en el proceso de respuesta

3.1. Evidencia basada en el proceso de respuesta

28

Identificar cuáles son los componentescognitivos implicados

Proporcionaevidencia de

validez

Enriquece la definición del

constructo

3.1. Evidencia basada en el proceso de respuesta

Page 15: Tema 8 Validez Evidencia Externa

Tema 8. Validez Fuentes de evidencia externas

1. Relaciones del test con otras variables1.1. Evidencia convergente y discriminante

1.2. Relaciones test-criterio

2. Sesgo y funcionamiento diferencial del ítem

3. Otras fuentes de evidencia3.1. Basada en el proceso de respuesta

3.2. Basada en las consecuencias de la aplicación 29

30

3.2. Evidencia basada en lasconsecuencias de la aplicación

Incorporar en la conceptualización de la validezlas consecuencias deseadas y no deseadasderivadas de la aplicación y uso de los tests

SAMUEL MESSICK (1989)

ACUERDO en que el análisis de las consecuenciasdel uso de los tests es IMPORTANTE

Pero,¿Debe ser considerado como parte de la validación?

Page 16: Tema 8 Validez Evidencia Externa

31

3.2. Evidencia basada en lasconsecuencias de la aplicación

Detractores Defensores

Wiley (1991)

Maguire, Hattie y Haig (1994)

Tenopyr (1996)

Popham (1997)

Mehrens (1997)

Messick (1975, 1989, 1995)

Cronbach (1988)

Shepard (1993, 1997)

Linn (1993, 1997)

Moss (1995)

32

3.2. Evidencia basada en lasconsecuencias de la aplicación

Argumentos de los detractores

Es importante, pero debe considerarse a parte del estudiode validaciónImplica análisis sociales, políticos y morales que quedanfuera de la competencia de los estudios de validaciónSu consideración complica la conceptualización de la validezInviabilidad de carácter institucional y económico

Page 17: Tema 8 Validez Evidencia Externa

33

3.2. Evidencia basada en lasconsecuencias de la aplicación

Argumentos de los defensores

Son parte esencial del proceso de validación y no un problemaLa conceptualización de la validez no es simple, pero la solución no está en reducir artificialmente el conceptopara hacerlo más sencilloReconocen problemas prácticos, pero no incluirlo es darlemenos importancia

34

3.2. Evidencia basada en lasconsecuencias de la aplicación

Aspecto polémico

“Espero que los autores de la revisión de las Normasreconozcan el debate y releguen cualquier discusiónsobre las consecuencias a un contexto separado del

concepto de validez”(Mehrens, 1997, pág. 18)

Este aspecto fue incluido en la edición de 1999 de lasNormas de la APA