tutorial actividades validez externa

11

Validez: Evaluacin emprica.

1) Anlisis de las relaciones test-criterio Regresin2) Evidencia convergente y discriminante Correlacin3) Anlisis de la estructura interna del test AFE

EJEMPLO PARA ACTIVIDADES SOBRE

VALIDEZ

2

Una inferencia vlida basada en las puntuaciones de un test (el plano emprico) se dice que es vlida porque ha recibido algn apoyo emprico. Cuanto mayor es el apoyo, mayor la confianza en esa inferencia, es decir, mayor su validez.

Puedo usar o interpretar las puntuaciones en este test del modo deseado?

X


Teora (ideas)

Constructos o conceptos

Plano emprico

Variables observables o indicadores

Operacionalizacin

23

Cun bien puedo pronosticar las puntuaciones en un criterio dado a partir de las puntuaciones en el test?

Anlisis de las relaciones test-criterio.

Teora (ideas)


Plano emprico


Operacionalizacin

Xy

4

Anlisis de las relaciones test-criterio Regresin

La pregunta clave es: el test es til para predecir criterios externos a la prueba? Trata de garantizar la eficacia del test para pronosticar una variable de inters.

Numerosos estudios de investigacin han analizado el poder predictivo de las dimensiones de personalidad del modelo de Eysenck (Extroversin, Psicoticismo y Neuroticismo) sobre la Desadaptacin escolar.

Vamos a evaluar las relaciones test-criterio de las distintas dimensiones del EPQ-RA. El criterio ser la puntuacin en un test de Desadaptacin Escolar (mayor puntuacin implica peor adaptacin).

Para ello utilizaremos la regresin. La regresin es una tcnica ms sofisticada que la correlacin. Permite saber el porcentaje de varianza del criterio que puedo pronosticar adecuadamente a partir del test. Y el cambio que puedo esperar en el criterio por cada unidad de cambio en el test. Como tenemos 3 dimensiones, haremos un anlisis de regresin mltiple.

35

Cun bien puedo pronosticar las puntuaciones en un criterio dado a partir de las puntuaciones en el test?

Anlisis de las relaciones test-criterio.

Teora (ideas)

Plano emprico

Personalidad

tem 7tem 3 tem 12 tem 13

e3 e1e12e7

Extro-versin

Neuroti-cismo

Psicoti-cismo

tem 1

e13

....X2

Neuroticismo

Y

Desadaptacin Escolar

X1Extroversin

X3Psicoticismo

6

47

Variable Dependiente o criterio:Desadaptacin escolar

Es la variable que pretendemos predecir a partir de la puntuacin

en las 3 dimensiones del test

Variables Independientes o predictoras:ExtroversinNeuroticismoPsicoticismo

Son las que utilizamos para intentar predecir el criterio

8

Coeficiente de correlacin mltiple al cuadrado corregido

(ajustado al tamao de la muestra): Indica el porcentaje de varianza del criterio explicado por las 3

dimensiones del test. Es muy bajo, solo puedo explicar un

4,6% de la varianza de la desadaptacin. La relacin es dbil.

Correlacin mltipletest(3 dimensiones)-criterio.

Coeficiente de validez. La relacin es dbil.

59

Contrasta la hiptesis nula (H0) que afirma que la proporcin de varianza explicada por el test es nula.

Si Sig. < .05 Rechazamos la H0 (es lo que deseamos)Si Sig. > .05 Mantenemos la H0Conclusin: Rechazamos la hiptesis nula. Las 3 dimensiones del

EPQ-RA explican un porcentaje de varianza de la desadaptacin (4,6%) significativamente distinto de cero

10

Indica el incremento/decremento que se produce en la desadaptacin escolar por cada unidad de incremento en cada una de las dimensiones de

personalidad. Por cada unidad de incremento en Extroversin,

la desadaptacin disminuye 1,4 unidades. Por cada unidad de incremento en Neuroticismo,

la desadaptacin aumenta en 0,15 unidades. Por cada unidad de incremento en Psicoticismo,

la desadaptacin aumenta en 1,3 unidades.El efecto es pequeo en Neuroticismo. Pero importante en Extroversin y Psicoticismo.

El Neuroticismo es la nica dimensin que NO resulta ser un predictor significativo (Sig. > .05)

de la desadaptacin escolar.

611



12

Cun bien puedo pronosticar la desadaptacin escolar a partir de las puntuaciones en el EPQ-RA?

Relativamente Bien (excepto Neuroticismo)

No obstante, puedo seguir buscando otras evidencias de validez

Puedo buscar otras hipotesis de validacin de la red nomologica del constructo que quiero medir

Evidencia convergente y discriminante.

EPQ-RA BFQ

MMPI

D-48 (intelig)

Teora

Personalidad Inteligencia

++ +

713

Adems del EPQ-RA, hemos administrado otro cuestionario de personalidad.En este ejemplo, tenemos las siguientes variables:

EPQ-RA (Versin reducida del cuestionario BFQ (Big Five Questionnaire, recoge los cincorevisado de personalidad de Eysenck) factores de personalidad del Five Factor Model)

* Extroversin * Extroversin* Neuroticismo * Estabilidad emocional (Neuroticismo)* Psicoticismo * Amabilidad* Sinceridad * Responsabilidad o Tesn

* Intelecto Apertura

D-48 (Test del domin. Mide inteligencia general)

Esperamos encontrar un patrn de correlaciones acorde con lo que plantea la teora.

Evidencia convergente y discriminante Correlacin

++

14

Seleccionamos las puntuaciones en las

dimensiones de Extroversin y Neuroticismo de los dos

cuestionarios, y las del D-48

815

Los resultados van en la direccin esperada. Validez convergente: Las escalas que miden lo mismo, presentan correlaciones altas. Validez discriminante: las escalas del test correlacionan bajo con otras escalas o tests

que no miden lo mismo.

16



917

Cun estrecha es la correspondencia entre la parte de arriba (las ideas) y la de abajo (las escalas con sus tems)?

X?

Anlisis de la estructura interna del test

Teora (ideas)


Plano emprico


Operacionalizacin

18

Cun estrecha es la correspondencia entre la parte de arriba (las ideas) y la de abajo (las escalas con sus tems)?

1. Anlisis de la estructura interna del test:

El n y configuracin de los factores hipotetizado se corresponde con el n y configuracin de lo que encontramos en la muestra?

Procedimiento: Anlisis Factorial Exploratorio (AFE)


Teora (ideas)

Plano emprico

Personalidad


e3 e1e12e7

Extro-versin

Neuroti-cismo

Psicoti-cismo

tem 1

e13

....

10

19

Anlisis Factorial Exploratorio (AFE) identifica el nmero y configuracin de los factores que explican la parte de la varianza total compartida por los tems (varianza comn)

As que refleja la correspondencia que buscamos.


Teora (ideas)

Plano emprico

Personalidad


e3 e1e12e7

Extro-versin

Neuroti-cismo

Psicoti-cismo

tem 1

e13

....

20

Vamos a analizar los 24 tems del EPQ-RA. Este test es la versin reducida del cuestionario revisado de personalidad de Eysenck.La base de datos la tenis en Aula Virtual.

Tericamente, la personalidad es un constructo complejo formado por diferentes dimensiones, que varan en funcin del modelo terico. El EPQ-RA pretende medir las 3 dimensiones bsicas de la personalidad propuestas por Eysenck: Extroversin (E), Neuroticismo (N), Psicoticismo (P), y adems incluye una escala de Sinceridad o escala de mentiras (L).

Como podis ver en la base de datos, la escala EPQ-RA est compuesta por 4 grupos de 6 tems cada uno: cada grupo est diseado para medir una de las cuatro dimensiones.

Lo que vamos a hacer es someter esta escala a un AFE para determinar el grado de correspondencia entre la estructura terica y la emprica.

Anlisis de la estructura interna del test AFE

11

21

SI NO1 P1 A menudo toma decisiones sin pararse a reflexionar?

2 L1 Ha hecho alguna vez trampas en el juego?

3 E1 Generalmente toma la iniciativa al hacer nuevas amistades?

4 P2 Es mejor seguir las normas de la sociedad que ir a su aire?

5 P3 Se ha opuesto frecuentemente a los deseos de sus padres?

6 L2 Ha cogido alguna cosa (aunque no fuese ms que un alfiler o un botn) que perteneciese a otra persona?

7 E2 Puede animar fcilmente una fiesta aburrida?

8 L3 Alguna vez ha querido llevarse mas de lo que le corresponda en un reparto?

9 E3 Puede organizar y conducir una fiesta?

10 P4 Los deseos personales estn por encima de las normas sociales?

11 E4 Le gusta el bullicio y la agitacin a su lado?

12 N1 Dira de si mismo/a que es una persona tensa o muy nerviosa?

13 N2 Se siente a veces desdichado/a sin motivo?

14 E5 La gente piensa que usted es una persona animada?

15 N3 Su estado de nimo sufre altibajos con frecuencia?

16 L4 Hace siempre lo que predica?

17 P5 Para usted, Los lmites entre lo que est bien y lo que est mal son menos claros que para la mayora de la gente?

18 N4 Tiene a menudo sentimientos de culpabilidad?

19 N5 Sufre de los nervios?

20 L5 Alguna vez ha roto o perdido algo que perteneciese a otra persona?

21 P6 Generalmente, reflexiona antes de actuar?

22 N6 Se siente a menudo aptico/a y cansado/a sin motivo?

23 L6 Alguna vez se ha aprovechado de alguien?

24 E6 Por lo general, suele estar callado/a cuando est con otra persona?

EPQ-RA

22

12

23

Seleccionamos las 24 variables de la escala EPQ-RA.

Las cuatro dimensiones que mide esta escala son:

Psicoticismo, Extroversin, Neuroticismo y Sinceridad.

Clicando sobre el botn Descriptivos aparece este cuadro de dilogo, donde debemos marcar las opciones sealadas

24

Clicando sobre el botn Extraccin aparece este cuadro de dilogo.Mtodo: Factorizacin de ejes principales. Esta es la opcin adecuada cuando se quiere identificar cuntos factores explican la varianza comn entre los tems. Muy importante! No es el que aparece por defecto. Analizar: Matriz de correlaciones. SPSS calcula la matriz de correlaciones adecuada a la naturaleza de las variables implicadas en el anlisis. La escala de respuesta del EPQ-RA es dicotmica (Si/No). Por lo tanto, en este caso particular, SPSS calcula la matriz de correlaciones tetracricas.Extraer: Autovalores mayores que : 1. Comenzaremos utilizando la regla de Kaiser para la extraccin de los factores. Ms adelante comentaremos el otro criterio.Mostrar: marcar las opciones sealadas.

13

25

Teora (ideas)

Plano Emprico

Status

PCTV Coche DVD

AFACP

Componente

Plano Emprico

Anlisis de la estructura interna del testComponente:

resultado (combinacin de

varias observaciones).

Construimos componentes

Factor: causa (latente).

descubrimos factores


e3 e1e12e7

Extro-versin

Neuroti-cismo

Psicoti-cismo

tem 1

e13

....

26

Clicando sobre el botn Rotacin aparece este cuadro de dilogo.

Mtodo de rotacin: mejora la interpretabilidad de la solucin alcanzada. Depende de las relaciones hipotetizadas entre las dimensiones.El modelo de Eysenck hipotetiza que las dimensiones de personalidad estn relacionadas. Por lo tanto, seleccionamos Oblimin directo.

Mostrar: solucin rotada.

14

27


Rotacin Ortogonal: Se asume la independencia o ausencia de relacin entre lasdimensiones analizadas.

Mtodo ms empleado: Varimax

Si hipotetizamos una dimensin de mayor importanciaseguida de otras menos importantes,elegiramos Quartimax

Rotacin Oblicua: Se asume que las dimensiones o factores estn correlacionados(se relaja el supuesto de que las lneas deben mantener ngulo recto)

Mtodo ms empleado: Oblimin

Mtodo de Rotacin

28

Clicando sobre el botn Opciones aparece este cuadro de dilogo.

Formato de visualizacin de los coeficientes: las opciones sealadas se recomiendan para facilitar la interpretacin de la matriz de estructura con los pesos factoriales que ofrecer despus el Output de SPSS

Por ltimo, clicamos en el botn aceptar

15

29

AFE de la escala EPQ-RA con SPSS

Cuestin previa:Las variables observadas (tems) estn suficientemente relacionadas?

Prueba esfericidad: Contrasta si la matriz de correlaciones es una matriz identidad (H0). La matriz identidad es una matriz con 1s en la diagonal principal y ceros en los otros elementos. Es decir, indica ausencia de relacin entre los elementos de la matriz.

Deseamos rechazar H0 (Sig. < .05)Si Sig. > .05 No tiene sentido interpretar los resultados del AFE

Rechazamos H0: La matriz de correlaciones no es una matriz identidad. Las variables bajo

anlisis estn correlacionadas, luego continuamos con el anlisis.

30

Comunalidades:Correlacin mltiple al cuadrado de cada tem:

proporcin de varianza de cada tem explicada por el conjunto

de factores extrados por el anlisis.

Se intenta explicar la varianza comn

Ej. tem 1 = aF1 + aF2 + aF3 + aF4

16

31

Siguiendo ese criterio, obtenemos 8 factores con autovalores mayores a 1, que explican el 43% de

varianza comn.

Recordad que hemos utilizado la regla de Kaiserpara la extraccin de los factores.

Pero observando el grfico de sedimentacin, vemos que en este caso, con este procedimiento se da una

sobreestimacin del nmero de factores.

32


Determinacin del nmero de factores

Grfico de sedimentacin: Permite ver grficamente a partir de qu nmero de factores los autovalores decaen bruscamente

Existen diversos criterios para determinar el nmero de factores a conservar.Entre las alternativas posibles:

Regla de Kaiser: conservar los factores cuyos valores propios (autovalores iniciales o eigenvalues) son mayores a la unidad (por defecto en SPSS). Tiende a sobreestimar el nmero de factores

Seleccionar el nmero de factores que esperamos segn la teora: indicar el n de factores que se hipotetiza desde la teora.

17

33

Repetimos el anlisis. Esta vez probaremos el otro criterio de extraccin, es decir,indicaremos el nmero de factores que esperamos segn la teora (en este caso 4 factores:P, N, E y L).

Vamos a ver qu resultados obtenemos...

34

Varianza comn explicada por cada

uno de los 4 factores extrados tras la

rotacin, es decir, una vez maximizada la

interpretabilidad de la solucin.

Para explicar el 100% de la varianza se necesitan tantos factores como tems

Necesario seleccionar los que explican la mayor parte de variabilidad

Porcentaje total de varianza comn

explicada por los 4 factores extrados.

Los 4 factores explican el 29% de

varianza comn.

18

35

Seguimos con la interpretacin de la solucin factorial fijando la extraccin a 4 factores

Matriz de estructura o Matriz de factores rotados

Contiene las Saturaciones factoriales: indica el peso de cada factor en cada tem, como la correlacin del tem con el factor.

La matriz factorial rotada busca una estructura factorial tal que:1) Cada factor tenga algunos pesos altos y otros prximos a 02) Cada variable sature slo en un factor. Posibilidad de

eliminar tems con saturaciones dobles (aunque a veces puede justificarse la doble saturacin)

3) Los factores distintos presenten distribuciones de cargas altas y bajas distintas.

Una buena solucin factorial es aquella que es sencilla e interpretable Parsimonia: el n de factores debe ser lo ms reducido posible Interpretabilidad: los factores deben ser susceptibles de interpretacin sustantivaEsta solucin lo es, y apoya la estructura terica esperada

36

Conclusin.

1. Numero de factores: Con el criterio del grafico de sedimentacin aparecen 4 factores. Con el criterio de Kaiser aparecen 8. Lo deseable: que ambos criterios hubieran apuntado a 4 factores.

2. En conjunto los cuatro factores solo explican el 29% de la varianza comn. Hubiera sido deseable explicar el 50% o mas.

3. La correspondencia es completa en las dimensiones de Neuroticismo y Extroversin. Pero no en las dimensiones de Sinceridad y Psicoticismo, alguno de los tems que las componen no resultan adecuadamente explicados por el factor esperado.

Los resultados no son concluyentes.


19

37

El test finalmente parece que funciona bien.

Anlisis de la estructura interna del test: parece que se replica la estructura de 4 factores, apareciendo claramente diferenciadas las dimensiones de Neuroticismo y Extroversin. Los tems de las escalas de Sinceridad y Psicoticismo tambin se agrupan en dos factores diferenciados, aunque alguno de los tems que las componen no responden a la agrupacin esperada desde el modelo terico.

Anlisis de las relaciones test-criterio: las dimensiones de Extroversin y Psicoticismo resultan ser predictores significativos de la Desadaptacin escolar.

Evidencia convergente y discriminante: se encuentra el patrn de correlaciones esperado.

Cuanto mayor sea la evidencia que ofrezcamos apoyando el significado psicolgico que damos a las puntuaciones de un test, mayor ser su validez. Una sola evidencia es insuficiente tanto para confirmar como para rechazar la validez de un test.


tutorial actividades validez externa

Documents