objetivos discutir y analizar los conceptos de validez y confiabilidad. presentar y analizar...
TRANSCRIPT
Validez y Confiabilidad
de los cuestionarios
Objetivos Discutir y analizar los conceptos de validez
y confiabilidad.
Presentar y analizar situaciones que afectan la validez y confiabilidad de los instrumentos.
Hallar la validez de contenido y confiabilidad de un instrumento.
Validez◦ Es la cualidad del instrumento para medir los
rasgos o características que se pretenden medir. Por medio de la validación se trata de determinar si realmente el cuestionario mide aquello para lo que fue creado.
Confiabilidad◦ Se refiere a la consistencia de los resultados.◦ En el análisis de la confiabilidad se busca que los
resultados de un cuestionario concuerden con los resultados del mismo cuestionario en otra ocasión.
Características fundamentales de un cuestionario
Son características que el científico social que aspira hallar en todo método, instrumento o técnica. ◦ implica veracidad, confianza y exactitud
Sí los datos e instrumentos son válidos y confiables, entonces sus conclusiones tienden a ser exactas.
La mayoría de la literatura sobre el tema hace referencia a la validez y confiabilidad haciendo referencia al instrumento de medición, y no al proceso de investigación.
Validez y Confiabilidad
Validez◦Contenido◦CriterioConcurrentePredictiva
◦Constructo
Confiabilidad◦Formas alternas◦Prueba-RePrueba◦División por mitades◦Consistencia interna
Coeficiente Alpha Kuder Richarson
Validez de contenido
Lawshe (1975) dijo que es la comunalidad o traslapo que existe entre la ejecución en la prueba bajo investigación y la habilidad para funcionar en el dominio de ejecución asociado a una tarea determinada.
Novick (1985) establece que la validez de contenido es la forma mediante la cual los miembros del panel de evaluación del instrumento perciben traslapo entre la prueba y el dominio que se está analizando.
Validez de contenido
Muchinsky (2006) por su parte, define la validez de contenido como el grado al cual la prueba contenga una muestra representativa de la conducta a medirse.
El dominio de contenido normalmente es definido o establecido por la literatura, teoría y estudios antecedentes.
Validez de contenido
Lawshe desarrolló un modelo matemático que utiliza la opinión de una muestra de jueces con el objetivo de identificar sí el ítem es pertinente o no para el medir el constructo bajo estudio.
N
NnCVR e
Número de jueces
Índice de validez de contenido
5 0.99
6 0.99
7 0.99
8 0.75
9 0.78
10 0.62
11 0.59
12 0.56
13 0.54
14 0.51
15 0.49
20 0.42
25 0.37
30 0.33
35 0.31
40 0.29
Paso para hallar la validez de contenido según Lawshe
Definir las características que deben tener los jueces.
Seleccionar una muestra de jueces.
Administrar el instrumento a los jueces.
Hallar el coeficiente de validez de contenido del ítem.
Eliminar del instrumentos todos los ítemes que no cumplen con el criterio establecido.
Hallar la validez de contenido del instrumento (IVC).
Coeficiente de validez de contenido del ítem (CVR) Si la cantidad de jueces que expresó que el
ítem es PERTINENTE es mayor que la cantidad de jueces que indicaron que NO ES PERTINENTE.
CVR = PERTINENTE ÷ N
Si la cantidad de jueces que expresó que el ítem es NO ES PERTINENTE es mayor que la cantidad de jueces que indicaron que es PERTINENTE.
CVR = (PERTINENTE – NO PERTINENTE) ÷ N
Coeficiente de validez de contenido del ítem (CVR) Si la cantidad de jueces que expresó que el
ítem es NO ES PERTINENTE es igual que la cantidad de jueces que indicaron que es PERTINENTE.
CVR = 0
Si todos los jueces indicaron que el ítem es PERTINENTE.
CVT = .99
Ejercicio 1: Halle el CVR y IVC del siguiente instrumento
Número del ítem
Jueces
1 2 3 4 5
1 1 1 0 0 1
2 1 1 0 0 1
3 1 1 0 0 1
4 1 1 0 0 1
5 1 1 1 1 1
6 1 1 1 1 1
7 1 1 1 1 1
8 1 1 1 1 1
9 1 1 1 1 1
10 1 1 1 1 1
0 = No pertinente y el 1 = Pertinente
Validez de criterio Es la efectividad de una prueba para predecir la
conducta individual en situaciones específicas.
Tipos de validez de criterio
◦ Concurrente
Es el grado de relación que existe entre las puntuaciones de la prueba y las medidas del criterio llevadas a cabo al mismo tiempo en que la prueba fue administrada.
◦ Validez predictiva
Es el grado de relación que existe entre las puntuaciones de la prueba y las medidas del criterio recopiladas en el futuro.
Validez de Criterio Es el coeficiente
de correlación entre los resultados del instrumento y el criterio.
El coeficiente de correlación debe ser igual o mayor a .75 para establecer una buena validez de criterio.
])(][)([ 2222
yynxxn
yxxynrxy
Nivel de satisfacción
Desempeño académico
6 82
2 63
1 57
5 88
2 68
3 75
La validez de constructo esta referida al grado en que cada instrumento refleja el constructo que dice medir, elaborándose operativamente cuando el usuario desea hacer inferencias acerca de conductas o atributos que pueden agruparse bajo la etiqueta de un constructo particular.
Se refiere a qué tan exitosamente un instrumento representa y mide un concepto teórico (Bostwick y Kyte,2005).
La organización de constructo requiere de la acumulación gradual de diversas fuentes de información.
Messick (1995) establece seis criterios a considerar al momento de establecer la validez de constructo de un instrumento.◦ Contenido
Relevancia y representatividad del instrumento
◦ Sustantivo
Razones teóricas de la consistencia observada de las respuestas.
◦ Estructural
Configuración interna del instrumento y dimensionalidad.
Messick (1995) establece seis criterios a considerar al momento de establecer la validez de constructo de un instrumento.◦ Generalización
Grado en que las inferencias hechas a partir del instrumento.
Se puede generalizar a otras poblaciones, situaciones o tareas.
◦ Externo Relaciones del instrumento con otros instrumentos y
constructos.
◦ Consecuencia Consecuencias éticas y sociales del instrumento.
La validez de un instrumento de medición se evalúa sobre la base de todos los tipos de evidencia.
Cuanto mayor evidencia de validez de contenido, de criterio y de construcción tenga un instrumento, este se acercará más a representar las variables que pretende medir.
Validez total
Contenido
Criterio
Constructo
Validez total
Un instrumento de medición puede ser confiable, pero no necesariamente válido.
Un instrumento quizás sea consistente en los resultados que produce, pero no mida lo que pretende.
Los instrumentos deben ser válidos y confiables para que los resultados de la investigación se tomen en serio.
La validez y confiabilidad no se asumen, se prueban.
La relación entre la confiabilidad y la validez
La improvisación◦ Para construir un instrumento se requiere
conocer muy bien la variable que se pretende medir, así como la teoría que la sustenta.
Instrumentos desarrollados en el extranjero que no han sido validado para nuestro contexto.
Instrumento inadecuado para las personas que se les administra.◦ Lenguaje muy elevado, no tomar cuenta
diferencias de género, edad, conocimientos, memoria, nivel ocupacional, educativo, motivación para contestar entre otras situaciones.
Situaciones que afectan la validez
Estilos personales de los sujetos.◦ Deseabilidad social, tendencia a asentir o contestar
negativamente a todo lo que se le pregunta o dar respuestas inusuales.
Condiciones en que se administra el instrumento.◦ Ruidos, iluminación, frío, demasiado largo o tedioso, el
momento, el día, la hora y el tiempo para responder.
Falta de estandarización del proceso de administración.◦ Instrucciones y orden de preguntas distintas,
instrumentos no equivalentes.
Situaciones que afectan la validez
Aspectos mecánicos◦No sea legible, faltan páginas, no haya
espacio para contestar, no se comprende.
Falta de validez de constructo◦Estrechez del contenido, exclusión de
variables.◦Amplitud exagerada, excesiva
introducción de otros constructos.
Situaciones que afectan la validez
Confiabilidad Es la precisión con que el instrumento mide lo que
mide, en una población determinada y en las condiciones normales de aplicación.
La falta de confiabilidad de un instrumento esta en relación con la intervención del error.◦ Se considera que el error es cualquier efecto
irrelevante para los fines o resultados de la medición que influye sobre la falta de confiabilidad de tal medición.
La confiabilidad se presenta por medio del coeficiente de confiabilidad y del error estándar de medida.
Prueba-reprueba◦ Se aplica dos veces el mismo instrumento (el
lapso entre las aplicaciones se determina previamente), a una misma muestra de individuos.
◦ Las dos series de puntajes resultantes se correlacionan con el coeficiente de correlación de Pearson.
División por mitades o "split half method"◦ Se aplica el test una sola vez a una muestra.
Luego, se califica por separado los ítemes pares (y los ítemes impares.
◦ Las dos series de puntajes resultantes se correlacionan con el coeficiente de Pearson.
◦ Esta corrección se efectúa con la fórmula de profecía de Spearman-Brown.
Consistencia interna◦ La técnica considera que si un instrumento esta
formado por un conjunto de ítemes estos pueden ser considerados como un conjunto de instrumentos paralelos (tantos como ítemes tenga el instrumento).
◦ Luego se deriva una ecuación para computar el coeficiente de confiabilidad.
Consistencia interna◦ Kuder y Richardson derivaron varias fórmulas
para el cálculo del coeficiente de confiabilidad, son las más conocidas la KR20 y la KR21. Se utiliza en instrumento en donde las
contestaciones son correctas o incorrectas.
◦ Actualmente, un coeficiente más utilizado es el coeficiente alfa de Cronbach. Se puede utilizar en cualquier tipo de instrumento.
Coeficiente Alpha Cronbach La técnica considera a
cada ítem como un subcuestionario separado del cuestionario total.
Como esta propiedad de paralelismo es prácticamente imposible para los ítemes, por lo general el coeficiente alfa de Cronbach subestima el coeficiente de correlación.
2
2
11 x
i
k
k
1
2
2
2
nn
xx
Situaciones que afectan la confiabilidad
Homogeneidad del grupo◦ El coeficiente de confiabilidad se afecta por la
variabilidad entre los sujetos. Mientras mayor es la dispersión de las puntuaciones, mayor es la confiabilidad.
◦ Por lo tanto es posible que un cuestionario que se haya construido con una población heterogénea muestre un coeficiente de confiabilidad mucho menor cuando se aplica a una población más homogénea.
Homogeneidad del grupo
◦ Es importante, cuando se adquiere un instrumento construido para otra población asegurarse de que:
el coeficiente de confiabilidad se obtuvo con una población semejante a la que va a utilizar el instrumento.
Tiempo◦ Si un cuestionario tiene un tiempo límite para
completarse algunos sujetos van a terminar a tiempo y otros no. Por lo tanto nos encontramos ante otra variable que va a aumentar la dispersión de puntuaciones en el cuestionario.
◦ La varianza de esta variable "rapidez en responder" se añade a la varianza de las puntuaciones y aumenta la confiabilidad del instrumento.
Tiempo◦ La mejor estrategia es dar suficiente tiempo para
que todos o casi todos los sujetos puedan contestar todos los ítemes.
◦ La confiabilidad de los cuestionarios en los que la rapidez para contestar es una variable importante, debe ponerse en duda.
Situaciones que afectan la confiabilidad Tamaño del cuestionario
◦ Mientras más largo es el instrumento, mayor es la confiabilidad. Esto ocurre por dos razones principales:
En un cuestionario más largo la muestra de ítemes es mayor y el universo del constructo está mejor representado.
La varianza de un cuestionario aumenta cuando aumenta el número de ítemes. Por lo tanto mientras más ítemes, más varianza y por lo tanto más confiabilidad.
◦ Cuando hay varias partes en un cuestionario y se calcula la confiabilidad de cada subparte, estas por lo general son bajas, pues dependen de muy pocos ítemes.
SujetosÍtemes
TotalI II III IV V
A 5 4 5 5 5 24
B 3 2 4 4 2 15
C 4 2 4 5 5 20
D 3 4 2 2 2 13
E 5 4 1 3 3 16
Varianza 1 1.2 2.7 1.7 2.3 19.3
Ejercicio 2: Halle el coeficiente Alpha Cronbach