MÉTODOS DE ENCUESTA

EN LA SOCIEDAD

DIGITAL:

LA BÚSQUEDA DE LA CALIDAD

Mª Ángeles Cea D´AnconaUniversidad Complutense de Madrid

CARACTERÍSTICAS ESENCIALES

1. Estandarización en la recogida y análisis de la información (restringe errores de medición y favorece la comparabilidad)

2. Representatividad de la muestra y de la información respecto al objeto de estudio (incide en criterios de validez; depende de errores de encuesta)

VENTAJAS DE LA ENCUESTA

1. Obtención de información variada de

un conjunto amplio de personas

2. Permite la comparación de los datos

en contextos sociotemporales

diferentes

3. Generalización de los resultados.

Dependerá de los errores en su

realización

INCONVENIENTES DE LA

ENCUESTA

1. Desaconsejable en población con

dificultades para la comunicación verbal

2. Información condicionada a la

formulación de la pregunta y la

veracidad de la respuesta

3. Reactividad en la respuesta por

presencia del entrevistador

4. Imprecisión en el estudio de la causalidad

ARTICULACIÓN DE LA ENCUESTA

CON OTRAS ESTRATEGIASS. D. Sieber (1973) “Integrating fieldwork and survey methods”.

American Journal of Sociology, 78: 1335-1359

Ventajas:

1. Elaboración marco teórico

2. Validación de los resultados

3. Mejora interpretación datos de encuesta

4. Identificación de personas a ser encuestadas

5. Elaboración del cuestionario

También imprescindible el uso de datos disponibles

1. Elaboración marco teórico

2. Operacionalización problema de estudio

3. Interpretación de los datos

FASES DE LA ENCUESTA

Revisión bibliográfica

1. Estructurar idea originaria

2. Ayuda a diseñar la encuesta

Se quiere:1. Prevenir errores

2. No ser redundantes

3. Extraer ideas para el diseño de la muestra y del cuestionario

Concluye con la redacción del informe:• Objetivo

• Transparente• Fidedigno

Crucial la especificación de los límites de la investigación (datos

válidos y fiables)

ANTECEDENTES EN EL ESTUDIO

ERRORES DE ENCUESTA

• J. L. Gillin (1915): “The social survey and its further development”. Journal of the American Statistical Association, 14: 603-610.

• Estudios experimentales de A. Hobson (1916) y H.Cantril (1944: Gauging Public Opinion. Princeton University Press)

• W. E. Deming (1944): “On errors in surveys”. American Sociological Review, 9: 359-369.

• P. C. Mahalanobis (1946): “Recent experiments in statistical sampling in the Indian Statistical Institute”, Journal of the Royal Statistical Society,19: 325-378.

• M. H. Hansen, W. N. Hurwitz y W. G. Madow (1953): Sample survey methods. Wiley.

ERROR TOTAL DE ENCUESTA

• R. M. Groves (1989): Survey errors and survey

costs. John Wiley & Sons.

• P. P. Biemer y L. E. Lyberg (2003): Introduction

to survey quality. John Wiley & Sons.

• Mª A. Cea D´Ancona (2005): Métodos de

encuesta. Teoría y práctica, errores y mejora.

Síntesis.

• - (2005) “La senda tortuosa de la calidad de la

encuesta”. REIS, nº 111: 75-103.

E

R

R

0

R

E

S

E

N

C

U

E

S

T

A

NO

OBSERVACIÓN

No cobertura

Muestreo

No respuesta

OBSERVACIÓN

O MEDICIÓN

Método de encuesta

Diseño del cuestionario

Intervención entrevistador

Actitud del encuestado

Tratamiento información

ERROR DE “NO COBERTURA”

Idoneidad del marco muestral

Listados con erróneas inclusiones u omisiones por:

– No actualización

– Duplicidades

– No correspondencia con objeto de estudio

Su influencia dependerá de:

– Tasa no cubiertos

– Características diferenciales

ACTUACIONES ANTE ERRORES

DE “NO COBERTURA”

1. Evaluar la calidad del marco muestral

2. Restringir población de estudio

3. Utilizar varios marcos muestrales

4. Identificar “omisiones” y utilizarlas como

variables de “cuota”

Uso de “hogares transitorios” (Keeter, 1995)

5. Aplicación otros métodos de encuesta

6. Ponderación

ERROR DE MUESTREO

Presente en toda encuesta

Su magnitud depende de:

– Tamaño de la muestra

– Representatividad

Remedios:

– Incrementar el tamaño de la muestra

– Aplicación de diseños muestrales aleatorios que

garanticen la heterogeneidad de la muestra

ERROR DE NO RESPUESTA

El reto de la plena participación

Incide:

1. Magnitud no respuesta (especificar en el informe)

2. Composición: características diferenciales

Información no respondientes:

1. De no respondientes

2. Imputándoles de respondientes

3. Preguntando a personas próximas

4. Extrayendo información de marco muestral

5. Comparación con datos censales

FACTORES QUE INCIDEN EN LA NO

PARTICIPACIÓN

1. Contexto social

– Responsabilidad, legitimidad, prestigio centro

– Saturación de encuestas e imagen

– Cambios sociales

2. Método de encuesta

– No respuesta diferencial en cada método

– Tema encuesta e interés que suscite

– Complejidad y extensión cuestionario

3. Características del encuestado

4. Características del entrevistador

ACTUACIONES EN LA REDUCCIÓN

ERROR DE NO RESPUESTA1. Adecuación a peculiaridades población

2. Prenotificación de la encuesta

3. Seguimiento de la muestra

4. Gratificación de la participación

5. Mejorar la presentación de la encuesta

6. Otro método en no respondientes

7. Convertir “negativas” en aceptación

8. Incrementar el tamaño muestral

9. Sustitución por unidades equiparables

10. Ajustes estadísticos:ponderación e imputación

ERRORES POR MÉTODO DE

ENCUESTA

Su pertinencia en la consecución objetivos

Captación diferencial de encuestados

1. Elección razonada del método de encuesta:

– Objetivos investigación

– Complejidad del tema, extensión y dificultad del cuestionario

– La población a encuestar

– Tiempo disponible para la recogida de información

– Recursos disponibles

– Nivel deseado de calidad

2. Mejoras en el diseño del cuestionario

3. En su aplicación

ERRORES POR DISEÑO

CUESTIONARIO

ERRORES MOTIVO

De especificación No correspondencia con objetivos

De medición

Desigual interpretación de la pregunta

Su redacción, introducción y formulación

Las opciones

de respuesta

Qué alternativas ofrezca

En qué orden

Orden y contexto de la pregunta

Tema de la

pregunta

Deseabilidad social

Errores de memoria,

comunicación

ERRORES POR ENTREVISTADOR

Fuentes de error:

• Características

sociodemográficas

• Factores psicológicos

• Formación y disponibilidad

• Actuación inadecuada

Mayor efecto en encuestas sobre

temas sensitivos; “cara a

cara”; preguntas

subjetivas; abiertas; en

respuestas no opinión;

encuestados de menor nivel

educativo y mayor edad

Actuaciones:

• Aumentar número de entrevistadores

• Adecuar su selección a la

encuesta

• Mejorar su formación

• Estandarizar su actuación

• Intensificar su supervisión y

control

ERRORES POR ENCUESTADO

Por voluntad y/o incapacidad:

1. Mala redacción pregunta

2. Desconocimiento del tema

3. Precipitación en respuesta

4. Errores de memoria

La realización de la entrevista

Actuaciones:

1. Mejorar el diseño del cuestionario

2. Su aplicación

ERRORES POR TRATAMIENTO

DE INFORMACIÓN

1. Automatización del procedimiento de

encuesta

2. Mejorar la formación y el control de

responsables

APORTACIÓN DE LAS NUEVAS

TECNOLOGÍAS

1. Reducción costes y tiempo

2. Errores en la administración del cuestionario

3. Errores en grabación de respuestas

4. En orden de las preguntas y las respuestas

5. Mayor control del entrevistador

6. Imagen de mayor profesionalidad

7. Menor inhibición en entrevistados

8. Incrementa ayudas visuales

9. Facilita encuestas complejas

ERROR DE “NO COBERTURA”

Idoneidad del marco muestral

Su influencia dependerá de:

– Tasa no cubiertos

– Características diferenciales

ERROR DE MUESTREO

Presente en toda encuesta

Su magnitud depende de:

– Tamaño de la muestra

– Representatividad

Remedios:

– Incrementar el tamaño de la muestra

– Aplicación de diseños muestrales aleatorios que

garanticen la heterogeneidad de la muestra

DISEÑOS MUESTRALES

PROBABILÍSTICOS

1. Aleatorio simple

2. Sistemático

3. Estratificado (proporcional, no proporcional)

4. Por conglomerados

5. Áreas y rutas aleatorias

6. Métodos selección persona en una misma

vivienda– No selección

– Método de Kish de selección aleatoria

– Método de cuota sistemática

– Método del cumpleaños

DISEÑOS MUESTRALES

NO PROBABILÍSTICOS

1. Por cuotas

2. Estratégico o “de juicio”

3. Muestreos circunstanciales:– De voluntarios

– Bola de nieve

ERRORES POR DISEÑO

CUESTIONARIO

ERRORES MOTIVO

De especificación No correspondencia con objetivos

De medición

Desigual interpretación de la pregunta

Su redacción, introducción y formulación

Las opciones

de respuesta

Qué alternativas ofrezca

En qué orden

Orden y contexto de la pregunta

Tema de la

pregunta

Deseabilidad social

Errores de memoria,

comunicación

ACTUACIONES EN LA REDUCCIÓN

ERRORES POR CUESTIONARIO

Ampliar actuaciones previas:

1. Indagación exploratoria cualitativa

2. Revisión bibliográfica

3. Entender procesos sociopsicológicos

Antes de formular nuevas preguntas:

1. Especificar objetivos encuesta

2. Identificar conceptos centrales y operacionalizarlos

3. Elegir método de encuesta y población

4. Concretar los análisis

RECOMENDACIONES PARA REDUCIR

EL ERROR DE ESPECIFICACIÓN

1. Seleccionar conceptos clave

2. Descomponer el concepto en

dimensiones

3. Buscar indicadores para cada dimensión

– Operacionalización múltiple

RECOMENDACIONES PARA REDUCIR ERRORES POR INTERPRETACIÓN

TÉRMINOS DE LA PREGUNTA

1. Emplear vocabulario sencillo, evitando

términos abstractos

2. Palabras familiares

3. Escalas numéricas

4. Comprobar traducción de preguntas en

otro idioma

RECOMENDACIONES PARA REDUCIR

ERRORES POR REDACCIÓN DE LA

PREGUNTA

1. Preguntas breves y fáciles de comprender

2. Redacción precisa de la pregunta

3. Pregunta objetiva o neutra

4. No redactar la pregunta en forma negativa

5. Pregunta de forma personal y directa

6. Ni preguntas ni alternativas referidas a

varias cuestiones

RECOMENDACIONES PARA EVITAR

ERRORES POR OPCIONES DE

RESPUESTA

1. Redacción de la pregunta “neutral” y

equilibrada

2. Adecuar el número de categorías

3. Rotar orden lectura alternativas respuesta

4. Respuestas intermedias sólo mencionadas

5. No explicitar opciones de no respuesta

RECOMENDACIONES PARA EVITAR

ERRORES POR ORDEN Y CONTEXTO

DE LA PREGUNTA

1. Preguntas con secuencia lógica

2. En temas complejos, técnica del embudo

invertido

3. Una pregunta abierta entre dos cerradas

4. Preguntas iniciales interesantes y sencillas

5. Preguntas clave en el centro del cuestionario

6. Preguntas amenazantes al final

7. Un cuestionario no muy extenso, que no fatigue

ACTUACIONES PARA REDUCIR

SESGO DE DESEABILIDAD SOCIAL

1. Motivar encuestado para que responda con

sinceridad

2. Ocultar la intencionalidad de la pregunta

3. Pregunta abierta, larga y sencilla

4. Respuestas flexibles o atenuar gravedad de la pregunta

5. Evitar palabras con reacción estereotipada

6. Dar mayor privacidad a la respuesta

7. Cargar deliberadamente la pregunta: • Todo el mundo lo hace ; Asumir la conducta;

• Uso de la autoridad; Razones de por qué no

• Escoger marcos de tiempo apropiados

8. Ubicar la pregunta al final del cuestionario

RECOMENDACIONES EN PREGUNTAS

REFERIDAS AL PASADO

1. En la introducción destacar importancia de

responderla con precisión

2. Preguntas largas a cortas

3. Aproximar en el tiempo preguntas de eventos

poco notorios

4. Uso de procedimientos de ayuda al recuerdo

5. Realizar varias preguntas. Aquellas de más

difícil recuerdo al final

ADECUAR EL FORMATO DE LA

PREGUNTA ABIERTA

• Ventajas: fáciles de elaborar; ocupan menos espacio; permiten responder con sus propias palabras; respuestas no previstas; captar lo más saliente.

• Inconvenientes: caras; expuestas a errores de registro; actuación entrevistador; más esfuerzo y tiempo del encuestado; respuestas irrelevantes; más dificultad reglas de codificación.

• Utilidad: estudios exploratorios; respuestas no previstas; respuesta inmediata; mayor especificación; valor numérico exacto; en temas delicados

ADECUAR EL FORMATO DE LA

PREGUNTA CERRADA

• Requisitos:exhaustividad; exclusividad; precisión.

• Ventaja: rapidez; mayor estandarización; centrar respuestas; menos esfuerzo encuestado.

• Inconvenientes: coartan respuesta; influencia en respuesta; más laborioso; dificulta significado de respuesta; posible respuesta no meditada; respuesta con distintas interpretaciones; incrementa la amenaza a la pregunta

RECOMENDACIONES UBICACIÓN DE

LAS PREGUNTAS

1. Preguntas iniciales interesantes y

sencillas

2. Preguntas clave en el centro

3. Distribuir secuencialmente preguntas que

formen una batería

4. Preguntas amenazantes al final

RECOMENDACIONES DISEÑO DEL

CUESTIONARIO

1. Cuestionario no extenso

2. Evitar largas series de preguntas con un

mismo formato

3. Mejorar el mensaje de presentación

4. Dejar espacio para observaciones y

datos de control al final

RECOMENDACIONES FORMATO DEL

CUESTIONARIO

1. De libro en papel buena calidad

2. A doble cara, dos columnas

3. Preguntas ordenadas y numeradas

4. Preguntas cerradas en vertical y codificadas

5. Preguntas abiertas espaciadas

6. Evitar preguntas partidas

7. Pregunta larga no seguida de corta

8. Instrucciones al entrevistador precisas

9. Preguntas filtro bien definidas

10. Preparar cuestionario para procesamiento

Precomprobación del cuestionario

LA PRUEBA DEL CUESTIONARIO

1. Pretest

Permite comprobar:

• Preguntas tienen sentido, se comprenden, respuestas esperadas

• Cubren la variedad de lo que se analiza

• Disposición conjunta de las preguntas: secuencia lógica, no afecta a la

respuesta

• Instrucciones se entienden

• Duración no afecta a la respuesta

• Porcentaje aproximado no respuesta

• Idoneidad marco muestral

• Variabilidad población tema de estudio

• Preparación entrevistadores

• Coste trabajo de campo

LA PRUEBA DEL CUESTIONARIO

2. Observación de la entrevista

Fallos administración cuestionario:

• El entrevistador no lee la pregunta exactamente: mala

redacción pregunta

• Omite pregunta: especificaciones incorrectas preguntas

filtro, mala ubicación pregunta

• Encuestado solicita aclaración: pregunta no clara

• Entrevistado interrumpe: pregunta larga

• Tarda mucho tiempo en responder: pregunta compleja

• Respuestas inadecuadas: fallos en la pregunta

LA PRUEBA DEL CUESTIONARIO

3. Valoración de los encuestados– Incluir preguntas al final del cuestionario: interés, extensión, dificultad

respuesta, aclaraciones, mejoras a introducir

– Grupo discusión

4. Valoración entrevistadores– Datos control: anotar incidencias

– Grupo discusión

5. Consulta a expertos (individual o grupal)

Identificar errores especificación y medición

6. Entrevistas cognitivas

– Piensa en alto

– Retrospectiva: no introduce sesgos respuestas posteriores

» Olvido

LA VALIDEZ DATOS DE ENCUESTA

1. Adecuación objetivos de investigación

2. Validez interna: control explicaciones alternativas

– Grupos de comparación equiparables

– Varias mediciones: encuestas panel

3. Validez externa: generalización

– Representatividad muestra

4. Validez de conclusión estadística: significatividad

análisis

– Incrementar muestra

– Grupos internamente heterogéneos

– Adecuar análisis a objetivos

LA VALIDEZ DATOS DE ENCUESTA

5. Validez de constructo: medición conceptos

– Delimitación clara conceptos medir

– Operacionalización múltiple

• Validez concurrente

• Validez predictiva

Problemas:

– Validez medidas establecidas

– Congruencia respuesta - conducta

PROCEDIMIENTOS PARA

COMPROBAR VALIDEZ MEDICIÓN

1. Experimentos split-ballot

2. Contrastación informes administrativos

3. Observación de la encuesta• Mala actuación entrevistador

• Mal diseño cuestionario

– Información entrevistadores y encuestados

– Entrevistas cognitivas

– Reentrevista

4. Evaluación cuestionarios– Consulta a expertos

– Revisión de cada pregunta

– Contrastación preguntas: análisis multivariable

5. Estudios de grupo de criterio

COMPROBACIÓN DE LA FIABILIDAD

Consistencia medición

1. Método test – retest

– Efectos de memoria

– Reactividad del test

2. Método alternativo

– Dificultad crear ítems comparables

– Distinción cambio verdadero de infiabilidad

3. Método de las dos mitades

– Mitades homogéneas

4. Método de consistencia interna alfa de Cronbach

5. Análisis factorial y discriminante

RECOMENDACIONES PARA

MEJORAR LA FIABILIDAD

1. Seleccionar una muestra amplia y heterogénea

2. Operacionalización múltiple

– Eliminar ítems no relevantes

3. Aumentar varianza variables

4. Estandarizar el proceso de recogida de la

información

5. Reducir la incidencia de todos los errores de

encuesta

GRACIAS