1
1
Management Tools for Management Tools for Enhancing the Composition of Enhancing the Composition of
Survey ResponseSurvey ResponseQ2008
European Conference on Quality in Official StatisticsRome, July 2008
Anne Sundvoll, Bengt Oscar Lagerstrøm Øyvin Kleven, Tora Löfgren,
Statistics Norway
2
Outline
• A growing focus on how to improve response rates, minimize response bias and monitor fieldwork costs during the fieldwork period
• Combination of easily retrieved administrative data and process data make continuous monitoring of survey variable of interest possible
• The task is to maximize the result, given certain constraints as time or costs
3
SIV – A system for managing multi mode data collection
• Co-ordinates CATI, CAPI, CAWI and Paper Questionnaires
• Master Management system
• Updates, reports and graphs
• Quick and continuous re-scheduling of actions
4
In House Case
Management
Deliver Cases
Extract Data
CATI
CAWI
CASI
Blaise Data
Server
ProgressReport
Third Party
Data
In House Data Store
Blaise Input Data
Store
BlaiseCATI
Service
CAPI CADI 4
5
Examples of Administrative Data
• Mode(s)
• Data collection period and dates of actions
• Budget
• Number of Interviewers
• Interviewer characteristics
6
Examples of Process Data
• Response rate
• Composition of nonresponse
– Refusal rate
– Non-contact rate
• Telephone coverage
• Workload
• Cost
7
Management Tools - description
• Snapshots of the data collection process
• Intervention must be possible
• Transparent and predictable management system
8
Data we would like to monitor
During the data collection process, we would like to monitor the composition of…..
• Process data
• Auxiliary data
• Target variables
9
Examples of Quality Indicators
• Response rate
• Non-response rate
• Response bias
• Response burden
• Revisions
• Errors
10
Monitoring of Process Variables
Process variables (Zs)
0102030405060708090
100
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
Week
Per
cen
t
Response rate.Cumulative
Non contact rate
Re-assigned
Unreturned
11
Monitoring of Auxiliary Variables
Auxiliary variables (Xs)
-10,00
-8,00
-6,00
-4,00
-2,00
0,00
2,00
4,00
6,00
8,00
10,00
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
Week
Male Low education Middel education
Under 30 Over 66
12
Monitoring of Target Variables
Target varaibles (Ys)
25
30
35
40
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
Week
Per
cen
t
Not at all and notinterested in politics
13
Post stratification by background variables
Target variables (Ys)
0
10
20
30
40
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
Week
Pe
rce
nt
Not at all and not interested in politics, cumulative
Not at all and not interested in politics, cumulative (PS)
14
Benchmarking by data from previous rounds
Y - example. Bias in electoral turnout, response rate by week in field. Election
survey 2005 (2001)
-15
-10
-5
0
5
10
15
1 3 5 7 9 11 13 15 17 19 21
Week
Bia
s in
per
cen
t
0
10
20
30
40
50
60
70
Res
po
nse
rat
e in
p
erce
nt
2001 - Bias 2005 - Bias 2001 - RR 2005 - RR
15
Examination of multiple bias Male Female
Age Young M Old Young M Old Young M Old Young M Old Young M Old Young M Old
Education Low Middle High Low Middle High
Week 1 -0,3 -1,6 1,0 0,2 -3,2 2,0 -1,7 1,4 1,9 -0,2 -1,8 -1,0 -2,3 0,7 0,8 1,0 0,6 2,4
Week 2 -0,5 -0,6 0,6 -0,4 -0,9 1,1 -0,5 2,8 1,0 -0,7 -0,8 -1,2 -2,0 0,6 -0,5 0,6 0,7 0,6
Week 3 -0,1 -0,3 0,3 -0,3 -1,0 1,1 0,5 2,0 0,7 -0,7 -0,3 -1,1 -1,7 -1,4 -0,3 0,3 1,8 0,5
Week 4 0,0 -0,2 0,0 -0,1 -0,7 0,8 0,3 1,9 0,7 -0,5 -0,2 -1,2 -1,2 -1,3 -0,2 0,4 1,3 0,3
Week 5 -0,1 -0,5 -0,2 0,2 0,1 0,6 0,3 1,9 0,5 -0,5 -0,5 -1,1 -1,1 -1,1 -0,2 0,3 1,2 0,2
Week 6 -0,2 -0,2 -0,2 0,3 0,6 0,3 0,2 1,9 0,4 -0,5 -0,8 -1,1 -0,9 -1,2 -0,3 0,4 1,1 0,2
Week 7 -0,2 0,0 -0,3 0,0 0,8 0,3 0,2 1,7 0,3 -0,5 -0,6 -1,1 -0,9 -1,1 -0,2 0,2 1,2 0,1
Week 8 -0,2 0,2 -0,2 0,2 0,6 0,2 0,2 1,4 0,1 -0,5 -0,6 -1,2 -0,7 -0,8 -0,3 0,1 1,2 0,1
Week 9 -0,2 0,2 -0,1 0,3 0,2 0,3 0,1 1,3 0,1 -0,4 -0,5 -0,9 -0,6 -0,9 -0,2 0,0 1,0 0,1
Week 10 -0,2 0,2 -0,1 0,3 0,3 0,3 0,1 1,1 0,1 -0,5 -0,6 -0,9 -0,4 -1,1 -0,3 0,1 1,5 0,0Week 11 -0,2 0,1 0,0 0,3 0,4 0,2 0,1 1,0 0,1 -0,4 -0,6 -0,9 -0,3 -0,9 -0,3 0,0 1,4 0,1Week 12 -0,1 0,0 0,1 0,1 0,4 0,2 0,2 1,0 0,1 -0,3 -0,6 -0,9 -0,3 -0,9 -0,2 0,0 1,3 0,1Week 13 -0,1 0,0 0,1 0,1 0,5 0,1 0,1 1,0 0,1 -0,3 -0,6 -0,8 -0,3 -1,0 -0,2 0,1 1,2 0,1Week 14 -0,1 0,1 0,0 0,2 0,4 0,1 0,2 1,0 0,0 -0,2 -0,7 -0,8 -0,3 -1,0 -0,2 0,1 1,1 0,1Week 15 -0,1 0,0 0,0 0,1 0,4 0,1 0,2 1,1 0,0 -0,2 -0,7 -0,8 -0,3 -1,0 -0,2 0,1 1,1 0,1Week 16 -0,1 0,0 0,0 0,1 0,5 0,1 0,2 1,1 0,0 -0,2 -0,6 -0,8 -0,3 -1,0 -0,2 0,1 1,1 0,1Week 17 -0,1 0,0 0,0 0,1 0,5 0,1 0,2 1,1 0,0 -0,2 -0,6 -0,8 -0,3 -1,0 -0,2 0,1 1,1 0,1
16
Management Tools - Challenges
• Get used to communicate through data displays
• High skilled project managers
• Demand of quick re-sceduling procedures
17
Management Tool - Limitations
• May draw attention away from serious measurement problems
• May indicate more than one issue of concern
• May add new bias
18
Further work
• Development of SIV
• Experiences from real-time data collections
• Development of more sophisticated management tools