![Page 1: Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest](https://reader035.vdocuments.mx/reader035/viewer/2022070404/56813c23550346895da59b56/html5/thumbnails/1.jpg)
Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest
Hanne-Pernille Stax, ph.d
Tema 2:
Nye datamuligheder
![Page 2: Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest](https://reader035.vdocuments.mx/reader035/viewer/2022070404/56813c23550346895da59b56/html5/thumbnails/2.jpg)
2
Plan
Kvalitetsudvikling af digital dataindsamling på Danmarks statistik
1. Nye datamuligheder2. Digitale skemaer og standardiseret
interaktion3. Metoder i brugertest af digitale
skemaer4. Fund fra brugertest af digitale skemaer5. Kvalitetsudvikling af digitale skemaer
![Page 3: Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest](https://reader035.vdocuments.mx/reader035/viewer/2022070404/56813c23550346895da59b56/html5/thumbnails/3.jpg)
3
1. Nye datamuligheder
Digital dataindsamling• Digitale skemaer, der udfyldes online.
Fordele for NSI:• Data kan valideres ved udfyldelse –
respondenten stoppes hvis der er fejl.• Data kan anvendes direkte i systemer til
statistikproduktion.• NSI sparer tid til tastning / scanning.• NSI undgår fejl ved tastning/ scanning.
![Page 4: Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest](https://reader035.vdocuments.mx/reader035/viewer/2022070404/56813c23550346895da59b56/html5/thumbnails/4.jpg)
4
1. Nye datamuligheder
Digital dataindsamling• Digitale skemaer, der udfyldes online.
Fordele for respondenten:• Data kan valideres ved udfyldelse –
respondenten stoppes hvis der er fejl.• Kun relevante spørgsmål vises.• Dynamisk vejledning – kun hjælp når der
er behov.• Dynamiske beregninger mv. som støtte.
![Page 5: Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest](https://reader035.vdocuments.mx/reader035/viewer/2022070404/56813c23550346895da59b56/html5/thumbnails/5.jpg)
5
2. Det digitale skema som tekst - eller interaktionelt medie?
Kvalitet – Hvad skal vi teste?
Tekst-forståelse: Respondenten skal selv læse, forstå og handle på præ-formuleret tekst.
• Test: Kvalitet/forståelighed af sprogligt/visuelt input til respondenten.
Interaktion: Ikke alt er vist fra start.
Skema-elementer vises som respons på respondentens handlen.
• Test: Respondentens interaktion med skemaets elementer.
![Page 6: Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest](https://reader035.vdocuments.mx/reader035/viewer/2022070404/56813c23550346895da59b56/html5/thumbnails/6.jpg)
6
3. Metoder i brugertest: Issues
Dataindsamling til business-statistik
Interne testere• Bemærker respondenten x?• Forstår respondenten x?• Anvender respondenten x som
intenderet?• Mangler respondenten noget?
X = element, ord, vejledning, dynamisk funktion, etc…
![Page 7: Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest](https://reader035.vdocuments.mx/reader035/viewer/2022070404/56813c23550346895da59b56/html5/thumbnails/7.jpg)
7
3. Metoder i brugertest: Issues
Dataindsamling til business-statistik
Eksterne brugere• Matcher begreber / koncepter
respondentens sprogbrug / records?• Matcher opgørelsesmåder / kategorier
respondentens records?• Fungerer skema-elementer
så de letter respondentens byrde / task?• Fungerer skema-elementer
så de sikre høj data-kvalitet?
![Page 8: Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest](https://reader035.vdocuments.mx/reader035/viewer/2022070404/56813c23550346895da59b56/html5/thumbnails/8.jpg)
8
3. Testforløb
Teknisk test – Fungerer x som specificeret
Brugertest1. Etnografisk præ-interview
2. Observation af udfyldelse – uden hjælp
3. Think-aloud protocol
4. Probing – kognitiv interviewing
5. Debriefing interview
![Page 9: Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest](https://reader035.vdocuments.mx/reader035/viewer/2022070404/56813c23550346895da59b56/html5/thumbnails/9.jpg)
9
3. Metoder: Etnografisk interview
Indledende interview om…• Forventninger• Kompetencer• Hvordan R plejer at udfylde skemaer.
• Giver info. om ”normal” brug • Fastholder R i ”egen” rolle
![Page 10: Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest](https://reader035.vdocuments.mx/reader035/viewer/2022070404/56813c23550346895da59b56/html5/thumbnails/10.jpg)
10
3. Metoder: Observation af besvarelse
• R udfylder som normalt• Tester hjælper/forklarer IKKE undervejs• Optag eller notér.
![Page 11: Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest](https://reader035.vdocuments.mx/reader035/viewer/2022070404/56813c23550346895da59b56/html5/thumbnails/11.jpg)
11
3. Metoder: Think-aloud
• Alle tanker & idéer er væsentlige• Spørg hvad R tænker – hvis der er pauser• 2 personer kan samarbejde og diskutere• Optag eller notér.
Fordele: • Respondenten vælger fokus• Mulighed for fokus på ukendte problemer.
Ulemper:• Forstyrrer svarproces at skulle tale undervejs• Kan motivere til ”unormalt” høj tankeaktivitet • Ikke systematisk belysning af issues.
![Page 12: Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest](https://reader035.vdocuments.mx/reader035/viewer/2022070404/56813c23550346895da59b56/html5/thumbnails/12.jpg)
12
3. Metoder: Probing / kognitivt interview
• Løbende - Spørg mens der svares+ Nemt at huske- Forstyrrer svarproces
• Retrospektive - Spørg bagefter+ Autentisk svarproces- Svært at huske + effekt af senere tasks
• Lokalt motiverede - Spørg til Rs handlen+ Respondentens perspektiv- Ikke systematisk belysning af kendte issues
• Forberedte - Spørg til kendte issues+ Systematisk fokus på kendte issues- Ukendte issues kan overses
![Page 13: Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest](https://reader035.vdocuments.mx/reader035/viewer/2022070404/56813c23550346895da59b56/html5/thumbnails/13.jpg)
13
3. Metoder: De-briefing
Opfølgende interview om…• Oplevelse• Vurdering / evaluering• Input & idéer til forbedring
![Page 14: Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest](https://reader035.vdocuments.mx/reader035/viewer/2022070404/56813c23550346895da59b56/html5/thumbnails/14.jpg)
14
4. Fund: Vejledninger
Struktur – Før:• Vejledning før opgave / task• Kronologisk – nummererede punkter• Som en opskrift:
1. Vælg først x2. Angiv så y3. Ret evt. z4. …
![Page 15: Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest](https://reader035.vdocuments.mx/reader035/viewer/2022070404/56813c23550346895da59b56/html5/thumbnails/15.jpg)
15
4. Fund: Vejledning
Struktur - Efter• Nummereret liste fungerer fint - før task.• Men – respondenter går direkte til task
og læser så vejledning ”bagfra”...• Re-designes m. markerede keywords:
– Regnskabsår: Gør x og y– Lønudgifter: Udfyld z og p– Udgået: Marker f og q– …
![Page 16: Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest](https://reader035.vdocuments.mx/reader035/viewer/2022070404/56813c23550346895da59b56/html5/thumbnails/16.jpg)
16
4. Knap – Før: ”?” ud for hver type
![Page 17: Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest](https://reader035.vdocuments.mx/reader035/viewer/2022070404/56813c23550346895da59b56/html5/thumbnails/17.jpg)
17
4. Knap – Efter: ”Eksempler” på flere typer
![Page 18: Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest](https://reader035.vdocuments.mx/reader035/viewer/2022070404/56813c23550346895da59b56/html5/thumbnails/18.jpg)
18
4. Skema-elementer udenfor skærm - Før
Vises
Vises
Vises
![Page 19: Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest](https://reader035.vdocuments.mx/reader035/viewer/2022070404/56813c23550346895da59b56/html5/thumbnails/19.jpg)
19
4. Skema-elementer udenfor skærm - Efter
![Page 20: Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest](https://reader035.vdocuments.mx/reader035/viewer/2022070404/56813c23550346895da59b56/html5/thumbnails/20.jpg)
20
4. Overført info. - Før
![Page 21: Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest](https://reader035.vdocuments.mx/reader035/viewer/2022070404/56813c23550346895da59b56/html5/thumbnails/21.jpg)
21
4. Overført info. - Efter: Kant + beregning
![Page 22: Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest](https://reader035.vdocuments.mx/reader035/viewer/2022070404/56813c23550346895da59b56/html5/thumbnails/22.jpg)
22
5. Kvalitetsudvikling – Survey
Test
2. VersionPublicering
Draft1. version
![Page 23: Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest](https://reader035.vdocuments.mx/reader035/viewer/2022070404/56813c23550346895da59b56/html5/thumbnails/23.jpg)
23
5. Kvalitetsudvikling – På tværs af surveys
SurveyB
SurveyC
SurveyA
Generelle fund
![Page 24: Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest](https://reader035.vdocuments.mx/reader035/viewer/2022070404/56813c23550346895da59b56/html5/thumbnails/24.jpg)
24
5. Kvalitetsudvikling – På tværs af NSIs
NSI / ESS Working group
NSI A NSI B NSI C
Survey A-Z Survey A-Z Survey A-Z
NSI D
Survey A-Z