You manage what you measure

Om at måle på brugervenlighed, og at måle mangel på brugervenlighed

eBay23.9.2013

SnitkerGroupUsability Specialist, CEO Thomas Visby Snitker

2

3

Hvad er problemet med at måle og styre brugervenlighed?

For eksempel, et website;• Problemer med brugervenligheden koster noget: omsætning, brugere osv• Brugerne vælger konkurrenten – de synes det er for besværligt, langsomt, indviklet,

overfladisk eller …• Brugerne laver fejl som skal rettes gennem Support/Service/Kundecenter• Brugerne bruger for lidt tid på sitet, der mangler relevant indhold/funktionalitet

• Brugervenligheden indgår ikke i de strategiske mål og i de regelmæssige målinger/KPI’er• Den daglige ledelse har svært ved at skabe overblik over brugervenligheden af sitet.• Man måler ikke afkastet på investeringen.• Man måler ikke brugervenligheden og kan derfor ikke styre den.• Brugervenligheden indgår ikke i udviklingen af sitet

SnitkerGroup

At måle og styre

• Hvad kan vi måle og styre?• Hvornår i processen?• Hvad kan vi miste og opnå?• Hvad kræver det af os?

SnitkerGroup 4

Christian Rohrer

• Director of Customer Intelligence eBay, Inc. (2007-2008)

• Chief Design Officer & VP, McAfee (nu)

• When To Use Which User Research Methods• Jakob Nielsen's Alertbox on useit.com• October 6, 2008

SnitkerGroup 5

SnitkerGroup 6

SnitkerGroup 7

SnitkerGroup 8

Faseopdelt efter produktets/tjenestens stadie

Product Development PhaseStrategize Optimize Assess

Goal: Inspire, explore and choose new directions and opportunities

Inform and optimize designs in order to reduce risk and improve usability

Measure product performance against itself or its competition

Approach: Qualitative and Quantitative

Mainly Qualitative (formative)

Mainly Quantitative (summative)

Typical methods: Ethnographic field studies, focus groups, diary studies, surveys, data mining or analytics

Cardsorting, field studies, participatory design, paper prototype and usability studies, desirability studies, customer emails

Usability benchmarking, online assessments, surveys, A/B testing

SnitkerGroup 9

SnitkerGroup 10

Forstå målgruppen, konteksten og behovet

SnitkerGroup 11

OptimérUX/Usability KPI

Tilpas konceptet

Tilpas flows og designs

Tilpas den samlede

brugeroplevelse

SnitkerGroup 12

UX KPI

13

Hvad er Usability-KPI?

Usability KPI:• Hvad gør kendte brugere når de skal løse kendte opgaver på sitet?• Hvilken succesrate har kendte brugere når de skal løse kendte opgaver på sitet? (Succes,

mislykket, katastrofe)• Hvor lang tid tager opgaveløsningen dem? (Optimal tid vs reel tid)• Hvor tilfredse er de med at bruge sitet?

• Output: et scorecard, fx pr kvartal • Strategisk udviklingsfokus

SnitkerGroup

At måle og styre

• Hvad kan vi måle og styre?• Hvornår i processen?• Hvad kan vi miste og opnå?• Hvad kræver det af os?

SnitkerGroup 14

15

Et eksempel – e-handel

Spiludbyder, abonnementsprodukt• Værdien af hver sign-up er 3.000 kr• De ville udsende breve til 140.000 personer• Totalt kunne kampagne indbringe 420 mio kr. Men konverteringen var kun 24% • Testen viste at ingen af seks testpersoner kunne gennemføre processen uden

problemer. Anslået 25% af brugerne ville afstå fra at gennemføre processen.Anslået 25% af brugerne ville kontakte Kundeservice for at kunne gennemføre processen.Anslået 50% af brugerne ville blive frustrerede og vil ikke anbefale deres venner at gennemføre processen.

• En løsning som blev tilrettet på baggrund af testen løftede konverteringen fra 24% til 28%.

• Tabet ved den testede løsning var 4% af 420 mio kr= 16,8 mio kr

SnitkerGroup

16

Et eksempel – en mellemstor virksomheds hjemmeside

Førende leverandør af betalingssystemer (2,5+ mia.kr omsætning årligt)• 120.000 besøgende årligt

• Testen viste at ingen af ti testpersoner kunne finde informationer og løse testopgaverne uden problemer. Anslået 50% af brugerne kunne ikke løse de vigtigste opgaver. Anslået 50% af brugerne ville afstå fra at besøge hjemmesiden igen.Anslået 25% af brugerne ville kontakte Kundeservice for at kunne få svar.

• Mistede gevinster pga hjemmesiden:– 60.000 (potentielle) kunder årligt der ikke kan finde de vigtigste informationer– 60.000 (potentielle) kunder årligt der ikke vil besøge sitet igen– 30.000 (potentielle) kunder årligt der ringer eller skriver i stedet for at betjene sig

selv• Mistede gevinster ved den bruger-optimerede løsning er 0.

SnitkerGroup

17

Et eksempel – intranet

Intranet med ca. 2.000 brugere• Værdien af hver medarbejders time er 500 kr• Testen viste at det tager 10 minutter at rejseafregne og 2 minutter at finde specifikke

oplysninger i personalehåndbogen. Opgaverne forekommer en gang månedligt.• Totalt koster intranet-brugen til disse to opgaver:

12/60 * 500 * 2.000 = 200.000 kr/md = 2.400.000 kr/årl

• Intranettet tilpasses derefter så tidsforbruget ved de to opgaver halveres til 6 minutter/mdl.

• Omkostningen ved den efter testen tilrettede løsning kan ligge på ca 100.000 kr/md.

En besparelse på 2.400.000 kr/årl

SnitkerGroup

At måle og styre

• Hvad kan vi måle og styre?• Hvornår i processen?• Hvad kan vi miste og opnå?• Hvad kræver det af os?

SnitkerGroup 18

19

Hvad kræver det at gøre noget ved brugervenligheden?

Mindre involvering Mellem involvering Høj involvering

• Spørgeskemaer• Adfærdstracking• Logfilsanalyse• Samle input fra

kundeservice• Spørg-din-kollega-test• Interne evalueringer

• Usability KPI• Ekspertevaluering

• Brugerworkshops• Fokusgrupper • Personas• Brugervenlighedstest

SnitkerGroup

20

Hvad kræver det at gøre noget ved brugervenligheden? Og hvilken type udbytte får man?

Mindre involvering Mellem involvering Høj involvering

• Spørgeskemaer• Adfærdstracking• Logfilsanalyse• Samle input fra

kundeservice• Spørg-din-kollega-test• Interne evalueringer

• Usability KPI• Ekspertevaluering

• Brugerworkshops• Fokusgrupper • Personas• Brugervenlighedstest

- HVAD, HVOR MANGE- Kun få eller ingen rigtige

brugere

– HVAD, HVOR MANGE– HVORDAN kan vi

forbedre?– HVORFOR går det

godt/skidt?– Kun få eller ingen rigtige

brugere

– HVAD, HVEM– HVORDAN kan vi

forbedre?– HVORFOR går det

godt/skidt?– HVORFOR er det ikke

optimalt?

SnitkerGroup

21

Fx Google Analytics

Hvem er bruger-ne?

Hvor mange og hvor kom-mer de fra?

Hvad ønsker de at opnå?

Hvilke sider ser de?

Hvor forlader de sitet?

Hvor længe er de på sitet?

Hvilket udbytte har de?

Kan de finde rundt?

Hvor glade er de for sitet?

Hvor bruger-venligt er sitet?

? ! ? ! ! ! ? ? ? ?

SnitkerGroup

22

Hvad U-KPI gør udover Google Analytics

Hvem er bruger-ne?

Hvor mange og hvor kom-mer de fra?

Hvad ønsker de at opnå?

Hvilke sider ser de?

Hvor forlader de sitet?

Hvor længe er de på sitet?

Hvilket udbytte har de?

Kan de finde rundt?

Hvor glade er de for sitet?

Hvor bruger-venligt er sitet?

! ! ! ! ! ! ! ! ! !

Usability KPI:• Hvad gør kendte brugere når de skal løse kendte opgaver på sitet?• Hvilken succesrate har kendte brugere når de skal løse kendte opgaver på sitet? (Succes,

mislykket, katastrofe)• Hvor lang tid tager opgaveløsningen dem? (Optimal tid vs reel tid)• Hvor tilfredse er de med at bruge sitet?

SnitkerGroup

23

Hvordan måles brugervenlighed?

• Usability: the extent to which a product can be used by specified users to achieve specified goals with effectiveness, efficiency and satisfaction in a specified context of use.

ISO 9241-11

SnitkerGroup

24

Hvordan måles brugervenlighed?

• effectiveness, efficiency and satisfaction;– Task completion;

Er brugerne i stand til at løse relevante opgaver?Følger brugerne den tiltænkte vej gennem sitet?Error rate: Er der problemer; Laver de fejl, misforstår de tekster, bliver de forvirrede over funktionalitet eller opbygningen osv?

– Time on task; Hvor lang tid tager det?Tager det for lang tid?

– Satisfaction;Hvor tilfredse er de med oplevelsen? Vil de anbefale andre at bruge sitet?

SnitkerGroup

25

Hvad er usability KPI?

• En let og systematisk måling brugervenligheden ud fra de tre ISO brugervenlighedsparametre

• En kvartalsmåling af brugervenligheden vhja eksisterende adfærdstracking – fx Google Analytics eller SiteCatalyst

• Udbytte: score på de tre ISO parametre (task completion/error rate, time on task, satisfaction), og en sum

            U KPI = succesrate x (optimal tid / median tid)

Et eksempel: En defineret opgave burde tage 40 sekunder (optimal tid), men testpersonerne bruger 100 sekunder (median tid). 9 af 15 klarer at fuldføre opgaven = succesrate på 60 procent. Regnestykket bliver så:

            U KPI = 0,60 x (40 / 100) = 0,24 = 24%

SnitkerGroup

26

Hvordan gennemføres usability KPI?

• Opsætning af målepunkter (1-2 dage)– Møde/workshop– Opsætning af adfærdstracking koder på websitet– Opsætning af KPI og specifikation af testopgaver

• Nul-punktsmåling (2-3 dage)– Rekruttering og honorering af respondenter– 5 brugervenlighedstest (kvalitativt) og – 5 brugervenlighedstest gennem adfærdstracking (kvantitativt)– Rapportering

• Måling efter 3 mdr, 6 mdr og 9 mdr.– 10 brugervenlighedstest gennem adfærdstracking (kvantitativt)– Rapportering

SnitkerGroup

Opsummering: Brug brugerne! Kombiner metoderne. Mål og styr!

• Mange kilder til viden om brugerne og brugen (fx på www)– Kvalitative undersøgelser

• enkelt- eller gruppe-interview• .. mens de løser deres opgaver (lab-test eller feltundersøgelser)

– Kvantitative undersøgelser• spørgeskemaer (surveys), før under eller efter brug• med målgruppen eller brugergruppen

– Tekniske undersøgelser• performance og tilgængelighed (svar- og loadtid mv)• Adfærds- og trafikanalyse (trafiktal og -mønstre)• tracking (trafikspor og konverteringsrater)

• Brug kilderne i hele processen fra projektstart til launch og løbende tilpasning– Strategisk og taktisk

SnitkerGroup 27

28

Hvad kan man ellers gøre?

• Meld dig ind i Brugercentrisk Netværksgruppe

- tre netværksgrupper for folk der arbejder brugercentrisk (gerne vil arbejde mere brugercentrisk) og som ønsker at udvide deres horisont sammen med ligesindede.

- 4-6 møder årligt ude hos medlemmerne.- Oplæg om fx metoder og konkrete cases.- Workshops om deltagernes egne udfordringer.

• Læs mere og bliv medlem: www.brugercentrisk.dk

SnitkerGroup

SnitkerGroupNytorv 17 | 1450 København K | 70 27 42 83 | info@snitkergroup.com   

Thomas Visby SnitkerUsability Specialist

thomas@snitkergroup.com

+45 5180 0766

Hent gratis min egen ”Brug brugerne” (2001, 140 sider):google ‘brugbrugerne.pdf’