2010 09 08 måling frokostseminar

Brukernes oppgaver, ikke sidevisningerBjørn Bergslien og Eirik Hafver Rønjum

”The old metrics are broken” – Gerry McGovern

Oppgaver

Hvor lett er det for brukerne å få utført sine oppgaver?• Identifiser de viktigste bruksoppgavene• Finn ut hvor enkelt (eller vanskelig) det

er for brukerne å utføre disse oppgavene • Basert på undersøkelsene - optimaliser

nettstedet og bygg opp under kjerneoppgavene

• Kontinuerlig forbedring av nettstedet

Hvordan måle oppgavene?

”Task measurement”

Trinn 1: Finn oppgavene

Finn de 10 (eller flere) mest etterspurte bruksoppgavene:

• Customer Carewords• Mest besøkte sider• I søkeloggen• Brukerintervjuer• Personas/brukerprofiler• Sunn fornuft

Trinn 2: Rekrutter deltakere• Rekrutter 15-20 representative brukere

•Kunder•Eksisterende ansatte• Potensielle ansatte•Studenter• Presse

Trinn 3: Utfør målingene

• Be deltakerne utføre oppgavene - en etter en - så fort som mulig

• Mål tiden det tar for brukeren å utføre hver oppgave

• Observer utfordringer og positive funn underveis

• Hver måling tar 30 til 90 minutter• Målingen utføres med én person om gangen• Likner tradisjonell brukertest, men vi tenker

ikke høyt og diskuterer ikke underveis

Trinn 4: Beregn og rapporter

Tre mulige utfall av målingene:1. Suksess2. Mislykket3. Katastrofe

Trinn 4: Beregn og rapporter• Resultat: Suksess

•Brukeren klarte å løse oppgaven.

•Vi registrerte hvor lang tid det tok.

Trinn 4: Beregn og rapporter• Resultat: Mislykket

•Bruker gir opp.

•Oppgaven ikke gjennomført på rimelig tid.

Trinn 4: Beregn og rapporter• Resultat: Katastrofe

•Bruker gjennomfører oppgaven,men resultatet er feil.

•Eksempel: En student finner ut via nettsiden når han skal opp til eksamen, men datoen er feil.

Trinn 4: Beregn og rapporter

61%

32%

7%

SuksessMislykketKatastrofe

Trinn 4: Beregn og rapporter• Task Performance Indicator (TPI) er et

”totaltall” som indikerer hvor bra eller dårlig nettstedet ditt ligger an

• Dette trenger du for å regne ut TPI:

• Suksessrate: Prosentandel vellykkede forsøk på å løse oppgaven. Det ideelle tallet er 100%.

• Optimal tid: Estimert tid til å fullføre oppgaven.

• Gjennomsnittstid: Den tiden brukerne faktisk brukte til å gjennomføre oppgaven.

Trinn 4: Beregn og rapporter• Slik regner du ut:

• TPI = suksessrate xOptimal tidgjennomsnittlig tid

Trinn 4: Beregn og rapporterEksempel:• Optimal tid: 40 sekunder• Gjennomsnittlig tid: 100 sekunder• Optimal tid / gjennomsnittlig tid = 40%• 9 av 15 gjennomførte oppgaven

= suksessrate 60%• TPI = 0,6 x 0,4 = 0,24 = 24%

Eksempel

Top 20 Tasks

Tasks Total Vote% of Total Vote 31800

Cumulative Vote

Cumulative Carewords

1 Country surveys / reviews / reports 2178 7% 7% 1%2 Compare country statistical data 1960 6% 13% 3%3 Statistics on one particular topic 1869 6% 19% 4%4 Browse a publication online for free 1610 5% 24% 6%5 Working papers 1530 5% 29% 7%6 Publication by topic 1478 5% 33% 9%7 Basic facts, summaries and overviews 1379 4% 38% 10%8 Statistics on one particular country 1285 4% 42% 11%9 Statistical forecasts / projections 1210 4% 46% 13%10 Access to raw data 1051 3% 49% 14%

11

International guidelines and standards (corporate governance, tax havens, etc.) 1025 3% 52% 16%

12 Statistical sources and methods 1019 3% 55% 17%13 What's new (hot topics, recent publications, events) 1004 3% 58% 19%14 OECD policy advice by topic, country 843 3% 61% 20%15 OECD Annual Report 784 2% 64% 21%16 Publication by country 746 2% 66% 23%17 Best practice in policy implementation 739 2% 68% 24%18 Publication by title 614 2% 70% 26%19 Simple, easy-to-understand tables and graphs 613 2% 72% 27%20 News releases 542 2% 74% 29%

Top 25%

26-50%

51-75%

Oppgave:

Hva er tittelen på Boks 1.2 på side 73 i rapporten OECD Employment Outlook 2009?

Median time on task (sec) =

215

Optimal time on task (sec) =

81

Task Performance Indicator (TPI) 100

Max

9

Task Performance

Trinn 5: Forbedre nettstedet• Målingene gjør at du kan forbedre

nettstedet og sette bruksoppgavene i fokus

Trinn 6: Utfør nye målinger• Målet er kontinuerlig forbedring av

nettstedet

61%

32%

7%

100%

Hvorfor feiler nettstedet?

• Dårlig søk• Uforståelig navigasjon• Utdatert innhold

Hva irriterer brukerne dine?

Customer Centric Index

Dette måler vi

• Innholdsfaktorer

• Sosiale faktorer

• Informasjonsarkitektur og design

  Innholdsfaktorer

Presist Korrekt informasjon Ikke korrekt informasjon

Oppdatert Oppdatert informasjon Utdatert informasjon

Fullstendig

Fullstendig informasjon Mangelfull informasjon

Språk Forståelig språk Tungt språk, fullt av faguttrykk

  Sosiale faktorer

Kontakt Lett å kontakte en person Vanskelig å kontakte en person

DeltakelseLett å bidra eller gi tilbakemeldinger

Vanskelig å bidra eller gi tilbakemeldinger

ÅpenhetJeg får fakta, innholdet er troverdig

Villedende informasjon, innholdet er lite troverdig

Anbefalinger

Mulig å evaluere sidene, eller anbefale dem til andre

Ikke mulig å evaluere sidene, eller anbefale dem til andre

  Informasjonsarkitektur og design

SøkGode og relevante søkeresultater Dårlige søkeresultater

Menyer og lenker

Tydelige menyer og linker Forvirrende menyer og linker

LayoutEnkel layout og lett å lese

Rotete layout og vanskelig å lese

Visuell appell

Attraktiv design Lite attraktiv design

Tempo Raskt å gjøre/finne ting Tar lang tid å gjøre/finne ting

UiO

Customer Centric Index – mars 2009, 2230 svar

Customer Centric Index

Factor Positive Negative Total Pos % Action Priority

Up-to-date 3% 3% 6% 42% 6% 6Accurate 4% 1% 4% 86% 0% 11Complete 2% 2% 4% 47% 3% 7Plain language 5% 0% 5% 90% 0% 12Contact 3% 2% 6% 59% 3% 8Participation 1% 1% 2% 30% 2% 9Open 11% 0% 11% 98% 0% 13Recommendations 1% 1% 2% 51% 1% 10Search 3% 8% 11% 30% 15% 4Navigation 4% 8% 12% 32% 16% 2Layout 4% 7% 11% 39% 12% 5Visual appeal 1% 7% 8% 15% 15% 3Speed 4% 13% 17% 22% 27% 1Customer Centric Index 45% 55% 100% 45% 100% 0

Voting spread

15% 10% 5% 0% 5% 10% 15%

Up-to-date

Accurate

Complete

Plain language

Contact

Participation

Open

Recommendations

Search

Navigation

Layout

Visual appeal

Speed

Negative votes Positive votes

Where to invest resources

Content9% Social

6%

Information Architecture

85%

Action priorities

0% 5% 10% 15% 20% 25% 30%

Accurate

Plain language

Open

Recommendations

Participation

Contact

Complete

Up-to-date

Layout

Search

Visual appeal

Navigation

Speed

Thon Hotels

Customer Centric Index – mars 2010, 2688 svar

Customer Centric Index

Faktor Positiv Negativ Aksjon

Oppdatert 6% 0% 0%Presist 7% 0% 0%Fullstendig 5% 1% 13%Språk 7% 0% 0%Kontakt 3% 1% 13%Deltakelse 1% 1% 21%Åpenhet 15% 0% 0%Anbefalinger 1% 0% 2%Søk 10% 1% 0%Menyer og linker 10% 1% 9%Layout 10% 1% 0%Visuell appelll 3% 1% 10%Tempo 11% 3% 31%Brukerfokusert 89% 11% 100%

Spredning av stemmer

5% 0% 5% 10% 15% 20%

Oppdatert

Presist

Fullstendig

Språk

Kontakt

Deltakelse

Åpenhet

Anbefalinger

Søk

Menyer og linker

Layout

Visuell appelll

Tempo

Negative stemmer Positive stemmer

Hvor bør dere investere ressursene

Innhold13%

Sosial36%

Informasjonsarkitektur

51%

Aksjonpunkter - prioritert 0% 5% 10% 15% 20% 25% 30% 35%

Tempo

Deltakelse

Fullstendig

Kontakt

Visuell appelll

Menyer og linker

Anbefalinger

Søk

Layout

Oppdatert

Presist

Språk

Åpenhet

BenchmarkingCustomer Centric Index

GroupYour CCI

Lowest CCI

Highest CCI

Your Position

No. Voters

Total results 74% 33% 76% 2nd of 10 3494Alumnus - 73% 77% - 38Current student 56% 50% 65% 4th of 5 372Faculty / Staff 49% 37% 49% 1st of 3 342Considering 79% 50% 91% 2nd of 5 2742

Takk for oss

Eirik Hafver Rønjumeirik@netliferesearch.com924 03 165

http://twitter.com/eirikhafver

Bjørn Bergslienbjorn@netliferesearch.com915 92 886

http://twitter.com/bbergslien