Asiantuntija-arvio vs. käyttäjillä testaaminen:

testitapausten merkitys Aki KorpuaSeminaari: Käyttöliittymien arviointi menetelmätHelsingin Yliopisto 2006

Aiheet

Testitapauksia yleisesti katsastaen Esimerkki 1: Teamwave Workplace Esimerkki 2: HelMet simulaatio ja käytäntö Esimerkki 3: Last.fm

Käyttötapaus ~ Testitapaus ~ Tehtävä

Testitapausten merkitys

Kuvaa jotain tehtävää, joka tulisi suorittaa testattavalla käyttöliittymällä.

Vaikuttaa:Minkälaisia ongelmia ohjelmasta löytyy.Miten käyttöliittymää arvioidaan.Mitä osia käyttöliittymästä testi kattaa.

Testitapausten haaste

Asiantuntia arvioinneissa ei ole oikeaa käyttäjää. Onko testi järkevä käyttäjän kannalta?

Hyvä testitapaus antaa paremman kuvan siitä miten oikea käyttäjä haluaisi käyttää ohjelmaa.

Hyvän testitapauksen löytäminen edellyttää käyttäjähaastatteluita ja –tarkkailuja.

Tärkeää pystyä löytämään kaikki tarvittava tieto testitapausta varten, niin että se vastaisi mahdollisimman hyvin oikeaa käyttötilannetta.

Tavoitepohjainen käyttö/testitapaus

Irrottaa käyttäjän tavoitteen järjestelmästä. Antaa tarvittavat tiedot nykyhetken tilasta

sekä käyttäjän tietämyksestä:Tarvittavat faktatAjanhetken (aktivoitumistila)Mitä käyttäjä tietää/ei tiedäMahdolliset ajat, paikat ja resurssit

Esimerkki: Teamwave Workplace

Asynkroninen ryhmätyökalu. Halutaan helpottaa robottihitsaus koneiden

suunnitteluryhmän toimintaa. Osa ryhmän tutkijoista työskentelee etänä.

Esimerkki: Teamwave Workplace

Kaksi erillistä käytettävyystestiäKäyttäjätestaus Käyttöliittymäkatselmus

Vertaillaan testien tuloksia

Käyttäjätestaus

Työryhmä koulutettiin käyttämään TW:tä Työryhmä käytti ohjelmaa 2,5 kuukauden ajan

yhteistyöskentelyn tukena Kerättiin lokia Jälkeenpäin tehtiin kyselylomake ja

henkilökohtaisia haastatteluita 2 analyytikko vietti yli 5 kuukautta käydessään

läpi tarkkailuntuloksia

Käyttöliittymäkatselmus

4 testaajaa, kukaan ei tuntenut robottihitsaus alaa eivätkä erityisesti tienneet kohderyhmän toimintatavoista.

Testi muistutti heuristista evaluaatiota Tunnin ohjelman tutkiskelu Tunnin synkronoitu tehtävä Alustava katselmus itsenäisesti Kolmen päivän asynkroninen tehtävä Lopullinen katselmus yhdessä

Tehtävillä yritettiin katsoa yleisesti ohjelman toimintoja Valitettavasti tehtäviä ei oltu annettu lähteessä

Yhteistyön luokittelu

Käyttöliittymä ongelmat luokiteltiin näihin kategorioihin.

1. Explicit communication2. Implicit communication3. Coordination of action4. Planning5. Monitoring6. Assistance7. Protection

Arviointi

Rating Description+2 Very succesful, few problems

+1 Often succesful, but some awkwardness

0 Adequate: no major problems or major benefits

-1 Useful in some situations but many drawbacks

-2 Rarely succesful with many failures

N/A Not enough information to rate

Löydettyjä ongelmia: yhteisiä

Explicit communication/Monitoring (7,1): Vaikeaa havaita uusia viestejä chatissä

Explicit communication (3,3): Kommunikointi onnistuu vain huoneen sisällä, ei huoneiden välillä

Monitoring (8,9): Huoneessa olevien ihmisten ja toiminnan seuraaminen vaikeaa. Värit eivät auta (käyttäjätestauksessa oli yksi värisokea)

Protection (10,10): Ei omistajuutta esineille, eikä undo toimintoa.

Planning (9,4): Suunnittelu työkalut olivat heikkoja, käyttivät muita työkaluja tähän tarkoitukseen

Löydettyjä ongelmia: vain käyttäjätestaus Explicit communication: Hankala erottaa oleellinen osa

huoneessa käytävästä keskustelusta Explicit communication: Ei tarpeeksi tehokkaita työkaluja

kommunikointiin (parempi laatuiset kuvat) Explicit communication: liitutaulu-työkalu oli liian

kömpelö ja hidas kommunikointiin Explicit communication: Heikkoja työkaluja, vain

yleiskäyttöisimpiä kommunikointityökaluja oli käytetty Implicit communication: Oli vaikeaa huomata muutoksia

esineissä (käyttivät sähköpostia tähän)

Löydettyjä ongelmia: vain käyttöliittymäkatselmus Explicit communication: Ei pystynyt tietämään

”kuunteliko” toinen chattia Coordination: Hankala tietää mitä toiset olivat tekemässä Coordination,Monitoring: Yhteiskäytön hallinta heikkoa,

saattoi yhtä aikaa kirjoittaa toisen työn yli. Monitoring: Hankala huomata milloin ihminen saapui/lähti

huoneesta Monitoring: Hankala huomata mitä huoneessa on

tapahtunut sitten viime kerran kun oli siellä

Erojen pohdintaa

Vain kymmenen pahinta ongelmaa, painotus oli eriarvoista

Työryhmä kiersi osan ongelmista käyttämällä jotain toista tapaa, jolloin se ei ollut enää niin suuri ongelma kuin katselmuksessa arveltiin

Katselmuksessa ohjelman käyttö oli intensiivisempää. Työryhmässä ohjelmaa harvoin käytti oikeasti monta ryhmäläistä yhtä aikaa.

Arviointi

Käyttäjätestaus:

1. Explicit communication +1

2. Implicit communication -1

3. Coordination of action N/A

4. Planning -1

5. Monitoring -1

6. Assistance N/A

7. Protection 0

Katselmus

1. Explicit communication -1

2. Implicit communication -1

3. Coordination of action 0

4. Planning -1

5. Monitoring 0

6. Assistance -1

7. Protection -1

Käyttäjätestaus - päätelmä

Työryhmä hyötyi mielestään ohjelman käytöstä Paransi työskentelyn tehokkuutta Työryhmä käytti myös järjestelmän ulkopuolisia

järjestelmiä hyväksi esim. sähköpostia ja kokouksia

Osaa ohjelman tarjoamista ominaisuuksista he eivät käyttäneet laisinkaan

Kaikkea ei pystytty arvioimaan kunnolla. Käyttäjätarkkailu olisi mahdollisesti auttanut tässä.

Käyttöliittymäkatselmus - Päätelmä

Käyttöliittymässä paljon ongelmia: explicit communication. Keskustelutyökalu kömpelö.

Huono tuki pidempi aikaiselle yhteistyölle Eivät suosittelisi ohjelmaa käytettäväksi

työryhmälle

Päätelmiä – yhteenveto 1/3

Yli puolet ongelmista olivat samoja 10 pahimman joukossa

Käyttäjätarkkailu havaitsi silti ohjelman hyödylliseksi kun katselmus olisi hylännyt sen

Halvempi katselmus on hyödyllinen ja se on suositeltavaa suorittaa ennen kenttätutkimusta

Katselmus tarkasteli ohjelmaa yleisesti, kun taas käyttäjätestaus keskittyi täysin vain ryhmän tarpeisiin

Päätelmiä – yhteenveto 2/3

Käyttäjätarkkailua ei tehty. Osa informaatiosta miten käyttäjät yrittivät käyttää ohjelmaa ongelmiensa ratkaisuun jäivät pimentoon käyttäjätestauksessa.

Käytettiin (ilmeisesti) yleisiä yksinkertaisia tehtävä- skenaarioita katselmuksessa.

Tehtäviin olisi voinut liittää ryhmä jäsenten tietämystä: Tieto- ja taitotaso Muut käytettävissä olevat menetelmät (sähköposti, puhelin,…) Kokous mahdollisuus

Päätelmiä – yhteenveto 3/3

Jos testitapauksia olisi painotettu juuri ryhmäntarpeiden mukaan olisiko tulokset olleet enemmän samanlaisia?

Jos kyllä, voisiko kalliin ja aikaa vievän käyttäjätarkkailun jättää pois ja korvata halvemmalla menetelmällä?

Miten voimme olla varmoja että testitapaukset ovat tarpeeksi hyviä tarpeisiimme?

Toinen esimerkki

Tutkitaan miten vahvasti testitapaukset vaikuttavat asiantuntija arvioiden tuloksiin.

Otetaan seminaarissa käytettyjä menetelmiä ja varioidaan näiden testitapauksia ja katsotaan miten ne voisivat vaikuttaa tuloksiin.

Simulointitestaus – Jyrki Salonen

KT1: Laila Hietamiehen uusi kirja Annen tavoite:

Anne on Laila Hietamiehen romaanien suuri ystävä ja on lukenut tämän kaikki teokset. Hän aikoo lukea myös Hietamiehen uusimman teoksen, mutta hänellä ei vielä ole kirjaa.

Tilatietoja: Nyt on su 15.1.2006 klo 16.30 Anne on kotonaan Espoon

Leppävaarassa Annella on kotonaan tietokone

nettiyhteydellä ja sähköpostilla Annella on tunnukset www.helmet.fi -

palveluun Hietamiehen uusi kirja on ilmestynyt

viime syksyn aikana Laila Hietamiehen nimi on muuttunut

Laila Hirvisaareksi ja uusi romaani Kruununpuisto on julkaistu tällä nimellä

Annen tietämys: Anne tietää uuden Romaanin

nimen Anne tietää Hietamiehen

nimenvaihdoksesta Annella ei ole tapana ostaa

kirjoja Leppävaaran kirjasto on

Annelle tuttu ja hän on noutanut sieltä varattuja kirjoja aikaisemminkin

Kirjastot: Useilla Helsingin kirjastoilla on

kirja valikoimassaan Kirja on erittäin kysytty

Typistetty testitapausIlman tila- ja tietämysdataa

Anne on Laila Hietamiehen romaanien suuri ystävä ja on lukenut tämän kaikki teokset. Hän aikoo lukea myös Hietamiehen (uusi sukunimi: Hirvisaari) uusimman teoksen (kruununpuisto), mutta hänellä ei vielä ole kirjaa.

Vaikutuksia

Testaaja ei välttämättä välitä lainkaan mistä kirjastosta hakee kirjan.

Varioimalla tila- ja tietämysdataa saadaan paljon erilaisia tilanteita lisää esille rekisteröityminen hakeminen kirjailijan nimellä kirjailijan nimen muutoksen selvitys

Yksinkertainen testitapaus jättää asiantuntijan harteille huomata nämä seikat.

Motivoi huonommin miettimään miten oikeasti käyttäjä toimisi eri tilanteissa.

Kärjistetty testitapaus

Kirjan kruunupuisto varaus HelMet-järjestelmässä.

Samat ongelmat kertautuu vahvemmin. Saatetaan käyttää vain valmista Testi Testaaja

varaajaa testissä. Ei välitetä mahdollisesti milloin kirja olisi

saataville; varattu ja sillä selvä.

KT1: Laila Hietamiehen uusin kirja. (Jani Hanhisalo)

Kaverisi Johanna kehuu sinulle Laila Hirvisaaren uusinta kirjaa kruununpuisto.

Olet lukenut Laila Hietaniemen edelliset kirjat ja tiedät hänen nimen vaihdoksesta.

Kun vielä kaverisi suosittelee kirjaa myös sinun kiinnostuksesi herää. Et kuitenkaan haluaisi ostaa kirjaa, koska sinulla ei ole ylimääräistä rahaa juuri nyt, vaan haluaisit mieluummin lainata sen kirjastosta. Olet kotonasi Korsossa (Peltomyyränkuja 2). Haluat siis lukea kyseisen kirjan mahdollisimman nopeasti. (ei syytä tähän?)

Miten saisit kirjan ja milloin uskot saavasi sen?

virhe!!!

Vaikutuksia

Testitapauksella on hyvin tärkeä merkitys testikäyttäjän motivoitumiselle

Rahan puute motivoi käyttämään juuri kirjastoa (vaikka kirjan varaustilanne on paha)

Kysymykset Miten ja Milloin motivoivat kaivamaan nämä informaatiot käyttöliittymästä eli auttavat viemään testitapauksen loppuun asti

Tehtävä 2: onko Gordonilla ystäviä? (Samuli Kaipiainen)

Gordon sai lisättyä kaverinsa Samulin ystävälistalleen. Nyt häntä kiinnostaa, onkohan kukaan lisännyt häntä ystäväkseen, sillä hän on täpinöissään mainostanut Last.fm-sivuaan irc-kavereilleen. Erityisesti häntä kiinnostaa millaisia ystäväkuvauksia hän on saanut, lupsakka kaveri kun on.

Tilatietoa: Gordon lisäsi juuri Samulin ystäväkseen Gordon jäi sen jäljiltä Samulin profiilisivulle osoitteeseen

http://www.last.fm/user/Ponkki/ Gordon ei antanut rekisteröityessään sähköpostiosoitettaan, joten hän ei saa

ilmoituksia ystävälistalisäyksistä Lisätessään Samulin ystäväkseen, Gordon kuvaili ystävyyttä termillä ”grauuuu” Gordonilla ei ehkä ole muita ystäviä

Muutoksia testitapaukseen

Lisäys kiinnostuksesta mitä Gordonista sanotaan itsestään lisää expand-infon käytön tarpeen testitapaukseen.

Jos irc-kaverit olisi lueteltu nimeltä, olisi voitu saada tapaus, jossa jokin ulkopuolinen henkilö olisi lisännyt gordonin ystäviin ja kiinnostus henkilön henkilöllisyyden selvittämisestä olisi herännyt

Lähteet

[Steves01] Steves M. P., Morse E., Gutwin C., Greenberg S., A Comparison of Usage Evaluation and Inspection Methods for Assessing Groupware Usability. Proceedings of the ACM SIGGROUP Conference on Supporting Group Work, ACM, 2001.

[Laakso05] Laakso S.A., Käyttöliittymät. Käyttöliittymät-kurssin luentomoniste, sarja D424, Helsingin yliopisto, tietojenkäsittelytieteen laitos, 2005.

[Salonen06] Jyrki Salonen, Simulointitestaus (simulation-based expert review). Käyttöliittymien arviointimenetelmät Seminaari, Helsingin Yliopisto, 2006

[Kaipiainen06] Käytettävyysläpikäynti (usability walkthrough), Samuli Kaipiainen. Käyttöliittymien arviointimenetelmät Seminaari, Helsingin Yliopisto, 2006

[Hanhisalo06] Käytettävyystestauksella selville saatavat ongelmat (usability testing), Jani Hanhisalo. Käyttöliittymien arviointimenetelmät Seminaari, Helsingin Yliopisto, 2006s