PUMSVuorovaikutustutkimus ja sovellukset

Markku TurunenTampereen yliopisto

VTTHelsingin yliopisto

PUMS-talviseminaari, Joensuu, 10.3.2006

• Työpaketissa kehitetään suomenkielisiä puhesovelluksia erilaisille käyttäjäryhmille.

• Pääkohteeksi on valittu paikallisliikenteen informaatiosovellukset.

• Yleisen aikatauluinformaation lisäksi käyttäjälle tarjotaan sopeutettua reitinopastusinformaatiota.

• Moniaistinen vuorovaikutus: karttakäyttöliittymä ja graafinen älypuhelinkäyttöliittymä.

Työpaketin konkreettiset tavoitteet

• Dialoginhallinta- ja vuorovaikutustekniikat mm. kehittyneisiin puhetulosteisiin, virheidenhallintaan ja opastukseen liittyen.

• Multimodaaliset vuorovaikutustekniikat.• Lisäinformaation, kuten paikannustiedon

ja häiriötiedon hyödyntäminen.• Vuorovaikutusta tukevan arkkitehtuurin

kehittäminen.• Konsepteja ja selvitys sovelluskohteista.

Tutkimukselliset tavoitteet

T1. Aikataulusovellus puhelimellaT2. Reitinopastussovellus mobiililaitteillaT3. Multimodaalinen reitinopastusT4. Yleinen puhesovellusalustaT5. Joukkoliikenteen informaatiopalveluT6. Puhepohjainen informaatiokioskiT7. Selvitys puheteknologian

sovelluskohteista

Tehtävät

I. Yleinen sovellusalusta, joka toimii myös projektissa tuotettavaa teknologiaa integroivana komponenttina.

II. Puhepohjaista ja multimodaalista vuorovaikutusta mahdollistavia teknologiakomponentteja.

III. Teoreettista ja käytännöllistä tietoa joustavasta, tehokkaasta, luontevasta ja käyttäjäorientoituneesta vuorovaikutuksesta.

IV. Kartoitus suomenkielisen puheteknologian sovelluskohteista.

Tulokset yleisellä tasolla

1. Testattu, tuotteistettavaksi ja käyttöönotettavaksi valmis puhelinpohjainen aikataulujärjestelmä, joka on testattu laajalla joukolla aidossa julkisessa koekäytössä.

2. Testattu, tuotteistettavaksi valmis PDA-laitteilla sekä älypuhelimilla toteutettu reitinopastus- ja informaatiopalvelu, jota on testattu näkövammaisilla käyttäjillä.

3. Kaksi PDA- ja älypuhelinpohjaista tutkimusprototyyppiä multimodaalisesta ja puhepohjaisesta reitinopastuksesta ja aikatauluista.

4. Yleinen puhesovellusalusta käytettäväksi erilaisilla laitealustoilla, erityisesti puhelin ja mobiililaitteilla.

5. UITP- joukkoliikennekonferenssissa demonstroitava joukkoliikenteen sovelluskokonaisuus.

6. Puhepohjaisen informaatiojärjestelmän kioskikäyttöliittymän prototyyppi.

7. Selvitys puheteknologian sovelluskohteista ja markkinatilanteesta.

Konkreettiset tulokset

• Hankkeessa hyödynnetään tutkijaosapuolien aikaisemmissa projekteissa ja aikaisempina vuosina tuottamaa teknologiaa mm. reitinhaun, paikantamisen, puhekäyttöliittymien, sovellusarkkitehtuurien ja keskustelunhallinnan piiristä.– Suunnittelun pohjana käytetty neljästä

aikaisemmasta tutkimusprototyypistä saatuja kokemuksia (Pysäkkimies, Interact, Bussimies, NOPPA).

– Aikataulusovellus perustuu Tampereen kaupungin liikennelaitokselle tuotettuun palveluun, joka on ollut julkisessa käytössä syksystä 2003 alkaen.

Lähtökohdat

• Vahvasti käyttäjälähtöinen lähestymistapa.

• Käyttäjäryhmien mukanaolo (NKL).• Tietoa puheteknologian

hyväksyttävyydestä ja potentiaalista• Sovelluksille suoritetaan useita

evaluointeja ja käytettävyystutkimuksia.• Demonstraatio laajalle yleisölle (UITP

joukkoliikennekonferenssi 2007).

Käyttäjäkeskeisyys

(NOPPA/MUMS)

Pysäkkimies1. Pysäkkiaikataulutiedot numeron perusteella.

2. Pysäkkiaikataulutiedot nimen perusteella.

3. Reittiaikataulut katuosoitteilla.4. Reittiaikataulut nimillä (nimetyt

kohteet).5. Reitinopastus.

Esimerkkejä toiminnallisuudesta

• Pysäkkikohtainen aikataulupalvelu Tampereen paikallisliikenteeseen (jatkossa Helsinki, Turku ja Kouvola).

• Perustuu Tampereen kaupungin liikennelaitokselle tuotettuun palveluun, joka on ollut julkisessa käytössä syksystä 2003 alkaen.

• Suunnittelun pohjana käytetty kolmesta aikaisemmasta järjestelmästä saatuja kokemuksia.

Pysäkkimies (1/2)

Pysäkkimies (2/2)

• Käytettävissä puhelimella, kämmenmikrolla (PDA) tai älypuhelimella (Series 60).

• Vuorovaikutus tapahtuu pääosin samoin kaikissa versioissa.

• Puhelimella käytettäessä komennot voidaan antaa puheella ja tarvittaessa näppäimillä (esimerkiksi pysäkin numero).

• Älypuhelimessa käytössä skaalautuva multimodaalinen valikkokäyttöliittymä.

• Julkisessa käytössä: http://www.cs.uta.fi/hci/spi/pysakkimies/.

Järjestelmä:

Tervetuloa Pums-aikataulusovellukseen. Ohjeita saat sanomalla “kerro ohjeet”. Kuultuasi äänimerkin, kerro pysäkin nimi, esimerkiksi “Keskustori”.

Käyttäjä: Pulteri.

Järjestelmä:

Haetaanko pysäkin Pulteri aikataulu?

Käyttäjä: Kyllä.

Järjestelmä:

Hetki, haen pysäkin Pulteri aikataulun.

Esimerkkidialogi (1/3)

Järjestelmä:

Kello on nyt 10:10. Tänään seuraavat vuorot pysäkiltä Pulteri ovat Vehmaisiin linja vitonen nyt heti, Hermiaan linja kolmetoista minuutin kuluttua, Ikuriin linja kolmetoista seitsemän minuutin kuluttua, Haukiluomaan linja kakskytkaks kahdentoista minuutin kuluttua, Keskustorille linja vitonen kello 10:26 ja Hermiaan linja kolmetoista kello 10:28. Anna komentosi, esimerkiksi kerro ohjeet.

Käyttäjä: Valitse linja.

Järjestelmä:

Kerro linjan numero tai sano: "listaa linjat". Voit myös sanoa "peruuta".

Esimerkkidialogi (2/3)

Käyttäjä: Kolmetoista.

Järjestelmä:

Kello on nyt 12.39. Tänään seuraavat linjan 13 vuorot pysäkiltä Pulteri kulkevat nyt heti, kello 12.55, kello 13.14, kello 13.32, kello 13.49 ja kello 14.07.

Anna komentosi, esimerkiksi kerro ohjeet.

Käyttäjä: Kiitos hei.

Järjestelmä:

Haluatko lopettaa?

Käyttäjä: Kyllä.

Järjestelmä:

Kiitos yhteydenotosta, hyvää matkaa!

Esimerkkidialogi (3/3)

Pums aikataulut hyvää päivää. Voit pyytää apua sanomalla “kerro ohjeet”. Ole hyvä ja kerro pysäkinnimi, esimerkiksi Keskustori.

Haetaanko pysäkin Tampere talo aikataulu?

Nimellä Tampere talo löytyi kaksi pysäkkiä, odota hetki yhdistän aikataulut. Kello on 10:10. Tänään, seuraavat linjat pysäkiltä Tampere talo ovat Vehmaisiin linja 5, nyt, Hermiaan linja 13, minuutin kuluttua… (listaus jatkuu)… Anna komentosi, esimerkiksi kerro ohjeet.

Pums Aikataulut

Apua Lopeta

Tampere talo?

Kyllä Ei Apua Lopeta

Puhelin käyttöliittymä

Multimodaalinen älypuhelin-käyttöliittymä graafisin elementein

Dialogi

“Tampere talo”

“Kyllä”

5->Vehmainen nyt , 13->Hermia 1 min., 13->Ikuri 7 min., 22->Haukilouma 7min.

Apua Lopeta

Multimodaalinen älypuhelinversio (1/2)

Painaa nappia 8

Linjan numero?

5 13 22 Help Quit

Seuraava 13 Hervantaan lähtee (listaus jatkuu) ...

Painaa nappia 5 Painaa Joystick Valitse

13-> Hervanta, in 5..

Help Quit

Kerro linjan numero tai valitse se listalta.

Viisi

Painaa nappia 8 Painaa Joystick Alas

“Valitse linja”

Kolmetoista

Painaa Joystick Alas

Multimodaalinen älypuhelinversio (2/2)

• NOPPA tarjoaa matkustajainformaatiota ja kulkuopastusta joukkoliikenteen käyttäjille kämmenmikroilla (PDA) ja älypuhelimilla (Series 60)

NOPPA (1/3)

• NOPPA sisältää puhekäyttöliittymän, ovelta ovelle opastuksen joukkoliikennetta hyödyntäen, tavallisimmat paikannustoiminnot ja lukuisiainformaatiopalveluja.

NOPPA (2/3)

• Noppa tarjoaa tavan käyttää YTV:n Reittiopasta matkapuhelimella siten, että kohteet voi antaa puheella ja reitit opastetaan GPS-paikannusta hyödyntäen.

• Lisäominaisuuksina mm. HKL:n poikkeusliikennetiedotteet ja käyttäjän koordinaattien perusteella haetut lähimmän reaaliaikapysäkin tiedot.

NOPPA (3/3)

• Kämmenmikrossa (Microsoft Mobile) toimiva multimodaalinen reitinopastusjärjestelmä.– Järjestelmä ymmärtää luonnollista puhetta:

”haluaisin rautatientorilta länsi-pasilaan”– Scrollattava ja zoomailtava kartta, jota

painelemalla voi antaa paikkatietoa– Käyttäjä voi yhdistää puhetta ja

karttaosoituksia: ”pitäisi päästä täältä <osoitus> länsi-pasilaan”

– Järjestelmä vastaa puheella ja graafisilla karttaesityksillä.

MUMS (1/3)

– Käyttäjä voi halutessaan käyttää vain puhetta tai vain karttaa.

– GPS käytössä: käyttäjä näkee sijaintinsa kartalla, ja täydellinen reittikysymys on helpommin esitettävissä: ”miten pääsen länsi-pasilaan”.

– Järjestelmä kysyy aktiivisesti puuttuvia tietoja: ”anna lähtöpaikka” / ”anna tulopaikka”

– Järjestelmä opastaa käyttäjää matkaosuuksin juuri määritetyllä reitillä: ”opasta” / ”opasta lisää”.

MUMS: (2/3)

MUMS (3/3)

Käytettävyystutkimus

• Aikataulujärjestelmän julkinen käyttö ja datan kerääminen:– versio 1 vuoden 2003 marraskuulta.– versio 2 vuoden 2005 helmikuulta.– Syksyllä 2005 puheluita on nauhoitettu yli

1600 (versio 1: ~1100, versio 2: ~500).

• Käytettävyyttä mittaavia tutkimuksia:– Aikataulujärjestelmän 60 hengen

vertailututkimus kahdella eri synteesillä.– Multimodaalisen järjestelmän testit 17

hengen koekäyttäjäjoukolla.

Nauhoitetut puhelut

0

20

40

60

80

100

120

140

160

180

11/0

312

/03

01/0

402

/04

03/0

404

/04

05/0

406

/04

07/0

408

/04

09/0

410

/04

11/0

412

/04

01/0

502

/05

03/0

504

/05

05/0

506

/05

07/0

508

/05

09/0

5

Versio 1 Versio 2

Heinäkuu

KäytettävyystestausAlkuinnostus

Koekäytön havaintoja

• Puheluiden lyheneminen alun jälkeen: 11/2003: 2:50 => 06/2004: 1:02.

• Suurimmassa osassa puheluista kuunnellaan vain ensimmäinen listaus.

• Käytettävyystestin tulokset ja aidoilta käyttäjiltä saadun materiaalin ero:– Aidossa käytössä ei käytetä läheskään kaikkea

järjestelmän toiminnallisuutta.– Käytettävyystesteissä käydään läpi järjestelmän

eri osa-alueita tehtävien mukaisesti.– Käytettävyystesteissä opiskelijoita.– Koekäytön käyttäjistä ei tiedetä paljoakaan.

Käytettävyystestin tuloksia

• Järjestelmä on täsmällinen, luotettava, hyödyllinen, tekee vähän virheitä.

• Puheentunnistusta pidetään hyvin luotettavana.

• Puhesynteesiä pidetään hyvin ymmärrettävänä.

• Järjestelmää ei pidetä erityisen miellyttävä .• Puhesynteesiä ei pidetä erityisen luonnollisena.• Vuorovaikutusta ei pidetä tehokkaana (mutta ei

myöskään liian hitaana).• Järjestelmä ei tee aina oletettua ja käyttäjä ei

aina tiennyt mitä puhua.