Chatbotin käyttöönoton malli sosiaali- ja terveydenhuol-lossa

Katariina Siimeslehto Pro gradu -tutkielma

Sosiaali- ja Terveydenhuol-

lon tietohallinto

Itä-Suomen yliopisto

Sosiaali- ja terveysjohtami-

sen laitos

Toukokuu 2019

ITÄ-SUOMEN YLIOPISTO, yhteiskuntatieteiden ja kauppatieteiden tiedekunta

Sosiaali- ja terveysjohtamisen laitos, Sosiaali- ja terveydenhuollon tietohallinto

SIIMESLEHTO, KATARIINA: Chatbotin käyttöönoton malli sosiaali- ja terveydenhuol-

lossa

Pro gradu -tutkielma, 77 sivua, 4 liitettä (14 sivua)

Tutkielman ohjaajat: Professori, TtT Kaija Saranto, TtM Anne Linden

Toukokuu 2019_________________________________________________________

Avainsanat: Tekoäly, koneoppiminen, semanttinen web, verkkojuttelu, kehittäminen

Tämän tutkimuksen tarkoitus oli Palveluseteli- ja ostopalvelu (PSOP) -chatbotin käyt-

töönottoprosessin kuvauksen avulla tuottaa teoreettinen malli siitä, mitä asioita ja vaiheita

tulee huomioida chatbotin tietokannan rakentamisen yhteydessä, ennen ja jälkeen käyt-

töönoton sekä ylläpitoon siirryttäessä. Tässä tutkimuksessa chatbotin käyttöönottoproses-

sia sekä toteutettuja interventioita tarkasteltiin, jotta sosiaali- ja terveydenhuollon palve-

lua antavan, luonnollisen kielen (NLP) chatbotin tietokannan rakentaminen ja ylläpito

olivat mahdollisia toteuttaa. Tutkimuksen tavoitteena oli lisätä ymmärrystä chatbotin

käyttöönottoprosessista. Dokumentoidun tiedon avulla voidaan tehostaa ja parantaa ky-

seisen luonnollista kieltä tulkitsevan chatbotin vastaamisosaamista ja -tarkkuutta.

Tämän tapaustutkimuksen aineisto kerättiin käyttämällä apuna kysymysmatriisia kah-

dessa eri vaiheessa, johon kysymykset olivat kerätty kolmella eri tavalla: 1) Hankintapal-

veluiden keräämät ”usein kysytyt kysymykset”, Suunterveydenhuollon palvelusetelivas-

taavien tuottama materiaali sekä 3) tutkijan itsensä, että vapaaehtoisten testaajien esittä-

mät kysymykset botille. Ensimmäisessä kyselyvaiheessa matriisissa kysymyksiä oli kaik-

kiaan 225 kysymystä. Tutkimuskysymysten määrää lisättiin toiseen kyselyvaiheeseen,

jotta voitaisiin paremmin tarkastella botin kehittymiskykyä sekä sitä, miten hyvin se pys-

tyy mukautumaan ja vastaamaan kysymyksiin samasta aiheesta, useammalla eri tavalla

kysyttynä samaa asiaa. Samoin tarkasteltiin chatbotin antaman tiedon, informaation saa-

tavuutta, eheyttä, ymmärrettävyyttä sekä vastausten asiaan kuuluvuutta ja vakuuttavuutta

DeLonen ja McLeanin (2003) Tietojärjestelmän onnistumismallin mukaan. Toisessa ky-

selyvaiheessa kysymysten lukumäärä oli matriisissa 276. Aineiston harmonisoinnin ja

redudantisoinnin jälkeen kysymysten määrä vakioitui 235 kysymykseen. Sisällönanalyy-

sin tuloksena aineistosta muodostui teemoja yhteensä 18, jotka sisälsivät erilaisia vas-

tauksia yhteensä 62. Näihin liitettyjä avainsanojen yhdistelmiä oli yhteensä 69. Toisessa

kyselyvaiheessa PSOP -chatbotin vastaamistarkkuus oli keskimäärin kolme kysymystä

kymmenestä.

Tutkimuksessa saatujen tulosten perusteella chatbotin käyttöönottoprosessista pystyttiin

mallintamaan ja huomioimaan useita kriittisiä kohtia. Tekoälyä ja koneoppimista voidaan

kehittää edelleen julkisessa sosiaali- ja terveydenhuollossa, johon tämän tutkimuksen tu-

loksista saatiin lisäymmärrystä määrittelytyöhön chatbotin tietokannan rakentamiseksi ja

tuotettiin teoreettinen malli käyttöönoton tueksi.

Jatkotutkimusaiheina olisi mielenkiintoista tutkia semanttisen chat- ja chatbot ekosystee-

min rakentamista hyödyntämällä sosiaali- ja terveydenhuollon tiedonhallintaan liittyviä

kansallisia ja kansainvälisiä sanastoja sekä erilaisia tekoälysovelluksia.

UNIVERSITY OF EASTERN FINLAND, Faculty of Social Sciences and Business

Studies

Department of Health and Social Management, Health and Human Services Informatics

SIIMESLEHTO, KATARIINA: Introduction Model of a Chatbot in Social and Health

Services

Master's thesis, 77 pages, 4 appendices (14 pages)

Advisors: Professor, PhD Kaija Saranto, M.Sc. Anne Lindén

May 2019_____________________________________________________

Keywords: Artificial Intelligence (AI), machine learning, semantic web, chat, develop-

ment

The purpose of this case study of the introduction of the Service Voucher and Purchased

Service (PSOP)-chatbot was to produce a theoretical model about what phases to take

into account when building a chatbot database, before and after introduction, and when

migrating to maintenance. This research looked at the process of how a chatbot can be

introduced, and the interventions that enabled building and maintaining a database for a

Natural language processing (NLP) chatbot in health and human services. The aim of this

study was to gain more knowledge on the process of introducing a chatbot to an environ-

ment. The documented information helps make the knowledge and answer accuracy of

an NLP interpreting chatbot better and more effective.

The data for the research was collected by using a question matrix in two different phases.

the questions had been collected using three different methods: 1) “frequently asked ques-

tions” collected by the Procurement services, 2) material produced by the service voucher

managers of dental healthcare, and 3) questions asked from the chatbot by the researcher

and volunteer testers. In November (phase one) the matrix had 225 questions. The number

of research questions were increased for January (phase two), to better look at the devel-

opment capability (Systems quality) of the chatbot and how well it can adapt (adaptabil-

ity) and answer questions on the same topic, when the same thing is asked in different

ways. Also looked at were, the availability, completeness and understandability of the

information provided by the chatbot, as well as the relevancy and how convincing (assur-

ance) the information was according to DeLone and McLean’s (2003) Information Sys-

tems Success Model. In January the matrix had 276 questions. After harmonizing and

removing redundant questions the number was 235. Content analysis grouped the data

into 18 themes, which included a total of 62 different answers. In January 2019 (phase

two) the answer accuracy of the chatbot was 3 questions out of 10.

Based of research results numerous critical parts were modeled and noted in the chatbot

introduction model. In order to develop Artificial Intelligence and machine learning in

public social and healthcare, this research provided more understanding on how to define

the build of a chatbot database, and it also created a theoretical model to support the in-

troduction of a chatbot

Interesting topics for further research would be the building of a semantic chat and chatbot

ecosystem by taking advantage of the national and international social and healthcare

glossaries and different AI applications.

SISÄLTÖ

1 JOHDANTO ................................................................................................................ 5

2 CHATIT JA CHATBOTIT SOSIAALI- JA TERVEYDENHUOLLON

SÄHKÖISINÄ PALVELUKANAVINA ...................................................................... 8

2.1. Tietojärjestelmän onnistumismalli ............................................................... 8

2.2. Sosiaali- ja terveydenhuollon sähköisten palvelujen saavutettavuus ...... 11

2.3. Palvelusetelin käyttäjät ................................................................................ 12

2.4. Sosiaali- ja terveydenhuollon ammattilaiset ja chatbot -tietokanta ........ 13

2.5. Tekoälyn toteutuksena chatbot ................................................................... 17

2.6. Tieto- ja viestintätekniikan tutkimus sosiaali- ja terveydenhuollossa .... 22

3. TUTKIMUKSEN TARKOITUS JA TAVOITE ................................................... 26

4 TUTKIMUSAINEISTON HANKINTA JA KÄYTETYT MENETELMÄT ...... 27

4.1. Sosiaali- ja terveydenhuollon tiedonhallinnan paradigma ....................... 27

4.2. Tapaustutkimus ja matriisi -metodi ........................................................... 29

4.3. Tutkimusympäristön kuvaus ...................................................................... 31

4.4. Tutkimuksen aineiston hankinta ................................................................ 35

4.5. Aineiston analyysi ........................................................................................ 36

6 TULOKSET ............................................................................................................... 39

6.1. Chatbotin haastattelukertojen perusteella saadut tutkimustulokset ...... 39

6.2. PSOP -chatbotin vastaustarkkuuden muutos ........................................... 40

6.3. PSOP -chatbotin informaation ja neuvontapalvelun laatu ...................... 46

6.4. Chatbotin vastaamisosaamisen parantamiseksi tehdyt interventiot ....... 53

6.5. Yhteenveto tuloksista ................................................................................... 54

7 POHDINTA ................................................................................................................ 59

7.1. Tutkimuksen eettisyys ja luotettavuus ....................................................... 59

7.2. Pohdintaa tutkimustuloksista ..................................................................... 64

7.3. Jatkotutkimusaiheet ..................................................................................... 69

8 LÄHTEET .................................................................................................................. 71

9 LIITTEET .................................................................................................................. 78

KUVIOT

KUVIO 1. Tietojärjestelmän onnistumismalli (DeLone ja McLean 2003, 24) .... 10

KUVIO 2. Helsingin kaupungin Sosiaali- ja terveystoimialan chat -prosessi

(Linden, Siimeslehto Raatikainen & Kantsila 2019) ............................................ 14

KUVIO 3. Tekoälyn kymmenen osaamisaluetta. (Valtioneuvosto 2019, 7) ........ 18

KUVIO 4. Chatbotin yksinkertainen päättelyalgoritmi (Cameron ym.. 2017, 4/

Figure 3 Proposed chatbot script) ......................................................................... 21

KUVIO 5. Sosiaali- ja terveydenhuollon tietohallinnan paradigma. (Saranto &

Kuusisto-Niemi 2012) ........................................................................................... 28

KUVIO 6. Esimerkki Helsingin kaupungin Sosiaali- ja terveystoimialan chat- ja

chatbot tietovirroista (Linden, Siimeslehto, Raatikainen & Kantsila 2019.) ........ 34

KUVIO 7. Botin antamien vastausten saatavuus vasteaikoina ............................. 40

KUVIO 8. Botin osaamisen muutos ensimmäisen ja toisen vaiheen kyselyissä .. 41

KUVIO 9a. Botin vakuuttavuus arvioituna oikeiden vastauskertojen määrällä

vaiheessa 1 ja vaiheessa 2 ..................................................................................... 44

KUVIO 9b. Botin vakuuttavuus arvioituna väärien tai puuttuvien vastauskertojen

määrällä vs. kysymysten kokonaismäärä (n=235) ................................................ 44

KUVIO 10. Botin vaiheessa 2 antamien vastauksien jakauma suhteessa

kysymysmatriisin kysymyksiin ............................................................................. 45

KUVIO 11a. Botin tiedon eheys arvioituna kysymysten määrällä, joihin botti ei

osannut liittää tietokannasta vastausta .................................................................. 46

KUVIO 11b. Botin tiedon eheys arvioituna teemoittain korjattavien kysymysten

perusteella ............................................................................................................. 47

KUVIO 12a. Vastausten asiaankuuluvuus vaiheissa 1 ja vaiheissa 2 sekä

vastausosaamisen huonontuminen vaiheessa 2. .................................................... 49

KUVIO 13. Botille esitetyt kysymykset teemoittain, joihin se on vastannut oikein.

............................................................................................................................... 51

KUVIO 14. Chatbotin käyttöönoton malli sosiaali- ja terveydenhuollossa .......... 57

KUVIO 15. Tutkijan visio loogisesta tietokannasta, jossa chatbotti pystyy

hakemaan semantiikan ja ontologian säännöillä tietoa. ........................................ 68

TAULUKOT

TAULUKKO 1.: Mitattavat tietojärjestelmän ulottuvuudet (DeLone & McLean

2003, 26) ................................................................................................................. 9

TAULUKKO 2a. Esimerkki vaiheen 1 kyselyn tuloksista: vastauspoikkeama

samoilla avainsanoilla ........................................................................................... 42

TAULUKKO 2b. Esimerkki vaiheen 2 kyselyn tuloksista: vastauksen muokkaus

samoilla avainsanoilla kuin vaiheessa 1 ................................................................ 42

TAULUKOT 3a ja 3b. Esimerkki ehdollisesta lausekkeesta, jossa käyttäjä valitsee

botin tarjoamista vaihtoehdoista ........................................................................... 43

LIITTEET

LIITE 1a. Identtiset tutkimuskysymykset vaiheissa 1 ja 2

LIITE 1b. Vapaaehtoisten tutkimuskysymykset

LIITE 1c. Lisätyt tutkimuskysymykset vaiheessa 2

LIITE 2. Asiakasohje suunterveydenhuollon palveluseteliasiakkaille chatbotista

LIITE 3a TAULUKKO. Vastauksen asiaan kuuluvuus botille esitettyyn

kysymykseen

LIITE 3b TAULUKKO. Avainsanojen ja vastauksen asiaan kuuluvuus botille

esitettyyn kysymykseen

LIITE 4a TAULUKKO. Teeman sisältämät vastaukset ja esitettyjen kysymysten

suhde

LIITE 4b TAULUKKO. Täydentää taulukon 4a esimerkkiä vastaukseen liitetyistä

avainsanoista ja esitetyistä kysymyksistä

5

1 JOHDANTO

Digitaalisuuden ja sähköisten palvelujen lisääminen kansalaisille oli yksi Juha Sipilän

hallitusohjelman (2015-2019) kärkihankkeita. Yksi pääteemoista oli sähköisten palvelui-

den kehittäminen asiakaslähtöisemmiksi sekä sosiaali- ja terveyspalveluiden tuottaminen

kansalaisille mahdollisimman helpolla saavutettavuudella. (STM 2018a; Valtioneuvosto

2018.) Digitaaliseen yhteiskuntaan siirtyminen vaatii kuitenkin laajempaa yleiskäsitystä

teknologisesta osaamisesta maassamme ja selvitystä tekoälyn mahdollisuuksista. Valtio-

neuvoston kansliasta käsin käynnistettiin erilaisia ministeriötason työryhmiä selvittä-

mään, miten tekoälyteknologiat ja niiden hyödyntäminen nähdään julkisen sektorin ja yk-

sityisten toimijoiden toiminnan tehostamisen keinoina sekä politiikassa. Valtiovarainmi-

nisteriöllä (VN) oli rinnakkain eteneviä tekoälyyn liittyviä selvityshankkeita: Tekoälyn

kokonaiskuva ja kansallinen osaamiskartoitus (VN, TEAS 5.2.A), jonka tehtävänä oli sel-

vittää tekoälyn moniulotteisuutta ja keinoja sen jäsentämiseen sekä laatia kansallinen

osaamiskartoitus. Hankkeessa ”Tekoäly viranomaistoiminnassa ja tietoinfrastruktuurin

muutosvaateet” (VN, TEAS 5.2.B) keskityttiin tarkastelemaan ohjelmistorobotiikkaa ja

tekoälyn hyödyntämistä viranomaistoiminnassa juridiikan ja säännösten asettamien puit-

teissa. Samalla edellisen hankkeen tehtävänä oli selvittää lainsäädäntöön kohdistuvia

muutostarpeita. Lisäksi käynnissä olivat hankkeet: ”Lohkoketjuteknologian ja ohjelmoi-

tavan rahan hyödyntämismahdollisuudet palkkatulojen verotuksessa” (VN, TEAS 5.2.C)

ja ”Robotiikan ja tekoälyn sääntelyn ja hyväksikäytön etiikka sekä yhteiskunnallinen hy-

väksyttävyys” (VN, TEAS 5.2.D) -hanke. (Valtioneuvosto 2019.) Näiden hankkeiden lop-

puraporttien perusteella voidaan todeta, että tekoäly tulee tekemään erilaisia läpilyöntejä

monella eri alalla. Yhteiskuntamme siirtyessä 2020 -luvulle on mahdollista, että tekoälyn

ja robotiikan avulla voidaan tuottaa aivan uudenlaisia palveluita ja liiketoimintamalleja.

(Valtiovarainministeriö 2019b.) Myös Euroopan komissio kohdentaa tutkimus- ja kehit-

tämistoimintaa julkisen terveydenhuollon valmiuksille hyödyntää tulevaisuudessa teko-

älyä. Yksi kehittämisohjelmista on Horisontti 2020 -ohjelma. (Euroopan komissio 2018.)

Helsingin kaupunki on edistänyt digitalisaatiota sosiaali- ja terveyspalveluissa. Sosiaali-

ja terveystoimialan sähköisten palveluiden kehittäminen on osa Helsingin kaupungin pal-

velujen uudistamisen 2030 -strategiaa. Tämä on näkynyt viimeisten parin vuoden aikana

6

sähköisten asiointikanavien lisäämisenä. Tällaisia ovat olleet esimerkiksi erilaiset asiak-

kaille suunnatut matalan kynnyksen sosiaali- ja terveydenhuollon chat -palvelut sekä suo-

jatut sähköiset yhteydenottolomakkeet www -sivustoilla (Rautamäki 2016; Helsingin

kaupunki 2017g). Reaaliaikaisella chatillä tarkoitetaan asiakkaan ja ihmisasiakaspalveli-

jan välistä vuorovaikutteistakeskustelua sähköisessä ympäristössä. Sosiaali- ja terveys-

toimialan chat -palveluissa kansalaisen on mahdollista tunnistautua kesken chat -keskus-

telun Suomi.fi -palvelun kautta, jolloin palvelun luotettavuus, saatavuus ja esteettömyys

ovat selkeästi parantuneet. (Helsingin kaupunki 2019d.) Toisaalta sosiaali- ja terveyden-

huollon asiakkaille voitaisiin tarjota paljon nopeammin ”yhden luukun” palveluja, jos

hyödynnettäisiin jo nykyisellään käytettävissä olevaa teknologiaa ja tekoälyä vieläkin te-

hokkaammin.

Yksi näistä käytettävissä olevista teknisistä innovaatioista ja matalan tekoälyn sovelluk-

sista on chatbot. Robotti, jonka avulla asiakasneuvontaa voidaan antaa 24/7/365 ja skaa-

lautuvasti. Tällä tarkoitetaan, ettei palvelutoimintaa rajoita enää se, miten paljon asiak-

kaita on linjoilla ja etsimässä tietoa samaan aikaan. Samoin chatbottia ei rajoita se, mon-

tako asiakaspalvelijaa on vapaana, kuten reaaliaikaisen chatin haasteena on. Tulevaisuu-

dessa tekoälyn kehittyessä ja laajentuessa chatbot todennäköisesti on itseoppiva haku-

kone useimmissa käyttötapauksissa, joissa se toimii vuorovaikutuksessa ihmisen kanssa.

Tosin tekoälyä hyödynnettäessä tiedonhaun käynnistäjinä voivat toimia kirjoitetun ja pu-

hutun luonnollisen kielen lisäksi myös esimerkiksi ihmisen kasvojen mikroilmeet, liike-

radat tai älylaitteen antama paikannussignaali. (Rotonen 2017; Voutilainen 2018; Valtio-

neuvosto 2019, 14.)

Kotimaisten kielten keskus (KOTUS) neuvoo käyttämään englanninkielen sanan ”chat”

tilalla suomenkielistä ”tsät” -termiä. Mutta keskusteltaessa chatbotista, joka on chatkes-

kusteluun eli tsättäilyyn tarkoitettu robotti, voidaan käyttää myös termiä botti (KOTUS

2017). Tässä tutkimuksessa käytetään puhekielessä vakiintuneita termejä chat, chatbotti

tai botti. Chat tarkoittaa reaaliaikaista ihmisten välistä sähköistä viestinnällistä vuorovai-

kutusta älylaitteella tai tietokoneen välityksellä. Chatbot tai botti -termiä käytetään silloin,

kun kyseessä on robottiasiakaspalvelijan ja ihmisen välinen sähköinen viestintä älylait-

teen tai tietokoneen välityksellä.

7

Molemmat 24/7/365 toiminnassa oleva chatbot sekä reaaliaikainen chat, asiakkaan ja am-

mattilaisen sähköinen viestintäkanavana vaativat toimiakseen teknisen alustan. Näitä ovat

ammattilaisen käyttöliittymä sekä palveluntarjoajan asiakkaille tarjoama chat -kuvake

web-sivustojen puolella, jonka kautta keskusteluyhteys yksittäiseen chat -kontaktiin ava-

taan, oli sitten keskusteluosapuolena ihminen tai robotti. Sähköisten palvelujen toiminta-

prosessien ei pitäisi olla paperimaailman kopioita ilman suurempaa kehittämistyötä vaan

taustalla tulisi olla aina visio siitä, miten asiakkaita voidaan palvella paremmin, tehok-

kaammin ja laadukkaammin digitalisoimalla palveluprosessit. Kaupungin ja toimialan ta-

solla tulee olla ylätason suunnitelma, strategia siitä, miten palvelut ovat saatavilla ilman,

että kansalainen joutuu etsimään internetistä mutkikkaiden palvelupolkujen päästä tarvit-

semaansa tietoa (Rusama 2018).

Tämän tutkimuksen merkitys korostuu, koska Helsingin Sosiaali- ja terveystoimialalla ei

ole aiemmin ollut käytössä yhtään chatbottia. Tästä syystä on tämän chatbotin käyttöön-

ottoprosessin kuvaus ja sen ongelmakohtien selvittäminen sekä dokumentoiminen tar-

peellista seuraavia hankkeita ajatellen. Tämä tutkimus antaa uutta tietoa sähköisen asi-

oinnin kehittämiselle sekä digi- että chat -strategioiden tueksi.

Tämän tutkimuksen tuloksena saadaan ymmärrystä botin käyttöönottoprosessista sekä

mittaustulosten perusteella tuotettua tietoa. Niitä tarvitaan, niin Palvelu- ja ostopalvelu-

seteli (PSOP) -chatbotin kuin muidenkin tulevien chatbottien luonnollisen kielen perus-

teella toimivien tietokantojen rakentamisen tueksi ja vastaamistarkkuuden kehittämiseen.

Vastaustarkkuuden avulla voidaan arvioida botin tuottamaa arvoa sosiaali- ja terveyden-

huollon uutena palvelukanavana. Tutkimuksen keskeinen tavoite on dokumentoida ja

saada tutkittua tietoa chatbottien opetusinterventioiden parantamiseen. Tämän tapaustut-

kimuksen tarkoitus on kuvata PSOP -chatbotin käyttöönottoprosessi ja tuottaa malli siitä,

mitä asioita tulee huomioida chatbotin tietokannan rakentamisen yhteydessä ja käyttöön-

oton jälkeen ylläpitoon siirryttäessä. Chatbotin vastausosaamisen kehittymistä seurattiin

tämän tutkimuksen osalta ensimmäisten kahden kuukauden aikana käyttöönotosta.

8

2 CHATIT JA CHATBOTIT SOSIAALI- JA TERVEYDENHUOLLON SÄH-

KÖISINÄ PALVELUKANAVINA

2.1. Tietojärjestelmän onnistumismalli

William H. DeLone ja Ephraim R.McLean (2003) kuvaavat toimivaa ja käyttäjäystäväl-

listä tietojärjestelmää kolmen laatu-ulottuvuuden kautta: Tieto/Informaatio, järjestelmä ja

palvelu. Tämä vuonna 2002 päivitetty versio mallista pohjautuu vuonna 1992 julkaistuun

alkuperäismalliin. Sen mukaan onnistuneen tietojärjestelmän käyttöönotossa jokaisen

tunnistetun ulottuvuuden tulee olla erikseen mitattavissa ja kontrolloitavissa. Tietojärjes-

telmän hyötykäytön edellytyksenä on, että järjestelmän käyttäjät kokevat saavansa hyötyä

järjestelmän käytöstä, jonka ansiosta käyttäjätyytyväisyys paranee. Vastaavasti parantuva

käyttäjätyytyväisyys edesauttaa parempaa järjestelmän käyttöä. Vain tällöin on saavutet-

tavissa paras nettohyöty tietojärjestelmäkokonaisuuden käytöstä.

Alkuperäinenmalli käsitti vuonna 1992 kuusi eri ulottuvuutta, joiden kautta järjestelmän

nettohyötyä voitiin mitata. Ne olivat tuolloin: 1) järjestelmän laatu, 2) informaation laatu,

3) järjestelmän käytettävyys, 4) käyttäjätyytyväisyys, 5) henkilökohtainen vaikutus ja 6)

organisaation vaikutus. Huomioitavaa on, että onnistuneiden tietojärjestelmien käyttöön-

ottoa mitattaessa olisi tarkasteltava aina järjestelmän moniulotteisuutta ja ainutkertai-

suutta. Etenkin, jos samassa yhteydessä suoritetaan mittauksia ja arviointia. Oleellista on

mitata mahdollisimman paljon ristikkäisiä ulottuvuuksia, joiden välillä havaitaan riippu-

vuussuhteita ja niiden vaikutuksia toisiinsa kerätyn aineiston perusteella. Tutkimuksen

kohteena olevat ulottuvuudet tulee valita huolellisesti, joiden avulla mahdollistetaan ob-

jektiivinen ja luotettava tutkimustulos. (DeLone & McLean 2002.)

DeLonen ja McLeanin (1992) mallin mukaan mitattavia ulottuvuuksia ovat esimerkiksi

järjestelmän laadun vaikutus yksilöön, organisaatioon että tiedon laadun vaikutus käyttä-

jätyytyväisyyteen. Järjestelmän laatua voidaan mitata tutkimalla tiedontuottamisen pro-

sessin sisältämiä numeraalisia muuttujia, kuten tiedonsiirron vasteaikoja. Vastaavasti tie-

don laatua voidaan mitata tutkimalla järjestelmän tuottaman tiedon luotettavuutta, paik-

kaansa pitävyyttä, eheyttä ja ymmärrettävyyttä. Samoin yksi mittaamisen ulottuvuus voi

olla järjestelmän tuottaman tiedon ja vastaanottajan kyky hyödyntää vastaanottamaansa

tietoa. Toinen mittaamisen ulottuvuus on järjestelmän tuottaman tiedon vaikutus yksilön

9

käyttäytymiseen. Muita mitattavia ulottuvuuksia ovat esimerkiksi DeLonen ja McLeanin

alkuperäisen mallin mukaan käyttäjätyytyväisyyden mittaaminen käyttäjän käyttäessä

järjestelmää tai järjestelmän tuottaman tiedon vaikutus organisaation käyttäytymiseen.

(DeLoan & McLean 1992, 64-75.)

Vuonna 2003 DeLone ja McLean ovat tarkentaneet määritelmäänsä mitattavista ulottu-

vuudet Tietojärjestelmän onnistumismallissa. Tarkastelun kohteena on heidän nykyisen

määrittelynsä mukaan seuraavat ulottuvuudet: 1) Järjestelmän laatu, 2) Tiedon/ informaa-

tion laatu, 3) Käyttö, 4) Käyttäjätyytyväisyys ja 5) Nettohyöty. Mallista poistettiin hen-

kilökohtainen vaikutus ja organisaatio vaikutus. Ne ovat korvattuja Nettohyöty -ulottu-

vuudella. Mallin ulottuvuudet ovat kuvattu tarkemmin taulukossa 1.

Ulottuvuus Mitattava suure

Järjestelmän laatu (Systems quality) Mukautuvuus (Adaptability)

Saatavuus (Availability)

Uskottavuus (Reliability)

Vasteaika (Response time)

Käytettävyys (Usability)

Tiedon/ informaation laatu (Information qual-

ity)

Eheys (Completeness)

Ymmärrettävyys (Ease of understanding)

Yksilöllisyys (Personalization)

Asiaankuuluvuus (Relevance)

Turvallisuus (Security)

Palvelun laatu Vakuuttavuus (Assurance)

Empaattisuus (Empathy)

Vastaanottavuus (Responsiveness)

Käyttö Käytön luonne (Nature of use)

Sivustojen navigoitavuus (Navigation patterns)

Sivuvierailujen määrä (Number of site visits)

Toteutuneitten toimintojen määrä (Number of

transactions executed)

TAULUKKO 1.: Mitattavat tietojärjestelmän ulottuvuudet (DeLone & McLean 2003,

26)

10

Käyttäjätyytyväisyys (User satisfaction) Toistuvat suoritteet (Repeat purchases)

Toistuvat käynnit (Repeat visits)

Käyttäjätutkimus (User surveys)

Nettohyöty (Net benefits) Kustannussäästö (Cost savings)

Laajentuvat markkinat (Expanded markets)

Myyntivoittojen nopea kasvu (Incremental ad-

ditional sales)

Ei lisääntyviä kustannuksia (Reduced search

costs)

Ajansäästö (Time savings)

William H. DeLone ja Ephraim R. McLean (2003) toteavat 2002 päivitetyssä mallissaan,

että: ”Palvelun laatu on uskottavasti mitattu, kun siihen liitetään järjestelmän laadusta ja

tiedon laadusta tehdyt erilliset mittaukset”. Kuviossa 1 on kuvattuna prosessimalli, joka

etenee vasemmalta oikealta vaiheittain. Nettohyötyä arvioitaessa olisi tutkijan esitettävä

kysymyksiä siitä, millaisia seuraamuksia järjestelmän käytöllä ja olemassaololla on eri

tahoille, jotka kuuluvat järjestelmän ekosysteemiin. Nettohyödyn ulottuvuuksia on arvi-

oitava mahdollisimman monessa eri yhteydessä, jolloin saadut tulokset voivat olla sekä

positiivisia että negatiivisia. (DeLone&McLean 2003.)

KUVIO 1. Tietojärjestelmän onnistumismalli (DeLone ja McLean 2003, 24)

11

Samoin DeLone ja McLean (2003) toteavat, että tietojärjestelmän nettohyötyyn vaikuttaa

aina myös järjestelmän käyttäjätyytyväisyys. Toisaalta tämän tutkimuksen ulkopuolelle

rajataan Palvelusetelien palvelujentarjoajien käyttäjätyytyväisyyskysely, joka suoritetaan

toisaalla käyttöönottoprojektin yhteydessä osana uuden chatbot -palvelun ulkoista vies-

tintäsuunnitelmaa. Tässä tutkimuksessa lähestytään PSOP -chatbotin käyttöönottoa De-

Lonen ja McLeanin Tietojärjestelmän onnistumismallin (2002) tiedon/ informaation ja

järjestelmän laadun näkökulmista.

2.2. Sosiaali- ja terveydenhuollon sähköisten palvelujen saavutettavuus

Sosiaali- ja terveydenhuollon palvelut ovat erityislainsäädännöllä määriteltyjä, jolla tar-

koitetaan sosiaali- ja terveyspalvelujen sekä niiden yhteistenpalvelujen järjestämisen oh-

jausta. Sisällöltään palvelut ovat organisoitua toimintaa. Lisäksi sosiaali- ja terveyden-

huollon palveluilla voidaan tarvittaessa edistää tietyn väestön tai väestöryhmän hyvin-

vointia ja terveyttä esimerkiksi palvelusetelien avulla. Palvelunantajiksi kutsutaan palve-

luja järjestäviä, tuottavia ja toteuttavia toimijoita. Palvelunantajat ovat palvelunjärjestäjiä,

palvelutuottajia ja palveluntoteuttajia (THL 2017.)

Kunnilla on useita sosiaali- ja terveydenhuollon lainsäädännöllä määriteltynä järjestämis-

vastuita. Lakisääteisyys tarkoittaa tarkoituksenmukaisella tavalla järjestettyjä julkisia so-

siaali- ja terveydenhuollonpalveluita. Järjestämisvastuista säädetään laissa sosiaali- ja ter-

veydenhuollon suunnittelusta ja valtionavustuksesta 733/1992. Tarkoituksenmukaisuus

palvelujen tuottamisessa tarkoittaa sitä, että kunta voi tuottaa palvelut itse tai järjestää ne

ostopalveluina sekä valitsemalla palvelujen toteuttamistavan palvelutarpeen arvioinnin

perusteella (THL 2017; STM 2018b.) Laki digitaalisten palvelujen tarjoamisesta

(306/2019) astui voimaan 1.4.2019. Siinä on kuvattu ne vaatimukset, jotka koskevat kaik-

kia niitä viranomaisia, jotka hoitavat julkista hallintotehtävää sekä Euroopan Unionin saa-

vutettavuusdirektiivin toimeenpanoa Suomessa. Lain keskeisiä uudistuksia on, että viran-

omaisen on tarjottava asiakkailleen mahdollisuus lähettää asiointiinsa liittyvät asiakirjat

sähköisesti sekä varmistettava, että sen vastuulla olevat digitaaliset palvelut ja sähköiset

tiedonsiirtomenetelmät ovat saatavilla myös palvelupisteiden aukiolon ulkopuolella.

(Valtiovarainministeriö 2019a.)

12

2.3. Palvelusetelin käyttäjät

Palvelusetelin käyttäjällä tarkoitetaan sosiaali- ja terveydenhuollon palvelusetelistä anne-

tun lain (569/2009) mukaan asiakasta, joksi kutsutaan niin sosiaalihuollon asiakaslaissa

kuin myös potilaslaissa tarkoitettua potilasta. Palveluseteli on kyseisen palvelun järjestä-

misvastuussa olevan kunnan sosiaali- ja terveyspalvelun saajalle myöntämä maksusitou-

mus, jolla korvataan palvelun kustannukset ennalta määrättyyn arvoon asti. Palvelusete-

listä on käytävä ilmi, mihin palveluun seteli on myönnetty ja kenelle se on myönnetty.

Palveluseteli on viranomaispäätös, joka voi olla kirjallisessa tai sähköisessä muodossa.

Asiakas voi käyttää palveluseteliä, kun hänellä on mahdollisuus käyttää valinnanvapaut-

taan ja valita tarvitsemansa palveluntuottaja kunnan hyväksymältä palveluntarjoajalta.

Kunnalla on velvollisuus pitää luetteloa hyväksymistään palvelujen tuottajista, jossa on

mainittu palvelujen tuottajat, palvelut ja hinnat. Mikäli palvelujen tuottajaluetteloa ei ole

saatavilla sähköisessä muodossa internetistä, niin se tulisi olla saatavissa sosiaali- ja ter-

veydenhuollon toimipisteistä. Internetissä julkaistavassa palvelujen tuottajaluettelossa on

hyvä olla linkit suoraan palvelujen tarjoajien sivustoille vertailun helpottamiseksi. Kunta

hyväksyy palveluntarjoajat, jotka voivat täyttää laissa heille esitetyt vaatimukset. Lisäksi

kunta voi asettaa myös omia vaatimuksia. (Uotinen 2009.)

Useamman kunnan yhteistyönä on internettiin perustettu ”Parastapalvelua.fi” -sivusto,

jossa kansalainen voi tarkastella ja vertailla hänelle myönnettyä palveluseteliä sekä pal-

veluntarjoajat voivat markkinoida omia palveluitaan ja kertoa yrityksestään. Parastapal-

velua.fi -sivuton yksi tärkeimmistä tehtävistä on toteuttaa valinnanvapautta sekä mahdol-

listaa tulevaisuudessa mahdollisten valinnanvapauslainsäädännön myötä käyttöönotetta-

vien asiakasseteleiden ja henkilökohtaisen budjetin käytön. (Parastapalvelua.fi 2018).

Helsingin Sosiaali- ja terveystoimialan yksi palvelujen kehittämiskohde on selkiyttää ja

tehostaa kaupunkilaisille tarjottavaa palveluseteli- ja ostopalvelu -palvelua (PSOP). Pal-

veluseteleitä oli vuonna 2018 Helsingillä käytössään 16 erilaista (Helsingin kaupunki

2018a) ja vuonna 2019 jo 21 erilaista (Helsingin kaupunki 2019b.) Palvelusetelejä myön-

netään vuosittain 20 000 henkilölle, joista 15 000 on suunterveydenhuollon palvelusete-

lien tarvitsijoita (Helsingin kaupunki 2017f).

13

Huomioitavaa on, että ostopalvelut erottuvat palvelusetelitoiminnasta. Ostopalveluilla

tarkoitetaan palveluja, jonka palvelunjärjestäjä hankkii korvausta vastaan oman organi-

saationsa ulkopuolelta. Mikäli palveluntuottaja hankkii palveluja palveluntoteuttajalta,

niin kyseessä ei ole ostopalvelu vaan alihankinta (THL 2017, 25). Ostopalvelujen tarjonta

sekä palvelusetelitoiminta kuuluvat molemmat kunnan järjestämiin sosiaali- ja tervey-

denhuollon tehtäviin, joista säädetään laissa sosiaali- ja terveydenhuollon suunnittelusta

ja valtionosuudesta (1706/2009). Kunta voi antaa palvelun käyttäjälle palvelusetelin, jol-

loin kunta sitoutuu maksamaan palvelun käyttäjän, kunnan hyväksymältä yksityiseltä pal-

velujen tuottajalta hankkimat palvelut, kunnan päätöksellä asetettuun setelin arvoon asti

(Uotinen 2009, 34). Lisäksi samaisessa laissa säädetään palvelun vähimmäislaadusta, mi-

käli kunta hankkii sen ostopalveluna tai palvelusetelin avulla yksityisiltä palveluntuotta-

jilta. Yksityiseltä hankittavien palvelujen tason tulee vastata julkisen palvelun minimita-

soa (Uotinen 2009, 35). Palvelusetelillä järjestettävän palvelun tuottaminen kuuluu kui-

tenkin ostopalveluvaltuutuksen piiriin, joka laaditaan OSVA -lomakkeella, joka edelleen

tallennetaan Potilastiedon arkistoon. (Kanta.fi 2019; Helsingin kaupunki 2018e).

2.4. Sosiaali- ja terveydenhuollon ammattilaiset ja chatbot -tietokanta

Sosiaali- ja terveydenhuollon asiakas- ja potilastietojärjestelmiä saavat käyttää vain pal-

veluntarjoajalle työsuhteessa olevat sosiaali- ja terveydenhuollon ammattilaiset (Laki so-

siaali- ja terveydenhuollon asiakastietojen sähköisestä käsittelystä 9.2.2007/159). Sosi-

aali- ja terveydenhuollon palveluita tuottavien yksiköiden henkilöstöstä on säädetty laissa

sosiaalihuollon ammattihenkilöistä 817/2015 ja laissa terveydenhuollon ammattihenki-

löistä 559/1994. Terveydenhuollon ammattihenkilöllä tarkoitetaan laissa henkilöä, joka

on saanut ammatinharjoittamisoikeuden tai ammatinharjoitusluvan sekä henkilöä, jolla

tämän lain nojalla oikeus käyttää valtioneuvoston asetuksella säädettyä terveydenhuollon

ammattihenkilön ammattinimikettä.

Reaaliaikaiset chatit ja chatbot -palvelukanavat toimivat ” matalan kynnyksen” palvelu-

kanavina kansalaisille. Reaaliaikaisten chattien kautta asiakkaat voivat lähestyä suoraan

ammattilaisia ja kysyä heitä askarruttavia asioita. Chat- ja chatbot palvelukanavien kautta

kansalainen tavoittaa ammattilaisen periaatteessa kaikkialta, missä vain internet toimii ja

asiakkaalla itsellään on nykyaikainen tietokone tai matkapuhelin käytössään. Myös eri

14

aistivammaiset, kuten kuulo- tai puhevammaiset saavat chatin kautta helposti suoraan

henkilökohtaista neuvontaa. Reaaliaikainen chat -keskustelu ja chatbot eroavat tässä koh-

din, koska chatbot keskustelu on kommunikointia virtuaalisen asiakaspalvelijan eli toisin

sanoen robotin kanssa. (Stadin sote digisti 2018.) Kuviossa 2 on kuvattu chatbot -prosessi

Helsingin kaupungin Sosiaali- ja terveystoimialalla (Linden A., Siimeslehto K., Raatikai-

nen A-M. & Kantsila J. 2019).

Vaira, Bochicchio, Conte, Casaluci & Melpignano (2018) kuvaavat chatbotin rakenta-

misprojektia raskaana olevien naisten ja pienten lasten vanhempien tiedon tarpeeseen ja

neuvontaan siitä lähtökohdasta, että kansalaisilla on tarve saada nopeasti laadukasta ja

luotettavaa tietoa terveyteen ja sairauteen liittyvissä kysymyksissä. Luotettavan infor-

maation turvaaminen on yhteistä kaikissa chatbotin käyttöönottoon liittyvissä tutkimuk-

sissa. (Coleman, Olsen, Sauter, Baker, Hodgin, Stanfield, Emerling, Hruban & Nolan

2005; Cameron, Cameron, Megaw, Bond, Mulvenna, O´Neill, Amour & McTear 2017;

Armstrong 2018; Vaira ym.. 2018; Wilson 2018.)

KUVIO 2. Helsingin kaupungin Sosiaali- ja terveystoimialan chat -prosessi (Linden,

Siimeslehto Raatikainen & Kantsila 2019)

15

Chatbotin avulla tuotettavaa asiakasneuvontaa on seurattava tarkoin. Sosiaali- ja tervey-

denhuollon alalla toimivan chatbotin näkökulmasta viranomainen, sosiaali- ja terveyden-

huollon ammattilainen, on velvoitettu tietokannan rakentamiseen ja täydentämiseen,

vaikka itse sovellus ostetaan yksityiseltä toimittajalta. Julkisen viranomaispalvelun tieto-

kannan täydentämiseen osallistuvat henkilöt eivät voi olla yksityisen yrityksen työnteki-

jöitä, ellei kyseisen palvelun neuvontatehtävän ulkoistamista ole mahdollistettu erityis-

lainsäädännössä. Perustuslain §124 määrittelee ne vaatimukset, joiden perusteella ulkois-

tamiset ovat sallittuja lailla tai lain nojalla. (Voutilainen 2018, 912.) Lisäksi tulee huomi-

oida, että chatbottien tietokannan kehittämistä tulee arvioida aina riskiperusteisesti. Chat-

botin antaman vastauksen perusteella asiakkaalle ei pitäisi päästä syntymään väärinkäsi-

tystä siitä, mihin hän on oikeutettu tai velvoitettu. (Voutilainen 2018, 921.) Julkisten

palvelujen kohdalla tulisi aina huomioida, että asiakkaalla on oikeus saada palvelua suo-

men kielen lisäksi myös ruotsinkielellä, mikäli tämä on hänen asiointikielensä. Näissä

tapauksissa, joissa reaaliaikaista chattiä tai chatbot -palvelua ei ole rakennettu toiselle

kotimaisista virkakielistä, asiakkaalla tulisi olla vaihtoehtoinen tapa saada hoidettua asi-

ansa viranomaisen kanssa, kuten puhelimitse tai asioimalla asiointipisteessä. (Voutilainen

2018, 919.)

Kansainvälisesti tehtyjä tutkimuksia chatbottien käytöstä terveydenhuollossa on tehty

toistaiseksi muutamia kymmeniä. Yhteistä niissä on, että chatbotit ovat rakennettu tuot-

tamaan terveydenhuollon sähköisiä palveluja kustannustehokkaasti. Chatbotin käyttötar-

koitus on toimia joko itsenäisenä hakukoneena kansalaisen tiedontarpeelle tai se voidaan

integroida osaksi muuta palvelukokonaisuutta. Botti voi myös toimia itsehoidon diagnoo-

sityökaluna, jolloin siihen voidaan liittää erilaisia lisätoimintoja helpottamaan kansalai-

sen tiedontarvetta esimerkiksi tunteiden ilmentämiseen emojita tai karttapalvelun kautta

näytettäviä lähellä sijaitsevia terveydenhuollon yksiköitä. Chatbotin tietokanta tulee kui-

tenkin olla lähtökohtaisesti rakennettu niin laajasti, että se pystyy ohjaamaan kansalaisen

oikeaan hoitopaikkaan tai antamaan oikeanlaiset itsehoito-ohjeet. Chatbotin osaaminen

perustuu tietokantaan, joka sille on tallennettu aihealueittain. Usein taustamateriaalina on

käytetty palveluiden web-sivustojen ”usein kysyttyjä kysymyksiä” tai vastaavia tietoläh-

teitä, kuten paperisia esitietokyselyjä, jotka on täytetty ennen hoitoon hakeutumista. (Ca-

meron ym. 2017.)

16

Ennen kuin chatbotin antamat vastaukset ovat luotettavia sekä se voidaan ottaa hyväksy-

tysti käyttöön, niin sitä tulee testata monin tavoin. Järjestelmän on todella pystyttävä suo-

riutumaan niistä kysymyksistä, joita sen on tarkoitus ymmärtää. (Armstrong 2018; Vou-

tilainen 2018.) Eräs terveydenhuollon chatbot käyttöönotoista tehtiin Britanniassa, Lon-

toossa vuonna 2017. Siellä otettiin käyttöön Babylon Health -terveysteknologiayrityksen

valmistama chatbot. Sen sanottiin pystyvän vastaamaan 72% varmuudella oikein akuut-

tihoidontarpeen yhteydessä esitettyihin oirekysymyksiin (Wilson 2018). Kuin taas Mic-

rosoftin Tay -chatbotti jouduttiin ottamaan pois käytöstä Twitterissä vain 16 käyttötunnin

jälkeen, koska sen oppisprosessi perustui botin saamaan palautteeseen sekä automaatti-

seen vahvistettuun oppimiseen. Yllättäen botin saama käyttäjäpalaute oli ollut odottamat-

toman negatiivista, jolloin botin tulkinnat ”oikeista vastauksista” vinoutuivat heti alkuun

ja se jouduttiin poistamaan käytöstä (Cameron ym. 2017).

Chatbotin tietokantaa ja vastaamisosaamista voidaan täydentää myös analysoimalla sille

kansalaisten esittämien kysymysten perusteella. Coleman, Olsen, Sauter, Baker, Hodgin,

Stanfield, Emerling, Hruban & Nolan (2005) tutkivat syöpäsairaiden potilaiden ja omais-

ten tukeen perustetun www -sivuston, kansalaisten keskustelupalstan ”kysymys -vastaus”

aineistoa (eng. FAQ), keräämällä kuukauden aikana sivuston keskustelupalstalle tehdyt

postaukset (n=300). Poiminnan jälkeen aineisto oli teemoitettu ja sisällön analyysin

avulla oli määritelty ne aihealueet, joista potilaat olivat tarvinneet lisää tietoa. Saatujen

tulosten perusteella oli pystytty täydentämään ja kohdentamaan sivustolla jaettavaa infor-

maatiota ja parantamaan sivuston kautta tarjottavaa tukea syöpäsairaille ja heidän omai-

silleen. (Coleman ym. 2005.)

Digitaalista palvelua kehitettäessä on aina noudatettava suurta huolellisuutta tietoturva ja

-suoja kysymyksissä sekä palvelun eettisyydestä. Vastuullisesti suunniteltu ja käyttötes-

tattu chatbot osaa vastata käyttäjiensä odotuksiin, mutta myös antaa palvelua kohdates-

saan sille vieraita kysymyksiä (Cameron ym. 2017; Armstrong 2018; Voutilainen 2018.)

Yhtenä esimerkkinä toimii tässäkin Babylon Health chatbotin toiminta. Sen luotettavuutta

oli kritisoitu Britannian terveydenhuollon julkaisuissa voimakkaasti, mutta siitä huoli-

matta testausten tulokset olivat hyväksyviä. Järjestelmän tulee kestää tieteellisiin lähtö-

kohtiin perustuva arviointi. Babylon Health chatbotin tapauksessa järjestelmätestaukset

17

olivat tieteellisesti arvostetun tahon, Britannian kansallisen lääkäriseuran “the Royal Col-

lege of General Practitioners” (RCGP) hyväksymiä. Testien taustalle oli laadittu useita

erilaisia potilastapauksia, joiden oirekyselyä pyrittiin simuloimaan botille. Testin tulok-

sena botti oli pystynyt tasalaatuisempaan diagnostiikkaan kuin ihmislääkärit. Lähtökoh-

taisesti chatbotilla ei kuitenkaan ollut tarkoitus korvata ihmislääkäreitä, vaan sen toivot-

tiin tuovan lisäarvoa ja tukea päätöksenteolle asiakaskontaktin aikana. (Olson 2018.)

Luonnollista kieltä käyttävän chatbotin avainsanat ovat usein tuotettuja oletetuista tai asi-

akkaiden ”usein kysytyistä” -kysymyksistä ja näin ollen toimivat ”laukaisijoina tai im-

pulsseina” halutuille vastauksille. Ihmisten kielellinen ilmaisu on kuitenkin kovin väri-

kästä ja monimuotoista, jolloin chatbotin käyttöönoton alkuvaiheessa kaikkia mahdollisia

avainsanayhdistelmiä tai puhekielen ilmaisuja ei ehkä ole vielä kartoitettu ja siten osattu

tallentaa botille. Lisäksi tekninen toteutus vaatii palvelimen, johon vastaukset on tallen-

nettu ja, josta botti osaa ne hakea. Tulevaisuudessa avainsanojen rinnalle tai tueksi tulee

myös muita chatbotin tietokannan hakutoiminnon laukaisevia tekijöitä, kuten toinen so-

vellus tai päätelaite lähettää herätteen, joka toimii avainsanan kaltaisena impulssina tai

mobiililaitteen paikkatieto aktivoi haun tai käyttäjän keskusteluun liittämät kuvat tekevät

hakuja eri tietokannoista. (Cameron ym. 2017; Vaira ym. 2018; Voutilainen 2018.)

2.5. Tekoälyn toteutuksena chatbot

Tekoäly käsitteenä on julkaistu ensi kerran jo vuonna 1956 matemaatikko Alan Turingin

toimesta. Hän kehitti ensimmäisen tietokoneen ja häntä voidaan pitää tietojenkäsittelytie-

teen uranuurtajana. Tänä päivänä puhutaan edelleen ”Turning testistä”, jolla testataan te-

koälyn kykyä ratkaista sille esitetyt tehtävät ihmistä paremmin. Tekoäly (Artificial Intel-

ligence, AI) määritellään keinotekoisena luomuksena, yleensä tietokoneohjelman osoit-

tamaksi ”älykkyydeksi”. Automatisoituja järjestelmiä, jotka saadaan toimimaan tekoälyn

avulla voivat olla esimerkiksi ohjaus (control), suunnittelu ja ajoitus (planning and

scheduling) ja puheentunnistus (speech recognition). Tällaisia järjestelmiä on hyödyn-

netty esimerkiksi taloustieteissä, lääketieteessä ja videopeleissä (Raatikainen 2007, 31.)

Valtioneuvoston julkaisemassa (2019) ”Tekoälyn kokonaiskuva ja kansallinen osaamis-

kartoitus” -loppuraportissa määritellään tekoälyn sisältävän 10 eri osaamisaluetta, jotka

18

ovat kuvattu kuviossa 3. Keskeisenä osa-alueena on tunnistettu data-analyysi (data ana-

lytics, data analysis), jossa dataa jalostetaan korkeamman tason tiedoksi ja hyödyllisten

johtopäätösten tekemiseksi. Siihen liittyy tiiviisti toinen osa-alue: Koneoppiminen

(machine learning), jossa tilastotieteen menetelmien avulla tietokoneet saavat kyvyn op-

pia datasta ilman suoranaista ohjelmointia. Tätä käytetään ennustamaan ja luokittelemaan

ilmiöiden lopputulemia. Valtioneuvoston raportissa (2019) yhdeksi tekoälyn osaamisalu-

eeksi tunnistettiin myös niin kutsutut ”syvät neuroverkot” (deep neural networks). Ne

perustuvat vahvasti koneoppimiseen, kuten kuvan- ja puheentunnistusohjelmat sekä kie-

len kääntäminen. Omana tekoälyn osa-alueena on kuitenkin luonnollisen kielen käsittely

(Natural Language Processing, NLP), jolla tarkoitetaan tietokoneohjelmien käyttämistä

luonnollisen tekstin ja puheen analysointiin sekä tuottamiseen. Kun puhutaan keinotekoi-

sen systeemin kyvystä ennustaa tarve toimille ja arvioida niiden vaikutusta puhutaan kog-

nitiosta, jolloin tulevaisuuden tutkimuksessa tullaan hyödyntämään erilaisia tietämyksen

hallinnan menetelmiä, kuten ontologioita ja semantiikkaa. Erityisen mielenkiintoinen te-

koälyn osa-alue on vuorovaikutus ihmisen kanssa, kun keskustellaan tekoälyä hyödyntä-

vien järjestelmien käytettävyydestä. Tälle osa-alueelle sijoittuvat esimerkiksi suosittelu-

järjestelmät, palvelurobotit, chatbotit sekä henkilökohtaiset assistentit, joiden tehtävä on

tukea ja lukea ihmistä erilaisissa vuorovaikutustilanteissa. (Valtioneuvosto 2019.)

KUVIO 3. Tekoälyn kymmenen osaamisaluetta. (Valtioneuvosto 2019, 7)

19

Pauli Brattico ja Otto Lappi (2008) ovat käsitelleet tekoälyn luonnetta artikkelissaan ”Kii-

nalaisesta huoneesta”, joka on filosofi John Searlen (1980) esittämä väittämä tekoälyn

luonteesta. Heidän näkemyksensä on, ettei ole olemassa konetta tai tietokoneohjelmaa,

joka pystyisi ajattelutoimintaan eli ymmärtämään käsittelemäänsä tiedon merkitystä. Tä-

män ajattelun lähtökohtana on ymmärrys siitä, että tietokone käsittelee saamaansa tietoa

syntaksiin perustuen. Tällä tarkoitetaan tiedon käsittelyä puhtaasti rakenteisesti, jolloin

tietokone ottaa vastaan syötteitä ja tunnistaa niistä vain merkkien ulkomuodon ja antaa

siihen liitetyn merkkijonon tulosteena. Tätä kutsutaan myös symbolien manipuloinnin

ideaksi. Voidaankin sanoa, että tietokoneohjelma vastaa sääntökirjaa, joukkoa algorit-

meja eli sääntöjä ja ohjeita, jotka ovat tallennettu ennalta määrättyyn järjestykseen.

(Searle 1980; Brattico & Lappi 2008.)

Searlen (1980) mukaan on olemassa heikkoa ja vahvaa tekoälyä. Vahva tekoäly on oh-

jelma, joka pystyy tuottamaan mentaalisia tiloja, kuten tietoisuutta, tunteita ja ajatuksia.

Vastaavasti heikon tekoälyn ohjelma voi olla vain kuvaus jostain kohteesta; Systeemillä

ei voi olla ymmärrystä, jos se on vain oikealla ohjelmalla varustettu tietokone. Tietokone

noudattaa vain sille opetettuja symbolisääntöjä, jolloin puhutaan merkitysominaisuuksien

teoriasta (Searle 1980). Jo heikolla tekoälyllä pystytään toteuttamaan yksittäisissä tehtä-

vissä taitaviin suorituksiin kykeneviä algoritmeja, kuten hakukoneita, roskapostisuodat-

timia tai vaikkapa robottiruohonleikkureita. Lisäksi pystytään tekemään myös jo paljon

edistyneempiäkin toimintoja, kuten kameroiden keinonäköön perustuvaa kasvojen tun-

nistamista, hahmon- ja liiketunnistusta. Myös puheentunnistusta on jo hyödynnetty eri

aloilla tai sovellutuksissa, kuten esimerkiksi Applen Siri. Vahvalla tekoälyllä puolestaan

tarkoitetaan tulevaisuuteen ennustettavaa tekoälyä, joka pystyisi toimimaan täysin irral-

laan ihmisälystä. (Raatikainen 2007; Brattico & Lappi 2008; Oravec 2018.)

PSOP -chatbotin toimintaperiaate perustuu nykyisellään syntaksiin ja toteuttaa käytän-

nössä merkitysominaisuuksien teoriaa. Sen logiikkaa voidaan peilata yleisemmällä ta-

solla tietojenkäsittelytieteessä ja informaatiotutkimuksen kohteena oleviin älykkäisiin

web-palveluihin, joissa tiedonhaun edellytyksenä on vastaavasti, että kone osaa tulkita ja

ymmärtää laajempia tietosisältöjä käsitteiden semantiikkaan eli merkitysoppiin perus-

tuen. Tällöin tutkitaan tiedon merkitystä symbolisten ilmausten (signifier) ja niiden tar-

20

koitteiden (denotation) välisissä suhteissa. (Hyvönen 2018, 33-39.) Tekoälytutkimus (Ar-

tificial Intelligence) hyödyntää semanttisen webin tapauksessa predikaattilogiikkaa (pre-

dicate logic), jonka taustalla toimii lauselogiikka. Siinä tieto kuvataan väitelauseina (pro-

positio), jotka ovat sovellusmaailman tilasta riippuen joko tosia tai epätosia. Lauselogii-

kan avulla voidaan johtaa sisäkkäisiä ohjelmointilauseita, joiden keskinäiset suhteet voi-

vat olla myös keskenään tosia tai epätosia. (Hyvönen 2018, 151-157.)

Neuroverkko -käsite on lainattu lääketieteeltä ja sen avulla yritetään jäljitellä aivojen ra-

kennetta tekoälylle. Syvässä neuroverkossa on useita kerroksia, joissa monimutkaisem-

paa abstraktisempaa dataa pystytään käsittelemään. Ohjatussa oppimisessa kone tietää

vastauksesta tekemänsä päättelyn avulla, että se on oppinut tekemään oikean valinnan

jäljittelemällä muita oikeita vastauksia (Yonck 2011; Rotonen 2017.) Vahvistusoppimi-

sen logiikka perustuu kausaalisuuden ymmärtämiseen, ”kun on x, niin silloin y on jotain

”. Kone kirjoittaa algoritmia saamansa palautteen perusteella ja parantaa tulostaan. Oh-

jaamatonta oppimista tapahtuu esimerkiksi sosiaalisessa mediassa, jossa käyttäjät ryhmi-

tellään heidän tekemiensä valintojen perusteella tiettyihin joukkoihin eli klustereihin. Täl-

löin kone tarkastelee ainoastaan syötteenä saamansa dataa ja muokkaa aineistoa sen mu-

kaan. (Hoyer 2011; Rotonen 2017; Oravec 2018.) PSOP -chatbotin opettamisessa käyte-

tään vahvistusoppimista, joka perustuu sosiaali- ja terveydenhuollon ammattilaiseen te-

kemään lokianalyysiin botin kyvystä vastata sille esitettyihin kysymyksiin.

Chatbottien käyttöönoton ja yleensä koneoppisen on mahdollistanut käytettävissä olevan

alati lisääntyvän datan hyödyntäminen. (Hoyer 2011; Yonck 2011; Valtioneuvosto

2019b; Valtiovarainministeriö 2019b.) Chatbotin ohjelmointialgoritmit voivat perustua

yksinkertaiseen kyllä-ei valintaan tai monimutkaisempaan luonnollisen kielen tunnistus

(NLP) -logiikkaan. Viimeksi mainitun yhteydessä toteutuu ajatus siitä, että chatbot -ro-

botti osaa tunnistaa käyttäjän syöttämästä kysymyksestä aihealueen avainsanan perus-

teella ja tarjota tämän perusteella ennakkoon tietokantaan syötettyä vastausta. (Cameron

ym. 2017; Voutilainen 2018.) Kuviossa 4 on toisaalta kuvattu esimerkkinä yksinkertaisen

chatbotin algoritmi, joka on sille valmiiksi ohjelmoitu. Siinä kysytään käyttäjältä vas-

tausta kysymykseen: ” Onko sinulla ongelmia työssäsi?”, johon vastaamalla kyllä tai ei -

päättelyketju etenee sen perusteella, mitä käyttäjä vastaa botille. (Cameron ym. 2017.)

21

Chatbotin opettaminen on jo paljon haasteellisempaa luonnollisen kielen prosessiin (Na-

tural Language Processing, NLP) kuin sen toimintalogiikan perustuminen pelkkiin kyllä

ja ei vastauksiin. Luonnollisen kielen ymmärtämisellä tarkoitetaan koneen ja ihmisen vä-

listä vuorovaikutusta ”kysymys - vastaus” -kontekstissa. Chatbottien käyttöönotto on re-

sursseja vaativaa työtä, jotka pitää suunnitella hyvin. Jotta chatbotti voisi palvella parhai-

ten eli tuottaa laadukkaita vastauksia mahdollisimman nopeasti asiakkaan esittämiin ky-

symyksiin, niin sille on määriteltävä toimintaa ohjaavat säännöt eli algoritmit. Yksinker-

taisimmillaan ne tarkoittavat yksittäisiä avainsanoja tai niistä koottuja ehtolausekkeita,

joiden tuloksena botti antaa toivotun vastauksen. (Vaira ym. 2018; Voutilainen 2018.)

Tietokantaan tallennetun tiedon saatavuutta parantaa myös media- ja kommunikaatiotek-

nologian hyödyntäminen oikeanlaisen käyttöliittymän välityksellä. Teknologian avulla

käyttäjä pystyy vastaanottamaan hakemaansa tietoa omaan käyttötarkoitukseensa, jolloin

puhutaan yleisellä tasolla tapahtuvasta teknologiavälitteisestä sosiaalisesta vuorovaiku-

tuksesta (Saari 2011). Chatbot -ohjelmoituna hakukoneena, joka on liitetty tieteellisesti

korkeatasoiseen tietokantaan, voisi hyvin olla yksi tällainen tieto- ja viestintäteknologian

KUVIO 4. Chatbotin yksinkertainen päättelyalgoritmi (Cameron ym. 2017, 4/ Figure 3

Proposed chatbot script)

22

käyttöliittymä sosiaali- ja terveydenhuollon ammattilaisten käyttöön. Tekoälystä on hyö-

tyä tiedon saatavuuden parantamisessa. Tämän on esimerkiksi Euroopan komissio toden-

nut keväällä 2018, jolloin se antoi ehdotuksen direktiivin uudistamisesta julkisen sektorin

tietoaineiston toisiokäytöstä. (Voutilainen 2018, 905.)

Lisääntynyt kansalaisten mobiili- ja älylaitteiden käyttö mahdollistaa etähoidon ja -pal-

velut. Tämä tiedon tarve yhdistettynä ennakko-olettamukseen, että tekoäly (Artificial In-

telligence, AI) tulee lähivuosina muuttamaan myös täysin terveydenhuollon neuvontapal-

velut, diagnoosien laatimisen, lääkehoidon ja ylipäätänsä koko terveydenhuollon analy-

tiikan. Kansanterveystyön näkökulmasta preaktiivinen toiminta interventioineen tervey-

denhuollossa tulee mahdolliseksi tekoälyn käyttöönoton myötä. Samoin palvelujen koh-

dentaminen tasapuolisesti ja oikea aikaisesti eri väestöryhmille mahdollistuu tehokkaam-

min. (Valtioneuvosto 2019; Valtiovarainministeriö 2019.)

2.6. Tieto- ja viestintätekniikan tutkimus sosiaali- ja terveydenhuollossa

Tehtyjen aineistohakujen perusteella eri tieteellisten julkaisujen tietokannoista, voidaan

todeta, ettei sosiaali- ja terveydenhuollon chatbot -aiheesta ole vielä tehty laajemmin tie-

teellistä tutkimusta. Yksi selittävä syy tutkimusten vähyydelle on, että sosiaali- ja tervey-

denhuollossa chatbotteja on ollut käytössä vasta erittäin lyhyen aikaa. Tutkijalla oli ai-

neiston hakua varten laadittuna esitutkimuskysymykset liittyen tutkimusaiheeseen, joiden

avulla laadittiin ensin asiasanalistat ja sen perusteella lähdettiin etsimään kansainvälisistä

julkaisuista tutkimustietoa, koska kotimaista tieteellistä tutkimustietoa ei ollut saatavissa

lainkaan.

Yksi vähäisen tutkimustiedon puuttumisen syy voi olla, että varhaisimmat terveydenhuol-

lon tietojärjestelmätutkimukset on epäonnistuneet tunnistamaan ihmisen keskeisen roolin

sosiaalisessa ja organisatorisessa ympäristössä, jossa tietojärjestelmiä käytetään. Tutki-

mushaaste on syntynyt siitä, miten ymmärretään havainnot teknisen järjestelmän käytön

ja toimintaprosessien sekä sosiaalisen- ja organisatorisen järjestelmän välillä. Organisa-

toriseen järjestelmään mukaan luetaan organisaatiokulttuuri, sosiaaliset käytännöt ja

käyttäytymismallit, juurtuneet toimintamallit ja poliittinen ilmapiiri. (Callen, Coiera &

Westbrook 2010.)

23

Tieto- ja viestintäteknologian käyttöönottoa seuraavissa raporteissa yksi mielenkiintoinen

kohde on internetin www-sivustojen palvelujen sähköisten kysymys-vastauspalvelujen

saatavuus. Kyseistä palvelua tarjotaan niin tunnistautumattona kuin tunnisteellisenakin.

Sairaanhoitopiirien tarjoamissa tunnistautumattomissa palveluissa ei ole ollut suurta

muutosta vuosien 2014-2017 välillä ja tunnisteellinen ”kysymys - vastaus” -palvelu oli

ollut käytössä kuudessa sairaanhoitopiirissä: Etelä- ja Itä -Savo, Pohjois-Pohjanmaa,

Etelä- ja Pohjois -Karjala ja Kainuu. Muita www -sivuilla tarjottavia palveluita olivat

olleet asioiminen Hyvis -portaaliin, kirjautuminen omahoito -palveluihin, lomakkeet, toi-

mipaikkatietojen esittäminen, toimeentulotukipalvelut, linkitykset KanTa - ja sosiaali-

huollon palveluihin sekä ilmoittautuminen vapaaehtoistoimintaan. Perusterveydenhuol-

lossa tunnisteetonta ”kysymys – vastaus” -palvelua ylläpiti 16% ja tunnisteellista 19%

terveyskeskuksista. Vain 11 organisaatiolla oli hakutoiminto eri palveluita tuottavista yk-

siköistä tai palvelunantajista. Web-sivujen esteettömyydestä oli raportoinut viisi organi-

saatiota THL:n raportin mukaan (THL 2018b). Sähköinen kysymys-vastauspalvelu oli

ollut käytössä tunnisteettomana kuudessa ja tunnisteellisena viidessä organisaatiossa.

Sähköisiä esitietolomakkeita ja riskitietolomakkeita oli muutamalla organisaatiolla ollut

tarjottavana kansalaisille. 17 organisaatiota tarjosi ilmoituksensa mukaan luotettavaa ter-

veys- ja hyvinvointitietoa (THL 2018b.) THL:n Tieto- ja viestintäteknologian käyttö ter-

veydenhuollossa 2017 -raportissa (THL 2018) ei otettu kantaa siihen, millaisella tekni-

sellä ratkaisulla ”kysymys - vastaus” -palvelut olivat www-sivuilla toteutettu. Ainut pois-

sulkukriteeri oli, joka raportissa mainittiin, etteivät puhelinpalvelut olleet luvuissa mu-

kana. Chat-, tsät -tai chatbot -termiä ei julkaisussa ollut määriteltynä erikseen tai sitä,

oliko palvelu ollut reaaliaikaista sähköistä asiointia verkossa.

Tietojärjestelmien käytettävyyttä tarkasteltaessa sosiotekninen lähestymistapa on tie-

teessä noussut vastaamaan ymmärrettävyyshaasteeseen, joka ilmenee monimutkaisessa

vaikutussuhteessa teknisen järjestelmän ja ihmisen välillä. Usein räätälöidysti suunnitel-

lut tietojärjestelmäkokonaisuudet, saattavat valmistuttuaan lopulta vaikuttaa suunnitteli-

joistaankin käsittämättömiltä ja toimimattomilta. Toisaalta taas odottamattomat yhteydet

ihmisten ja kohteiden välillä ovat tuottaneet myös loistavia yllättäviä kokonaisuuksia,

mutta useimmiten ennakoimattomat tulokset muodostuvat ongelmaksi. Odottamattomat

24

virheet, kuten järjestelmien kaatuminen käyttöönoton jälkeen, aiheuttavat yleensä lisä-

kustannuksia ja lamaannuttavat järjestelmän käytön alkumetreillä. Ongelmat voivat joh-

tua teknologian käytöstä tai väärinkäytöstä, mutta taustalla on kuitenkin suora yhteys sii-

hen, miten suunnittelija on olettanut tietojärjestelmän toimivan. (Coiera 2006.) Viestintä-

teknologia on kehittynyt viime vuosina terveydenhuollossa, mutta jokainen IT-interven-

tio saattaa tuottaa jonkin odottamattoman tapahtuman, joilla saattaa on negatiivistä vai-

kutusta potilaiden hoitoon (Coiera 2006).

Viime aikoina julkisessa keskustelussa on nostettu esille myös kansalaisten keskuudessa

esiintyvä ”digitaalisen vieraantumisen” -ilmiö. Tällä tarkoitetaan tilannetta, jossa kehitet-

tävät terveyspalvelut ja uudet sähköiset sovellukset kansalaisille on suunniteltu vain pa-

rempiosaisille kansalaisille teknologia- ja lakiohjaukseen perustuen. Todellisuudessa tie-

toon, olemassa olevaan dataan pohjautuvaa sekä käyttäjälähtöistä tutkimusta ei ole tehty.

Yleisesti ottaen sähköisten palvelujen saatavuus ja saavutettavuus tulisi voida turvata

myös niille, joilla ei ole samoja taloudellisia mahdollisuuksia hankkia uusimpia digitaa-

lisia älylaitteita taloudellisista syistä kuin parempi tuloisilla. (Voutilainen 2018, 920.)

Tämä tulee huomioida myös suunniteltaessa kansalaisille tarjottavien chat -palvelujen

www -sivustoja, että ne toimivat myös vanhemmilla Internet selaimilla ja yleisimmillä

älylaitteilla, jotka ovat saattaneet olla markkinoilla jo pidemmän aikaa. Samoin sähköiset

palvelut pitäisi olla käytettävissä erilaisilla aistivammaisten tai senioreiden käyttöön

suunnatuilla helppokäyttöisillä älylaitteilla.

Tarkasteltaessa lähemmin chatbotin käyttäjän toimintaa on pystyttävä käyttämään chat-

botin käyttöliittymää ilman erillistä ohjausta ja luottamaan sen kautta saamansa informaa-

tioon. Epäonnistuneita kokemuksia sovellusten käyttöönottoista on lukuisia ja silloin

taustalla on usein syynä, että järjestelmän suunnittelu on epäonnistunut tai suunnitteli-

joilla ei ole ollut suunnitteluvaiheessa selkeää käsitystä siitä, mitä käyttäjä tarvitsee. Tästä

syystä tietojärjestelmätutkimusta tulee suorittaa samanaikaisesti kehittämisprojektin ai-

kana, jolloin arviointiprosessi on jatkuvaa. Tietoa kerätään ennen ja jälkeen käyttöönoton.

Toisaalta tiedon keruu voi tapahtua sekä laadullisesti että määrällisesti. Oleellista on kui-

tenkin tutkimuksen keinoin selvittää, miten tietojärjestelmään tai sovellukseen tehtävät

muutokset ja kehittämistoimet vaikuttavat tietojärjestelmän käytettävyyteen. (Li 2010.)

Tämän tutkimuksen yhtenä tavoitteena on tunnistaa niitä PSOP -chatbotin käyttöönotossa

25

ilmentyneitä puutteita, joita seuraavien käyttöönottojen yhteydessä olisi syytä ratkaista

toisin.

Toistaiseksi viestintäteknologia ei ole optionaalinen lisä terveyspalveluissa vaan tulisikin

kehittää järjestelmien käytettävyyttä seuraavien vuosikymmenten aikana. Tällöin voitai-

siin lisätä teknologian vaikuttavuutta tilanteessa, jossa työvoima vähentyy, väestö ikään-

tyy ja työkuorma lisääntyy. Ei ole selvää, minkä tyyppistä järjestelmää tarvitaan eniten,

mutta sen tulisi sisältää automaattisesti toimivia osioita kuten, tiedonhallinta ja edistää

vuorovaikutuksellista viestintää terveydenhuollon työntekijöiden keskuudessa. Tervey-

denhuollon työntekijät eivät ole kyvykkäitä lukemaan kaikkea saatavilla olevaa ammat-

tikirjallisuutta tai käsittelemään kasvavaa biolääketieteellistä kirjallisuutta tai aineistoa

sellaisenaan. Mutta, jos yhdistetään erityisasiantuntijoiden tietoutta tai käytetään älyk-

käitä tiedonhallintajärjestelmiä ja tuotetaan synteesi, jolla luodaan tietovarannon perusta

sekä keinot olemassa olevan informaation, tietämyksen hallintaan, niin ammattilaisten

kuin kansalaistenkin käyttöön. Tiedon hyötykäyttö paranee, kun useampi toiminto ja tie-

totaito-osatekijä mallinnetaan terveydenhuollossa ja niistä tunnistetaan yhdenmukaiset

elementit. (Coiera 2006.)

26

3. TUTKIMUKSEN TARKOITUS JA TAVOITE

Tämän tutkimuksen tarkoitus on kuvata interventiot, joita tarvitaan chatbotin tietokannan

laajentamiseksi ja vastaustarkkuuden parantamiseksi sekä tuottaa niistä teoreettinen

malli. Kuvata, mitä asioita, millaisia eri prosessivaiheita, olisi hyvä huomioida chatbotin

tietokannan rakentamisen yhteydessä ja käyttöönoton jälkeen ylläpitoon siirryttäessä.

Tämän tutkimuksen tavoitteena on lisätä ymmärrystä kahden kuukauden käyttökokemuk-

sen perusteella siitä, miten PSOP -chatbotin vastaustarkkuus ja asiakkaalle tarjottu infor-

maation laatu muuttuvat ja saada tietoa luonnollista kieltä tulkitsevien chatbottien ope-

tusinterventioiden parantamiseen. Lähtökohtana on, että botin vastaustarkkuuden ja osaa-

misen tulee kehittyä käyttöönoton ja pilottivaiheen aikana projektiryhmän suorittamien

interventioiden myötä.

Tutkimuksella etsitään vastauksia seuraaviin kysymyksiin:

1. Miten chatbotin vastaustarkkuus muuttui käyttöönoton ja kaksi kuukautta käyt-

töönoton jälkeen välillä?

2. Millaista informaation ja neuvontapalvelun laatu oli kaksi kuukautta käyttöönoton

jälkeen?

3. Millaisilla interventioilla chatbotin vastaamisosaamiseen vaikutettiin käyttöönot-

toa seuranneiden kahden kuukauden aikana?

27

4 TUTKIMUSAINEISTON HANKINTA JA KÄYTETYT MENETELMÄT

4.1. Sosiaali- ja terveydenhuollon tiedonhallinnan paradigma

Sosiaali- ja terveydenhuollon tiedonhallinnan paradigma tarjoaa teoreettisen viitekehyk-

sen tieteenalalla tehtävälle kehittämiselle ja opetustoiminnalle. Samalla tiedonhallinnan

tutkimusta ohjataan kehittämisen näkökulmasta oleellisille alueille paradigman tuke-

mana. Tutkimuksen kohteena ovat tiedonhallinnan prosesseista nouseva käytännönlähei-

nen informaatio ja havaittujen ilmiöiden merkitykset. Eri tieteenalojen kysymyksenaset-

telua, menetelmiä ja teoreettisia lähtökohtia voidaan hyödyntää tiedonhallinnan tutki-

muksessa, kun tarkastellaan tiedonhallinnan tutkimusongelmaa tai sen osa-alueita. Tutki-

mukseen tiedonhallinnan tieteenalalla käytetään hyväksi niin määrällisiä kuin laadullisia-

kin menetelmiä. (Kuusisto-Niemi & Saranto 2009.)

Tiedonhallinnan tiedeperusta on systeemiteoriassa. Lisäksi se on saanut vaikutteita rin-

nakkaistieteenaloista, kuten tietojenkäsittely- ja tietojärjestelmätieteet ja -informaatiotie-

teestä sekä muutos- ja innovaatioteorista. Oleellista tiedonhallinnalle on sen substanssi-

lähtöisyys, jolloin se voidaan lukea yhteiskuntatieteisiin. Muita lähitieteitä ovat terveys-

tieteet, sosiologia, sosiaali- ja hallintotieteet sekä informaatiotieteet. Tutkimustoimintaan

ovat vaikuttaneet myös filosofia, tulevaisuuden tutkimus, taloustieteet ja luonnontieteet.

Tutkimusmetodeihin kuuluvat arviointitutkimus, kehittävätyön tutkimus ja ihmisen sekä

koneen vuorovaikutusta tutkiva tutkimusote. Siten sosiaali- ja terveydenhuollon tiedon-

hallinta on monitieteellinen kokonaisuus, jossa hyödynnetään erilaisia tiedonkeruun ja

analysoinnin menetelmiä. Aineistolähtöisen sisällönanalyysin ja tilastomatemaattisten

menetelmien avulla kerättyä aineistoa voidaan käsitellä ja tuottaa uutta tietoa tutkittavasta

aiheesta. (Kuusisto-Niemi & Saranto 2009, Kuusisto-Niemi 2016.)

Sosiaali- ja terveydenhuollon tiedonhallinnan paradigma on kuvattu kuviossa 5. Se pe-

rustuu neljälle entiteetille eli näkökulmalle, joiden avulla voidaan lähestyä tiedonhallintaa

eri suunnista. Nämä neljä näkökulmaa ovat: tieto, toiminta, menetelmät ja toimijat. Tie-

dolla tarkoitetaan tiedon arvoketjua. Siinä pelkistetystä tietojärjestelmästä poimitusta da-

tasta käsittelyprosessien jälkeen saadaan ensin informaatiota ja päätyen lopulta viisauteen

eli tietoon. Toiminnalla tarkoitetaan palvelujen suunnittelua, toteutusta, käyttöä ja arvi-

ointia. Menetelmillä tarkoitetaan niitä teknisiä ja sosiaalisia toimintatapoja, joita tarvitaan

28

tuotettujen tietojen käsittelyyn, tallentamiseen ja välittämiseen. Toimijoilla tarkoitetaan

henkilöitä tai yhteisöjä, jotka käyttävät sosiaali- ja terveydenhuollon palveluja. (Kuusisto-

Niemi 2016; Kuusisto-Niemi &Saranto 2009.)

Kuusisto-Niemi (2016) esittää, että paradigman avulla voidaan perehtyä tiedonhallinnan

tutkimuksen teoreettisiin ja metodologisiin lähtökohtiin. Tällöin sen avulla voidaan tun-

nistaa mahdollisia tutkimuskohteita sekä analysoida edelleen jo aiemmin tehtyä tutki-

musta. Tutkimuskohteita voidaan tunnistaa tiedonhallinnan entiteettien muodostamien

yhdistelmien näkökulmasta. Sosiaali- ja terveydenhuollon tiedonhallinnan tutkimuskoh-

teita ovat: 1) Toimintaprosessien tiedonhallinnan organisointi ja ohjaus, 2) Tieto- ja vies-

tintätekniikan käyttö, 3) Tiedonhallinnan osaaminen ja tiedolla johtaminen sekä 4) Tieto-

sisällöt ja tietoperusta. Ensimmäiseen tutkimuskohteiden osa-alueeseen kuuluvat toimin-

taprosessien mallinnus, toimintaprosessien arviointi ja tiedon tarve toimintaprosesseissa.

Toiseen osa-alueeseen kuuluvat tietojärjestelmien kehittäminen, käyttöönoton arviointi,

sähköinen asiointi, käytettävyys ja tietoturvallisuus. Kolmanteen osa-alueeseen kuuluvat

koulutuksen järjestäminen, osaamisen kehittäminen ja henkilöstön tietotekniset valmiu-

det. Neljänteen osa-alueeseen kuuluvat tietovarastojen tutkiminen, tietosisällöt, rakentei-

nen kirjaaminen, terminologia, standardointi sekä tiedon jäsennys. Arvoilla ja asenteilla

KUVIO 5. Sosiaali- ja terveydenhuollon tiedonhallinnan paradigma. (Saranto & Kuu-

sisto-Niemi 2012)

29

tarkoitetaan toimijoiden ja toiminnan välisen suhteen vaikutusta siihen tietoon, joka on

olemassa tiedonhallinnasta ja tietojärjestelmien käytettävyydestä, hyväksyttävyydestä

sekä merkityksestä toiminnalle. (Saranto & Kuusisto-Niemi 2016.)

Tässä tutkimuksessa tarkastellaan PSOP -chatbotin käyttöönotto- ja kouluttamisprosessia

tieto- ja viestintätekniikan käyttöä sähköisen asioinnin interventiona, jolloin se sijoittuu

paradigmassa Toiminta- ja Menetelmät -entiteettisen välille. (Kuusisto-Niemi & Saranto

2009). Koska kyseessä on uudenlaisen sähköisen palvelukanavan käyttöönotto, niin tut-

kimuksen lähestymisnäkökulmaan vaikuttaa taustalla DeLone ja McLean (2002) Tieto-

järjestelmän onnistumismalli. Se tarjoaa näkökulman, jossa voidaan tarkastella chatbottia

järjestelmän laadun ja informaation laadun näkökulmasta.

4.2. Tapaustutkimus ja matriisi -metodi

Pertti ja Annikki Järvinen (2011) ovat kuvanneet yhdeksi tapaustutkimuksen näkökul-

maksi tapausten vertailun. Tällöin pyritään laatimaan selitys ensin yhdelle tapaukselle ja

sen jälkeen toistamaan se toiselle prosessille tai joukolle tapauksia. Vertailun avulla hae-

taan ymmärrystä sille, mitkä tietyt ehdot ovat tarkastelluissa tapauksissa voimassa tai ei-

vät ole. Tämän perusteella tutkija voi laatia tulkinnan tapaukselle. (Järvinen & Järvinen

2011,58.)

Tapaustutkimuksen avulla saadaan tietoa kysymyksiin: mitä-, miksi-, miten ja millainen.

Tutkimusprosessin aikana tutkija ei kontrolloi tapahtumaa, vaan keskittyy tarkkailemaan

tutkittavaa ilmiötä ja sen liittymäkohtia todellisuuteen. (Vilkka, Saarela & Eskola 2018,

192-193). Tapaustutkimuksessa oletetaan tutkijan noudattavan tieteellisen tutkimuksen

sääntöjä. Vertailevassa tapaustutkimuksessa lähdetään ajatuksesta, että tapausten vertai-

lun tueksi laaditaan taulukko tai matriisi. Tämän metodin avulla muodostetaan käsiteluo-

kat ensimmäisen tapauksen perusteella. Tämän jälkeen verrataan muiden tapausten käsi-

teluokitteluja ensimmäiseen ja pyritään löytämään yhtäläisyyksiä (Järvinen & Järvinen

2011, 58; Vilkka ym. 2018). Toisaalta tapaustutkimuksessa saatetaan usein yhdistellä eri

menetelmiä ja eri lähteistä kerättyjä aineistoja. Ne voivat olla tutkijan laatimia muistiin-

panoja tekemistään havainnoista, haastattelutallenteet sekä erilaiset tutkittavaan tapauk-

seen liittyvät asiakirjat. (Hirsjärvi, Remes & Sajavaara 2008, 187.)

30

Tässä tapaustutkimuksessa tutkija testasi kysymysmatriisin avulla chatbotin tarjoamaa

järjestelmä- sekä informaation laatua DeLonen ja McLean (2003) kuvaamalla sitä Tieto-

järjestelmän onnistumismallin avulla. Chatbotille tehtiin kahdessa eri vaiheessa samat ky-

symykset (liite 1a) ja seurattiin taulukkomatriisin avulla, miten tarkasti chatbot pystyy

vastaamaan sille esitettyihin kysymyksiin eri kysymyskerroilla. Matriisi toimi samalla

tapaustutkimuksen taulukkometodina, jolla tuotettiin taulukko kuvaamaan asioiden esiin-

tymistiheyttä käyttöönoton yhteydessä ja, onko muutosta tapahtunut kahden kuukauden

käytön aikana (Järvinen & Järvinen 2011).

Kysymysten toistettavuudella saadaan kerättyä vertailutietoa chatbotin opettamisproses-

sin etenemisestä, jotta voidaan arvioida uuden innovaation realisaatiota. Tällä mitattiin

muutosta chatbotin tarjoaman informaation laadussa vastata sille esitettyihin kysymyk-

siin aina tarkemmin ja paremmin. Raportoinnissa tarkasteltiin muutosta myös informaa-

tion laadussa tarkastelemalla chatbotin tallentamaa lokitietoa tilanteista, joissa se ei ole

pystynyt vastaamaan kansalaisen sille asettamiin kysymyksiin tai tilanteissa, joissa botti

oli vastannut väärin esitettyyn kysymykseen. (Kurunmäki 2007, 75.)

Lisäksi tutkija on kuvannut mahdollisimman tarkalla tasolla ja reaalisesti ne interventiot,

joita projektiryhmä toteutti 2kk aikana informaation laadun parantamiseksi sekä arvioi

niiden vaikuttavuutta palvelun laatuun. Tutkijalla ei ollut roolia projektiryhmässä chat-

botin tietokannan sisällöntuottajana, mutta hänellä on työtehtäviensä puolesta mahdolli-

suus seurata projektin etenemistä sekä lupa käyttää projektissa tuotettuja muistiinpanoja

ja aineistoja tämän tutkimuksen aineiston keruussa. (Hirsjärvi ym. 2008, 255.)

PSOP -chatbotin käyttöönoton projektiryhmä asetti käyttöönottovaiheessa marraskuussa

2018 tavoitteeksi 10 % vastaustarkkuuden. Projektin päättyessä lokakuussa 2019 vastaus-

tarkkuuden pitäisi olla jo 80 %. Projektisuunnitelman mukaan PSOP -chatbotin tietokan-

taa täydennetään ja avainsanoihin perustuvaa vastaustarkkuutta seurataan projektiryhmän

toimesta viikoittain koko pilottijakson ajan, joka kestää joulukuusta 2018 aina syyskuun

loppuun 2019.

31

4.3. Tutkimusympäristön kuvaus

Helsingin kaupungin sosiaali- ja terveyspalvelujen internetin www-sivustoilla on useam-

malle palvelulle avattu ”usein kysytyt kysymykset” -palsta, joille on viety mallivastauksia

helpottamaan asiakkaiden tiedon tarvetta kyseisestä palvelusta. Internetissä tieto on kaik-

kien kansalaisten ulottuvilla 24/7, mutta toisaalta vaatii sivulla vierailevalta kärsivälli-

syyttä etsiä vastausta häntä askarruttavaan kysymykseen. Helsingin kaupungin Palvelu-

setelien www -sivustolla internetissä on ollut asiakkaille tarjolla yleistietoa asiakkaille

sekä palvelujen tarjoajille sekä kaupungin yleinen neuvontanumero, mutta ei erikseen

koottuna tietopankkia ”usein kysytyt -kysymykset”, kansalaisten keskustelupalstaa tai re-

aaliaikaista chat -palvelua. (Helsingin kaupunki 2018a.)

Reaaliaikaista chat -neuvontapalvelua tarjotaan Helsingin Sosiaali- ja terveystoimialalla

useammassa eri palvelussa, kuten Asumisneuvonnassa, Neuvolassa, Seniori-infossa, So-

siaalineuvonnassa ja Suunterveydenhuollossa. Chatin välityksellä annettavaa palvelua

tarjotaan helsinkiläisille arkisin palvelukohtaisten chattien lisäksi Helsingin kaupungin

keskitetyssä sote -virkaneuvontapisteessä yleisiin palveluja koskeviin kysymyksiin sekä

maahanmuuttoasioihin. Reaaliaikaisella chatillä tarkoitetaan asiakkaan ja ihmisasiakas-

palvelijan välistä vuorovaikutteistakeskustelua sähköisessä ympäristössä. Sosiaali- ja ter-

veystoimialan chat -palveluissa kansalaisen on mahdollista tunnistautua, jolloin palvelun

saatavuus ja esteettömyys ovat selkeästi parantuneet. Tunnisteelliset chat -palvelut ovat

rakennettu sosiaali- ja terveystoimialalla siten, että asiakaspalvelija voi halutessaan pyy-

tää kansalaista tunnistautumaan kesken chat -istunnon väestörekisterikeskuksen Suomi.fi

-tunnistautumispalvelun kautta. Chat -keskustelut ovat aina kahdenkeskisiä ja kontaktin

päätyttyä siitä ei jää chat -järjestelmään muita tietoja kuin alku- ja lopetusajankohta sekä

kontaktin hoitaneen asiakaspalvelijan tiedot. Tunnistautuneista asiakas- ja potilaskontak-

teista tehdään kuitenkin tarvittavat merkinnät kyseisen palvelun käyttämään asiakas- tai

potilasjärjestelmään aivan, kuten hoitopuhelukontakteistakin tehdään noudattamalla kir-

jaamisessa THL:n Hilmo -ohjeistusta. (Helsingin kaupunki 2019d; THL 2018a.)

Yleisesti ottaen ne www -sivustot, joille on sijoitettu chat -kuvake, tarjoavat kansalaisille

mahdollisuuden esittää kysymyksensä suoraan asiakaspalvelijalle reaaliaikaisesti. Chat -

32

palvelu poikkeaa perinteisistä internet -sivustojen keskustelupalstoista ja blogikeskuste-

luista siinä, että keskustelijoina reaaliaikaisessa chatissä eivät ole vertaistukea hakevat

kansalaiset keskenään vaan kansalaisen keskustelukumppanina on koulutettu sosiaali- tai

terveydenhuollon ammattilainen. (Digiapuri 2018; Kotisivukone 2018.) Lisäksi chat -

keskustelut kansalaisen ja ammattilaisen välillä ovat kahden keskisiä ja vahvasti salattuja,

kun taas keskustelu- ja blogialustojen keskustelut ovat kaikkien www-sivuston käyttäjien

nähtävissä.

Palveluseteli- ja Ostopalvelutoimintaa hallinnoi Helsingin Sosiaali- ja terveystoimialalla

Hankintapalvelut -yksikkö. Kesällä 2018 lähdettiin etsimään ratkaisua, miten tehostaa

asiakas- ja palvelutuottajaneuvontaa palvelusetelien käyttämisessä, koska tähän asti mi-

tään keskitettyä neuvontapalvelua ei ole ollut tarjolla. Helsingin Sosiaali- ja terveystoi-

mialan tietohallintopalvelut ehdottivat ja selvittivät mahdollisuuden chatbotin käyttöön-

otolle. Perustettiin projektiryhmä, jonka tehtävänä oli suunnitella ja toteuttaa PSOP -

chatbotin käyttöönotto marraskuun loppuun 2018 mennessä. Varsinainen PSOP -chatbo-

tin koekäyttö kestää lokakuun 2019 alkuun. Käyttöönotosta saatavan kokemuksen perus-

teella chatbotteja otettaneen käyttöön muissakin Sosiaali- ja terveystoimialan palveluissa.

Helsingin kaupungin myöntämistä sosiaali- ja terveydenhuollon palveluseteleistä suurin

osa on suunterveydenhuollon palveluiden palveluseteleitä (Helsingin kaupunki 2017f).

Tästä näkökulmasta katsottuna chatbotin tietokannan rakentaminen on mielekästä aloittaa

juuri suunterveydenhuollon palvelusetelien asiakaskunnan neuvontapalveluiden tehosta-

misesta, vaikka jatkossa tietokantaa tultaneen laajentamaan myös muiden palveluiden

palveluseteleille. Helsingin kaupunki myönsi palveluseteleitä 16 eri palveluun vuonna

2018 (Helsingin kaupunki 2018a). Vuonna 2019 toukokuuhun mennessä Helsingin kau-

pungin myöntämien palvelusetelien määrä on noussut 21 erilaiseen seteliin (Helsingin

kaupunki 2019b).

Kesällä 2018 projektiryhmään kuuluneet Hankintapalveluiden edustajat tuottivat tausta-

aineistoa chatbotin tietokantaa varten: ”usein kysyttyjä kysymyksiä” ja niihin mallivas-

taukset (20 paria). Tämän jälkeen projektiryhmän tukena toimivat suunterveydenhuollon

ammattilaiset aloittivat määrittelemään oman toimialansa ”usein kysytyt kysymykset” ja

niihin sopivat vastaukset -pareja syys-marraskuun aikana. Niitä muodostui yhteensä noin

33

80 paria. Tähän materiaaliin yhdistettiin botin tarvitsemat vastauksen laukaisijatunnisteet

eli avainsanat ja niiden alkumuodot, joita toiminnan edustajat Suun terveydenhuollosta

sekä Hankintapalveluista olivat laatimassa. Kysymysmatriisiin perusrunko perustui tähän

aineistoon ja siitä laadittiin 154 erialista kysymystä tätä tutkimusta varten.

Chatbotin tietokannan perustamisesta ja tietojen tallentamisesta vastasivat Palvelukeskus

Helsingin tekniset järjestelmäasiantuntijat ja palveluntoimittajat. Tutkija ei osallistunut

taustatietojen tuottamiseen eikä tallentamiseen chatbotin tietokantaan. Mutta osallistui

projektiryhmän kokouksiin noin kerran kuukaudessa. Marraskuun eli ensimmäisen kyse-

lyvaiheen tutkimusmatriisiin tutkija lisäsi nelisenkymmentä kysymystä, jotta saataisiin

tietoa myös botin yleisosaamisesta palveluseteleihin liittyen asiakkaan näkökulmasta.

PSOP -chatbot on sijoitettu Helsingin kaupungin Sosiaali- ja terveystoimialan hallinnoi-

malle www -sivustolle siten, että sivusto ei ole ollut löydettävissä suoraan kaupungin in-

ternetsivuston puolelta palveluseteleistä kiinnostuneille kansalaisille. Vain Suuntervey-

denhuollon palvelusetelin myöntämisen yhteydessä potilaita informoidaan www-sivus-

tosta ja botista erillisellä tiedotteella (liite 2), jossa neuvotaan sähköisen palvelusetelin

käytöstä verkossa. Lisäksi suunterveydenhuollon keskitetystä ajanvarauksen reaaliaikai-

sen chatin asiakkaita voidaan ohjata kysymään palveluseteliasioista suoraan botilta lähet-

tämällä bottisivun linkki chat -keskustelussa asiakkaalle. PSOP -chatbotti toimii osoit-

teessa: https://www.hel.fi/static/sote/palveluseteli/chat/asiakas.html (Helsingin kaupunki

2019c; Helsingin kaupunki 2018e). Botti on palvelusetelin saaneiden potilaiden käytettä-

vissä 24/7/365 skaalautuvasti. Jotta asiakkaat tulevat palvelluiksi parhaalla mahdollisella

tavalla, niin botti on ohjelmoitu siten, että botti ohjaa tarvittaessa ihmisasiakaspalvelijalle

keskustelun, jos se ei pysty itse vastaamaan. Tämä mahdollisuus kuitenkin on käytettä-

vissä vain, kun palvelupisteen reaaliaikainen chat on avoinna virka-aikaan. Niissä tilan-

teissa, joissa asiakaspalvelupiste on suljettuna, chatbotti pyytää potilasta ensin muotoile-

maan kysymyksen uudelleen ja, jos se ei vielä tämänkään jälkeen pysty vastaamaan, niin

se ohjaa asiakaan soittamaan neuvontanumeroon tai siirtää keskustelun reaaliaikaiseen

chattiin vapaana olevalle asiakaspalvelijalle chatin ollessa avoinna. (Voutilainen 2018.)

Chatbotin tietokannan kehittämisen taustalla on visio siitä, että puhelinpalvelun sekä re-

aaliaikaisen chat -palvelun osuutta voidaan tulevaisuudessa selkeästi vähentää ja botti

34

osaa vastata asiakkaiden tiedontarpeeseen mahdollisimman laadukkaasti ja luotettavasti.

Puhelinpalvelu sekä reaaliaikainen chat vaativat aina henkilöstöresurssointia ja on sen

vuoksi kustannustehokkuudeltaan heikompia kuin chatbot. Kuviossa 6 on kuvattu esi-

merkki Helsingin kaupungin Sosiaali- ja terveystoimialan chat -palveluiden tietovirroista

nykytoimintaympäristössä. (Linden, Siimeslehto, Raatikainen & Kantsila 2019.)

Chatbotin käyttöönoton (29.11.2018) jälkeen sen opettaminen käynnistyi saadun testaus

ja asiakaspalautteen perusteella. Tämä mahdollistui, kun tarkasteltiin botin keräämää lo-

kia ”ei osaa vastata” tai väärien vastauksien aineistosta syntynyttä dataa. Toiminnan ja

tekniikan vastuuhenkilöt seuraavat tilannetta viikoittain käyttöönoton jälkeen ja infor-

moivat havainnoistaan projektiryhmälle koko pilottivaiheen ajan. Heidän tehtävänään on

etsiä uusia avainsanoja sekä aihepiirejä, joista asiakkaat ovat esittäneet kysymyksiä bo-

tille ja haluavat saada lisää tietoa. (Voutilainen 2018.) Chatbotin ohjelmointi eli koneen

opettaminen, vahvistettu- ja koneoppinen, tapahtuvat tässä prosessissa puhtaasi ihmisälyn

voimin ilman koneen omaa päättelyä oppisen vahvistamiseksi.

KUVIO 6. Esimerkki Helsingin kaupungin Sosiaali- ja terveystoimialan chat- ja chatbot

tietovirroista (Linden, Siimeslehto, Raatikainen & Kantsila 2019).

35

4.4. Tutkimuksen aineiston hankinta

Tämän tutkimuksen aineiston keruu tapahtui kysymysmatriisin sekä projektiryhmän ko-

kousmuistioiden tarkastelun avulla, käytännössä pääsääntöisesti haastattelemalla bottia

lomakehaastattelun avulla (Hirsjärvi ym. 2008, 202-203). Marraskuussa 2018 kysymys-

matriisi koostui 193 testikysymyksestä botille (liite 1a).

Matriisin kysymykset esitettiin chatbotille kolme päivää ennen PSOP -chatbotin julkista

aktivointia marraskuussa 2018. Kolmen päivän varoaika ennen julkistamista tarvittiin,

jotta viime hetken tarkennukset tietokantaan voitiin tehdä ennen palvelun asiakaskäyt-

töönottoa. Lisäksi vapaaehtoiset projektin ulkopuoliset henkilöt testasivat bottia tutkijan

esittämien kysymysten jälkeen ennen botin julkistamista avointa haastattelumetodia mu-

kaillen (Hirsjärvi ym. 2008, 204). Vapaaehtoisille testaajille (n=4) annettiin kuvitteelliset

palvelusetelit, joiden jälkeen he saivat vapaasti edetä ja esittää kysymyksiä botille. Tes-

tauksen aikana kirjattiin merkin tarkkuudella ylös botin kysymyksiin antamat vastaukset

sekä otettiin testin jälkeen listaus chatbotin lokiin kertyneistä vastauksista. Vapaaehtoiset

esittivät botille 32 kysymystä (liite 1b), jotka lisättiin mukaan marraskuun kysymysmat-

riisin avulla kerättyyn aineistoon. Vapaaehtoiset toimivat itsenäisesti ilman, että toiset

vapaaehtoiset testaajat tai projektiryhmän jäsenet olivat läsnä testitilanteessa.

Myös vapaaehtoisten testausvaiheen jälkeen otettiin chatbotista vastausten lokitiedot sekä

avainsanalistat ja ne tallennettiin matriisiin. Tämän jälkeen lopullinen marraskuun testi-

kysymysten määrä botille nousi 225 kysymykseen. Tästä tutkimuksen vaiheesta käyte-

tään tässä raportissa jatkossa käsitettä ”vaihe 1 tai ensimmäinen vaihe”.

Yhdistämällä tutkijan kysymysmatriisin kysymysten vastaukset sekä avointen kysymys-

ten vastaukset saatiin tietämystä siitä, millaista chatbotin tietokantaan tallennettu tieto oli

laadultaan käyttöönottovaiheessa ja vastasiko se kansalaisten tiedontarpeeseen heti pal-

velun julkaisemisesta lähtien. Samoin käytettyjen avainsanojen määrää ja muotoa voitiin

tarkastella, jonka perusteella voidaan suorittaa arviointia käyttöönottotilanteen ja myö-

hemmän mittausten välillä.

36

Kysymysmatriisin kysymykset toistettiin 2kk käyttöönoton jälkeen tutkijan toimesta tam-

mikuun lopussa (30.1.2019). Matriisia oli täydennetty vapaaehtoisten testaajien datasta

muodostetuilla kysymyksillä uusintakyselyn yhteydessä. (Kurunmäki 2007, 86-87.)

Tammikuun eli toiseen kyselyvaiheen matriisissa olevien chatbotille esitettävien kysy-

mysten määrä oli noussut 276 kysymykseen. Tästä tutkimuksen vaiheesta käytetään tässä

raportissa jatkossa käsitettä ”vaihe 2 tai toinen vaihe”.

Muutoksen arvioinnin mahdollistamiseksi vaiheiden 1 ja 2 kyselyvaiheiden välillä, pidet-

tiin kyselyvaiheiden identtiset kysymykset erillään vaiheessa 2 lisätyistä kysymyksistä.

Teknisesti botti toimi ilman käyttökatkoja tai viiveitä huolimatta siitä kysyttiinkö siltä

testikysymyksiä käyttämällä kiinteää tai langatonta internetyhteyttä. Testimatriisin kysy-

mysten esittämiseen ja vastausten tallentamiseen botille meni kyselyvaiheessa 2 kaikki-

aan 5tuntia 20min.

Kyselyn jälkeen vaiheessa 2 tallennettiin vastaavat tiedot kuin ennen käyttöönottoa vai-

heessa 1 kyselymatriisiin. Molemmissa kyselyvaiheissa otettiin erillinen tallenne avain-

sanojen määrästä kyselyn jälkeisenä päivänä ja nämä kohdistettiin matriisissa siihen liit-

tyvään vastaukseen. Tutkimustuloksissa kuvataan chatbotin vastaustarkkuuden muu-

tosta käyttöönottovaiheen ja kaksi kuukautta käyttöönoton jälkeen oikeiden vastausten ja

avainsana osumien kautta. Tutkimukseen kerätyn aineiston analyysi tapahtui kahta eri

aineistolähdettä yhdistämällä: kysymysmatriisin avulla kerätystä aineistosta sekä projek-

tiryhmän muistioista sisällönanalyysin avulla (Hirsjärvi ym. 2008, 216-217.)

4.5. Aineiston analyysi

Matriisiaineiston sisällönanalyysi sisälsi lineaarisesti neljä päävaihetta (Hirsjärvi ym.

2008, 218). Ensiksi tehtiin sisällönanalyysi kyselyn vaiheen mukaan sekä kysymyksittäin.

Sen jälkeen tehtiin niihin liittyvien vastauksien avainsanojen harmonisointi kausaliteet-

tien löytämiseksi. Redundanssianalyysin avulla sisällöstä pystyttiin poistamaan täysin

identtiset avainsanasarjat aineistosta. Toisessa vaiheessa aineisto käsiteltiin vastauksittain

ja niihin liittyvien erilaisten kysymysten tunnistamiseksi. Aineiston harmonisoinnin ja

redundanssin avulla löydettiin ja litteroitiin samalla ne aihealueet, joista botilta oli ky-

sytty, mutta joihin sillä oli jo tai ei vielä ollut osaamista tai vastausaihio oli jollain tavalla

37

puutteellinen tai muokkausta vaativa. (Niiniluoto 1999,169.) Kolmannessa vaiheessa ai-

neistosta laskettiin tunnusluvut muutoksen kuvaamiseksi ja neljännessä vaiheessa saatuja

tuloksia tarkasteltiin DeLonen ja McLeanin ulottuvuuksien kautta. Järjestelmän laadun

yhteydessä mitattiin lisäksi botin vastausten vasteaikoja ja aihepiirien saatavuutta sekä

mukautuvaisuutta tarkasteltiin ajallisesti. (Eräsaari 2007, 158-161.)

Saatavuuden vasteaikojen laskennassa käytettiin otanta-asetelmaa ottamalla satunnais-

otanta aineistosta siten, että jokaisesta botin osaamisaihealueesta valittiin 10 erilaista vas-

tausta. Otannan koko oli yhteensä 30 vastausta, joka edusti yli 10% botille esitetyistä 276

vaiheen 2 kysymyksistä. Otoskoon voidaan katsoa edustavan perusjoukkoa tutkimusai-

neistosta (Hirsjärvi ym. 2008, 175). Otantaan poimittujen vastausten kohdalla tarkastel-

tiin yksittäisen kysymyksen vastauksen ja sen siihen kuuluvan botin antaman jatkovas-

tauksen tai vastauksien vasteaikoja sekä kysymyksen esittämisen ja valmiin vastauksen

välistä vasteaikaa. Informaation laadun yhteydessä botin antamien vastauksien ymmär-

rettävyyttä, asiaan kuuluvuutta ja vakuuttavuutta arvioitiin sekä tarkasteltiin informaation

eheyttä erilaisten avainsanasarja -ryhmien määrää ja vastaustarkkuuden suhdetta. Käyttö

-ulottuvuuden yhteydessä mitattiin toteutuneitten toimintojen määrää arvioimalla oikei-

den ja väärien vastausten suhdetta kokonaiskysymysmääriin. Sisällön analyysin perus-

teella saadut tulokset on kuvattu luvussa 6 Tutkimustulokset.

Sisällönanalyysissä matriisilla kerätyn aineiston analyysiprosessi alkoi siten, että kysy-

mykset teemoitettiin ajallisesti asiakkaan palvelutarpeen mukaan ensin neljään pääluok-

kaan: 1) Ennen palvelua, 2) Palvelun aikana, 3) Palvelun jälkeen ja 4) Muut kysymykset.

Tällä menettelyllä pystyttiin helpottaa aineiston hallittavuutta ja käsittelyä sekä saatiin

tarkasteltua aihepiirien saatavuutta että mukautuvaisuutta. Luokkien sisällönerittelyssä

kysymykset seulottiin kolmeen aliluokkaan niihin annettujen vastausten perusteella: Oi-

kein (vihreä), puutteellinen/ ehkä oikein (keltainen) ja väärin tai ”en ymmärrä” (punai-

nen). Tämän menetelmän avulla tarkasteltiin vastauksien ymmärrettävyyttä, asiaan kuu-

luvuutta ja vakuuttavuutta sekä avainsanaryhmien eheyttä. Tarkempien erojen löytä-

miseksi kysymyksistä lisämuuttujiksi nimettiin vielä kolme määritystä kuvaamaan kysy-

jän näkökulmaa: 1) asiakas, 2) palveluntarjoaja sekä 3) asiakas tai palveluntarjoaja. (Nii-

niluoto 1999, 175-178.)

38

Tämän jälkeen aineisto harmonisoitiin siten, että erilaiset vastaukset koottiin yhteen ja

niistä muodostettiin luokkia, johon botille esitetyt kysymykset kohdentuivat. Luokan si-

sällä kysymykset määriteltiin kuuteen eri alaluokkaan, jotka olivat tulos, muutos, vastaus,

väärin, uusi sekä korjaus. Kun molemmissa kyselyvaiheissa oli saatu kysymykseen sama

vastaus, niin alaluokka oli ”Tulos”. Jos botti ei ollut vaiheessa 1 osannut vastata kysy-

mykseen, mutta vaiheessa 2 osasi, niin alaluokka oli ”Muutos”. Jos botti oli osannut vas-

tata sekä vaiheessa 1, että vaiheessa 2 oikein, mutta vastaukset olivat toisistaan poik-

keavia, niin alaluokka oli ”Vastaus”. Tilanteessa, jossa botti oli osannut vastata vaiheessa

1 oikein, mutta vaiheessa 2 kysymykseen ei, niin alaluokka oli: ”Väärin”. Jos botille esi-

tetty kysymys oli täysin uudesta aihealueesta, johon tietokannassa ei ollut vastausta, niin

kysymyksen alaluokaksi tuli: ”Uusi”. Mikäli kysymykseen olisi ollut jo valmis vastaus

tietokannassa, mutta avain sanoissa oli puutteita, niin kysymyksen alaluokaksi tuli: ”Kor-

jaus”. Tämän jälkeen kaikki kysymykset teemoitettiin aihepiireittäin, joita aineistosta

nousi kaikkiaan 18 erilaista. (Niiniluoto 1999, 178-180.)

Tunnuslukujen laskemisen avulla saatiin mittaustuloksia ja tarkasteltua toteutuneitten toi-

mintojen määrää. Sisällönanalyysiä että määrittelyjä tehdessään tutkijan omasta tervey-

denhuollon taustakoulutuksesta sekä yli 20 vuoden työkokemuksesta sosiaali- ja tervey-

denhuollon alalla oli hyötyä, jotta aineiston analyysin yhteydessä pystytiin arvioimaan

botin antaman vastauksen kohdentumista sille esitettyihin kysymyksiin. Projektiryhmän

muistioista huomioitiin ja kerättiin tietokannan laadun parantamiseen kohdistuneet inter-

ventiot. Aineistosta haettiin vastauksia tutkimuskysymyksiin kuvaamalla ja luokittele-

malla kokousmuistioista raporttiin projektiryhmän tekemät interventiot käyttöönottoa

seuranneiden 2kk aikana. (Kurunmäki 2007, 88-89; Hirsjärvi ym. 2008, 162.)

Tutkijan tehtävänä oli kuvata mahdollisimman tarkalla tasolla, miten aineiston sisällön-

kehittäjäryhmä toimi ja tuotti mahdollisesti uusia avainsanoja botille sekä laajensi botin

tietokantaa sen mukaan, millaisia kysymyksiä käyttäjät ovat sille esittäneet. Tilanteeseen

vaikuttaneet tekijät raportoitiin tarkasti ja arvioitiin mahdolliset kehittämisehdotukset bo-

tin opettamisprosessin mallintamiseksi.

39

6 TULOKSET

6.1. Chatbotin haastattelukertojen perusteella saadut tutkimustulokset

Tässä luvussa kuvataan tämän tutkimuksen olennaiset tulokset. Tulokset on esitelty tä-

män tutkimuksen tutkimuskysymysten mukaisessa järjestyksessä. Aineiston keruu tapah-

tui tutkimusmatriisiin avulla kahdessa eri vaiheessa 3 päivää ennen käyttöönottoa (vaihe

1) ja kaksi kuukautta käyttöönoton jälkeen (vaihe 2). Tämän jälkeen bottihaastatteluissa

saatu aineisto analysoitiin sisällönanalyysin avulla ja siitä saatuja tuloksia on peilattu De-

Lonen ja McLeanin Tietojärjestelmän onnistumismallista nostettujen ulottuvuuksien

kautta; saatavuus, vakuuttavuus, eheys, mukautuvaisuus, ymmärrettävyys ja asiaan kuu-

luvuus.

Chatbotille esitettyjä kysymyksiä ei ollut teemoitettu edeltävästi tutkimusmatriisiin ennen

kumpaakaan kyselyvaihetta. Tutkimusmatriisin kysymykset koottiin kolmea eri kanavaa

pitkin ensimmäisessä vaiheessa: 1) Ennen PSOP -chatbotin käyttöönottoa Hankintapal-

veluiden sähköposteista keräämät ”usein kysytyt kysymykset” palvelusetelistä, 2) Suun-

terveydenhuollon palvelusetelivastaavien botin tietokantaa varten koostamat mallikysy-

mykset ja vastaukset sekä 3) tutkijan että vapaaehtoisten testaajien esittämät kysymykset

botille.

Vaiheessa 1 matriisissa kysymyksiä oli kaikkiaan 225 kysymystä. Tältä pohjalta tutkija

lisäsi (liite 1c) tutkimuskysymysten määrää vaiheessa 2, jotta voitaisiin paremmin tarkas-

tella botin kehittymiskykyä sekä sitä, miten hyvin se pystyy mukautumaan ja vastaamaan

kysymyksiin samasta aiheeseen, useammalla eri tavalla kysyttynä samaa asiaa. Toisessa

vaiheessa kysymysten lukumäärä oli matriisissa 276. Aineiston harmonisoinnin ja redu-

dantisoinnin jälkeen kysymysten määrä vakioitui 235 kysymykseen. Teemoja muodostui

yhteensä 18, jotka sisälsivät erilaisia vastauksia yhteensä 62. Näihin liitettyjä avainsano-

jen yhdistelmiä oli yhteensä 69.

Botille esitettyjen kysymysten vastausten keskimääräinen vasteaika oli laskettu siten, että

botti oli antanut vastauksensa tai vastaustensa sarjan ja lopulta pyysi käyttäjää valitse-

maan seuraavan toiminnon. Kooste otoksen vastausten vasteajoista on kuvattu kuviossa

7.

40

Keskimääräinen vasteaika oli 7 sekunnin kymmenesosaa. Botin antamat vastukset vaih-

telivat yhden vastaussarjan vastauksesta aina kolmen tai neljän jatkovastauksen sarjoihin.

Yhden vastauksen sarjat olivat 3 sekunnin kymmenyksen luokkaa ja pidemmät kolmen

tai neljän jatkovastauksen sarjat olivat kestoltaan 12-15 sekunnin kymmenesosaa. Vas-

teajat laskettiin 30 kysymyksen vastauksen perusteella, jolloin otoksen koko edusti enem-

män kuin 10% koko tutkimusaineistosta. Vasteajat poimittiin chatbotin www -sivuston

keskusteluruudusta samalla kuin haastattelu aineistoa tallennettiin matriisiin.

6.2. PSOP -chatbotin vastaustarkkuuden muutos

Kuviossa 8 on kuvattuna kahden kuukauden aikana tapahtunut muutos botin osaamisessa

vastausten ymmärrettävyyden tarkastelun perusteella. Vaiheessa 1 kysymyksiä botille oli

yhteensä 225 (178 matriisista ja 47 vapaaehtoisten esittämiä). Havaittu muutos botin

KUVIO 7. Botin antamien vastausten saatavuus vasteaikoina

0

2

4

6

8

10

12

14

16

Oikein Ehkä Väärin Keskiarvo

Jatkovastaus 1 3 0 3 0 3 3 3 3 6 6 3 3 3 3 6 3 3 3 3 3 0 0 6 6 3 3 6 6 3 3 3,

Jatkovastaus 2 3 3 0 3 0 3

Jatkovastaus 3 3 0 6 3 4

Jatkovastaus 4 3 3

Loppulause 3 3 3 3 3 3 3 6 3 3 3 6 3 0 3 3 3 3 6 3 3 6 3 3,

Vastaus -loppulause 12 0 6 3 9 6 3 6 9 9 12 3 6 15 9 3 6 6 9 6 0 3 9 9 6 9 9 9 9 6 7

Vas

tau

saik

a se

kun

nin

kym

men

yksi

ä

Vastausajat kysymyksestä jatkovastauksittain

SAATAVUUS

Jatkovastaus 1 Jatkovastaus 2 Jatkovastaus 3 Jatkovastaus 4 Loppulause Vastaus -loppulause

41

osaamisessa oli oikeiden vastausten lisääntymisenä (n=6), joka tarkoittaa 2,7% vastaus-

tarkkuuden parantumista kahden kuukauden aikana, kun kohdejoukkona on identtiset ky-

symykset vaiheessa 1 ja vaiheessa 2. Muutosta ei luonnollisestikaan voitu arvioida tam-

mikuussa lisättyjen 51 yhden kysymyksen osalta. Vaiheessa 2 matriisissa oli yhteensä

276 kysymystä.

Tietokantaan tallennettujen vastausten avainsanojen harmonisoinnin ja redundanssivai-

heessa etsittiin samankaltaisia avainsanasarjoja, jotka antoivat eri vastauksen. Vaiheen 1

kyselyaineistosta nousi esille erityisesti taulukossa 2a esitetyt kaksi vastausta, joissa al-

kuosa on identtinen, mutta toinen vastaus on pidempi kuin toinen. Lähemmin tarkastel-

tuna vastauksiin liitetyt avainsanasarjat viittaavat vain identtiseen osaan.

Taulukossa 2a on kuvattu esimerkki vaiheen 1 kyselyssä esiinnousseesta poikkeamasta;

samat avainsanat, mutta eri vastaus. Kursiivilla oleva teksti tarkoittaa, että vastaus on

sisällönanalyysin yhteydessä todettu ”ehkä” vastaavan botille esitettyyn kysymykseen.

Vahvennetulla (boldattu) merkitty teksti kertoo oikein menneestä botin vastauksesta esi-

tettyyn kysymykseen.

KUVIO 8. Botin osaamisen muutos ensimmäisen ja toisen vaiheen kyselyissä

Oikein Ehkä Väärin Yhteensä Oikein Ehkä Väärin Yhteensä

Vaihe 1 Vaihe 2

Identtiset 73 21 131 225 79 21 125 225

Lisäyksen jälkeen 82 25 169 276

Muutos 6 0 -6 51

-50

0

50

100

150

200

250

300

Kys

ymys

ten

luku

mää

rä

Kysymyksiin botilta saatujen vastausten jaottelu kolmeen eri pääluokkaan

Kysymysmatriisin kysymykset

Identtiset Lisäyksen jälkeen Muutos Lin. (Identtiset)

42

Samat avainsanat kuin taulukossa 2a esitetyt tuottivat kyselyvaiheessa 2 taas hieman

erilaisen vastauksen. Taulukon 2b esimerkki kuvaa tilannetta, miten projektiryhmä oli

muokannut vastausta, johon kyseiset avainsanat ovat kiinnitettyinä.

Vastaus (bold teksti = oikein/ vihreä)

Jos asiakkaan palveluseteliä ei löydy järjestelmästä, varmista

vielä, että palvelusetelin numero on kirjoitettu oikein.

Jos varmasti oikein kirjoitetullakaan palvelusetelinumerolla ei

löydy tietoja, voisi olla parempi koittaa ratkaista asiaa asiakaspal-

velijan kanssa.

palse, seteli*, pal-

veluseteli* AND ei

löyd*, en löydä,

puuttuu, ei tule nä-

kyv*

Botin vastaamisosaamisen kehittymistä kahden kuukauden aikana kuvaa myös se, että

botille alettiin rakentaa ehdollisia ohjelmointilausekkeita tietokantaan. Tällä tarkoitetaan

tilannetta, jossa asiakas päättää botin ehdotuksesta, miten tämä haluaa jatkaa keskustelua.

Taulukoissa 3a ja 3b on kuvattuna esimerkillä vaihtoehtotilanne, jossa valitsemalla sa-

noista ”asiakas” tai ”palveluntuottaja” botti antaa erilaisen jatkovastauksen. Tosin esi-

merkkitapauksen perusteella vain ”asiakas” -vaihtoehdon valinnut käyttäjä sai oikeaksi

tulkittavan vastauksen. ”Palveluntuottaja” -vaihtoehdon kirjoittanut sai toisessa vaiheessa

haastattelussa täysin puutteellisen ”väärän” vastauksen. Merkillepantavaa on, että mo-

lempiin vastauksiin on kuitenkin lokiin kirjautuneet samat avainsanat.

Vastaus (kurssivilla = ehkä/ keltainen ja bold teksti = oikein/ vihreä) Avainsanat

Jos asiakkaan palveluseteliä ei löydy järjestelmästä, varmista vielä, että

palvelusetelin numero on kirjoitettu oikein. Jos varmasti oikein kirjoitetul-

lakaan palvelusetelinumerolla ei löydy tietoja, voisi olla parempi että yh-

distän sinut asiakaspalvelijalle.

palse, seteli*, pal-

veluseteli* AND

ei löyd*, en

löydä, puuttuu, ei

tule näkyv*

Jos asiakkaan palveluseteliä ei löydy järjestelmästä, varmista vielä,

että palvelusetelin numero on kirjoitettu oikein. Jos varmasti oikein

kirjoitetullakaan palvelusetelinumerolla ei löydy tietoja, voisi olla pa-

rempi että yhdistän sinut asiakaspalvelijalle. Jos palvelusetelinumero

oli oikein, eikä edelleenkään löydy järjestelmästä ja haluat että yhdis-

tän sinut asiakaspalveluumme, vastaa "kyllä" tai jos asia ratkesikin

numeron tarkistuksella ja ei tarvitse jatkoselvitystä, vastaa "ei".

palse, seteli*, pal-

veluseteli* AND

ei löyd*, en

löydä, puuttuu, ei

tule näkyv*

TAULUKKO 2b. Esimerkki vaiheen 2 kyselyn tuloksista: vastauksen muokkaus sa-

moilla avainsanoilla kuin vaiheessa 1

TAULUKKO 2a. Esimerkki vaiheen 1 kyselyn tuloksista: vastauspoikkeama samoilla

avainsanoilla

43

Onnistuneen tietojärjestelmän käyttöönottoa voidaan tarkastella DeLone ja McLeanin

(2003) mukaan sen tuottaman tiedon vakuuttavuuden ulottuvuuden perusteella. Tätä on

tarkasteltu vertaamalla botin antamien oikeiden vastausten määrää harmonisoituun ja

redudantisoituun aineistoon. Samoin väärien tai puuttuvien vastauksien määrä ja sen

muutokset olivat tarkastelun kohteena. Kuviossa 9a on kuvattuna molempien vaiheiden

kysymyksiin liitettyjen oikeiden vastausten määrä. Todetaan erotuksen osoittavan (n=17)

3a. Kysyjän valinta vaih-

toehtoiseen kysymykseen:

Asiakas

(vastaus = oikein/ vihreä)

Avainsanat 3b. Kysyjän valinta vaih-

toehtoiseen kysymykseen:

Palveluntuottaja

(vastaus = väärin/ punai-

nen)

Avainsanat

Kysyit laskutukseen liitty-

vistä asioista, valitsetko

vielä oletko asiakas eli po-

tilas (vastaa: asiakas), vai

palveluntuottaja (vastaa:

palveluntuottaja)

asiakas

Jos et ole tyytyväinen

hoidosta saamaasi las-

kuun, sinun tulee aina

ensin keskustella asiasta

palveluntuottajaham-

maslääkärisi kanssa.

Mikäli ette pääse yhteis-

ymmärrykseen palvelun-

tuottajahammaslääkärin

tai –yrityksen kanssa,

voit olla yhteydessä Hel-

singin kaupungin suun

terveydenhuollon keski-

tettyyn ajanvaraukseen:

09-310 51400, ma-to klo

7-18 ja pe klo 7-15.

)

lask*, maks*,

kustan* AND

liikaa, liian

paljon, liian*,

väär*

Kysyit laskutukseen liitty-

vistä asioista, valitsetko

vielä, oletko asiakas eli

potilas (vastaa: asiakas),

vai palveluntuottaja (vas-

taa: palveluntuottaja), jotta

osaan vastata asiaan oike-

alta kantilta.

Palveluntuottaja

Raavin täällä virtuaalista

päätäni hiukan, muotoili-

sitko kysymyksesi vielä

uusiksi niin ehkä osaan

vastata paremmin.

lask*, maks*,

kustan* AND

liikaa, liian

paljon, liian*,

väär*

TAULUKOT 3a ja 3b. Esimerkki ehdollisesta lausekkeesta, jossa käyttäjä valitsee

botin tarjoamista vaihtoehdoista

44

oikeiden vastausten lukumäärän kasvua, näiden kahden mittaushetken välillä. Toiseen

vaiheen tulosten perusteella botin vastaamisosaaminen oli 36% luokkaa.

Kuviossa 9b on kuvattuna molempien vaiheiden kysymyksiin liitettyjen väärien vastaus-

ten määrä. Tulosten perusteella todetaan erotuksen olevan vain kahden vastauksen kasvu

kahden eri mittaushetken välillä. Vaiheessa 2 tulosten perusteella botin osaamattomuus

oli 6,38% tasolla. Tähän tulokseen vaikuttivat oleellisesti ne toimenpiteet, joita vastausten

avainsanasarjoja projektiryhmän toimesta tehtiin vaiheiden 1 ja 2 välillä.

KUVIO 9a. Botin vakuuttavuus arvioituna oikeiden vastauskertojen määrällä vaiheessa 1 ja

vaiheessa 2

KUVIO 9b. Botin vakuuttavuus arvioituna väärien tai puuttuvien vastauskertojen määrällä

vs. kysymysten kokonaismäärä (n=235)

68

85

235

36%

0 20 40 60 80 100 120 140 160 180 200 220 240

Vaihe 1

Vaihe 2

Yhteensä

Toiseen vaiheen osuus kaikista kysymyksistä

Oikeat Vastaus- avainsanatparit

Kah

den

ku

uka

ud

en m

uu

tos

Vakuuttavuus

13

15

235

6,38%

2

0 50 100 150 200 250

Vaihe 1

Vaihe 2

Yhteensä

Vaiheen 2 vastausten osuus kaikista kysymyksistä

Muutos (n)

Väärät vastaus -avainsanaparit

Kah

den

ku

uka

ud

en m

uu

tos

Vakuuttavuus

45

Botin osaamista tarkasteltaessa vastaamistarkkuuden kautta, niin järjestelmän tuottaman

informaation ja neuvontapalvelun laatua tulee pystyä arvioimaan kokonaisuutena. Tämä

on kuvattuna kuviossa 10.

Botin käytettävyyttä arvioitaessa on otettava huomioon aineistosta kaikki oikeat vastauk-

set (true), väärät oikeat vastaukset (false true), tarkistettavat tai korjattavat vastaukset

sekä se kysymysten joukko, johon botilla ei ollut vielä valmiuksia vastata lainkaan. Jotta

botin kautta jaettavan neuvonnan laatua voidaan kehittää jatkossa tulisi projektiryhmän

kiinnittää huomiota väärien oikeiden (false true) vastausten (n=13), tarkistettavien (n=25)

ja niiden kysymysten joukkoon, joihin se ei ole osannut vastata lainkaan (n=156). Näiden

lukujen valossa botti osasi vastata tammikuussa 2019 noin joka kolmanteen sille esitet-

tyyn kysymykseen eli kolmeen kysymykseen kymmenestä kysymyksestä.

0

50

100

150

200

250

300

Kaikkikysymykset

yhteensä

Oikeita Vääriävastauksia

Tarkistettavia Botti ei osannutvastata lainkaan

276

82

1325

156

Kys

ymys

ten

mää

rä

Jakauma, miten botti osasi vastata kysymyksiin tammikuussa 2019

KUVIO 10. Botin kyselyvaiheessa 2 antamien vastauksien jakauma suhteessa kysy-

mysmatriisin kysymyksiin

46

6.3. PSOP -chatbotin informaation ja neuvontapalvelun laatu

Aineiston sisällönanalyysin yhteydessä, laadittaessa aineiston alaluokittelua kuuteen eri

alaluokkaan, suurimpana alaluokkana erottui ”korjaus”. Tähän alaluokkaan sijoitettiin

kaikki ne tutkimusaineiston kysymykset, joihin sisällön analyysin perusteella löytyisi

vastaukset jo tietokannasta, mutta niihin liitettäviä avainsanoja ei ollut tarpeeksi tai ei

ollenkaan, jolloin botti ei osannut vastata lainkaan. Kuviossa 11a on kuvattuna vastausta

vaille jääneet kysymykset molempien kyselyvaiheiden osalta. Tutkijan ehdottamat kysy-

mykset on huomioitu toiseen vaiheen lukujen yhteydessä laskettaessa muutosta vaihe 1

ja vaihe 2 bottihaastatteluihin. Muutos vaiheen 1 ja vaiheen 2 identtisten kysymysten vä-

lillä muutos oli vain kaksi kysymystä, joka tarkoittaa sitä, että sisällöntuottajaryhmän toi-

minnan tuloksena botti ei osannut vastata vaiheessa 2 kahteen sellaiseen kysymykseen,

joihin se oli osannut vastata vaiheessa 1. Kehityssuunta oli siis negatiivinen.

22

23

24

25

26

27

28

29

30

Vaihe 1 Vaihe 2 Tutkijan ehd.kysymykset

Muutos

25

27

28

30

Ko

rjat

tavi

a ky

sym

yksi

ä

Kysymys-vastausotokset, joista avainsanat puuttuvat

EHEYS

KUVIO 11a. Botin tiedon eheys arvioituna kysymysten määrällä, joihin botti ei osannut

liittää tietokannasta vastausta

47

Tutkimusmatriisin kysymyksiin ja vapaaehtoisten testaajien esittämiin kysymyksiin botin

antamien vastausten perusteella muodostui tutkimusaineistosta kaikkiaan 18 erilaista ai-

hepiiriä eli teemaa, jotka ovat kuvattu kuviossa 11b.

Kuviossa 11b on teemojen lisäksi kuvattu muutosarvolla tilannetta, jossa tarkasteltavassa

luokassa ei vaiheessa 1 ollut vielä esitetty yhtään kysymystä matriisin perusteella botille

kyseisestä aihepiiristä. Vaiheessa 1 korjausta vaativia kysymyksiä matriisin perusteella

oli noin 10 % (n=17), mutta vaiheessa 2 kysymysmatriisia oli laajennettu tutkijan lisää-

millä kysymyksillä (n=235), jolloin korjattavia kysymyksiä aineistosta oli 22 % (n=51).

Näiden teemojen osalta oleellisin muutos kysymysten nousemiselle toiseen vaiheen tut-

kimusaineistoon liittyi vaiheen 1 vapaaehtoisten testaajien esittämiin kysymyksiin, jotka

kohdistuivat asiakkaiden näkökulmasta palvelusetelien yleisneuvontaan (3. Yleistietoa

palvelusetelistä), omavastuuosuuteen ( 5. Omavastuu), palvelusetelin saamiseen kotiin

(6. Postitus), palveluntarjoajan vaihtamiseen hoidon ollessa kesken (7. Palveluntarjoajan

vaihto, TUTHO -seteli) sekä palautteen antamiseen (14. Palaute, kiitos), ajanvarauksen

KUVIO 11b. Botin tiedon eheys arvioituna teemoittain korjattavien kysymysten perus-

teella

02

0 0 0 0 02 2

63

02

0 0 0 0 00

7

2 35

13

4 4

8

3

1

2

1

5

1 1 00

5

23

5

1

3

2 2

2

0

1

0

1

5

1 100

2

4

6

8

10

12

14

16

18

20

Kai

kki k

orj

atta

vat

kysy

myk

set

Vai

he

1 (

n=1

7)

ja v

aih

e 2

(n

=51

)

Aineistosta nousseet teemat (n=18)

EHEYS

Vaihe 1 Vaihe 2 Muutos

48

tekemiseen (16. Ajanvaraus) ja asiakkaan tunnistautumiseen PSOP -järjestelmään (17.

Asiakkaan tunnistautuminen). Samoin palvelutarjoajan näkökulmaa testatakseen vapaa-

ehtoiset testaajat olivat esittäneet kysymyksiä, jotka liittyivät laskutukseen (3. Laskutus),

PSOP -järjestelmän käyttäjätunnuksiin (11. Käyttöoikeuksien haku ja ylläpito) sekä ra-

portointiin (15. Raportit). Toiseen vaiheen testauksen yhteydessä todettiin, että näihin en-

simmäisen vaiheen testauksessa esiin tulleisiin uusiin aihepiireihin oli projektiryhmän

toimesta laadittu jo vastauksia vaiheeseen 2 tultaessa, mutta avainsanat puuttuivat koko-

naan näistä vastauksista tai ne olivat vajaat, joten botti ei osannut vastata sille esitettyyn

kysymykseen.

Aineistoa luokiteltaessa kuuteen eri alaluokkiin tulos, muutos, väärin, korjattavat ja uu-

det. Alaluokkaan ”tulos” sijoitettiin sisällöllisesti ainoastaan ne kysymykset, jotka olivat

olleet identtisiä molemmissa kyselyissä ja botti oli antanut saman oikean vastauksen mo-

lemmilla kerroilla (n=225). Alaluokkaan ”muutos” sijoitettiin ne kysymykset, joissa vas-

taus oli ollut oikein sekä vaiheessa 1 että vaiheessa 2, mutta vastausta oli muutettu kahden

kuukauden seurantajakson aikana projektiryhmän toimesta jollain tavalla. Alaluokkaan

”väärin” sijoitettiin ne kysymykset, joihin botti oli osannut vastata oikein vaiheessa 1,

mutta ei enää vaiheessa 2. ”Korjaus” alaluokkaan sijoitettiin ne kysymykset, joihin botin

tietokannasta löytyisi vastaus tutkijan tulkinnan mukaan ja ”uudet” alaluokkaan sijoitet-

tiin ne kysymykset, joihin botin antamien vastausten perusteella ei vielä löytynyt tieto-

kannasta sopivaa vastausta.

Kuviossa 12a on kuvattu aihepiireittäin eli teemoittain ”tulos” -alaluokkaan sijoitettujen

kysymys-vastausparien määrät. Kyselyvaiheessa 1 oikein vastattuja kysymyksiä oli 25,5

% (n=57,5) kaikista esitetyistä kysymyksistä (n=225). Kuviossa 12a on kuvattu lisäksi

kyselyvaiheen 1 botin oikein vastaamat kysymykset pylvään ensimmäisen osan sinisellä

palkilla. Toisen vaiheen kysymys-vastausparit on kuvattu punaisella palkilla, joihin botti

vastasi oikein 30 % (n=68,5) sekä ”väärien” vastausten muutos (n=3) vaiheessa 2 vihre-

ällä palkilla. Positiivinen muutos (n=11) vastausten asiankuuluvuuden näkökulmasta on

kuvattu kuviossa 12a pylvään reunimman osan liilalla värillä teemoittain.

49

Botin vastausten asiaan kuuluvuutta arvioitaessa selkeimmin oikein kohdentuneiden ky-

symys-vastausparien muutos näkyy seuraavissa teemoissa: 1. Palveluseteliä ei löydy, 4.

Yleistietoa palvelusetelistä, 5. Omavastuu, 7. Palvelutarjoajan vaihto (TUTHO) ja 17.

Asiakkaan tunnistautuminen. Kolmessa eri teemassa havaittiin ensimmäisen ja toisen ky-

selyvaiheen botin vastausten ”väärin” -alaluokan kohdalla löydöksiä. Nämä teemat olivat

2. Reklamaatio palvelutuottajasta, 3. Laskutus ja 8. PSOP -käyttöohje.

Jotta aineiston luokittelu teemoittain ja alaluokittain oli ylipäätänsä mahdollista, niin sitä

ennen botin antamien vastausten asiaan kuuluvuus mittaroitiin sisällönanalyysin yhtey-

dessä luokittelemalla ”kysymys - vastaus” parit kolmeen eri pääluokkaan ”oikein tai ehkä

oikein” vihreällä värillä, ”ehkä tai vajaa” keltaisella värillä ja ”väärin tai puuttuu” punai-

sella värillä. Liitteissä 3a ja 3b on kuvattu taulukkoesimerkit aineiston analysoinnin tästä

vaiheesta.

Vastausten asiaankuuluvuutta arvioitaessa todettiin seuraavanlaisia havaintoja liittyen

vastauksiin yhdistettyihin avainsanajoukkoihin. Liitteen 3a taulukon esimerkistä voidaan

todeta, että tarkastelun kohteena olleen botin tietokannan vastaukseen, se on neljän (n=4)

KUVIO 12a. Vastausten asiaankuuluvuus vaiheissa 1 ja vaiheissa 2 sekä vastausosaa-

misen huonontuminen vaiheessa 2.

0,5

1

2

3

0

0

0,5

11

6

20

9

0

1

0

0

0

0

3,5

1,5

2

1

8

2

0

1,5

11

6

20

9

0

1

0

0

0

2

3,5

0

1

1

0

0

0

0

1

0

0

0

0

0

0

0

0

0

0

1

-1

-1

5

2

0

1

-1

0

0

0

0

0

0

0

0

2

0

-10 0 10 20 30 40 50

1. Palveluseteliä ei löydy

2. Reklamaatio palvelutuottajasta

3. Laskutus

4. Yleistietoa palvelusetelistä

5. Omavastuu

6. Postitus

7. Palv.tarj.vaihto, TUTHO

8. PSOP -käyttöohje

9. Ammatinharjoitusliite

10. Hinnasto

11. Käyttöoikeuksien haku ja ylläpito

12. Järjestelmäroolit (pääkäyttäjä)

13. Uusi palv.tarjoaja ja sääntökirja

14. Palaute (kiitos)

15. Raportit

16. Ajanvaraus

17. Asiakkaan tunnistautuminen

18. Palvelusetelin voimassaolo

KYSYMYSTEN LUKUMÄÄRÄT ERI VAIHEISSA, JOIHIN BOTTI ON VASTANNUT OIKEIN TAI VÄÄRIN SEKÄ VAIHEIDEN VÄLINEN MUUTOS

VA

STA

TUT

KYS

YMYK

SET

TEEM

OIT

TAIN

ASIAANKUULUVUUS Vaiheessa 1 oikein Vaiheessa 2 oikein Vaiheessa 2 väärin Muutos (n)

50

kysymyksen kohdalla onnistunut vastaamaan ensimmäisessä kyselyvaiheessa oikein.

Liitteen 3a taulukon PSOP -chatbotin esimerkkivastaus kuuluu seuraavasti: ”Yritys il-

moittaa kaikki työntekijät tarvittavine liitteineen: hammaslääkäristä, tutkinto- ja kielito-

distus sekä asema yrityksessä, suuhygienististä ote JulkiTerhikistä ja tutkinto- ja kielito-

distus.” Tällöin vastaukseen liitetyt avainsanat ”PSOP, hakemu* AND tiedot, työnteki*,

mitä, tarvitaan, tiet*” ovat olleet näiden kysymysten osalta oikeanlaiset ja botti on osan-

nut antaa toivotun vastauksen eli tuloksen. Kysymykset, jotka on sijoitettu liitteen 3a tau-

lukossa luokkiin ”ehkä väärin” (n=1) ja ”väärin” (n=1) kuuluisivat tutkijan tulkinnan mu-

kaan paremminkin jonkin toisen vastauksen yhteyteen, eikä tämän botin kyselyvaiheessa

1 antaman vastauksen piiriin. Kyseisten ”ehkä väärin” ja ”väärin” -alaluokkien kysymys-

ten osalta sisällöltään sopivat vastaukset vaatisivat avainsanojen uudelleen arviointia.

Kyselyn toisessa vaiheessa botti on osannut vastata vain kolmeen (n=3) kysymykseen

kuudesta oikein liitteen 3a taulukon esimerkissä, jotka kuvattiin edellä. Vastaustarkkuus

oli ollut ensimmäisen kyselyn yhteydessä 4 kysymystä oikein ja kaksi kysymystä ”ehkä

väärin” tai ”väärin”. Botilta kysyttiin täsmälleen samat kuusi kysymystä molemmissa ky-

selyvaiheissa. Mutta tulos oli muuttunut vaiheen 2 kyselyssä. Toisen vaiheen oikeiden

vastausten muutoksen (n= -1) taustalla on ollut liitteen 3a esimerkkitapauksessa kysymys:

” PSOP -hakemuksessa kysytään työntekijöiden tietoja, mitä ne ovat?”. Ensimmäisessä

kyselyvaiheessa botti on osannut antanut kysymykseen sisällöllisesti oikean vastauksen,

mutta toisessa kyselyvaiheen yhteydessä ei.

Selitys löytyy vastausosaamisen huonontumiselle, kun tarkastellaan liitteen 3a taulukon

esimerkkivastaukseen liittyvää lokista poimittua vastaavaa avainsanajoukkoa ”psop, ha-

kemu*, AND tiedot, työnteki*, mitä, tarvitaan, tiet*”. Tämän havainnon perusteella voi-

daan todeta vastaustarkkuuden muutoksen johtuneen siitä, että on olemassa myös toinen,

täysin identtinen avainsanajoukko, joka on liitetty muuhun vastaukseen (liite 3b). Tämä

toinen vastaus kuuluu: ”PSOP järjestelmään ei voi liittää excelhinnastoja. Hinnat täytyy

syöttää yksitellen suoraan järjestelmään.” Tulosten perusteella on todettava ja lisätutki-

muskysymyksiä herättävää, että sama avainsanajoukko oli ollut käytössä myös ensim-

mäisen kyselyvaiheen aikana ja liitettynä kahteen eri vastaukseen. Avainsanajoukko

muodostetaan periaatteessa kahdesta tai useammasta avainsanasarjasta, jotka liitetään toi-

siinsa AND, NOT tai OR -komentojen avulla.

51

Liitteen 3b taulukon esimerkin vastauksesta on huomioitava lisäksi myös se, että tarkas-

telussa oleva avainsanajoukko on aktivoinut botilta saman vastauksen esitettyyn kysy-

mykseen molempina haastattelukertoina. Tutkijan tulkinnan mukaan liitteen 3b taulukon

kysymykseen ”Mitä ovat PSOP -järjestelmän käyttäjäroolit?” botin antaman vastauksen

tulisi kuvata ja neuvoa tarkemmin PSOP -järjestelmän käyttöoikeuksista ja -rooleista

(teema 11. Käyttöoikeuksien ylläpito ja haku) enemmin kuin liittää kysymys sellaiseen

vastaukseen, jossa ohjataan PSOP -järjestelmän hinnastojen Excel -liitetiedostojen liittä-

miseen. Tämän vuoksi kysymys on luokiteltu taulukossa keltaisella värillä kategoriaan

”ehkä”, koska kysymyksen asiasisältö ja vastaus eivät kohtaa toisiaan.

Kuviossa 13 on kuvattu botille eri teemoista esitetyt kysymykset, joihin se on osannut

vastata oikein. Tuloksissa ovat mukana alaluokkiin ”tulos” ja ”muutos” sijoitetut kysy-

mysten määrät, joihin botti on antanut oikean vastauksen. Kysymyksen antaessa saman

”tuloksen” eli vastauksen molemmilla kyselykerroilla, se sai aineistossa arvon laskennal-

lisesti 1. Mikäli kysymys antoi molemmissa kyselyvaiheissa oikean vastauksen, mutta ne

olivat sisällöltään eriäviä toisistaan, niin kysymys sai arvon 0,5 kummankin vastausker-

ran yhteyteen. Molemmat kysymykset sijoitettiin ”muutos” alaluokkaan.

0,5

1

2

3

0

0

0,5

11

6

20

9

0

1

0

0

0

0

3,5

1,5

2

2

8

2

0

1,5

11

6

20

9

0

1

0

0

0

1

3,5

1

2

0

5

2

0

1

0

0

0

0

00

00

0

1

0

0 5 10 15 20 25

1. Palveluseteliä ei löydy

2. Reklamaatio palvelutuottajasta

3. Laskutus

4. Yleistietoa palvelusetelistä

5. Omavastuu

6. Postitus

7. Palv.tarj.vaihto, TUTHO

8. PSOP -käyttöohje

9. Ammatinharjoitusliite

10. Hinnasto

11. Käyttöoikeuksien haku ja ylläpito

12. Järjestelmäroolit (pääkäyttäjä)

13. Uusi palv.tarjoaja ja sääntökirja

14. Palaute (kiitos)

15. Raportit

16. Ajanvaraus

17. Asiakkaan tunnistautuminen

18. Palvelusetelin voimassaolo

KYSYMYSTEN MÄÄRÄ, JOHON BOTTI VASTASI OIKEIN

TEEM

AT

MUKAUTUVAISUUS Muutos VAIHE 2 VAIHE 1

KUVIO 13. Botille esitetyt kysymykset teemoittain, joihin se on vastannut oikein.

52

Kuvion 13 teemat, joista oli kysytty botilta eniten: 8. PSOP -käyttöohje (n=11), vastauk-

sia botin tietokannassa valmiina oli 12 erilaista. 9. Ammatinharjoitusliite (n= 6), jossa oli

4 erilaista vastausta tallennettuna botin tietokantaan.10. Hinnasto (n=20), johon oli 12

erilaista vastausta valmiina botin tietokannassa sekä 11. Käyttöoikeuksien haku ja yllä-

pito (n=9), johon oli viisi erilaista vastausta botin tietokannassa.

Botin algoritmien toimiessa suunnitellusti, asiaan kuuluvasti ja mukautuvasti, se osasi

vastata useampaan kysymykseen samasta aiheesta sisällöllisesti oikein. Liitteen 4a taulu-

kossa on annettu esimerkki vastausten ja kysymysten luokittelusta teeman ”11. Käyttöoi-

keuksien haku ja ylläpito” avulla. Tietokannassa kyseiseen teemaan yhteydestä löytyy

kaikkiaan viisi erilaista vastausta, jotka botti on antanut vastauksena erilaisiin kysymyk-

siin. Yksi niistä, joka on esimerkkivastauksemme liitteessä 4a, kuuluu näin: ” Tunnuson-

gelmissa ota yhteyttä suun terveydenhuollon ostopalveluun osoitteeseen: suunte.ostopal-

velut@hel.fi”. Vastaus on sisällöllisesti oikea vastaus viidelle botille esitetylle kysymyk-

selle molemmilla kyselykerroilla. Botille esitetyt tutkimuskysymykset olivat: 1) ”Paras-

tapalvelua tunnukseni on lukkiutunut, mistä voisin saada uuden tunnuksen?”, 2) ”Paras-

tapalvelua tunnukseni on lukkiutunut, miten saan ne auki?”, 3) ”Tunnukseni meni luk-

koon, mitä teen?”, 4) ”Tunnukseni on lukkiutunut, mitä teen?” ja 5) ”Tunnukset on lu-

kossa”. Avainsanasarja, joka antoi, sisällöllisesti oikean vastauksen esitettyihin kysy-

myksiin on: ” tunnu*, parastapalvelua, psop, käyttäjät* AND luk*”, jolloin päättely vas-

tauksen tarvitsemista avainsanoista on laadittu asiaan kuuluvasti ja mahdollistanut mu-

kautumisen erilaisiin kysymyksiin tämän vastauksen osalta.

Liitteen 4a taulukossa on kuvattu myös vastaus: ” Salasana vanhenee aina 90 päivässä”.

Tuo toinen esimerkkivastaus liitteen 4a taulukossa on värjätty taulukossa punaisella vä-

rillä, koska siinä botti ei ole vastannut lainkaan kysymykseen: ”Milloin salasanani van-

henee?”. Voitaneen päätellä, että tietokannasta löytyisi vastaus, joka olisi sisällöllisesti

oikea vastaus esitettyyn kysymykseen. Syy siihen, ettei vastaus ole aktivoitunut on, että

kysymyksessä ei ole yhtään sanaa, joka olisi liitettynä vastauksen avainsanajoukkoon.

Botti on kuitenkin osannut antaa saman edellä mainitun vastauksen kysymyksiin: 1)

”Kuinka kauan salasana on voimassa?” ja 2) ”Salasanan voimassaolo aika”.

53

Avainsanat, jotka ovat laukaisseet edellä kyseisen vastauksen ”Salasana vanhenee aina

90 päivässä.” ovat ”salasan*, passu, password; sala sana, AND voimassa*, kauan*, mi-

ten, kuinka, pitkään, usein”. Tämän avainsanajoukon perusteella voidaan todeta syy sii-

hen, miksi kysymys ”Milloin salasana vanhenee?” ei ole saanut toivottua vastausta. Vas-

taukseen liitetyssä avainsanajoukossa ei ole sanaa ”Milloin” ohjelmointilausekkeen

AND ehdon jälkeen. Liitteissä 4a ja 4b ovat kuvattuina esimerkkivastaukset, niihin liite-

tyt avainsanat sekä kysymykset.

6.4. Chatbotin vastaamisosaamisen parantamiseksi tehdyt interventiot

Chatbot -palvelun käyttöönoton suunnitteluryhmä kokoontui suunnittelu- ja seurantako-

kouksiin kyselyvaiheiden välillä noin kahden viikon välein, pois lukien joulun ja vuoden-

vaihteen 2018-2019 aika. Kyselyt suoritettiin kahden kuukauden välein. Kokouksissa

käytiin lävitse tarkemmin projektin edistymistä, esteitä etenemiselle ja tehtiin päätöksiä,

miten on mielekästä jatkaa chatbotin käyttöönottoa. Projektisuunnitelmaan kirjattuna ta-

voitteena oli, että sisällönkehittämisryhmä kokoontuu 2-4 viikon välein koko pilottivai-

heen ajan. Kokousten tavoitteena on aktiivisesti seurata sekä laajentaa botin osaamista ja

kehittää sen vastaamistarkkuutta edelleen. Tilannepalavereissa käydään lävitse myös pal-

veluketjun toimivuutta sekä yhteistyötä eri ammattiryhmien kesken. Kokouksissa sovit-

tiin myös, miten PSOP -chatbotin käyttöä tullaan laajentamaan koko suunterveydenhuol-

toon.

PSOP -chatbot julkaistiin 29.11.2018, jonka jälkeen se on toiminut teknisesti internetissä

Helsingin kaupungin Palveluseteli -sivustolla, joka varta vasten avattiin PSOP -chattiä

varten. Sivusto ei ole avoimesti löydettävissä internetistä, vaan ainoastaan ne suuntervey-

denhuollon asiakkaat, jotka ovat saaneet palvelusetelin saavat erillisen ohjelehtisen (liite

2), jossa kerrotaan PSOP -chatbotista ja Parastapalvelua.fi -palvelusta. Heti PSOP -chat-

botin käyttöönoton jälkeen marraskuussa 2018 ohjelehtistä jaettiin vain yhden Helsingin

hammashoitolan asiakkaille. Suunterveydenhuollon palveluntuottajille chatbotin käyt-

töönotosta tiedotettiin tiedotteella 30.11.2018 (Helsingin kaupunki 2018e). Tämän varo-

vaisen alun seurauksena toivottua käyttökokemusdataa ei juurikaan saatu kerättyä PSOP

-chatbotin lokista käyttäjämäärien vähäisyyden vuoksi. Kertynyttä lokitietoa hyödynnet-

54

tiin kuitenkin etsittäessä aihealueita, joista ei vielä ole tietokannassa vastauksia sekä te-

hostetaan jo olemassa olevien vastausten aktivoitumista sopivien avainsanajoukkioiden

avulla. Tällaisia aiheita olivat esimerkiksi asiakkaan tunnistautuminen Parastapalvelua.fi

sivustolle tai palveluseteliasiakkaan puolesta asiointi.

Asiakasaineiston vähyydestä huolimatta PSOP -chatbotin tietokantaa lähdettiin heti käyt-

töönoton jälkeen systemaattisesti kehittämään ja parantamaan jo pelkästään marraskuun

testauksen ja tähän tutkimukseen liittyneen kyselyjen perusteella. Sisällöntuottajaryhmä

poimi chatbotin lokista kysymyksiä, joihin botti ei ollut osannut vastata ja näihin kysy-

myksiin lähdettiin etsimään tietokannasta vastauksia sekä luomaan avainsanasarjoja.

Suurempaa käyttäjädataa PSOP -chatbotin lokista ei siis todellisuudessa syntynyt kuin

vain vajaan kahden viikon osalta sen jälkeen, kun päätös PSOP -chatbotin viestinnän laa-

jentamisesta tehtiin.

Tammikuun 2019 alkupuolella, ennen toista kyselyvaihetta, sisällöntuottajaryhmässä

päätettiin laajentaa PSOP -chatbotista tiedottamista kaikilla Helsingin Hammashoitoloi-

den palveluseteliasiakkaille. Tammikuun 21. päivästä 2019 lähtien tietoa sivustosta on

jaettu myös Suunterveydenhuollon reaaliaikaisen chatin kautta.

Projektiryhmän kokouksessa helmikuun 2019 alkupuolella tutkija jakoi tämän tutkimuk-

sen kyselymatriisilla kerätyn aineiston sisällöntuottajaryhmälle, jotta tutkimuksessa ke-

rättyä aineistoa päästäisiin hyödyntämään tehokkaasti mahdollisimman pian. Samassa

kokouksessa sovittiin myös suunterveydenhuollon palveluseteliasiantuntijoiden lisäkou-

luttamisesta botin sisällöntuottajina, jotta he pääsevät itse suoraan botin testiympäristöön

ja kokeilemaan oletettuja avainsanoja ja niiden yhdistelmiä eri vastauksiin.

6.5. Yhteenveto tuloksista

Tulosten perusteella PSOP -chatbotin vastaamistarkkuus parani kahden kuukauden ai-

kana noin 3 % (n=6) identtisten kysymysten osalta (n=225). Jos tarkastellaan pelkästään

toisen kyselyvaiheen tuloksia (n=235), niin silloin botin vastaamistarkkuus ja -osaaminen

eli botin vakuuttavuus oli 36% (n=85) luokkaa. Botin avulla tarjotun palvelun saavutet-

tavuus käyttäjälle oli 7 sekunnin kymmenysosaa, kun kysymykseen botti antoi yhden tai

55

useamman jatkovastauksen. Yhden yksittäisen vastauksen vasteaika kysymykseen oli 3

sekunnin sadasosaa.

Selkeä muutos botin välittämän informaation laadussa löytyi 14 kysymyksen kohdalla,

joihin tietokannassa vaiheessa 1 ei ollut vielä vastauksia olemassa lainkaan tai avainsanat

olivat puuttuneet vastauksista. Täysin uusia vastauksia, jotka lisättiin tietokantaan vasta

marraskuun käyttöönoton jälkeen, oli kaksi (n=2). Niistä vaiheen 1 tietokannassa olleista

vastauksista, joiden yhteydessä avainsanoja oli muutettu ennen vaiheen 2 kyselyn uusin-

taa, oli yhteensä 24. Näiden vastauksien avainsanojen muutoksen jälkeen 14 kysymystä

oli saanut oikean vastauksen, 2 kysymystä olivat ”ehkä” oikein tai vastaus ei suoraan

vastannut kysymykseen. Loppujen 8 kysymyksen kohdalla botti ei osannut vastata oikein

kysymyksestä poimimiensa avainsanojen perusteella.

Kyselyvaiheessa 2 botin antamien vastausten asiaan kuuluvuus toteutui 82 kysymyksen

kohdalla. Niitä kysymyksiä, joihin botti vastasi väärin (false true) oli 13. Jolloin botin

väärien vastausten osaamistaso oli 6,38% luokkaa. Kysymyksiä, joihin botti ei osannut

vastata lainkaan oli 156. Näiden tulosten perusteella botin asiakkaalle tai palveluntarjo-

ajille antama informaatio ja neuvontapalvelu olivat kaksi kuukautta käyttöönoton jälkeen

sisällöllisesti melko samanlaista kuin käyttöönoton aikaan. Suuria muutoksia ei aineis-

tosta saatu nousemaan esille. Mielenkiintoisia poikkeamia ja ilmiöitä pystyttiin tunnista-

maan, kuten se, että botin kyselyvaiheessa 1 oikein annettu vastaus oli muuttunut kysely-

vaiheessa 2 ”ei osannut vastata” -muotoon tai samalla avainsanasarjalla botti saattoi antaa

täysin erilaisen vastauksen. Nämä poikkeamat tulee huomioida ja poissulkea chatbottien

tietokantoja rakennettaessa ja käyttöönoton mallinnusta tehtäessä. Tärkein tutkijan ha-

vainto tuloksista lienee se, että vastauksiin liitettyjä avainsanasarjoja laadittaessa, tulee

pystyä erottelemaan eri vastausten avainsanasarjat toisistaan. Botti ei pysty vastaamaan

oikein, jos sama avainsanasarja on liitetty kahteen eri vastaukseen. Samoin vastaamis-

tarkkuutta tarkasteltaessa, riittävien avainsanasarjojen tai -joukkojen laadinta on tarpeen,

jotta samaa asiaa kysyttäessä eri tavoin botti osaa vastata oikein.

Projektiryhmän toiminnassa nousi selkeästi esille se, ettei chatbotin tietokannan rakenta-

miseen tarvittavaa työpanosta ja sitoutumista ollut osattu resursoida oikein käyttöönottoa

56

seuraavaan aikaan. Toisin kuin perinteisissä tietojärjestelmien käyttöönotoissa luonnol-

lista kieltä ymmärtävän botin tuotantokäyttö vasta käynnistää tietokannan todellisen ra-

kentamistyön saatuun käyttäjäkokemukseen perustuen. Sisällöntuottajaryhmän toimen-

piteet botin tietokannan laajentamiseksi ja osaamisen parantamiseksi olisivat voineet olla

tehostetumpia marras-joulukuussa 2018, jotta botin vastaamistarkkuuden parantamiseksi

olisi saatu paljon enemmän käyttäjäkokemusta ja käyttäjien esittämien kysymysten pe-

rusteella lokitietoa siitä, mitä botilta odotetaan.

Tutkimusaineistoa kerättäessä havainnointiin myös botin kautta annettavan palvelun saa-

tavuutta tallentamalla kysymysten ja botin niihin antamien vastausten tai vastaussarjojen

vasteajat. Saatujen tulosten perusteella botti toimii käyttäjäystävällisesti ilman käyttäjää

turhauttavia tai viivyttäviä odotusaikoja. (Kinnunen 2017, 15; Hämäläinen 2001.) Mutta

asiakkaan käyttökokemukseen varmasti vaikuttaa, että botti osasi vastata tammikuun ky-

selyvaiheessa vain kolmeen kysymykseen kymmenestä oikein. Niissä tilanteissa, joissa

botti ei osannut vastata, se kysyi käyttäjältä haluaisiko tämä keskustella ihmisasiakaspal-

velijan kanssa. Halutessaan keskustella ihmisen kanssa, käyttäjä vastaamalla valintaky-

symykseen sai valita chat -kontaktin käännön reaaliaikaiseen chat-palveluun, joka on

avoinna virka-aikaan. Asiakaspalaute linkin lisääminen PSOP -chatbottiin ja sitä kautta

asiakkailta lisätietojen saaminen botin käytettävyydestä olisi yksi mahdollisuus saada kei-

noja parantaa botin osaamista.

Uuden luonnollista kieltä (NLP) hyödyntävän chatbotin käyttöönoton yhteydessä pro-

sessi etenee tämän tutkimuksen tulosten pohjalta laaditun teoreettisen mallin mukaan,

joka kuvattu kuviossa 14. Aivan käyttöönottoprosessin alussa, ennen aloittamista, sosi-

aali- ja terveydenhuollon botin tarve tulee miettiä erittäin tarkoin sekä kirkastaa se palve-

lulupaus, jota bottia käyttäville asiakkaille halutaan viestittää. Uuden palvelukanavan

käyttöönoton tavoitteena tulee olla hyvä käyttäjäkokemus, jollainen syntyy silloin, kun

tietojärjestelmä tarjoaa nopeasti ja yksinkertaisilla toimenpiteillä käyttäjälleen tämän tar-

vitseman vastauksen (Hämäläinen 2001). Tällöin vapautuu aiemmin kysymyksiin vastan-

neen ihmisen työpanoksen toisaalle. Tämän tavoitteen saavuttamiseksi botin vastaustie-

tokannan ja siihen liitettyjen avainsanojen tulee olla hyvin harkittuja ja laajasti testattuja,

jotta botilla on mahdollisuus tarttua eri tavoilla esitettyihin kysymyksiin ja tarjota oikeaa

vastausta käyttäjälle. (Cameron ym. 2017; Vaira ym. 2018; Voutilainen 2018.)

57

Tämän tutkimuksen tulosten perusteella olisi suositeltavaa, että uuden botin tietokantaa

lähdetään rakentamaan siten, että palveluntarjonnasta vastaava sosiaali- ja terveydenhuol-

lon ammattilaiset teemoittavat tai luokittelevat usein kysytyt kysymykset ”UKK” -aineis-

ton tai vastaavan taustamateriaalin. Tämä auttaa hahmottamaan ja kohdentamaan botin

vastaustietokantaa haluttuun aihepiiriin. Tämän jälkeen vastauksiin lähdetään miettimään

kysymyksiä, miten usealla eri tavalla tätä kyseistä asiaa voitaisiin kysyä. Kun useampi

kysymys on saatu listattua, niin näistä kysymyksistä poimitaan hypoteettiset avainsanat

ja niiden erilaiset yhdistelmät AND, NOT tai OR -sanojen avulla. Lisäksi chatbotille on

mahdollista laatia erilaisia päättelysääntöjä keskusteluhistorian perusteella: ”jos x on tosi,

niin y on tosi” tai ” jos keskustelussa x on ollut epätosi, mutta y tosi, niin seuraava vastaus

on z”. Ohjelmointilausekkeen luomisessa toimivat samat lainalaisuudet ja logiikka kuin

lauselogiikassa eli propositiologiikassa sekä siitä johdettavassa predikaattilogiikassa.

(Niiniluoto 1999, 97-98; Hyvönen 2018, 152-159.) Tällöin botin vastaustarkkuus on hal-

litun prosessin sisällä ja vastausten luotettavuus paranee. Lisäksi ylläpidon näkökulmasta

olisi järkevää listata muodostetut avainsanasarjat erilliseen taulukkoon yhdessä botille

tallennettujen vastausten kanssa teemoittain.

KUVIO 14. Chatbotin käyttöönoton malli sosiaali- ja terveydenhuollossa

58

Ylläpidon näkökulmasta olisi oleellista, että tietokannasta vastaavat sosiaali- ja tervey-

denhuollon ammattilaiset myös itse voisivat testata oletettujen avainsanojen toimivuuden

joko botin testi- tai tuotantoympäristössä, jolloin mahdolliset ristiriidat ja puutteet havai-

taan ennen uuden vastauksen ja avainsanasarjan tai -joukon julkaisua tuotantoon. Botin

käyttöönoton jälkeenkin botin lokia on laadun varmistamiseksi kuitenkin seurattava ja

sieltä poimittava ne kysymykset, joihin botti ei ole osannut vastata lainkaan kysymyk-

seen, annettu vastaus ei ole kohdentunut oikein tai vastausta pitäisi päivittää tiedon oi-

keellisuuden ja luotettavuuden varmistamiseksi. Samalla kansalaisten mahdollisuus

saada neuvoa ihmisasiakasneuvojalta on varmistettava aina, kun kyseessä on julkisen sek-

torin palvelu. Tämä on jokaisessa käyttöönotossa mietittävä erikseen ja palvelusta vas-

taavan tahon on mietittävä, millainen on asiakaspalveluprosessi, joka erilaisille asiakas-

ryhmille tarjotaan, jotta kaikki kansalaiset ovat viranomaispalvelujen piirissä.

59

7 POHDINTA

7.1. Tutkimuksen eettisyys ja luotettavuus

Tämän tutkimuksen tekemisen ja raportoinnin yhteydessä on pyritty noudattamaan mah-

dollisimman hyvin ”Tietotekniikan ammattilaisen etiikan ohjeistoa” (TIVIA 2002). Oh-

jeiston noudattaminen on tukenut tietotekniikan ammattilaisen roolin lisäksi myös tutki-

jan roolia, koska tutkija on tehnyt tämän tapaustutkimuksen käyttöönottoprojektista, jossa

hän on ollut työtehtäviensä puolesta aktiivinen toimija ja näin ollen kaksoisroolissa. Oh-

jeiston sanoma on sovellettavissa suoraan myös tietojärjestelmätutkimusta tekevän tutki-

jan toimintaan. TIVIA:n (2002) ohjeiston mukaan tietotekniikan ammattilainen tunnistaa

seuraavat asiat työskennellessään:

1. Valta ja vastuu. Tällä tarkoitetaan, ettei tietotekniikan ammattilainen saa käyttää

asemaansa väärin. Hän kantaa vastuunsa, joka näkyy tekoina ja toimintana.

2. Tieto ja kokemus. Ammattilaisen on tunnettava rajansa. Tiedettävä, mitä hän osaa

ja mitä ei. Kehittyvällä alalla hänen on ylläpidettävä osaamistaan. Tunnettava

alaan liittyvä lainsäädäntö ja tietosuojamääräykset. Ammattilainen ei panttaa tie-

toa vaan pyrkii lisäämään omaan ja muiden osaamista jakamalla kokemuksensa

muulle yleisölle. Ammattilainen suojaa asiakkaan omat tiedot sekä muut suojaa-

mista vaativat tiedot.

3. Asenne. Ammattilainen ei toimi pelkästään itseään vaan myös muita varten. Hän

ottaa huomioon toimintansa kohteiden näkökannan. Hän ei anna valtaa ahneudelle

ja piittaamattomuudelle. Hän ymmärtää myös, että hänen työllään on merkistä

vain muiden ihmisten kautta.

4. Viestintä. Ammattilainen ymmärtää viestinnän merkityksen. Hän kommunikoi

asiakkaan kanssa, dokumentoi tekemisensä ja tiedottaa toimistaan kaikille asian-

omaisille. Viestinä on selväkielistä ja käytetyt käsitteet ovat määriteltyjä. Viestin-

nän tavoitteena on yhteisen näkemyksen ja ymmärryksen luominen toiminnan

pohjaksi.

60

5. Työn vaikutukset. Tietoteknisen työn tulokset saavat usein arvonsa vasta, kun

niitä hyödynnetään. Tietotekniikan ammattilaisen on pyrittävä ymmärtämään

oman työnsä vaikutus usein pitkävaiheiselle ketjulle, jonka päässä on lopullinen

hyödyntäjä. Ammattilaisen on myös otettava huomioon kuluttajan, laskun mak-

sajan ja työnantajan vaatimukset. Toimiessaan ammattilainen pyrkii katsomaan

työnsä laajempaa merkitystä koko sille yhteisölle, jolle työ tehdään, eikä rajoitu

vain hänen kanssaan asioivien edustajien näkemyksiin.

6. Muut ihmiset. Tietotekniikan ammattilainen kunnioittaa toisten työtä ja ottaa huo-

mioon muiden ihmisten oikeuden luomaansa ja tekemäänsä. Tietotekniikan am-

mattilaisen työ koskee sidosryhmien kautta yhteiskuntaa laajemmin. Ammattilai-

sen on käsitettävä työnsä seuraukset ja otettava huomioon esimerkiksi ihmisoi-

keudet, ympäristön suojelu, lainsäädäntö ja tekijänoikeudet.

7. Eettisyyden kasvu. Tietotekniikan ammattilaisen tulee edistää eettisesti kestävien

toimintatapojen yleistymistä tietotekniikka-alalla. Toimiminen eettisesti on va-

linta, jonka jokainen yksilö voi tehdä tai olla tekemättä. Eettisyys ei ole mustaval-

koinen asia, vaan ihminen voi kehittyä koko ajan ottamalla ympäristöään enem-

män huomioon.

Nämä ohjeet pyrkivät esittämään tietotekniikan ammattilaiselle eettisen toimintamallin,

joka tukee sekä hänen itsensä että ympäristönsä eettistä kasvua. Tutkijana toimiminen

samaan aikaan tuo mukanaan lisävastuun siitä, että tutkimustulokset on tuotettu johdon-

mukaisesti ja raportoitu selkeästi sekä niitä voidaan hyödyntää yhteisen hyvän edistä-

miseksi. (TIVIA 2002).

Ilkka Niiniluoto (1999) mukaan tieteellisen tutkimuksen tulokset voidaan katsoa relevan-

teiksi, kun ne esitelty tiedeyhteisölle ja niistä on voitu käydä tieteellistä keskustelua. Teo-

ria voidaan tieteellisesti hyväksyä vasta sen jälkeen, kun on voitu todeta julkisesti, että

suoritetut kokeet ja tutkimuksen tulokset on ymmärrettävästi raportoitu ja toistettavissa.

Tutkimuksessa käytettyjen menetelmien tulee olla objektiivisia, tutkijan mielipiteestä

riippumattomia. (Niiniluoto 1999, 83-84.) Tieteellisen tutkimuksen tulokset kiteytetään

niissä johdetuissa teorioissa, joka on sen hetkinen käsitys todellisuudesta. Tutkimuksen

61

kohde on aina vain pieni osa todellisuutta. Mutta tutkimuksen avulla ja teorian muodos-

tamisen kautta, voidaan tuottaa tietoa myös havaittavan ilmiöön liittyvistä muista riippu-

vuussuhteista vallitsevassa ympäristössä. (Niiniluoto 1999, 229-230.) Timo Järvilehto

(1995, 32) toteaa, että: ”Tieteellisen teorian totuudenmukaisuuden olennainen kriteeri on

mahdollisuus osoittaa se vääräksi”. Tällä tarkoitetaan sitä, että vain oikeiden teorioiden

kautta on todellinen mahdollisuus muuttaa ja uudistaa toimintaa. Tiedon lisääntyminen

voi johtaa tilanteeseen, jossa aiemmin oikeina pidettyjä teorioita voidaan joutua tarkaste-

lemaan uudestaan, koska uudet tutkimustulokset eivät tue aikaisempia tutkimuksia. Teo-

ria itsessään on kuitenkin oikea siinä viitekehyksessä, jossa se on tuotettu, mikäli se on

johdonmukainen. Väärä siitä tulee silloin, jos sitä yritetään venyttää mahdollistamaan toi-

mintaa, jota varten sitä ei ole tehty. (Järvilehto 1996, 32.)

Onnistuneen tapatustutkimuksen tuloksena syntyy Helena Leinon (2007) mukaan yleis-

tys, teoria. Tällöin on analyysin tuloksena syntynyt kokonaisnäkemys, jonka avulla on

pystytty nostamaan esille yleisesti tärkeitä teemoja ja uusia tarkastelunäkökulmia (Leino

2007, 216). Mikäli tapaustutkimuksen tulosten perusteella on tavoitteena luoda uusi teo-

ria, niin silloin on pysyttävä realistisesti arvioimaan, edustaako tutkittava ilmiö tapauksen

aihepiiriä laajemmin. Jotta yleistäminen teoriaksi voidaan tehdä, on etsittävä ja täsmen-

nettävä eri tapausten välisiä teoreettisia yhteyksiä ja vertaamalla tuloksia, joko aikaisem-

piin tutkimustuloksiin tai arvioimalla niitä teoreettisista näkökulmista. Tällöin yleistyk-

sen kautta johdettu teoria voidaan katsoa edustavan suurempaa tapausten joukkoa. (Peuh-

kuri 2007, 134.) Heuristisen näkemyksen mukaan yleistykseen on koottu keskeiset asiat

ilmiöstä (Haila 2007, 179).

Tapaustutkimusta tekevän tutkijan on pysyttävä arvioimaan, miten hänen tutkimuksessa

käyttämänsä välineet, valitsemansa käsitteet, taustateoriat, aineiston rajaukset sekä ai-

neiston keruutapa vaikuttavat tutkimuksen kokonaisuuteen, koska tutkija osallistuu tut-

kittavaan toimintaan vuorovaikutuksellisesti. Tapaustutkimus ei ole pelkästään tiedon

tuottamisen väline, vaan samalla myös tutkijan oppisprosessi. (Peltola 2007, 123-124.)

Järvinen ja Järvinen (2011) toteavat, että tutkija määrittää, mikä on tapaustutkimus, koska

tutkijan käyttämät tutkimuskohteen rajaukset voidaan määrittää uudelleen tutkimuksen

62

edetessä. Tutkimuskohdetta kuvataan, analysoidaan ja verrataan muihin tapauksiin koko-

naisuutena. Tapaustutkimuksen kohde voi olla yksittäinen tapaus tai useita tapauksia, jol-

loin tiedonhankintatapoina voidaan käyttää kyselyjä, haastattelua, havainnointia ja arkis-

tomateriaalien käyttöä. Oleellista on, että tutkija löytää vastauksia kysymyksiin siitä, mil-

laisia käsiterakenteita, malleja tai teorioita tutkimuksen kohteena oleva tapaus voi tuottaa

tai on tuottamatta (Järvinen & Järvinen 2011, 73-74.)

Tämän tutkimuksen aineistonkeruun suorittamiseksi, ennen chatbotin marraskuista käy-

tötönottoa, tutkija oli yhteydessä Helsingin kaupungin Sosiaali- ja terveystoimialan ke-

hittämisyksikköön sekä puhelimitse, että sähköpostitse. Tutkija lähetti kehittämisyksik-

köön pyydetyn otteen tämän tutkimuksen tutkimussuunnitelmasta sekä kuvasi tulosten

raportointitavan että julkaisusuunnitelman, miten valmiit Pro Gradu -tutkimukset julkais-

taan Itä-Suomen Yliopiston sähköisessä julkaisuympäristössä internetissä. Kehittämisyk-

sikkö vastaa Helsingin kaupungin Sosiaali- ja terveystoimialalla tapahtuvasta tutkimus-

toiminnasta ja tutkimusluvista. Lisäksi tutkija oli yhteydessä Palvelukeskus Helsingin toi-

minnanjohtajaan. Palvelukeskus Helsinki on Helsingin kaupungin oma liikelaitos, joka

toimittaa reaaliaikaisten chattien ja chatbottien -tekniset ratkaisut. Molemmista yksiköistä

todettiin, että tätä tutkimusta varten ei tarvita erillistä tutkimuslupamenettelyä, koska ra-

portissa ei käsitellä lainkaan asiakas- ja potilastietoja. Tutkija työskentelee itse Helsingin

kaupungin Sosiaali- ja terveystoimialan tietohallintopalveluissa, jolloin hänellä on työ-

tehtäviensä puolesta salassapitovelvollisuus arkaluotoisista tiedoista, joita mahdollisesti

tämän tutkimuksen teon yhteydessä hän olisi voinut saada tietoonsa. Tutkija sai luvan

organisaation kehittämisyksiköltä julkaista valmiin tutkimuksen ja pro gradu -raportin

myös julkisesti internetissä ilman erillistä lupamenettelyä.

Tutkimuksen tekoon ei ole ollut tarpeellista hankkia erillisrahoitusta tai sen tekemisestä

ei syntynyt kustannuksia projektin ulkopuolelta. Ennen tutkimuksen aloittamista tutkija

keskusteli esimiehensä sekä chatbotin teknisen palvelutuottajan toiminnanjohtajan

kanssa, jotta hänellä on lupa käyttää hetkellisesti työaikaa ja välineitä aineiston keräämi-

seen, mutta pääasiallisesti tutkimus on tehty tutkijan työajan ulkopuolella. Lisäksi tämän

pro gradu -työn toinen ohjaajista on samasta sosiaali- ja terveydenhuollon tietohallinnon

työyksiköstä kuin tutkija itse. Ohjaaja toimii vastuullisena sähköisen asioinnin asiantun-

tijana ja kehittäjänä organisaatiossa.

63

Tutkimuksen uskottavuutta lisää se, että tässä raportissa kaikki tutkimuksen eri vaiheet

on raportoitu niin tarkalla tasolla kuin se on tutkimuksen luotettavuuden näkökulmasta

aiheellista. Samoin aineistonkeruuseen ja -analysointiin liittyneet vallinneet olosuhteet on

pyritty kuvaamaan mahdollisimman tarkasti. (Niiniluoto 1999, 97.) Oma haasteensa on

ollut aiheeseen liittyvän tausta-aineiston hankinta, koska sosiaali- ja terveydenhuollon

chatbotteja ollaan vasta ottamassa käyttöön julkisella sektorilla niin kansallisesti kuin

kansainvälisestikin. Tekoälyn käyttöönottoon julkisessa terveydenhuollossa on vasta hil-

jalleen käynnistymässä, jolloin myöskään aiempia tutkimuksia ei ole ollut laajemmin

käytettävissä aiheesta.

Tämän tutkimuksen luotettavuus perustuu siihen, että koko PSOP -chatbotin käyttöönot-

toprosessi on hyvin dokumentoitu useammalla eri taholla, kuten projektiryhmän muistiot

sekä siitä on laadittu virallinen käyttöönottosuunnitelma ja -kertomus. Lisäksi käyttöön-

ottoprosessi on kuvattu tarkasti tässä tutkimusraportissa. (Niiniluoto 1999.) Tutkimuk-

sessa käytettiin aineiston keruussa ja mittarina kyselymatriisia, jonka perusrunko oli

identtinen molemmilla aineiston keruu ajankohtina. Vapaaehtoisten testaajien ja tutkijan

toimesta tulleet uudet kysymykset ja aihealueet on selkeästi dokumentoitu sekä luetta-

vissa kyselymatriisista (liitteet 1b-c). Sisällönanalyysi suoritettiin laadullisen tutkimuk-

sen menetelmiä hyödyntämällä. (Hirsjärvi ym. 2008, 160.)

Tapaustutkimuksen tulokset tarjoavat lukijalle uudenlaisia näkökulmia ja avaavat asioita

tavalla, joka ei muuten kenties olisi aina mahdollista (Leino 2007, 216). Tämän tutkimuk-

sen osalta luotettavuutta lisää myös se, että PSOP -chatbotille tämän raportin lukija voi

esittää kysymyksiä, jotka liittyvät palveluseteleihin koska vain vuorokauden ajasta riip-

pumatta. Lukijalta vaaditaan vain pääsy internettiin ja älylaite. Suora internettilinkki

PSOP -palvelusetelien www- sivustolle, johon botti on sijoitettu, on liitetty lukuun 4 sekä

lähdeluetteloon. Tämän tutkimuksen tuloksia ja mahdollisia nykyhetken havaintoja ver-

tailtaessa toisiinsa on huomioitava, että botin osaamistarkkuutta on lähdetty parantamaan

tämän tutkimuksen tulosten valmistumisen jälkeen tehostetusti sisällönkehittäjäryhmän

toimesta. Kehittämistyön tuloksena tavoitellaan edelleen käyttäjäkokemuksen parantu-

mista ja botin osaamistarkkuuden kehittymistä, niin että pilotin päättyessä lokakuussa

64

2019 sen vastaamistarkkuus olisi 80%. On myös muistettava, että tapaustutkimuksen tar-

koituksena ei ole tarjota lukijalle absoluuttista totuutta vaan uusi näkökulma tutkittavaan

ilmiöön (Leino 2007, 216).

Jauhiainen ja Sihvo (2015) kuvaavat, että palvelujen kehittämistyö tehtäisiin mahdolli-

simman moniammatillisesti. Käytettävyyden varmistamisen lisäksi tulee varmistaa, että

käyttöönoton yhteydessä uudesta palvelusta tiedotetaan, sitä markkinoidaan ja koulute-

taan sekä asiakkaille että henkilökunnalle. Lisäksi sähköisten terveyspalvelujen yhtey-

dessä on huomioitava aina myös tietosuojaan ja tietoturvaan liittyvät asetukset ja mää-

räykset. Tähän näkökulmaan peilaten voitaneen todeta, että PSOP -chatbotin käyttöön-

oton yhteydessä viestintäsuunnitelmassa olisi ollut tarkentamista. Käytännön kokemuk-

sen karttuessa sitä kuitenkin korjattiin tammikuun puolessa välissä projektiryhmän toi-

mesta. Mutta silti chatbotin kontaktimäärät ovat pysyneet hyvin maltillisina koko alku-

vuoden 2019, vaikkakin joitakin kymmeniä kontakteja on saatu. Ihanteellinen käyttäjä-

määrä botin vastaamistarkkuuden kehittämiseksi olisi satoja kontakteja kuukaudessa.

7.2. Pohdintaa tutkimustuloksista

Sosiaali- ja terveydenhuollon tiedonhallinnan tutkimuksen tavoitteena on kerätä käytän-

nönläheistä informaatiota ja havainnoida ilmiöiden merkityksiä. Tähän tavoitteeseen pys-

tyttiin vastaamaan tämän tapaustutkimuksen tulosten perustella luomalla teoreettinen

malli seuraavien sosiaali- ja terveydenhuollon chatbottien käyttöönottoa ohjaamaan ja tu-

kemaan, joka oli myös tämän tutkimuksen tarkoitus.

Kyselymatriisilla kerättyä aineistoa luokiteltiin ja teemoitettiin sisällönanalyysin avulla

ensin yksityiskohtaisemmaksi informaatioksi ja lopulta tietämykseksi tarkastelemalla

saatuja tutkimustuloksia Tietojärjestelmän onnistumismallin ulottuvuuksien avulla. Ver-

taamalla kahden eri mittausvaiheen välissä tapahtunutta muutosta botin oikeiden vastaus-

ten määrässä, saatiin kuvattua botin vastaustarkkuuden muutos, joka oli tämän tutkimuk-

sen tavoite. Yhdistämällä mittaustulos projektityöryhmän muistioista kerättyyn aineis-

toon toteutetuista interventioista lisättiin ymmärrystä siitä, millaisia vaikutuksia sisällön-

tuottajaryhmän jäsenten toimilla on botin asiakkaiden saamaan palvelun ja neuvonnan

laatuun. (Kurunmäki 2007, 79.)

65

PSOP -chatbotin vastausosaamisen hitaan kehittymisen suurimpana ongelmana on ollut,

ettei sen kehittämiseen tarvittavaa asiakasdataa lähtenyt syntymään, jotta sisällöntuotta-

jaryhmä olisi voinut aloittaa botin vastaamisosaamisen parantamisen heti alusta lähtien.

Päätös botin piilottamiselta laajemmalta palvelusetelin saaneelta suunterveydenhuollon

asiakasjoukolta oletetusti hidasti sisällönkehittäjäryhmän kehitystoimintaa ja heikensi bo-

tin saavutettavuutta. Piilottamisratkaisu heijastanee tilannetta yksikössä, jossa chatbotin

palvelulupausta ei projektin alkuvaiheessa ole mietitty perusteellisesi ja kohdennettu sen

jälkeen tuottavasti. Samalla voidaan pohtia piilottamisratkaisun kustannustehokkuutta,

koska chatbotin teknisestä ylläpidosta maksetaan järjestelmätoimittajille kuukausittaista

huoltomaksua. Tietokannan sisällöstä vastaa aina sosiaali- ja terveydenhuollon ammatti-

lainen, ei tekninen ylläpitäjä (Voutilainen 2018). Lisäksi samaan aikaan suunterveyden-

huollon palveluseteleitä jää käyttämättä, koska asiakkaat eivät tiedä, miten toimia tai eivät

tiedä, mistä voisivat saada neuvoa.

Suunterveydenhuollon reaaliaikaisen chatin käyttöönoton myötä palvelusetelistä tietoa

tarvitsevia on ohjattu enemmän PSOP -chatbotin puoleen tammikuun 2019 puolesta vä-

listä lähtien. Samoin esitelehtistä (liite 2) chatbotista Suunterveydenhuollon palvelusete-

lien saaneille on jaettu kaikissa Helsingin hammashoitoloissa.

Tämä tutkimus sijoittuu Sosiaali- ja terveydenhuollon tiedonhallinnon paradigman nel-

jästä entiteetistä toiminta ja menetelmä välille. Tämän tutkimuksen tuloksissa kerrotaan

toiminnan näkökulmasta, miten uuden sähköisen palvelukanavan ja tekoälyn käyttöön-

otto on suunniteltu, toteutettu ja arvioitu. Samalla on voitu tutkia ”toiminta -menetelmät”

-entiteettien välille paradigmassa sijoittuva Tieto- ja viestintätekniikan käyttöä. Se pitää

sisällään tietovarantojen tutkimuksen, tietosisällöt, rakenteisen kirjaamisen, terminolo-

gian, standardoinnin ja tiedon jäsennyksen. (Kuusisto-Niemi 2016; Kuusisto-Niemi &

Saranto 2009.)

Chatbotille tallennetut vastaukset ja niihin liitetyt avainsanat muodostavat tietokantoja,

joiden ylläpito ja jatkuva kehittäminen tukee asiakkaille tarjottavan sosiaali- ja tervey-

denhuollon neuvontapalvelun laatua ja luotettavuutta. Viranomaistoimijoilla sosiaali- ja

terveydenhuollon ammattilaisilla on lakisääteinen velvoite vastata siitä, että asiakkaille

66

annettava tieto on sisällöltään riittävää, ymmärrettävää, asiaan kuuluvaa ja luotettavaa.

(Voutilainen 2018.) Tiedon laadulla ja saavutettavuudella on merkittävä vaikutus DeLo-

nen ja McLeanin (2003) mukaan käyttäjätyytyväisyyteen. Lisäksi tieto- ja viestintätek-

niikan käyttöä tutkittaessa havainnoidaan ilmiöstä arvoja ja asenteita, jotta voidaan mää-

ritellä tietojärjestelmän merkitys toiminnan toimijoille, jolla tarkoitetaan sosiaali- ja ter-

veydenhuollon tietojärjestelmien käyttäjiä. (Saranto & Kuusisto-Niemi 2012; Kuusisto-

Niemi & Saranto 2009.) Samoin DeLone ja McLean (2003) lähtevät ajatuksesta, että

tietojärjestelmän tuottama tieto tulee olla hyödynnettävissä niin yksilö kuin organisaa-

tiotasoillakin.

Yksi käytettävyyteen liittyvä huomio on www-sivujen chat -ikonista käyttäjälle näkyvän

tekstin koko, johon tutkija kiinnitti huomiota. EU:n saavutettavuus -direktiivin näkökul-

masta tulee varmasti selvitettäväksi vielä vuoden 2019 aikana, täyttääkö ikonin melko

pienellä fonttikoolla kirjoitettu teksti sekä värikontrastit tekstin ja pohjan välillä direktii-

vin vaatimukset. (Valtiovarainministeriö 2018.)

Käytännössä kuvion 14 Chatbotin käytötönoton mallin mukaista toimintamallia esitestat-

tiin jo Helsingin Neuvolapalveluiden chatbotin käyttöönoton yhteydessä maaliskuussa

2019, kun alustavia tutkimustuloksia tästä tutkimuksesta alettiin saada ja teoreettinen

malli chatbotin tietokannan rakentamisesta alkoi hahmottua tarkemmin. Jotta käyttäjäko-

kemusta Neuvolan chatbotille saataisiin ennakoiden enemmän kuin tämän tutkimuksen

kohteena olleen PSOP -chatbotin käyttöönoton yhteydessä saatiin, niin Neuvolan chat-

bottia testattiin ennen virallista julkaisua viemällä botin testilinkki Facebookiin Helsingin

kaupungin Perheentuki.fi -sivuston kautta. Päätöksen tästä teki Neuvolan chatbotin pro-

jektiryhmä. Tutkija toimi Neuvolan chatbotin projektiryhmässä vastaavissa tehtävissä

kuin PSOP -chatbotin yhteydessä. (Kurunmäki 2007, 77.)

Alkutestauksen tuloksena Neuvolan chatbotin vastauksia oli tallennettu tietokantaan jo

300 ja niille erilaisia avainsanasarjoja. Vajaan kuukauden käyttökokemuksen perusteella

Neuvolan chatbotilla oli käyttäjäkontakteja ollut jo noin 400 ja asiakaspalaute oli ollut

hyvää. Asiakkaat ovat voineet antaa chatbot -kontaktin päätteeksi, vapaan sanallisen pa-

lautteen lisäksi, arvosanan 0-10 (0= erittäin huonoa, 10 erittäin hyvää) saamastaan palve-

lusta. Neuvolan chatbotin sisällöntuottajaryhmä seuraa aktiivisesti botin lokia useampana

67

päivänä viikossa ja raportoi tuloksista yksikkönsä johdolle sekä projektiryhmälle. PSOP

-chatbottiin vastaavaa asiakaspalauteominaisuutta ei ole vielä toteutettu kuin Neuvolan

chatbottiin on toteutettu. Neuvolan chatbotti ”NeRoa” voi tämän raportin lukija testata

myös itse ja se löytyy Internetistä Perheentuki.fi -sivustolta osoitteesta:

https://www.hel.fi/sote/perheentuki-fi sekä käydä samalla arvioimassa että antamassa

käyttökokemuksestaan palautetta NeRo -botille.

Tekoälyn kehittymisen näkökulmasta olisikin tärkeää, että luonnollista kieltä ymmärtä-

vien chatbottien tietokannat rakennettaisiin samojen päättelysääntöjen perusteella seman-

tiikan mahdollistamiseksi ja olisi ihanteellista, jos esimerkiksi sosiaali- ja terveydenhuol-

lon sanastoja, kuten SNOMED CT, FINTO.fi, YSA.fi, TERO.fi, MeSH voitaisiin hyö-

dyntää avainsanojen määrittelyä tehtäessä. Erillisistä tietokannoista saataisiin silloin ra-

kennettua semantiikan ja ontologioiden avulla neuroverkosto, josta teknisen tekoälyosaa-

misen avulla pystytään tunnistamaan eri tietokantoihin tallennetut avainsanat ja niiden

ketjutuksista syntyneet algoritmit. Tällöin tietoa ei tarvitsisi ylläpitää ja päivittää ammat-

tilaisten toimesta kuin yhdessä paikassa. Mutta, josta se pystyttäisiin hyödyntämään laa-

jemmalti useammalle käyttäjälle. Haasteeksi saattaa tulla kuitenkin tietokantojen väliset

rajapinnat ja tiedonsiirto niiden välillä. Semantiikalla tarkoitetaan tässä yhteydessä ko-

neellisesti tulkittavissa olevaa käsitettä, avainsanaa tai avainsanasarjaa, joka on tallen-

nettu identtisellä logiikalla tietokantaan (Hyvönen 2018, 39).

Käytännössä semanttinen tietokanta näkyisi kuntalaiselle siten, että tämän etsiessä neu-

voa asiaansa, niin mistä tahansa kaupungin chatistä tai chatbotista hän saisi luotettavaa

tietoa helposti ja nopeasti. Tätä visiota kohden mentäessä on hyvä miettiä, miten eri chat-

bottien tietokannat tullaan rakentamaan jatkossa. Tällähetkellä eri sosiaali- ja terveyden-

huollon yksiköt tuottavat toisistaan irrallisia vastaustietokantoja käytössä oleville luon-

nollisen kielen chatboteille, joihin linkitetään erilaisia avainsanoja tai niiden sarjoja tai -

joukkoja. Kuviossa 15 on kuvattu sosiaali- ja terveydenhuollon eri chat- ja chatbot -pal-

veluiden välinen kuvitteellinen semanttinen neuroverkko.

68

Heikon tekoälyn sovelluksilla looginen tietokanta olisi jo melko helposti toteutettavissa,

mutta se vaatisi systemaattista fyysisten tietokantojen sisällön rakentamista samalla lo-

giikalla sekä kontrollia siitä, millaisia avainsanasarjoja tai päättelyalgoritmeja erilaisiin

vastauksiin on liitetty. Fyysisillä tietokannoilla tarkoitetaan eri palveluiden omia tieto-

kantoja, jotka olisivat yhteydessä toisiinsa. Semantiikan perussääntö on, että tieto on tal-

lennettu samanlaisessa muodossa eri tietokannoissa ja käsitteet ovat yhdenmukaiset. Kä-

sitteet, jotka määrittelevät toisensa kutsutaan ontologioiksi. (Hyvönen 2018, 39.) Lisäksi

olisi mielenkiintoista tietää, miten paljon henkilöstöresurssia tällaisen tietokannan tuotta-

minen ja ylläpito vaatisi sekä millaista toimintakapasiteettia vaadittaisiin tietojärjestel-

mältä, että vasteajat käyttäjälle säilyisivät edelleen miellyttävinä.

Oma keskustelunsa tulisi käydä siitä, millainen hallintaorganisaatio tällaisen loogisen tie-

tokannan ylläpidon tueksi tulisi rakentaa ja millaisia kustannuksia siitä syntyisi tai kenen

KUVIO 15. Tutkijan visio loogisesta tietokannasta, jossa chatbotti pystyy hakemaan se-

mantiikan ja ontologian säännöillä tietoa.

69

vastuulla olisi tietokantoihin tallennetun tiedon päivittäminen. Mikäli tällainen semantii-

kan sääntöjä hyödyntävä looginen tietokanta saadaan tulevaisuudessa rakennettua, niin

silloin sen voisi oletuksena tuottaa merkittäviä kustannussäästöjä yhteiskunnalle. Kun ro-

botti, tekoäly tekee ne neuvontatyöt, joihin löytyy selkeät yksiselitteiset vastaukset, niin

koulutetun sosiaali- ja terveydenhuollon ammattilaisen työaikaa saadaan kohdennettua

niihin tehtäviin, joihin välttämättä tarvitaan ihminen suorittajaksi. (Rotonen 2017.) Mutta

on kuitenkin muistettava sosiaali- ja terveydenhuollon palveluita järjestettäessä, että van-

haa sananlaskua mukaillen: ” Tekoäly on hyvä renki, mutta huono isäntä”.

7.3. Jatkotutkimusaiheet

Tämän tutkimuksen tuloksista nousi jatkotutkimusta kaipaavia kysymyksiä useita, mutta

tässä niistä pohdintaan nostettuina kolme:

1. Miksi PSOP -chatbotti antoi muutamissa tapauksissa samaan kysymykseen eri

kysymyskerroilla täysin toisistaan poikkeavat vastaukset, vaikka avainsanasarjat

olivat molemmissa samat -ja, miksi avainsanasarjat yleisesti ottaen olivat saman-

laiset?

Käyttäjän näkökulmasta järjestelmän olisi pitänyt ilmoittaa virheestä. Tai vastaavasti il-

moittaa, että avainsanasarjaa tallennettaessa uudelleen duplikaattina tietokantaan, että

vastaava avainsanasarja löytyy jo järjestelmästä. Olisi mielenkiintoista tietää, millä pe-

rusteella botti antoi vastaukset näissä kyseissä tapauksissa. Havainto tästä ilmiöstä on vä-

litetty PSOP -chatbotin sisällöntuottajaryhmälle jatkoselvitykseen.

2. Miten voitaisiin hyödyntää ja parantaa eri chatbottien tietokantoihin tallennetun

tiedon saatavuutta ja saavutettavuutta?

Chatbot -palvelukanavien lisääntyessä ja käytön laajentuessa olisi keskusteltava, miten

tieto voitaisiin tallentaa vain yhteen paikkaan, mutta mistä se olisi helposti muidenkin

tahojen käytettävissä. Tällöin nousee yhtenä kehittämisinnovaationa eri chatbottien tieto-

kantojen semanttinen hyödyntäminen.

70

3. Miten avoimen datan keinoin olisi mahdollista tehdä keskenään keskustelevia tie-

tokantoja, joissa tietosisällöt on tuotettu niin, että koneet ymmärtävät ne?

Viime aikoina on otettu käyttöön yksinkertaisella päättelylogiikalla rakennettuja chatbot-

teja niin sosiaali- ja terveydenhuollon palveluiden kuin muillekin kaupungin toimialoille

käyttöön. Näissä yksinkertaisissa chatboteissa, joista on kerrottu luvussa 2.5. sisältö on

strukturoitua ja täysin ylläpitäjän hallinnoimaa. Kyseisten bottien käyttäjä ei pysty esittä-

mään avoimia kysymyksiä botille, kuten luonnollista kieltä tulkitsevalle PSOP -chatbo-

tille vaan joutuu valitsemaan aina botille ennakolta määritellyistä vaihtoehdoista. Nämä

kaksi erilaista botin teknistä ratkaisua menevät usein vielä keskustelussa sekaisin, eikä

toiminnan edustajat aina tiedä, millainen tarve heillä on, kun toivovat chatbotin käyttöön-

ottoa palveluihinsa. Tämän perusteella yleisen tietämyksen kuin tutkitun tiedon lisäämi-

nen erilaisista chatbot ratkaisuista on ilmeinen.

71

8 LÄHTEET

Armstrong S. 2018. The apps attempting to transfer NHS 111 online. BMJ (Online)Vol-

ume 360, 2018, Article number k156.

Brattico, P. & Lappi, O. 2008. Johdatus Kogniotieteeseen. Helsingin yliopisto.

Callen J., Coiera E. & Westbrook J. 2010. Information technology in health care: Socio-

technical approaches. International journal of medical informatics 79(2010) pp.389-

390.

Cameron G., Cameron D., Megaw G., Bond R., Mulvenna M., O´Neill S., Armour C.

& McTear M. 2017. Towards a chatbot for digital counselling. HCI 2017: Digital Make

Believe - Proceedings of the 31st International BCS Human Computer Interaction Con-

ference, HCI 2017Volume 2017-July, 201731st International BCS Human Computer

Interaction Conference: Digital Make Believe, HCI 2017; University of Sunderland's

St. Peter's Campus Sunderland; United Kingdom; 3 July 2017 through 6 July 2017;

Code 135350.

DeLone W. H. & McLean E.R. 1992. Information systems success: The quest for the

dependent variable. Information Systems Research, 3(1), 60-95.

DeLone W. H. & McLean E.R. 2002. Information systems success Revisited. Proceed-

ings of the 35th Hawaii International Conference on System Sciences – 2002, 1-11.

Saatavissa:

https://pdfs.semanticschalar.org/3bf0/dc52885a44a69a522fbbbe2ad6ea72215c56.pdf //

luettu 30.10.2018

DeLone, W. H. & McLean E.R. 2003. The Delone and McLean Model of Information

Systems Success: A Ten-Year Update. Saatavissa: https://www.researchgate.net/publi-

cation/220591866_The_DeLone_and_McLean_Model_of_Information_Systems_Suc-

cess_A_Ten-Year_Update / luettu 30.10.2018

Digiapuri. http://digiapuri.com/digisanasto/ luettu 6.1.2019

Coiera, E. 2006. Putting the technical back into socio-technical systems research.

International Journal of Medical Informatics. Volume 76, Supplement 1, June 2007,

Pages S98-S103

Coleman J, Olsen SJ, Sauter PK, Baker D, Hodgin MB, Stanfield C, Emerling A, Hru-

ban RH, Nolan MT. The Effect of a Frequently Asked Questions module on a pancre-

atic cancer Web site patient/family chat room. Cancer Nurs. 2005 Nov-Dec;28(6):460-

8.

Eräsaari R. 2007. Teorian tehtävät tapaustutkimuksessa: Konteksti. Teoksessa: Tapaus-

tutkimuksen taito (toim. Laine, M., Bamberg, J. & Jokinen, P.) Gaudeamus Helsinki

University Press OY Yliopistokustannus, HYY Yhtymä. 2007, s.149-172.

72

Euroopan komissio/ Tekoäly strategia -tiedote (25.4.2018). https://ec.europa.eu/fin-

land/news/artificial-intelligence_180425_fi /luettu 29.4.2019.

Haila Y. 2007. Mitä tapaustutkimus kertoo? Analogiamallit ja dynaaminen yleistettä-

vyys. Teoksessa: Tapaustutkimuksen taito (toim. Laine, M., Bamberg, J. & Jokinen, P.)

Gaudeamus Helsinki University Press OY Yliopistokustannus, HYY Yhtymä. 2007,

s.173-190.

Hallitusohjelma 2015. Saatavilla: http://valtioneuvosto.fi/docu-

ments/10184/1427398/Ratkaisujen+Suomi_FI_YHDISTETTY_netti.pdf/801f523e-

5dfb-45a4-8b4b-5b5491d6cc82

Helsingin kaupunki (a)/ Hankintapalvelut/ Palvelusetelit 2018.

https://www.hel.fi/sote/palveluseteli-fi/palvelusetelit/mika / luettu 6.1.2019

Helsingin kaupunki (b) / Hankintapalvelut/ Palvelusetelit 2019.

https://www.hel.fi/sote/palveluseteli-fi/palvelusetelit/ / luettu 3.1.2019.

Helsingin kaupunki (c) / Palveluseteli- ja ostopalvelu (PSOP) -chatbot.

https://www.hel.fi/static/sote/palveluseteli/chat/asiakas.html /luettu 30.1.2019

Helsingin kaupunki (d)/ Sosiaali- ja terveystoimiala/ chatpalvelut 2019.

https://search.hel.fi/haku/vivisimo/cgi-bin/query-meta?query=chatpalvelut&v%3Apro-

ject=hel.fi_fi-project / luettu 16.4.2019

Helsingin kaupunki (e) / Sosiaali- ja terveystoimiala/ suunterveydenhuollon palvelun-

tuottajat. Tiedote Sarapalo, A. 30.11.2018. https://www.hel.fi/sta-

tic/sote/suunte/palse/tiedote-hgin-kaupungin-suun-thn-palveluntuottajille-PSOP-jarjes-

telman-ajankohtaisista-asioista-301118.pdf /luettu 3.5.2019

Helsingin kaupunki (f)/ Sosiaali- ja terveystoimiala/ hallintopalvelut 2017. Palvelusete-

lien vuositilastot.

Helsingin kaupunki (g)/ Sosiaali- ja terveystoimiala käyttösuunnitelma 2018. Julkaistu

7.12.2017. https://docplayer.fi/67915488-Sosiaali-ja-terveystoimiala-kayttosuunnitelma-

2018.html / luettu 27.11.2018

Hirsjärvi S., Remes P. & Sajavaara P. 2008. Tutki ja kirjoita. Tammi, Helsinki.13.-14.

osin uudistettu painos. Otavan kirjapaino. Keuruu 2008.

Hoyer,P. 2011 Johdatus tekoälyyn; Koneoppiminen. Helsingin yliopisto.

https://www.cs.helsinki.fi/u/ttonteri/ai/ai-fall11-slides9.pdf / luettu 30.10.2018

Hyvönen E 2018. Semanttinen web -Linkitetyn avoimen datan käsikirja. Gaudeamus Oy.

Printon Trükikoda. Tallinna 2018.

Hämäläinen, P. 2001. Vasteajat hallintaan. Tivi 1.1.2001. https://www.tivi.fi/uutiset/vas-

teajat-hallintaan/9b694033-9db8-3bef-bcce-c7b0d6ff7c4f / luettu 28.4.2019

73

Jauhiainen, A. & Sihvo, P. 2015. Asiakaslähtöisten sähköisten terveyspalvelujen kehittä-

misen ja vaikuttavuuden arvioinnin malli. FinJeHew 2015;7(4). 210-220.

Järvilehto T. 1996. Mikä ihmistä määrää? Gummerus Kirjapaino Oy. Jyväskylä 1995.

Järvinen P. & Järvinen A. 2011. Tutkimustyön metodeista. Opinpajan kirja. Tampere.

Kansaneläkelaitos. Ostopalvelu valtuutus. https://www.kanta.fi/ammattilaiset/ostopalve-

lun-valtuutus?inheritRedirect=true / luettu 29.1.2019

Kansanterveyslaki 66/1972. http://www.finlex.fi/fi/laki/smur/1972/19720066 / luettu

4.11.2018

Kinnunen, J. 2017. Toiminnaohjausjärjestelmän vasteajat ja tuottavuus. Satakunnan

ammattikorkeakoulu. Liiketalouden koulutusohjelma.

https://www.theseus.fi/bitstream/handle/10024/128547/Kinnunen_Juha.pdf;jsessio-

nid=2A21C053D7A417990623E2E040721E42?sequence=1 /luettu 28.4.2019

Kotimaisten kielten keskus (KOTUS). https://www.kotus.fi/sanakirjat/kielitoimiston_sa-

nakirja/uudet_sanat/vuoden_sanapoiminnot/sanapoimintoja_2017/ luettu 5.11.2018

Kotisivukone.fi 2018. https://www.kotisivukone.fi/asiakastuki/keskustelupalsta / luettu

6.1.2019

Kurunmäki K. 2007. Tapauksen löytäminen ja rajaaminen -Vertailu. Teoksessa: Ta-

paustutkimuksen taito (toim. Laine, M., Bamberg, J. & Jokinen, P.) Gaudeamus Hel-

sinki University Press OY Yliopistokustannus, HYY Yhtymä. 2007, s.111-129.

Kuusisto-Niemi S. 2016. Tiedon hallinta sosiaalihuollossa. Tiedonhallinnan paradigma

opetuksen ja tutkimuksen perustana. Itä-Suomen Yliopisto Yhteiskuntatieteitten ja

kauppatieteitten tiedekunta. Kuopio. ISBN (PDF): 978-952-61-2279-3

Kuusisto-Niemi S. & Saranto K. 2009. Sosiaali- ja terveydenhuollon tiedonhallinta -Pa-

radigma tieteenalan perustana. FinJeHew 2009; 1(1) ss. 19-23

Laki digitaalisten palvelujen saatavuudesta 306/2019.https://www.finlex.fi/fi/laki/al-

kup/2019/20190306 / luettu 10.5.2019

Laki potilaan asemasta ja oikeuksista 785/1992. http://www.fin-

lex.fi/fi/laki/smur/1992/19920785 /luettu 4.11.2018

Laki rajat ylittävästä terveydenhuollosta 1201/2013. http://www.finlex.fi/fi/laki/al-

kup/2013/20131201 /luettu 4.11.2018

Laki sosiaalihuollon asiakkaan asemasta ja oikeuksista 812/2000. http://www.fin-

lex.fi/fi/laki/smur/2000/20000812 /luettu 4.11.2018

Laki sosiaalihuollon ammattihenkilöistä 817/2015. https://www.finlex.fi/fi/laki/ajan-

tasa/2015/20150817 /luettu 4.11.2018

74

Laki sosiaali- ja terveydenhuollon palvelusetelistä 569/2009. http://www.fin-

lex.fi/fi/laki/smur/2009/20090569?search%5Btype%5D=pika&search%5Bpika%5D=La

ki%20Palvelusetelist%C3%A4 /luettu 4.11.2018

Laki sosiaali- ja terveydenhuollon suunnittelusta ja valtionavustuksesta 1706/2009.

https://www.finlex.fi/fi/laki/alkup/2009/20091706 /luettu 4.11.2018

Laki sosiaali- ja terveydenhuollon asiakastietojen sähköisestä käsittelystä 9.2.2007/ 159.

https://www.finlex.fi/fi/laki/ajantasa/2007/20070159 / luettu 6.1.2019

Laki terveydenhuollon ammattihenkilöistä 559/1994. https://www.fin-

lex.fi/fi/laki/smur/1994/19940559 /luettu 4.11.2018.

Leino H. 2007. Mitä tapaustutkimus kertoo? Yleinen ongelma, yksi tapaus. Teoksessa:

Tapaustutkimuksen taito (toim. Laine, M., Bamberg, J. & Jokinen, P.) Gaudeamus Hel-

sinki University Press OY Yliopistokustannus, HYY Yhtymä. 2007, s.214-230.

Li J. 2010. A Sociotechnical Approach to Evaluating the Impact of ICT on Clinical

Care Environments. The Open Medical Informatics Journal, 2010, 4, 202-205.

Linden A., Siimeslehto K., Raatikainen A-M. & Kantsila J. 2019. Stadin sote; Chat ja

chatbot käytänteet, prosessit ja mittarit. Saatavilla: https://sway.of-

fice.com/E94F1OkVxmXxIgy0?ref=email / luettu 17.4.2019.

Niiniluoto I. 1999. Johdatus tieteenfilosofiaan. Käsitteen- ja teorianmuodostus. Kustan-

nusosakeyhtiö Otavan painolaitokset. Keuruu 1999. Toinen painos.

Olson, P. 2018. Babylon Shows Chatbot’s AI Capabilities In Health Care.

https://search-proquest-com.ezproxy.uef.fi:2443/docview/2063455674/?pq-

origsite=primo /luettu 16.9.2018

Oravec J.A. 2018. Artificial Intelligence, Automation and Social Welfare: Some Ethical

and Historical Perspectives on Technological Overstatement and Hyperbole. Ethics and

Social Welfare. 24.8.2018. https://doi.org/10.1080/17496535.2018.1512142/ luettu 16.9.2018

Parastapalvelua.fi. http://www.parastapalvelua.fi/etusivu/ luettu 6.12.2018

Peltola T. 2007. Teorian tehtävä tapaustutkimuksessa. Empirian ja teorian vuoropuhelu.

Teoksessa: Tapaustutkimuksen taito (toim. Laine, M., Bamberg, J. & Jokinen, P.) Gau-

deamus Helsinki University Press OY Yliopistokustannus, HYY Yhtymä. 2007, s.111-

129.

Perheentuki.fi/ Neuvolan robotti NeRo -chatbotti. https://www.hel.fi/sote/perheentuki-fi

/luettu 29.4.2019.

Peuhkuri T. Teorian tehtävät tapaustutkimuksessa. Teoria ja yleistämisen kriteerit. Te-

oksessa: Tapaustutkimuksen taito (toim. Laine, M., Bamberg, J. & Jokinen, P.) Gaudea-

mus Helsinki University Press OY Yliopistokustannus, HYY Yhtymä. 2007, s.130-148.

75

Raatikainen, K. 2007. Johdatus tietojenkäsittelytieteeseen. Luentomoniste. Helsingin

yliopisto.

Rautamäki A. 2016. Helsingin kaupunki/ Sosiaali- ja terveystoimiala digisuunnitelma

2016-2018. https://www.slideshare.net/DigitalHelsinki/sosiaali-ja-terveysviraston-di-

gisuunnitelma-762016 / luettu 27.11.2018

Rusama, M. 2018. Helsingin digistrategia. https://cdofromhel.fi /luettu 24.10.2018

Rotonen, M. 2017. Kuinka digitalisaatio mahdollistaa muutoksen sotepalveluissa?

https://www.terveysjatalouspaivat.fi/wp-content/uploads/sites/2/2017/08/Mikko-Roto-

nen.pdf / luettu 30.10.2018

Saari T. 2011. Teoksessa Ihmisen ja tietokoneen vuorovaikutus.Toim. Antti Oulasvirta.

Gaudeamus Helsinki University Press Oy. Yliopistokustannus, HYY yhtymä.

Saranto K. & Kuusisto-Niemi S. 2012. Tiedonhallinnan koulutusohjelma arvioitavana -

kokemuksia kansainvälisestä akkreditoinnista. FinJeHeW 2012;4(2), 141-144.

Searle, J.R. 1980. Minds, Brains and Programs. Behavioral and Brain Sciences, 3(3), 417-

457.

Sosiaalihuoltolaki 1301/2014. http://www.finlex.fi/fi/laki/ajantasa/2014/20141301 / lu-

ettu 4.11.2018

Sosiaali- ja Terveysministeriö (STM 2018a)/ Lainsäädäntö. https://stm.fi/sotepalve-

lut/lainsaadanto /luettu 4.11.2018,

Sosiaali- ja Terveysministeriö & Kuntaliitto 2014. Sote -tieto hyötykäyttöön strategia

2020. Pysyvä osoite Valtioneuvoston julkaisuarkistossa http://urn.fi/URN:ISBN:978-

952-00-3548-8 // luettu 22.10.2018

Stadin sote digisti 2019-2020. https://sway.office.com/ThJfqFPsQDKcaaTr?ref=Link /

luettu 25.12.2018

Sosiaali- ja Terveysministeriö (STM 2018b)/ Palvelusetelikokeilu. https://stm.fi/palve-

lusetelikokeilu / luettu 4.12.2018

Suomen perustuslaki 731/1999. http://www.finlex.fi/fi/laki/smur/1999/19990731 /lu-

ettu 4.11.2018

Terveydenhuoltolaki 1326/2010. http://www.finlex.fi/fi/laki/smur/2010/20101326 /lu-

ettu 4.11.2018

76

Terveyden- ja Hyvinvoinninlaitos (THL) 2018a. AvoHILMO Perusterveudenhuollon

avohoidon ilmoitus 2018. Määrittelyt ja ohjeistus. http://www.julkari.fi/bitstream/han-

dle/10024/135316/OHJ2017_20_Avohilmo%202018_t%C3%A4yd.5.12.17_WEB.pdf?se-

quence=1&isAllowed=y /luettu 4.2.2019

Terveyden- ja Hyvinvoinninlaitos (THL) 22.12.2017. Sosiaalihuollon tiedonhallinnan

sanasto. https://thl.fi/documents/920442/2940835/Sosiaalialan_tiedonhallinnan_sa-

nasto_4_0.pdf/1854a756-2662-4f47-80e3-a8b413340fce /luettu 4.11.2018

Terveyden- ja Hyvinvoinninlaitos (THL) 2018b. Tieto- ja viestintäteknologian käyttö ter-

veydenhuollossa 2017. Juvenes Print – Suomen Yliopistopaino Oy. Tampere.

Tieto- ja viestintätekniikan ammattilaiset (TIVIA) ry. 2002. Etiikan ohjeet. Tietoteknii-

kan ammattilaisen etiikan ohjeisto. http://www.tivia.fi/julkaisut/etiikan-ohjeet / luettu

29.4.2019

Uotinen S. 2009. Palveluseteli. Gummerus. Helsinki

Yonck, R. 2011. Can machine be intelligent? https://www.psychologyto-

day.com/us/blog/the-intelligence-report/201103/can-machines-be-intelligent /luettu

27.11.2018

Vaira, L., Bochicchio, M.A., Conte, M., Casaluci, F.M. & Melpignano, A. 2018. Mama

bot: A System based on ML and NLP for supporting women and families during preg-

nancy. ACM International Conference Proceeding Series18 June 2018, Pages 273-

27722nd International Database Engineering and Applications Symposium, IDEAS

2018; Villa San Giovanni; Italy; 18 June 2018 through 20 June 2018; Code 137910

Valtioneuvosto 1.11.2018. Digitalisaatio; Sipilän hallitusohjelman 2025 -tavoite.

https://valtioneuvosto.fi/hallitusohjelman-toteutus/digitalisaatio / luettu 5.11.2018

Valtioneuvoston kanslia 15.1.2019 (toim. Ailisto, H., Neuvonen, A., Nyman H., Halèn,

M. & Seppälä, T.) Tekoälyn kokonaiskuva ja kansallinen osaamiskartoitus -loppura-

portti. Valtioneuvoston selvitys- ja tutkimustoiminnan julkaisusarja 4/2019.

Valtiovarainministeriö 2019a/ Viranomaisten velvollisuus tarjota digitaalisia palveluja.

https://vm.fi/velvollisuus-tarjota-digipalveluja?utm_source=emaileri&utm_me-

dium=email&utm_campaign=Saavutettavuusvaatimukset%20-%20ajankohtaistie-

toa%2022*11*2018&utm_term=Linkki%20sivulle%20vm*fi**%20*Lue%20li-

saa%20viranomaisten%20velvollisuudesta%20tarjota%20digipalveluja*&utm_con-

tent=u-2938835-63209421-1701382-9 / luettu 29.1.2019

Valtiovarainministeriö 2019b (toim. Rousku, K., Andersson, C, Stenfors, S. Lähteen-

mäki, I, Limnell, J., Mäkinen, K., Kopponen, A., Kuivalainen, M. & Rissanen, O-P.)

Pilkahduksia tulevaisuuteen -Tietopolitiikka, tekoäly ja robotisaatio hyvinvoinnin ja ta-

loudellisen menestyksen mahdollistajana Suomessa. Valtiovarainministeriö. Helsinki

2019. ISBN 978-952-367-002-0.

77

Valtiovarainministeriö. 2018. Saavutettavuusdirektiivi. https://vm.fi/saavutettavuusdi-

rektiivi /luettu 29.4.2019

Vilkka H., Saarela M., Eskola J. 2018. (toim. Valli R.) Ikkunoita tutkimusmetodeihin 1

-Metodin valinta ja aineistonkeruu: virikkeitä aloittelevalle tutkijalle. PS-Kustannus. 5.,

uudistettu painos. Otavan kirjapaino. Keuruu.

Wilson, C. 2018. Is a chatbot doctor as good as a human? New Scientist. 7/7/2018, Vol.

239 Issue 3185, p25-25. 3/4p.

Voutilainen, T. 2018. Chatbot -sovellus osana viranomaisten neuvontapalveluja. 2018.

Lakimies 7-8/2018 s.904-927.

78

9 LIITTEET

LIITE 1a. IDENTTISET TUTKIMUSKYSYMYKSET VAIHEISSA 1 JA 2

Tutkimuskysymys

Miten saan palvelusetelin?

Miten voin varata ajan palvelusetelihammaslääkäriltä?

Voinko vaihtaa hammaslääkäriä kesken hoidon?

Asiakas haluaa käyttää palvelusetelin, mitä minun pitää tehdä?

Asiakas lähetti reklamaation

En halua käyttää saamaani palveluseteliä

En haluakkaan palveluseteliä, haluan perua koko jutun ja tulla kunnan palvelujen piiriin, miten

toimin?

En löydä asiakasta?

En löydä asiakkaan palveluseteliä

En ole enää hesalainen, onko palveluseteli vielä voimassa?

En ole tyytyväin valitsemaani palvelutuottajaan, voinko vaihtaa palvelutuottajaa?

En pysty tekemään kirjauksia

En saa tehtyä palveluvarausta

En tarvitse palveluseteliä, mitä teen?

Firman nimi muuttui, mihin ilmoitetaan?

Haluan tehdä reklamaation palveluntuottajasta, miten toimin?

Haluisin lopettaa palvelun tarjoamisen, mitä teen?

Hintavertailu heittää hammaslääkärin pois

Jos hammaslääkäriä pitää vaihtaa, niin voinko tehdä sen?

Järjestelmä ei hyväksy suuhygienistin tietoja?

Miksi järjestelmä ei hyväksy suuhygienistin tietoja?

Kenelle vanhat PSOP hinnastot näkyvät?

Kenellä on oikeudet lisätä hoitajia yrityksen tietoihin?

Kenellä on oikeudet lisätä työntekijötä yritykselle?

Keneltä voi kysyä lisätietoja?

1(6)

79

Ketkä näkee vanhat hinnastot?

Kirjaaminen ei onnistu

Kirjasin vahingossa tapahtuman väärin, miten korjaan?

Kuinka kauan salasana on voimassa?

Kuka voi lisätä työtekijöitä yritykseen?

Kunta haluaa tarkennuksia hakemukseen, mitä pitää tehdä?

Kunta haluaa lisätietoja hakemukseen, mitä pitää tehdä?

Lähetin hakemuksen milloin se käsitellään?

Lähetin hakemuksen, nyt en voi muuttaa tietoja?

Mihin otan yhteyttä, kun en tiedä miten toimin?

Miksei asiakkaalle ole muodostunut automaattisia tapahtumakirjauksia?

Miksei asiakkaalle ole muodostunut automaattisia tapahtumakirjauksia?

Miksei asiakkaan tapahtumat näy ”Asiakkaat ja toteuma” – raportilla?

Miksei automaattisissa tapahtumakirjauksissa näy suoraan haluttu kunta tai miksen näe tietyn pal-

velun asiakkaita?

Miksei automaattisissa tapahtumakirjauksissa näy suoraan haluttu kunta?

Miksi asiakkaan palveluseteli ei löydy?

Miksi en näe potilaiden tietoja?

Miksi en pysty katsomaan asiakkaiden tietoja?

Miksi en saa lähetettyä suuhygienistin tietoja hyväksyttäviksi?

Miksi hammaslääkäri ei nouse " ei jonoa" vertailuun, vaikka ruksi on laitettu vastaanoton tietoi-

hin?

Miksi hammaslääkäri ei näy hintavertailussa?

Miksi hinnasto on luonnoksena?

Miksi hinnastoni näkyy luonnostilassa?

Miksi meidän firmaa ei näy vertailussa?

Miksi ostovoimaa ei löydy palveluvarausta tehdessä?

Miksi työtekijää ei ole hyväksytty?

Mikä on ammatin harjoittamisliite ja mistä se löytyy?

Mikä on palveluseteli?

Mikä on tasasuuruinen palveluseteli?

2(6)

80

Mikä on tulosidonnainen palveluseteli?

Millainen salasanan pitää olla?

Millainen salasanan tulee olla Parastapalvelua.fi -palvelussa?

Milloin kirjausten pitää olla hyväksyttyinä, että ne tulevat mukaan tilitykseen?

Milloin maksan omavastuuosuuden?

Milloin salasanani vanhenee?

Milloin voi tehdä hintojen korotuksia?

Milloin voin hyväksyttää muita muutoksia?

Milloin voin muuttaa hinnastoani?

Minne syötän palvelusetelin numeron?

Minulla on ongelmia palvelutuottajan kanssa, miten toimin, keneen voin olla yhteydessä?

Minulla on vielä palvelun tarvetta, miten toimin?

Minulle luvattiin palveluseteli, mutta en ole sitä saanut. Mistä voin asian tarkistaa?

Minut on hyväksytty palveluntuottajaksi mutta en näy hintavertailussa

Mistä löydän palvelun sääntökirjan?

Mistä löydän palvelutuottajan?

Mistä näen hinnat?

Mistä näen maksettavat palvelutapahtumat?

Mistä palvelusetelien laskut löytyvät?

Mistä palvelusetelin voi saada?

Mistä palveluvaraus tehdään?

Mistä saa uuden Parastapalvelua tunnuksen?

Mistä saan koulutusta PSOPin käyttöön

Mistä tiedän, että käytetyistä palveluseteleistä on muodostunut lasku?

Miten aika varataan hammaslääkärille palvelusetelillä?

Miten ammattipätevyys todistetaan?

Miten asiakasnumero päivitetään?

Miten Helsingin kaupungilta laskutetaan käytetyistä palveluseteleistä?

Miten hinnasto saadaan voimaan?

Miten hinnasto tehdään?

Miten hinnasto viedään järjestelmään?

Miten hoitajat lisätään järjestelmään?

Miten käyttäjätunnus muodostetaan?

Miten laillistaminen todistetaan?

Miten monta päivää ennen kirjaukset pitää hyväksyä, että tilitys toimii?

Miten näen vertailusivustosta mikä on omavastuuosuuteni?

Miten paljon palvelua palvelusetelillä saa?

Miten keskeytyneet palvelutapahtumat kirjataan?

3(6)

81

Miten palveluvaraus tehdään?

Miten pystyn muuttamaan tietoa?

Miten pystyn poistamaan tietoa?

Miten saan Katso-tunnukset ja mihin niitä käytän?

Miten uuden työntekijän voi lisätä?

Miten uudet hinnastot saadaan aktiivisiksi?

Miten uusi työntekijä lisätään ja vanha poistetaan?

Miten vaihdan palvelutuottajaa?

Miten vanhat hinnastot saa pois?

Miten vanhat hinnastot saa uudelleen käyttöön?

Miten varaan ajan?

Miten vertailen hyväksyttyjä palvelutuottajia?

Miten voi muokata hinnastoa?

Miten voin hakeutua palvelusetelituottajaksi?

Miten voin vertailla hammaslääkärien hintoja?

Mitkä kohdat pitää täyttää, että työntekijä hyväksytään?

Mitä liiteitä pitää toimittaa kunnalle?

Mitä minun pitää antaa palveluntuottajalle, jotta saan setelin käytettyä?

Mitä minun pitää itse maksaa?

Mitä oikeus ammatin harjoittamiseen -liite tarkoittaa?

Mitä palvelu minulle maksaa?

Mitä palveluja voi palvelusetelillä saada?

Mitä palvelusetelihoito maksaa?

Mitä palvelutuottajalle maksetaan palvelusta?

Mitä tarkoitetaan hintakatolla?

Mitä tarkoitetaan ostopalvelulla?

Mitä tarkoitetaan ostovoimalla?

Mitä tarkoittaa markkinahinta?

Mitä tarkoittaa saldo-ostovoima?

Mitä tarvitaan PSOP -hakemukseen työntekijöistä?

Mitä tietoja toiminimellä toimivasta hammaslääkäristä pitää antaa Helsingille?

Montako hintaa voi laittaa vastaanotolle?

Montako merkkiä pitää käyttäjätunnuksessa olla?

Montako merkkiä salasanassa pitää olla?

Myönnetty palvelu ei vastaa tarvettani, miten toimin?

Olen muuttanut toiseen kuntaan, voinko silti käyttää palveluseteliäni?

Olen tehnyt virheellisen kirjauksen, miten korjaan asian?

Olen toiminimellä yrityksessä hammaslääkärinä. Mitä tietoja toimitan Helsingin kaupungille?

4(6)

82

Olen unohtanut tehdä kirjauksia, miten pitkään voin takautuvasti kirjata tapahtumia?

Olin tyytyväinen saamaani palveluun, miten voin antaa palautetta?

En ollut tyytyväinen saamaani palveluun, minne voin antaa palautetta?

Onko pakko liittyä tilaajavastuuteen?

Palveluntuottaja laskutti minulta liian suuren omavastuuosuuden, miten toimin?

Palveluntuottajan yhteystiedot ovat vanhentuneet, mitä teen?

Palveluseteli ei ole enää voimassa mutta hoito on kesken

Palveluseteli ei sovi minulle, haluan palata kunnan palvelujen piiriin?

Palveluseteli vanheni, mutta hoito on vielä kesken?

Palvelusetelien laskutus Helsingiltä?

Palveluvarauksen tekeminen, mitä teen?

Palveluvaraus ei toimi

Parastapalvelua tunnukseni on lukkiutunut, mistä voisin saada uuden tunnuksen?

Parastapalvelua tunnukseni on lukkiutunut, miten saan ne auki?

Perustietoa palvelusetelistä, missä palveluissa sitä tarjotaan ja miten sellaisen voi saada.

PSOP -hakemuksessa kysytään työntekijöiden tietoja, mitä ne ovat?

PSOP-järjestelmän käyttäjäroolit ja yrityksen psop-pääkäyttäjä

Mitä ovat PSOP -järjestelmän käyttäjäroolit?

Riittääkö yksi hinnasto koko vastaanotolle?

Saako vanhan hinnaston takaisin?

Sain palvelusetelin, mitä teen seuraavaksi

Salasanan voimassaoloaika

Salasanani on vanhentunut, mitä teen?

Suuhygienistien hinnaston tekeminen, miten onnistuu?

Tarvitsen apua palvelusetelin käyttämiseksi, voiko joku asioida puolestani?

Tarvitsen apua PSOPin käyttöön

Tehdäänkö suuhygienistille oma hinnasto?

Tunnukseni meni lukkoon, mitä teen?

Tunnukseni on lukkiutunut mitä teen?

Tunnukset on lukossa

Tutkimus- ja hoitopalveluseteli on käytetty ja jäi vielä hoidontarvetta, miten toimin?

Työntekijöiden lisääminen järjestelmään

Täytyykö minun kirjautua PSOP-järjestelmään?

Unohdin kirjata palvelutapahtumat, voinko vielä tehdä sen?

Unohdin käyttäjätunnukseni ja salasanan, mitä teen?

Voiko ammattilainen tehdä palveluvarauksen itselleen?

Voiko eri toimipisteissä olla eri hinnastot?

Voiko kirjaajaoikeuksilla päivittää asiakasnumeron?

5(6)

83

Voiko liitetiedoston lisätä PSOP:iin?

Voiko palvelusetelin voimassaoloaikaa jatkaa?

Voiko palvelutapahtumia viedä etukäteen järjestelmään esim. kesäkuussa heinäkuun tapahtumat?

Voiko samalla hammaslääkärillä olla eri hinnastot yrityksen eri toimipisteissä?

Voiko samalla vastaanotolla olla erilaisia hinnastoja?

Voiko saman yrityksen eri toimipisteissä olla useita eri hinnastoja?

Voiko suuhygienisti tehdä palveluvarauksen itselleen?

Voiko vanhan hinnaston aktivoida PSOP:ssa?

Voiko vanhat hinnastot poistaa PSOPista?

Voiko vanhoja hinnastoja aktivoida PSOPissa

Voiko vastaanotolla olla eri hinnastoja?

Voinko liittää Excel-hinnaston PSOP:iin?

Yksityinen hammaslääkäri laskuttaa eri tavalla eri toimipisteissä?

Voiko yksityinen hammaslääkäri laskuttaa eri tavalla eri toimipisteissä?

Yrityksemme nimi muuttuu, mihin ilmoitamme asiasta?

Yrityksen nimi vaihtuu, mitä pitää tehdä?

Yrityksen nimi vaihtuu. Miten se vaikuttaa PSOPiin

Minulla on tietokone, mutta ei pankkitunnuksia. Miten toimin?

Minulla ei ole pankkitunnuksia, jotta voisin tunnistautua vertailemaan palvelunsetelin tuottajia

Onko muuta tapaa vertailla palvelusetelitoimittajia kuin pankkitunnukset?

Mitä kerron sopimushammaslääkärille, kun varaan aikaa?

Jos haluan palata takaisin terveyskeskuksen hoitoon, niin miten toimin?

Jos haluan palata takaisin minulle palvelusetelin antaneen hammaslääkärin hoitoon, niin kuinka

toimin?

Jos olen tyytymätön palvelusetelihammaslääkärin hoitoon, mitä teen?

6(6)

84

LIITE 1b. VAPAAEHTOISTEN TUTKIMUSKYSYMYKSET

- Vapaaehtoisten testaajien kysymykset/ Marraskuu 2018 (Vaihe 1)

- Toistettiin juuri samanlaisessa muodossa tammikuussa 2019 (Vaihe 2)

Miten voin käyttää palveluseteliä? Miten tiedän kenelle palveluseteli käy? ...hammaslääkärit palvelusetelille? Palveluseteli hammaslääkäri Hampaani on kipeä Hampaan poisto hampaan paikkaus Pitääkö minun maksaa palvelusetelistä jotain? Mikä on omavastuuosuuteni? Kuinka pitkään palveluseteli on voimassa? Voimassaoloaika? Kuinka kauan voimassa? Kuinka pian minun pitää käyttää palveluseteli? Voinko maksaa paikan päällä käteisellä vai tuleeko lasku jälkikäteen? Miten maksan? Maksutavat? Maksutapa Mihin kysymykseen osaat vastata? Mihin syötän palvelusetelissä saamani koodin? Saanko asiakaspalvelunne numeron? Mikä on asiakaspalvelunumero? Voiko palveluseteliä käyttää eri hammaslääkäreillä? En ymmärrä vastaustasi. Yhden pinnan täyte Parodontologinen hoito mitä se tarkoittaa? 8FA10 Mitä tarkoittaa palvelusetelissä WX110? Voinko jättää puudutuksen pois saamastani palvelusetelistä? puudutus Sain palvelusetelin miten toimin?

1(1)

85

LIITE 1c. LISÄTYT TUTKIMUSKYSYMYKSET VAIHEESSA 2

Lisätty tutkimuskysymys vaiheeseen 2

5b) Missä käsitellään asiakkaiden lähettämät reklamaatiot?

7b) En halua käyttää palveluseteliäni vaan julkisia palveluita, mitä teen?

8b) En löydä asiakkaan palvelusetelinnumerolla palveluseteliä

10b) En ole helsinkiläinen, voinko käyttää saamani palveluseteliä?

11 b) Voinko vaihtaa toiseen palveluntuottajaan?

16b) Miten tehdään reklamaatio palveluntuottajasta?

17b) Miten yritykseni saadaan pois palveluntarjoajista?

18 b) Miten tehdään hammaslääkärien hintavirtailu?

20b) Miten löydän suuhygienistien vertailutiedot?

23b) Kuka voi lisätä työntekijöitä yrityksen tietoihin?

24b) Mistä voin saada lisätietoja liittyen palvelusetelien käyttöön?

25b) Kenellä on pääsy vanhentuneisiin palveluntarjoajahinnostoihin?

27b) Miten väärin kirjattu palvelusetelitapahtuma korjataan?

29b) Kenellä on oikeudet lisätä uusia työntekijöitä palveluntarjoajan tietoihin?

31b) Mikä on palveluntarjoajaksi aikovan hakemuksen käsittelyaika?

32b) Miten palveluntarjoajahakemuksen tietoja voidaan muuttaa jälkikäteen?

33b) Mihin voin ottaa yhteyttä palveluseteliin liittyvissä ongelmatilanteissa?

34b) Miksi palveluseteliasiakkaalle ei muodostu automaattisia tapahtumakirjauksia?

35b) Miksi kaikki asiakkaan tapahtumat eivät ole kirjautuneet "Asiakkaat ja toteuma" -rapor-tille?

36b) Miksi automaattisissa tapahtumakirjauksissa ei näy palvelun asiakkaita?

36c) Miksi automaattisissa tapahtumakirjauksissa ei näy kuntatietoa?

38b) Mistä näen potilaiden tiedot?

41b) Miten saan jonottomat hammaslääkärit haettua näkyviin?

45b) Miksi kaikki firmat eivät näy vertailussa?

1(2)

86

48b) Mistä löydän ammattinharjoitusliitteen?

55b) Missä vaiheessa hoitoa omavastuuosuus pitää maksaa?

58b) Miten palveluntarjoaja voi tehdä muutoksia järjestelmässä?

62b) Palvelusetelini meni umpeen, miten saan siihen jatkoa?

65b) Mistä palveluntarjoaja löytää sääntökirjan?

90b) Miten pystyn muuttamaan tietojani palveluntarjoajana?

90c) Miten pystyn poistamaan tietojani palveluntarjoajana?

98b) Miten varaan ajan hammaslääkärille palvelusetelillä?

99b) Mistä näkee hintojen vertailutiedot?

101b) Mistä saa tietoa palveluntarjoajien vaatimuksista?

123b) Muutin pois Helsingistä, voinko käyttää palveluseteliäni?

vastattu: asiakas

vastattu: palvelutuottaja

178b) Tarvitsenko pankkitunnuksia palvelusetelien käytössä?

179b) Mistä pankkitunnukset tai mobiilitunnuksen saa?

180b) Voiko palveluntuottajia vertailla ilman pankkitunnuksia?

181b) Mitä tietoja tarvitaan, kun varaan palvelusetelillä aikaa hammashuoltoon?

183b) Jos haluan lopettaa palvelusetelilääkärin antaman hoidon, mitä pitää tehdä?

186 b) Haluan antaa palvelusetelin potilaalle, mistä palvelusetelien myöntämisohjeet löyty-vät?

196b) Mistä tiedän, kauanko palvelusetelini on voimassa?

202b) Miten palvelusetelin omavastuuosuudet voi maksaa?

205b) Miten palvelusetelin tunnus syöteään tietokoneelle?

210 b) Löytyykö yhden pinnan täyte -tunnuksella palvelusetelikoodia?

211 b) Löytyykö ientulehdukselle tai paradontiitille palveluseteliä?

213b) Mikä tämän 8FA10 koodin hoito on?

215b) Voiko palvelusetelin tarjoamaa hoitoa ottaa vastaan vain osittain?

218) Mikä on OSVA?

2(2)

87

Kiitos, että otat osaa palvelumme kokeiluun. Chatbottia tulee vielä kehittää. Muutamaan kysymykseen se osaa jo vastatakin. Olet arvokas apu kehityksessä, kysy chatbotilta palvelusetelistä. Jos se ei osaa vastata, siirtyy vastaaminen Helsingin palvelukeskuksen työntekijöille, jotka auttavat sinua. Pääset eteenpäin alla olevasta osoitteesta. www.hel.fi/helsinginpalvelusetelit - valitse osio ”Olen saanut palvelusetelin”

Palveluseteli lähetetään aina postitse. Toimituksessa saattaa kestää 1–2 viikkoa. Älä siis huoli, palvelusetelisi on matkalla. Mikäli sinulla on kysyttävää, voit olla yhteydessä suun terveydenhuollon keskitettyyn ajanvaraukseen, p. 09 3105 1400.

Setelissä on myös www-sivu www.hel.fi/helsinginpalvelusetelit, jonka kautta saat lisää tietoa ja pääset vertailemaan palveluntuottajia ja varaamaan itsellesi ajan sopimushammaslääkärille. Palveluseteli myönnetään aina tiettyihin toimenpiteisiin, jotka näkyvät palvelusetelissä

Kun haluat vertailla palveluntuottajia verkossa, siirry Parasta palvelua -sivustolle. Näet sinulle maksettavaksi jäävän summan vertailulistan kohdassa Omavastuu.

Kun olet löytänyt itsellesi sopivimman hammaslääkärin, voit varata ajan puhelimitse. Hammaslääkärin numeron löydät vertailusivulta. Kerro heti puhelun aluksi, että olet saanut palvelusetelin.

Jos sinulle jää vielä kysyttävää tai sinulla on vastaanoton jälkeen vielä tarvetta hoidolle, ota yhteyttä keskitettyyn ajanvaraukseen, p. 09 3105 1400.

Liite 2

Liite 2. Asiakasohje Suunterveydenhuollon Palveluseteliasiakkaalle

LIITE 2. ASIAKASOHJE SUUNTERVEYDENHUOLLON PALVELUSETELI-

ASIAKKAILLE CHATBOTISTA

88

LIITE 3a TAULUKKO. VASTAUKSEN ASIAAN KUULUVUUS BOTILLE ESITETTYYN KYSYMYKSEEN

89

LIITE 3b TAULUKKO. AVAINSANOJEN JA VASTAUKSEN ASIAAN KUULUVUUS BOTILLE

ESITETTYYN KYSYMYKSEEN

90

LIITE 4a TAULUKKO. TEEMAN SISÄLTÄMÄT VASTAUKSET JA ESITETTYJEN KYSYMYSTEN SUHDE

91

LIITE 4b TAULUKKO. TÄYDENTÄÄ TAULUKON 4A ESIMERKKIÄ VASTAUKSEEN LIITETYISTÄ AVAINSANOISTA JA ESI-

TETYISTÄ KYSYMYKSISTÄ