Asiakkaat kirjastopalvelujen arvioijina

Aki Kangas

Arviointi on osa kirjastopalvelujen suunnittelun ja toteuttamisen kokonaisuutta

• suunnittelu – toteutus – arviointi– toimintaympäristön haasteet ja asiakkaiden tarpeiden

tunnistaminen– toiminta-ajatus, visio, strategiat, toimintasuunnitelmat,

resursointi– palvelujen suunnittelu – palvelujen toteuttaminen ja tarjoaminen– palvelujen arviointi – palvelujen kehittäminen arvioinnin perusteella

• ei-lineaarinen tapahtumasarja – käytännössä eri vaiheet käynnissä samanaikaisesti

Miksi arvioida kirjastopalveluja

• arviointi on kehittämisen ja tavoitteiden toteutumisen seurannan väline

• johtamisen ja suunnittelun väline• normiohjaus on vähentynyt

– tavoiteperusteinen ohjaus – edellyttää asetettujen tavoitteiden toteutumisen arviointia

• kirjastopalvelujen kehittämisen vuoksi • kirjastopalvelujen olemassaolon oikeutuksen vuoksi• Saarti: ”Arviointi ei ole arvostelua.”

Toimintasuunnittelun perusmalli

Haasteet ja asiakkaiden

tarpeet

Toiminta-ajatus ja visio

Suunnittelu Toteutus Arviointi

Eri toimijat kirjastoympäristössä

Toiminta-ajatus ja visio

Toteutus

Haasteet ja asiakkaiden tarpeet

Suunnittelu

Arviointi

Kirjaston kehysorganisaation hallintojärjestelmä: poliitikot, päättäjät,

rahoittajat

Kirjaston johto / hallinto

Kirjaston työntekijät

Kirjaston asiakkaat

Kirjaston muut sidos-ryhmät: mm. kustantajat, järjestelmä-toimittajat

Kirjastopalvelut eri tasoilla

Kansainvälinen tasoKansallinen tasoKirjastosektoritasoAlueellinen tasoKirjaston ja kehysorganisaation tasoToimipistetasoOsasto-, tai toimintotaso

Arvioinnin lähtökohdat eri kirjastosektoreilla

• yleiset kirjastot• kunnat vastaavat kirjastopalveluiden toteuttamisesta• lääninhallitukset toimivat valtion aluehallintoviranomaisina

• Seuraavat ja edistävät kirjasto- ja tietopalveluja sekä arvioivat niiden saatavuutta ja laatua opetusministeriön kanssa

• yleisten kirjastojen arvioinnista säädetään kirjastolaissa

• yliopistot ja ammattikorkeakoulut• kirjastojen hallinnosta, rahoituksesta ja toiminnasta päättää

kyseinen organisaatio

• erikoiskirjastot• toiminnasta päättää itsenäisesti organisaatio, johon kirjasto

kuuluu

Arvioinnin peruskysymykset ja arvioinnin tehtävät

• Mitä halutaan arvioida• Millä mittarilla arvioinnin kohdetta kuvataan• Millä perusteilla päätetään, kuinka paljon ja missä

suhteessa arvioinnin tuottama tulos poikkeaa tavoitteeksi asetetusta tuloksesta

• Toiminnan nykytason määrittäminen• Ongelmien ja kehittämiskohteiden tunnistaminen ja

tutkiminen• Aiemman, nykyisen ja tavoitellun tason vertailu• Päämäärien ja tavoitteiden seuranta

Savolainen, 1991

Arvioinnin suunnittelu

• Määrittele tavoitteet• Mitä tietoa tarvitaan • Miten tietoa aiotaan käyttää• Miten mitataan• Millä menetelmillä arviointiaineisto kerätään• Mahdollisen otoksen määrittäminen

– Esim. kokoelma tai käyttäjät• Tutkimusaineiston keruun suunnittelu• Tulosten esittämisen suunnittelu• Arvioinnin kustannusten arviointi

Arviointimenetelmiä

• tilastot, kyselyt• haastattelut, havainnointi• itsearvioinnit, benchmarking• ulkopuolinen arviointi

• käytännössä hyödynnetään useita eri menetelmiä• menetelmän ei tulisi olla itsetarkoitus• menetelmä- vai informaatiolähtöisyys• Menetelmä tai tiedonkeruu itsessään ei riitä:

– TOIMENPITEET, TIEDOTUS

Arvioinnin ulottuvuuksia

• taloudellinen ja toiminnallinen tehokkuus– esim. kirjastolle suunnattujen resurssien tarkoituksenmukainen

käyttö– taloudellisuus ja tuottavuus

• asiakaspalvelu tai jokin palvelun osa-alue– esim. kirjaston tarjoaman tiedonhankinnan opetus, kirjaston

tarjoaminen kokoelmien arviointi

• kirjaston sisäiset prosessit ja käytännöt– kuten henkilöstön osaaminen ja työhyvinvointi

• yhteiskunnallinen vaikuttavuus– kirjastopalvelujen vaikutukset asiakkaisiin

Kirjasto- ja asiakasnäkökulma

• kirjasto organisaationäkökulmasta, mm.– panokset ja tuotokset– prosessien toimivuus– tuottavuus– henkilöstönäkökulma ja työtyytyväisyys

• asiakkaan kannalta– tyytyväisyys– vaikuttavuus

Kari, Jarkko (2008) Yliopistokirjastojen tutkimustarpeet

Tyytyväisyys ja vaikuttavuus

• ” Asiakastyytyväisyys on asiakkaan palveluun kohdistuvien odotusten ja hänen saamiensa kokemusten välinen suhde”.

• ” Vaikuttavuus on hyötyä, vaikutusta, merkityksiä, tai muutoksia, joita (kirjasto)palvelu aiheuttaa käyttäjissään tai yhteisöissään”

• Vaikuttavuuden aikajänne: välittömät vaikutukset, pidemmän aikavälin vaikutukset

• Rajavaara: vaikuttavuusyhteiskunta

Bertot & McClure Kirjastopalvelujen vaikuttavuuden arviointi

• Käsittää kirjaston palvelujen käytön aiheuttaman vaikutuksen (impact), hyödyn (benefit), merkityksen (difference) tai muutoksen (change) käyttäjässä, ryhmässä tai organisaatiossa

• Määrittyy kirjaston palveluille jo niiden suunnitteluvaiheessa annettujen tavoitteiden ja tarkoitusten mukaan– Mutta: muista myös odottamattomat ja yllättävät vaikutukset!

Kirjasto- ja asiakasnäkökulmat

• kirjastonäkökulma: asiakas kirjastossa • asiakasnäkökulma: kirjasto osana asiakkaan elämää

asiakassuuntaunut kirjastonäkökulma

• Kuka määrittelee tyytyväisyyden, vaikutukset sekä halutun tason?– vrt. kirjasto määrittelee hyvän palvelun kriteerit– hyvä palvelu on sitä, minkä asiakas määrittelee

hyväksi palveluksi

Mitä asiakaskeskeisyys edellyttää?

• otetaan asiakkaat mukaan palvelujen kehittämiseen• hankintaan ja hyödynnetään tietoa asiakkaiden

nykyisistä ja tulevista tarpeista• vastuun ottamista asiakkaiden tarpeista ja reagoidaan

informaatioon– responsiivisuus – byrokraattisuus

• toimintojen ja toimijoiden välistä koordinointia• valitaan keinot joilla parhaiten voidaan vastata

asiakkaiden tarpeisiin

• Ylikoski (1997): Unohtuiko asiakas

Asiakaskeskeisyyden puuttumisen merkkejä

• organisaatio pitää palvelujaan ilman muuta asiakkaita kiinnostavina

• epäonnistumiset laitetaan asiakkaiden huolimattomuuden tai välinpitämättömyyden piikkiin

• asiakastutkimuksia ei tehdä lainkaan tai niitä ei hyödynnetä kehittämistyössä

• ei ymmärretä, että eri asiakasryhmillä on erilaisia tarpeita

• Ylikoski (1997): Unohtuiko asiakas

Mistä asiakkaat voivat kertoa?

• palvelujen käyttötavoista ja –tottumuksista

• palvelujen tärkeydestä ja merkityksestä

• tyytyväisyydestä palveluihin• palvelujen vaikutuksista

Millä eri tavoilla asiakkaat voivat näistä asioista kertoa?

• eri tapoja, mm.– palautelomakkeet yms.– lomakekysely– haastattelut, ryhmähaastattelut– päiväkirjat, kertomukset ja muistelmat– havainnointi – asiakaspalvelutilanteet– yhteydenotto viran- tai toimenhaltijaan tai “päättäjiin”

Asiakaskyselyt kirjastoissa

• kansainväliset formaatit• kansalliset kyselyt• alueelliset kyselyt• paikalliset kyselyt

• kirjastopalvelut • kirjastopalvelut yhdessä jonkun muun esim.

vapaa-aikatutkimusten kanssa

Lomakekyselyn etuja

• taustainformaatio ja kysymykset kaikille samassa muodossa

• hyvä tavoitettavuus mahdollinen• neutraalius vrt. esim. haastattelu- tai

asiointitilanteeseen• anonymiteetti (jos taustatietojen kerääminen on

suunniteltu hyvin)• nopea ja edullinen tiedonkeruumenetelmä

Lomakekyselyn rajoituksia

• kysymykset voidaan ymmärtää väärin• ei osaa sanoa –vastaukset, ”tyhjät”

vastaukset• alhaiset vastausprosentit• lomakkeen täyttäjästä ei voi olla varma• vastaajan ”kevyt” suhtautuminen kyselyyn

Kyselyprosessi

• koko kyselyprosessin suunnittelu– toteutustavan suunnittelu– kyselylomakkeen sisällön ja rakenteen

suunnittelu– lomakkeen testaus ja muokkaus– vastausten kerääminen– aineiston järjestäminen– aineiston analyysi– toimenpiteiden määrittäminen– raportointi– toimenpiteiden toteutumisen seuranta

TIEDOTUS

Kyselyprosessin suunnittelu

• ensin yleinen hyväksyntä kyselylle, sitoutuminen– tarvitaanko kyselyä?

• suunnitelma kyselyn tavoitteista, mitä tehdään• kuka tekee mitäkin

– mm. mitä tehdään itse, mitä ulkoistetaan?

• aikataulutus• resurssointi • vastuut ja valtuudet• aiemmista kyselyistä oppiminen• tutkimusmenetelmäosaaminen

Toteutustavan suunnittelu

• paperilomake, verkkokysely vai molemmat• onko käytettävissä kehysorganisaation työvälineitä• kaikkea ei tarvitse tehdä itse:

– keskittäminen tai ulkoistaminen• suunnittelun ja toteutuksen koordinointi• tekninen toteutus, kyselylomakkeet• yhteenvedot ja analyysit

– paikallisesti• tulkinta• toimenpiteiden suunnittelu kyselyn perusteella • tiedottaminen asiakkaille ja sidosryhmille

Lomakkeen sisällön suunnittelu

• mitä halutaan selvittää, mihin haetaan vastauksia– ei turhia kysymyksiä

• organisaatio- vai asiakaslähtöinen näkökulma?• ketkä haluavat saada tietoa kyselyllä• yksiselitteiset kysymykset ja vastausvaihtoehdot• kysytään vain yhtä asiaa kerrallaan• aikaisempien kyselyjen hyödyntäminen• lomakkeen pituus, visuaalinen ilme

– testataan lomake ennen varsinaista kyselyä– ei voi korjailla tiedonkeruun jälkeen

Kansallinen käyttäjäkysely

Kyselylomake

• taustatiedot• kirjastopalvelujen käyttöä koskevat kysymykset• kirjastopalvelujen tärkeyttä ja onnistumista koskevat

kysymykset• Tyydyttääkö pelkkä asiakastyytyväisyys?

• kirjastopalvelujen vaikutuksia koskevat kysymykset

• kysymystyyppejä– taustakysymykset– suljetut:

• asteikot, monivalinnat, järjestyskysymykset…

– avoimet kysymykset

Kansallinen käyttäjäkysely

Taustatiedot ja kirjastopalvelujen käyttö

• taustatiedot– sukupuoli, ikä, koulutus, elämäntilanne

• kirjastopalvelujen käyttö– kirjastossa asiointi paikan päällä

• käyntikerrat, mitä tehdään paikan päällä

– verkkopalvelujen käyttö• mitä verkkopalveluja käytetään, kuinka usein

Kansallinen käyttäjäkyselyTärkeyttä ja onnistumista koskevat kysymykset

• 3.1 Kirjastopalvelut ovat luonteva osa elämääni

• 3.2 Kirjaston sijainti on sopiva• 3.3 Kirjaston aukioloajat ovat

sopivat• 3.4 Kirjaston tilat vastaavat

tarpeitani• 3.5 Kirjaston tietokoneet vastaavat

tarpeitani• 3.6 Kirjasto tiedottaa palveluistaan

riittävästi• 4.1 Kirjaston tarjoamat aineistot

vastaavat tarpeitani• 4.2 Kirjaston tarjoamat

verkkoaineistot (elektroniset lehdet, elektroniset kirjat, verkkosivut) vastaavat tarpeitani

• 4.3 Kirjaston aineistot ovat ajantasaiset

• 4.4 Kirjastossa on riittävästi lainattavaa aineistoa

• 5.1 Kirjaston henkilökunta osaa neuvoa minua kysymyksissäni

• 5.2 Kirjaston henkilökunta osaa opastaa tietokoneiden ja laitteiden käytössä (esim. Internetin käyttö)

• 5.3 Kirjaston henkilökunta on helposti tavoitettavissa

• 5.4 Kirjaston henkilökunta on palveluhaluista

• 6.1 Kirjaston tarjoamat verkkopalvelut vastaavat

• tarpeitani• 6.2 Asiointi kirjaston

verkkopalvelujen avulla on• toimivaa• 6.3 Kirjaston verkkosivuilta löydän

helposti etsimäni• 6.4 Verkkopalvelujen käyttöohjeet

ovat selkeitä

Kansallinen käyttäjäkyselyKirjastopalvelujen vaikutuksia koskevat kysymykset

• tarvittavan tiedon löytyminen• tiedonhankintataitojen parantuminen• työskentelyn / opiskelun nopeutuminen• työskentelyn / opiskelun laadun parantuminen• tietoteknisten taitojen kehittyminen• lukemis- ja kulttuuriharrastusten tukeminen• virikkeet vapaa-aikaan ja harrastuksiin• sosiaaliset kontaktit• elämänlaadun paraneminen

Vastausten kerääminen

• verkkolomakkeen avaaminen käyttäjille, paperilomakkeen jakelu

• vastaajien motivointi– vastauspyyntö

• kyselyn tarkoitus, miksi kysely tehdään • miten kyselyllä kerättyä aineistoa käytetään• anonymiteetti

– aktivointi ja muistutus ennen kyselyn päättymistä• vastausten kerääntymisen seuranta

– miten vastauksia kertyy eri vastaajaryhmistä, motivoinnin tarve

• kyselyn päättäminen

Aineiston järjestäminen

• aineiston edustavuuden arviointi• ”vajaat” vastauslomakkeet

• määrällisen aineiston järjestäminen, esim.– keskiarvot, vastausten jakaumat– ristiintaulukoinnit

• laadullisen, avoimen palautteen tyypittely • avoimen palautteen määrällistäminen

Analyysi ja toimenpiteet

• toimenpiteiden määrittely– mihin ryhdytään nimenomaan kyselyn perusteella– mitkä toimenpiteet olisi tehty joka tapauksessa– mitä jätetään tekemättä

• toimenpiteet toimintasuunnitelmaan– toimenpiteet– mittarit– tavoitetasot– organisointi ja vastuut

• toimenpiteistä ja tavoitteista tiedottaminen asiakkaille ja sidosryhmille

Tiedotus

• mukana koko prosessin ajan• tiedotussuunnitelma• keille tiedotetaan, kohderyhmät• mitä kanavia käytetään• tiedotuksen sisältö • aikataulutus• millä kielellä tiedotetaan

Toimintamalleja

• keskitetty toteutus– yhteinen toteutus– ainakin osittain yhteinen kyselylomake

• alueellisesti koordinoitu– paikalliset vastuutahot koordinoivat– ainakin osittain yhteinen kyselylomake – yksi tai useampi alue kimpassa mukana, kerätään

tiedot yhteen paikkaan tai julkaisuun• hajautettu toteutus

– kukin huolehtii itse– voi olla yhteisiä kysymyksiä, mutta ei yhteistä

koordinointia

Arviointitiedon käyttö kirjastotoimea koskevassa päätöksenteossa. Kohderyhmänä kunnallispoliitikot

• kohderyhmänä kunnallispoliitikot• tausta: asennoituminen kirjastoon

– motiivit osallistua kunnallispolitiikkaan, mielikuvat– poliittinen vakaumus– käsitys kirjaston asemasta yhteiskunnassa– omakohtainen kokemus kirjastopalveluista ja palvelujen käytöstä– kirjastoalan kehityksen ja keskustelun seuraaminen

Malinen (2001). Kunnallispoliitikkojen kirjastotoimea koskevat tiedontarpeet ja –hankintatavat. Tapaustutkimus Tampereelta

Päätöksentekotilanteet

• rutiinipäätökset– kuten budjettiesitys, kirjastojen aukioloajat,

henkilökunnan määrä ja palkkaus, päätökset kirjastoissa perittävistä maksuista

• laajemmat hankkeet– kirjastotilojen rakentaminen, korjausrakentaminen,

kirjastojärjestelmien hankinta

Tiedontarpeet

• faktatiedon tarve– kirjastojen käyttömenot ja investoinnit, toiminnan

tehokkuutta ilmasevat tunnusluvut– tunnusluvut “valmista” ja yksiselitteistä tietoa– yleensä ainutkertaista, tilannesidonnaista, tavoite-

keino -ajattelu

• taustoittavan tiedon tarpeet– ei välttämättä välitöntä yksittäisen päätöksen

tekemiseksi, helpottaa tilanteen kokonaisvaltaista hahmottamista

Tiedon kriteerit ja tiedonlähteet

• tiedon kriteerit:– ajantasaisuus, luotettavuus ja relevanssi, kirjastojen asiakkaan

näkökulma– tiedon “puolueettomuus” ja “neutraliteetti”

• tiedonlähteet:– lautakuntien kokoukset, mm. esityslistat, kirjaston

toimintakertomus, tilinpäätös, tilastot– henkilölähteet: kirjastotoimenjohtaja ja kirjastotyöntekijät,

kuntalaiset, omat asiantuntijakontaktit

– Kunnallinen tiedottaminen, ulkopuolinen tiedottaminen täydentävä

– Henkilölähteiden merkitys kasvaa edetessä päätöksenteon hierarkiassa ylöspäin