Arvioinnin kArtAllA

matka teoriasta käytäntöön

M e r v i A a l t o - K a l l i o | P a u l a S a i k k o n e n | P i r j o K o s k i n e n - O l l o n q v i s t

TERVEYDEN EDISTÄMISEN KESKUSCENTRET FÖR HÄLSOFRÄMJANDEFINNISH CENTRE FOR HEALTH PROMOTION

Terveyden edistämisen keskuksen julkaisuja 7/2009ISSN 1455-5964

ISBN 978-952-205-039-7

Kansi ja taitto: Taina Leino, Vitale Ay

Painopaikka: Kehitys Oy, Pori 2009

3

Saatteeksi

”Pitäisi olla kartta, jonka mukaan arvioinnin kentällä olisi mahdollista suun-nistaa.” Tämän JÄRVI-hankkeen arviointifoorumissa esitetyn toiveen siivittä-mänä tätä julkaisua lähdettiin ideoimaan.

Arviointia voidaan toteuttaa monin eri tavoin. Tästä syystä kuva arvioinnin kokonaisuudesta saattaa jäädä pirstoutuneeksi. Eri palasten sidokset toisiinsa ja osana kokonaisuutta ovat joskus hankalia hahmottaa. Lisäksi arviointiin lii-tetään lukuisia, joskus vaikeitakin käsitteitä. Arvioinnista on kirjoitettu monia hyviä käsikirjoja ja muita julkaisuja1 niin suomeksi kuin englanniksikin. Li-säksi tietoa erilaisista suunnittelun ja arvioinnin työmenetelmistä on löydettä-vissä monista internet-lähteistä2. Arvioinnista saatavasta tiedosta huolimatta arviointi on saattanut jäädä toiminnasta irralliseksi.

Syitä arvioinnin irrallisuuteen on ainakin kaksi. Ensinnäkin arvioinnin pi-täisi olla mukana alusta asti, toiminnan tai hankkeen suunnitteluvaiheesta lähtien. Muuten arvioinnista tulee helposti päälle liimattua, eikä siitä saada aidosti tukea toimintaan tai hankkeen toteutukseen. Arviointiin joudutaan käyttämään suhteessa enemmän voimavaroja kuin jos se olisi otettu mu-kaan heti toiminnan tai hankkeen käynnistämisvaiheessa. Toiseksi arvioin-tia tehdään helposti totutun kaavan mukaisesti käyttämättä sen enempää aikaa arviointikysymyksiin. Arvioinnissa saatetaan hyödyntää hyväksi ha-vaittua työmenetelmää, vaikka se ei olisi paras mahdollinen arviointikysy-myksen kannalta. Hyvä arviointi edellyttää oikeita kysymyksiä ja niihin kat-tavia vastauksia.

Idea arvioinnin kartasta syntyi Albaekin (ks. Arviointi sosiaalipalveluissa 2001, 20) arvioinnin pääsuuntaukset sisältävästä nelikentästä. Albaekin malli oli erinomainen lähtökohta arvioinnin kokonaisuuden tarkasteluun. Tätä

1 ks. esim. JÄrvi-hankkeessa tuotettu julkaisu näkökulmia järjestöarviointiin ja terveyden ja hyvinvoinnin laitoksen (ent. Stakes Finsoc) arviointiryhmän laatimat käsikirjat ja julkaisut sekä Sosiaaliportti.fi Hyvä käytäntö -sivustot.

2 ks. esim. JÄrvi-hankkeen työkalut (www.jarjestoarviointi.fi/) ja työterveyslaitoksen menetelmäpakki (sisältää työolojen arviointi- ja kehittämismenetelmiä) (www.ttl.fi/).

4

nelikenttää soveltamalla, täydentämällä ja muokkaamalla syntyi lopulta alkuperäistä mallia enää hämärästi muistuttava arvioinnin kartta. Arvioinnin kartassa on kaksi puolta: teoria ja käytäntö. Kuten yleensä, teorian tavoite on kuvata ilmiön yleiset piirteet, taustat ja merkitys. Teoriasta on apua käytännön ratkaisujen ja valintojen tekemisessä. Kirjan kolmas osio tarjoaa tukea yksittäis-ten arviointikysymysten ratkaisuissa kuvaamalla erilaisia arvioinnin aineis-toja ja työmenetelmiä.

Arvioinnin kartan tavoitteena on kuvata kokonaisuutta ja osoittaa, miten erilaiset arvioinnin teoreettisella taustalla vaikuttavat ilmiöt suuntaavat ar-viointia käytännössä. Arvioinnin kartassa teoria ja käytäntö ovat saman asian kaksi eri puolta ja muodostavat yhdessä kokonaisuuden.

Kartta on pelkistetty malli, joka on muokattu nykyiseen muotoonsa vai-heittain tämän julkaisun työstämisen aikana. Tiettävästi tämän tyyppistä mal-lia tai karttaa ei ole aiemmin ainakaan Suomessa luotu. Kartta on eräänlainen prototyyppi, joka toivon mukaan jalostuu sitä paremmaksi mitä enemmän sitä käytetään ja sovelletaan käytännön arviointityössä. Muistutamme, että kartta on pintaraapaisu arvioinnin teorian ja käytännön monimuotoisuudes-ta. Se antanee kuitenkin riittävät ainekset suunnitella ja toteuttaa toimintaan kiinnittyvää arviointia.

John Fisken (1992, 58–59) kuvaus erilaisten karttojen ja mallien luonteesta sopii hyvin myös arvioinnin kartan kuvaamiseen. Fisken mukaan kartat jäl-jentävät vain valittuja piirteitä kohteestaan. Tiekartassa esille nousevat eri sei-kat kuin samaa aluetta kuvaavasta maastokartasta. Kartta ei voi kuvata koh-dettaan täydellisesti. Kartan valintaan liittyy tarkoitushakuisuus. Tiekartan avulla autoilija löytää oikean tien, maastokartan avulla marjastaja mahdolli-sesti hyvät sieni- tai marja-apajat. Tässä julkaisussa muotoilemme arvioinnin kartan, joka kuvaa saman asian kahta eri puolta. Teoreettinen kartta (luku 2.5) kiteyttää arvioinnin teoreettiset lähtökohdat, menetelmällinen kartta (luku 4.1) on saman asian käytännöllinen puoli.

Julkaisu on tarkoitettu kaikille arvioinnista kiinnostuneille ja arviointia to-teuttaville, vaikka arviointia tarkastellaan terveyden edistämisen näkökulmas-ta ja esimerkit liittyvät sosiaali- ja terveysjärjestöjen toiminnan arviointiin. Jul-kaisu sopii erityisesti niille, jotka ovat ensimmäistä kertaa astumassa arvioin-nin äärelle ja pohtivat, mistä tulisi lähteä liikkeelle, mitä tulisi arvioida, miten ja milloin.

5

Kaikki haluavat tehdä työnsä hyvin. Arvioinnin tehtävä on auttaa teke-mään työtä paremmin ja saavuttamaan asetetut tavoitteet. Lisäksi arvioinnin avulla oppii. Me uskomme, että jokainen osaa arvioida. Arviointi ei edellytä pitkää teoreettista oppimäärää, jotta siihen voi tarttua. Arvioinnin kartta on tehty apuvälineeksi arvioinnin ymmärryksen ja arvioinnin toteutuksen tueksi.

Suosittelemme julkaisun läpilukemista, jonka jälkeen sitä on helppo käyt-tää käsikirjamaisesti. Käsikirjamaisuuden vuoksi julkaisussa on jonkin verran toistoa ja ristikkäisviitteitä. Toivomme, että mahdollisimman monet arvioin-nin kentällä suunnistajista saavat kartasta toimivan aputyökalun. Kenties jos-sakin vaiheessa kartta osoittautuu tarpeettomaksi. Sitä ei enää tarvita perille löytämiseksi ja tarkoituksenmukaisen arvioinnin toteuttamiseksi. Reitti on tullut tutuksi.

Julkaisun kirjoittaminen on ollut tekijöillekin yhdenlainen matka muiden matkojen lomassa. Toisinaan olemme olleet enemmän, toisinaan vähemmän kartalla. Eksymistä harhapoluille on tapahtunut. Toisinaan kompassia on tar-vittu aika lailla, jotta johonkin päätelmään on päästy. Välillä on ollut suvanto-vaiheita. Erilaisten rastien ääriltä syntyi rikasta keskustelua ja kompromissi-ratkaisuja on tehty. Pienistä palasista syntyi kokonaisuus, yksi rasti johti toiseen ja lopulta määränpää löytyi.

Mutta kukapa matkaa taittaisi yksin? Tähän julkaisuun on saatu suurta apua Terveyden edistämisen keskuksen laatu- ja arviointiryhmän asiantunti-joilta sekä joukolta ulkopuolisia kommentaattoreita, jotka ovat antaneet hyvää ja rakentavaa palautetta. Kiitokset korvaamattomasta avusta.

10.12.2009 Alppitalossa Helsingissä

Mervi Aalto-KallioPaula SaikkonenPirjo Koskinen-Ollonqvist

6

1 Johdanto: Arvioinnin tarkoitus ja tarpeet ....................................................... 9

I Osa: Teoria kaiken perustana

2 ARVIoInnIn KARTTA: TEoRIA ................................................................. 14 2.1 Arviointi ja terveyden edistäminen .......................................................14 2.2 ohjelmateoria toiminnan ja arvioinnin lähtökohtana .......................16 2.3 Arvioinnin etiikasta ja arvioitsijan rooleista ........................................22 2.4 Arvioinnin neljä lähestymistapaa ..........................................................27 2.5 Arvioinnin teoreettinen kartta ...............................................................36

Ydinkohdat ............................................................................................................. 41

II Osa: Silta teorian ja käytännön välillä

3 ARVIoInnIn ASKELEILLA TEoRIASTA KÄYTÄnTöön ..................... 44

Ydinkohdat ............................................................................................................. 55

Sisällys

7

III Osa: Näkyväksi tekevä käytäntö

4 ARVIoInnIn KARTTA: KÄYTÄnTö .......................................................... 58 4.1 Arvioinnin menetelmällinen kartta .......................................................58 4.2 Arvioinnin aineistot .................................................................................61 4.3 Erilaiset työmenetelmät arvioinnin tukena ..........................................74 4.3.1 osallistava arviointi ........................................................................75 4.3.2 Tapauskohtainen arviointi .............................................................85 4.3.3 Prosessiarviointi ..............................................................................95 4.3.4 Tulosten ja vaikutusten arviointi ................................................104 4.4 Arvioinnin raportointi ...........................................................................111

Ydinkohdat ........................................................................................................... 112

5 ARVIoInnIn KARTTA APunA ARVIoInnIn TuLEVAISuudESSA .......................................................... 114

Lähteet ................................................................................................................... 117Sanasto ................................................................................................................... 120Liitteet .................................................................................................................... 123

9

Johdanto: Arvioinnin tarkoitus ja tarpeet

Tänä päivänä arvioinnilta ei voi välttyä. nykyisellä tilivelvollisuuden aika-kaudella kaikkea toimintaa tulee seurata, tarkastella ja arvioida. Arviointiin sisältyy myös toiminnan parantamisen tavoite. Arviointi on jonkin asian ar-von tai ansion määrittelyä ja tämä ominaisuus erottaa sen tutkimuksesta, joka liittyy perinteisesti kuvaamiseen, selittämiseen ja ymmärtämiseen ilman ar-vottamista (Robson 2001, 24–25).

Arvioinnista pitää hyötyä, silloin se on kannattavaa. Arvioinnissa kerättyä tietoa käytetään usein toiminnan kehittämisessä, laajentamisessa tai siitä luopumisessa. Tietoa käytetään myös vaikutusten osoittamiseen. Arviointi on keino oppia ja kehittyä omassa työssään. Lisäksi se on väline osoittaa oikeu-tus niille valinnoille, mitä missäkin tilanteessa on tehnyt.

Arvioinnin perustana on ymmärrys arvioitavasta ohjelmasta, hankkeesta tai toiminnasta3, jota arvotetaan asetettujen yksilöllisten, yhteisöllisten ja yh-teiskunnallisten odotusten pohjalta. Arviointia varten tarvitaan tietoa ohjel-man sisällöistä, siihen liittyvästä teoriasta ja keskeisistä käsitteistä. Arvioinnin tulisi kiinnittyä alusta asti ohjelman toteutukseen. Arvioinnilla sinänsä ei voi saada aikaan tuloksia. Tulokset syntyvät siinä ohjelmassa, jota arvioidaan. Ar-viointi on tapa arvottaa ohjelman toimintoja tai kokonaisuutta eli kertoa missä on onnistuttu tai missä olisi parantamisen varaa. Arvioinnin tuella annetaan kehittämissuosituksia tai osoitetaan toiminnan tuloksellisuus ja vaikutus. Sen avulla voidaan vastata myös kysymykseen siitä, käytetäänkö olemassa olevat resurssit parhaalla mahdollisella tavalla. Tässä mielessä voidaan ajatella, että ohjelma on isäntä ja arviointi sen renki.

Arvioinnin tarkoituksena voi olla vastata kysymyksiin: minkälainen ohjelma on, miten hyvin se toimii ja olivatko ohjelman tulokset siihen panostettujen

3 tässä julkaisussa ei nähdä periaatteellista eroa ohjelman, hankkeen tai toiminnan arvioinnissa. Jatkossa emme kuitenkaan luettele jokaisessa kohdassa erikseen kaikkia kolmea vaihtoehtoa, vaan kirjoitamme pääosin ohjel-mien arvioinnista.

1

10

resurssien arvoisia. Arvioinnin suunnittelu alkaa arvioinnin tarkoituksen ja tarpeiden määrittelyllä ja perustelulla. Mitä arvioidaan ja miksi arvioidaan? Kun tiedetään arvioinnin tarpeet ja tarkoitus, edetään arvioinnin suunnitte-luun, jonka pohjalta arviointi lopulta käytännössä toteutetaan. Arviointiin liittyy aina useampia henkilöitä ja se palvelee monia ihmisiä. Arvioinnin on ensisijaisesti palveltava arvioitavaa ohjelmaa, sen toimintoja ja kohteena ole-via henkilöitä. Toissijaisesti arvioinnin tehtävä on palvella muita ammattilai-sia tai organisaatioita. Pelkästään rahoittajaa varten tehtävä arviointi ei ole eettisesti kestävällä pohjalla. ohjelman toteutuminen parhaalla mahdollisella tavalla on kaikkien asianosaisten etu, niin ohjelman toteuttajien, ohjelman kohderyhmän, muiden mahdollisten organisaatioiden kuin rahoittajienkin.

Arvioinnin tarkoitus ja tarve on aina suhteutettava käytettävissä oleviin osaamis-, henkilö- ja taloudellisiin resursseihin. Arvioinnissa olennaista ei ole se, että arvioidaan kaikkea mahdollista ja käytetään monenlaisia arvioinnin aineistoja ja työmenetelmiä. on toki suositeltavaa käyttää erilaisia aineistoja ja työmenetelmiä, mutta se ei ole itsetarkoitus. Mikäli ison hankekokonaisuu-den arviointiin on käytettävissä vain muutaman päivän työpanos kuukaudes-sa, arviointia suunniteltaessa kannattaa harkita, arvioidaanko koko hanketta pintapuolisemmin vai syvennytäänkö tarkemmin yhden keskeisen asian ar-viointiin.

Arvioinnissa määrä ei ole yksiselitteisesti laadun mitta. Arvioinnin onnis-tuminen ei riipu siitä, että sen avulla on pystytty osoittamaan toivottu muu-tos, onnistuminen tai tavoitteiden saavuttaminen. Arviointi on onnistunut myös silloin, kun on kyetty osoittamaan, miksi jokin asia ei onnistunut tai miksi tavoitteita ei saavutettu. Tällöin arviointitiedon myötä toimintaa suun-nataan uudestaan ja kehitetään paremmaksi ja siten tuloksekkaammaksi.

Tässä julkaisussa esitetään arvioinnin kartta, joka sisältää arvioinnin teo-rian ja käytännön. Arvioinnin kartan tavoitteena on auttaa hahmottamaan ar-viointia kokonaisuutena, jossa teoria ja käytäntö kulkevat käsi kädessä. Ta-voitteena on luoda ymmärrys siitä, miten arviointiin liittyvät teoreettiset taus-tat ohjaavat arvioinnin käytännön toteuttamiseen liittyvien valintojen ja rat-kaisujen tekemistä. Vaikka julkaisussa puhutaan teoreettisesta ja menetel-mällisestä kartasta eri yhteyksissä ja omissa luvuissaan, ne muodostavat silti yhden kokonaisuuden. Arvioinnin kartta on kuin kolikko; sillä on kaksi puolta.

11

Arvioinnin perusasiat ja käytännöt ovat pitkälti samoja riippumatta ar-vioinnin kohteesta. Toisin sanoen arviointi edellyttää arviointikysymysten ja kriteerien määrittelemistä. Lisäksi tarvitaan aineistoa, jonka pohjalta arvioin-ti tehdään ja raportointia, jotta arvioinnin tuloksia voidaan hyödyntää käy-tännössä. Tässä mielessä samat arviointiprosessiin liittyvät seikat pätevät, on sitten kysymys kenkätehtaan toiminnasta tai muistisairauksien ehkäisystä. Hyvä arviointi edellyttää kuitenkin toimintaympäristön ja arvioitavan ilmiön jonkinlaista ymmärrystä. ohjelman toteuttajilla on todennäköisesti hyvä ym-märrys toimintaympäristöstä, jossa arviointi suoritetaan. Tästä syystä ohjelman arviointi sisäisesti, eli ohjelman toteuttajien toimesta, on suositeltavaa. Käsil-lä oleva julkaisu pyrkii antamaan juuri sisäiseen arviointiin aputyökaluja. Toi-sinaan voidaan myös tarvita ulkopuolista arviointia, jolta toivotaan aidosti lisäarvoa ohjelmalle. Tällöin olennaista on, että ulkoisella arvioitsijalla on riit-tävä ymmärrys arvioinnin kohteesta ja sen toimintaympäristöstä.

Julkaisun lähtökohta on, että arviointia opitaan tekemällä. Kuten missä ta-hansa asiassa käytännön työtä auttaa se, että ymmärtää tekemisen taustalla olevista asioista ensin tiettyjä perusasioita. Teoria ei korvaa käytännön koke-musta, mutta teorian tunteminen auttaa käytännössä. Arviointia on mahdol-lisuus toteuttaa paremmin, kun sitä tuntee hieman teoriassa. Ennen autolla ajamista on käytävä ensin autokoulun teoriatunnit, jotta saa käsityksen liikenne-säännöistä. Teorialla on käytännön merkitystä.

Tässä julkaisussa olemme alkuun kuvanneet arvioinnin kartan teoriaa, jon-ka tarkoitus on lisätä arvioinnin ymmärtämystä ja ohjata käytäntöön siirty-mistä. Mikäli teorian jättää väliin ja siirtyy suoraan käytännön menetelmälli-seen karttaan, saattaa arvioinnin kokonaisuus jäädä hahmottumatta. Kun on tutustunut kertaalleen arvioinnin teoreettiseen karttaan, voi jatkossa siirtyä helpommin suoraan käytännön kysymyksiin.

Julkaisu on kirjoitettu terveyden edistämisen arviointiin kiinnittyvästä näkökulmasta. Julkaisussa on kolme osaa. Ensimmäisessä osassa käsitellään arvioinnin kartan teoriaa ja esitetään arvioinnin teoreettinen kartta. Teoriaa tarvitaan, kun yritetään ymmärtää arviointia ilmiönä. Tähän julkaisuun on nostettu valikoiden ja rajatusti joitakin teoreettisia lähtökohtia siten, että olen-naiset arvioinnin käytännön toteutukseen vaikuttavat asiat tulevat käsitel-lyiksi. Lähdeviitteet on pyritty tuomaan selkeästi esille, jotta lukijalla on mah-dollisuus tutusta alkuperäisiin lähteisiin ja laajentaa tietämystään.

12

Arvioinnin kartan teoreettisen osan aluksi kuvataan arvioinnin merkitystä terveyden edistämisessä. Tämän jälkeen kerrotaan ohjelmateoriasta ja koros-tetaan toiminnan suunnittelun tärkeyttä arvioinnissa. Seuraavaksi pohditaan arvioinnin etiikkaa ja kerrotaan arvioitsijan erilaisista rooleista ja tehtävistä. Lopuksi kuvataan arvioinnin neljä lähestymistapaa (kokeellinen, kehittävä, konstruktivistinen ja kriittinen) ja näkökulmaa (tulosten ja vaikutusten arvioin-nin, prosessiarvioinnin, osallistavan arvioinnin ja tapauskohtaisen arvioinnin näkökulma). osion päätteeksi esitetään kartta (s. 37), joka kiteyttää arvioinnin teoreettisen puolen.

Toisessa osassa rakennetaan arvioinnin kymmenen askeleen kautta silta arvioinnin teoriasta käytäntöön. Kymmenen askelta auttavat laatimaan toi-mivan, johdonmukaisen ja teoriasta käytäntöön kiinnittyvän arviointisuunni-telman.

Kolmannessa osassa kuvataan arvioinnin kartan käytännön puolta eli esi-tetään arvioinnin menetelmällinen kartta. Tämän jälkeen kerrotaan arvioinnin aineistoista. Käytäntöön syvennytään tutustumalla osallistavan arvioinnin, tapauskohtaisen arvioinnin, prosessiarvioinnin ja tulosten ja vaikutusten ar-vioinnin eri työmenetelmiin. Arvioinnin teoreettisen kartan lähestymistavat ovat työmenetelmien taustana.

Julkaisussa käydään läpi jokaisesta arvioinnin näkökulmasta muutaman työmenetelmän käytännön toteutus yksityiskohtaisesti ja esitetään tähän liit-tyvä esimerkki. Julkaisussa on turvauduttu esimerkkien käyttöön asioiden konkretisoimiseksi. Esimerkit ovat keksittyjä ja kuvitteellisia, vaikka ne voi-vat osittain pohjautua todellisuuteen. niiden keskeinen tarkoitus on avata lu-kijoille sitä, mitä käytännönläheinen ja toimintaan sidoksissa oleva arviointi on. Toivottavasti esimerkit rohkaisevat tarttumaan käytännön arviointityöhön etenkin, jos ne tuntuvat läheisiltä ja omaan toimintaan liittyviltä.

13

I TeOrIA KAIKeN PeruSTANA

14

Arvioinnin kartta: teoria

2.1 Arviointi ja terveyden edistäminenEnnen arviointia on olennaista tuntea toimintaympäristö, jossa toimii ja johon arviointi kiinnittyy. Tässä luvussa kuvataan terveyden edistämistä, siihen liit-tyvää toimintaympäristöä ja arvioinnin merkitystä siinä. Moni sosiaali- ja terveysjärjestö toimii hyvinvoinnin ja terveyden edistämiseen liittyvässä toi-mintaympäristössä, jossa toiminnan ja siihen liittyvien käsitteiden konkreti-sointi on joskus vaativaa. useat asiat ilmenevät terveyden edistämisen tavoin monitasoisesti ja näyttö toiminnan vaikuttavuudesta on haasteellista osoittaa. Vaikka tämä asettaa arvioinnille lisähaastetta, se tekee siitä samalla sitäkin tärkeämpää ja merkityksellisempää. Tästä syystä toimintaympäristön tunte-minen on välttämätöntä.

Terveyden edistäminen on keino vaikuttaa ihmisten terveyteen ja hyvin-vointiin. Terveyttä kuvataan eri tieteenalojen ihmis- ja terveyskäsitysten näkökulmasta, yhteiskuntapolitiikan ja terveellisen ympäristön näkökulmas-ta. Sitä voidaan kuvata myös yksilön omina kokemuksina ja käsityksinä. (Esim. Lahtinen, Koskinen-ollonqvist, Rouvinen-Wilenius & Tuominen 2003, 20.) Terveyden edistämiseen läheisesti liittyviä tieteenaloja ovat yhteiskunta-tieteet, käyttäytymistieteet ja lääketieteet. Lääketieteessä korostuu erityisesti sairauksien hoidon hallinta. Yhteiskunnallinen näkökulma terveyteen liittyy hyvinvoinnin, elämänlaadun ja terveyden tasa-arvon toteutumisen osoitta-miseen. Sosiologiassa ihmistä tarkastellaan sosiaalisena toimijana, jolloin ter-veyttä määrittää ihmisen kyky toimia ja selviytyä sosiaalisissa rooleissaan. Humanismin näkökulmassa ihmisillä on kyky sopeutua myönteisesti elämän ongelmiin. (Esim. Lahtinen, Koskinen-ollonqvist, Rouvinen-Wilenius, Tuo-minen & Mittelmark 2005, 306–315; Rouvinen-Wilenius & Koskinen-ollon-qvist 2004, 42–44.) Terveyden edistämisen monitieteisyyden vuoksi käytän-nön työ ei rajaudu yhden tieteenalan edustajan tai ammattilaisen työksi, vaan se toteutuu parhaimmillaan eri ammattialojen edustajien yhteistyönä (Savola & Koskinen-ollonqvist 2005, 46).

2

15

IT

eO

rIA

KA

IKe

N P

er

uS

TA

NA

Terveyden edistämisen toiminta voi olla terveyttä edistävää, terveyttä suo-jelevaa tai sairauksia ehkäisevää. Lääketieteellisessä terveyskäsityksessä pää-huomio on sairauksissa. Tällöin on kyse sairauksien ja ennenaikaisen kuollei-suuden ehkäisystä eli preventiosta. Positiivinen terveyden edistäminen liittyy terveysvarannon kasvattamiseen, jolloin puhutaan laaja-alaisesta terveyden edistämisestä eli promootiosta. Terveyden edistämisessä on kysymys yksilön terveydestä ja sen taustatekijöistä. näitä ovat esimerkiksi ikä, elinolot, sosio-ekonominen tausta sekä ihmisen mahdollisuudet vaikuttaa sosiaaliseen ja fyysiseen ympäristöönsä. Terveyden edistämisessä painotetaan ihmistä aktii-visena toimijana ja osallistujana. olennaista on mieltää terveyden edistämi-nen laajana yhteiskunnallisena toimintana, jonka avulla lisätään ihmisten ky-kyä ja mahdollisuutta ottaa vastuuta omasta terveydestään. (Esim. Lahtinen ym. 2003, 20; Savola & Koskinen-ollonqvist 2005, 11–16.)

Terveyden edistämisen tavoitteina ovat mahdollisuuksien luominen, muu-toksen aikaansaaminen ja terveyttä suojaavien ja vahvistavien tekijöiden yllä-pito. Mahdollisuuksien luominen tarkoittaa ympäristön rakenteisiin vaikut-tamista ja terveyden edellytysten parantamista (Vertio 2003, 29). Tarkoitukse-na on luoda mahdollisuus yksilöä ja yhteisöä suojaaville tekijöille riskitekijöi-tä vähentävien valintojen vahvistamiseksi (Savola & Koskinen-ollonqvist 2005, 14). Pyöräteiden rakentaminen ja terveellisen välipalan tarjoaminen kouluissa ovat esimerkkejä mahdollisuuksien luomisesta. Muutoksen aikaan-saamiseksi edellytyksenä sen sijaan on yksilöiden ja yhteisöjen perustarpei-den tyydyttyminen. Muutokseen pyrkiminen on mahdollista silloin, kun yk-silöllä on riittävästi terveyttä suojaavia tekijöitä, jolloin riskitekijöiden vaiku-tus pienenee. näissä tilanteissa ihmisellä on useimmiten kyky ja halu muut-taa omaa terveyskäyttäytymistään paremmaksi. Terveystiedon opettaminen on esimerkki muutoksen aikaansaamisesta. Lisäämällä oppilaiden terveys-osaamista saadaan aikaiseksi positiivista terveyskäsitystä sekä voidaan en-naltaehkäistä riskikäyttäytymistä ja muuttaa terveyden kannalta epäsuotuisia käyttäytymistapoja. Vahvistaminen tarkoittaa terveyttä suojaavia tekijöitä tu-kevien rakenteiden luomista, niiden vahvistamista ja ylläpitoa jo saavutetulla tasolla. (Rouvinen-Wilenius & Koskinen-ollonqvist 2004, 42–44.) Terveyspalve-luiden ylläpitäminen ja kehittäminen ovat esimerkkejä vahvistamisesta.

Terveyden edistämisessä arvioinnilla on tärkeä merkitys. Yhteiskunnan varoilla toteutettavalta terveyden edistämiseltä edellytetään yhä enemmän

IT

eO

rIA

KA

IKe

N P

er

uS

TA

NA

16

arviointia sen onnistumisesta, tuloksellisuudesta ja vaikutuksista. Haasteeksi terveyden edistämisen arvioinnin tekee sen monimuotoisuus, jolloin terveyden edistämistä arvioinnin kohteena on tarkasteltava moniulotteisena ilmiönä. Ar-vioinnilla on mahdollisuus saada tärkeää tietoa terveyden edistämistä koskevan päätöksenteon tueksi. (Koskinen-ollonqvist, Pelto-Huikko & Rouvinen-Wile-nius 2005, 5; Savola, Pelto-Huikko, Tuominen & Koskinen-ollonqvist 2005, 4.)

Yhä useammin edellytetään varmaa näyttöä minkä tahansa ohjelman tai toiminnan tuloksellisuudesta. Todellisuudessa monet asiat kietoutuvat yh-teen. Haaste terveyden edistämisen ohjelmilla on se, että ei voida tarkkaan osoittaa, mitkä kaikki tekijät vaikuttavat mihinkin. Vaikka näytön osoittami-nen puhtaimmillaan olisikin hankalaa tai joissain tapauksissa jopa mahdoton-ta, arvioinnille on silti paikkansa. Järjestelmällinen arviointitiedon tuottami-nen antaa välineitä perustella terveyden edistämisen työtä tuomalla sen pro-sessit, tavoitteet, tuotokset ja vaikutukset näkyviksi. Terveyden edistämisen arvioinnin tarkoituksena on parantaa ohjelmia, hankkeita sekä toimintaa ja tätä kautta tehostaa näytön saamista. Se puolestaan parantaa terveyden edis-täjien suorituskykyä ja lisää ohjelmien tuottavuutta. Arviointi on myös keino terveyden edistämisen politiikan, ohjelmien, käytänteiden, intervention tai palvelujen arvon tai vaikutuksen määrittämiselle. Lisäksi arviointi tarjoaa mahdollisia muutossuosituksia. (Savola ym. 2005, 7.)

2.2 Ohjelmateoria toiminnan ja arvioinnin lähtökohtanaArvioidaanpa mitä tahansa toimintaa tai ohjelmaa ja missä toimintaympäris-tössä tahansa, toiminnan suunnittelu sekä toiminnalle ja sen arvioinnille luotu ohjelmateoria ovat keskeisiä. Parhaimmillaan arviointi kytkeytyy toimintaan alusta asti juuri ohjelmateorian kautta, kun tehdään perusteluja valinnoille miksi ja miten ohjelman oletetaan toimivan.

Toiminta ja arviointi rakentuvat ohjelmateorian pohjalta. ohjelmateoria on keino jäsentää toiminnan etenemistä, siihen liittyviä syy-seuraussuhteita ja oletuksia siitä, millä edellytyksillä toiminta voi saavuttaa tavoiteltuja tuloksia ja muutoksia. Syy-seuraussuhteiden jäsentämisessä voidaan hyödyntää tie-teellistä teoriaa, mutta se voi yhtä hyvin perustua omiin käsityksiin ja koke-muksiin tai olla näiden yhdistelmä.

17

IT

eO

rIA

KA

IKe

N P

er

uS

TA

NA

ohjelmateoria auttaa valitsemaan loogisen päättelyketjun valitun pää-määrän, tavoitteen, keinojen, prosessien, tehtävän, tulosten ja tuotosten välil-lä. Se osoittaa arvioitavan ja tarkasteltavan kohteen suhteen: johtaako yksi syy yhteen seuraukseen vai voiko arvioitavan ja kohteen välillä olla useita syitä ja seurauksia (ks. myös dahler-Larsen 2005).

Yksinkertaisimmillaan kyse on sen kirkastamisesta, miksi uskomme, että suunniteltu toiminta johtaa odotettuun tulokseen. ohjelmateorian avulla luo-daan tietoa ohjelmasta, sen toimintaympäristöstä ja sisällöstä, siihen liittyvästä teoriasta ja keskeisistä käsitteistä. Lisäksi sen laatimisessa joutuu pohtimaan ei-toivottuja vaikutuksia ja tekijöitä, jotka saattavat olla esteenä toivotun tu-loksen saavuttamiseksi. ohjelmateorian merkitys osana toiminnan ja arvioin-nin suunnittelua on tästä syystä hyvin olennainen. ohjelmateorian laatiminen edellyttää jonkin verran työtä, mutta se kannattaa.

ohjelmateoria voi tuntua osin vaikealta käsitteeltä, mutta se on vakiintu-nut osaksi arviointeja. ohjelmateorian miltei synonyyminä käytetään termiä toimintalooginen malli, joka nimenä kertoo paremmin, mistä on kyse. Toisin sanoen arvioinnissa on välttämätöntä tietää, minkälainen logiikka toiminnan taustalla on. ohjelmateorialla ja toimintaloogisella mallilla on myös eronsa ja ne ovat toisiaan täydentäviä. Eroihin ja yhtäläisyyksiin ei tässä pureuduta sen tarkemmin. niistä ovat kirjoittaneet mm. Peter dahler-Larsen4 (2005) ja Huey T. Chen5 (2005), jonka käsityksiä ohjelmateoriasta ja toimintaloogisesta mallis-ta Pekka Borg (2005, 22–27) on tiivistänyt teoksessa Arviointi työtavaksi.

Terveyden edistämisen keskuksessa on laadittu ja käytetty toiminnan arvioin-nin ja suunnittelun Suunta-työkalua6, joka auttaa laatimaan ohjelman suunnitel-masta johdonmukaisesti etenevän kokonaisuuden, jossa eri osa-alueet ja -toimin-not ovat loogisessa suhteessa keskenään. Suunta-työkalu on sovellus Logical Framework Matrix7 -mallista ja sisältää ohjelmateoriaan liittyviä tekijöitä.

4 Dahler-larsen (2005) tarkastelee vaikuttavuuden arvioinnin mallin osana ohjelmateoriaa ja sen käytännön to-teutusta. Dahler-larsenin teos sisältää Chenin (2005) muutosmallin elementtejä.

5 Chen (2005) jäsentää ohjelmateorian toimintamallista ja muutosmallista, jossa toimintamalli sisältää oletukset siitä, minkälaisella intervention toimeenpanolla ja tuella muutosmallin prosessit voivat toimia. Muutosmalli on kuvaileva teoria, jossa osoitetaan syy-seuraussuhteiden vaikutukset.

6 taulukon 1 vasen sarake sisältää Suunta-työkaluun sisältyviä tekijöitä. Suunta-työkalu on omana työkalunaan saatavissa terveyden edistämisen keskuksen internet-sivuilta vuonna 2010.

7 ks. esimerkiksi kehitysyhteistyöjärjestöjen EU-yhdistyksestä, kehys ry:n kotisivuilta (http://www.kehys.fi/ eu-rahoitus/tyokalut/projektisuunnittelu).

IT

eO

rIA

KA

IKe

N P

er

uS

TA

NA

18

Taulukossa yksi on pyritty ottamaan huomioon arvioinnin suunnittelun taustaksi tarvittava toiminnan suunnitelma ja siihen kytkeytyvä ohjelmateoria. Taulukkoon on pyritty yksinkertaistamaan ja pelkistämään toiminnan suun-nittelun, ohjelmateorian ja toimintaloogisen mallin idea siten, että se olisi helppo ottaa käyttöön toiminnan ja arvioinnin arjen suunnitteluun. Taulukon kokoamisessa on sovellettu ja hyödynnetty yllä mainittuja lähteitä ja Suunta-työkalua. ohjelmateoriassa käytetään tyypillisesti nuolia osoittamaan asioi-den välisiä suhteita. Tässä yhteydessä on laadittu taulukko, jossa ajatuksena on edetä ylhäältä alas.

Hyvin merkittävää ohjelmateorian laatiminen on silloin, kun arvioidaan vaikutuksia tai vaikuttavuutta. dahler-Larsen (2005) on kuvannut Vaikutta-vuuden arviointi -käsikirjassa ohjelmateoriaa. Mikäli tulosten tarkastelu-vaiheessa huomataan, ettei tavoitteita saavutettukaan, palataan tarkastele-maan ohjelmateoriaa. ohjelmateoriasta nähdään, toimittiinko tavalla, joka oli suunniteltu tavoitteeseen pääsemiseksi. ohjelmateoriasta nähdään myös, oli-vatko syyt mahdolliseen epäonnistumiseen toiminnan suunnittelussa vai vai-kuttiko taustalla mahdollisesti muutosta estäviä tekijöitä, joita ei osattu toi-minnan aikana ottaa huomioon. (dahler-Larsen 2005, 38–41.) ohjelmateorian merkitys nousee keskeiseksi juuri siitä syystä, että siinä arvioinnin suunnitte-lu etenee ohjelmasta käsin nousevista arvioinnin tarpeista ja perusteluista eikä arvioinnin menetelmällisistä lähtökohdista.

Tässä julkaisussa käytetään käsitettä ohjelmateoria, koska se on arvioinnissa yleisesti käytössä oleva käsite. Yhtä hyvin tai jopa paremminkin tässä yhtey-dessä voisi puhua esimerkiksi toiminnan teoriasta tai toiminnan suunnittelus-ta. Monet ovat varmasti ohjelmia suunniteltaessa tehneet eräänlaista ohjelma-teoriaa tietämättä koko käsitteestä mitään. Käsitteen määrittelyä tärkeämpää onkin ymmärrys siitä, mihin tämänlaista jäsennystä tarvitaan. ohjelmateorian merkitystä toiminnan ja arvioinnin suunnittelussa halutaan korostaa, sillä se on lähtökohta arvioinnin suunnitteluun ja toteutukseen. Arvioinnin suunnit-teluun palataan luvussa kolme tarkemmin. Tätä ennen arvioinnin suunnitte-lua helpottaa huomattavasti, kun tietää tiettyjä perusteita arvioinnista ja sen teoriapohjasta.

19

IT

eO

rIA

KA

IKe

N P

er

uS

TA

NA

Toiminnan suunnitelma

Ohjelmateoreettiset kysymykset

Käytännön esimerkki: Vapaaehtoistyöntekijöiden tukeminen ja uusien vapaaehtoisten lisääminen

tarpeen määrittely Mistä tarve nousee?•Mitä ongelmia tulisi •lievittää tai ratkaista?Millainen näkemys •toimeksiantajalla on tarpeesta (mikäli tarve nousee ulkopuolelta)?ketkä kuuluvat ja millä •perusteella toiminnan kohderyhmään? Millaisia erityispiirteitä kohderyhmän suhteen tulisi mahdollisesti huomioida?

tiettyä sairautta sairastavien jäsenhenkilöiden tukihenkilöksi tarvittavien vapaaehtoistyöntekijöiden määrä on vähenemässä. Samalla tukihenkilöä kaipaavien jäsenten määrä on lisääntynyt viimeisten vuosien aikana. Uusia vapaaehtoisia tulisi saada lisää ja olemassa olevien vapaaehtoisten työtä motivoida ja kannustaa. Ensisijaisesti halutaan panostaa jo olemassa olevien vapaaehtoisten jaksamiseen ja haluun jatkaa toimintaa. kohderyhmässä on tarpeen huomioida heidän keski-ikänsä ja oma muuttuva elämäntilanteensa ja jaksamisensa.

keskeiset toimijat ja tahot

taustatekijöiden määrittäminen

Mikä taho vastaa ohjelman •toimeenpanosta? Mikä taho mahdollistaa •resurssit toiminnalle? Millaisessa ympäristössä •toimitaan? Millä ympäristöön liittyvillä tekijöillä voi olla vaikutusta ohjelman toteutukselle?keitä yhteistyötahoja •osallistuu toteutukseen?Missä määrin ja millä •tavalla eri tahot toimivat? Millaisin edellytyksin eri •tahot toimivat? Mitä erityispiirteitä ne asettavat toiminnalle?

toimeenpanevana organisaationa toimii järjestö, jonka vapaaehtoistyöntekijät ovat tukena sairaille jäsenhenkilöille.toiminta rahoitetaan ulkopuolisen rahoittajan avustuksella.vapaaehtoistyöntekijöiden toimintaympäristö vaihtelee, mikä tulee ottaa huomioon. vapaaehtoiset voivat toimia sairaaloissa, tukea tarvitsevien kotona tai sairauden tilan salliessa missä tahansa. lisäksi tulee huomioida välimatkat, jotka saattavat olla pitkiä joidenkin tukihenkilöiden ja tukea tarvitsevien välillä. keskeisenä yhteistyötahona toimii pitkäaikainen kumppani, hyvinvointikoulutusta tarjoava organisaatio.käytännössä toimeenpaneva organisaatio koordinoi ja vastaa toiminnasta sekä toimii yhtenä kouluttajana. Yhteistyötaho vastaa ennalta sovitulla tavalla tietyiltä osin toiminnan toteutuksesta. onnistunut aiempi yhteistyökokemus vahvistaa luottamusta yhteistyön toimivuudesta.

Päämäärän asettaminen kysymys siitä, mitä ohjelmalla halutaan saavuttaa pitkällä aikavälillä.

Miten ja millaiset arvot •ohjaavat päämäärän asettamista? Millä panoksella juuri •toimeenpaneva organisaatio pystyy vastaamaan päämäärän saavuttamiseen?

Päämäärä: vapaaehtoistyöntekijöiden reservin ylläpitäminen ja lisääminen.keskeisiä arvoja toiminnassa ovat erityisesti tuki ja välittäminen, itsenäisyyden ja ihmisarvon kunnioitus sekä luottamus.toimeenpaneva organisaatio pystyy vastaamaan päämäärään kiinnittämällä huomiota omien vapaaehtoisten hyvinvointiin ja antamalla vertaistukea heille sekä panostamalla rekrytointiin, jolla uusia vapaaehtoisia saadaan mukaan toimintaan.

Taulukko 1. Toiminnan suunnitelma ja ohjelmateoria esimerkin avulla avattuna.

20

Toiminnan suunnitelma

Ohjelmateoreettiset kysymykset

Käytännön esimerkki: Vapaaehtoistyöntekijöiden tukeminen ja uusien vapaaehtoisten lisääminen

tavoitteen ja tavoitteiden täsmentäminentavoitteiden tulee olla konkreettisia ja muotoiltu niin, että tavoitteen toteutuminen (joko kokonaan, osittain tai ei lainkaan) on mahdollista todeta. kysymys siitä, mitä ohjelmassa halutaan saavuttaa lyhyellä aikavälillä.

ovatko tavoitteet •päämäärän kanssa yhteensopivia ts. mahdollistavatko tavoitteet päämäärän saavuttamisen?Miten paljon resursseja •tarvitaan toiminnan toteuttamiseen?Millaiseen kokemukseen/ •uskomukseen/ tietoon tavoitteiden valinta pohjautuu?

Päämäärä on mahdollista saavuttaa seuraavien tavoitteiden kautta:

selvitetään vapaaehtoistyöntekijöiden lähtötilanne•jatkokoulutetaan olemassa olevia •vapaaehtoistyöntekijöitäjärjestetään heille hyvinvointi- ja motivaatiopäiviä•luodaan rakenne vapaaehtoistyöntekijöiden •vertaisringiksi järjestetään tilaisuus, jossa kerrotaan •vapaaehtoistyöstä ja pyritään innostamaan uusia vapaaehtoistyöntekijöitä mukaan toimintaan

resursseja koulutukseen, hyvinvointipäiviin, vertaisrinkien toimintaan ja tilaisuuksien järjestämiseen tarvitaan x euroa. Summa perustuu tehtyihin laskelmiin.

keinojen ja prosessien valinta keinot ovat asioita, joihin keskittymällä pyritään saavuttamaan hankkeen tavoite.keinot on hyvä jäsentää erillisiksi toiminta-prosesseiksi.

ohjelmateorian lähteetMiten ja miksi valittu •toiminta vaikuttaa?Millainen tieto (tieteellinen •tieto, käsitykset, kokemukset) perustelee sitä, että näin toimimalla tavoitteet saavutetaan?

vaikutussuhteiden tarkasteluMitä teemme ja miten •uskomme sen vaikuttavan (usea eri toimenpide saa aikaan saman vaikutuksen ja/tai yksi toiminta saa aikaan useita eri vaikutuksia)?

Suhde tavoitteisiin ja päämääriin

onko jokaiselle tavoitteelle •löydettävissä keinot ja prosessit, joilla tavoite on mahdollista saavuttaa?

Esimerkinomaisesti kuvataan keinona jatkokoulutuspäivä ja sen prosessikuvaus

koulutuksen suunnittelu yhteistyössä kumppanin 1. kanssa etukäteiskyselyssä esille nousseiden tarpeiden pohjalta (aika, paikka, sisältö, materiaali) koulutustilan ja tarvittavien välineiden 2. varaaminen ja tarjoilujen tilaaminen koulutuskutsun lähettäminen (sis. ohjelman, ajan, 3. paikan, ilmoittautumisohjeet ja tiedon, miten järjestö tukee koulutukseen osallistumista esim. matkan ja majoituksen suhteen rahallisesti)koulutusmateriaalin laatiminen4. koulutuspäivän toteuttaminen 5.

Aiempi kokemus koulutusten ja hyvinvointi- ja motivaatiopäivien järjestämisestä tukee tarvetta vastaavien päivien lisäämiseen. Erityisesti aikaisemmin toteutetussa vapaaehtoisille suunnatussa kyselyssä ilmeni tarve jatko-koulutukselle. kouluttamisen avulla lisätään osaamista ja ymmärrystä sekä vaihdetaan kokemuksia, mikä tukee vapaaehtoistyön tekemistä ja jaksamista.Uskotaan aikaisemman kokemuksen pohjalta, että koulutus 1) aktivoi tällä hetkellä passiivisia vapaaehtoisia pienimuotoiseen toimintaan, 2) auttaa vapaaehtoistyöntekijöitä jaksamaan ja toimimaan vapaaehtoisina, 3) luo vapaaehtoisille ymmärryksen siitä, miten tärkeitä he ovat ja miten arvokasta työtä he tekevät

21

IT

eO

rIA

KA

IKe

N P

er

uS

TA

NA

Toiminnan suunnitelma

Ohjelmateoreettiset kysymykset

Käytännön esimerkki: Vapaaehtoistyöntekijöiden tukeminen ja uusien vapaaehtoisten lisääminen

tehtävien tarkempi määrittely kysymys prosessien pilkkomisesta erillisiksi tehtäviksi ja käytännön toteutuksesta: kuka, mitä, missä, milloin?

Miten toiminta käytännössä •toteutetaan?Mitä edellytyksiä tarvitaan •toiminnan toteuttamiseksi?

tähän voisi kuvata tarkemmin esim. koulutuspäivän ohjelman yksityiskohtaisemmin (kuka, mitä, mihin aikaan ja missä?)

Syntyvien tuotosten ja tulosten kuvaus ja odotettu muutos

Mitä tuotoksia on •tarkoitus saada aikaiseksi? Mitä ovat lyhyen •aikavälin tulos-odotukset? (viittaus tavoitteisiin)Mitä ovat pitkän •aikavälin tulos-odotukset? (viittaus päämäärään)Mikä muutos/mitä •muutoksia pitäisi toiminnalla saada aikaan?

Miten tuotokset ja tulokset •vastaavat asetettuja tavoitteita?Millaisia muutoksia saatiin •aikaiseksi ja vastasivatko ne odotuksia? väliin tulevien tekijöiden •huomiointiMitkä muutosta edistävät •tekijät tulisi ottaa huomioon? Mitkä muutosta estävät •tekijät tulisi huomioida? Miten niiden vaikutusta voidaan vähentää?Millaisia sivuvaikutuksia •toiminnan toteutuksella voi mahdollisesti olla?

tuotokset koko toiminnassa:arviointi, arviointiin liittyvä materiaali, joka tukee •vapaaehtoistoiminnan kehittämistäkoulutus, siihen liittyvä materiaali•hyvinvointi- ja motivaatiopäivät, niihin liittyvä •materiaalivapaaehtoistyöntekijöiden tukirinki ja rakenne, •jolla toimintaa ylläpidetääntilaisuus, jossa aktivoidaan uusia •vapaaehtoistyöntekijöitä

tulokset:lyhyen aikavälin tulosodotukset:•

olemassa olevat vapaaehtoiset aktivoituvat ja –uusia saadaan rekrytoitua lisää

Pitkän aikavälin tulosodotukset:•vapaaehtoistyöntekijäreservi pysyy –aktiivisisena ja heidän jaksamistaan ja tarpeitaan seurataan vapaaehtoiset kokevat työnsä merkittäväksi, –olevansa arvokkaita ja saavansa työhönsä tarvittaessa tukea

odotettavat muutokset: saadaan lisättyä tukihenkilöiden motivaatiota, •jaksamista ja hyvinvointia olemassa olevat vapaaehtoistyöntekijät •aktivoituvat siten, että passiiviset (käytännössä vain rekisterissä olevat) sitoutuvat toimimaan tukihenkilönä (aktiviisuus: 8 tapaamiskertaa/vuosi)saadaan rekrytoitua 10 aktiivista tukihenkilöä •vuoden aikana

Muutosta edistäviä tekijöitä:arvioinnin kautta oikeisiin asioihin panostaminen•onnistunut lähestyminen ja vapaaehtois-•työntekijöiden kohtaaminen aito kiinnostus ja panostus vapaaehtois-•työntekijöihin

Muutosta estäviä tekijöitä:väärä ajoitus, väärä paikka •olemassa olevien vapaaehtoistyöntekijöiden •elämäntilanteetolemassa olevien vapaaehtoistyöntekijöiden ikä •

22

2.3 Arvioinnin etiikasta ja arvioitsijan rooleista

Arviointi on arvon määrittämistä. Arvon määrittämiseksi tarvitaan kriteeri sille, mikä missäkin tapauksessa on arvokasta. Samat eettiset pelisäännöt, jot-ka koskevat tutkimuksen tekemistä, pätevät pitkälti arvioinnissa. olennaista on tehdä läpinäkyväksi arvioinnista saadut tulokset ja niistä johdetut päätel-mät. Tyhjentävää luetteloa arvioinnissa huomioitavista arvoista ei voida esit-tää. Totuudessa pysyminen, vaade rehellisyydestä ja kanssaihmisten kunnioit-taminen ovat sellaisia arvoja, joiden tulisi toteutua missä tahansa arvioinnissa. (Arviointi sosiaalipalveluissa 2001, 11.) Atjonen (2007) on teoksessaan Hyvä, paha arviointi kirjoittanut monia tärkeitä arviointieettisiä asioita ja kuvannut muun muassa dianna newmanin ja Robert Brownin (1996) määrittämät ar-vioinnin eettiset periaatteet, jotka arvioitsijan tulee tiedostaa arviointia teh-dessään.

dianna newmanin ja Robert Brownin (1996, 37–50) mukaan arvioinnin eettisiä periaatteita ovat oikeudenmukaisuus, vahingon välttäminen, hyvän tekeminen, autonomian kunnioittaminen ja uskollisuus. Arvioinnin eettisissä periaatteissa oikeudenmukaisuus toteutuu arvioitavien reilulla ja tasapuoli-sella kohtelulla. Vahingon välttäminen edellyttää arvioinnin toteuttamista siten, ettei se aiheuta arvioinnin kohteelle haittaa tai vahinkoa. Haittojen vält-täminen koskee nimenomaan liiallisen haitan varomista, ei arvioinnista saatu-jen mahdollisten kielteisten tulosten varomista. Hyvän tekemisen periaatteessa arvioitsija joutuu arviointia tehdessä pohtimaan, millaista hyvää arvioitavas-ta ohjelmasta seuraa eri osapuolille.

Tässä suhteessa ulkoisella ja sisäisellä arvioinnilla on eronsa. ulkoiselle ar-vioitsijalle riittää useimmiten vahingon välttäminen, sisäisen arvioitsijan jou-tuessa pohtimaan arvioinnin prosessia ja tuotosta yhteisen hyvän edistämisen kannalta. Autonomian kunnioittaminen toteutuu arvioinnissa vapautena tehdä itseään koskevia päätöksiä. Arvioinnin kannalta arvioitsijalla on siis oikeus omaan autonomiaan, mutta samalla velvollisuus kunnioittaa muiden autono-miaa. uskollisuudessa on kysymys lupausten pitämisestä ja lojaalisuudesta. Mikäli esimerkiksi haastatteluaineistoa kerätessä luvataan, etteivät vastaajat ole arviointiraportista tunnistettavissa, täytyy tästä pitää kiinni. (Atjonen 2007, 37–49; newman & Brown 1996, 37–50.) Arvioinnin eettisten periaatteiden on to-teuduttava missä tahansa arvioinnissa huolimatta siitä, että jokainen arvioitsija

23

IT

eO

rIA

KA

IKe

N P

er

uS

TA

NA

toteuttaa arviointia lisäksi aina oman ihmiskäsityksenä ja arvopohjansa mu-kaisesti.

Tämän lisäksi arvioinnin tarkoitus asettaa arvioitsijalle erilaisia rooleja ja niihin liittyen erilaisia tehtäviä. Saman ohjelman arvioinnissa arvioitsijalla on hyvin todennäköisesti monia eri rooleja. Alkuaan Strandin (ks. Metcalfe & Richards 1990, 39) julkishallintoon luoma malli ja sittemmin Les Metcalfen ja Sue Richardsin täydentämä (ks. Eduardo Zapico-Goñi 2007, 424) kuvio on yksi tapa jäsentää arvioitsijan erilaisia rooleja ja tehtäviä8. Kuviossa yksi on esitetty malli vapaasti suomennettuna ja muokattuna. Pystysuoran jatkumol-la arvioinnilla joko osoitetaan, että toiminta jatkuu tiettyjä toimintoja ylläpitä-mällä tai arvioinnin tulee osoittaa toiminnan muutostarpeet. Vaakasuoran jat-kumolla arviointi voi kohdistua prosesseihin tai tuloksiin. Riippuen siitä, mitä tarkoitusta varten arviointia tehdään, arviointitehtävä määrittää arvioitsijalle neljänlaisia rooleja ja kuudenlaisia tehtäviä.

8 tehtävän käsitteellä on korvattu Metcalfen ja richardsin sekä Zapico-Goñin teksteissä oleva käsite vastuu (res-ponsible).

Kuvio 1. Arvioistijan roolit ja tehtävät (ks. alkuperäisestä mallista täydennetty versio Zapico-Goñi 2007)

INTEGROIJA(sovittelija/neuvottelija)

tehtävänä kehittäminen

INNOVOIJA(strateginen suunnittelija)

tehtävänä ongelman tunnistaminen ja toimintamalli

HALLINNOIJA(byrokraatti)

tehtävänä prosessien tehokas

toteutuminen

TOTEUTTAJA(toimeenpanija)

tehtävänä talouden ja tuloksellisuuden seuraaminen

MUUTOS

YLLÄPITO

TULOKSETPROSESSIT

24

Kuviossa toiminnan ylläpitoon liittyvä arviointi tarkoittaa käytännössä sitä, että arvioitsijalla on tiedossa tarkasti määritellyt tarpeet ja tavoitteet sekä tunnetut syy-seuraussuhteet valitun toimintatavan ja tulosten välillä. Arvi-ointiin sisältyy käsitys siitä, että toimimalla tietyllä tavalla tulisi saada aikaan odotettuja tuloksia. Kyse on siitä, että voidaan osoittaa toiminnan jatkuvuus ja sen ylläpito sellaisena, mitä siltä odotetaan. (Zapico-Goñi 2007, 422–424.) Esimerkiksi järjestöt ovat kirjanneet toimintasuunnitelmaansa, mitä aikovat tulevan vuoden aikana toteuttaa. Järjestöillä on tiedossa käytettävissä olevat resurssit, joilla tulokset saadaan aikaan. Tarpeet, tavoitteet ja odotetut tulok-set tunnetaan. Muun muassa yhdistysten kokouksissa osoitetaan vuosikerto-muksen välityksellä ja kirjanpidon raportoinnin kautta, että on tehty sitä, mitä on aiottukin. Tällaiseen arviointiin sisältyvät toiminnan talouden, tehokkuu-den ja tulosten seuraaminen. Talous merkitsee oikeita resursseja oikeaan aikaan, oikealla hinnalla, sopivan laadun ja määrän aikaansaamiseksi. Tehok-kuus tarkoittaa toivotun tuloksen saavuttamista sopivilla kustannuksilla ja tulos sitä, missä määrin tavoitteet on saavutettu. Arvioitsijan rooli on tällai-sessa arvioinnissa toimia hallinnoijana tai toteuttajana. (emt. 422–424.)

Kuviossa toiminnan ylläpidon vastakohtana on toiminnan edellyttämä muutos. Muutokseen painottuva arviointi liittyy epävarmoihin tilanteisiin, joissa toimintaympäristössä tapahtuu yllättäviä, ennakoimattomia muutoksia tai muutoksia tapahtuu yhdellä kerralla paljon. näissä tilanteissa arvioitsijan tehtävänä on tuottaa tietoa, joka auttaa vastaamaan uusien ongelmien tuo-miin haasteisiin ja kehittää ohjelman toteuttamista ja uuden toiminnan mää-rittelyä oppimisprosessina. (emt. 422–424.) Esimerkiksi työyhteisöissä tapah-tuvat rakenteelliset muutokset saattavat muuttaa niin toiminnan prosesseja, tiimien vuorovaikutussuhteita kuin ihmisten hyvinvointiakin. osaan muu-toksista voidaan varautua, mutta toisinaan muutokset ovat ennakoimattomia ja niitä tapahtuu yhtäaikaisesti hyvinkin paljon. Tähän arviointiin sisältyvät tunnistamisen kyky, toimintamalli ja kehittäminen. Tunnistamisen kyky tar-koittaa uusien ongelmien tai muutostarpeiden määrittelyä ympäristötekijät huomioon ottaen. Toimintamalli puolestaan merkitsee uusien keinojen löytä-mistä uusien ongelmien tuomiin haasteisiin. Kehittäminen on ohjelman to-teuttamista ja uuden toiminnan määrittelyä oppimisprosessina. Arvioitsijan tehtävänä on toimia innovoivan suunnittelijan tai integroivan neuvottelijan roolissa. (emt. 422–424.)

25

IT

eO

rIA

KA

IKe

N P

er

uS

TA

NA

Arvioitsijan rooleja ja tehtäviä voidaan tarkastella myös sen mukaan, liit-tyykö arviointi prosessien vai tulosten arviointiin. Mikäli arvioinnissa halu-taan tarkastella prosesseja, arvioitsijan tehtävänä on ohjelman integrointi, muutosprosessien kehittäminen ja läpivienti. Prosessiarvioinnissa arvioitsija voi toimia myös hallinnoijana, jolloin hänen tehtävänään on toteuttaa prosessit siten, että saadaan aikaan tavoiteltu ja ennalta päätetty tulos. Mikäli arvioin-nin kohteena ovat prosessien sijaan tulokset, arvioitsijan roolilta voidaan odottaa innovatiivisuutta ja toteutettavan ohjelman sekä osallistujien toimin-nan hallintaa. Tässä tapauksessa arvioitsijan tehtävänä on ongelman ja muutos-tarpeiden tunnistaminen ja sellaisen toimintaotteen löytäminen, joka vastaa uusia tarpeita. Tulosarvioinnissa arvioitsijan rooli on toteuttaja, jolloin hänen tehtävänään on tuloksekkaan ja taloudellisesti toteutetun ohjelman varmista-minen. (emt. 422–424.) Prosessiarviointiin palataan luvussa 4.3.3. ja tulosten arviointiin 4.3.4.

e S I m e r K K I o h j e l m a s t a , j o s s a k a i k k i a r v i o i t s i j a n r o o l i t j a t e h t ä v ä t t o t e u t u v a t

OmAVOImAISTuNeeT PerheeT JA SOSIAALINeN TuKIkolmevuotisen ohjelman tavoitteena oli omavoimaistaa erityistä tukea tarvitsevia perheitä sosiaali-sen tuen ja vertaistuen avulla. toiminnan kohteena olivat omina ryhminään isät, äidit ja lapset sekä perhe yhdessä. kullekin ryhmälle järjestettiin oma vertaisryhmä ja erilaista toimintaa. lisäksi oh-jelmassa mukana olevat perheet muodostivat oman vertaisryhmänsä, johon osallistuivat kaikki perheenjäsenet yhdessä. ohjelmaan oli palkattu projektipäällikkö, projektisuunnittelija ja projekti-sihteeri. ohjelmaan laadittiin toimintasuunnitelma ja ohjelmateoria, johon kiinnitettiin arviointi. Arvioinnissa toteutettiin sekä prosessi- että tulosarviointia. lisäksi siinä esiintyivät niin muutoksen kuin ylläpidonkin ominaisuudet.

Arvioinnin kohteet: prosessit sekä toiminnan muutos ja ylläpito Arvioitsijan tehtävät: prosessien tehokas toteutuminen ja kehittäminenArvioitsijoiden roolit: integroija ja hallinnoijaProsesseihin liittyvää arviointia toteutettiin koko ohjelman ajan. Pääasiallisena arvioinnin toteutta-jana toimi projektisuunnittelija. vertaisryhmien toimintaa seurattiin keräämällä sekä kirjallista että suullista palautetta ryhmätapaamisten aikana ja jälkeen. ryhmien kuuleminen oli keskeistä ja hei-dän osallistamisensa toiminnan kehittämiseen nähtiin motivaation ylläpitämiseksi olennaisena. Palautteiden mukaisesti toimintaa pyrittiin muuttamaan yhä paremmaksi. toiminnassa pyrittiin en-nakoimaan odottamattomia muutoksia jatkuvan prosessiarvioinnin avulla. näin pyrittiin pysymään toi-minnalle asetetuissa tavoitteissa. tässä prosessiarvioinnissa projektisuunnittelijan tehtävänä oli toi-minnan kehittäminen. Projektipäällikkö seurasi, että kaikki toiminnassa suunnitellut ryhmätapaamiset

26

tulivat toteutetuiksi. Projektipäällikön tehtävänä oli näin ollen seurata prosessien tehokasta toteu-tumista suunnitelmien mukaisesti. näin sekä integroijan että hallinnoijan roolit toteutuivat.

Arvioinnin kohteet: tulokset ja toiminnan ylläpitoArvioitsijoiden tehtävät: talous ja tuloksellisuusArvioitsijoiden rooli: toteuttaja ohjelmassa arvioitiin myös tuloksia, koska haluttiin osoittaa toiminnan merkitys ja tätä kautta saa-da edellytykset toiminnan toteuttamiseen myös jatkossa. tulosten arviointi oli osa prosessiarvioin-tia. Arvioimalla prosessia saatiin tärkeää tietoa siitä, miten tuloksiin oli päästy. resurssien puitteis-sa tulosarviointi toteutettiin siten, että ennen vertaisryhmien kokoontumisia tehtiin alkukysely ja haastatteluja, jotka toistettiin samansisältöisinä ohjelman päätyttyä. lisäksi tuloksia arvioitiin suh-teessa prosessin aikana saatuun palautteeseen. Ennen ja jälkeen intervention toteutettava arvioin-ti mahdollisti vertailun siitä, miten vertaisryhmät olivat vahvistaneet erityistä tukea tarvitsevien per-heiden arkea ja sosiaalista hyvinvointia. lisäksi toteutettiin suuntaa antava sosiaalisten vaikutusten arviointi. tällä pyrittiin osoittamaan vertaisryhmien tuloksellisuus ja osittain myös perustelemaan satsattujen kustannusten kannattavuus.Projektipäällikkö ja -suunnittelija tekivät tulosarvioinnin toteuttamalla kyselyn ja haastattelut sekä ennen vertaisryhmien toimintaa että sen jälkeen. näin molempien tehtävänä oli osoittaa toiminnan tuloksellisuus. Projektipäällikön toteuttama sosiaalisten vaikutusten arviointi tuki tätä pyrkimystä. Projektipäällikön ja projektisihteerin tehtävänä oli yhdessä seurata taloutta ja projektin toteutta-mista mahdollisimman tehokkaasti. Samalla varmistettiin kustannusten oikeaoppinen raportointi ra-hoittajalle. näin arvioinnissa toteuttajan rooli toteutui tulosarvioinnin keinoin.

Arvioinnin kohteet: tulokset ja toiminnan muutosArvioitsijoiden tehtävät: ongelman tunnistaminen ja toimintamalliArvioitsijoiden rooli: innovoijaProsessin edetessä havaittiin, että lasten vertaisryhmä ei toiminut suunnitellulla tavalla. toiminta oli epävarmaa ja siinä oli monia haasteita, joita ei osattu ennalta odottaa. Jatkamalla toimintaa ny-kyisellä tavalla oli odotettavissa, että lasten oma ryhmä lakkaa olemasta ja tulokset tämän kohde-ryhmän osalta jäävät saavuttamatta. toimintaa oli siis tältä osin muutettava. Prosessiarvioinnin kautta projektipäällikön ja -suunnittelijan tehtävänä oli tunnistaa ongelma ja muuttaa toimintamal-lia siten, että toiminta lasten ryhmän osalta onnistuisi ja ohjelman avulla saataisiin osoitettua myös tämän vertaisryhmän tuloksellisuus. lasten ryhmälle päätettiin järjestää perinteisten ryhmätapaa-misten sijaan erilaista toimintaa, kuten kuvataideiltoja, lauluhetkiä, seikkailuratoja ym., jotka akti-voivat lapsia perinteisiä ryhmätapaamisia paremmin ottamaan kontaktia ja käsittelemään asioita leikin ja toiminnan avulla. Arvioinnissa tarvittiin innovoivaa roolia toiminnan muuttamiseksi.

omavoimaistuneet perheet ja sosiaalinen tuki on esimerkki ohjelmasta, jossa kaikki arvioitsijan roo-lit ja tehtävät toteutuvat. Samalla ohjelma on esimerkki siitä, miten roolit voidaan delegoida eri toteuttajille. olennaisinta kuitenkin on vuoropuhelu ja se, että toimijat arvioivat ja analysoivat tulok-sia yhdessä.

27

IT

eO

rIA

KA

IKe

N P

er

uS

TA

NA

2.4 Arvioinnin neljä lähestymistapaa

Arvioinnin neljä lähestymistapaa kokoaa arvioinnin valinnanpaikat yhteen. Lähestymistavan valintaan vaikuttaa kaksi asiaa. Ensinnäkin se, miten arvioit-sija ymmärtää arvioitavan kohteen. Toiseksi se, mikä on määritelty arvioinnin tarkoitukseksi. Lähestymistapoja erottaa toisistaan niiden käsitys todellisuu-desta sekä arvioijan ja arvioinnin kohteen välisen tiedonhankinnan suhde. (Shaw 1999, 18–23.) Terveyden edistämisen keskuksen julkaisussa ”Sata tapaa arvioida terveyden edistämistä” (Savola ym. 2005) on eritelty Ian Shawin (1999) nimeämiä lähestymistapoja tarkemmin. Lähestymistavat on nimetty kokeelli-seksi, kehitykselliseksi (vrt. Shawin jälkipositivismi), kriittiseksi ja konstruk-tivistiseksi. Julkaisu on tämän luvun pääasiallinen lähdekirjallisuus.

neljä erilaista lähestymistapaa hahmottavat todellisuutta eri tavoin ja niihin liittyy omanlainen arvioinnin näkökulma. Kokeelliseen lähestymistapaan sisäl-tyy tulosten ja vaikutusten arvioinnin näkökulma. Tässä lähestymistavassa näh-dään todellisuus mitattavissa olevana ja arvioitsijan asema vahvasti ulkopuoli-sena havainnoijana, tarkkailijana. Kehitykselliseen lähestymistapaan sisältyy prosessiarvioinnin näkökulma, jossa todellisuus voidaan kohteesta riippuen nähdä joko mitattavissa olevana tai tulkinnallisena. Tyypillisesti arvioija on suh-teessa kohteeseen ulkopuolinen ja vaikuttaa tiedonhankintaan lähinnä esimer-kiksi vertailemalla kahta eri prosessia keskenään ja tekemällä tätä kautta tulkin-toja. Arvioitsija kuitenkin osallistuu vahvasti antamalla toimenpidesuosituksia tai tekemällä ehdotuksia siitä, miten toimintaa voidaan parantaa. Konstrukti-vistiseen lähestymistapaan sisältyy osallistavan arvioinnin näkökulma, jossa ei uskota yhteen objektiiviseen todellisuuteen, jonka arvioitsija voisi löytää. Tässä lähestymistavassa arvioitsijalla on välittäjän rooli ja tarkoitus tehdä tulkinta eri-laisista todellisuuksista. Arvioitsija on mukana tuottamassa kuvaa ja osallis-tumassa siihen, miten todellisuutta määritellään. Kriittiseen lähestymistapaan sisältyy tapauskohtaisen arvioinnin näkökulma, jossa todellisuus on moni-syinen, arvioitsijalla on aktiivinen rooli ja arviointi perustuu arvioitsijan tulkin-toihin, vaikka tulkintojen ohella saatetaan pyrkiä esittämään tarkkoja havainto-ja ulkopuolisen silmin. Tapauskohtaisessa arvioinnissa kohdetta lähestytään eri tavoin ja kerätään erilaisia aineistoja. Terveyden edistämisen keskuksen julkaisussa ”Sata tapaa arvioida terveyden edistämistä” (Savola ym. 2005) on tarkasteltu tar-kemmin terveyden edistämisen arviointia näistä lähestymistavoista käsin.

28

Terveyden edistämisen ohjelmat ovat tavoitteellista toimintaa, jolla pyritään muutokseen. Terveyden edistäminen on monisyistä ja siihen vaikuttavat lukui-sat eri tekijät. Terveyden edistämisen interventioita voi harvemmin (jos kos-kaan) toteuttaa laboratorio-olosuhteissa kokeellisesti. Terveyden edistämisen ohjelmien arvioinnissa tulisi nykyistä enemmän keskittyä ohjelmissa tapahtu-vien muutosten tiedostamiseen ja muutosten kuvaamiseen niissä henkilöissä, joita toiminta koskee. Siksi terveyden edistämisen arvioinnissa on merkityksel-listä korostaa niitä arvioinnin lähestymistapoja, joissa osallistujien kanssa yh-dessä toteutetaan arviointi. Silloin on mahdollista tehdä näkyväksi vaikutukset terveyden ja hyvinvoinnin kannalta olennaisissa tekijöissä, kuten voimaantu-misessa, tietoisuuden lisääntymisessä ja yhteisöllisyyden vahvistumisessa.

Kokeellinen lähestymistapa (tulosten ja vaikutusten arvioinnin näkökulma)

e S I m e r K K I

NuOrISON ALKOhOLINKäyTöN VäheNTämINeNJärjestö A päätti yhdessä kunnan B kanssa keskittyä nuorison alkoholinkäytön vähentämiseen. nuorten juomisella nähtiin olevan lukuisia haitallisia vaikutuksia myös ympäristöön, minkä vuoksi juomiseen haluttiin puuttua. Järjestön ja kunnan työntekijät perehtyivät uusimpaan asiaa koskevaan kirjallisuuteen ja tutustuivat muutamiin viime vuosina toteutettuihin kampanjoihin. Hankkeeseen si-sältyi kolme osiota: 1) vanhempien valistus, jota tehtiin koulujen ja lukioiden vanhempainilloissa. niissä kysyttiin: ”tiedätkö, mitä lapsesi tekee iltaisin?” 2) Aikuisten interventiot nuorison pussikalja-kohteisiin. 3) nuorille kohdennettu kampanja, jossa kysyttiin: ”tekeekö viina viisaaksi?” interventio-ta suunniteltaessa iski Suomeen talouden taantuma. Hanketta rahoittamassa oleva kunta totesi, että se tarvitsee selkeän näytön siitä, mitä hankerahalla saadaan aikaan. kunta halusi tarkan tiedon siitä, miten paljon kukin hankkeeseen laitettu euro vähentää nuorison juomista. Hankkeen aluksi selvitettiin 13–16-vuotiaiden yläasteikäisten nuorten juomatavat ja määrät. Selvi-tys tehtiin kyselyllä, joka toteutettiin oppilaanohjaustunnilla kaikilla kunnan luokkien 7–9 oppilailla. kun kysely täytettiin oppitunnin yhteydessä, varmistettiin mahdollisimman suuri vastausprosentti. toteuttamalla kysely kaikilla yläasteen nuorilla varmistettiin se, että ennen intervention ja jälkeen intervention kyselyyn vastaavat osittain samat oppilaat. tällöin mahdollinen muutos ei johdu ainoas-taan siitä, että eri ihmiset ovat vastanneet kyselyyn. Sama kysely toistettiin intervention jälkeen sa-moilla periaatteilla kuin alkukysely. Muutosta kahden eri selvitysajankohdan välillä ei ollut selvityk-sen mukaan tapahtunut. nuorten juominen oli määrällisesti pysynyt ennallaan. Hanketoimijat poh-tivat, mitä olisi pitänyt tehdä toisin ja mitkä olivat syyt kampanjan tehottomuuden taustalla. toisaal-ta suhtauduttiin myönteisesti siihen tulokseen, että joukossa näytti olevan nuoria, jotka eivät olleet juoneet koskaan ja joiden asenteet alkoholia kohtaan olivat kielteisiä.

29

IT

eO

rIA

KA

IKe

N P

er

uS

TA

NA

Kokeelliseen arviointiin voi tutustua lukemalla esimerkiksi Peter H. Rossin, Howard, E. Freemanin ja Mark W. Lipseyn (1999) arvioinnin eri lähestymis-tapoja käsittelevän teoksen, jossa käsitellään kattavasti kokeellisia ja kvasi-kokeellisia tutkimusmalleja. Kokeellinen arviointi luottaa mitattaviin havain-toihin. Siinä tavoitellaan mahdollisimman objektiivista ja arvioitsijasta riip-pumatonta kuvaa todellisuudesta. Ihanteena on kontrolloitu syy-yhteyksien analysointiin perustuva koeasetelma. Koeasetelmassa pystytään yksiselittei-sesti osoittamaan, miten toimenpiteestä A seuraa järjestelmällisesti B. Puh-taimmillaan koeasetelmista on poistettu kaikki mahdolliset ylimääräiset teki-jät, jotka voisivat vaikuttaa tulokseen.

Kokeellinen arviointi luottaa mitattavissa olevaan tietoon ja etsii syy-seuraus-suhteita. Tiedonkeruu toteutetaan määrällisesti. Perusideana on, että arvioin-nin tehtävä rajoittuu havaittavien ilmiöiden ja niiden välisten säännönmukais-ten yhteyksien kuvailuun. Kokeellisen arvioinnin tukena voidaan hyödyntää erilaisia arviointimalleja, joiden perusajatuksena on ennen interventiota tehty mittaus, interventio ja intervention jälkeen tehty mittaus (ks. Øvretreit 1998, 53–65). Vastaavista malleista on kirjoitettu Terveyden edistämisen keskuksen julkaisussa ”Sata tapaa arvioida terveyden edistämistä” (Savola ym. 2005, 14–16). näihin palataan tarkemmin lisäksi luvussa 4.3.4.

Terveyden edistämisen toimintamuodot ovat harvoin sellaisia, että koe-asetelma tai sen sovellukset olisivat mielekkäitä. Väliintulevien tekijöiden poistaminen on käytännössä miltei mahdotonta. Tästä huolimatta kokeelli-nen lähestymistapa kannattaa tuntea, koska esimerkiksi ohjelmien toiminta perustuu usein ajatteluun, että tietyllä toimenpiteellä on odotettu seuraus. Vaikka kontrolloituihin koeasetelmiin tai niiden jäljitelmiin ei olisi mahdollis-ta tai edes tarkoituksenmukaista päästä, ohjelmien arvioinnissa voidaan silti pyrkiä ennen interventiota ja jälkeen intervention tehtävään tiedon keruu-seen, jolla halutaan osoittaa hankkeen tai intervention aiheuttamaa muutosta tai vaikutusta.

Kokeellisessa arvioinnissa painopiste on tulosten ja vaikutusten arvioin-nissa. Tulosten ja vaikutusten arviointiin voi tutustua myös esimerkiksi Colin Robsonin (2001, 85–98) Käytännön arvioinnin perusteet -teoksessa. Tulosten ja vaikutusten arvioinnin tavoitteena on luoda selkeät mittarit, joilla voidaan mitata tavoitteen saavuttamista. Tavoitteiden tulee olla yksityiskohtaisesti määriteltyjä. Luodulla mittarilla saadaan selvitettyä vain niitä asioita, joita

30

varten se on kehitetty. Esimerkiksi kyselylomakkeen kysymyksen muotoilu vaikuttaa saatuihin vastauksiin. Mittareiden käyttö mahdollistaa isot vastaa-jamäärät, mikä useimmiten helpottaa vaikutusten arviointia. Kääntöpuolena on, ettei kaikkea oleellista tietoa saada välttämättä kerättyä. Kyselylomak-keen avulla saadaan vastaukset vain niihin kysymyksiin, joita osataan kysyä. näihin kysymyksiin palataan luvuissa 3 ja 4.

Kehittävä lähestymistapa (prosessiarvioinnin näkökulma)

e S I m e r K K I

NuOrISON ALKOhOLINKäyTöN VäheNTämINeNJärjestö A päätti yhdessä kunnan B kanssa keskittyä nuorison alkoholinkäytön vähentämiseen. nuorten juomisella nähtiin olevan lukuisia haitallisia vaikutuksia myös ympäristöön, minkä vuoksi juomiseen haluttiin puuttua. Järjestön ja kunnan työntekijät perehtyivät uusimpaan asiaa koskevaan kirjallisuuteen ja tutustuivat muutamiin viime vuosina toteutettuihin kampanjoihin. Hankkeeseen si-sältyi kolme osiota: 1) vanhempien valistus, jota tehtiin koulujen ja lukioiden vanhempainilloissa. niissä kysyttiin: ”tiedätkö, mitä lapsesi tekee iltaisin?” 2) Aikuisten interventiot nuorison pussi-kaljakohteisiin. 3) nuorille kohdennettu kampanja, jossa kysyttiin: ”tekeekö viina viisaaksi?” inter-ventiota suunniteltaessa iski Suomeen talouden taantuma. Hanketta rahoittamassa oleva kunta to-tesi, että se tarvitsee selkeän näytön siitä, mitä hankerahalla saadaan aikaan. Hankkeen aluksi sel-vitettiin 13–16-vuotiaiden yläasteikäisten nuorten juomatavat ja määrät. kunta halusi tarkan tiedon siitä, miten paljon kukin hankkeeseen laitettu euro vähentää nuorison juomista. kokeelliseen lähestymistapaan perustuva tulosten arviointi osoitti, etteivät tulokset olleet odo-tettuja (ks. edellinen esimerkki). onneksi hankkeeseen sisältyi myös prosessiarviointi, joka auttoi osaltaan selittämään sitä, miksi hankkeen tulokset eivät olleet toivottuja. Prosessiarvioinnissa tuli esille, ettei aikuisia saatu riittävästi paikalle oikeaan aikaan ja oikeisiin paikkoihin. nuoret vaihtoivat paikkoja tiheään tahtiin, pois aikuisten valvovan silmän alta. vanhempien valistus ei sekään sujunut toivotulla tavalla. näytti siltä, että valistus ei kohdistu oikeisiin ihmisiin oikealla tavalla. Prosessiarvioinnin myötä vanhempien valistusta hieman muutettiin. Pussikaljakohteita valvova aikuisten ryhmä muutti toimintatapojaan siten, että aikuiset kiertelivät useammassa pai-kassa ja olivat tekstiviestien avulla yhteydessä toisiinsa partiointi-iltoina, jolloin heidän valvon-tansa kattoi laajemman alueen ja vierailukohteet olivat sattumanvaraisia. Prosessiarvioinnin avulla kyettiin osoittamaan, etteivät hankkeen suunnitelmat toimineet käytännössä suunnitellul-la tavalla. Hankkeen toteuttajia jäi kuitenkin vielä vaivaamaan se, mitkä muut mahdolliset tekijät saattaisivat vaikuttaa siihen, etteivät tulokset olleet odotettuja. Muutoksen tai muuttumattomuu-den syihin ei prosessiarvioinnissa kuitenkaan vielä päästy kiinni. Prosessiarvioinnin tuloksena teh-tiin kehittämisehdotus, jossa suositeltiin, että nuorille luotaisiin erilaisia aktiviteetteja ja mahdolli-suuksia viettää iltaa.

31

IT

eO

rIA

KA

IKe

N P

er

uS

TA

NA

Kehittävän arvioinnin lähestymistavassa tehdään tulosmittauksia, mutta nii-den ohella analysoidaan prosesseja eli niitä tapahtumaketjuja, joilla tulokseen pyritään. Arvioinnin tuella varmistetaan, että tapahtumaketjut (prosessit) su-juvat niin kuin on tarkoitettu ja, että niistä syntyy odotettu tulos. Toiminnas-sa edellytetään selkeää suunnitelmaa siitä, mitä tehdään. Tavoitteet on asetet-tava siten, että niiden saavuttaminen on todennettavissa. Arvioinnin lähtö-kohtana on oletettu muutos siinä asiassa, kohteessa tai kohderyhmässä, jota interventio koskee. Taustaoletuksena on, että toimimalla suunnitellulla taval-la saavutetaan toivotut tavoitteet, joista seuraa odotettu tulos. Kehittävässä arvioinnissa ollaan kiinnostuneita siitä, mikä muuttui käytännössä tarkaste-lujakson aikana eli mikä vaikutus interventiolla oli. Lähtökohtana arvioinnis-sa on odotettu tulos, tavoitteiden saavuttaminen. Muutos on tapahtunut, jos tulos on saavutettu. Muutoksen oletetaan olevan seurausta suunnitellusta toi-minnasta eikä sen syitä analysoida tarkkaan.

Kehittävässä arvioinnissa ei uskota objektiiviseen mittaamiseen tai arvioin-tiin kokeellisen lähestymistavan tapaan. Arvioinnin kohteena ovat prosessit eli se, toteutetaanko toimintaa ja toteutuuko toiminta aiotulla tavalla. Prosessi-arviointi tukee tulosten ja vaikutusten arviointia. Sen avulla voidaan tehdä pe-rusteltuja päätelmiä siitä, voidaanko syntyneiden tulosten olettaa olevan seu-rausta omasta toiminnasta. ohjelmateoria (ks. luku 2.2) puolestaan vastaa sii-hen, miksi niiden voidaan olettaa olevan seurausta omasta toiminnasta.

Terveyden edistämisen lähtökohdat ovat monimuotoisia ja monitieteelli-siä. Toisaalta, terveyden edistämisen ilmiöiden välillä vallitsee vakiintuneita ja systemaattisia riippuvuussuhteita. Esimerkkinä voidaan ajatella sosiaalista pääomaa. on osoitettu, että samat määrät alkoholiannoksia vaikuttavat ter-veyteen eri tavoin riippuen siitä, juodaanko ne yksin vai yhdessä. (Hyyppä 2002.) Samalla määrällä alkoholia on eri vaikutus riippuen juomatavasta ja seurasta, jossa alkoholi nautitaan. Sosiaalisen pääoman määrä vaikuttaa ter-veyteen. näin ollen alkoholinkäytön vähentämisellä on erilaisia vaikutuksia riippuen sosiaalisen pääoman määrästä. Käytännössä terveyden edistämisen ohjelmissa on aina väliintulevia tekijöitä, joiden merkitystä lopputulokseen saattaa olla vaikeaa ennakoida. Kehittävässä arvioinnissa ajatus kausaalisuu-desta hyväksytään. Syy-seuraussuhteiden tunnistaminen ja purkaminen näh-dään olennaisena. niiden todentamiseen ei välttämättä tarvita määrällisiä aineistoja. Riittää, että pystytään osoittamaan tavoitteiden saavuttaminen.

32

Kehittävässä arvioinnissa arvioinnin näkökulma on prosessien arvioin-nissa, jossa kiinnostus kohdistuu kehittämisprosessiin. Prosessiarviointiin voi tutustua tarkemmin Riitta Seppänen-Järvelän (2004) oppaassa. Seppänen-Järvelän mukaan prosessien arvioinnin pääasiallisina tehtävinä ovat päämäärän selkeyttäminen sekä informaation kerääminen prosessista ja toteutuksesta, ongelmista ja edistymisestä. Hyvin tehdyssä arvioinnissa kehittävän arvioin-nin näkökulma kytkeytyy tietoon vaikutuksista ja lopputuloksista. Arviointi toimii ennen kaikkea palautteena ja ohjaamisen välineenä. Prosessien arvioin-ti tarjoaa välineitä toiminnan seuraamiseen, ymmärtämiseen, ohjaamiseen ja dokumentoimiseen. Prosessiarvioinnissa seurantatiedon, palautteen ja poh-dinnan pohjalta tehdään johtopäätöksiä, joilla kehittämistoimintaa ohjataan kohti ohjelman tavoitetta. (Seppänen-Järvelä 2004, 13, 19–20, 31.)

Konstruktivistinen lähestymistapa (osallistavan arvioinnin näkökulma)

e S I m e r K K I

NuOrISON ALKOhOLINKäyTöN VäheNTämINeNJärjestö A päätti yhdessä kunnan B kanssa keskittyä nuorison alkoholinkäytön vähentämiseen. nuorten juomisella nähtiin olevan lukuisia haitallisia vaikutuksia myös ympäristöön, minkä vuoksi juomiseen haluttiin puuttua. Järjestön ja kunnan työntekijät perehtyivät uusimpaan asiaa koskevaan kirjallisuuteen ja tutustuivat muutamiin viime vuosina toteutettuihin kampanjoihin. Hankkeeseen si-sältyi kolme osiota: 1) vanhempien valistus, jota tehtiin koulujen ja lukioiden vanhempainilloissa. niissä kysyttiin: ”tiedätkö, mitä lapsesi tekee iltaisin?” 2) Aikuisten interventiot nuorison pussikalja-kohteisiin. 3) nuorille kohdennettu kampanja, jossa kysyttiin: ”tekeekö viina viisaaksi?” interventio-ta suunniteltaessa iski Suomeen talouden taantuma. Hanketta rahoittamassa oleva kunta totesi, että se tarvitsee selkeän näytön siitä, mitä hankerahalla saadaan aikaan.tulosten arviointi osoitti, ettei toivottua nuorison alkoholinkäytön vähenemistä ollut havaittu. Pro-sessiarvioinnin avulla puolestaan pystyttiin osoittamaan, ettei toiminta ollut toteutunut siten, kun oli suunniteltu. Hankkeessa päätettiin turvautua osallistavaan arviointiin. osallistavan arvioinnin avulla selvitettiin, miksi vanhempien valistus ei tuottanut toivottua tulosta, vaan vanhempainillois-sa päädyttiin aina toteamaan, etteivät omat lapset ole alkoholia käyttäviä nuoria. osallistavan ar-vioinnin avulla todettiin, että vanhemmista kysymys ”tiedätkö, mitä lapsesi tekee iltaisin?” syyllisti vanhempia - ei kai kukaan voi olla jatkuvasti vahtimassa teini-ikäisten lastensa tekemisiä tai epäil-lä heidän jokaista sanaansa? näytti siltä, että vanhemmat olivat aidosti kiinnostuneita ja huolissaan lastensa tekemisistä. osallistavan arvioinnin myötä hankkeen painopistettä siirrettiin yksilöistä vah-vemmin yhteisövastuun suuntaan.

33

IT

eO

rIA

KA

IKe

N P

er

uS

TA

NA

Egon G. Guba ja Yvonna S. Lincoln (1989) toivat konstruktivistisen arvioinnin ulkoisen ja riippumattoman arviointiymmärryksen rinnalle. Konstruktivis-tisessa arvioinnin lähestymistavassa todellisuus rakentuu sosiaalisesti ja se ymmärretään monikerroksisesti. Todellisuus on jatkuvassa liikkeessä, johon ihmiset vaikuttavat eri tavoin ja toisinpäin. Konstruktivistiseen lähestymis-tapaan perustuvassa arvioinnissa tulokset ovat kontekstisidonnaisia, eikä toi-mintatapojen ja mallien siirtämistä pidetä sellaisenaan mahdollisena. Saman-tyyppisillä interventioilla saattaa olla hyvinkin erilaisia vaikutuksia eri ajan-kohtina ja erilaisissa ympäristöissä.

Konstruktivistinen lähestymistapa perustuu ihmisten omaan osallistumi-seen ja voimaantumiseen. Sekä arvioinnin että toiminnan suunnittelussa ja toteutuksessa ovat mukana sellaiset osapuolet, joita koskevia asioita arvioi-tavassa toiminnassa tutkitaan ja kehitetään. Toiminta ja arviointi linkittyvät tiiviisti yhteen. Terveyden edistämisen osalta arvioinnin käytännöissä tulee näkyä terveyden edistämisen toteutumista vahvistavia periaatteita, joita ovat demokratia, tasa-arvo ja oikeudenmukaisuus. nämä periaatteet tulisi ottaa huomioon menetelmiä valitessa. Kun nämä periaatteet toteutuvat, us-kotaan ihmisten aktivoituvan, voimaantuvan sekä tekevän oma-aloitteisesti tarvittavia uudistuksia ja terveyttä tuottavia valintoja. Voimaantuminen on prosessi, jossa ihmiset voivat parantaa elämänsä hallintaa ja kontrollia. Tie-donkeruu- ja analysointimenetelmien tulisi olla sellaisia, että ne edistävät eri toimijoiden demokraattista osallistumisen ja vaikuttamisen mahdolli-suuksia. Cuba ja Lincoln (1989) ovat korostaneet dialogin kehittävää merki-tystä: dialogilla päästään konsensukseen ja yhteisymmärrykseen arvioita-vista asioista. dialogia käyttämällä osallistava arviointi on myös oppimisen väline.

Konstruktivistisessa lähestymistavassa arvioinnin näkökulma on osallista-vassa arvioinnissa, joka vastaa Fettermanin (1996) empowerment -arviointia. Suomessa aiheesta on kirjoittanut mm. Hanne Kathrine Krogstrup teoksessa Kompetenssi arviointimalli – työyhteisön kehittämisen väline. Arvioinnissa ollaan kiinnostuneita subjektiivisista kokemuksista ja myös mahdollisista vai-kutuksista, joita ei ole osattu ennakoida. osallistava arviointi on tyypillisim-millään arviointia, jossa lähtökohtana on vahvistaa osallistujien vaikutus-mahdollisuuksia ja ongelmanratkaisutaitoa suhteessa arvioitavaan kohtee-seen ja lisätä yhteistä ymmärrystä. Tämä saattaa näkyä esimerkiksi erilaisista

34

kehittymisen esteistä vapautumisena tai oman itsensä ja toisten uudelleen määrittämisenä ja ymmärtämisenä. osallistumalla luodaan myös edellytyk-siä hyville tuloksille. osallistavan arvioinnin tulosten osalta olisi tärkeää, että arviointiin osallistuvassa ryhmässä on sellaisia ihmisiä, jotka voivat vaikuttaa arvioinnin tuloksien pohjalta tehtävien uudistusten tai muiden toimien eteen-päin viemiseen.

Kriittinen lähestymistapa (tapauskohtainen arvioinnin näkökulma)

e S I m e r K K I

NuOrISON ALKOhOLINKäyTöN VäheNTämINeNJärjestö A päätti yhdessä kunnan B kanssa keskittyä nuorison alkoholinkäytön vähentämiseen. nuorten juomisella nähtiin olevan lukuisia haitallisia vaikutuksia myös ympäristöön, minkä vuoksi juomiseen haluttiin puuttua. Järjestön ja kunnan työntekijät perehtyivät uusimpaan asiaa koskevaan kirjallisuuteen ja tutustuivat muutamiin viime vuosina toteutettuihin kampanjoihin. Hankkeeseen si-sältyi kolme osiota: 1) vanhempien valistus, jota tehtiin koulujen ja lukioiden vanhempainilloissa. niissä kysyttiin: ”tiedätkö, mitä lapsesi tekee iltaisin?” 2) Aikuisten interventiot nuorison pussikalja-kohteisiin. 3) nuorille kohdennettu kampanja, jossa kysyttiin: ”tekeekö viina viisaaksi?” interventio-ta suunniteltaessa iski Suomeen talouden taantuma. Hanketta rahoittamassa oleva kunta totesi, että se tarvitsee selkeän näytön siitä, mitä hankerahalla saadaan aikaan.tulosten arviointi osoitti, etteivät tulokset olleet odotettuja (ks. aikaisemmat esimerkit tässä luvus-sa). Hankkeessa oli mukana tapauskohtainen arviointi, joka auttoi ymmärtämään arvioinnin tulosta ja hankkeen tuloksettomuutta. tapauskohtaisessa arvioinnissa kiinnitettiin huomiota hankkeen kol-meen toimintalinjaan. Arvioinnissa todettiin, että arvioinnissa ei ollut huomioitu sitä, että kohde-ryhmä koostui melko erilaisesta ja eri-ikäisestä nuorisosta. tarkempi aineiston tarkastelu osoitti, että juominen oli vähentynyt kyllä seitsemäsluokkalaisten osalta, mutta muutosta ei ollut havaitta-vissa kahdeksas- tai yhdeksäsluokkalaisten osalta. Arvioinnissa todettiin, että käytännöllisesti kat-soen suurin osa hankkeen toimenpiteistä oli kohdistunut ja vaikuttanut nuorimpiin. lisäksi tulokset kertoivat myönteistä tietoa alkoholia käyttämättömien nuorten joukosta. Arvioinnin tulokset antoi-vat viitteitä siitä, että yläasteelle vastikään siirtyneisiin nuoriin kohdistettu kampanja oli kyllä ollut tuloksellista jossain määrin, mutta muihin ikäryhmiin se ei jostain syystä vaikuttanut. Yhtäältä vai-kutus näytti häviävän nuorten siirtyessä ylemmille luokka-asteille. kampanjan todettiin provosoivan ainakin joitakin nuorisoryhmiä mm. siten, että he olivat kehitelleet entistä paremmin piilossa olevia paikkoja juomiseen. kissa ja hiiri -leikistä partioivien vanhempien kanssa oli tullut osalle nuorista uusi ajanviete.

35

IT

eO

rIA

KA

IKe

N P

er

uS

TA

NA

Kriittisessä arvioinnin lähestymistavassa käsitys todellisuudesta voi vaihdella, mutta pääosin ajatellaan, että jonkinlainen yhteinen todellisuus on määriteltä-vissä. Ihmisille halutaan antaa mahdollisuus määritellä itse, mistä on kyse. Arvioinnissa ei tarkastella ainoastaan toiminnan tuloksia tai tavoitteiden saa-vuttamista, vaan ollaan kiinnostuneita myös mahdollisista ennakoimattomis-ta, epätoivotuista tuloksista. Arvioinnin ote on kriittinen. Asiat eivät ole pel-kästään tulkintoja ja subjektiivisia totuuksia. Arvioitsija ei kuitenkaan tarjoa valmiita jäsennyksiä asioiden tilasta. Tavoitteena on kohderyhmän tietoisuu-den lisääminen, muutosprosessin käynnistäminen ja edistäminen.

Terveyden edistämisessä kansalaisten omavoimaistaminen ja sosiaalinen muutos ovat esimerkkejä kriittisestä lähestymistavasta. Kysymys on yksilön voimavarojen ja vastuun lisäämisestä. Yksilöillä on omakohtainen suhde ympä-röivään maailmaan ja valmiuksia kyseenalaistaa saamaansa tietoa. Terveyden edistämisen osalta voidaan katsoa, että luomalla yhteiskunnassa mahdollisuuk-sia terveyttä edistäviin valintoihin ja elinoloihin yksilö voi tehdä paremmin omia päätöksiä ja toimia terveyttä edistävällä tavalla. Esimerkiksi mahdollista-malla turvallisen ja luotettavan ympäristön lapsille ja nuorille houkutukset ter-veyden kannalta epäsuotuisiin terveyskäyttäytymisen malleihin vähenevät.

Kriittistä lähestymistapaa edustaa tapauskohtainen arviointi. Tapauskohtai-sessa arvioinnissa tavoitteena on tiheä kuvaus arvioinnin kohteesta ja tavoit-teiden saavuttamisen ohella pyritään arvioimaan myös ennakoimattomia seurauksia ja vaikutuksia. Arvioinnissa arvioitsija on lähellä kohdettaan ja hä-nen tehtävänään on arvioitavan toiminnan suuntaaminen prosessin aikana. Suomessa tapauskohtaista arviointia on käytetty muun muassa sosiaalityössä, jossa se on ymmärretty vahvasti yksilötyössä tapahtuvaksi. Silloin tapaus-kohtaista arviointia voidaan hyödyntää yksittäisessä asiakassuhteessa muu-toksen seurantaan tai asiakkaan voimaannuttamiseen. Sitä voidaan käyttää myös kokeellisen arvioinnin välineenä intervention vaikutusten arvioinnissa. Asiakkaan muutoksen systemaattista seurantaa tai interventioiden vaikutuk-sia arvioidaan mittaamalla. Se osallistaa työntekijät ja asiakkaat arvioinnin te-kemiseen ja analysointiin. Tapauskohtaisen arvioinnin etuna on, että se johtaa miettimään tavanomaista konkreettisemmin, mihin pyritään ja miten muutos voidaan todeta. Tapauskohtainen arviointi voidaan ymmärtää myös laajemmin, jolloin se lähestyy tapaustutkimusta. Tapaustutkimuksen piirteisiin kuuluvat toisiaan täydentävät erilaiset aineistot ja tutkimusmenetelmät. Ajatellaan, että

36

tutustumalla yhteen tapaukseen perusteellisesti saadaan sellaista tietoa, joka auttaa laajemmin.

Arvioinnin lähestymistapoja ei voi laittaa paremmuusjärjestykseen. Viime kädessä lähestymistapaa määrittävät arvioinnin tarpeet. Eri lähestymistavat edustavat vain erilaista näkökulmaa arviointiin. ne eivät ole toinen toistaan parempia tai huonompia.

2.5 Arvioinnin teoreettinen kartta Edellä on esitelty arvioinnin kartan taustaa. Esittely on vain pintaraapaisu ar-vioinnin teorioiden monimuotoisuudesta. Julkaisuun on valittu sellaista ar-vioinnin teoriaa, joka auttaa hahmottamaan arviointiin sisältyviä kokonai-suuksia ja eri asioiden linkittymistä toinen toisiinsa. Monien näkökulmien mukaan ottaminen on kuitenkin tarkoittanut niiden melko pintapuolista tar-kastelua. Tämä valinta on tehty, koska arviointiin sisältyvien kokonaisuuksien hahmottaminen ohjaa tekemään tarkoituksenmukaisia ja toimintaan kiinnit-tyviä ratkaisuja ja valintoja arvioinnin toteuttamiseksi.

Kuvio 2 esittää arvioinnin teoreettisen kartan. Kartan idea on lähtöisin Al-baekin (ks. Arviointi sosiaalipalveluissa 2001, 20) arvioinnin pääsuuntaukset sisältävästä nelikentästä, joka toimi hyvänä lähtökohtana arvioinnin kokonai-suuden tarkastelulle. Albaekin nelikenttää muokkaamalla, soveltamalla ja täy-dentämällä saatiin luotua arvioinnin teoreettiseksi kartaksi nimetty kokonai-suus, joka koostuu nelikentästä ja kolmesta nelikentän leikkaavasta janasta. Karttaan on koottu edellä käsitellyt asiat ja sen tarkoitus on hahmottaa asioi-den suhdetta toisiinsa ja osana kokonaisuutta. Kartan ulkokehä, arvioinnin tarkoitus, tarve ja ohjelmateoria sekä arvioinnin etiikka, toimii kehyksenä niil-le valinnoille, joiden pohjalta arvioinnin kartalla suunnistetaan. Arvioinnin lähtökohtana on määritelty arvioinnin tarve ja tarkoitus sekä ohjelmateoria, joka ohjaa toiminnan ja arvioinnin suunnittelua ja toteutusta. Lisäksi arvioin-nissa tulee kunnioittaa arvioinnin eettisiä pelisääntöjä. ohjelmateoria on kes-keinen osa arvioinnin suunnittelua. Se auttaa hahmottamaan kokonaisuuksia ja tarkastelemaan asioita myös taustatekijöistä käsin. Seuraavaksi käydään läpi tarkemmin ja yhteenvetona arvioinnin kartan neljä kenttää ja niihin liitty-vät sisällöt sekä janat ja niiden ulottuvuudet.

37

IT

eO

rIA

KA

IKe

N P

er

uS

TA

NA

Prosessit vs. tulokset ja vaikutukset arvioinnin kohteenakartan vaakasuora jana jakaa arvioitavan kohteen prosessien tai tulosten ja vaikutusten arviointiin. Molemmat ovat arvioinnissa yhtä merkittäviä. ilman prosessiarviointia vaikutusten ja tulosten ar-viointi hankaloituu. Prosessiarvioinnin avulla on mahdollista selvittää, onko toimittu niin kuin on suun-niteltu. tulosten ja vaikutusten arvioinnilla pyritään kertomaan, onko toiminnasta seurannut odo-tettuja tuloksia. Prosessiarviointi osoittaa polun, jolla tuloksiin on päästy, mutta pelkällä prosessi-arvioinnilla ei pystytä ottamaan kantaa tuloksiin. Erityisen arvokas prosessien arviointi on silloin, kun odotettuja tuloksia ei synny. tällöin pystytään tarkastelemaan prosessia ja sitä, menikö kaikki niin kuin piti, huomattiinko toimintaa kenties muuttaa tarvittavalla tavalla ohjelman edetessä tai onko edes tehty sitä, mitä oli tarkoitus tehdä tavoitteen saavuttamiseksi.Prosessiarvioinnille tunnusomaista on toiminnan parantaminen. Prosessiarvioinnilla saadaan tietoa toiminnan mahdollisista kehittämis- tai muutostarpeista. Prosessiarviointi auttaa tekemään parem-min ja sillä päästään kiinni siihen, miten tuloksia syntyy eli minkälainen toiminta edeltää tuloksia. Prosessiarviointiin liittyy läheisesti oppiminen. Arvioinnin kautta pyritään oppimaan onnistumisista ja epäonnistumisista sekä parantamaan kehittämistyön toimintatapoja. Arviointi on näin ollen yksi

Kuvio 2. Arvioinnin teoreettinen kartta

IV: Tuloksellisuuden osoittamiseen pohjautuva arviointi

ARVIOINNIN LÄHESTYMISTAPA:kokeellinen

ARVIOITSIJAN ROOLI:toteuttaja, toimeenpanija

ARVIOITSIJAN TEHTÄVÄ:talouden ja tuloksellisuuden seuraaminen

ARVIOINNIN NÄKÖKULMA:tulosten ja vaikutusten arviointi

AArrvviiooiinnnniinn kkoohhtteeeennaaPPRROOSSEESSSSIITT

AArrvviiooiinnnniinn kkoohhtteeeennaaTTUULLOOKKSSEETT JJAA VVAAIIKKUUTTUUKKSSEETT

TTaauussttaallllaa ttooiimmiinnnnaann MMUUUUTTOOSS ppeerruussttuuuu MMUUUUTTOOSSTTAARRPPEEIISSIIIINN

TTaauussttaallllaa ttooiimmiinnnnaann YYLLLLÄÄPPIITTOO ppeerruussttuuuu TTOOTTEEUUTTTTAAMMIISSEEEENN

AArrvviiooiinnnniinn ttootteeuuttuussSSIISSÄÄIISSEENNÄÄ AARRVVIIOOIINNTTIINNAA

AArrvviiooiinnnniinnttootteeuuttuussUULLKKOOIISSEENNAA AARRVVIIOOIINNTTIINNAAI: Sisäisiin ja osallistaviin

muutosprosesseihin pohjautuva arviointi

integroija, sovittelija/neuvottelijaARVIOITSIJAN TEHTÄVÄ:kehittäminenARVIOINNIN NÄKÖKULMA:osallistava arviointi

AARRVVIIOOIINNNNIINN TTAARRKKOOIITTUUSS,, TTAARRPPEEEETT JJAA LLAAAADDIITTTTUU OOHHJJEELLMMAATTEEOORRIIAA TTOOTTEEUUTTUUKKSSEENN TTAAUUSSTTAALLLLAA

AARRVVIIOOIINNNNIINN EEEETTTTIISSEETT PPEERRIIAAAATTTTEEEETT AARRVVIIOOIINNNNIINN TTOOTTEEUUTTUUKKSSEENN TTAAUUSSTTAALLLLAA

III: Kehittämisen hallinnointiin ja toteuttamisprosesseihin pohjautuva arviointi

ARVIOINNIN LÄHESTYMISTAPA:kehittäväARVIOITSIJAN ROOLI:hallinnoija, byrokraattiARVIOITSIJAN TEHTÄVÄ:prosessien tehokas toteuttaminenARVIOINNIN NÄKÖKULMA:prosessiarviointi

II: Muutostarpeisiin ja tuloksiin pohjautuva arviointi

ARVIOINNIN LÄHESTYMISTAPA:kriittinen

ARVIOITSIJAN ROOLI:innovoija, strateginen suunnittelija

ARVIOITSIJAN TEHTÄVÄ:ongelman tunnistaminen ja toimintamalli

ARVIOINNIN NÄKÖKULMA:tapauskohtainen arviointi

38

osa kehittämisprosessia ja keino, jolla tehdään näkyväksi parantamiskohteet. Prosessiarviointiin pa-lataan tarkemmin luvussa 4.3.3.tulosten arvioinnin rinnalla puhutaan usein vaikutusten tai vaikuttavuuden arvioinnista. vaikutusten arviointi ajoittaa toiminnan toteutuksen loppupäähän, jolloin arvioinnin kohteena ovat käsillä olevat tulokset ja niiden syntymiseen vaikuttavat tekijät. kiinnostus kohdistuu syy-seuraussuhteisiin. vai-kutusten arvioinnissa pohditaan sitä, missä määrin vaikutukset ovat toteutetun toiminnan tuottamia ja kuinka tulokset koetaan suhteessa alkuperäisiin tavoitteisiin. vaikutukset voivat olla ennakoituja tai ennakoimattomia, myönteisiä tai kielteisiä, tahallisia tai tahattomia ja paikallisia tai yleistettä-viä. vaikutusten ja vaikuttavuuden arvioinnista puhutaan usein samana asiana. vaikuttavuus on kui-tenkin päätelmä useasta eri vaikutuksesta ja sen osoittaminen ei ole kovin yksioikoista. vaikutta-vuuden arvioinnissa tulisi osoittaa tapahtuneet muutokset sekä niiden syyt ja seuraukset. (koskinen-ollonqvist & Savolainen, 2008.) käyttääpä sitten vaikutusten tai vaikuttavuuden arvioinnin käsitet-tä, pääasia on, että käsite on määritelty. Arviointiraportista on käytävä ilmi, mitä on arvioitu. tulos-ten ja vaikutusten arviointiin palataan tarkemmin luvussa 4.3.4.

muutos vs. ylläpito arvioinnin taustalla kartan pystysuora jana jakaa arvioinnin toiminnan muutosta tai ylläpitoa tarkastelevaan arviointiin. nämä jaottelut juontavat juurensa alkuperältään Strandin ja sittemmin Metcalfen ja richardsin (1990) sekä Zapico-Goñin (2007) jatkokehittelemään arvioitsijan rooliin ja tehtäviin liittyvään kehik-koon. Arvioinnin perustuessa muutokseen taustalla on ajatus tehdä uusia asioita eri tavoin. tällöin arviointi suoritetaan tilanteissa, jotka ovat monimuotoisia, epävarmoja ja ennalta-arvaamattomia. Muutokseen keskittyvää arviointia tarvitaan uusia innovaatioita ja kehittämisideoita edellyttävässä toiminnassa, jolloin vanhat tavat eivät riitä enää vastaamaan nykyajan haasteisiin. toiminnan ylläpitoon pohjautuva arviointi sopii tilanteisiin, joissa on määritelty selkeät tavoitteet ja joihin liittyy laajasti hyväksytyt syy-seuraussuhteet valittujen toimintatapojen ja tulosten välillä. tä-mänkaltainen arviointi perustuu asioiden tulokselliseen, tehokkaaseen ja taloudellisesti järkevään toteuttamiseen sekä ”tekemällä vähemmällä enemmän” -ajatukseen. Arvioinnin arvona nähdään toimintojen tehostaminen tai tehokas toteuttaminen. Arvioinnissa keskitytään ennalta sovittuihin asioihin tehtävään soveltuvien mittareiden avulla.

Sisäinen arviointi vs. ulkoinen arviointi kartan halkaisee katkoviivalla jana, joka jakaa arvioinnin tekijän suhteen ulkoiseen tai sisäiseen ar-viointiin. Sisäisen arvioinnin toteuttavat parhaiten ne henkilöt, jotka ovat osa arvioitavaa kohdetta ja toimintaa. Sisäiseen arviointiin liittyy kiinteästi itsearviointi, jossa toimija itse arvioi omaa henkilö-kohtaista toimintaansa. toisinaan sisäisellä arvioinnilla ja itsearvioinnilla tarkoitetaan samaa asiaa. Ulkoinen arviointi on mielekästä silloin, kun joihinkin arviointikysymyksiin on vaikea tai mahdotonta vastata itse luotettavasti. Jotkut arviointikysymykset kaipaavat myös ulkopuolisen näkemyksen. Ul-koista arviointia voi hyödyntää haastavien arvioinnin kohteiden arviointiin esimerkiksi tilanteissa, jolloin edellytetään monimutkaisempien vaikutusketjujen ymmärtämistä tai laajempaa arvioinnin perspektiiviä. Ulkoisen arvioinnin toteuttaa arvioinnin kohteen ulkopuolella oleva henkilö, jolla on kokemusta arvioinnista. Ulkoisen arvioinnin etuna nähdään puolueeton näkökulma arvioitavasta

39

IT

eO

rIA

KA

IKe

N P

er

uS

TA

NA

kohteesta. Ulkoisen arvioinnin tilaaminen on oma prosessinsa, jota on hyvä harkita huolella ja käy-dä arvioinnin aikana tiivistä vuoropuhelua ulkoisen arvioitsijan kanssa. liitteestä 1 löytyy JÄrvi-hankkeessa luotu tarkistuslista ulkoisen arvioinnin tilaamiseksi. Hyvin tehty sisäinen arviointi on erinomainen tuki ulkoiselle arvioinnille. kuviossa ulkoista ja sisäistä arviointia voi ajatella myös näkökulmina. tulosten ja vaikutusten ar-viointikriteerien luotettavuus edellyttää useimmiten jonkin ulkopuolisen näkemystä. tämä ei kuitenkaan tarkoita, että koko arviointi pitäisi tilata ns. ulkoiselta arvioijalta. vastaavasti prosessiarvioinnissa edellyte-tään usein toiminnan tarkkaa tuntemusta eli sisäistä arviointia tai sisäisen arvioinnin näkökulmaa, mutta se ei tarkoita, ettei ulkoinen arviointi voisi ottaa kantaa myös prosessiarviointiin. tässä mie-lessä jaottelun sisäiseen ja ulkoiseen arviointiin voi ymmärtää pikemmin näkökulmien erona. raja sisäisen ja ulkoisen arvioinnin näkökulman välillä on veteen piirretty viiva. tätä on kuvattu kat-koviivalla. Periaatteessa, missä tahansa arvioinnin neljässä kentässä voi näkökulmana olla joko ul-koinen tai sisäinen arviointi. Pääasiassa kokeellisessa arvioinnin lähestymistavassa (kartan oikea alakulma) arvioinnin näkökulma suuntautuu kuitenkin muita kenttiä enemmän ulkoiseen arviointiin ja konstruktivistinen (kartan vasen yläkulma) lähestymistapa puolestaan muita kenttiä enemmän si-säiseen arviointiin. Asiaa monimutkaistaa vielä ns. arvioinnin arvioinnit, joissa ulkopuolinen arvioit-sija otetaan arvioimaan sisäisen arvioinnin luotettavuutta. Ulkoinen arvioinnin arviointi on suositel-tavaa silloin, kun arviointiosaamista on runsaasti oman organisaation sisällä.

I Vasen yläkulma: Sisäisiin ja osallistaviin muutosprosesseihin pohjautuva arviointiArvioinnin teoreettisessa kartassa vasemman yläkulman kentällä arviointia lähestytään konstrukti-vistisesti, jolloin osallistava, vuorovaikutuksellinen ja moniarvoinen arviointi korostuvat. Arvioitsija toimii neuvottelijan roolissa ja vetää yhteen käsiteltäviä asioita. keskeisessä roolissa ovat yksilöt ja ryhmät, jotka tulkitsevat tilannetta sekä mukautuvat ja reagoivat tilanteisiin eri tavoin. Arvioija ke-hittää ja on välittäjän roolissa. Arviointi on osallistavaa arviointia, jolloin sen lähtökohtana on vah-vistaa osallistujien vaikutusmahdollisuuksia ja ongelmanratkaisutaitoa suhteessa arvioitavaan koh-teeseen ja lisätä yhteistä ymmärrystä. Arviointi keskittyy toimintaan ja tähtää muutokseen esi-merkiksi ihmisten ajattelussa tai toimintatavoissa. Arvioinnin sisäinen näkökulma korostuu osallis-tavuuden ja vuorovaikutuksellisuuden kautta. Ajatellaan, että yksilöillä on osaamista ja kompetens-sia tehdä myös itse ratkaisuja.

II Oikea yläkulma: muutostarpeisiin ja tuloksiin pohjautuva arviointikartan oikean yläkulman kentällä arviointia lähestytään kriittisesti, jolloin tarkoituksena on kohde-ryhmän tietoisuuden lisääminen ja muutosprosessien käynnistäminen ja edistäminen. kriittisessä lähestymistavassa arvioitsija toimii innovoijana ja hänen tehtävänään on olla lähellä kohdettaan ja suunnata arvioitavaa toimintaa prosessin mukaisesti. Arvioitsijan tehtävänä on tunnistaa ongelma sekä valita tarvittava ja tarkoituksenmukainen tapa toiminnan suuntaamiseksi. kriittisessä lähesty-mistavassa arvioinnin näkökulma on tapauskohtaisessa arvioinnissa, jota voidaan hyödyntää esi-merkiksi yksittäisten asiakassuhteiden muutoksen seurannassa. Arviointia voidaan lähestyä niin si-säisen kuin ulkoisenkin arvioinnin keinoin. Arvioinnin toimintamalli tähtää muutokseen ja kohteena ovat pääsääntöisesti tulokset.

40

III Vasen alakulma: Kehittämisen hallinnointiin ja toteuttamisprosesseihin pohjautuva arviointikartan vasemman alakulman kentällä arviointia tarkastellaan kehittävästä lähestymistavasta käsin, jolloin tulosmittausten ohella erityisesti prosessit ovat keskeisiä arvioinnin kohteita. Arvioitsijan roolina on toimia hallinnoijana ja muun muassa vertailla, mitä valittu toimintatapa tai interventio aiheuttaa suhteessa siihen, mitä sen pitäisi odotetusti aiheuttaa. Arvioitsijan tehtävänä on tuottaa tietoa niin, että prosesseja toteutetaan tehokkaasti. Arvioinnissa tulee osoittaa, että toimintaa yllä-pidetään ja saadaan aikaiseksi se, mitä on aiottukin. tällöin kysymys ei välttämättä ole siis aina muutoksesta, vaan siitä, että toteutetaan jo aiemmin luotua ja kokeiltua. kehittävässä lähestymis-tavassa arvioinnin näkökulma on prosessien arvioinnissa, jossa keskeistä on päämäärän selkeyttä-minen sekä tiedon kerääminen prosesseista, toteutuksesta, ongelmista ja edistymisestä. Arviointi voi olla joko sisäinen tai ulkoinen. toiminnan prosesseja saattaa olla tarkoituksenmukaista tarkas-tella sisäisesti, kun taas se, miten toiminta on tavoitteissaan onnistunut, olisi perusteltua tehdä ul-koisena arviointina.

IV Oikea alakulma: Tuloksellisuuden osoittamiseen pohjautuva arviointi oikean alakulman kentällä arviointia lähestytään kokeellisesti, jolloin arvioinnissa korostuvat syy-seuraussuhteisiin perustuvat mittaukset ja mahdollisten vertailuryhmien käyttäminen. kokeellisessa lähestymistavassa huomio kiinnittyy vaikutuksiin, mitattavuuteen ja muutokseen suhteessa aikai-sempaan tilanteeseen. Arvioitsija toimii arvioinnin toteuttajana ja tekee arvioinnin mahdollisimman objektiivisesti. Arvioitsijan tehtävänä on vastata taloudellisuudesta ja tuloksellisuudesta. olennais-ta on, että saadaan aikaiseksi se, mitä on odotettukin ja tunnetaan etukäteen tarkasti ja pysyvästi määritellyt tarpeet ja tavoitteet sekä tunnetut ja laajasti hyväksytyt syy-seuraussuhteet valitun toi-mintatavan ja tulosten välillä. kokeellisessa lähestymistavassa arvioinnin näkökulma on vahvasti ul-koisessa arvioinnissa ja kiinnostuksen kohteena ovat tulokset ja vaikutukset. tulosten ja vaikutusten arviointi toteutetaan usein ulkoisen arvioitsijan toimesta, sillä oman toiminnan tuloksia on vaikeaa arvioida luotettavasti. Esitetty arvioinnin teoreettinen kartta on yksinkertaistettu ja pelkistetty kuva arvioinnista. li-säksi se sisältää vain murto-osan arvioinnin teoriakentästä. tässä mielessä on melko massii-vista puhua arvioinnin teoreettisesta kartasta. Arvioinnin kartan teoreettinen viitekehys voisi toimia käsitteenä paremmin. Asioiden kiteyttämiseksi ja kielen helpottamiseksi käytetään kui-tenkin käsitettä arvioinnin teoreettinen kartta. teoreettinen kartta päätettiin tietoisesti tuoda kokonaisuutena vasta teoriaosuuden päätteeksi. näin päästiin tavoitteeseen luoda ensin käsi-tys arvioinnin eri kokonaisuuksista ja vasta tämän jälkeen pilkkoa kokonaisuuksien sisältöjä kiinni toisiinsa. Arvioinnissa arvioinnin kohteet, eri lähestymistavat, näkökulmat, arvioitsijan roolit ja tehtävät kie-toutuvat toinen toisiinsa. tätä on haluttu kuvata nuolella, joka kietoo nelikentän osat yhteen. Usein ilmiöiden, tässä tapauksessa arvioinnin teoreettisten sisältöjen, vangitseminen yhteen kuvaan aut-taa hahmottamaan kokonaisuutta, mielekkäitä osakokonaisuuksia sekä niiden välisiä tasoja. kun ar-viointia ilmiönä ja sen teoreettisia taustoja ymmärtää tämän verran, on valmis astumaan arvioinnin konkreettisemman suunnittelun kautta käytännön arviointityöhön.

41

IT

eO

rIA

KA

IKe

N P

er

uS

TA

NA

yDINKOhDAT• Arviointionjonkinasianarvontaiansionmäärittelyä.

Tutkimukseen ei liity arvottamista, vaan se pyrkii asioiden selittämiseen, kuvaamiseen ja ymmärtämiseen.

Tämä arvottamisen piirre erottaa arvioinnin ja tutkimuksen karkeasti toisistaan.

• Ohjelmateoriaonkeinojäsentäätoiminnanetenemistä, siihen liittyviä syy-seuraussuhteita ja oletuksia siitä, millä edellytyksillä toiminta voi saavuttaa tavoiteltuja

tuloksia ja muutoksia. • Parhaimmillaanarviointikytkeytyytoimintaanalusta asti ohjelmateorian tuella, kun joudutaan perustelemaan

valinnat sille, miksi ja miten ohjelman oletetaan toimivan. • Arviointiontapaarvottaaohjelmantoimintojatai

kokonaisuutta ja kertoa missä on onnistuttu tai missä olisi parantamisen varaa.• Arvioinnintarkoitusjatarpeetohjaavatarvioinnin

suunnittelua. • Arviointiinonneljälähestymistapaa:kokeellinen, kehittävä, konstruktivistinen ja kriittinen lähestymistapa.

Lähestymistavat määrittävät arvioinnin näkökulmaa, arvioitsijan rooleja ja tehtäviä.

• Kokeellisessaarvioinninlähestymistavassaarviointikeskittyy tulosten ja vaikutusten arviointiin. Arvioitsijan tehtävänä on tuloksellisuuden seuraaminen. Arvioitsija toimii toteuttajan ja toimeenpanijan roolissa tarkoituksena toiminnan ylläpito ja toteuttaminen odotetulla tavalla.

• Kehittävässäarvioinninlähestymistavassaarviointi keskittyy prosesseihin. Arvioitsijan tehtävänä on prosessien

tehokas toteuttaminen ja roolina toiminnan hallinnointi ja seuraaminen.

➤

42

• Konstruktivistisessaarvioinninlähestymistavassaarviointion osallistavaa. Arvioitsijan tehtävänä on toiminnan kehittäminen ja roolina on toimia integroijana.

• Kriittinenarvioinninlähestymistapaliittyytapaus- kohtaiseen arviointiin. Arvioitsijan tehtävänä on ongelmien

tunnistaminen ja oikeiden toimintamallien valinta. Arvioitsijan roolina on toimia innovoijana ja strategisena suunnittelijana.

• Arvioinninlähestymistapavaikuttaaarvioinnissakäytettäviin menetelmiin.

• Arvioinnineettisetperiaatteetohjaavatarvioinnintekemistä.Eettisiä periaatteita ovat mm. oikeudenmukaisuus,

vahingon välttäminen ja autonomian kunnioittaminen.

43

IT

eO

rIA

KA

IKe

N P

er

uS

TA

NA

II SILTA TeOrIAN JA

KäyTäNNöN VäLILLä

44

Arvioinnin askeleilla teoriasta käytäntöön

Kaikessa toiminnassa hyvä suunnittelu on toteutuksen kivijalka. Hyvin suun-niteltu on puoliksi tehty, kuten sanotaan. Mikäli arvioinnista ei ole tehty eril-listä suunnitelmaa, se jää helposti tekemättä tai sitä ryhdytään tekemään kii-reessä, jolloin unohdetaan pohtia tarkemmin olennaisia arvioinnin tavoitteita, arviointikysymyksiä ja -kriteerejä. Toisaalta mikään suunnitelma ei ole kiveen kirjoitettu siinä mielessä, etteikö siihen voi tarvittaessa tehdä muutoksia. Mi-käli arvioitavassa toiminnassa tehdään muutoksia, on tarpeen tarkastaa myös mahdolliset muutostarpeet arviointisuunnitelmassa.

Jo arviointia suunniteltaessa on olennaista, että se kiinnittyy aidosti toi-mintaan ja osaksi kokonaisuutta. Tätä olemme korostaneet jo moneen ottee-seen ja luku 2.2 paneutuu erityisesti tähän. Parhaiten arvioinnin suunnittelu ja tätä kautta myös itse arviointi onnistuu, kun toiminta on suunniteltu huo-lella ja arvioitu etukäteen sen toteutuskelpoisuutta. Tyypillisesti ohjelmille laaditaan tätä varten toimintasuunnitelma, hankesuunnitelma tai vastaava, johon on kirjattu ohjelman tarve, päämäärä, tavoite, keinot, prosessit ja mah-dolliset yksityiskohtaiset tehtävät tavoitteen saavuttamiseksi sekä odotetut tuotokset ja tulokset. Mikäli luku 2.2 ohjelmateoriasta ja toiminnan suunnitte-lun tärkeydestä on jäänyt väliin, tässä yhteydessä on hyvä palata tarkastele-maan, mistä olikaan kysymys.

Tässä luvussa esitetään arvioinnin tueksi kymmenen askelta, jotka on laa-dittu arviointisuunnitelman kirjoittamisen tueksi. Askeleiden kautta edetään samalla teoriasta käytäntöön. Arviointisuunnitelma edellyttää ohjelmateoriaa, toiminnan teoriaa, toimintasuunnitelmaa tai vastaavaa, jotta arviointi saadaan aidosti suunniteltua osaksi toimintaa. Etenemällä askel askeleelta syntyy tar-koituksenmukainen ja toteutuskelpoinen arviointisuunnitelma. Askeleiden kohdalla palataan pohtimaan edellisen luvun arvioinnin teorian sisältöjä ja samalla viitataan jo tulevaan lukuun, arvioinnin käytännön toteutukseen liit-tyviin kysymyksiin. Vastaamalla esitettyihin kysymyksiin tehdään valintoja,

3

45

II

SILT

A T

eO

rIA

N J

A K

äy

Tä

NN

öN

Vä

LIL

Lä

jotka ohjaavat suunnistamaan arvioinnin kartalla ja siirtymään siinä teoreetti-semmasta puolesta käytäntöön. Askeleet toimivat täten eräänlaisena siltana arvioinnin teorian ja käytännön välillä.

1. ASKeL

mitä arvioidaan? Toiminnan tavoite ja ohjelmateoria arvioinnin taustallaArvioinnin taustalla tulee olla ymmärrys siitä kokonaisuudesta, johon ar-viointi nivoutuu. Toisin sanoen arvioitsijalla on oltava käsitys toiminnan etenemisestä ja kokonaisuudesta: mitä, miksi, kenelle ja milloin tehdään sekä mitkä ovat taustatekijät ja mitä on tarkoitus toiminnalla saavuttaa. Samalla on hyvä perustella sitä, miksi toiminta on kannattavaa eli miksi toimintaan suun-nattavat resurssit ovat sen arvoisia. Tulee siis olla kirjallinen toimintasuunni-telma tai vastaava ja ohjelmateoria (ks. luku 2.2), joka kuvaa toiminnan syy-seuraussuhteiden vaikutusketjut ja perustelut niille. Toiminnan tavoitteen hahmottaminen on siis arvioinnin lähtökohta.

Apukysymykset:• Mikäontoiminnanpäämäärä?• Mikäontoiminnantavoitetaitavoitteet?• Onkotehtyselkeäsuunnitelmasille,mitentoiminnantavoitetoteutetaan

eli onko olemassa esim. erillinen toiminta- tai toteutussuunnitelma ja/tai ohjelmateoria toiminnan toteuttamiseksi ja syy-seuraussuhteiden vaikutusketjujen osoittamiseksi?

46

2. ASKeL

miksi arviointia toteutetaan? Arvioinnin tarpeen, tarkoituksen ja tavoitteen kirkastaminenArvioinnin tarve ja tarkoitus nousevat toiminnasta ja toiminnan tavoitteesta käsin. oli kyse sitten pienen tai ison ohjelman arvioinnista, on pystyttävä pe-rustelemaan, mitä ollaan kiinnostuneita arvioimaan ja miksi. Miltei kaikkea voi arvioida. Kaiken arvioinnista ei kuitenkaan seuraa mitään olennaista hy-vää ja tässä vaiheessa onkin jo alustavasti tarpeen pohtia, millaista (määrällistä, laadullista) arviointia on mahdollista toteuttaa suhteessa käytettävissä oleviin resursseihin. Arvioinnin tarpeen ja tarkoituksen pohtiminen auttaa tekemään rajauksia. Kun arvioinnin tarve ja tarkoitus on selvillä, määritellään konkreet-tisemmin arvioinnin tavoite. Mitä arvioinnilla tavoitellaan? Tavoitteiden on hyvä olla melko konkreettisia.

Apukysymykset: • Mikäonarvioinnintarve?Miksiarviointiatehdään?• Mikäonarvioinnintarkoitus?Mitäarvioinnillahalutaan? Halutaanko arvioida toiminnan toteutusta vai osia kokonaisuudesta?• Mikäonarvioinninkonkreettinentavoite/tavoitteet?

3. ASKeL

mitkä ovat olennaisia seikkoja arvioida? ArviointikysymyksetKun arvioinnin tavoite on kirkastunut, tulee pohtia arviointikysymykset. Mihin kysymyksiin tulee saada vastaus, jotta arvioinnin tavoite täyttyy? Arviointi-kysymyksistä voi tehdä ensin pitkän listan, johon voi tehdä rajauksia. Hyvä arviointikysymys alkaa usein kysymyssanalla ”miten”. Miten-kysymykset

47

II

SILT

A T

eO

rIA

N J

A K

äy

Tä

NN

öN

Vä

LIL

Lä

ovat käyttökelpoisia, koska niihin vastaaminen edellyttää usein perusteluja, jotka auttavat toiminnan tai hankkeen parantamisessa. Sen sijaan onko-kysy-myksiä kannattaa välttää, koska ne odottavat myöntävää tai kieltävää vas-tausta. Kun arviointikysymykseen vastataan kyllä tai ei, se antaa kovin vähän informaatiota toiminnan parantamiseen.

Arviointikysymykset muuttuvat monesti ajan myötä. Toiminnassa arvioi-daan usein prosessia, koska muuten tulosten todentaminen saattaa olla han-kalaa. Kehittämisen kannalta on olennaista tietää, minkälaisen toiminnon seurauksena tulokset syntyivät. Mahdollisen epäonnistumisen sattuessa on taas tiedettävä, onko epäonnistuminen seuraus virheellisistä oletuksista vai siitä, ettei olla toimittu suunnitellulla tavalla. Prosessiarvioinnin avulla selvi-tetään, onko toiminta toteutunut suunnitellulla tavalla. Vasta tämän jälkeen on mielekästä selvittää, ovatko tulokset odotettuja. Yhtäältä tuotoksien ja tu-losten arviointi onnistuu vasta sitten, kun niitä on olemassa. Mikäli arvioin-nin tavoitteena on osoittaa muutos, muutoksen selvittämiseksi tulee toteuttaa pääsääntöisesti alku- ja lopputilanteen arviointia. Toisin sanoen arviointi tu-lee toteuttaa ennen intervention toteuttamista, jolloin loppuarvioinnin tulosta voidaan verrata alun tilanteeseen ja muutoksen osoittaminen on mahdollista. Prosessi-, tulosten ja vaikutusten arviointiin palataan myöhemmin. Arviointi-kysymysten tulisi olla selkeitä ja konkreettisia.

Apukysymykset: • Mitkäovatarviointikysymykset?• Saavutetaankoarvioinnintavoite(ks.kohtaedellä)vastaamalla

esitettyihin arviointikysymyksiin?• Onkoesitettyihinarviointikysymyksiinmahdollistasaadavastauksia?• Selviävätköonnistumisetjaepäonnistumisetesitettyjen

arviointikysymysten avulla?• Viittaavatkoarviointikysymyksetmuutoksenselvittämiseen,tuleeko

arvioinnissa siis toteuttaa ennen interventiota ja jälkeen intervention tehtäviä mittauksia?

• Viittaavatkoarviointikysymyksetkuvaamiseenjaselittämiseen?Toteutetaanko arvioinnissa kehittävän ja prosessiarvioinnin lähestymistapoja?

48

4. ASKeL

miten onnistuminen todennetaan? ArviointikriteeritKun arvioinnin tavoitteeseen kiinnittyvät arviointikysymykset on onnistunees-ti asetettu, voidaan siirtyä pohtimaan arviointikriteereitä. Arviointikriteerit ovat eräänlaisia mittareita tai tekijöitä, joiden pohjalta varsinainen arviointi tehdään. Arvioitava toiminta ei juuri koskaan ole huonoa tai hyvää sinänsä, vaan arvioinnissa kysymys on aina arvottamisesta, onnistumisesta tai epä-onnistumisesta suhteessa määriteltyyn tavoitteeseen. Arviointikriteerit mää-rittää tyypillisesti se toimija tai toimijat, jotka ohjelmaa tai toimintaa toteuttavat. He tietävät parhaiten sen, milloin toiminnassa on onnistuttu riittävän hyvin. Arviointikriteereistä kannattaa keskustella isommassa ryhmässä (esim. ohjaus-ryhmä, järjestön johtoryhmä, vapaaehtoistyöntekijät jne.), koska arviointi-kriteerien yhteinen hyväksyminen auttaa myös vahvistamaan yhteistä ymmär-rystä riittävän hyvästä toiminnasta.

Esimerkiksi järjestetyn seminaarin yhtenä arviointikriteerinä voi olla, että vähintään 100 ihmistä osallistuu seminaariin. Tällöin on onnistuttu kävijä-tavoitteessa. Laadullisempi arviointikriteeri samaisesta seminaarista voisi olla, että palautteista nousee vähintään kuusi sellaista sisältöasiaa, joita osallistujat ovat kertoneet oppineensa uusina asioina. Esimerkiksi jos toiminnan tavoit-teena on kohderyhmän valtaistaminen tai omavoimaistaminen, mistä tiedäm-me onnistuneemme? Kuinka monen tulisi omavoimaistua ja miten se käytän-nössä näkyy?

Apukysymykset: • Mitenonnistuminenilmenee,mitäpitäätoteutua/tapahtuatms., jotta voidaan osoittaa onnistuminen?• Ovatkoarviointikriteerityksiselitteisiäts.jääköniihintulkinnanvaraa?• Onkojokainenarviointikysymyskatettuvähintäänkinyhdelläkriteerillä?• Onkoarviointikriteereidenvalinnassakeskusteltutoiminnassamukana

olevien tahojen kanssa ja tultu niistä yksimieliseen päätökseen?

49

II

SILT

A T

eO

rIA

N J

A K

äy

Tä

NN

öN

Vä

LIL

Lä

5. ASKeL

Sisäinen vai ulkoinen arviointi? Arvioinnin toteuttaja ja arvioitsijan rooliArviointikysymykset auttavat jo päättelemään, minkälaisia rooleja ja tehtäviä arvioitsijalta edellytetään. Liittyykö arviointikysymyksiin kehittävä rooli ja muutokseen vastaaminen vai enemmän hallinnointi ja tuloksellisuuden var-mistaminen? Lisäksi kysymysten kautta voidaan tarkastella, mitkä niistä pai-nottuvat sisäisen arvioinnin suuntaan eli mihin kysymyksistä voidaan vasta-ta itsearvioinnin avulla? Entä mitkä kysymyksistä ovat sellaisia, joihin vastaa-miseksi tarvitaan ulkopuolista tukea? Sisäisessä arvioinnissa arviointia voi suorittaa useampikin henkilö, jolloin arvioinnin näkökulma laajenee. olen-naista on, että jokainen arvioitsija on tietoinen tehtävästään, yhteisestä tavoit-teesta, arviointikriteeristä ja että arvioinnin tulokset ja analysointi toteutetaan yhteistyössä.

Apukysymykset: • Millaisiaroolejaarvioitsijaltaedellytetäänjamillaisiatehtäviärooli

arvioitsijalle asettaa?• Mitenarviointikysymyksetasettuvatarvioinninkartallasuhteessa

sisäisen ja ulkoisen arvioinnin janalle? Antaako tämä suuntaa sille, tulisiko jotain arviointikysymyksiä tarkastella ulkoisen arvioinnin näkökulmasta?

• Onkomeilläriittävästiosaamistavastataarviointikysymyksiinsisäiselläarvioinnilla?

• Voidaankokaikkiinarviointikysymyksiinvastatasisäiselläarvioinnilla?• Onkoulkoistaarviointiamahdollistatilata(esim.resurssithuomioiden),

mikäli jokin arviointikysymyksistä sitä edellyttää?• Ketkäosallistuvatarvioinnintoteuttamiseen?Miten?

50

6. ASKeL

Tulokset ja vaikutukset vs. prosessit, ylläpito vs. muutos arvioinnin kohteena ja taustalla Tässä kohtaa on tarpeen tarkastella, miten arviointikysymykset asettuvat arvioinnin kartan vaaka- ja pystyjanalle. Missä kohtaa arvioidaan prosesse-ja, milloin taas ollaan kiinnostuneita tuloksista ja vaikutuksista? Perustuuko arviointi ennemminkin toimintojen hallinnointiin ja toteuttamiseen vai onko arvioinnin taustalla muutoksen osoittaminen? näitä asioita on tarkasteltu ensimmäisen kerran jo arviointikysymyksiä laadittaessa. Tässä kohtaa on hyvä vielä tarkentaa eri tekijöiden suhdetta arviointisuunnitelman kokonai-suudessa.

Apukysymykset:• Mitenarvioinninteoreettisenkartanjanojenulottuvuudet (prosessit vs. tulokset ja vaikutukset, muutos vs. ylläpito) näyttäytyvät arviointikysymyksissä?• Sisältävätköarviointikysymyksetkysymyksiäprosessistaja

kehittämisestä?• Sisältävätköarviointikysymyksetkysymyksiä,joissahalutaan selvittää tulos ja muutos?

7. ASKeL

mitä ja keneltä tietoa tarvitaan? Arvioinnin aineistoKun arvioinnille on määritelty tavoite, arviointikysymykset ja -kriteerit sekä tarkasteltu arviointia arvioinnin kartan eri janojen ulottuvuuksien suhteen (sisäinen vs. ulkoinen, pysyvyys vs. muutos ja prosessit vs. tulokset ja vaiku-tukset), tulee pohtia tarvittava arvioinnin aineisto. Vaikka johonkin arviointi-

51

II

SILT

A T

eO

rIA

N J

A K

äy

Tä

NN

öN

Vä

LIL

Lä

kysymykseen olisikin päätetty hakea ulkoista arviointia, arvioinnin aineiston pohtiminen myös tähän kysymykseen on silti tärkeää. Mikäli halutaan sel-vittää tuloksia ja vaikutuksia, aineistoa tulisi kerätä sekä alku- että loppu-vaiheessa. Prosessiarvioinnissa arviointia toteutetaan jatkuvasti. Tässä kohtaa tulee myös pohtia keneltä aineistoa ja tietoa halutaan eli ketkä toimivat infor-mantteina.

usein järjestöt ja niiden toiminta tuottaa erilaista materiaalia, jota voidaan hyödyntää arvioinnin tukena ja apuna. Esimerkiksi toimintakertomuksia tai ohjelmien suunnitelmia ja erilaista raportointia voidaan hyödyntää arvioin-nin aineistona. Toisinaan saatetaan tarvita kuitenkin myös muuta aineistoa. Kun arviointikysymyksiä on jo tarkasteltu arvioinnin kartan janojen valossa, pystytään seuraavaksi katsomaan, millaisia arvioinnin näkökulmia (osallis-tava arviointi, tapauskohtainen arviointi, prosessiarviointi, tulosten ja vaiku-tusten arviointi) arviointi näyttäisi edellyttävän kartalla? näihin asioihin pu-reudutaan seuraavassa luvussa.

Apukysymykset: • Minkälaistatietoatarvitaan,jottaarviointikysymyksiinvoidaanvastata?• Mihinkartanerikenttiinaineistotliittyvät:tarvitaankoaineistoa

prosesseista, kootaanko aineisto osallistavan arvioinnin menetelmin, edellyttääkö aineiston kokoaminen tietoa tulosten arvioinnista vai

kenties tapauskohtaista arviointia?• Mitenolemassaoleviaaineistojavoidaanarvioinnissahyödyntää (esim. hankeraportit, toimintasuunnitelmat ja -kertomukset,

ohjausryhmän kokousmuistiot, hankesuunnitelmat jne.)?• Minkälaistaaineistoatarvitaanlisää(ks.luku4.2)?• Määrällistä(erilaisetkyselylomakkeet,valmiittilastot,palautteetyms.) eli sisältyykö arviointikysymykseen ilmaisuja kuten ”kuinka paljon”,

”missä määrin” tai onko arviointikriteeri määritelty lukuarvona? • Laadullista(haastattelut,kirjoitukset)eliovatkoarviointikysymykset

pääosin ”miten” muotoisia?• Millaisiaarvioinnintyömenetelmiämahdollisestitarvitaanaineiston

kokoamiseksi (ks. luku 4.3)?• Miten,milloin,keneltäjakenentoimestaaineistohankitaan?

52

8. ASKeL

Dokumentointi ja raportointiHyvä arviointi on dokumentoitu. Arvioitsijan pitäisi kyetä osoittamaan, mil-laista aineistoa on käyttänyt, miten sitä analysoinut ja millaisen tuloksen siitä raportoinut. Arviointiaineiston dokumentointi kannattaa keskittää myös sil-loin, kun arviointia toteuttaa useampi henkilö. Arviointiaineisto kannattaa koota esimerkiksi erilliseen mappiin tai omaan kansioon tietokoneelle. Aineis-ton määrä ei ole kuitenkaan laadun mitta. olennaista on se, mitä aineiston analysointi antaa kehittämistyölle tai mitä se kertoo tuloksista ja vaikutuksis-ta. Arvioinnin tuloksen voi raportoida monellakin eri tavalla. on hyvä miet-tiä, milloin minkäkinlainen raportointi on tarkoituksenmukaista. Esimerkiksi pitkissä ohjelmissa järjestöiltä edellytetään usein vähintään kirjallisia väli- ja loppuraportteja, jotka perustuvat pitkälti siihen, mitä on tehty ja saatu aikaan ja miten siinä onnistuttu. Arvioinnin tulos voidaan raportoida omana raport-tinaan tai sulautettuna yleiseen raporttiin. Prosessiarvioinnissa on kuitenkin tärkeää, että arvioinnin tuloksista saadaan tietoa ja niistä raportoidaan toi-minnan edetessä, jotta mahdolliset parannukset on mahdollista tehdä. Prosessi-arvioinnissa tärkeää on tietää tuloksista ydin. Tarkoituksenmukaista ei ole siis kirjoittaa pitkää monta sivua kattavaa raporttia, vaan saattaa hyvinkin riittää, että ydintulokset raportoidaan esimerkiksi ranskalaisin viivoin.

Apukysymykset:• Mitenarviointidokumentoidaan?Mihinaineistokerätään, mistä se löytyy ja miten sitä käsitellään ja raportoidaan?• Sisältääköarviointiprosessienarviointia?Mitenvarmistetaan, että siitä saatava tieto on käytössä jo toiminnan aikana?• Millointuloksistaraportoidaan?Montakons.pientäväliraportointia

tarvitaan, montako isompaa?

53

II

SILT

A T

eO

rIA

N J

A K

äy

Tä

NN

öN

Vä

LIL

Lä

9. ASKeL

Tulosten hyödyntäminen ja levittäminenTulosten hyödyntäminen ja levittäminen on arvioinnissa A ja o. Arvioinnin arvo on hyöty toiminnalle. Arvioinnin tulokset, olipa kyseessä sitten prosessi-arviointi tai tulosten arviointi, on osattava hyödyntää oikein. Prosessiarvioin-nin tulokset otetaan kehittämisen työkaluiksi. niiden avulla parannetaan toi-mintaa. Tulosten arvioinnissa tulisi osata esimerkiksi osoittaa toiminnan onnis-tuneisuus ja tuloksellisuus suhteessa siihen, mikä oli odotettavaa. Karkeasti to-dennetaan, oliko se, mitä tehtiin sen väärtti, mitä sille annettiin. Tulosten levit-tämistäkään ei tule unohtaa. Se voi tapahtua monia eri väyliä pitkin. Tyypillisiä ovat erilaiset koulutukset ja seminaarit, kirjoittaminen alan lehtiin tai erilaisten tiedotteiden tai kannanottojen laatiminen. Valitettavan usein esimerkiksi järjes-töjen toteuttamissa ohjelmissa levittämisvaiheelle ei jää aikaa tai sille ei ole suunnattu resursseja, jolloin tulokset jäävät vain toteuttajien tai hyvin pienen joukon tietoon. Arvioinnin hyöty parhaimmillaan on siinä, että se kehittää ja tu-kee laaja-alaisesti niin ohjelman aikaista kuin erityisesti sen jälkeistä toimintaa ja vaikuttaa päätöksentekoon. Lisäksi tieto saattaa auttaa muita samantyyppis-tä työtä tekeviä kehittämään omaa toimintaansa. on tärkeää, että luodut niin sanotut hyvät käytännöt leviäisivät laajemmaltikin muiden käyttöön.

Apukysymykset:• Mitenarvioinnintuloksetraportoidaan?• Kenelletuloksetraportoidaan?• Kukavastaatulostenhyödyntämisestä?• Mitäjamilloinarvioinnistaraportoidaan – hankkeen tai toiminnan toteuttajalle? – oman organisaation muille työntekijöille? – rahoittajalle? – muille järjestöille?• Mitenarvioinnintuloksiatullaantarkastelemaantoimijoidenkeskeneli

mitkä ovat ns. tarkistuspisteet, joissa arvioinnin tulosten avulla voidaan tarvittaessa ryhtyä tarvittaviin muutos/kehittämistoimenpiteisiin?

• Mitenarvioinnintuloksiatullaanhyödyntämäänjatkossa?

54

10. ASKeL

resurssit ja tarkistusTässä kohtaa arviointisuunnitelma on hahmottunut ja on syytä katsoa, millai-selta suunniteltu arviointitehtävä kokonaisuudessaan vaikuttaa. Millaista pa-nostusta arviointi vaatii rahallisesti, ajallisesti ja henkilöresursseina? olennai-sinta ei ole se, että ehditään arvioida paljon vaan se, että arviointi on laadu-kasta, tarkoituksenmukaista ja toteutuskelpoista niillä resursseilla, joita on käytettävissä. Valitettavan usein arviointi kärsii eniten, mikäli resursseja on vähän. Arviointi on kuitenkin keskeinen keino osoittaa toiminnassa aikaan-saatuja tuloksia. Kun resursseja on vähän, on tärkeää, että ne käytetään oikein. Arvioinnin tulosten avulla parannetaan toimintaa.

Kun alustava arviointisuunnitelma on laadittu, on tarkistuksen paikka. onko haukattu liian iso pala purtavaksi? onko arviointi mahdollista toteuttaa niillä resursseilla, jotka ovat käytettävissä? Miten arvioinnin kartta näyttäy-tyy suunnitelman valossa? Mitkä kartan eri kentät näyttävät arvioinnin kan-nalta olennaisilta? nyrkkisääntönä voidaan pitää, että useimmissa arvioin-neissa olisi hyvä ottaa elementtejä vähintäänkin kahdelta eri kentältä. Esimer-kiksi tavallisessa hankearvioinnissa on ensin tarpeen arvioida sitä, onko toi-minta toteutunut suunnitelmallisesti. Mikäli näin on tapahtunut, voidaan keskittyä tarkastelemaan sitä, ovatko toiminnan tulokset odotettuja.

Apukysymykset:• Onkoarvioinninkohdeoikeaeliauttaakoarviointitietoparantamaan

toimintaa?• Onkoarvioinnillevaratturiittävästiresursseja?• Löytyykötarvittavaarviointiosaaminenomastaorganisaatiosta? Millaista osaamista arvioinnin toteuttajilla on? onko osaaminen riittävää suunnitellun arvioinnin toteuttamiseksi?• Mitäosaamistaonmahdollisestiostettava?• Kuka/ketkäarviointiatoteuttaa/toteuttavat?• Mitäresurssejaajallisestiarviointiinonkäytettävissä (esim. x päivää/kuukausi)?• Onkoarviointisuunnitelmalaadittusuhteessakäytettäviinresursseihin?

55

II

SILT

A T

eO

rIA

N J

A K

äy

Tä

NN

öN

Vä

LIL

Lä

yDINKOhDAT• Arviointisuunnitelmaontärkeätehdähetiohjelmanalussa.

Tällöin arviointi kiinnittyy aidosti toimintaan.• Arviointisuunnitelmantekeminenedellyttää

toimintasuunnitelmaa, hankesuunnitelmaa tai vastaavaa, johon arviointi kiinnitetään.

• Arvioinnissahuolellatehtysuunnitelmaontärkeäosaarvioinnin kokonaistoteutusta.

• Arviointisuunnitelmaaonmahdollistamuokatatoiminnanedetessä.

• Arviointisuunnitelmaanolisihyväkirjataseuraavataskeleiden muotoon luetteloidut asiat, jotka sitovat toiminnan, arvioinnin teorian ja käytännön yhteen.

1. ASKEL: Mitä arvioidaan? Toiminnan tavoite ja ohjelmateoria arvioinnin taustalla. 2. ASKEL: Miksi arviointia toteutetaan? Arvioinnin tarpeen, tarkoituksen ja tavoitteen kirkastaminen. 3. ASKEL: Mitkä ovat olennaisia seikkoja arvioida? Arviointikysymykset 4. ASKEL: Miten onnistuminen todennetaan? Arviointikriteerit 5. ASKEL: Sisäinen vai ulkoinen arviointi? Arvioinnin toteuttaja ja arvioitsijan rooli 6. ASKEL: Tulokset ja vaikutukset vs. prosessit, ylläpito vs. muutos arvioinnin kohteena ja taustalla 7. ASKEL: Mitä ja keneltä tietoa tarvitaan? Arvioinnin aineisto 8. ASKEL: dokumentointi ja raportointi 9. ASKEL: Tulosten hyödyntäminen ja levittäminen 10. ASKEL: Resurssit ja tarkistus

III NäKyVäKSI TeKeVä

KäyTäNTö

58

Arvioinnin kartta: käytäntö

4.1 Arvioinnin menetelmällinen karttaEdellisissä luvuissa on tutustuttu arviointiin ilmiönä ja kuvattu arvioinnin kartan teoria. Lisäksi esiteltiin arviointisuunnitelman laatimisen avuksi kym-menen askelta. Seuraavaksi edetään arvioinnin käytännön toteutukseen, joka pohjautuu edellä kuvattuun arvioinnin kartan teoriaosuuteen. Kuten on jo useaan kertaan todettu, erilaisten arvioinnin aineistonkeruu- ja työmenetel-mien valintaa edeltää arvioinnin tarpeiden, kysymysten ja kriteereiden mää-rittäminen, toiminnan suunnittelu sekä toiminnan logiikan eli ohjelmateorian pohdinta ja kuvaus.

Menetelmä on käsite, jota käytetään useissa eri yhteyksissä. Menetelmänä pidetään yhtä lailla haastattelua kuin esimerkiksi SWoT-analyysiakin. Tässä julkaisussa menetelmät jaetaan arvioinnin aineistonkeruumenetelmiin ja ar-vioinnin työmenetelmiin. Aineistonkeruumenetelmät ovat tyypillisesti sellai-sia, joita käytetään mm. yhteiskuntatieteellisessä, käyttäytymistieteellisessä tai epidemiologisessa tutkimuksessa. Aineistonkeruumenetelmien avulla ke-rätään yleensä määrällistä tai laadullista aineistoa arviointia varten. niitä käsitellään seuraavassa luvussa.

Työmenetelmät puolestaan ovat työkaluja, jotka tuottavat aineistoa arvioin-tiin ja tukevat toiminnan suunnittelua. ne eivät välttämättä ole tutkimuksista tuttuja mutta sitäkin tutumpia työelämästä tai käytännöstä yleensä. Esimerkik-si SWoT-analyysin (ks. luku 4.3.2) avulla on tiettävästi kartoitettu niin aikuis-opiskelijan vahvuuksia ja heikkouksia oppijana kuin myös organisaation vah-vuuksia ja heikkouksia muutokseen sopeutujana.

Kaikkia menetelmiä yhdistävä piirre on se, etteivät ne yksin tarkoita vielä arviointia tai että niiden käytännön toteutus johtaisi suoraan parempaan toi-mintaan. Kerättävät aineistot on aina analysoitava tai tieto niistä on koostetta-va, samalla tavoin kuin työmenetelmien toteutuksen anti on käytävä huolelli-sesti läpi ja useimmiten niiden tuotokset on syytä dokumentoida arvioinnissa käytettäväksi.

4

59

III

Nä

Ky

Vä

KS

I Te

Ke

Vä

Kä

yT

äN

Tö

Kuvio 3. Arvioinnin menetelmällinen kartta

Arvioinnin menetelmällinen kartta pohjautuu teoreettiseen karttaan ja on esi-tetty kuviossa 3.

Menetelmällinen kartta ammentaa edellä esitetystä teoriasta. Siten se koos-tuu myös nelikentästä ja kolmesta nelikentän leikkaavasta janasta: sisäisen ja ulkoisen arvioinnin janasta, arvioinnin tarvetta kuvaavasta janasta ja arvioin-nin kohdetta kuvaavasta janasta. näiden janojen merkitys on kuvattu jo edel-lä. nelikenttä jakaantuu teoreettisen kartan tavoin, mutta nyt kartassa koros-tuvat arvioinnin näkökulmat: osallistava arviointi, tapauskohtainen arviointi,

Arvioinnin kohteenaPROSESSIT

Arvioinnin kohteenaTULOKSET JA VAIKUTUKSET

Arvioinnin taustalla toiminnan YLLÄPITO perustuu TOTEUTTAMISEEN

Arvioinnin toteutusSISÄISENÄ ARVIOINTINA

ArvioinnintoteutusULKOISENA ARVIOINTINA

Osallistava arviointiTapauskohtainen arviointi

ProsessiarviointiTulosten ja vaikutusten arviointi

Arvioinnin taustalla toiminnan MUUTOS perustuu MUUTOSTARPEISIIN

ARVIOINTIA LÄHDETÄÄN TOTEUTTAMAAN ARVIOINNIN TARPEISTA, ARVIOINTIKYSYMYKSISTÄ JA OHJELMATEORIASTA KÄSIN

Aivoriihi

Tulevaisuus-verstas

Työ-konferenssi

SWOTVastakohtai-suuksien timantti

Parastaminen

Asiantuntija-paneeli

Delfoi

Miellekartta

Laatupiiri ITE

CAF (Common assesment framework)

Euroopan laatupalkinto-malli EFQM)

Arviointiakvaario

Satunnais-kokeellinen arviointimalli (RTC)

Vertaileva kokeellinen asetelma

Looginen viitekehys

60

prosessiarviointi sekä tulosten ja vaikutusten arviointi sekä näihin erilaisiin arviointinäkökulmiin liittyvät työmenetelmät. Työmenetelmät on pyritty si-joittamaan karttaan siten, miten ne tekijöiden mielestä asettuvat kartalle suh-teessa janoihin sisäinen – ulkoinen arviointi ja laadullinen – määrällinen sekä nelikenttään. Työmenetelmistä on tarkemmin luvussa 4.3.

Menetelmällinen kartta jakaantuu lisäksi kahteen osaan, vihreään ja keltai-seen kolmioon. Keltaisella kolmiolla kuvataan sitä, että näillä arvioinnin näkö-kulmien alueilla arvioinnin aineisto koostuu pääsääntöisesti laadullisesta eli kvalitatiivisesta aineistosta ja vihreän kolmion alueella puolestaan arvioinnin aineisto koostuu pääsääntöisesti määrällisestä eli kvantitatiivisesta aineistos-ta. Lähes poikkeuksetta osallistavan arvioinnin näkökulmassa arvioinnin aineisto koostuu kuitenkin laadullisesta materiaalista ja vastaavasti tulosten ja vaikutusten arvioinnissa määrällisestä aineistosta. Tapauskohtaisessa ar-vioinnissa ja prosessien arvioinnissa aineisto koostuu yhtä lailla määrällisestä ja/tai laadullisesta aineistosta.

Seuraavissa luvuissa kerrotaan ensin arviointia varten kerättävistä aineis-toista, niiden ominaispiirteistä ja sisällöistä. Aineistoja, niiden hankintaa ja käyttöä esitellään arvioinnin tarpeet huomioiden. Seikkaperäisempiin seli-tyksiin voi tutustua lukuisten yhteiskuntatieteellisten tutkimusmenetelmä-oppaiden9 tuella. Tämän jälkeen siirrytään menetelmällisen kartan tarkaste-luun. Tässä kuvataan, miten osallistavaa arviointia, tapauskohtaista arviointia, prosessiarviointia sekä tulosten ja vaikutusten arviointia voidaan käytännös-sä toteuttaa eri työmenetelmien avulla. nelikentän eri osien kuvauksen yh-teyteen on lisätty kuvitteellinen esimerkki. Esimerkin tavoitteena on osoittaa käytännön soveltamismahdollisuutta. Lisäksi on kerrottu muista työmenetel-mistä, jotka nelikentän osioissa tulisivat kyseeseen. Kuten arvioinnin teoreet-tisessakin luvussa myös tässä, viitekehyksenä toimii järjestöjen toiminta ja esimerkkeinä terveyden edistämisen teemaan liittyvät arvioinnit.

Arvioinnin teoreettisen ja menetelmällisen kartan idea yksinkertaisuudes-saan on kertoa, että hyvä ja tarkoitustaan palveleva arviointi operoi useimmiten kartan eri kentillä. Keskittymällä vain yhteen nelikentän sisältöön voidaan vain harvoin vastata olennaisiin arviointikysymyksiin. Kartan eri osat eivät it-sessään ole toinen toistaan parempia tai huonompia, mutta niillä tavoitetaan

9 Esim. Alasuutari, P. 1999. laadullinen tutkimus. Alkula ym. 2002. Sosiaalitutkimuksen kvantitatiiviset menetelmät.

61

III

Nä

Ky

Vä

KS

I Te

Ke

Vä

Kä

yT

äN

Tö

erilainen näkökulma todellisuuteen. Tiettyyn arviointinäkökulmaan kiinnit-tyminen sisältää aina rajoituksia, jotka arvioinnin tulosten tulkinnassa ja hyö-dyntämisessä on hyvä huomioida. Arvioinnissa valittu näkökulma vaikuttaa siihen, minkälaisia johtopäätöksiä voidaan tehdä. Johtopäätökset puolestaan vaikuttavat siihen, minkälaisia käytännön suosituksia on mahdollista esittää. näin ollen ei ole yhdentekevää, mistä näkökulmasta arviointia tehdään. Täs-tä syystä eri näkökulmien hyödyntäminen on tarpeellista ja jopa suotavaa.

Arvioinnin teoreettisessa kartassa saatiin esiteltyä vain pintaraapaisu arvioinnin keskeisistä sisällöistä, joiden luokittelu tiettyihin kenttiin pelkisti arvioinnin kokonaiskuvaa. Samalla tavalla myös tässä menetelmällisessä kar-tassa eri työmenetelmien jaottelu ei ole yksioikoista. Työmenetelmät voitai-siin sijoittaa myös toisin nelikenttiin. Tärkeintä kuitenkin on, että erilaisten näkökulmien valintaa ohjaa ensisijaisesti arviointisuunnitelma eli se, minkä-laista tietoa arviointia varten tarvitaan (ks. luku 3, askel 3). Erilaiset työmene-telmät eivät sovellu kaikkialle sellaisenaan. Esimerkit toteutuksista ovat suun-taa antavia. Erilaisten arvioinnin aineistonkeruumenetelmien ja työmenetel-mien käyttäminen edellyttää aina soveltamista.

4.2 Arvioinnin aineistotArviointisuunnitelman laatimista ohjaavassa viidennessä askeleessa (luku 3) kehotettiin pohtimaan, millaista tietoa arviointia varten tarvitaan. Tiedon tar-ve vaikuttaa siihen, millainen arvioinnin aineisto on tarpeen. Tätä kehotetaan pohtimaan muun muassa tarkastelemalla, sisältyykö arviointikysymyksiin il-maisuja kuten ”kuinka paljon”, ”missä määrin” tai onko arviointikriteeri mää-ritelty lukuarvona. Tällöin tarvitaan määrällistä aineistoa. Mikäli arviointi-kysymyksiin sen sijaan sisältyy ”miten”-kysymyksiä ja vastaukset edellyttä-vät tarkempaa kuvailua, on laadullinen aineisto käyttökelpoista. Arviointia varten tarvittavaa aineistoa määrittää arviointikysymys ja arviointikriteerit.

Seuraavaksi esitellään eri aineistonhankintamahdollisuuksia, jotka tässä yhteydessä on jaettu kolmeen luokkaan: 1) olemassa olevat aineistot eli aineis-tot, jotka ovat olemassa ilman arviointia 2) Hankkeen tai toiminnan tuottamat arviointidokumentit sekä 3) Arviointia varten kerättävät aineistot, jotka on jaettu edelleen laadulliseen ja määrälliseen aineistoon.

62

Alla esitetään aineistoja, niiden keruuta ja käsittelyä arvioinnin tarpeisiin. Yhteiskuntatieteellisten tutkimusmenetelmäoppaiden avulla voi tarvittaessa syventää tietojaan erilaisista aineistonkeruumenetelmistä ja analysointi-tavoista. Ajatuksemme on, että pienimuotoisia arviointeja on mahdollista teh-dä ilman syvällistä tutkimusmenetelmien hallintaa. Isot arvioinnit ja aineistot puolestaan edellyttävät syvällisempää ymmärrystä erilaisten aineistojen käyt-tömahdollisuuksista. Pääasia on, että arvioinnissa tiedetään ja pystytään osoittamaan, mitä ja miten aineistoja on käytetty sekä miten johtopäätöksiin on tultu.

l OlemAssA OleVAT AineisTOTolemassa olevilla aineistoilla tarkoitetaan aineistoa, joka on olemassa ilman arviointia. Toisin sanoen sitä ei tuoteta arviointia varten. Erityisesti lähtötilan-teen kartoitukseen on hyvä hyödyntää olemassa olevia tutkimuksia, selvityk-siä ja mahdollisesti hankeraportteja. nykytilanteen kartoitus auttaa jäsentämään ohjelmateoriaa (ks. luku 2.2), mutta se auttaa myös arvioinnissa. Parin kol-men vuoden päästä voidaan tarkastella, onko mahdollisesti tapahtunut jon-kinlaista muutosta lähtötilanteeseen nähden. Muutoksen arviointi edellyttää ohjelmateoriaa. ohjelmateorian tuella selitetään, miksi muutoksen oletetaan tapahtuneen.

Aikaisempien tutkimuksien ja selvitysten ohella on olemassa erilaisia tieto-kantoja ja niin kutsuttuja tilastopankkeja. näitä voi etsiä mm. Terveyden ja hyvinvoinnin laitoksen sekä Tilastokeskuksen internetsivuilta. Tilastojen tie-dot ovat usein valtakunnallisia tai alueellisia, eivätkä välttämättä sellaisenaan sovellu järjestöjen toiminnan tueksi. ne saattavat kuitenkin antaa erinomaisia vertailukohtia, jos saatavissa on järjestöjen toiminta-alueelta vastaavia tietoja. Yhtäältä järjestöillä harvemmin on vastaavia resursseja tilastoaineistojen ko-koamiseksi. Tilastopankkien tiedot saattavat auttaa myös ohjelmateorian ra-kentamisessa.

Järjestöjen toimintasuunnitelmat ja -kertomukset voivat myös toimia ar-vioinnin aineistona. Järjestön sisällä kannattaa keskustella siitä, miten niitä voidaan hyödyntää arvioinnin tukena ja miten arviointi niissä ylipäänsä näkyy. Toimintasuunnitelmat ja -kertomukset on tehtävä joka tapauksessa. on hyvä miettiä, palvelevatko ne jo parhaalla mahdollisella tavalla toiminnan paranta-

63

III

Nä

Ky

Vä

KS

I Te

Ke

Vä

Kä

yT

äN

Tö

mista vai onko niitä mahdollista muokata toimintaa ja sen arviointia parem-min tukeviksi. Toimintasuunnitelmiin ja -kertomuksiin voidaan liittää mukaan arviointikysymyksiä ja kriteerejä (ks. luku 3; askeleet 3 ja 4).

Suunnitteluvaiheessa saadaan tukea aikaisemmista hankeraporteista. nii-den avulla päästään kiinni siihen, mitä aikaisemmista hankkeista voidaan op-pia suunnittelun ja arvioinnin osalta. onko aikaisemmissa hankkeissa hyö-dynnetty esimerkiksi hankkeen ohjausryhmää arvioinnissa ja miten se on on-nistunut? Voidaanko esimerkiksi hankkeen ohjausryhmän kokousmuistioihin kirjoittaa arviointikeskustelujen keskeiset kohdat? Raha-automaattiyhdistyk-sen projektilomakkeet ovat myös kehittyneet hankkeita yhä paremmin palve-levaan suuntaan. Kun ne täytetään huolella, niiden yhteydessä tulee jo mietit-tyä hankkeen arvioinnin kannalta olennaiset seikat.

Muiden järjestöjen hankkeiden arviointiraportit saattavat osoittautua hyö-dyllisiksi. niistä saatetaan saada tukea omaan ohjelmateoriaan tai sitten ne mahdollisesti auttavat välttämään keskeisiä kompastuskiviä. Samantyyppis-ten hankkeiden arviointiraportit voivat tukea myös arviointikriteerien muo-dostamisessa auttamalla sen määrittelyssä, mikä on riittävän hyvää.

Toiminnan tai hankkeen tavoitteista riippuen saattaa olla myös muita olen-naisia aineistoja. Jos esimerkiksi tavoitteena on nostaa keskusteluun jokin tiet-ty näkökulma tai asia, voi media-aineisto tulla kysymykseen. Esimerkiksi hankkeessa, jossa pyrittiin tuomaan opiskelijakulttuuriin vähemmän kosteita vaihtoehtoja, seurattiin ylioppilaslehtien keskustelua. Yhtäältä voisi ajatella, että vaikkapa työttömien yhdistyksen intressissä olisi tuottaa kuvaa työttö-mistä heterogeenisenä ryhmänä, jolloin seurattaisiin esimerkiksi Helsingin Sanomien kirjoittelua. Tietenkin tässä kohtaa pitää tarkistaa, että itse toiminta on sellaista, että sen tulosten voidaan olettaa näkyvän mediassa.

olemassa olevien aineistojen merkitys on suuri hankkeen tai ohjelman suunnitteluvaiheessa ja tukea siitä saa esimerkiksi arviointikriteerien tarken-tamiseen. Joskus arviointia varten tarvitsee kerätä vain vähän aineistoa, mikä-li olemassa olevat aineistot hyödynnetään.

l HAnKKeen TAi TOiminnAn TuOTTAmAT ArViOinTidOKumenTiTHankkeessa tai toiminnassa voidaan tuottaa tarkoituksellisesti arviointia varten aineistoja. näistä kenties perinteisin muoto ovat erilaiset kysely- ja palaute-

64

lomakkeet. Esimerkiksi koulutustilaisuuksista kerätään usein palautetta. Pa-lautteet ovat erinomainen väline toiminnan kehittämisessä, mutta ne tuskin koskaan riittävät yksistään arvioinnin aineistoksi. Esimerkiksi koulutustilai-suuksista palautteen avulla saadaan harvemmin tietoa oppimisesta, puhu-mattakaan siitä miten oppiminen näkyy käytännössä. Toiminnan tulosta ar-vioitaessa tämä saattaa olla aivan avainkysymys. Palautteen kerääminen ei ole vielä ohjelman arviointia. Arvioinnista voidaan puhua, kun palaute käsi-tellään ja saatua tulosta verrataan arviointikriteereihin. Tämän jälkeen voi-daan tehdä perusteltuja päätelmiä.

Arvioinnille arvokkaita aineistoja voivat olla esimerkiksi SWoT-analyysin yhteenveto, suunnitteluvaiheessa tehdyt riskianalyysit tai erilaiset työkonfe-renssien tuotokset (tarkemmin luvussa 4.3). niistä selviää tietyn hetken tilanne ja niihin voidaan peilata, onko muutosta tapahtunut. Yhtäältä arvioinnin avulla päästään kysymykseen siitä, onko olemassa ollut tieto hyödynnetty.

Sisäiset arviointikeskustelut kannattaa dokumentoida jollakin tavalla ar-vioinnin aineistoksi. Hankkeissa arviointikeskusteluja voidaan käydä esi-merkiksi hankkeen ohjausryhmässä. Järjestön perustoiminnassakin sisäiset arviointikeskustelut ovat käyttökelpoisia. Kysymys ei ole siitä, etteikö tämän tyyppistä sisäistä arviointia olisi hankkeissa ja järjestöissä tehty jo vuosi-kymmeniä, vaan siitä että dokumentaatio on jäänyt verrattain vähäiseksi.

l ArViOinTiA VArTen KeräTTäVäT AineisTOTAineistoa hankitaan arviointia varten, kun arviointikysymyksiin ei kyetä vas-taamaan ilman ylimääräistä aineistoa. Aineistonkeruun lähtökohtana ovat aina arvioinnin tarpeet. Mikäli arviointikysymykset ovat epämääräisiä, eikä arviointikriteereitä ole määritelty, on mahdotonta kerätä tarkoituksenmukais-ta aineistoa. Aineiston määrän ja laadun määrittävät arviointikysymykset. Aineiston keruun suunnittelussa kannattaa huomioida myös resurssit; Min-kälaista osaamista on, miten paljon aikaa arviointiin on käytettävissä ja mitkä ovat taloudelliset resurssit? Ennen aineiston keruuta kannattaa pohtia myös sitä, minkälaisessa muodossa aineisto tarvitaan, jotta sitä voidaan hyödyntää arvioinnissa.

Arviointia varten kerättävät aineistot voivat olla laadullisia tai määrällisiä. Arviointikysymys ratkaisee sen, minkälaista aineistoa tarvitaan. ”Miten”-

65

III

Nä

Ky

Vä

KS

I Te

Ke

Vä

Kä

yT

äN

Tö

kysymyksiin vastataan kvalitatiivisen eli laadullisen aineiston avulla, kun taas ”miten paljon”, ”kuinka suuri osuus” tai ”kuinka usein” -kysymyksiin vastataan kvantitatiivisen eli määrällisen aineiston tuella.

Kun on kysymys laadullisesta tai määrällisestä aineistosta, kysymykset on useimmiten operationalisoitava. operationalisoinnilla tarkoitetaan, että käsit-teet on käännettävä käytännön kielelle. Yksi operationalisoinnin tavoite on tuottaa niin yksiselitteisiä kysymyksiä, että voidaan olla varmoja siitä, että vastaajat ja kysymyksen tekijät tulkitsevat kysymykset jotakuinkin samoin ta-voin. operationalisointi tarkoittaa käsitteen sisällöllistä määrittelyä. Jotta ky-symykset voidaan arvioinnin yhteydessä esittää yksiselitteisesti, on tietenkin arvioitsijalla itsellään oltava niistä selkeä käsitys. useimmiten operationali-sointi tarkoittaa käsitteen eri osa-alueiden määrittelyä, siirtymistä teoreetti-sesta kielestä käytännön kieleen.

Sekä laadullisen että määrällisen aineiston kerääminen edellyttää arvioin-tikysymysten käsitteiden operationalisointia. Jos toiminnan tavoitteena on esimerkiksi osallistaminen, yhteinen oppimisprosessi tai vaikkapa elämän-hallinnan tukeminen, on kyettävä kirjoittamaan auki, miten nämä käytännös-sä näkyvät ja mitä ne tarkoittavat. Seuraavat esimerkit auttanevat hahmotta-maan operationalisointia.

e S I m e r K K I 1

”TOImINNAN TAVOITTeeNA ON VAILLA VAKINAISTA ASuNTOA OLeVIeN ALKOhOLISTIeN eLämäNhALLINNAN TuKemINeN”Mikäli tässä tapauksessa operationalisointia ei tehtäisi, toiminnan kohteena oleville asunnottomil-le alkoholisteille esitettäisiin suoraan kysymys: ”onko elämänhallintasi lisääntynyt viimeisen puo-len vuoden aikana?” vaikka vastausvaihtoehdot olisivat valmiiksi strukturoituja (eli valitaan vaihto-ehdoista esim. runsaasti, jossain määrin, hieman, ei lainkaan), on tulos epäluotettava. on enemmän kuin luultavaa, että vastaajat antavat ”elämänhallinnalle” hieman erilaisia merkityksiä keskenään, mutta myös erilaisia merkityksiä kuin toimija on tarkoittanut. Elämänhallinta pitäisi käsitteenä avata tai ainakin pohtia, miten se näkyy vailla vakinaista asuntoa olevien alkoholistien arjessa. kysymykset voisivat koskea esimerkiksi asuntolassa asumista tai sin-ne säännöllisesti tulemista, sosiaalityöntekijän säännöllisiä tapaamisia, ruokailun säännöllisyyttä jne. käyttökelpoisia elämänhallintaa ilmiönä kuvastavia sanoja löytyisi luultavasti haastattelemalla ammattilaisia ja itse vailla vakinaista asuntoa olevia alkoholisteja. Joka tapauksessa arvioinnissa on selvästi tuotava ilmi, miten elämänhallinta on määritelty ja miten aineisto kerätty.

66

e S I m e r K K I 2

”hANKKeeN TAVOITTeeNA ON TuOTTAA yhTeINeN OPPImISPrOSeSSI, JOSSA SOSIAALI- JA TerVeySALAN JärJeSTöT OPPIVAT ArVIOINTIA.” tässä tapauksessa olennaista on ensinnäkin avata se, mikä on yhteinen oppimisprosessi. toinen olennainen kysymys on se, miten arvioinnin oppiminen avataan. Arvioinnissa voitaisiin ensin tukeu-tua hankesuunnitelmaan ja katsoa siitä, miten yhteinen oppimisprosessi on siinä määritelty, toisin sanoen mitä sillä käytännössä hankkeessa tarkoitetaan. Mikäli hankesuunnitelmasta ei tietoa löydy, se tekee arvioinnin melko mahdottomaksi. tietenkin asiasta voidaan kysyä hanketoimijoilta ja saada siten selvennys siihen, mitä oppimisprosessi tarkoittaa. Sen avaaminen on välttämätöntä, mikäli ha-lutaan arvioida toivottua tulosta eli sitä, miten järjestöt oppivat arviointia. Jotta oppimista voidaan arvioida, täytyy olla tiedossa, mitä järjestöille tarkkaan ottaen yritetään opettaa ja miten sitä voi-daan arvioida.

operationalisoinnin ohella toinen välttämättömyys on määritellä, ketkä ovat arvioinnin kannalta olennaisia informantteja eli tiedonantajia. Hankkeissa, joissa osallistujamäärät ovat pieniä, voidaan haastattelut ja/tai kyselyt suun-nata koko kohderyhmälle. Toisinaan vastaajamäärä paisuu niin suureksi, ettei se ole mahdollista. Tällöin on mietittävä, millä perusteella informantit vali-taan. Yhteiskuntatieteellisissä tutkimusmenetelmissä vaihtoehdoksi tarjotaan erilaisia otantamenetelmiä, joilla varmistetaan, että tutkimukseen tuleva otos edustaa mahdollisimman hyvin kohdejoukkoa. Emme käsittele tässä erilaisia otantamenetelmiä, koska suurin osa sosiaali- ja terveysjärjestöjen arvioinneis-ta on sen verran pienimuotoisia, ettei otantamenetelmiä tarvita. Kohdejoukot voivat myös olla sen verran pieniä, ettei otantamenetelmiä ole mahdollista tai järkevää käyttää. useimmissa arvioinneissa pääasia on, että mahdollisimman erilaiset näkemykset saadaan esille ja kuuluviin. Arkijärjellä päästään jo mel-ko pitkälle. Edellä mainituissa esimerkeissä voisi ajatella, että kohdejoukkona olisivat kaikki ne asunnottomat alkoholistit, joihin toiminta kohdistuu. Jäl-kimmäisessä esimerkissä voisi kuvitella, että arviointiin sisällytetään mahdol-lisimman erikokoisia, ikäisiä ja muutenkin erilaisia järjestöjä, mikäli kaikkia hankkeessa mukana olleita järjestöjä ei ole järkevää sisällyttää arviointiin.

oikeasta kohdejoukosta eli informanttien määrästä on hyvä keskustella esimerkiksi hankkeen ohjausryhmässä, työtovereiden kanssa tai ohjelmaan osallistuvien järjestöjen kanssa. Pääasia on, että arvioitsija pystyy itselleen pe-rustelemaan tehdyt valinnat jo ennen aineistonkeruun aloittamista. Tämän jälkeen ne on helppo kirjoittaa arviointiraporttiin.

67

III

Nä

Ky

Vä

KS

I Te

Ke

Vä

Kä

yT

äN

Tö

laadulliset aineistotLaadullista aineistoa voidaan kerätä havainnoimalla tai haastattelemalla yk-sittäisiä henkilöitä tai ryhmiä. Yhtenä ryhmähaastattelun muotona voivat toi-mia myös focusryhmät, joissa keskitytään systemaattisesti keräämään tietoa yhdestä aihealueesta. Vähän käytettyjä, mutta mahdollisia aineistoja ovat myös kuvat ja videot.

Haastattelussa ja havainnoinnissa on etukäteen määriteltävä se, mistä ol-laan kiinnostuneita. Toisin sanoen arviointikysymysten on oltava selkeitä, jot-ta tarkoituksenmukainen aineisto saadaan kerättyä. Mitä kokemattomampi haastattelija tai havainnoitsija on kyseessä, sitä tarkemmin kannattaa haastat-telurunko tai havainnoinnin kohde muotoilla. Haastattelurungolla tarkoite-taan niitä kysymyksiä, joita haastattelussa ainakin tulisi käydä läpi. Yhtäältä havainnoinnin kohde on kirjoitettava auki. Havainnointi voisi sopia esimer-kiksi tilanteeseen, jossa selvitetään erilaisten rakennettujen ympäristöjen vai-kutusta lasten liikunnallisuuteen. Tässä kohtaa pitäisi määritellä, miten lasten liikunnallisuus ilmenee eli se, mikä on havainto liikunnallisuudesta. Havain-nointi on käyttökelpoinen aineistonhankintamenetelmä silloin, kun haastatte-leminen tai keskustelu ei tule syystä tai toisesta kyseeseen. Esimerkiksi pienet lapset ovat sellainen kohderyhmä, jota ei kannata istuttaa puoleksi tunniksi paikalleen keskustelemaan.

Havainnointi on itsessäänkin käyttökelpoinen menetelmä, mutta sitä tar-vitaan myös haastattelujen tukena tai arvioitaessa erilaisten tilaisuuksien (esim. kokoukset, koulutustilaisuudet) vuorovaikutusta. Jos sitä halutaan käyttää arvioinnissa, tarvitaan systemaattisia muistiinpanoja havainnoista. Toisaalta omia havaintoja kannattaa päiväkirjanomaisesti joka tapauksessa kirjoittaa ja hyödyntää vähintäänkin sisäisessä arvioinnissa.

Haastatteluissa on päätettävä, halutaanko haastatella yksilöä vai ryhmää tai ketä ylipäänsä halutaan haastatella. Ryhmähaastattelussa haastattelijan vaikutus on vähäisempi, jolloin esille saattaa tulla sellaisia seikkoja, joita haas-tattelija ei olisi osannut ennakkoon ajatellakaan. Toisaalta ryhmäkeskustelu ei sovi arkaluontoisiin asioihin. Yhtäältä työntekijän ja hänen esihenkilönsä näkemykset saattavat olla hyvinkin poikkeavia, mutta tämä ei välttämättä tule ryhmäkeskustelussa esille. Ryhmäkeskustelussa joku saattaa myös do-minoida koko keskustelua. Yhtenä vaihtoehtona voi olla yhdistelmä. Kerä-tään ensin yksilöhaastattelut ja tehdään niistä tulkinnat, joita sitten testataan

68

ryhmäkeskustelussa. Tämä on myös tapa lisätä arvioitsijan tulkinnan luotet-tavuutta.

Haastattelut ovat usein keskustelunomaisia – yksi asia johtaa toiseen. Ar-viointikysymys kannattaa pitää kirkkaana mielessä, jotta keskustelu ei ohjau-du aiheisiin, jotka eivät ole mielekkäitä arvioinnin kannalta. Haastattelijan vaikutus haastateltavaan on ilmeinen. Haastateltava ei puhu tyhjiössä, vaan seuraa jatkuvasti haastattelijan ilmeitä ja reaktioita. Haastattelijan on syytä olla omasta roolistaan selvillä. Miten ulkopuolinen hän todellisuudessa on? onko hän ymmärtäväinen kuuntelija vai yrittääkö hän pysyä tiukan objektii-visena arvioitsijana? usein jonkinlainen välimuoto näistä kahdesta on toimi-va ratkaisu. Ymmärtäväinen kuuntelija ei välttämättä muista esittää tarkenta-via ja tarkkoja kysymyksiä haastattelun kuluessa. objektiivisen arvioitsijan tiukka rooli saattaa taas saada haasteltavan hermostumaan siten, ettei hän muista tai huomaa kertoa kaikkia olennaisia seikkoja.

Haastateltaville pitää myös selvittää, miten arviointiraportissa ilmoite-taan, keitä on haastateltu. Mikäli haastateltavalle luvataan, ettei hän ole tun-nistettavissa loppuraportista, tämä täytyy pystyä varmistamaan. Mikäli ar-vioitsijalla on minkäänlaista epävarmuutta siitä, mitä haastateltavan kanssa on sovittu tai näyttääkö raportti siltä, mitä sovittiin, voi sen tai keskeiset osat siitä luetuttaa niillä haastateltavilla, joiden puheita raportissa suoraan lai-nataan.

Aineiston tallentamisen muoto riippuu pitkälti arvioinnin tarpeista. Esi-merkiksi se, onko haastattelut tarpeen nauhoittaa ja kirjoittaa paperille, riippuu arviointikysymyksistä. Toisinaan haastatteluista saatetaan kirjata ylös vain ydinkysymykset. Vaarana tällöin on, ettei haastattelija keskity täysipainoises-ti haastattelemaan tai hän kirjaa vain omasta mielestään olennaiset seikat. Suositeltavaa on ainakin nauhoittaa haastattelut. nauhoituksilta voi myös tarkistaa, ettei mitään olennaista ole jäänyt huomaamatta. nauhat ovat myös ensiarvoisen tärkeitä tilanteessa, jossa arvioitsija kesken kaiken vaihtuu.

Laadullisen aineiston etuna on, että aineisto voidaan kerätä vähitellen. Haastatteluissa on mahdollisuus esittää tarkentavia kysymyksiä, mikäli haas-tateltava esittää jonkin mielenkiintoisen näkemyksen, jota alun perin ei ole osattu ennakoida. Vastaajalla on myös mahdollisuus tuottaa vapaasti vastaus, kun vastausvaihtoehtoja ei tarjota valmiina. Se antaa vahvemman äänen vas-taajalle kuin kyselylomake. Laadullinen aineiston keruu mahdollistaa uuden

69

III

Nä

Ky

Vä

KS

I Te

Ke

Vä

Kä

yT

äN

Tö

tiedon syntymisen. Sellaisen tiedon, mitä ei ole välttämättä osattu ennakoida. Laadullinen aineisto on usein rikasta ja monipuolista. Tämä toisaalta hanka-loittaa myös sen analyysia.

Laadullisen aineiston haittana on mainittava, että sen analysointi vie huo-mattavasti aikaa. Vastaukset eivät ole yksiselitteisiä ja ne jättävät usein tul-kinnanvaraa. Joskus perustellustikin voidaan kysyä, heijastaako raportti en-nemmin arvioitsijan omia vai aineistosta nousevia näkemyksiä. Erityisesti sil-loin, kun raportissa esitetään suoria lainauksia haastatelluilta ja niiden jäl-keen päätelmiä, herää kysymys, miksi juuri em. lainaukset on haluttu ottaa raporttiin. Yhtäältä ongelmana on myös aineiston riittävä määrä. Mistä tiede-tään, että aineistoa on olemassa riittävästi? Lisäaineiston kerääminen tuottaa yleensä aina jotakin uutta tietoa, siksi on olennaista, että pystytään ymmärtä-mään, milloin lisäaineiston keruu ei enää tuota arviointikysymyksen kannal-ta olennaisesti uutta tietoa. useimmiten myös resurssit rajaavat aineiston han-kinnan määrää. Arviointisuunnitelman tulisi kuitenkin olla sellainen, että se on mahdollista toteuttaa olemassa olevilla resursseilla (ks. askel 10).

huOmIOITAVAA LAADuLLISeN AINeISTON KeruuSSA:

• Onmääriteltävä,mistätietoakerätäänjamiten.Toisinsanoen,arviointikysymysten on oltava niin selkeitä, että mielekäs aineistonhankinta on mahdollista.

• Onperusteltava,mikäonparasaineistonhankinnantapa. Aineisto voidaan kerätä havainnoimalla, haastattelemalla tai näitä

yhdistelemällä. Joskus saatetaan tarvita myös kuvamateriaalia. • Onperusteltavahavainnoinninkohdeja/taihaastateltavienvalinta.• Ontarkistettava,ettävalitullaaineistonkeruuntavallaon

mahdollista saada aineistoa, jonka avulla voidaan vastata arviointikysymyksiin.

• Onpohdittava,missäroolissaaineistokerätään,erityisestisisäisessäarvioinnissa arvioitsijan rooli on hyvä selvittää itselle ja haasteltaville huolellisesti.

• Ontiedettävä,mitenaineistontallentamisestahuolehditaanarvioinnissa ja arvioinnin jälkeen. Arviointisuunnitelmaan voidaan kirjata, miten pitkään aineistoja säilytetään.

• Raportointivaiheessaontarkistettava,ettähaastateltavatnäkyvättekstissä siinä muodossa, kun heille on luvattu.

70

määrälliset aineistotTyypillisiä määrällisiä aineistoja ovat erilaiset kyselyt, joita voidaan toteuttaa sähköisesti tai postikyselynä. Arvioinnissa voidaan käyttää myös erilaisia re-kisteriaineistoja, mutta niiden hyödyntäminen vaatii paljon aikaa, osaamista ja työtä. Tässä keskitymme kyselyihin, koska teoksen kohderyhmänä ovat ar-vioinnin vasta-alkajat. Rekisteriaineistojen käytöstä tutkimuksessa löytyy joi-takin kokonaisia teoksia.

Hyvän kyselylomakkeen edellytys on, että kohteena olevasta ilmiöstä tie-detään riittävästi. Keskeisten käsitteiden operationalisoiminen (ks. sivut 65–66) edellyttää tietoa niiden merkityksestä. Esimerkiksi hyvinvointi voidaan mää-ritellä monin eri tavoin. Taloudellinen hyvinvointi ei vielä turvaa henkistä hyvinvointia. Hyvinvoinnin paraneminen tai heikkeneminen ei välttämättä ole riittävä tieto, jos ei tiedetä, millä hyvinvoinnin osa-alueella muutosta on tapahtunut. Mikäli vastausvaihtoehtojen muotoilu tai käsitteiden operatio-nalisointi tuntuu ylivoimaiselta, kannattaa harkita joidenkin haastattelujen tekemistä aiheesta. Haastattelujen myötä saattaa esille tulla myös muita ensi-arvoisen tärkeitä havaintoja. Kysymysten muotoiluun vaikuttaa luonnollises-ti vastaajaryhmä. on suuresti eroa sillä, ovatko vastaajat esimerkiksi tervey-den edistämisen keskuksen jäsenjärjestöjen palkallisia työntekijöitä, vapaa-ehtoistoimijoita vai keitä tahansa satunnaisia henkilöitä.

Tyypillinen virhe kyselylomakkeissa on, että samalla väittämällä kysytään kahta asiaa samanaikaisesti. Esimerkiksi koulutustilaisuuden palautelomak-keessa on väittämä: Luennoitsija oli selkeä ja asiansa osaava. Miten tulisi vas-tata, jos luennoitsija on ollut puheessaan selkeä, muttei ole vakuuttanut asian-tuntemuksellaan aiheesta? Tässä tapauksessa vastaaja ei pysty ilmaisemaan ajatustaan selkeästi ja olennainen informaatio jää saamatta.

Toinen kysymysten muotoilua vaikeuttava seikka on, että vaihtoehtojen on oltava samantasoisia. Esimerkiksi seuraava kysymys sisältää joitakin on-gelmia: ”Valitse seuraavista vaihtoehdoista tärkein terveyttä edistävä toimi: 1) Alkoholiveron nosto 2) Terveys kaikissa politiikoissa -ohjelma 3) Liikunta-mahdollisuuksien lisääminen.” ohjelmahan saattaa sisältää liikuntamahdol-lisuuksien lisäämisen ja alkoholiveron noston. Kysymyksessä edellytetään, että vastaaja tuntee ohjelman. Haastava on myös käsite ”terveyttä edistävä toimi”. Voidaanko vastaajien olettaa tietävän, mitä terveyden edistäminen tarkoittaa?

71

III

Nä

Ky

Vä

KS

I Te

Ke

Vä

Kä

yT

äN

Tö

Kyselylomakkeen asteikko kannattaa muotoilla ennemmin liian laajaksi kuin suppeaksi. Analyysivaiheessa on melko helppoa niputtaa yhteen esimer-kiksi ”melkein samaa mieltä” ja ”täysin samaa mieltä” -vastaukset. Sen sijaan liian suppean asteikon laajentaminen ei jälkikäteen onnistu. Asteikon välimatko-jen pitäisi olla myös jotakuinkin yhtä suuret. Esimerkiksi vaihtoehdot ”täysin samaa mieltä”, ”ei osaa sanoa” ja ”melko eri mieltä” edustavat erilaisia välimat-koja. Jos nämä vaihtoehdot haluttaisiin säilyttää, pitäisi kyselylomakkeessa olla vaihtoehdot: ”täysin samaa mieltä”, ”melko samaa mieltä”, ”melko eri mieltä”, ”täysin eri mieltä” ja ”ei osaa sanoa”. Tarpeen vaatiessa keskimmäiseksi vaihto-ehdoksi voitaisiin sijoittaa myös ”ei samaa eikä eri mieltä”.

Avokysymyksiä voi käyttää lomakkeessa strukturoitujen kysymysten ohel-la. Paitsi, että se on kohteliasta vastaajaa kohtaan, niin saatetaan saada myös täydentävää informaatiota. Toisaalta avokysymyksiä ei kannata sijoittaa suu-ria määriä lomakkeeseen, koska niihin harvemmin vastataan kovin pitkästi. Jos niihin taas saadaan pitkiä vastauksia, on tulosten analysointi työlästä. Runsas avokysymysten määrä saattaa vaikeuttaa myös aineiston tulkintaa. Avokysymysten muotoilu ja sijoittelu kannattaa siis harkita huolella.

Ennen aineiston keruuta lomake kannattaa ehdottomasti testata. Jos mah-dollista, testaus kannattaa suorittaa kyselyn kohderyhmällä, mutta myös työ-toverit voivat olla korvaamaton apu. Testauksen avulla epäselvät ja hankalat kysymykset saadaan seulottua. näin yleensä selviää myös, onko lomakkees-sa käytetty tulkinnanvaraisia käsitteitä.

Kyselylomakkeen suunnittelussa on hyvä huomioida, tarvitaanko varmis-tavia kysymyksiä eli sellaisia kysymyksiä, jotka oikeastaan kysyvät samaa asiaa useammassa kohtaa lomaketta. Erityisesti silloin kun halutaan selvittää käyttäytymistä, saattavat varmistavat kysymykset olla tarpeellisia. Lukuisis-sa tutkimuksissa on havaittu asenteiden ja käyttäytymisen välinen ristiriita. Asenteet eivät vielä kerro ihmisen todellisesta käyttäytymisestä. Vastaajalla saattaa olla myös käsitys siitä, mitä hänen toivotaan vastaavan. Se puolestaan vaikuttaa vastaamiseen. Samaa asiaa kannattaa kysyä useammalla tavalla myös silloin, kun on epävarmuutta siitä, miten operationalisoinnissa on on-nistuttu. Kun kysytään samaa asiaa useammalla kysymyksellä, voidaan var-mistua, että operationalisointi on tehty huolella.

Kyselylomake edellyttää aina saatekirjettä. Saatteesta pitäisi löytyä vähin-tään seuraavat tiedot: miksi tietoa kerätään, kuka kerää, miten tietoja käsitellään,

72

kuka antaa tarvittaessa lisätietoja ja miten pitkään aineistoja säilytetään. Vas-taajan kannalta kenties olennaisin tieto on vastaajan tunnistettavuus. Kyse-lyissä harvemmin voidaan luvata, etteivät vastaajat olisi tunnistettavissa. Aineiston kerääjällähän on useimmiten tieto siitä, kuka on vastannut ja kuka ei. Kyselylomakkeet saattavat olla numeroituja ja numeroinnin avulla pysty-tään mm. laittamaan kysely uudestaan niille henkilöille, jotka eivät ole siihen vielä vastanneet. Vähintään yhtä tärkeä on tieto siitä, miten vastauslomakkeet palautetaan ja mihin mennessä. useimmiten vastaajalle on kuitenkin mahdol-lista luvata, etteivät yksittäisen vastaajan vastaukset ole tunnistettavissa ra-portista. Saate on tärkeä myös siksi, että vastaajan motivointi tapahtuu saate-kirjeessä. Siitä pitäisi selvitä, miksi vastaaminen on tärkeää ja kuinka kauan se kestää.

Monissa kyselylomakkeissa näkee vaihtoehdon ”ei osaa sanoa” tms. Vas-tausten tulkinnan kannalta vaihtoehto on ongelmallinen, koska se ei anna uuttaa informaatiota. Toisaalta vaihtoehdon pois jättäminen ei välttämättä ole sekään ratkaisu. Vastaaja saattaa jättää vastaamatta koko kysymykseen, jol-loin vastausta ei voida laskea lainkaan mukaan. Ratkaisu riippuu pitkälti sii-tä, mitä tietoa haetaan. Voidaanko olettaa, että vastaaja oikeasti osaa vastata kysymykseen vai voidaanko ajatella, että sekin on olennaista informaatiota, ettei johonkin kysymykseen osata vastata? ”Ei osaa sanoa” -vaihtoehto kan-nattaa ottaa mukaan, mikäli ei pysty selkeästi perustelemaan sen poisjättä-mistä.

nykypäivänä sähköisiä kyselyitä tehdään paljon. Se on huomattavan ta-loudellinen ratkaisu. Kyselyiden määrän lisääntyminen on osaltaan heikentä-nyt vastausprosentteja. Paperikyselyyn saadaan usein parempi vastauspro-sentti. Sähköisen kyselyn käyttömahdollisuuksia rajoittaa myös sähköpostin käyttö tai osoitteiden puuttuminen. Läheskään kaikissa tapauksissa vastaajat eivät ole tavoitettavissa sähköpostilla. Toisaalta hyvänä puolena on se, että aineisto saadaan suoraan sähköisessä muodossa, kun se paperilomakkeilta on erikseen vietävä lomake kerrallaan johonkin tilasto-ohjelmaan.

Määrälliset aineistot ovat laadullisia taloudellisempia. niiden analyysi käy nopeammin ja analyysivaiheessa tulkinnanvaraisuutta on vähemmän. Mää-rällisen aineiston etuna on helppo toistettavuus. Sen takia ne ovat käyttö-kelpoisia erityisesti silloin, kun halutaan seurata jotakin ilmiötä pidemmällä aikavälillä. Kyselylomakkeen kysymykset voidaan esittää uudelleen täsmälleen

73

III

Nä

Ky

Vä

KS

I Te

Ke

Vä

Kä

yT

äN

Tö

samanlaisina. Aineiston etuna voidaan nähdä lukuihin liitetty uskottavuuden leima. Määrällistäminen on yksi perinteisimmistä retorisen vakuuttamisen keinoista.

Toisaalta määrällisiin aineistoihin liittyy myös haasteita. Kyselylomakkeen suunnittelu ja testaaminen vie aikaa. Mitä varmempia halutaan olla siitä, että kysymykset todella mittaavat sitä, mitä on tarkoitettu, sitä enemmän loma-ketta täytyy suunnitella ja testata. Jos vasta aineiston analyysivaiheessa huo-mataan jokin keskeinen virhe lomakkeessa, saattaa koko aineisto osoittautua miltei käyttökelvottomaksi, ainakin arvioinnin kannalta. Kyselyihin liittyy myös niin sanottu objektiivisuuden harha. usein määrällisiä aineistoja rapor-toitaessa jää vähälle sen pohtiminen, miten tekijän omat ennakkoasenteet ovat ohjanneet kysymysten muotoilua ja onko mahdollisesti jotain olennaista jää-nyt kokonaan kysymättä. Kaikki kohderyhmät eivät myöskään aina ole kä-tevästi kyselyn tavoitettavissa, esimerkiksi syvästi masentuneiden, syrjäy-tyneiden tai alkoholistiäitien tavoittaminen kyselylomakkeella saattaa olla hankalaa.

huOmIOITAVIA ASIOITA määräLLISeN AINeISTON KeruuSSA:

• Ensinonhyvätarkistaa,ettäonriittävästipohjatietoakysymystenmuotoiluun.

• Määritelläänkeskeisetkäsitteetjaoperationalisoidaannehuolella.• Mietitään,mitätaustatietojavastaajistatarvitaan.• Kyselylomakkeenluonnostelunjälkeenvarmistetaan, että yhdellä väittämällä kysytään yhtä asiaa. • Varmistetaan,ettäväittämätovatsamantasoisia.• Tarkistetaan,ettäkäytetytasteikotovattarkoituksenmukaisia.• Testataanlomakekohderyhmällätaivähintääntyötovereilla ennen käyttöä. • Varmistetaan,ettälomakkeenmukanameneväsaateon

tarkoituksenmukainen. • Pohditaan,voidaankokyselytoteuttaasähköisestielionko

kohdejoukko tavoitettavissa sähköpostitse vai onko lomakkeet viisaampaa toimittaa tavallisessa postissa.

• Varmistetaan,ettälomakkeestalöytyyavokysymyksiäjaniiden paikka on huolella pohdittu.

74

4.3 erilaiset työmenetelmät arvioinnin tukena

Luvussa 4.1 esitettiin arvioinnin menetelmällinen kartta. Tähän karttaan oli pyritty sijoittamaan erilaisia työmenetelmiä sen mukaan, miten ne ovat suh-teessa toisiinsa ja koordinaatistoon. Erilaiset työmenetelmät tukevat arvioin-nin käytännön toteutusta. Työmenetelmien toteuttaminen käytännössä ei kui-tenkaan itsessään ole vielä arviointia. Arviointia on se, miten työmenetelmän toteuttamisen kautta saatua tietoa kerätään ja käsitellään eli tehdäänkö tiedon avulla arvottavia päätelmiä. Erilaisia työmenetelmiä voidaan käyttää run-saasti ja aineistoja kerätä aivan määrättömästi, mutta se ei vielä tarkoita, että tehtäisiin suoranaisesti hyödyllistä arviointia. Arvioinnista on hyötyä silloin, kun se auttaa parantamaan toimintaa tai tuottaa sellaista tietoa, josta on hyö-tyä tulevaisuudessa esimerkiksi hankesuunnittelussa. Hyödyllinen arviointi edellyttää aina määriteltyä arviointikysymystä ja käsitystä siitä, miten siihen kyetään vastamaan.

Erilaiset valmiit työmenetelmät tempaavat helposti mukaansa luomalla näennäisen mutkattoman kuvan arvioinnista. on nurinkurista lähteä liikkeel-le siitä, että ensin valitaan jokin työmenetelmä, jota arvioinnissa halutaan käyttää ja vasta sitten pohditaan, mihin sitä kannattaisi käyttää ja miksi. Työ-kalujen valinnan tulisi ensisijaisesti ohjautua arviointisuunnitelmasta, ohjel-malle asetetuista tarpeista, tavoitteista ja arviointikysymyksistä. Hyvä mene-telmä on käyttökelvoton, mikäli sillä arvioidaan väärää kohdetta – eihän hy-välläkään sahalla saa naulattua tehokkaasti. Lisäksi useimmiten valmiiden työmenetelmien käyttäminen edellyttää niiden huolellista soveltamista siihen ympäristöön, aikaan ja kohderyhmään, jossa arviointi toteutetaan.

Työmenetelmien kiinnittyminen arviointiin tapahtuu eri tavoin. osa työ-menetelmistä on kehitetty suoraan arvioinnin tueksi, osa taas pikemmin toi-minnan suunnittelun tueksi. Jälkimmäiset ovat nekin hyödyllisiä arvioinnissa, kunhan niihin liitetään riittävä dokumentaatio. Suunnittelua painottavien työ-kalujen etuna on se, että arviointi kiinnittyy selvästi toimintaan, eikä pelkoa päälle liimatusta arvioinnista ole. Työmenetelmien käyttäminen ei ole arviointia. Arviointi edellyttää arviointikysymyksiä ja arviointikriteereitä. Työmenetel-mien avulla voidaan tuottaa tietoa toiminnan suunnittelun tueksi ja arviointia varten. Luvussa kolme esitetyt arvioinnin askeleet toimivat siltana teorian ja käytännön välillä. Julkaisun tämä osa tukee erityisesti askeleita 5–8.

75

III

Nä

Ky

Vä

KS

I Te

Ke

Vä

Kä

yT

äN

Tö

Tässä julkaisussa esitetty jäsennys on vain yksi tapa kuvata arviointia, sen teoreettista ja menetelmällistä puolta. Se on pelkistetty malli. Erilaisia työ-menetelmiä halutaan ja toivotaan arviointia helpottamaan. Toisaalta, jotta eri-laisista työmenetelmistä olisi apua arvioinnissa, arviointikysymysten täytyy olla selvillä. Tästä syystä arvioinnin askeleiden ymmärtäminen ja omaksumi-nen on arvioinnin onnistumisen edellytys. Erilaiset työmenetelmät tukevat arvioinnin käytännön toteutusta.

4.3.1 OsAllisTAVA ArViOinTi osallistavan arvioinnin näkökulmasta arvioinnin aineisto on pääasiassa laa-dullista. Seuraavassa tullaan kuvaamaan tarkemmin kaksi osallistavaan arvioin-tiin liittyvää työmenetelmää: aivoriihi ja tulevaisuusverstas.

osallistavan arvioinnin ominaispiirteenä on se, että arviointi kiinnittyy toimintaan, mutta tarkkoja arviointikriteereitä ei ole edes etukäteen mahdol-lista määritellä. Arviointikriteerit ja -kysymykset muotoutuvat osittain arvioin-nin aikana, yhdessä kohderyhmän eli osallisten kanssa. nimen mukaisesti toiminnan kohteet osallistuvat arviointiin, arvioinnin suunnitteluun ja ar-viointikriteerien määrittelyyn. Etukäteen muodostetuilla arviointikysymyk-sillä ja -kriteereillä pyritään varmistamaan lähinnä se, että osallistuminen to-teutuu toivotulla tavalla. Kartassa osallistavaa arviointia rajaavat arvioinnin kohteena olevat prosessit ja taustalta taas löytyy muutos – toisin sanoin työ-tavoilla haetaan muutosta parempaan ja arvioinnin kohteena on toiminta, eivät suoranaisesti tulokset ja vaikutukset.

osallistava arviointi on käyttökelpoinen tilanteissa, joissa arviointikritee-reitä on vaikea tuottaa aikaisemman kirjallisuuden pohjalta tai kokemustietoon perustuen. osallistavan arvioinnin työmenetelmiä käytetään useimmiten toi-minnan käynnistämisessä, muuttamisessa tai hankkeen alkumetreillä. osal-listavan arvioinnin työmenetelmät ovat työläitä ja edellyttävät kohderyhmän osallistumista. Arvioinnin tilaajalla tai toteuttajalla ei ole valmista näkemystä siitä, mitä tai miten toimintaa tulisi parantaa ja kehittää. Tähän haetaan yh-dessä vastausta kohderyhmän kanssa.

osallistava arviointi on lähellä valtaistavaa arviointia (esim. Kivipelto 2008) erityisesti ymmärrettynä edellä kuvatulla tavalla. Valtaistava on tässä suo-mennos empowerment-käsitteelle. Toisin sanoen sillä viitataan siihen, että

76

arviointi voi myös omavoimaistaa. Arvioinnin onnistumisen kannalta sillä, mitä käsitettä tässä kohtaa käytetään, ei ole merkitystä. Pääasia on se, että toi-minnan ja arvioinnin tavoitteet ovat selvillä (ks. askeleet 1–2).

AIVOrIIhI/TuumATALKOOT

Aivoriihi tai toiselta nimeltään tuumatalkoot on ehkä yksi käytetyimmistä luovan ongelmanratkaisun ideoinnin työmenetelmistä. Tavoitteena on kehit-tää suuri määrä luovia jopa ”hulluja” ideoita siten, että kaikki ryhmän jäsenet osallistuvat. Aivoriihityöskentelyä voidaan kutsua ideointitapaamiseksi tai ideointitilanteeksi. Henkilöiden välinen vuorovaikutus on keskeistä, sillä tois-ten esittämät ideat toimivat jatkotyöstämisen lähteinä. Jotta aluksi mahdotto-maltakin tuntuvat ideat saataisiin esiin, kritiikki on ehdottomasti kielletty. Kaikki ideat merkitään muistiin ja arvioidaan vasta jälkikäteen.

Ideoinnin ajatuksena on, että määrä tuottaa laatua. Kaikkien ideoiden ei tarvitse olla toteuttamiskelpoisia. Toisto sallitaan ja toisten ideoita parannel-laan ja yhdistetään. Aivoriihessä ideointia pitkitetään ja arviointia viivytetään. Tärkeää on, että ilmapiiri on ehdotuksille ja ideoille avoin. Kaikilla tulisi olla yhtäläinen mahdollisuus osallistua. Aivoriihestä on kehitetty useita erilaisia toteutustapoja (ks. Kuitunen 1997), joista tässä esitetään perinteinen aivo-riihen malli.

Käytännön toteutus

mILLOIN: Työmenetelmä sopii erityisesti suunnittelun alkuvaiheessa toteutet-tavaksi ja ideoinnin apuvälineeksi. Työmenetelmää voidaan käyttää myös to-teutusvaiheessa, mikäli esimerkiksi jokin asia ei olekaan edennyt toivotulla tavalla ja kaipaa uuden suunnan etsimistä.

TArVITTAVA AIKA: Riippuu osallistujien määrästä, keskustelun vilkkaudesta ja aiheesta, jota käsitellään. Arviolta menetelmän toteutus vie minimissään 2 tun-tia. Mikäli toteutusta tehdään kellon kanssa ja aikaa käytetään sen verran kuin esimerkissä on kuvattu, saattaa tämä tyrehdyttää luovuutta ja ideointia.

TArVITTAVAT VäLINeeT: Paperia ja kyniä osallistujille, isoja paperiarkkeja (esim. fläppipaperi), johon kirjoitettua tekstiä kukin voi nähdä omalta paikaltaan, paksumpia tusseja, maalarinteippiä, magneetteja tmv. isomman paperin

77

III

Nä

Ky

Vä

KS

I Te

Ke

Vä

Kä

yT

äN

Tö

seinään/tauluun kiinnittämistä varten. Tilassa tulee olla pöydät ja tuolit sekä jokaisen tulee omalta paikaltaan nähdä eteen, jossa kukin ryhmä esittää omat ideansa.

OSALLISTuJAT: Yleensä n. 4–12 henkilöä sekä vetäjä, joka voi toimia myös sih-teerinä.

VAIheeT:Valitaan käsiteltävä aihe, joka kaipaa ideointia ja kehittelyä. Sovitaan työs-1. kentelyn säännöistä ja varmistetaan, että kaikilla on sama käsitys tehtävästä (n. 10 minuuttia).Yksilöllisen ideoinnin vaihe (n. 5–10 minuuttia): Jokainen ideoi ensin yksi-2. löllisesti mielessään tai kirjoittaa paperille aiheeseen liittyviä mieleen tulevia asioita. Luovuutta saa käyttää ja tässä vaiheessa ei tarvitse miettiä ideoi-den toteutuskelpoisuutta. Ideointi pienemmissä noin 3–5 hengen ryhmissä (n. 15 minuuttia riippuen 3. siitä, miten idearikas ryhmä on): Kukin tuo ryhmässä omat ideansa mui-den kuultavaksi. Kritiikkiä ei esitetä, vaan kaikki ideat ovat tervetulleita. Suotavaa olisi, että esitettyjä ideoita kehitellään jo tässä vaiheessa eteenpäin. Kaikki esitetyt ideat voidaan kirjoittaa esimerkiksi isolle paperiarkille, joka on mahdollista tuoda myöhemmin kaikkien näkyville. Ideat koko ryhmälle (noin 15–30 minuuttia riippuen ryhmän koosta): Jo-4. kainen pienryhmä tuo ideansa kaikkien kuultavaksi. Tässä vaiheessa on oleellista, että jokainen idea tulee oikein ymmärretyksi. Mikäli ideat on kir-joitettu isolle paperiarkille, ne ovat helposti kaikkien nähtävissä ja luetta-vissa.Ideoiden valintavaihe (n. 15 minuuttia): Kun kaikki ideat on tuotu esille, 5. valitaan toteuttamiskelpoisimmat ideat, joiden uskotaan tuovan parhaim-mat ratkaisut havaittuun ongelmaan. Ryhmässä valitaan, kuinka monta ideaa lähdetään käytännössä toteuttamaan (riippuu tietysti ongelman laa-dusta ja idean toteutuksesta). Valinta voidaan tehdä joko keskustelemalla tai äänestämällä. Jokaisella henkilöllä on oikeus antaa esimerkiksi kolmel-le eri idealle pisteensä. Eniten pisteitä saanut idea/saaneet ideat otetaan jatkotyöstettäväksi.Suunnitteluvaihe ja toteutuksesta sopiminen (15–30 minuuttia): Valitun 6. idean/valittujen ideoiden osalta tehdään jatkosuunnitelma käytännön

78

toteutuksen suhteen. Sovitaan kuka tekee, mitä tekee, milloin tekee, aika-taulusta, mahdollisista kustannuksista, seurannasta ja raportoinnista. Tä-män vaiheen läpikäymiseen on hyvä käyttää riittävästi aikaa, jotta arvioin-nin kautta saatu kehittämisidea saadaan oikeasti käytännössä elämään ja toteutumaan.

lisätietoa työmenetelmästä esim. kuitunen, H. 1997.

e S I m e r K K I

TerVeyDeN eDISTämISeN KONKreeTTISeT ”TuOTTeeT” OSTOSKOrIIN

terveyden edistämisen tehtäviin keskittyvässä ryhmässä oli jo pidempään pureskeltu ajatusta ns. terveyden edistämisen tuotteista. tuotteilla tarkoitettiin sellaisia asioita, joita olisi mahdollista konkreettisesti tarjota ja esitellä erilaisissa tilaisuuksissa, joihin yhä useammin kutsuttiin terveyden edistämisen asiantuntijoita. Joidenkin järjestötyöntekijöiden oli kuultu useampaan otteeseen toivo-van, että terveyden edistämisen työstä olisi esittää jotakin konkreettista ja kättä pidempää. ko. ryh-män asiantuntijat kokivat tämän alkuun hyvin ongelmalliseksi, koska terveyden edistäminen nähtiin konkreettisen tuotteen sijaan arvoksi, asenteeksi suhtautua ympärillä oleviin asioihin, mahdolli-suuksien luomisena terveyttä edistäviin valintoihin tai rakenteiden kehittämisenä jne. Ulkopuolelta tuleva vahva viesti jostakin konkreettisemmasta sai ryhmän kuitenkin toimimaan. lähdettiin ideoi-maan terveyden edistämisen tuotteita, joita on mahdollista ikään kuin laittaa ”ostoskoriin” netti-kauppojen tapaan. Haaste oli mielenkiintoinen ja sitä päätettiin lähteä pureskelemaan tuumatalkoi-den kautta. tätä varten varattiin aikaa useampi tunti. ryhmä valjastettiin avoimin mielin osallistu-maan tilaisuuteen. Esimies toimi vetäjänä ja osallistui samalla talkoisiin. ryhmän jäsenet olivat toi-silleen tuttuja, mikä helpotti toimeen ryhtymistä. Aihe jätettiin tarkoituksella melko väljäksi ja epä-määräiseksi: terveyden edistämisen ”tuotteet” ostoskoriin. 1. Alkuun jokainen ryhmän jäsen (10 henkilöä) sai aikaa 15 minuuttia ideoida teemaa ja kirjoittaa

kunkin ajatuksen, tuotteen tai innovaation paperille. tässä vaiheessa luovuus oli sallittua ja toteutuskelpoisuutta ei tarvinnut miettiä. Yhden tiimiläisen paperiin päätyivät muun muassa seuraavat ”tuotteet”: julkaisut, hyvät käytännöt, yhteistyö ja arviointituki.

2. Seuraavaksi tiimi jakaantui kolmeen ryhmään, joissa kukin toi ryhmäläisille omat ideansa mui-den kuultavaksi. kritiikkiä kiellettiin esittämästä, mutta jatkokehittelyä suositeltiin jo tehtäväk-si ja aiheita yhdistettäväksi, mikäli sellainen oli mahdollista. lopuksi ryhmän tuli koota isolle pa-periarkille lyhyesti asiat, jotka nousivat esille. Yhden pienryhmän paperille kirjattiin seuraavat teemat: 1) terveyden edistämisen hyvät käytännöt kuntien ja järjestöjen yhteistyössä konkreet-tisten palvelujen muodossa, 2) julkaisut terveyden edistämisestä, 3) terveyden edistämisen asiantuntijuus osaamispalveluna esim. yhteistyöverkostoissa, 4) terveyden edistäminen raken-teissa eli mitä terveyden edistämisen konkreettisia tuotteita on luotu kuntien eri toimialoilla, 5) terveyden edistämisen sääntö ja 6) terveyden edistämisen elintarvike. näistä kaksi viimeistä olivat hyvin mielikuvitusrikkaan tiimiläisen luomuksia, jotka alkuaan huvittivat ryhmää, mutta löysivät paikkansa paperilta.

79

III

Nä

Ky

Vä

KS

I Te

Ke

Vä

Kä

yT

äN

Tö

3. Seuraavaksi käytettiin noin 15 minuuttia pienryhmää kohti siihen, että ryhmä kertoi lyhyesti pa-perille kirjaamansa ideat avatakseen tarkemmin, mistä tarkalleen ottaen kussakin asiassa oli kysymys. Muilla ryhmäläisillä oli tässä vaiheessa mahdollista kysyä tarkennuksia, mikäli jokin teema jäi epäselväksi. kolmesta ryhmästä nousi yhteensä 10 ideaa terveyden edistämisen tuot-teiksi. näistä kaksi teemaa todettiin yhteistuumin samaa asiaa tarkoittaviksi ja ne yhdistettiin. Julkaisut aiheena poistettiin kokonaan, koska se näytti olevan kaikilla ja sitä varten oli jo luotu selkeä konkreettinen ”tuote”, jota ei tarvinnut sen kummemmin enää täsmentää.

4. Edettiin ideoiden valintavaiheeseen, jossa oli tarkoitus valita kaksi toteuttamiskelpoisinta ideaa työstettäväksi seuraavan vuoden aikana. Useammat aiheet olivat jo esityöstettyjä, joten suurin työ oli tuotteiden tarkennuksessa, tuotteistamisessa ja konkretisoimisessa. Demokratian toteu-tumiseksi päätettiin tehdä äänestys. Siinä kukin ryhmäläinen kävi merkitsemässä pisteensä kol-melle eri idealle siten, että kolme pistettä sai se idea, joka koettiin parhaimmaksi, kaksi pistet-tä toiseksi paras ja pisteen kolmanneksi paras. Jatkotyöstämisen kohteeksi ja terveyden edistä-misen konkreettisiksi kehitettäviksi tuotteiksi nousivat 1) terveyden edistämisen hyvät käytän-nöt kuntien ja järjestöjen yhteistyössä konkreettisten palvelujen muodossa ja 2) terveyden edis-täminen rakenteissa eli mitä terveyden edistämisen toimintamalleja on olemassa kuntien eri toimialoilla.

5. lopuksi varattiin reilu puoli tuntia aikaa jatkosuunnitelmien laatimiseksi valittujen kahden idean suhteen. Sovittiin henkilöt ja etenemisaikataulu sille, miten tuotteiden konkretisoinnissa ede-tään. kun reilu puoli vuotta tuumatalkoista oli kulunut, ryhmä oli yhteistyössä kahden työnteki-jän suuremman panostuksen ansiosta saanut aikaiseksi konkreettisia terveyden edistämisen tuotteita. lisäksi oli tehty jatkosuunnitelma ns. ”apteekin hyllyn” kehittämisestä. Päätettiin siis tehdä tuotelista niistä konkreettisista tuotteista tai tiedosta ja osaamisesta, joita kyseisestä organisaatiosta oli mahdollista hankkia. näin ollen tuumatalkoot oli selkeä alku jollekin, joka lähti etenemään ja jatkojalostumaan. ideoihin, jotka ensimmäisessä vaiheessa jäivät vielä hau-tumaan, palattiin uudestaan ja niistä lähdettiin luomaan myös tuotteita.

Tuumatalkoiden muistiot on hyvä tallentaa esimerkiksi organisaation intra-nettiin, yhteiselle levyasemalle tai muuten sellaiseen paikkaan, jossa ne säily-vät mahdollisista työntekijävaihdoksista huolimatta. Tuumatalkoissa voi syn-tyä useita hyviä ideoita, vaikka niistä vain 1–3 voitaisiin ottaa jalostuksen kohteeksi. organisaatioiden toimintaympäristöt muuttuvat siten, että tänään liian kalliita teknisiä ratkaisuja edellyttävät ehdotukset voivat olla mahdolli-sia parin kolmen vuoden päästä. Työmenetelmän vahvuutena on se, että ideat jalostuvat jo talkoovaiheessa. niiden yhdistely ja syntynyt keskustelu saatta-vat tuottaa sellaisia ajatuksia, joita kukaan ei olisi keksinyt itse.

80

TuLeVAISuuSVerSTAS

Tulevaisuusverstas on yleisesti käytetty ryhmätyömenetelmä, josta ovat kir-joittaneet muun muassa Robert Jungk ja norbert R. Müller (1989). Tulevaisuus-verstaassa ryhmä hahmottelee mahdollisia ja toivottavia tulevaisuuksia nykyhetken ongelmista käsin sekä selvittää, mitä mahdollisuuksia on toteut-taa toivottuja tulevaisuuksia. Tarkoituksena on päästää irti totutuista ajatus-malleista ja antaa mielikuvitukselle valta. Työmenetelmässä keskeistä on ihmisten osallistaminen. Tulevaisuusverstaissa jokaisella osallistujalla on mah-dollisuus tuoda mielipiteensä julki. Verstas toteutetaan neljässä eri vaiheessa, jonka jälkeen siirrytään jatkotoimenpiteisiin.

Käytännön toteutus

mILLOIN: Työmenetelmä sopii suunnitellun ohjelman alkuvaiheeseen tai tilan-teeseen, jossa suunnitelma on vielä hahmottumaton.

TArVITTAVA AIKA: Tulevaisuusverstaan voi toteuttaa monin eri tavoin. Me-netelmän läpiviemisen edellyttämä aika riippuu toteutustavasta. Erilaiset to-teutustavat:1. kolmen päivän verstas (yksi vaihe päivää kohden)2. viikonloppuverstas (”ongelmavaihe” perjantai-iltana,

”mielikuvitusvaihe” lauantaina, ”todellistamisvaihe” sunnuntaina)3. lyhennetty viikonloppuverstas (”arvostelu” lauantaina aamupäivästä

iltapäivään, ”kuvittelu” lauantaina iltapäivällä, ”todellistaminen” sunnuntaina)

4. päiväverstas (”arvosteluvaihe” kaksi tuntia, ”kuvitteluvaihe” 2–3 tuntia, ”todellistamisvaihe” kaksi tuntia)

5. pikaverstas keskustelujen käynnistämiseksi (kesto noin tunti, kukin vaihe 15 minuuttia)

TArVITTAVAT VäLINeeT: Isot paperiarkit, erivärisiä tusseja, muistiinpanovälineet.

OSALLISTuJAT: Enimmillään 15–25 henkilöä ja verstaan ohjaaja.

VAIheeT:1. Valmisteluvaihe: Valmisteluvaiheessa päätetään teemasta, tiedottamisesta ja

käytännön järjestelyistä. Tähän vaiheeseen liittyy myös materiaalin hankki-

81

III

Nä

Ky

Vä

KS

I Te

Ke

Vä

Kä

yT

äN

Tö

minen. Materiaaleina tarvitaan isoja paperiarkkeja sekä paksuja tusseja. Kun varsinainen verstaspäivä alkaa, tutustutaan ensin osallistujiin ja ker-rotaan verstastyöskentelyn vaiheista, työtyylistä ja päämääristä.

2. ongelmavaihe: Tästä vaiheesta alkaa varsinainen verstastyöskentely. Va-littua aihetta kohtaan esitetään koettu epätoivo, kritiikki ja kielteiset näkö-kohdat. Kaikki nämä asiat kirjataan paperiarkeille ja järjestetään sitten aihe-piireiksi. ongelmia koottaessa on vältettävä perusteellisempaa keskuste-lua. Lukuisat kritiikit on mahdollisesti tarpeen seuloa, yhdistää, järjestää ja valikoida. Tämä voidaan tehdä esim. pisteäänestyksellä, jossa jokainen osallistuja voi avoimesti tai salaisesti antaa 3–7 kohdalle pisteen. Kun pis-teet on laskettu, ongelmat jaetaan aihepiireittäin. Toteutetaan pienryhmis-sä ja yhteisistunnoissa.

3. Mielikuvitusvaihe: nyt vastataan edellisessä kohdassa esitettyyn kritiikkiin ja valituksiin omilla toiveilla, haaveilla, kuvitelmilla ja vaihtoehtoisilla ideoil-la. Tässä vaiheessa on unohdettava vastoinkäymiset ja oltava valmiina ajat-telemaan mahdottomia. Ennakkoasenteet tulee haudata ja muutoksille tulee olla avoin. Tämä edellyttää avointa, spontaania ja joustavaa suhtautumis-tapaa, joka hylkii rutinoituneita ajatustapoja. Kaikkein kiinnostavimmat aiheet valitaan pienryhmissä ja työstetään edelleen ratkaisuehdotuksiksi ns. unelmaluonnoksiksi. Toteutetaan pienryhmissä ja yhteisistunnoissa.

4. Todellistamisvaihe: Lopuksi palataan takaisin nykytodellisuuteen, sen val-tasuhteisiin, lakeihin ja määräyksiin sekä punnitaan kriittisesti mahdolli-suuksia toteuttaa aloitteita, etsitään olemassa olevat esteet (selvittämällä niitä itse tai asiantuntijoiden lausuntojen avulla) ja heittäydytään vielä ker-ran mielikuvitusvaiheeseen katsomaan esteitä ja suunnittelemaan hanketta tai tapahtumaa. Todellistamisvaihe jakaantuu kolmeen osaan. Ensimmäi-seksi on seikkaperäisesti arvioitava, voidaanko suunnitelmat panna käyn-tiin. onko jo olemassa todellisia toivotun suunnan mukaisia yrityksiä? Minkälaisia esteitä ne ovat kohdanneet? Tämän jälkeen ryhmän on arvioi-tava vastaukset edellä esitettyihin kysymyksiin ja selvitettävä, minkälaisia muutoksia alkuperäisiin tavoitteisiin ollaan valmiita hyväksymään. Sitten päätetään menettelytavoista. Kolmanneksi on uskaltauduttava ottamaan ensiaskeleet toimintaan, kysymään valmiutta hankkeeseen tai kokeiluun, jossa yksityiskohtia myöten muotoillaan ja testataan uusia ideoita, ehdo-tuksia ja unelmia.

82

5. Jatkotoimenpiteet: Raportin laatiminen, tulosten julkistaminen, jatkoehdo-tukset ja projektin toteuttaminen. on tärkeää, että jotkut ovat valmiita jat-kamaan ryhmän tekemien ehdotusten kehittelyä niin pitkälle, että pääs-tään eteenpäin. on myös huolehdittava siitä, että toiminnan etenemisestä kerrotaan jatkuvasti niin ryhmälle kuin ulkopuolisillekin tahoille.

lisätietoa työmenetelmästä esim. Jungk, r. & Müllert, n. r. 1989.

e S I m e r K K I

TerVeyDeN eDISTämISeN JA KeSTäVäN KehITyKSeN yhTeISTä TAVOITeTTA eTSImäSSä

terveyden edistämisen ja kestävän kehityksen tulevaisuuden yhtymäkohtia haluttiin tarkastella se-minaarin avulla. Eräässä järjestössä koettiin huolta siitä, että kestävää kehitystä ei huomioida riit-tävästi osana terveyden edistämistä. tästä syystä kestävän kehityksen parissa järjestöissä toimi-vien ammattilaisten kanssa haluttiin lähteä rakentamaan yhteistyötä. Seminaarin tarkoituksena oli pohtia ja visioida erityisesti kahta asiaa. Ensinnäkin pohdittiin, millaista yhteistyötä terveyden edis-tämisen ja kestävän kehityksen arvoja kannattavat ammattilaiset voisivat tulevaisuudessa tehdä. toiseksi tarkasteltiin, mitä asioita tulisi vahvistaa, jotta kestävän kehityksen merkitys yhtenä ter-veyden edistämisen arvona vahvistuisi. Seminaariin osallistui noin parikymmentä henkilöä. Seminaarin iltapäiväosio toteutettiin tulevai-suusverstas-työmenetelmällä. Aikaa oli käytettävissä yhteensä nelisen tuntia eli työskentely toteu-tettiin napakasti. kutsussa sekä aamupäiväosiossa oli jo valmisteltu osallistujia tulevaisuusvers-taan työskentelymalliin. Aamupäivä oli virittänyt osallistujat hyvin tunnelmaan ja teemaan, joten il-tapäiväosiossa päästiin heti hyvään vauhtiin. tulevaisuusverstaan päämääränä oli luoda keinoja ja yhtymäkohtia terveyden edistämisen ja kestävän kehityksen yhteiselle tulevaisuudelle. katsottiin, että yhteistyö käynnistyy parhaiten silloin, kun jokaisella on mahdollisuus osallistua yhteistyön suunnitteluun.onGElMAvAiHEEllE varattiin aikaa reilu tunti, josta puolet vietettiin viiden hengen ryhmissä ja toi-nen puolikas yhteisistunnassa. käytettävän ajan rajallisuuden vuoksi seminaaria vetävä järjestö oli antanut ryhmille ohjeistukseksi koota isolle paperiarkille 3–5 teeman alle aiheeseen liittyvän prob-lematiikan, heränneen kritiikin ja epätoivon. vetäjien vastuulla oli myös korostaa, että liiallinen kes-kustelu tässä vaiheessa ei ollut sallittua. ongelmavaiheen loppupuolella kukin ryhmä esitteli omat teemansa ja niihin sisältyvän kritiikin. ongelmia ja epätoivoa herättivät niin yhdyskuntarakenne-kysymykset, esteettömyys, hoidon ja hoivan integrointi kuin jalostetut elintarvikkeet, laajoihin ym-päristömuutoksiin liittyvät terveysuhat ja pandemiatkin. Purkuvaiheessa havaittiin, että ryhmät oli-vat käsitelleet osin samoja teemoja, mikä oli odotettavaa. vetäjät pyrkivät purkuvaiheessa kirjoitta-maan tussitaululle esille nousevat teemat sekä yhdistelemään samaan asiaan liittyviä aiheita. tee-mat yhdistettiin muun muassa sen mukaan, liittyikö aihe terveyden edistämisen ennalta ehkäise-vään vai jo sairauden hoidolliseen näkökulmaan. kun kaikki teemat oli kirjoitettu taululle, jokaisen

83

III

Nä

Ky

Vä

KS

I Te

Ke

Vä

Kä

yT

äN

Tö

osallistujan tuli antaa pisteensä kolmelle sellaiselle teemalle, joiden jatkokäsittely koettiin tärkeäk-si. Merkintä tuli tehdä teeman perään tukkimiehen kirjanpidolla siten, että kaikkein tärkein aihe-piiri sai kolme pistettä, seuraavaksi tärkein kaksi ja kolmanneksi tärkein yhden pisteen. tämän jäl-keen vetäjät laskivat pisteet ja kolmen eniten pisteitä saaneen aihepiirin käsittelyä jatkettiin mieli-kuvitusvaiheessa. MiElikUvitUSvAiHEEllE varattiin aikaa noin tunti. ongelmavaiheen tavoin ensin työskenneltiin pienryhmissä ja sen jälkeen yhdessä. ryhmien tehtävänä oli esittää toiveensa, haaveensa ja vaihto-ehtoiset ideansa valittuja kolmea teemaa kohtaan. Ajan rajallisuuden vuoksi ryhmät saivat lopulta päättää, tekevätkö he unelmaluonnoksen kaikista vai vain yhdestä aiheesta. Avoimuus ja ideoiden lennokkuus toimi parhaiten ryhmissä, joissa oli terveyden edistämistä ja kestävää kehitystä hyvin eri näkökulmista tarkastelevia henkilöitä. terveyden edistäminen ja ympäristön suunnittelu edellyttää-kin juuri ennakkoluulotonta valmiutta uusiin yhteistyömuotoihin. kukin ryhmä esitti unelmaluonnok-sensa muille. Jokaiseen kolmeen teemaan oli syntynyt erilaisia unelmaluonnoksia, joista monet si-sälsivät samankaltaisia ja toinen toistaan täydentäviä näkökulmia, joita oli tarpeen siirtyä tarkaste-lemaan todellistamisvaiheessa. toDElliStAMiSvAiHEEllE oli varattu hieman vajaa tunti aikaa. koska aikaa oli vähän, ryhmässä päätettiin yksimielisesti tarttua tässä kohtaa siihen teemaan, johon jokainen ryhmä oli laatinut unel-maluonnoksen. Päätettiin sopia uusi käsittelyaika muille luonnoksille ja todettiin, että mieluummin tehdään hyvää työtä yhden aiheen kanssa kuin käsitellään vähän kaikkia. todellistamisvaiheessa mahdollisuudet yhteistyöhön sekä ns. kestävän kehityksen ja terveyden edistämisen ”talkoohenkeen” nousivat kunniaan. terveyden edistäminen ja kestävä kehitys nähtiin jokaisen osallistujan kannalta tärkeinä teemoina. lisäksi osallistujat kokivat, että tässä prosessissa molemmat olivat yhtä lailla niin saajan kuin antajan asemassa. tästä syystä koettiin, että näiden kahden teeman yhdistämistä voidaan viedä eteenpäin monella tapaa. Unelmaluonnoksista saatiin realistisia, kun hieman laski rimaa, oikoi mutkia, pohti käytettävissä olevia resursseja ja teki aikataulullisesti realistisia suun-nitelmia. Aivan lopuksi varattiin aikaa vielä reilu puoli tuntia keskustella jatkotoimenpiteistä, mihin oli saatu hyvä avaus jo todellistamisvaiheessa. Seminaaria vetänyt järjestö lupasi toimia asiaa eteenpäin vie-vänä koordinaattorina ja ihmiset sitoutuivat kukin ohjelmaan. tehtiin tarkempi suunnitelma, kuinka tästä jatketaan eteenpäin. koska jokainen seminaarin osallistuja lähti mukaan oman työnsä ohella, sovittiin, että asioissa edetään pienin askelin.

Tulevaisuusverstaan yhteiskeskusteluista on hyvä koota muistiinpanot, antaa osallistujille mahdollisuus kommentoida niitä ja tallentaa ne mahdollista jatko-käyttöä varten. Muistiinpanoista saattaa olla hyötyä esim. arvioinnissa. Tämän-kin työmenetelmän etuna on se, että ideat jalostuvat yhteisissä keskusteluis-sa. Ideoiden yhdistely ja keskustelu saattaa tuottaa joitakin sellaisia ajatuksia, joita kukaan ei olisi keksinyt itse.

84

muITA OSALLISTAVAN ArVIOINNIN TyöTAPOJA

ArviointiakvaarioArviointiakvaario on FinSocin (entinen Stakes, nykyisin Terveyden ja hyvin-voinnin laitos) kehittämä työmenetelmä, jossa arviointia tarkastellaan todellis-ten esimerkkien avulla. Akvaarioon osallistuvat tapausesimerkkien lisäksi fasi-litaattorit ja kirjuri. Akvaariossa esimerkkitapaukset kertovat lyhyesti arvioi-tavasta toiminnasta ja esittävät lopuksi kolme kysymystä, joiden ratkaisuissa kaipaavat osallistujien apua. Akvaariossa keskitytään pohtimaan sitä, miten arviointi esitellyssä toiminnassa olisi kannattavaa toteuttaa. Akvaariossa ei ar-vioida toimintaa, vaan suunnitellaan yhdessä arviointia. Sopiva osallistuja-määrä akvaarioon on noin 20 henkilöä. osallistujat jaetaan sisä- ja ulkokehiin, joissa keskustellaan aiheesta vuorollaan ja esitetään mahdollisia kysymyksiä ta-pausesimerkeille. Menetelmää käytettiin mm. Sosiaali- ja terveysturvan keskus-liiton ja Terveyden edistämisen keskuksen yhteisessä JÄRVI-hankkeessa. lisätietoja työmenetelmästä esim. Aalto-kallio, M. & Hakulinen, H. 2009.

Vastakohtien timantti Vastakohtien timantti on väline kartoittaa ihmisten suhtautuminen jotakin asiaa kohtaan. Timantti sisältää neljä ruutua, joihin jokainen osallistuja sijoit-taa itsensä ja avaa valintansa perusteita. Ruudut voidaan laittaa maalarintei-pillä lattiaan tai jakaa tila sanallisesti eri osioihin. Ruudut, jotka ilmaisevat henkilön kannan käsiteltävään asiaan, sisältävät seuraavia suhtautumistapo-ja: 1) ambivalentti suhtautuminen eli henkilöllä on sekä myönteisiä että kiel-teisiä näkökantoja käsiteltävään asiaan, 2) neutraali suhtautuminen eli henki-löllä ei ole vahvoja kielteisiä eikä myönteisiä näkökantoja käsiteltävään asiaan, 3) myönteinen suhtautuminen eli henkilö näkee asiassa vain myönteisiä puolia ja mahdollisuuksia sekä 4) kielteinen suhtautuminen eli henkilö näkee asiassa pelkkiä kielteisiä puolia ja uhkia. Timantti on nopea tapa kartoittaa osallistuja-joukon näkemyksiä käsiteltävästä asiasta. Ei vielä riitä, että osallistujat valitse-vat lokeron, joka kuvastaa heidän näkökulmaansa. Tämän jälkeen keskustel-laan, miksi valinnat on tehty niin kuin on tehty. Esimerkiksi siitä, minkälaisia seikkoja kielteisen tai ambivalentin suhtautumisen taustalta löytyy. Tämän jälkeen kielteiset seikat voidaan huomioida paremmin toiminnassa. lisätietoa työmenetelmästä esim. Seppänen-Järvelä, r. 2004.

85

III

Nä

Ky

Vä

KS

I Te

Ke

Vä

Kä

yT

äN

Tö

TyökonferenssiTyökonferenssi on järjestelmällisesti toteutettava työyhteisön kehittämisen menetelmä, jossa yhdistyvät tutkimuksellinen lähestymistapa ja kehittämis-kohteena olevan työyhteisön laaja osallistuminen kehittämistyöhön. Työkon-ferenssi toimintatapana perustuu vuoropuheluun. Se on osallistuva prosessi, jossa käytetään hyväksi ryhmässä tapahtuvaa vuorovaikutusta ja ideoiden tuottamista. Tätä kautta muodostuu yhteistä sitoutumista kehittämisen tavoit-teisiin ja keinoihin. Työkonferenssia käytetään erityisesti kehittämisen alku-vaiheen yhteisissä ideointitilaisuuksissa. Työmenetelmä toimii samalla myös oppimisfoorumina. Pääpiirteissään työkonferenssi muodostuu erilaisten ko-kousten sarjasta, johon koko organisaation eri tasoja ja erilaisia tehtäviä edus-tavan joukon tulisi osallistua mahdollisimman kattavasti . lisätietoa työmenetelmästä esim. lehtonen, J. (toim.), 2004.

lisätietoa osallistavan arvioinnin menetelmistä ja käytännön sovelluksista löytyy myös julkaisusta Osallistavia menetelmiä ja rakenteita sosiaaliviraston työssä – Opas sosiaali-viraston työntekijöille (sommerdahl-Halttunen, r.).

4.3.2 TApAusKOHTAinen ArViOinTi

Tapauskohtainen arviointi ymmärretään sosiaalityössä yksittäisen asiakkaan (tapauksen) arvioimiseksi. Kirjallisuutta tästä näkökulmasta löytyy melkoisesti. Kartassa tapauskohtainen mielletään vahvemmin tapaustutkimuksen tapaiseksi kuin yksittäisen asiakastapauksen arvioimiseksi. Käytännössä tämä tarkoittaa sitä, että tapauskohtaisessa arvioinnissa perehdytään syvällisesti arvioitavaan kohteeseen. useimmiten käytetään erilaisia aineistoja, joiden avulla pyritään havaitsemaan myös mahdollisia ennakoimattomia seurauksia.

Tapauskohtaisessa arvioinnissa on tarkoituksenmukaista hyödyntää mää-rällistä ja laadullista aineistoa. Idea on analysoida läpikotaisin ja syvällisesti jokin ohjelma. Alla kuvataan tarkemmin kaksi tapauskohtaisessa arvioinnissa käyttökelpoista työmenetelmää: SWoT-analyysi ja miellekartta.

nelikentällä tapauskohtainen arviointi voi olla ulkoinen tai sisäinen. Sy-vällisen analyysin tekeminen edellyttää useimmiten molempia näkökulmia. Kiinnostuksen kohteena ovat tulokset ja vaikutukset, mutta arvioinnin taus-talla on muutosorientoituneisuus.

86

Arvioinnin näkökulma on kriittinen. Arvioinnin tavoitteena ei ole vain to-dentaa tulosten saavuttamista ja vaikutuksia, vaan arviointi ottaa kantaa myös siihen, miten tulokset voidaan saavuttaa paremmin. Arvioinnin myötä saate-taan myös havaita, etteivät kaikki toiminnan tulokset olekaan olleet myöntei-siä. Yleensä sosiaali- ja terveysjärjestöjen ohjelmissa lähdetään siitä, että niiden tuottamat vaikutukset ovat myönteisiä. Arvioinnissa keskitytään odotettui-hin ja toivottuihin vaikutuksiin. Tapauskohtaisen arvioinnin vahvuutena on, että sen avulla saatetaan havaita joitakin ennakoimattomia vaikutuksia. Tässä nelikentän osassa muutosorientaatio tarkoittaa, ettei arvioinnissa ole valmis-ta käsitystä siitä, mitkä ovat odotetut ja toivotut tulokset.

ulkoisen arvioinnin näkökulma on olennainen silloin, kun otetaan kantaa tuloksiin ja vaikutuksiin. Se ei tarkoita, että tulosten ja vaikutusten osoittami-nen edellyttäisi välttämättä ulkoisen arvioinnin tilaamista. ulkoisen arvioin-nin näkökulma voidaan saada esimerkiksi käyttämällä arviointikriteerien muodostamisessa ulkopuolista tahoa tai vaikka toista järjestöä.

SWOT-ANALyySI

SWoT on paljon käytetty työmenetelmä, jota voidaan hyödyntää lukuisin eri tavoin. Tavoitteena on määritellä toiminnan tai hankkeen vahvuudet (strengths), heikkoudet (weaknesses), mahdollisuudet (opportunities) ja uhat (threats) (ks. liite 2). Käytännössä analyysia tehtäessä on huomioitava myös toimin-taympäristö. SWoT-analyysi onnistuu parhaiten, kun sitä tehdään tai pohdi-taan ryhmässä. Analyysin voi tehdä esimerkiksi kerran vuodessa ja edelliseen analyysin on hyvä palata aika ajoin. Analyysia tehdessä on hyvä määritellä, millaisella aikajaksolla asioita tarkastellaan. Lisäksi kysymyksenasettelun täs-mentämisessä kannattaa nähdä vaivaa, jotta kaikki osallistujat varmasti kes-kittyvät samaan asiaan.

SWoT-analyysia voi työmenetelmänä soveltaa melko paljon. Sen voi teh-dä esimerkiksi kahdessa vaiheessa. Ensimmäisessä vaiheessa vapaasti mieti-tään, mitä kuhunkin nelikentän lohkoon tulee. Toisessa vaiheessa käydään keskustelua siitä, nousevatko jotkut vahvuudet, heikkoudet, uhat tai mahdol-lisuudet muiden ylitse. Käytännössä vahvuudet ja heikkoudet kuvastavat nyky-tilannetta, kun taas mahdollisuuksilla ja uhilla otetaan kantaa tulevaisuuteen. Arviointi tapahtuu vertaamalla nykytilaa ja tulevaa tai sitten verrataan edellisen

87

III

Nä

Ky

Vä

KS

I Te

Ke

Vä

Kä

yT

äN

Tö

SWoT-analyysin pohjalta tehtyjä suunnitelmia toteutuneisiin tuloksiin. Ensin mainitussa tapauksessa pohditaan, mikä on hyvää nykyisessä toiminnassa, missä taas on parantamisen varaa. Jos toimintaa jatketaan samaan tapaan kuin aikaisemmin, niin pystytäänkö vastaamaan tuleviin haasteisiin. Mitä pi-täisi tehdä ja miten, jotta tulevaisuus näyttäisi mahdollisimman hyvältä. Jäl-kimmäisessä tapauksessa taas otetaan edellinen SWoT pohjaksi ja analysoi-daan, miten sen yhteydessä tehtyjä suunnitelmia on toteutettu ja ovatko odo-tetut tulokset osuneet oikeaan.

SWoT-analyysi on käyttökelpoinen lukuisissa tilanteissa. Sitä voidaan hyödyntää esimerkiksi järjestön strategian suunnittelussa, hankesuunnitte-lussa tai esimerkiksi riskien arvioinnissa. Yhtäältä se soveltuu esimerkiksi hankkeiden tulosten juurruttamisen vaiheeseen.

Käytännön toteutusSWoTin toteutusmahdollisuudet ovat rajattomat. Alla on esitelty yksi mah-dollinen tapa toteutukseen.

TArVITTAVAT VäLINeeT: Fläppitaulu/liitutaulu tms.

TArVITTAVA AIKA: Riippuu osallistujien määrästä ja siitä, miten pitkällä aika-välillä toimintaa on tarkoitus arvioida. Täsmällinen kysymys ja lyhyt aikaväli vaativat vähemmän aikaa kuin esimerkiksi järjestön toiminta parinkymmenen vuoden aikajaksolla. Aikaa kannattaa varata 1–3 tuntia.

OSALLISTuJAT: osallistujia voi olla rajaton määrä. Mitä enemmän osallistujia, sitä kokeneempi vetäjä tarvitaan kokoamaan yhteisiä ajatuksia. Suuri osallis-tujamäärä edellyttää huolellista etukäteisvalmistelua, pienemmällä osallistu-jamäärällä selvitään vähemmällä. SWoT-analyysin voi tehdä itsekseenkin, mikäli haluaa esimerkiksi tarkastella omaa osaamistaan suhteessa johonkin aiheeseen ja pohtia omia kehittämistarpeita esim. jatkokouluttamisen suhteen.

VAIheeT:1. Päätös SWoTin tekemisestä: Pohditaan, keitä kaikkia tarvitaan mukaan te-

kemään SWoT- analyysia. Hankkeessa esimerkiksi ohjausryhmä yhdessä hanketoimijoiden kanssa voi olla toimiva kokoonpano. Jos taas kyse on jär-jestön toiminnasta, olisi hyvä pohtia, onko henkilöstö mahdollista saada osallistumaan mukaan jollakin tavoin.

88

2. Täsmennetään kysymyksenasettelu: Jos kyse on hankkeesta, on tarpeen pohtia, tehdäänkö SWoT koko hankeaikaa silmällä pitäen vai onko ajan-jaksoa syytä rajata. Jos taas kyse on järjestön toiminnasta, voi yksi vuosi tai vaikkapa strategiakausi olla sopiva vaihtoehto. Muotoillaan kysymys riit-tävän tarkasti, jotta voidaan olla varmoja siitä, että kaikki pohtivat suurin piirtein samaa asiaa.

3. Pyydetään osallistujia jo etukäteen pohtimaan, mitä nelikentän eri osioihin tulee.

4. Kun ryhmä on koossa, kootaan nelikenttään kaikkien osallistujien näke-mykset esim. liitu- tai fläppitaululle.

5. Tarkistetaan, mitä asioita nelikentän eri osa-alueisiin on koottu. Varmiste-taan, että kaikki ovat saaneet äänensä kuuluviin. Tarkistetaan, voidaanko joitakin asioita niputtaa yhteen tai onko joitakin mainittuja asioita syytä jä-sentää pienemmiksi asiakokonaisuuksiksi.

6. Kun ensimmäinen nelikenttä on valmis, voidaan siirtyä toiseen vaiheeseen, jossa pohditaan asioiden tärkeysjärjestystä. Erityisen tärkeää tämä on heik-kouksien ja uhkien kohdalla. Heikkouksista kärkeen nostetaan ne seikat, joihin olisi tarpeen puuttua ensimmäiseksi. uhkista taas kaikkein vaka-vimmat nousevat kärkeen. Tärkeysjärjestys voidaan muodostaa esimer-kiksi siten, että kaikki saavat valita kolme mielestään tärkeintä seikkaa.

7. Kun tärkeysjärjestys on selvä, pohditaan mitä voidaan tehdä, kenen on vastuu ja millä aikataululla toimitaan. uhkien kohdalla pohditaan, miten toimintaa pitäisi muuttaa, jotta uhkiin pystyttäisiin varautumaan ja ne to-teutuessaankin tuottaisivat mahdollisimman vähän haittaa.

8. Sovitaan, milloin seuraavan kerran palataan SWoT-analyysin ääreen ja miten sitä voidaan käyttää arvioinnissa apuna.

9. SWoT-keskustelun dokumentointi on arvioinnin kannalta välttämätöntä. Myöhemmin voidaan tarkastella, miten hyvin analyysissa on kyetty enna-koimaan toimintaympäristön muutokset. Sen etuna on myös se, että sitä tehdessä ei tarvitse miettiä, miten hyvin joidenkin asioiden mittaaminen onnistuu, vaan erilaisia mahdollisuuksia voidaan pohtia vapaasti. Eri asia sitten on, mitä käytännössä voidaan toteuttaa tai arvioida. SWoT-analyysi laajentaa ajattelua myös kohden ennakoimattomia seurauksia. SWoT-ana-lyysi voitaisiin toteutustavasta riippuen sijoittaa perustellusti myös neli-kentän vasempaan yläkulmaan osallistavaan arviointiin. Tämä valinta olisi

89

III

Nä

Ky

Vä

KS

I Te

Ke

Vä

Kä

yT

äN

Tö

perusteltu, jos toiminnan kohderyhmä tai asianosaiset olisivat mukana te-kemässä SWoT-analyysia.

e S I m e r K K I

SOSIAALI- JA TerVeySJärJeSTöJeN ASemAN VAhVISTAmINeN JärJeSTö-KuNTAyhTeISTyöSSä

kuntien ja järjestöjen välistä yhteistyötä on peräänkuulutettu erinäisissä ohjelmissa, kuten esimer-kiksi terveys 2015 ja Hyvinvointi 2015 -ohjelmissa. Joukko sosiaali- ja terveysjärjestöjen avainhen-kilöitä kokoontui päivän kestävään teemaseminaariin pohtimaan sosiaali- ja terveysjärjestöjen ase-maa ja roolia lähinnä kuntien kanssa tehtävän yhteistyön näkökulmasta. Järjestetty kokoontuminen aloitti kaksivuotisen järjestö-kuntayhteistyön kehittämisprojektin. tilaisuudessa oli tarkoitus määri-tellä projektille tavoitteet ja kehittämiskohteet. teemaseminaari käynnistettiin muutamalla alustus-puheenvuorolla, jonka jälkeen aloitettiin ryhmätyöt. ryhmätöissä hyödynnettiin SWot-analyysia, joka oli lähes kaikille osallistujille entuudestaan tuttu työkalu. SWot-analyysin kautta oli tarkoitus määritellä projektille tavoitteet ja löytää muutama keskeinen kehittämiskohde, joihin panostamalla saataisiin järjestöjen roolia vahvistetuksi kuntien toiminnassa. ryhmätöissä annettiin tehtäväksi pohtia, mitkä ovat kuntien ja järjestöjen yhteistyön vahvuudet, heikkoudet, mahdollisuudet ja uhat. vahvuuksia ja heikkouksia tarkasteltiin nykyhetken perspektiivistä ja mahdollisuuksia ja uhkia tule-vaisuusperspektiivistä. ryhmissä toivottiin erityisesti pohdittavaksi sitä, millaisiin seikkoihin tulisi tulevaisuudessa tarttua ja mitä jo olemassa olevia tekijöitä vahvistaa, jotta järjestöjen ja kuntien vä-linen yhteistyö lisääntyisi. 1. kaksikymmentä kokonsa, osaamisensa, ikänsä, kohderyhmiensä ja toimintatapojensa suhteen

erilaista järjestöä kokoontui avainhenkilöidensä edustamana tilaisuuteen, jonka teemana oli so-siaali- ja terveysjärjestöjen aseman vahvistaminen järjestö-kuntayhteistyössä. tilaisuus käyn-nistettiin kahdella avauspuheenvuorolla, jotka johdattelivat osallistujia päivän teemaan ja avasivat keskustelua. tämän jälkeen käynnistettiin ryhmätyöt. Muodostettiin neljä ryhmää. varmistettiin tarve tehtävälle ja muistutettiin SWot-analyysin periaatteista. lisäksi päätettiin tarkka kysymyksenasettelu ja tarkastelujaksoksi valittiin viisi vuotta. ryhmille annettiin 30–45 minuuttia aikaa käydä läpi seuraavia kysymyksiä ja kirjata ne suoraan tietokoneelle laadittuun taulukkoon.

– Mitä sellaisia vahvuuksia sosiaali- ja terveysjärjestöillä on, joilla ne voivat tukea kuntien toimintaa ja laajentaa yhteistyötä? kirjatkaa 4–5 vahvuutta.

– Mitkä ovat sosiaali- ja terveysjärjestöjen heikkoudet tai puutteet, jotka vaikuttavat kunta-järjestöyhteistyön luomiseen ja kehittämiseen? kirjatkaa 4–5 heikkoutta tai puutetta.

– Miten kunta-järjestöyhteistyö kehittyy seuraavan viiden vuoden aikana? Minkälaisia mahdollisuuksia kunta-järjestöyhteistyön vahvistuminen ja lisääntyminen antaisi tulevaisuutta ajatellen?

– Mitä uhkakuvia kunta-järjestöyhteistyössä näkyy seuraavan viiden vuoden aikana? Minkälaisia vaikutuksia näillä uhkakuvilla olisi sosiaali- ja terveysjärjestöjen toimintaan?

90

2. ryhmätöiden jälkeen keskusteltiin ensin työmenetelmästä ja siitä, miten ryhmätyö oli sujunut. Järjestöjen erilaisuus oli asettanut haasteita analyysin tekoon. toisilla järjestöillä oli jo selkeitä yhteistyökäytäntöjä, kun toisilla yhteistyö oli vielä pienimuotoista. lisäksi järjestöjen erilaiset tehtävät asettivat oman haasteensa keskusteluun. kuitenkin jokaisessa ryhmässä oli alkukeskus-teluista päästy sille tasolle, että jokainen tarkasteli kunta-järjestöyhteistyötä ja sosiaali- ja terveysjärjestöjen roolia yleiseltä kannalta, ei vain omasta järjestöstään käsin.

3. Yhteisen alkukeskustelun jälkeen käytiin läpi kaikkien ryhmien SWot-taulukot. taulukot oli helppo siirtää muistitikulta pääkoneelle, jonka kautta saatiin heijastettua valkokankaalle kunkin ryhmän koonnat kaikkien nähtäväksi. lisäksi päivän vetäjä kirjasi ryhmien esittelyjen kautta kaikki tulokset yhteen taulukkoon. Samalla kun ryhmät kertoivat pohdintansa, seminaarin sih-teeri kirjoitti tietokoneella taulukkoon kootusti kaikkien ryhmien analyysin tulokset niin, että saatiin yksi taulukko ja listaus kaikista pohdinnoista. luonnollisesti monissa ryhmissä oli käyty läpi samoja asioita.

4. oli havaittavissa, että kahteen ensimmäiseen kohtaan oli helposti löydettävissä selkeät listat ja osittain järjestöt olivat antaneet myös samoja vastauksia. kaksi jälkimmäistä kysymystä sen si-jaan olivat herättäneet enemmän keskustelua. kukapa osaisi ennustaa tulevaisuuden? keskus-telu oli hajanaista ja ihmiset puhuivat hieman eri asioista ja jossain määrin jopa toistensa ohi. lopulta seminaarissa saatiin kootuksi yksi SWot-taulukko yhteenvedoksi, josta johdettiin kaksi erilaista tulevaisuuskuvaa. toisen mukaan myönteinen kehitys jatkuu, toinen muistuttaa pikem-minkin kauhuskenaariota. Yhteenvedon lopuksi seminaarin vetäjä varmisti, että kaikki olivat saaneet äänensä kuuluviin ja että esillä oli kaikki olennaiset vastaukset.

5. kun yhteenveto oli esillä, käytiin keskustelua siitä, olivatko esitetyt asiat riittävän konkreettisia. Yhdessä muun muassa konkretisoitiin, mitä yhteistyöllä tarkoitetaan, millaisia muotoja yhteis-työ saa ja miten se näyttäytyy. keskustelun jatkuessa SWot-analyysin nelikentän osa-alueet saatiin täsmennettyä siten, ettei suoranaisia päällekkäisyyksiä ollut. tämän jälkeen sovittiin, että osallistujat palaavat omiin järjestöihinsä keskustelemaan asioiden tärkeysjärjestyksestä eli siitä, mitkä ovat kaikkein olennaisimmat vahvuudet, heikkoudet, mahdollisuudet ja uhat oman järjestön näkökulmasta. lisäksi heidän tuli pohtia ennen seuraavaa tapaamista konkreettisia keinoja järjestö-kuntayhteistyön vahvistamiseksi oman järjestönsä näkökulmasta. ryhmä sopi tapaavansa kuukauden päästä uudestaan.

6. Seuraavalla tapaamisella kaikki nelikentän osa-alueet oli koottu omiksi listoikseen. kokouksen alussa jokainen kävi merkitsemässä kustakin kohdasta 5 oman järjestönsä mielestä tärkeintä asiaa. tärkeysjärjestyksen selvittyä pohdittiin erityisesti järjestöjen toiminnan heikkouksia ja toisaalta uhkia viiden vuoden aikajänteellä. Päätettiin perustaa pienempi työryhmä, joka määrit-telee SWot-analyysin pohjalta projektille konkreettiset tavoitteet ja kehittämistehtäviä, joissa mahdollisuuksiin keskittymällä ja järjestöjen toiminnan heikkouksia vähentämällä pyrittäisiin vahvistamaan järjestöjen asemaa ja roolia järjestö-kuntayhteistyössä. lopuksi kukin järjestö si-toutui kaksivuotiseen projektiin, jolla yritettäisiin vahvistaa järjestö-kuntayhteistyötä asetettuja kehittämistehtäviä toteuttamalla. Sovittiin tarkemmista linjauksista, tapaamisista ja laadittiin arviointisuunnitelma, jonka pohjalta toimintaa seurattiin ja arvioitiin. Arvioinnissa muun muas-sa tarkasteltiin, miten esiin nostetut heikkoudet ovat muuttuneet ohjelman aikana sekä miten tavoitteet ja tulokset on saavutettu, ja onko niillä ollut oletettuja vaikutuksia.

91

III

Nä

Ky

Vä

KS

I Te

Ke

Vä

Kä

yT

äN

Tö

mIeLLeKArTTA

Miellekartta (mindmap) on Tony Buzanin kehittämä muistiinpanotekniikka jo 1970-luvulta. Miellekartta on työmenetelmä, jota on käytetty oppimisen te-hostamiseksi ja käsitteiden hierarkioiden rakenteluun. Miellekartta on helppo-käyttöinen ja sen soveltamisala on laaja. Työmenetelmä sopii erinomaisesti myös täydentämään muita menetelmiä. Arvioinnissa miellekartta toimii hy-vänä lähtökohtana, johon voidaan tarvittaessa palata. Jotta miellekarttaa voidaan hyödyntää arvioinnissa, siihen liittyvät keskustelut täytyy aina do-kumentoida. Miellekartan avulla voidaan hahmottaa esimerkiksi asioiden ja toiminnan suhdetta toisiinsa. Sen avulla voidaan varmistaa, että puhumme varmasti samoista asioista. Kartta on käyttökelpoinen käsitteiden määrit-telyssä, esimerkiksi hyvinvoinnin ja terveyden käsitteiden suhde toisiinsa voidaan kuvata sen avulla. Toiminnan arvioinnin kannalta on olennaista tietää, mitä tarkoitetaan esimerkiksi terveyden tai hyvinvoinnin edistämi-sellä, syrjäytymisen ehkäisemisellä, arviointiosaamisen vahvistamisella jne. Erityisesti verkosto- ja yhteistyöhankkeissa on tärkeää, että käytetyt käsit-teet ovat riittävän yhteneväisiä. Kartan käyttöä voi suositella esimerkiksi ti-lanteissa, joissa arviointia varten halutaan kerätä kyselyaineisto. Kyselyaineis-ton keruu edellyttää käytettävien käsitteiden avaamista ja täsmentämistä (ks. luku 4.2).

Käytännön toteutusMiellekartan sovellusmahdollisuudet ovat rajattomat. Alla on esitelty yksi mahdollinen tapa toteutukseen.

TArVITTAVAT VäLINeeT: Fläppitaulu/liitutaulu/paperia + kynä, voi tehdä myös tietokoneella.

TArVITTAVA AIKA: Aika riippuu täysin siitä, minkälaisella panostuksella mielle-kartan tekee ja millaisella osallistujamäärällä. nopeimmillaan miellekartasta voi tehdä aihion jo 15 minuutissa yksin. Aikaa kuluu enemmän, mikäli moni-syistä asiaa tarkastellaan isommassa ryhmässä.

OSALLISTuJAT: Miellekartan voi toteuttaa yksin esimerkiksi toimintaa suunni-teltaessa. osallistujia voi olla myös rajaton määrä. Mitä enemmän osallistujia, sitä kokeneempi vetäjä tarvitaan kokoamaan yhteisiä ajatuksia.

92

VAIheeT:

1. Määritellään tarkasteltava kysymys tai käsite. Sijoitetaan se keskelle pa-peria.

2. Luodaan vapaasti mielleyhtymiä ja kysymykseen tai käsitteeseen liittyviä asioita/rinnakkaiskäsitteitä. Paperille merkityt asiat/käsitteet lokeroidaan siten, että samantasoiset käsitteet ovat samanlaisissa lokeroissa.

3. Eri lokerot yhdistetään toisiinsa viivoilla, yksisuuntaisilla tai kaksisuuntai-silla nuolilla.

4. Syntyneet yhteydet nimetään. nimeämisestä puhutaan myös linkittämi-senä.

5. Keskustelun dokumentointi.

e S I m e r K K I

VerKOSTON määrITTämINeN eLäKeLäISTeN LIIKuNNAN LISäämISeKSIon tehty havainto siitä, että kuntatasolla erilaiset toimenpiteet liikuntaharrastusten lisäämiseksi edistävät parhaiten sellaisten henkilöiden liikkumista, jotka muutenkin jo harrastavat liikuntaa. var-sinkin eläköityneiden liikkumista haluttiin lisätä. Päätettiin koota yhteen joukko toimijoita, joiden kanssa luodaan miellekartta teemalla ”liikuntaharrastus lähiössä”.osallistujiksi kutsuttiin yhden kaupunginosan yhdistys, järjestö joka edustaa ikääntyneitä ihmisiä, kaupungin virkamies, urheiluseuran edustaja ja terveysviraston edustaja. osallistujille ilmoitettiin etukäteen kiinnostuksen kohde ja tavoitteeksi se, että liikunnan harrastamista lisättäisiin valitussa kohderyhmässä. käytössä on fläppitaulu, johon kartan rakentaminen aloitetaan. 1. osallistujat tuovat esiin asioita, jotka heidän mielestään vaikuttavat liikuntaharrastukseen. tau-

lulle tulee mm. seuraavia sanoja: tilat, koulujen tilat, urheiluhalli, kenttä, lenkkipolku, ajankäyttö, pyörätiet, kansalaisopisto, uimahalli, järjestelmällisyys, resurssi, raha, yhteisöllisyys, sairaus, terveydenhuolto, mahdollistaminen, säästö ja ruokavalio.

2. vapaan assosioinnin jälkeen, kun paperi on miltei täynnä erilaisia sanoja, aloitetaan työstämi-nen. Samaan osastoon kuuluvia sanoja on jo alun perin pyritty kirjoittamaan lähekkäin. tässä kohtaa yhdistetään viivoin synonyymit ja sellaiset sanat, jotka jotenkin tuntuisivat kuuluvan osallistujien mielestä yhteen.

lyhyehkön työskentelyn jälkeen havaitaan, että kyse on oikeastaan siitä, miten liikkumista voi-daan mahdollistaa lähiössä. isoimmiksi käsitteiksi nousevat tilakysymys (koulun tilat, urheilu-hallin käyttömahdollisuus, mahdolliset lisätilat) vetäjäkysymys (vapaaehtoistyö, liikunnanohjaaja), puitteet (ulkoilumahdollisuudet, kenttien tarjoamat mahdollisuudet, kesä/talvi, kävelysauvojen hankinta, tilojen yhteiskäyttö), resurssit (osaaminen, järjestöjen vapaaehtoistyö, mahdollinen kunnan avustus) ja yhteisön merkitys (ryhmäliikunnan tuki, erilaiset ryhmät kuten kävelyryhmät, sauvakävelyryhmät, ruokaryhmä).

93

III

Nä

Ky

Vä

KS

I Te

Ke

Vä

Kä

yT

äN

Tö

3. tämän jälkeen päädytään linkittämiseen. resurssit päätetään jakaa edelleen kahteen osaan. olemassa olevat resurssit yhdistetään niihin toimintamuotoihin, joita on mahdollisuus käyttää ilman uusia resursseja. Yhtäältä tarvittavat resurssit ja kehitteillä olevat toimintamuodot linki-tetään toisiinsa. lopulta kaikki kohdat ovat yhdistettynä yksi- tai kaksisuuntaisella nuolella jo-honkin kohtaan. Miellekartan rakentaminen toimii alkusysäyksenä, jonka pohjalta lähdetään miettimään jatkotoimenpiteitä.

Kuvio 4. miellekartta ”Liikuntaharrastus lähiössä”

muITA TAPAuSKOhTAISeeN ArVIOINTIIN LIITTyVIä TyöTAPOJA

looginen viitekehys (logical Framework Approach)Looginen viitekehys on kokonaisvaltainen lähestymistapa, joka koostuu useasta palasesta. Viitekehyksen käyttäminen edellyttää mm. hyödynsaajien määrittelyä, sidosryhmäanalyysia, ongelman kartoitusta, tavoitteiden analy-sointia, erilaisten indikaattorien määrittelyä ja niiden todentamista, oletet-tujen riskien analysointia sekä tulosten, toiminnan ja resurssien analyysia. Tulokset kiteytetään ns. matriisitaulukossa (Logical Framework Matrix). Mal-lissa puhutaan ns. tavoitehierarkiasta, jolla viitataan siihen, miten päämäärä on kaiken lähtökohta ja miten tuloksista ja toiminnasta päästään takaisin päämäärään.

omatoimiryhmille tukea tilojen hankintaan (koulujen tilat, ruoka-neuvontaan kotitalous-opetuksen luokka)

ruokavalioneuvontaa liikuntaryhmien yhteydessä

viestintä liikunta-mahdollisuuksista; terveyskeskukset, kauppojen ilmoitus-taulut, työväenopisto, kirjaston ilmoitustaulu

liikUnnAn MAHDolliStAMinEn

lÄHiöSSÄ

naisille ja miehille myös omia, ohjattuja ryhmiä

Säästöjä terveydenhuoltoon Sosiaalinen pääoma:lenkkikaveri, yhteinen tekeminen, yksinäisyyden ehkäisy,tuki liikkumiselle

liikunnanohjaus kaiken ikäisille, kaikissa olosuhteissa

Puitteet: hiekkakenttä, koulujen liikuntasalit, työväenopiston tilat, pururata, uimahalli, kuntosali

94

Looginen viitekehys on alun perin yhdysvaltalainen, joten sen hyödyntämi-nen kansainvälisissä ohjelmissa on kannatettavaa. Looginen viitekehys löy-tyy myös luvussa 2.2 mainitun Suunta-työkalun taustalta. lisätietoa työmenetelmästä esim. kehitysyhteistyöjärjestöjen EU-yhdistyksestä, kehys ry:n kotisivuilta (http://www.kehys.fi/eu-rahoitus/tyokalut/projektisuunnittelu).

iTe työyksikön itsearviointi- ja laadunhallintamenetelmäMenetelmä on kehitetty Kuntaliitossa sosiaali- ja terveydenhuollon työyksi-köille. Se on tarkoitettu laadunhallinnan työvälineeksi. Sen tuella työyksikkö voi parantaa toimintansa tai palvelujensa laatua. Menetelmän etuna on se, että siinä on pyritty huomioimaan myös käytettävissä olevat resurssit. Itse työmenetelmä koostuu neljästä osasta. Siinä on (1) itsearviointikysymyksiä (2) Excel-laskentapohja itsearviointivastausten kokoamista ja analysointia var-ten (3) jatkosuunnittelulomake arvioinnin tulosten hyödyntämistä varten sekä (4) tarkistuslista sisäistä tai vertaisarviointia varten. ITE-arvioinnin lähtö-kohtana ovat julkisen sektorin kohtuullisen pienet työyksiköt. Käytännössä tämä tarkoittaa sitä, ettei menetelmä ole sellaisenaan käytettävissä järjestöis-sä. Siinä on kuitenkin paljon hyviä aineksia, jotka kohtuullisella soveltamisel-la ovat järjestöjen käytettävissä.lisätietoa työmenetelmästä esim. Holma, t. 1997; Holma, t. 2003.

laatupiiri (Quality Circle)Laatupiirin tavoite on toiminnan, tuotteen ja tuottavuuden jatkuva paranta-minen. Yksinkertaisuudessaan laatupiirin idea on, että säännöllisesti toisiaan tapaavat työntekijät tai vapaaehtoiset tunnistavat kehittämisen kohteita, ana-lysoivat niitä ja tekevät ehdotuksia epäkohtien korjaamiseksi. Vähintäänkin yhtä tärkeää kohteiden tunnistamisen ohella on uusien käytäntöjen vakiin-nuttaminen. Laatupiirit hyödyntävät usein joitakin laadunvarmistamisen työ-kaluja. Laatupiiri voitaisiin rakentaa esimerkiksi ITE-menetelmän ympärille soveltamaan ja kehittämään työvälineitä.lisätietoa työmenetelmästä: Dewar, D. 1982.

lisätietoa tapauskohtaisesta arvioinnista erityisesti asiakassuhteen arvioinnin näkö-kulmasta löytyy pekka Borgin ja marja-riitta Kilposen (2008) artikkelista Tapauskohtai-nen arviointi teoksessa Arviointi työtavaksi – kokemuksia asiakastyön arvioinnin kehit-tämisestä Helsingin sosiaalivirastossa.

95

III

Nä

Ky

Vä

KS

I Te

Ke

Vä

Kä

yT

äN

Tö

4.3.3 prOsessiArViOinTi

Prosessiarvioinnin näkökulmassa arvioinnin aineisto voi koostua niin laadul-lisesta kuin määrällisestäkin aineistosta. Seuraavassa tullaan kuvaamaan tar-kemmin kaksi työmenetelmää, joita voi hyödyntää prosessiarvioinnissa: delfoi ja Benchmarking eli parastaminen. Prosessiarvioinnin kohteena on prosessi eli tapahtumasarja. Toisin sanoen prosessiarvioinnissa ei olla niinkään kiin-nostuneita tuloksista ja vaikutuksista, vaan toiminnasta, jonka avulla niitä tuotetaan. Taustalla on yleensä ajatus siitä, että tiedetään mikä olisi toivottu tapahtumasarja. Arvioinnin tuella pyritään parantamaan toimintaa. Prosessi-arviointi voi tapahtua sisäisenä tai ulkoisena arviointina. Ihanteellisessa tilan-teessa mukana ovat molemmat näkökulmat. Riitta Seppänen-Järvelä (2005) on kirjoittanut prosessiarvioinnista oman oppaan kehittämisprojektien to-teuttamisen tueksi.

Prosessiarviointi liitetään usein hankkeisiin, joissa ensin arvioidaan pro-sessit ja sitten tulokset. Prosessiarviointi sopii kuitenkin erinomaisesti myös perustoiminnan arviointiin. Se mitä ja miten prosesseja eli tapahtumasarjoja arvioidaan, riippuu arviointikysymyksistä ja -kriteereistä (ks. luku 3, askeleet 3 ja 4). Esimerkiksi järjestötoiminnassa voidaan irrottaa lehden toimittaminen ja tuottaminen yhdeksi prosessiksi ja seurata toteutuuko se optimaalisella ta-valla. Samalla tavoin koulutustilaisuuksien tai seminaarien järjestäminen voi-daan kuvata ja sitten verrata toimintaa käytännössä.

Prosessiarviointia havainnollistetaan usein tehdastuotannolla ja liuku-hihnalla. Prosessi on onnistunut, kun kaikki koneet liukuhihnalla toimivat odotetulla tavalla. Lopputuloksena syntyy mallikas tuote. Järjestöjen toimin-nassa prosessiarviointia hyödynnetään paljon hankkeissa, mutta se soveltuu myös yksittäisten toimintojen arviointiin.

Prosessiarvioinnin ideaa voi kuvata esimerkiksi koulutustilaisuuden jär-jestämisellä. Käytännössä pitäisi ensin tehdä kuvaus siitä, miten koulutus-tilaisuuden järjestämisen pitäisi yleensä sujua. Siinä voisi olla esimerkiksi seu-raavat osat: 1) tilaisuudesta tiedottaminen (esim. määritellään kanavat ja vas-tuut), 2) käytännön järjestelyjen hoitaminen (esim. tilavaraukset, tarjoilut, il-moittautuminen), 3) osallistujista huolehtiminen (esim. vastaaminen ilmoit-tautumiseen, osallistujamateriaalin kokoaminen, palautteen kerääminen) ja 4) palautekeskustelu tilaisuudesta (esimerkiksi on määritelty ketkä keskustelevat

96

ja miten pian tilaisuuden jälkeen). Mikäli lopputulos ei ole toivottu, voidaan toteutunutta toimintaa verrata prosessikuvausmalliin.

Prosessikuvauksessa vaiheet määritellään niin yksityiskohtaisesti, että to-teutusta on helppo verrata kuvaukseen eli siihen, miten koulutustilaisuuk-sien järjestelyjen tulisi sujua. Toisaalta kuvauksen tulee olla sen verran yleisel-lä tasolla, että sitä voidaan käyttää useamman koulutustilaisuuden arvioin-nissa. Prosessikuvauksien tekeminen vaatii aikaa ja useimmiten useamman henkilön työpanosta. Hyvin laaditusta prosessikuvauksesta on apua myös työhön perehdyttämisessä, koska se toimii uudelle työntekijälle mallina siitä, miten järjestössä toimitaan.

Prosessiarvioinnin ongelmana on se, ettei sen avulla aina pystytä ottamaan kantaa siihen, onko valittu toimintatapa paras mahdollinen. Esimerkiksi se-minaarien järjestämiseen tai järjestölehden toimittamiseen vaikuttavat toi-mintaympäristö ja siinä tapahtuvat muutokset. Prosessiarviointi ei perintei-sessä muodossa sisällä varsinaista muutosorientaatiota. Siinä kiinnostuksen kohteena on pikemmin se, toteutuuko toiminta siten, kun on aiottu (vrt. ku-vaus koulutustilaisuuden järjestämisestä). Arvioinnin tuloksia hyödynnetään toiminnan parantamisessa esimerkiksi erilaisten korjausliikkeiden avulla. Prosessiarviointi voidaan kuitenkin suunnitella siten, että muutoksia toimin-taympäristössä ennakoidaan.

DeLfOI

delfoi-työmenetelmän avulla pyritään hankkimaan asiantuntijatietoa toimin-taympäristön tulevaisuuden haasteista ja keinoista vastata näihin haasteisiin. Asiantuntijat toimivat menetelmässä eräänlaisina ennustajina. Menetelmää on hyvä hyödyntää silloin, kun halutaan tuoda uusia arvoja, näkemyksiä ja ideoita suunnittelun ja päätöksenteon pohjaksi. Yleensä delfoi-menetelmässä etsitään luotettavinta mielipiteiden konsensusta asiantuntijaryhmässä pe-rättäisten kyselylomakkeiden ja toisiaan seuraavien kyselykierrosten avulla. Prosessin aikana vastaajille annetaan palautetta mielipiteistä, minkä jälkeen asiantuntijoilla on mahdollisuus korjata myös omia kantojaan. useilla kier-roksilla pyritään siihen, että näkökantoja on mahdollisuus muuttaa. Tunnus-omaista menetelmälle on asiantuntijoiden tunnistamattomuus eli asiantuntijat

97

III

Nä

Ky

Vä

KS

I Te

Ke

Vä

Kä

yT

äN

Tö

esittävät ja perustelevat tulevaisuutta koskevia väitteitä usein tietämättä, kei-tä muita asiantuntijoita on mukana. Tunnistamattomuus mahdollistaa sen, että asiantuntijat esittävät rehellisiä ehkä radikaalejakin mielipiteitä ja käsi-tyksiä, eikä niihin vaikuta tieto muista asiantuntijoista.

delfoi on erityisen käyttökelpoinen toiminnan suunnitteluvaiheessa. Ar-vioinnissa menetelmää voidaan hyödyntää ennakkoarvioinnissa, suunnitel-taessa ohjelman toteutusta. Tällaisessa tilanteessa on hyödyllistä ennakoida toimintaympäristössä tapahtuvia muutoksia.

delfoi-työmenetelmän erilaisia versioita voidaan kutsua tulevaisuuden kartoittamisen menetelmiksi, joissa eri kantoja edustavat asiantuntijat hah-mottavat muiden perusteluiden avulla tulevaisuuden kartoittamisen kan-nalta keskeisiä tekijöitä, kuten megatrendejä ja skenaarioita. Heikkojen signaalien tunnistamista edistää edelleen kommentoinnin tunnistamatto-muus, koska kommentoija ei joudu kritiikin kohteeksi alustavien ajatusten-sa kanssa.

Käytännön toteutus

mILLOIN: Sopii erityisen hyvin projektin käynnistysvaiheen ideointiin, jonkin uuden toiminnan suunnitteluun tai esimerkiksi sellaisen asian arviointiin, jossa halutaan puolueeton ja muista riippumaton kanta johonkin asiaan. Tu-kee toiminnan tai hankkeen suunnittelua ja siten arviointia.

TArVITTAVA AIKA: Riippuu kuinka monta kierrosta käydään, millä menetel-mällä toteutetaan (haastattelu/kysely/sähköinen kysely) sekä kuinka paljon asiantuntijoita on mukana. Toteutus kannattaa suunnitella huolella ja varata realistisesti aikaa myös kyselyiden ja haastatteluiden analysointiin. Asiantun-tijalausuntojen analysoiminen ja niiden koonti vaatii aikaa, mutta huolellinen työ tässä vaiheessa palkitaan myöhemmin.

TArVITTAVAT VäLINeeT: Riippuu toteutuksen tavasta, mutta ei edellytä mitään erityisiä välineitä tavallisten toimistotarvikkeiden ja tietokoneohjelmien li-säksi.

OSALLISTuJAT: Toimeksiantajat, toteutuksen suunnittelijat ja joukko valittuja aiheeseen liittyviä asiantuntijoita.

98

VAIheeT:1. Kysymyksen rajaus ja tavoitteiden määrittely eli mitä pitää syntyä proses-

sin lopputuotoksena, jotta siihen voidaan olla tyytyväisiä. 2. Asiantuntijaryhmän muodostaminen toteutusta varten. delfoi-paneeliin

osallistuvien kokoaminen ja mukaan suostumisen varmistaminen. 3. Kyselylomakkeen rakentaminen ensimmäistä kyselykierrosta varten, mah-

dollinen kyselylomakkeen testaus ja korjaus. 4. Ensimmäinen kyselykierros: Kyselyn voi lähettää esimerkiksi postitse,

sähköisesti tai toteuttaa haastatteluna. Yksi mahdollisuus on myös kerätä asiantuntijoilta vapaamuotoista tekstiaineistoa, jossa he ovat eritelleet kä-sityksiään keskusteltavasta kysymyksestä ja etsineet määritelmää heikoil-le tulevaisuussignaaleille.

5. Ensimmäisen kyselykierroksen vastausten analysointi. 6. Toisen kierroksen kyselylomakkeen rakentaminen ja testaus, mikäli se

nähdään tarpeellisena. Kyselyn toteuttaminen ja vastausten analysointi. Toisella kierroksella asiantuntijoilla on tiedossa ensimmäisen kyselykierrok-sen tulokset. He voivat tämän mukaan tarkentaa ja täsmentää omaa kan-taansa ja kommentoida muiden näkökulmia.

7. Mahdolliset lisäkierrokset. 8. Tuloksista raportoiminen. lisätietoja työmenetelmästä esim. kuusi, o. 2002.

e S I m e r K K I

TerVeyDeN eDISTämISeN TuLeVAISuuS

koettiin tarpeelliseksi terveyden edistämisen toimintaympäristön tulevaisuuden haasteiden pohti-minen ja sellaisten keinojen tarkasteleminen, jotka vastaavat näihin haasteisiin. Haluttiin, että ter-veyden edistämisen tulevaisuutta on pohtimassa laajahko asiantuntijaryhmä, johon kuuluu toimijoi-ta niin järjestöistä, kunnista, yksityisestä sektorista kuin valtioltakin. Erityisen tärkeänä nähtiin, että toimijat ovat mukana myös päättävissä elimissä. Asiantuntijaryhmän haluttiin koostuvan eri alojen edustajista, jotta terveyden edistämisen poikkitieteellinen ja monialainen näkemys tulee edustetuk-si. Erilaisten terveyden edistämisen tulevaisuuksien tarkasteluun valittiin Delfoi-menetelmä. Asian-tuntijaryhmä koostui lopulta 20 Delfoi-menetelmään sitoutuneesta asiantuntijasta, joilla kaikilla oli oma näkökulmansa terveyden edistämiseen. itse Delfoi-prosessi toteutettiin seuraavasti. Asiantunti-joille oli tarkkaan kerrottu aikataulusta ja siitä, miten prosessi etenee. Ensin valittu toteuttajaryhmä (4 henkilöä) laati tutkimusongelman ja määritteli tavoitteet. tutkimus-ongelmaksi asetettiin kysymysmuodossa: Mikä on terveyden edistämisen merkitys 5–10 vuoden

99

III

Nä

Ky

Vä

KS

I Te

Ke

Vä

Kä

yT

äN

Tö

päästä yhteiskunnassamme? Delfoi-tutkimuksen tavoitteena oli selvittää, 1) miten terveyden edis-täminen nähdään tulevaisuudessa noin 5–10 vuoden päästä, 2) mihin terveyden edistämiseen liitty-vä toiminta kiinnittyy tulevaisuudessa, miten ja miksi se tekee niin, 3) mitkä ovat terveyden edistä-misen suurimmat haasteet 5–10 vuoden päästä, miten ja millä keinoilla niihin tulisi vastata sekä 4) mitkä ovat terveyden edistämisen mahdollisuudet 5–10 vuoden päästä, miten ja millä keinoilla niihin tartutaan.tutkimuskysymysten ja tavoitteiden määrittelyn jälkeen toteuttajaryhmä laati puolistrukturoidun kyselylomakkeen, joka toteutettiin haastatteluna. Haastattelu haluttiin tehdä, jotta saatiin mahdol-lisimman paljon informaatiota heti alkuvaiheessa. kyselylomake lähetettiin etukäteen asiantunti-joille ja toteuttajien tuli kunkin tehdä 5 haastattelua. näin katsottiin, että haastattelurupeama oli sopiva jokaiselle. kun haastattelukierros oli tehty, kukin haastattelijoista litteroi oman haastattelunsa ja kaksi henki-löä analysoi tulokset. Analyysista tehtiin kirjallinen ja ytimekäs raportti (enintään 10–15 sivua), joka oli kiireisille asiantuntijoille helppo- ja selkeälukuinen sekä melko nopeasti luettavissa ennen seu-raavaa kyselykierrosta. Jo tässä vaiheessa toteuttajat huomasivat, että terveyden edistämisen tule-vaisuuden haasteet näyttivät moninaisilta, mutta esille nousi myös sellaisia innovatiivisia ja var-teenotettavia ehdotuksia, joita ei osattu odottaakaan. toisaalta mielenkiintoiselta näyttivät myös hyvin ristiriitaiset visiot ja päinvastaiset näkökulmat. toisella kyselykierroksella edellistä puolistrukturoitua kyselylomaketta täydennettiin ensimmäisellä kyselykierroksella saatujen tulosten pohjalta. Puolistrukturoidut kyselyt toteutettiin jälleen haastat-teluna. toteuttajat eivät haastatelleet samaa haastateltavaa kuin ensimmäisellä kerralla. toisella kierroksella asiantuntijat voivat edellisen kyselykierroksen tulosten mukaan tarkentaa ja täsmentää kantojansa ja kommentoida muiden näkökulmia. toisella kierroksella toteuttajat havaitsivat asian-tuntijoiden olleen sitoutuneita, kiinnostuneita ensimmäisen kierroksen tuloksista sekä luonnollises-ti kiinnostuneita siitä, ketkä kaikki mahtoivat osallistua asiantuntijaryhmään. toisen kyselykierroksen tulokset analysoitiin edellisen kierroksen tavoin ja laadittiin raportti, jonka asiantuntijat jälleen lukivat. Samassa yhteydessä lähetettiin vielä strukturoitu kysely, johon oli eri väittämin koottu analyysin tulokset ja asiantuntijoita pyydettiin vielä arvottamaan ne, jotta eri tule-vaisuuden visioille saatiin jonkinlainen painoarvo. lopputulemana Delfoi-menetelmän toteuttajat tekivät kokonaisraportin, jossa he tulosten pohjalta laativat terveyden edistämisen tulevaisuusskenaarion sekä kokosivat taulukon haasteista, mahdol-lisuuksista, keinoista ja tekijöistä. tästä prosessista tiedotettiin myös laajemmin ja sen pohjalta suunniteltiin jatkoprojekti teemalla terveyden edistäminen itseisarvoksi – voimavaralähtöistä yhteiskuntarakennetta rakentamaan.

Tämä esimerkki kosketteli tulevaisuuden ennakointia ja hiljaisten signaalien löytämistä. Lähestymistapaa voitaisiin soveltaa myös arviointipaneelissa, jossa asiantuntijat eivät luonnollisesti pysyisi anonyymeina. Esimerkiksi työsken-tely voisi jatkua ensimmäisessä vaiheessa syntyneen projektin toteutuksen ar-vioinnilla. Silloin oltaisiin myös perinteisen prosessiarvioinnin alueella.

100

PArASTAmINeN (BeNchmArKING)

Parastaminen eli benchmarking (vertailu) on toiminnan kehittämismenetel-mä, jossa omaa toimintaa verrataan toisen paremmin sujuvaan toimintaan. Parastamisen ideana on hakea uusia ideoita ja oppia toisilta, jotta voidaan ke-hittää omaa toimintaa. oikeaoppinen ja tehokas parastaminen on suunnitel-mallista ja järjestelmällistä. Se eroaa täten tavallisesta vertailusta ja kokemus-ten vaihdosta. oikeaoppisessa parastamisprosessissa mm. analysoidaan oma toiminta ensin kunnolla ennen kuin sitä lähdetään vertaamaan mihinkään muuhun. Parastamisen työmenetelmästä on olemassa seikkaperäisiä selos-tuksia. Alla parastamisen työmenetelmä on pyritty yksinkertaistamaan järjes-töille soveltuvaan muotoon.

Käytännön toteutusmILLOIN: Työmenetelmä soveltuu käytettäväksi erityisesti silloin, kun johon-kin toimintaan kaivataan näkökulmaa: uutta näkökulmaa, vertaisnäkökulmaa tai erilaisia ratkaisumalleja. Mikäli vertailukäynti halutaan tehdä siten, että se johtaa oman toiminnan kehittämiseen ja parantamiseen, käynti tulisi toteut-taa hyvissä ajoin. Tällöin uusi toimintatapa palvelee vielä käynnissä olevaa toimintaa.

TArVITTAVA AIKA: Käynnin etukäteissuunnitteluun, käyntiin ja ns. käynnin puintikeskusteluun kannattaa varata riittävästi aikaa. Paras hyöty parastamis-prosessista saadaan, kun se on huolella suunniteltu.

TArVITTAVAT VäLINeeT: Mitään erityisiä välineitä ei tarvita tai välinetarve riip-puu siitä, minkä aiheen puitteissa vertailukäynti ollaan tekemässä. Jonkinlaiset muistiinpanovälineet ovat kuitenkin tarpeellisia.

OSALLISTuJAT: henkilöt, joita asia koskee.

VAIheeT:1. Kuvaa nykytila ja määrittele parannettava ”alue”.2. Kokoa pieni parastamisryhmä. 3. Määrittele kehittämisprojektin tavoitteet ja aikataulu.4. Kuvaa kehitettävä prosessi tai ongelma. 5. Kartoita mahdolliset esikuvat ja valitse kohde. 6. Valmistele kysymykset ja suunnittele vierailu.

101

III

Nä

Ky

Vä

KS

I Te

Ke

Vä

Kä

yT

äN

Tö

7. Toteuta vierailu. 8. Kokoa ja analysoi hankitut tiedot ja materiaalit. Analysoi erot. 9. Kehitä ehdotus uudesta toimintatavasta tai ratkaisusta määriteltyyn ongelmaan. 10. Kirjaa analyysin tulokset ja kehittämisehdotukset. 11. Suunnittele uusi etenemistapa. Aseta uudet tavoitteet hankitun tiedon pohjalta. Tee toimintasuunnitelma tavoitteen toteuttamiseksi tai ongelman ratkaisemiseksi. 12. Sovella, kehitä, ratkaise. 13. Toteuta kehittämissuunnitelma. 14. dokumentoi ja arvioi tulokset. lisätietoja: keränen, H. 2003.

e S I m e r K K I

TyöKALuJA VerKOSTOTyöhöN Järjestöjen välistä yhteistyötä toivotaan yhä enemmän ja hankerahoitusta kannustetaan hakemaan verkostoihin perustuviin toimintamalleihin. Järjestöt, jotka tavalla tai toisella tekevät työtä ikä-ihmisten parissa, kokosivat voimansa yhteen ja päättivät lähteä pohtimaan erilaisia yhteistyö-muotoja kukin omasta toiminnastaan käsin. Järjestöt halusivat korostaa omaa rooliaan yhtenä ikäihmisten tukitoimijana väestön ikääntyessä. verkosto sekä halu jatkoyhteistyölle syntyivät osittain erään jo päättyvän hankkeen yhteydessä ikään kuin puolivahingossa. koska hanke kuitenkin oli tulevan kuukauden jälkeen päättymässä, tuli pohtia vastaisuudessa verkostoa koordinoivaa henkilöä. lisäksi tuli miettiä, miten yhteistyötä lähde-tään rakentamaan jatkossa niin, että se toimii ja siihen saadaan toimiva rakenne. Ennen hankkeen päättymistä, sen koordinaattori päätti järjestää parastamisvierailun sellaiseen verkostoon, jossa toimintaa oli rakennettu järjestöjen välille siten, että se loi hyvät edellytykset yhteistyölle. Parastamis-prosessi eteni seuraavasti.Järjestöt kokoontuivat keskustelemaan saman pöydän ääreen. keskustelussa määriteltiin, mitä asioi-ta he halusivat parastamisprosessissa saada selville, mihin asioihin tuli saada näkökulmia ja mitä asiaa tuli parantaa. Samassa yhteydessä ryhmä asetti itselleen kirjallisen tavoitteen sekä määritte-li aikataulun, milloin parastamiskäynti toteutetaan, milloin siinä esille tulleita asioita käsitellään ja miten prosessin toivotaan etenevän jatkossa. lopuksi ryhmä kokosi paperille ylös ne ongelmat ja haasteet, joita he kokivat verkostotyössä olevan. verkostoa toistaiseksi koordinoinut henkilö oli kuullut hyvin toimivasta järjestöistä koostuvasta ver-kostosta, joka tosin keskittyi järjestöjen arviointiosaamisen vahvistamiseen. vaikka teema oli eri, päätettiin tämä verkosto kuitenkin valita malliksi. koordinaattori oli yhteydessä verkostoon ja sai so-vittua parastamiskäynnin. Hän lähetti arviointiverkostolle etukäteen kysymykset, joihin he etsivät

102

ratkaisuja ja joista toivoivat kuulevansa kokemuksia. vierailuaikataulu sovittiin ja vierailu toteutet-tiin suunnitelmien mukaisesti. vierailukohteessa ryhmä esitteli oman verkostonsa rakenteen ja ker-toi, miten se oli määritellyt tavoitteensa ja tehtävänsä sekä laatinut oman verkostonsa kartan, roolit ja laajemmat verkostot. tapaaminen koostui esittelyvaiheesta, kyselyvaiheesta sekä vertaiskeskuste-lusta, jossa ihmiset oli jaettu pienempiin ryhmiin jakamaan kokemuksia. Jo etukäteen oli sovittu, että vierailulla ollut ikäihmisten verkostoryhmä tapaa kolmen päivän pääs-tä vierailukäynnistä. tapaamisessa keskusteltiin siitä, mitä vierailulla oli opittu. laadittiin taulukko, jossa yhteen sarakkeeseen kirjattiin verkostotoiminaan liittyviä kriittisiä asioita, toiseen sarakkee-seen kirjattiin, miten verkostossa tämä kriittinen asia oli tällä hetkellä hoidettu sekä kolmanteen sa-rakkeeseen kirjattiin, miten vierailukohteen verkostossa asia oli hoidettu. viimeiseen eli neljänteen sarakkeeseen oli tarkoitus tehdä analyysi siitä, mitä tässä verkostossa tulisi mahdollisesti tehdä ja millaista tietoa tai materiaalia hankkia, jotta verkosto toimisi myös nykyisen hankkeen päätyttyä. tämän analyysin tuloksena ryhmä muodosti näkemyksen siitä, mitä heidän tulisi jatkossa tehdä ja miten toimia verkostotoiminnan parantamiseksi. verkosto laati pidemmän aikavälin aikataulusuunnitelman ja tavoitteen, mistä lähdettiin liikkeelle ja mihin tulisi päästä. He käyttivät apunaan tehtyä analyysiä ja arvioivat muun muassa, mitkä asiat toi-sen verkoston toiminnassa ovat suoraan käyttöönotettavissa ja tarpeellisia, mitkä asiat puolestaan tulisi soveltaa heidän verkostonsa toimintamalliin ja millaiset työtavat tai menetelmät toisessa ver-kostossa olivat joko omalle verkostolle tarpeettomia tai soveltamiskelvottomia. Jotta päästiin alkua pidemmälle, koordinaattorin ja sihteerin tehtävä päätettiin ensi alkuun tehdä kiertäväksi, kuten vierailukohteessakin oli tehty. tapaamispaikat sovittiin toimintasuunnitelman te-kemisen yhteydessä. vierailukohteen verkostossa oli aina yksi ja sama sopivaksi katsottu tapaamis-paikka. tämä sopi vierailukohteen arviointiverkoston jäsenille, koska he kaikki olivat kotoisin pää-kaupunkiseudulta. verkostossa tämä ei ollut mahdollista, sillä he olivat eri puolilta Suomea. tällöin asetelma ei olisi ollut reilu jokaista kohtaan. verkosto käynnisti toimintansa ja aloitti suunnitelman toteuttamisen. Parastamiskäynti sopi tälle verkostolle loistavasti. Etuna oli, että henkilöt olivat toi-sen hankkeen yhteydessä jo verkottuneet ja kokeneet yhteistyön tarpeelliseksi, mikä lisäsi haluk-kuutta tehdä yhdessä enemmän. vierailukohteena oleva verkosto sai hyvän mielen lisäksi myös pa-lautetta ja samalla he tulivat arvioineeksi toisen ryhmän kysymysten kautta omaa toimintaansa. käynti oli siis molemmin puolin tarpeellinen ja hyödyllinen.

103

III

Nä

Ky

Vä

KS

I Te

Ke

Vä

Kä

yT

äN

Tö

muITA PrOSeSSIArVIOINNISSA KäyTTöKeLPOISIA TyöTAPOJA

VertaisarviointiErilaiset vertaisuuteen perustuvat menetelmät ovat nykyään käytössä yhä enemmän. Taustalla on ajatus siitä, että samantyyppisessä tilanteessa elävät ihmiset voivat jakaa kokemuksiaan ja saada sosiaalista tukea vertaisryhmissä. olennaista on mahdollisuus käydä tasavertaista dialogia saman kokemus-maailman jakavan ihmisen kanssa. Tärkeitä tekijöitä ovat vastavuoroisuus ja vuorovaikutteisuus sekä mahdollisuus vuoropuhelussa peilata, jakaa koke-muksia, saada palautetta ja tuottaa innovaatioita yhdessä. Vertaisarviointi on vertaisten toiminnan kriittistä tarkastelua, puntarointia ja analysointia. Sen tärkein tavoite on olla niin yksilön kuin yhteisönkin kehittämisen tuki, jolloin arviointi ei ole luonteeltaan tuomitsevaa tai arvostelevaa, vaan tärkeintä on kehittämisideoiden sekä tuen ja kannustuksen antaminen. Vertaistyöskente-lyyn on erilaisia menetelmiä, kuten vertaishaastattelu ja dialoginen vertais-prosessi, kehittävä vertaiskäynti, vertaiskonsultointi ja vertailukehittäminen sekä tunnusluku-benchmarking.

Vertaisarvioinnilla viitataan siihen, että vertainen tarkastelee kriittisesti toisen toimintaa. Tässä mielessä vertaisarviointi sopisi mihin tahansa neli-kentän lohkoista. Tässä julkaisussa päädyttiin sijoittamaan se tähän kohtaan, koska tuloksia ja vaikutuksia arvioiva vertainen (esim. toisen järjestön työn-tekijä) on tietyllä tavalla ulkoinen arvioitsija. Vertaisarvioinnin keskeinen idea on, että molemmat oppivat. Kun arvioidaan tuloksia ja vaikutuksia, on enää myöhäistä parantaa tapaa, jolla ne on tuotettu. Prosessiarvioinnin kysymyk-sissä molemmilla on mahdollisuus oppimiseen. lisätietoja työmenetelmästä esim. Seppänen-Järvelä, r. (toim.) 2005.

AsiantuntijapaneeliAsiantuntijapaneelin käyttö arvioinnissa, varsinkin johtopäätösten ja suosi-tusten teossa, on erittäin käyttökelpoinen, nopea ja kohtuullisen edullinen työtapa. Asiantuntijapaneeliin tuodaan eri alojen riippumattomia asiantunti-joita arvioinnin eri osa-alueilta. Paneelin tavoitteena on yleensä tuottaa no-peasti yhteinen näkemys johtopäätöksistä ja suosituksista käytettävissä ole-vien aineistojen ja niistä tehtyjen analyysien perusteella. Asiantuntijapaneelia

104

voidaan käyttää myös arviointi kysy mysten etsinnässä ja muotoilussa (esim. arviointikysymysten kohdentamisessa ja muotoilussa), mutta parhaimmillaan se on alustavien tulosten arvioinnissa. lisätietoja työmenetelmästä esim. keränen, H. 2003.

4.3.4 TulOsTen jA VAiKuTusTen ArViOinTi

Kuten aikaisemmin on tuotu esille, on tulosten ja vaikutusten arviointi melko haastavaa, mikäli ns. prosessiarviointia ei ole tehty. Tämä pätee hankkeissa, mutta koskee myös järjestöjen toimintaa ja toimintamuotoja. Esimerkiksi jär-jestön toteuttaman koulutuksen arviointi edellyttää koulutustilaisuuksien ar-viointia (prosessi) mutta myös oppimisen arviointia (vaikutus). Tulosten ja vaikutusten arvioinnissa on useimmiten kysymys muutoksen osoittamisesta. Arvioinnilla osoitetaan, onko saatu aikaan toivottu muutos ohjelman, toimin-nan tai hankkeen toteutuksella. Tämä edellyttää arviointia lähtötilanteessa ja ohjelman toteutuksen jälkeen. Muutoksen todentamiseksi lähtötilanne täytyy tuntea.

Tavatonta ei ole, että vasta ohjelman loppupuolella havahdutaan vaikutus-ten arvioinnin tarpeeseen. Tällöin lähtötilanne on usein jäänyt selvittämättä. Arvioinnissa haluttaisiin kuitenkin kertoa vaikutuksista. Yhtenä vaihtoehto-na on loppuvaiheessa kerätä kyselyaineisto, jossa selvitetään missä määrin vastaajat olettavat toteutetun intervention vaikuttaneen esimerkiksi käyttäy-tymiseensä, asenteisiin tai tietoihinsa. Kyse on kuitenkin olettamuksista, joita ei voida pitää kovinkaan luotettavina. Luotettavuutta heikentävät monet teki-jät. Mennyttä elämää taaksepäin katsellessa omia valintoja on helppo selittää järjestelmällisemmäksi kuin ne ehkä ovat olleet. Tällaisessa tilanteessa vastaa-jat saattavat valikoitua joukosta, jolle ohjelmalla tai interventiolla selvästi on ollut jotakin merkitystä. Perustellusti voidaan kysyä, voiko tämänkaltaisessa tilanteessa puhua vaikutusten arvioinnista?

olennaisinta näissä tilanteissa on tapa, jolla tuloksista kerrotaan ja rapor-toidaan. on tärkeä tehdä toteutettu arviointi läpinäkyväksi, kertoa mitä on tehnyt, miten tuloksia analysoinut ja millä tuloksia perustelee. Lukija voi näissä tapauksissa tehdä päätelmän siitä, kuinka luotettavaa tieto vaikutuk-sista on. Toiminnan täytyy olla sellaista, että sen voidaan uskoa vaikuttavan

105

III

Nä

Ky

Vä

KS

I Te

Ke

Vä

Kä

yT

äN

Tö

toivotulla tavalla. Arvioinnissa on viime kädessä kyse perusteltujen päätel-mien teosta.

Tulosten ja erityisesti vaikutusten arvioinnissa käytetään useimmiten mää-rällistä aineistoa tai laadullista aineistoa määrällisen aineiston tavoin. Määrä on usein edellytys sille, että voimme puhua vaikutuksista, joita terveyden edistämisen toiminta on aiheuttanut. niin sanotun kontrolloidun koeasetel-man käyttäminen ei juuri ole mahdollista terveyden edistämisen ohjelmissa tai hankkeissa. Kontrolloitu koeasetelma tarkoittaisi sitä, että kaikki väliin tu-levat tekijät voitaisiin poistaa ja seurata ainoastaan terveyden edistämisen toi-mien vaikutusta. Käytäntö ja arkijärki ovat osoittaneet, että esimerkiksi erilais-ten terveyttä edistävien toimenpiteiden vaikutus riippuu lukuisista tekijöistä mukaan lukien ihmisen aikaisempi elämänkokemus, koulutustausta ja yhteis-kunnan rakenteet. Sitä paitsi ennaltaehkäisevien toimenpiteiden vaikuttavuut-ta on miltei mahdotonta arvioida.

Edellä sanottu ei tarkoita kuitenkaan sitä, että kaikesta vaikutusten arvioin-nista tulisi luopua. Vaikutusten arviointi auttaa todentamaan toiminnan merki-tyksen ja siinä aikaansaatuja muutoksia huolimatta siitä, että kaikkia tekijöitä ei toiminnan aikana ole voitu sulkea pois. Vaikutusten arvioinnin avulla voidaan osoittaa, mitä toiminnasta seuraa. Tähän tarvitaan kuitenkin riittävän suuri määrä todisteita ja riittävästi aikaa, jotta vaikutusten osoittaminen on mahdol-lista. Vaikutusten osoittaminen edellyttää useimmiten myös sen ketjun avaa-mista, mistä vaikutuksen ajatellaan syntyvän. Toisin sanoen vaikutusten ar-vioinnin lähtökohtana on ohjelmateoria (ks. luku 2.2). ohjelmateoria kertoo, miten tuloksia syntyy ja miksi, minkälainen teoria toiminnan taustalla on. Tämän jälkeen on arvioitava, onko toiminta toteutunut siten, että siitä voidaan odottaa syntyvän ohjelmateorian mukaisia tuloksia. Sittemmin arvioinnissa keskitytään tuotoksiin. ovatko tuotokset sellaisia, kun on ennakoitu? Mikäli näin on, voi-daan kysyä seuraako tuotoksista lopputuloksena oletettu vaikutus. Vaikutus-ten arviointi on välttämätöntä, jotta voidaan ottaa kantaa vaikuttavuuteen.

Vaikutusten ja vaikuttavuuden käsitteitä on sivuttu luvussa 2.5. Vaikutus-ten ja vaikuttavuuden arvioinnin rakenteeseen ja mahdollisuuksiin sosiaali-alalla voi tutustua tarkemmin Petteri Paasion (2003) asiaa käsittelevässä oppaassa. Myös Marketta Rajavaara (2006) on kirjoittanut vaikuttavuuden käsitteistä ja arvioinnista sekä kuvannut muun muassa erilaisia vaikuttavuu-den arvioinnin lähestymistapoja.

106

Prosessien, vaikutusten ja vaikuttavuuden arviointi avautunee käytän-nön esimerkin avulla. otetaan esimerkiksi toimintasuunnitelma, jonka jär-jestöt laativat vuosittain. Toimintasuunnitelmaan on kirjattu järjestön yksit-täiset tehtävät, niiden osalta taustaa, päämäärät, tavoitteet ja toiminta. Ihan-teellisessa tilanteessa suunnitelmassa on määritelty kriteerit, mitä ainakin tulisi kyseisten tehtävien suhteen toteutua, jotta tavoite on vuositasolla saa-vutettu.

Prosessiarviointi toteutetaan joka toinen kuukausi tehtävällä tilannekat-sauksella. Järjestön jokaisen työntekijän tulee lyhyesti arvioida, missä vaihees-sa on tehtävän toteutuksessa, tarvitseeko apua tehtävän tekemiseen tai tuli-siko suunniteltuun toimintaan tehdä muutoksia. Tämänkaltaisella prosessi-arvioinnilla varmistetaan, että mahdolliset korjausliikkeet havaitaan ja tehdään riittävän ajoissa.

Siinä vaiheessa kun tarkastellaan toiminnan ja tulosten välistä yhteyttä, siir-rytään käytännössä vaikutusten arviointiin ja tarkistetaan, onko toiminnalla päästy asetettuihin tavoitteisiin ja saatu aikaan aiottuja vaikutuksia. onko toi-minnasta seurannut se muutos, jota odotettiin? Missä määrin arviointikritee-rit täyttyivät?

Mikäli vuoden lopussa toiminta on toteutunut suurin piirtein siten kuin on suunniteltu, tavoitteiden pitäisi olla saavutettu. Mikäli tavoitteita ei ole saa-vutettu, mutta on toimittu kuitenkin suunnitelluilla tavoilla, ohjelmateoriassa ja toiminnan suunnittelussa on ollut jokin ongelma. Toimintaa suunniteltaes-sa ei ole riittävästi tarkasteltu toiminnan ja tavoitteen yhteyttä, eikä sitä syy-seuraussuhteiden ketjua, joka toiminnan ja odotetun tuloksen välillä on. Ken-ties on jäänyt huomioimatta mahdolliset odotettua muutosta estävät tekijät. Mikäli tavoitteet on saavutettu, on mahdollista esittää perusteltu näkemys sii-tä, mitä vaikutuksia toiminnalla on ja minkälaista vaikuttavuutta tulevaisuu-dessa voidaan mahdollisesti odottaa. Vaikuttavuuden arvioinnissa otetaan kantaan toiminnan pitkän aikavälin vaikutuksiin. Arvioinnin tuella voidaan tehdä ratkaisu siitä, miten toimintaa jatkossa kannattaa toteuttaa. Mikäli toi-minta jatkuu, sitä kehitetään edelleen.

oikeassa elämässä hankkeet tai ohjelmat harvoin onnistuvat tai toteutuvat suoraviivaisesti. useimmiten osa tavoitteista saavutetaan ja osa suunnitelmista muuttuu matkan varrella. Arvioinnin kannalta tällä ei ole suurta merkitystä, kunhan muutokset tehdään myös arviointisuunnitelmaan.

107

III

Nä

Ky

Vä

KS

I Te

Ke

Vä

Kä

yT

äN

Tö

olennaista sen sijaan on dokumentoida selvästi tilanne, jossa toiminta on toteutunut aiotulla tavalla, mutta tavoitteita ei tästä huolimatta saavuteta. Kyse on silloin tilanteesta, jossa ohjelmateoria on osoittautunut vääräksi tai ainakin osittain vääräksi. Kun ohjelmateoria on etukäteen huolella mietitty, on tämä tieto arvokas toteuttajalle, mutta myös muille järjestöille, koska se osoittaa jonkin käytetyn tai aivan uuden toimintatavan huonoksi. Tieto auttaa jatkossa muuttamaan suunnitelmia siten, ettei samaa virhettä tarvitse toistaa useaan kertaan. Mikäli prosessiarviointia ei ole tehty, ei voida tietää, missä vika on ja tämä tieto jää saamatta.

Alla kerrotaan sellaisista arviointimalleista, jotka ottavat kantaa tuloksiin ja vaikutuksiin vaikka osassa niissä arvioidaan myös toimintaa, resursseja ja prosesseja. Lopuksi esitetään esimerkkinä yhden ohjelman/hankkeen tms. arviointi.

SATuNNAISKOKeeLLINeN ArVIOINTImALLI (rTc)

Vaikuttavuuden arvioinnin ihanteena on nähty satunnaiskokeellinen asetel-ma (randomized controlled trial). Tämä malli tukee syy-seuraussuhteiden sel-vittämistä ja sen avulla voidaan osoittaa vaikuttavia tekijöitä. Tietoa kerätään ennen ja jälkeen toteutettavan intervention. Tämän lisäksi intervention koh-dejoukko on jaettu satunnaisesti koe- ja kontrolliryhmiin. Interventio toteute-taan koeryhmässä. Intervention jälkeen verrataan minkälaisia muutoksia koe- ja kontrolliryhmässä on havaittavissa. Mikäli muutoksia on tapahtunut myös kontrolliryhmässä, ne eivät voi olla seurausta interventiosta. Satunnais-kokeellisella asetelmalla halutaan varmistaa, että muutos on seurausta inter-ventiosta. Tarkoituksenmukaista on, että koe- ja kontrolliryhmät ovat mah-dollisimman samankaltaisia ikä-, sukupuoli- ja koulutusrakenteeltaan.

Satunnaiskokeellinen asetelma on terveyden edistämisessä vähän käytet-ty. Se soveltuu melko tarkkarajaisiin, yksilösuuntautuneisiin interventioihin, sairauksien ehkäisyyn ja kuntoutukseen. Sen sijaan toimintaan, jolla pyritään vaikuttamaan yhteiskunnan rakenteisiin tai laaja-alaisesti edistämään terveyt-tä, se soveltuu huonommin. ongelmaksi nousevat väliin tulevat tekijät ja toi-sinaan eettiset kysymykset.

lisätietoja: Paasio, P. 2003; Savola, E. ym. 2005; Øvretreit, J. 1998.

108

VerTAILeVA KOKeeLLINeN ASeTeLmA

Asetelma on pitkälti samanlainen kuin edellinen, satunnaiskokeellinen ar-viointimalli. Tässä asetelmassa verrataan kahta erilaista interventiota. Ennen interventioita selvitetään lähtötilanne ja interventioiden jälkeen selvitetään niiden vaikutuksia. Asetelman etuna on se, että samanaikaisesti voidaan sel-vittää kahden eri mallin paremmuusjärjestystä. ongelmana on, ettei asetel-man avulla pystytä yksiselitteisesti osoittamaan, mikä on interventioiden vai-kutusta, mikä mahdollisten sekoittavien tekijöiden vaikutusta. Molemmissa asetelmissa saadun tiedon luotettavuus lisääntyy otoskoon kasvaessa ja inter-vention toistojen lisääntyessä. Tosin luotettavuuden lisääntyminen edellyttää myös sitä, että interventio pystytään toistamaan samanlaisena useita kertoja.

Molemmissa malleissa keskitytään arvioinnissa erityisesti vaikutuksiin. Interventio on suunniteltu etukäteen, eikä itse interventioon tehdä muutoksia prosessin aikana, vaan vasta saadun arviointitiedon perusteella. Käytännössä tämä tarkoittaa, että toiminnan kohderyhmästä, täytyy olla kohtuullisen pal-jon tietoa.

lisätietoja esim. Savola ym. 2005; Øvretreit 1998.

eurOOPAN LAATuPALKINTOmALLI

(eLI efQm = eurOPeAN fOuNDATION fOr QuALITy mANAGemeNT)

Laatupalkintomalli on organisaation johtamisen, arvioinnin ja kehittämisen väline. Tavoitteena on toiminnan jatkuva parantaminen. Ajatuksena on, että organisaatio määrittelee osana strategista suunnittelua ne tulokset, jotka se ha-luaa saavuttaa. Jotta vaadittavat tulokset saavutetaan, tulee organisaation suunnitella ja kehittää yhdenmukaiset ja järkevät toimintatavat. näiden toi-mintatapojen soveltamisen käytäntöön on tapahduttava järjestelmällisesti, jotta voidaan varmistaa täysipainoinen toiminnan toteuttaminen. Toimintatapoja ja niiden käytännön soveltamista arvioidaan ja parannetaan jatkuvasti. Paranta-minen perustuu saavutettujen tulosten seurantaan ja analysointiin sekä jatku-vaan oppimiseen.

Ajatuksena on, että arviointialueiden kautta nousevat esiin organisaation vahvuudet ja parantamiskohteet. Järjestökentällä mallista saattavat hyötyä

109

III

Nä

Ky

Vä

KS

I Te

Ke

Vä

Kä

yT

äN

Tö

suurehkot järjestöt. Mallin käyttö edellyttää sitä, että organisaatiossa ovat jo arvioinnin perusasiat kunnossa.

lisätietoja mallista esim. Euroopan laatupalkintomalli julkisella sektorilla. näkökohtia itsearviointiin ja mallin kehit-tämiseen julkisella sektorilla 2001.

cOmmON ASSeSmeNT frAmeWOrK (cAf)

Kyseessä on ns. toiminnan kehittämisen yhteinen arviointimalli, jota on käy-tetty julkisella sektorilla Suomessa. Tämäkin on laadun arvioinnin työkalu. Se sisältää vaikutteita Euroopan laatupalkintomallista (ks. edellä). Samaan ta-paan tässäkin mallissa perusajatuksena on kokonaisvaltainen laadunarvioin-ti, jossa tarkastellaan organisaation toimintatapoja ja tulosalueita. Tavoitteena on löytää toimintatavat, joilla saavutetaan mahdollisimman hyviä tuloksia. Malli on ollut käytössä kymmenisen vuotta.

lisätietoja mallista esim. valtiovarainministeriön hallinnon kehittämisosaston internetsivuilta.

e S I m e r K K I

ArVIOINTIKOuLuTuSTeN ArVIOINTI

Arviointiin liittyviä palveluja tarjoava yhdistys on järjestänyt usean vuoden ajan erilaisia arviointi-koulutuksia. Yksittäisiä koulutustilaisuuksia on arvioitu, mutta pitkän aikavälin vaikutuksista ei ole tietoa. tähän tilanteeseen halutaan muutos. käytännön toteutus:1. Arvioinnin lähtökohtana on olemassa oleva tieto järjestöjen arviointiosaamisesta ja tarpeista.

tätä on karttunut mm. erilaisista hankkeista ja organisaation tuottamista arviointipalveluista. tämän tiedon pohjalta rakennetaan koulutussuunnitelma yhdistyksen strategian ajalle.

2. Arvioinnin tueksi lähetetään aikaisemmissa koulutuksissa käyneille tahoille sekä joukolle muita tahoja sähköinen kysely, jolla kartoitetaan järjestöjen arviointiosaamista ja -tarpeita. kysymys-ten muotoilussa hyödynnetään vastaavia aikaisempia kyselyitä. Myös tämän kyselyn tuloksia hyödynnetään koulutusohjelman muotoilussa.

3. Yksittäiset koulutustilaisuudet arvioidaan ja seurataan, toteutuvatko ne suunnitellusti. tässä prosessiarvioinnissa karttuvan tiedon tuella koulutussisältöjä ja tilaisuuksien rakennetta muo-kataan siten, että ne vastaavat tarkoitustaan aikaisempaa paremmin. Palaute tilaisuuksista me-nee koko ajan parempaan suuntaan. koulutustilaisuuksien osallistujamäärät kasvavat. koko kol-men vuoden ajan seurataan, ketkä tilaisuuksiin osallistuvat, vaihtuvatko osallistujat tilaisuudes-ta toiseen vai pysyvätkö osallistujat samoina. tietoa kerätään myös siitä, osallistuuko yhdestä organisaatiosta useampi vai vain yksi työntekijä. tieto on olennainen siksi, että koulutuksen

110

hyödyntäminen työtehtävissä edellyttää useimmiten toista työntekijää, jonka kanssa voi jakaa ajatuksia koulutustilaisuuden sisällöstä. toisin sanoen erilaiset sekoittavat tekijät on ennakoitu ja ne pystytään huomioimaan arvioinnissa.

4. kolmen vuoden jälkeen päästään käytännössä vasta vaikutusten arviointiin. koska koulutus-ohjelman toteutuksesta on olemassa riittävän kattava prosessiarviointi, voidaan siirtyä tulosten ja vaikutusten arviointiin. Arvioinnissa hyödynnetään prosessiarvioinnissa kerättyjä aineistoja, mutta varsinaista tulosten ja vaikutusten arviointia varten kerätään omaa aineistoa. Siihen si-sältyy uusintakierros kyselystä, joka tehtiin strategiakauden alussa ja ennen koulutustilaisuuk-sien käynnistämistä. näiden kahden eri ajankohtana kerätyn kyselyn tuloksia vertaillaan ja saa-daan käsitys siitä, onko arviointiosaaminen kasvanut millään tavoin koulutusohjelman aikana. kysely suunnataan samoille organisaatioille kuin aikaisempikin.

5. vertailun seurauksena havaitaan, että arviointiosaaminen näyttäisi kasvaneen. tässä kohtaa ei kuitenkaan ole vielä tietoa siitä, ovatko arviointiosaamisen kasvuun vaikuttaneet juuri yhdis-tyksen järjestämät koulutustilaisuudet vai mahdollisesti muuten lisääntynyt arviointikoulutus. Arvioinnissa edetään siten, että tarkastellaan koulutustilaisuuksiin osallistuneiden järjestöjen ja toisaalta osallistumattomien järjestöjen arvioita omasta osaamisestaan. koska suuri osa eri-laisia järjestöjä on osallistunut koulutustilaisuuksiin, päätetään aineistosta erottaa aktiiviset osallistujat, satunnaiskävijät ja harvinaiset vieraat. riittävän kattavalla aineistolla ja vertailun avulla on mahdollisuus osoittaa, että koulutustilaisuuksilla on oletettavasti ollut vaikutusta ak-tiivisten osallistujien arviointiosaamisen kasvuun. tätä ennen on kuitenkin vielä varmistettava, ovatko nämä aktiiviset osallistujat olleet aktiivisia myös muun olemassa olevan koulutuksen hyödyntämisessä. Mikäli näin on, se ei tee tyhjäksi arviointiosaamisen vahvistumista sinänsä, mutta vaikeuttaa juuri kyseisen arviointipalveluja tuottavan yhdistyksen järjestämän koulutuk-sen merkityksen osoittamista.

111

III

Nä

Ky

Vä

KS

I Te

Ke

Vä

Kä

yT

äN

Tö

4.4 Arvioinnin raportointi

Arviointiraporttiin asiat kirjataan sen käyttötarkoituksen ja lukijakunnan mu-kaan. Mikäli kyse on organisaation omaan käyttöön tulevasta prosessiarvioin-nin raportista, jonka tuloksia halutaan hyödyntää pikaisesti toiminnassa, kirjoitus-työhön ei ole mielekästä käyttää kovin pitkää aikaa. Tärkeintä on, että arvioin-nin tulokset saadaan raportoitua sellaisessa muodossa, että niiden avulla voi-daan parantaa toimintaa. Tässäkin tapauksessa prosessiarviointia voidaan esi-tellä tarkemmin ja syvällisemmin ohjelman arvioinnin loppuraportissa.

Isommissa ohjelmissa on tapana kuvata lyhyesti arvioinnin kohteena ollut toiminta tai ohjelma, vaikka painopiste onkin arvioinnissa. Jotta toteutettua arviointia voidaan arvioida, täytyy tietää, mitä on yritetty tai pyritty arvioi-maan. Erityisesti mittavammissa arvioinneissa raportointiin kannattaa käyt-tää aikaa, koska arvioinnissa opitusta saattaa olla hyötyä laajemmin järjes-tössä tai joskus myöhemmin toteutettaville arvioinneille. Hyvin kirjoitettu arviointiraportti saattaa antaa myös olennaista informaatiota muille saman-kaltaisille ohjelmille ja niiden arvioitsijoille.

Arviointiraportissa artikuloidaan selkeästi arviointikysymykset, kerrotaan miten tietoa arviointia varten on kerätty eli minkälaisia aineistoja on käytetty sekä esitellään arviointikriteerit. näin arvioinnin prosessi tehdään läpinäky-väksi. Lukijalla on oltava mahdollisuus tehdä oma päätelmä siitä, onko ar-vioitsijan päättelyketju looginen. Lukija arvioi, ovatko käytetyt tiedonkeruun-muodot oikeita arviointikysymyksiin vastaamiseksi vai onko jotakin olen-naista tietoa jäänyt keräämättä. Raportista on käytävä selville myös se, miten kerättyä tietoa on analysoitu.

Sisäisessä arvioinnissa arvioitsijan asema saattaa olla hankala, erityisesti jos arviointi koetaan arvosteluna. Tällaisissa tilanteissa raportoinnissa on hyvä harjoittaa suurta huolellisuutta. Kun raportissa tuodaan selkeästi esille, mihin arvioitsijan päätelmät perustuvat, on tulokset helpompi hyväksyä.

Arviointiraportissa on useimmiten jonkinlainen johdanto, kuvaus arvioi-tavasta toiminnasta, kuvaus arvioinnin toteutuksesta ja arvioinnin tulosten esittely sekä johtopäätökset. Kehittämissuositusten lisääminen loppuun on myös suositeltavaa. Arvioitsija ei suoraan voi vaikuttaa siihen, miten arvioin-tia hyödynnetään käytännössä, mutta selkeät suositukset toiminnan paranta-miseksi tekevät arvioinnin hyödyntämisen käytännön työssä helpommaksi.

112

yDINKOhDAT• Arvioitavallatoiminnallaonolemassasekätoiminta-että

arviointisuunnitelma, arvioinnin suunnittelu kulkee yhdessä toiminnan suunnittelun kanssa.

• Varmistetaan,ettätoiminnassataihankkeessasyntyvädokumentaatio (esim. toimintasuunnitelmat ja -kertomukset, kokousmuistiot, erilaiset palautteet) palvelee arviointia parhaalla mahdollisella tavalla.

• Hankkeissataiohjelmissaarviointiaineistoakerätäänhank-keen tai ohjelman alusta lähtien. Perustoiminnassa aineistoa arviointia varten kerätään osana normaalia toimintaa.

• Pääsääntöisestiarviointiraporteissaonsekänumeeristaettä laadullista tietoa. Arviointia suunniteltaessa kerrotaan, minkälaista aineistoa on tarpeen kerätä arviointia varten. Aina ei tarvita erillistä aineistoa.

• Arvioinnissapystytäänselkeästiesittämäänmilloinarvioidaan prosesseja ja milloin tuloksia sekä vaikutuksia. Toiminnan käynnistymisvaiheessa tai hankkeen alku- vaiheessa ei ole mahdollista arvioida tuloksia.

• Toiminnansuunnitteluun,kehittämiseenjaarviointiin on olemassa erilaisia työmenetelmiä, joiden tuloksena syntyvän tiedon pohjalta voidaan tehdä arvioivia päätelmiä esimerkiksi siitä, miten toiminnassa on onnistuttu tai mitä pitäisi kehittää. Arviointikysymys määrittää, mitä työmene-telmää missäkin kohtaa on tarkoituksenmukaista käyttää.

• Työmenetelmätvoidaanjakaaosallistaviinjatapaus-kohtaisiin arvioinnin työmenetelmiin, prosessiarvioinnin tai tulosten ja vaikutusten arvioinnin työmenetelmiin.

• Osallistavassaarvioinnissaaineistoonpääasiassa laadullista ja siinä toiminnan kohteet osallistuvat arviointiin, sen suunnitteluun ja kriteerien määrittelyyn.

113

III

Nä

Ky

Vä

KS

I Te

Ke

Vä

Kä

yT

äN

Tö

Aivoriihi ja tulevaisuusvertas ovat esimerkkejä osallistavan arvioinnin työmenetelmistä.

• Tapauskohtaisessaarvioinnissavoidaanarvioidajokoyksittäistä asiakasta tai se voidaan ymmärtää tapaus- tutkimuksen kaltaisena, jolloin perehdytään syvällisesti arvioitavaan kohteeseen. SWoT-analyysi ja miellekartta ovat esimerkkejä työmenetelmistä, joilla päästään syvällisesti ja monipuolisesti tarkastelemaan erilaisia aiheita.

• Prosessiarvioinnissaollaankiinnostuneitatoiminnasta,jolla tulokset saavutetaan. delfoi ja parastaminen ovat esi-merkkejä työmenetelmistä, jotka toteutetaan prosessina ja joiden tavoitteena on toiminnan suunnittelu ja kehittäminen.

• Tulostenjavaikutustenarvioinnissaonuseimmitenkysymysmuutoksen osoittamisesta. Tällöin tulisi tietää myös lähtö- tilanne, johon lopputulosta verrataan. Prosessiarviointi on tulosten ja vaikutusten arvioinnissa etu. Mikäli tuloksia ei saavuteta, prosessiarvioinnin avulla voidaan löytää sille syitä. Tulosten ja vaikutusten arvioinnissa ohjelmateoria saa keskeisen aseman. Se avaa käsitykset siitä, miten ja miksi tuloksia syntyy sekä minkälainen teoria toiminnan taustalla on. Puhtaasti kokeellista vaikutusten arviointia ei käytän-nössä sosiaali- ja terveysjärjestökentällä tehdä. Vaikutusten arviointi auttaa ennemminkin todentamaan toiminnan merkityksen. Vertaileva kokeellinen asetelma on esimerkki arviointimallista, jossa kahta erilaista interventiota verrataan keskenään. Euroopan laatupalkintomalli on esimerkki työmenetelmästä, johon sisältyy tulosten arvioinnin osalta myös prosessien arviointia.

• Tehdäänsellaistaarviointia,jokahyödyttäätoimintaa.• Arviointiraportissaonselkeästiesitetty,mitenesitettyihin

johtopäätöksiin tai suosituksiin on päästy.

114

Arvioinnin kartta apuna arvioinnin tulevaisuudessa

Arviointi on oppimista ja opitun hyödyntämistä. Tähän tarvitaan kartta, jonka avulla arviointiin liittyvää teoriaa ja käytännön työtä olisi helpompi hahmottaa. Lukijan tehtäväksi jää sen pohtiminen, miten kartan luomisessa onnistuttiin. Tässä luvussa kerrataan vielä julkaisun ydinkohdat.

Arviointi ei saa olla itsetarkoituksellista. Ensimmäinen tehtävä on selkeyt-tää itselleen ja muille asianosaisille syy arvioinnin tekemiseen – miksi ylipään-sä kannattaa arvioida ja mitä sillä saavutetaan? Arvioinnin tarkoituksen ei tar-vitse olla juhlava. Riittää, että arviointi kiinnittyy osaksi arjen työtä ja sen avulla on mahdollista osoittaa tehtävän työn merkitys ja arvo sekä perustella tekemiään valintoja. Arvioinnin toteuttamiseksi tarvitaan johdonmukaisuutta ja järjestelmällisyyttä. Arkisessa työssä hyödynnetään kokemustietoa, toiminta-tietoa, uskomustietoa ja näyttöpohjaista tietoa. Arvioitsija kokoaa erilaisen tiedon punniten sen tarkoituksenmukaisuuden ja informatiivisen arvon.

Arvioinnin pitää aina olla hyödyllistä ja palvella toimintaa parhaalla mah-dollisella tavalla. on kaikkien edun mukaista, että arviointi kiinnittyy hank-keisiin, ohjelmiin ja toimintaan alusta lähtien, luonnollisena osana. Silloin siihen varatut resurssit voidaan käyttää täysimääräisesti. Suunnittelun ja ar-vioinnin yhteys on tiivis ja katkaisematon. Arvioinnin tehtävänä on hyödyt-tää käytäntöä ja käytäntö puolestaan hyödyttää arvioinnin kehittämistä. Li-säksi arviointi on palkitsevaa ja opettavaista. Sen avulla saadaan näkyväksi onnistumiset ja kehittämiskohteet, joiden pohjalta toimintaa on mahdollista kehittää yhä paremmaksi. Arviointia ei pidä tehdä turhan hankalaksi ja vai-keaksi. Erilaisten työmenetelmien on tarkoitus auttaa ja helpottaa arviointia. ne eivät ole pääasia. Maalaisjärjen käyttö on arvioinnissa sallittua, vaikka käytössä olisikin lukuisia erilaisia työmenetelmiä. Arvioinnin teorialla on paikkansa, koska teoria ohjaa valitsemaan parhaiten sopivan työmenetelmän ratkaistavaan arviointitehtävään.

5

115

III

Nä

Ky

Vä

KS

I Te

Ke

Vä

Kä

yT

äN

Tö

Arvioinnin teoreettiset lähtökohdat ja ohjelmateoria on tässä julkaisussa esitelty heti aluksi. ohjelmateoriaan palataan julkaisun eri osissa. Valinta teh-tiin, koska toiminnan taustalla on aina joku teoria, joka vaikuttaa arviointiin. Teoria perustuu käytäntöön, kokemukseen tai kirjallisuuteen. olisikin tär-keää, että arvioinneissa nämä teoreettiset lähtökohdat tuotaisiin lyhyesti esil-le, koska niillä on aina vaikutusta arvioinnin kulkuun, lopputulokseen, sen käsittelyyn sekä siitä tehtäviin johtopäätöksiin ja kehittämisehdotuksiin.

Arvioinnin arvovalinnat ovat sidoksissa siihen tilanteeseen, jossa arviointi toteutetaan. Toimintaa ja tehtäviä voidaan aina arvioida ja ymmärtää toisin. Arviointitulokset ovat useimmiten tulkinnanvaraisia. Siksi on olennaista avoi-mesti kertoa, miten arvioinnin lopputulokseen on päästy ja mihin arvioinnis-sa tehdyt päätelmät perustuvat.

Terveyden edistämisen arviointi ei voi olla koskaan täysin objektiivista. Tästä syystä arvioinneissa ei ole tarpeen pyrkiä objektiivisuuteen. Sen sijaan arvioinneissa on pyrittävä läpinäkyvyyteen, koska se on luotettavuuden pa-ras tae. Arviointiraportin lukijan on pystyttävä ymmärtämään lukemansa pe-rusteella, mitä on arvioitu, miten on arvioitu ja mihin johtopäätökset perustu-vat. Tämä mahdollistaa samalla sen, että arvioinnin tulokset otetaan opiksi ja hyödyksi. Mikäli arviointi on epäuskottava, siinä mainittuja kehittämisehdo-tuksia on vaikea ottaa vakavasti.

Arviointia oppii vain tekemällä, ei lukemalla. Tämän julkaisun tarkoitus on kannustaa rohkeasti tarttumaan arviointiin ja palaamaan saatujen koke-musten jälkeen takaisin kirjallisuuden pariin. oikea elämä on usein niin väri-kästä, ettei sen vangitseminen kirjan kansiin kaikkine vivahteineen onnistu edes puolittain. Kaikkia arviointiin liittyviä kysymyksiä, ongelmia ja ongel-man ratkaisumalleja ei ole mahdollista esittää. Sen sijaan arvioinnin karttaa voi käyttää apuneuvona ongelman luovassa ratkaisussa. Erilaisten työmene-telmien käyttäminen on usein hyvin pitkälti soveltamista. Monet menetelmis-tä näyttävät yllättävän yksinkertaisilta, mutta käytännön toteutuksessa tulee usein mutkia matkaan. Tähän tarvitaan soveltamista ja arkijärkeä. Ajoittain on myös hyvä palata vilkaisemaan arvioinnin teoriaa. Joskus voi olla tarpeen saada tukea muilta ja tarkistaa valitut ratkaisut arvioinnin asiantuntijalta.

Mitä sitten, kun on arvioitu? Tulevaisuuden näkökulmia on kahdenlaisia. Arvioinnin toteutuksen jälkeen on kirkastettava tuloksien ja samalla myös oman oppimisen hyödyntäminen. Toinen tulevaisuusnäkökulma on toiminta-

116

ympäristön, kulttuurin ja käytäntöjen muutosten mukanaan tuomiin tarpei-siin vastaaminen. Jos saatuja arviointituloksia ei hyödynnetä tulevan toimin-nan tai hanketyön suunnittelussa ja toteuttamisessa, arviointiin suunnatut resurssit ovat menneet ainakin osittain hukkaan. Tekijällä on mahdollisuus oppia työn tekemisestä sekä erityisesti haasteellisista ja jopa mahdollisista vääristä valinnoista arviointia toteuttaessaan.

Kansalaisjärjestötoimintaan on sisäänrakennettu osallisuuden arvostus. osallistumisen ajatellaan edistävän aktiivista toimijuutta. Viime vuosina jul-kisella sektorilla ja järjestöissä on kehitetty, kokeiltu ja sovellettu erilaisia osal-listuvan arvioinnin menetelmiä. Monet yhteiskunnallisen toiminnan muodot ovat laajentuneet ammattimaisista tai asiantuntijaperusteisista menetelmistä yhä enemmän kansalais- tai asiakaslähtöisiksi menetelmiksi. Toisena suun-tauksena on puolestaan ollut tilivelvollisuuden teema. Siihen kiinnittyvät vahvasti erilaiset itesarvioinnit ja auditoinnit. Tietoa kerätään pääasiassa hal-lintoa tai rahoittajaa varten ja sen avulla on mahdollista vertailla eri toiminta-yksiköiden tehokkuutta. Arvioinnin kentän suuntaukset näyttäisivät vetävän kahteen eri suuntaan.

Miten edellä sanottu liittyy arvioinnin karttaan? Tulevaisuudessa olisi hyvä ymmärtää laadullisen aineiston arvo muuttuvassa toimintaympäristössä. Sen avulla heikot signaalit saadaan paremmin esille kuin määrällisellä aineistolla. Laadullinen aineistonkeruu mahdollistaa myös arvioitavan kohderyhmän paremmat osallisuus- ja osallistumismahdollisuudet. näissä tapauksissa kes-kitytään arviointiin, jossa hyödynnetään konstruktivistisia ja kehittävän ar-vioinnin työmenetelmiä, jolloin on mahdollista vastata tarvittaviin muutok-siin. Vaikutuksia arvioidaan kehityksen kulun myötä ja tehtyjen toimenpitei-den seurauksina.

Tässä julkaisussa arvioinnin kartan teoreettinen ja menetelmällinen puoli on koottu harkiten valituista aineksista. Julkaisussa on haluttu korostaa ar-vioinnin tarkoitusta ja toisaalta eroa prosessien ja vaikutusten arvioinnin vä-lillä. Keskeiset rakennuspuut olisi voinut valita myös toisin. Silloin myös itse kartta näyttäisi toisenlaiselta. Erilaisia arvioinnin perusteoksia on olemassa runsaasti. osa niistä on tämän kirjan lähdeluettelossa. Arvioinnin kartta on toivon mukaan sopiva täydennys jo olemassa oleviin arvioinnin oppaisiin.

117

Lähteet

Kirjallisuus

Aalto-kallio, M. & Hakulinen, H. (2009) Arviointiakvaario – osallistava menetelmä kaikkien hyödyksi. terveyden edistämisen lehti Promo 59, 36.

Alasuutari, P. (1999) laadullinen tutkimus. tampere: vastapaino. Albaek, E. (1996) Evaluation Design and Utilization: Any Connection? luento 5.10.1996 Helsingin yliopistossa

jatkokoulutusseminaarissa the Evaluation Methods in the Field of Social Policy, october 4–5 1996. lupa käyttää luentoa saatu syyskuussa 1997. teoksessa Arviointi sosiaalipalveluissa. katsaus arvioinnin perus-kysymyksiin. (2001) Stakes, FinSoc työpapereita 3/2001. Helsinki: Stakes.

Alkula, t., Pöntinen, S. & Ylöstalo, P. (1994) Sosiaalitutkimuksen kvantitatiiviset menetelmät. Helsinki: WSoY. Arviointi sosiaalipalveluissa. katsaus arvioinnin peruskysymyksiin. (2001) Stakes, FinSoc työpapereita 3/2001.

Helsinki: Stakes. Atjonen, P. (2007) Hyvä, paha arviointi. Helsinki: tammi.Borg, P. (2008) ohjelmateoria. teoksessa Borg, P., Högnabba, S., kilponen, M-r., kopisto, k., korteniemi, P., Paa-

nanen, i. & Pietilä, n. (toim.) Arviointi työtavaksi – kokemuksia asiakastyön arvioinnin kehittämisestä Hel-singin sosiaalivirastossa. Helsinki: Helsingin kaupungin sosiaalivirasto, oppaita ja työkirjoja 2008:2, 22–27.

Borg, P. & kilponen, M-r. (2008) tapauskohtainen arviointi. teoksessa Borg, P., Högnabba, S., kilponen, M-r., kopisto, k., korteniemi, P., Paananen, i. & Pietilä, n. (toim.) Arviointi työtavaksi – kokemuksia asiakastyön arvioinnin kehittämisestä Helsingin sosiaalivirastossa. Helsinki: Helsingin kaupungin sosiaalivirasto, op-paita ja työkirjoja 2008:2, 40–53.

Chen, H-t. (2005) Practical program evaluation. Assessing and improving planning, implementation and effec-tiveness. thousand oaks: Sage.

Dahler-larsen, P. (2005) vaikuttavuuden arviointi. Stakes, FinSoc Arviointiraportteja 3/2005. Helsinki: Stakes. Dewar, D. (1982) laatupiirikäsikirja. (Suom. veikko rumpunen). rastor-julkaisut. Helsinki: oy rastor Ab.Fetterman, D. M. (1996) Foundations of empowerment evaluation. thousand oaks: Sage. Fiske, J. (2005) Merkkien kieli. Johdatus viestinnän tutkimiseen. (Suom. toim. veikko Pietilä, risto Suikkanen &

timo Uusitupa). 8. painos. tampere: vastapaino.Guba, E. G. & lincoln, Y. S. (1989) Fourth Generation Evaluation. newbury Park: Sage.Holma, t. (1997) itE-menetelmä työyksikön itsearviointiin ja laadunhallintaan sosiaali- ja terveydenhuollossa.

Helsinki: Suomen kuntaliitto.Holma, t. (2003) itE2. Helsinki: Suomen kuntaliitto. Hyyppä, M. t. (2002) kuorossa elämä pitenee. Sosiaalinen pääoma ja terveys. teoksessa ruuskanen, P. (toim.)

Sosiaalinen pääoma ja hyvinvointi. näkökulmia sosiaali- ja terveysaloille. Jyväkylä: PS-kustannus, 28–75. Jungk, r. & Müllert, n. r. (1989) tulevaisuusverstaat: käsikirja demokratian elvyttämisen mahdollisuuksista.

(Suom. kai vaara). Helsinki: Suomen lataamo.keränen, H. (2003) itsearviointityökirja toimintaryhmien käyttöön. Saatavilla www-muodossa <Url:http://

www.lande2000.fi/toimintaryhma_palaute/ty%C3%B6kirja.pdf>. 2.12.2009.kivipelto, M. (2008) osallistava ja valtaistava arviointi. Johdatus periaatteisiin ja käytäntöihin. Stakes, työ-

papereita 17/2008. Helsinki: Stakes.koskinen-ollonqvist, P., Paija, l., Pantzar, J.A., Saikkonen, P. & Savolainen, n. (toim.) (2009). näkökulmia järjestö-

arviointiin. Helsinki: Hansaprint oy.

Lä

hT

ee

T

118

koskinen-ollonqvist, P., Pelto-Huikko, A. & rouvinen-Wilenius, P. (toim.) (2005) näkökulmia vaikuttavuuteen. vaikuttavuuden arvioinnin mahdollisuudet terveyden edistämisessä. terveyden edistämisen keskuksen jul-kaisuja 4/2005.

koskinen-ollonqvist, P. & Savolainen, n. (2008) vaikutukset ja vaikuttavuus terveyden edistämisen arvioinnin kohteina. terveyden edistämisen keskuksen työpaperi. Ei julkaistu.

krogstrup, H. k. (2004) kompetenssi arviointimalli – työyhteisön kehittämisen väline. Stakes, FinSoc arviointi-raportteja 3/2004. Helsinki: Stakes.

kuitunen, H. (1997) luovan ongelmanratkaisun menetelmät ja prosessi. Helsinki: Fineduca.kuusi, o. (2002) Delfoi-menetelmä. teoksessa kamppinen, M., kuusi, o. & Söderlund, S. (toim.) tulevaisuuden-

tutkimus. Perusteet ja sovellukset. Helsinki: Suomen kirjallisuuden Seura, 204–225.lahtinen, E., koskinen-ollonqvist, P., rouvinen-Wilenius, P. & tuominen, P. (2003) Muutos ja mahdollisuus. ter-

veyden edistämisen tutkimuksen arviointi. Helsinki: Sosiaali- ja terveysministeriö. lahtinen, E., koskinen-ollonqvist, P., rouvinen-Wilenius, P. tuominen, P. & Mittelmark, M. B. (2005) the deve-

lopment of quality criteria for research: a Finnish approach. Health Promotion international 20 (3), 306–315.lehtonen, J. (toim.) (2004) työkonferenssi Suomessa – vuoropuheluun perustuva työyhteisöjen kehittämis-

metodi. Helsinki: työturvallisuuskeskus. Metcalfe, l. & richards, S. (1990) improving Public Management. london: Sage. newman, D. & Brown, r. (1999) Applied ethics for program evaluation. london: Sage. Paasio, P. (2003) vaikuttavuuden arvioinnin rakenne ja mahdollisuus sosiaalialalla. Stakes, FinSoc työpapereita

3/2003. Helsinki: Stakes.rajavaara, M. (2006) Yhteiskuntaan vaikuttava kela. katsaus vaikuttavuuden käsitteisiin ja arviointiin. Helsinki:

kelan tutkimusosasto. robson, C. (2001) käytännön arvioinnin perusteet. opas evaluation tekijöille ja tilaajille. (Suom. tuija lindqvist,

Maisa Maaniittu, Eila niemi, Petteri Paasio & leea Paija). Helsinki: tammi. rossi, P. H., Freeman, H. E. & lipsey, M. W. (1999) Evaluation. A systematic approach. 6. painos. london: Sage.rouvinen-Wilenius, P. & koskinen-ollonqvist, P. (2004) terveyden edistäminen puntarissa. terveyden edistämisen

lehti Promo 32, 42–44.Savola, E. & koskinen-ollonqvist, P. (2005) terveyden edistäminen esimerkein. käsitteitä ja selityksiä. terveyden

edistämisen keskuksen julkaisuja 3/2005.Savola, E., Pelto-Huikko, A., tuominen, P. & koskinen-ollonqvist, P. (2005) Sata tapaa arvioida terveyden edistämistä.

katsaus terveyden edistämisen arviointitutkimuksiin. terveyden edistämisen keskuksen julkaisuja 6/2005. Seppänen-Järvelä, r. (2004) Prosessiarviointi kehittämisprojektissa. opas käytäntöihin. Stakes, FinSoc arviointi-

raportteja 4/2004. Helsinki: Stakes. Seppänen-Järvelä, r. (toim.) (2005). vertaismenetelmät kehittävän arvioinnin välineinä. Stakes, FinSoc arviointi-

raportteja 2/2005. Helsinki: Stakes.Shaw, i. (1999) Evidence for Practice. teoksessa Shaw, i. & lishman, J. (toim.) Evaluation and Social Work

Practice. london: Sage, 14 - 40. Sommerdahl-Halttunen, r. osallistavia menetelmiä ja rakenteita sosiaaliviraston työssä – opas sosiaaliviraston

työntekijöille. Helsinki: kehittämispalvelu, Sosiaalivirasto, Helsingin kaupunki. Strand, t. (1984) Public Management, Conceptual issues and research Suggestions, paper presented to a con-

ference on Public Management in Europe. the netherlands, the Hague. teoksessa Metcalfe, l. & richards, S. (1990) improving Public Management. london: Sage.

vertio, H. (2003) terveyden edistäminen. Helsinki: tammi. Zapico-Cõni, E. (2007). Matching Public Management. Accountability and Evaluation in Uncertain Contexts.

Evaluation 13 (4), 421–438.Øvretreit, J. (1998). Evaluating Health interventions. Buckingham: open University Press.

119

internet

Common assessment framework (CAF) työmenetelmästä lisätietoja esim. valtiovarainministeriön internet-sivuilta hallinnon kehittämisen sivuilta palvelujen laadun kehittämisen kohdalta

http://www.vm.fi/vm/fi/13_hallinnon_kehittaminen/03_palvelujen_laatu/03_caf/index.jsploogisen viitekehyksen työmenetelmästä lisätietoja esim. kehitysyhteistyöjärjestöjen EU-yhdistyksestä, kehys

ry:n kotisivuilta http://www.kehys.fi/eu-rahoitus/tyokalut/projektisuunnitteluSosiaali- ja terveysturvan keskusliitto ry:n ja terveyden edistämisen keskus ry:n vuosina 2005–2009 toteuttaman

JÄrvi-hankkeen sivusto http://www.jarjestoarviointi.fi/terveyden ja hyvinvoinnin laitoksen (ent. Stakes Finsoc) arviointiryhmän sivut http://groups.stakes.fi/FinSoC/Fi/index.htmterveyden ja hyvinvoinnin laitoksen Sosiaaliportin hankesivusto Hyvakaytanto.fi – Sosiaali- ja terveysalan Hyvät

käytännöt http://www.sosiaaliportti.fi/fi-Fi/Hyvakaytanto/ työterveyslaitoksen menetelmäpakki työolojen arviointi- ja kehittämismenetelmistä www.ttl.fi/internet/Suomi/Palvelut/tietokannat/Menetelmapakki/

Lä

hT

ee

T

120

Sanasto

ArViOinTi Arviointi on tapa arvottaa ohjelman toimintoja tai kokonaisuutta eli kertoa missä on onnistuttu tai missä olisi parantamisen varaa. Arvioinnin tuella annetaan kehittämissuosituksia tai osoitetaan toiminnan tuloksellisuus ja vaikutus.

ArViOinTieTiiKKA Arviointietiikalla viitataan arviointia koskeviin moraalikysymyksiin esimerkiksi niihin ar-voihin, jotka ohjaavat arviointia. Arvioitavien kunnioittaminen, rehellisyys, oikeudenmukaisuus ja totuu-dessa pysyminen ovat keskeisiä arvioinnin eettisiä periaatteita.

ArViOinTiKysymys kysymys tai kysymykset, joihin arvioinnissa vastataan. Määrittää, millaista aineistoa ja tietoa arvioitavasta toiminnasta kerätään.

ArViOinTiKriTeeri Arviointikriteerit ovat yksiselitteisiä mittareita tai tekijöitä, joiden avulla varsinainen arviointi toteutetaan. niiden avulla muodostetaan käsitys onnistumisesta tai epäonnistumisesta. Arviointi-kriteerit kertovat, mistä tiedetään, että on onnistuttu. Jokaista arviointikysymystä kohden tulisi olla vähin-tään yksi kriteeri.

ArViOinnin AineisTO Materiaali (esim. toimintasuunnitelmat, palautelomakkeet, hankeraportit, haastat-telut), jonka avulla esitettyihin arviointikysymyksiin vastataan. toimivat päätelmien perustana.

ArViOinnin AsKeleeT Arvioinnin suunnittelun tueksi laadittu kymmenen vaihetta sisältävä aputyökalu, joka ohjaa tekemään toimintaan kiinnittyvän, konkreettisen ja tarkoituksenmukaisen arviointisuunnitelman.

ArViOinnin KArTTA kuvaus arvioinnin teoriasta ja arvioinnin käytännön toteutusta tukevista menetel-mistä. teoreettinen malli, jonka tavoitteena on jäsentää arvioinnin teoriaa ja käytäntöä sekä niiden suhdetta toisiinsa.

ArViOiTsijAn rOOliT Arvioitsijan roolia määrittävät arviointikysymykset ja se, millaista tietoa arviointia varten kerätään. Arvioitsijalla voi saman ohjelman aikana olla erilaisia rooleja. Erityisesti sisäisessä ar-vioinnissa arvioitsijan on oltava tietoinen omasta roolistaan.

ArViOinnin TArKOiTus Arviointia tehdään aina jotain tarkoitusta varten. Arvioinnin tarkoitus ja arviointi-kysymykset liittyvät tiiviisti yhteen. Arvioinnin tarkoitus määrittää, minkälainen arviointi ohjelmasta tehdään.

ArViOinnin TArVe Arvioinnin tarve voi olla toiminnan suunnittelu, kehittäminen, parantaminen tai arvioida tarvitaanko toimintaa lainkaan. Myös ohjelman tulosten ja vaikutusten arviointi voi olla tarve. Arvioinnin tarve voi kohdistua johonkin yksittäiseen asiaan tai laajempiin kokonaisuuksiin.

ArViOiTsijAn TeHTäVä Arvioitsijan roolit määrittävät arvioitsijalla erilaisia tehtäviä arvioinnin tarkoituk-sen ja tarpeen mukaan. Arvioitsijalla voi saman ohjelman aikana olla erilaisia tehtäviä.

iTseArViOinTi Henkilö itse arvioi omaa työtään. Esimerkiksi hankkeen toteuttaja arvioi hanketta, tiedottaja tai toiminnanjohtaja arvioi omaa työtänsä.

KeHiTTäVän ArViOinnin läHesTymisTApA kehittävässä lähestymistavassa arvioinnin kohteena ovat prosessit eli se, toteutetaanko toimintaa ja toteutuuko toiminta aiotulla tavalla. kehittävän arvioinnin lähestymistavassa tehdään tulosmittauksia, mutta niiden ohella analysoidaan prosesseja eli niitä tapah-tumaketjuja, joilla tulokseen pyritään. Arvioinnin tuella varmistetaan, että tapahtumaketjut (prosessit) su-juvat niin kuin on tarkoitettu ja, että niistä syntyy odotettu tulos.

121

KOKeellinen ArViOinnin läHesTymisTApA kokeellisessa lähestymistavassa tavoitellaan mahdolli-simman objektiivista ja arvioitsijasta riippumatonta kuvaa todellisuudesta. ihanteena on kontrolloitu syy-yhteyksien analysointiin perustuva koeasetelma, jossa luotetaan mitattavissa olevaan tietoon. tiedon-keruu toteutetaan määrällisesti.

KOnsTruKTiVisTinen ArViOinnin läHesTymisTApA konstruktivistinen lähestymistapa perustuu ih-misten omaan osallistumiseen ja voimaantumiseen. Arvioinnissa on mukana sellaiset osapuolet, joita kos-kevia asioita arvioitavassa toiminnassa tutkitaan ja kehitetään. Siinä todellisuus rakentuu sosiaalisesti ja ymmärretään monikerroksisesti. todellisuus on jatkuvassa liikkeessä, johon ihmiset vaikuttavat eri tavoin ja toisinpäin.

KriiTTinen ArViOinnin läHesTymisTApA Arvioinnissa ei tarkastella ainoastaan toiminnan tuloksia tai tavoitteiden saavuttamista, vaan ollaan kiinnostuneita myös mahdollisista ennakoimattomista, epätoivotuis-ta tuloksista. Arvioinnin ote on kriittinen. Asiat eivät ole pelkästään tulkintoja ja subjektiivisia totuuksia.

OHjelmATeOriA ohjelmateoria on keino jäsentää toiminnan etenemistä, siihen liittyviä syy-seuraussuhteita ja oletuksia siitä, millä edellytyksillä toiminta voi saavuttaa tavoiteltuja tuloksia ja muutoksia. Syy-seuraus-suhteiden jäsentämisessä voidaan hyödyntää tieteellistä teoriaa, mutta se voi yhtä hyvin perustua omiin käsityk-siin ja kokemuksiin tai olla näiden yhdistelmä. toiminta ja arviointi rakentuvat ohjelmateorian pohjalta.

OsAllisTAVA ArViOinTi osallistavaa arviointia käytetään useimmiten toiminnan käynnistämisessä, muut-tamisessa tai hankkeen alkumetreillä. toiminnan kohteet osallistuvat arviointiin, arvioinnin suunnitteluun ja arviointikriteerien määrittelyyn. osallistavan arvioinnin näkökulmasta arvioinnin aineisto on pääasiassa laadullista. osallistavan arvioinnin työmenetelmät edellyttävät kohderyhmän osallistumista.

prOsessiArViOinTi Prosessiarvioinnin kohteena on prosessi eli tapahtumasarja. Arvioinnin tuloksia hyö-dynnetään toiminnan parantamisessa esimerkiksi erilaisten korjausliikkeiden avulla. Prosessiarvioinnissa ollaan kiinnostuneita toiminnasta, jonka avulla tulokset ja vaikutukset syntyvät. Prosessiarvioinnin näkö-kulmassa arvioinnin aineisto voi koostua niin laadullisesta kuin määrällisestäkin aineistosta.

sisäinen ArViOinTi Arvioinnin tekee järjestön tai organisaation oma henkilökunta. Sisäinen arviointi voi olla itsearviointia, jolloin esimerkiksi hankkeen toteuttaja arvioi hankettaan. Sisäinen arviointi voidaan to-teuttaa myös siten, että oman organisaation henkilökunta arvioi jotakin sellaista toimintaa, jota he eivät suoranaisesti toteuta.

TApAusKOHTAinen ArViOinTi tapauskohtainen arviointi voi liittyä yksittäisen asiakkaan (tapauksen) ar-viointiin tai se voidaan ymmärtää tapaustutkimuksen tapaiseksi arvioinniksi. tapauskohtaisessa arvioin-nissa perehdytään syvällisesti arvioitavaan kohteeseen. tapauskohtaisessa arvioinnissa on tarkoituksen-mukaista hyödyntää määrällistä ja laadullista aineistoa. Arvioinnin tavoitteena ei ole vain todentaa tulosten saavuttamista ja vaikutuksia, vaan arviointi ottaa kantaa myös siihen, miten tulokset voidaan saavuttaa paremmin.

TulOsTen jA VAiKuTusTen ArViOinTi tulosten ja vaikutusten arvioinnilla osoitetaan, onko saatu aikaan toivottu muutos ohjelman, toiminnan tai hankkeen toteutuksella. tämä edellyttää arviointia lähtö-tilanteessa ja ohjelman toteutuksen jälkeen. tulosten ja erityisesti vaikutusten arvioinnissa käytetään useimmiten määrällistä aineistoa tai laadullista aineistoa määrällisen aineiston tavoin. vaikutusten ar-viointi auttaa todentamaan toiminnan merkityksen ja siinä aikaansaatuja muutoksia huolimatta siitä, että kaikkia tekijöitä ei toiminnan aikana ole voitu kokeellisen arviointiasetelman muodossa sulkea pois. vaiku-tusten arvioinnin avulla voidaan osoittaa, mitä toiminnasta seuraa. vaikutusten osoittaminen edellyttää useimmiten myös sen ketjun avaamista, mistä vaikutuksen ajatellaan syntyvän.

SA

NA

ST

O

122

ulKOinen ArViOinTi Arvioinnin suorittaa järjestön, organisaation tai hankkeen ulkopuolinen henkilö. Ar-viointi tilataan ja sovitaan, mitä ulkoinen arvioitsija arvioi.

VAiKuTusTen ArViOinTi vaikutusten arviointi liittyy muutoksen osoittamiseen ja on osa vaikuttavuuden arviointia. vaikutuksia peilataan suhteessa asetettuihin tavoitteisiin. vaikutusten arviointi edellyttää lähtö-tilanteen selvittämisen. lähtötilanteen tuloksia verrataan lopputilanteen tuloksiin ja tätä kautta osoitetaan mahdollinen muutos/vaikutus. kiinnostus kohdistuu syy-seuraussuhteisiin. vaikutusten arvioinnissa pohdi-taan sitä, missä määrin vaikutukset ovat toteutetun toiminnan tuottamia.

VAiKuTTAVuus vaikuttavuus on päätelmä useasta eri vaikutuksesta. vaikuttavuuden arviointi tarkastelee koko toiminnan vaikutuksia suhteessa asetettuun päämäärään. vaikuttavuuden arvioinnissa tulisi pystyä osoittamaan, missä määrin juuri toteutettu toiminta tai interventio on vaikuttanut saavutettuihin tuloksiin eli osoittaa loogisesti tapahtuneet muutokset sekä niiden syyt ja seuraukset.

123

Liite 1. ulkoisen arvioinnin tilaamisen tarkistuslista

tarkistuslistan avulla tilaaja voi seurata ja jäsentää ulkoisen arvioinnin tilaamisen prosessin etene-mistä. taulukkomuotoon kirjatun tarkistuslistan kohdat merkitään aina siltä osin kuin asia/kohta on otettu huomioon. tarkistuslista on jaettu kolmeen osaan: 1) valmistelut ulkoisen arvioinnin tilaami-seksi, 2) Ulkoisen arvioinnin tilaaminen, 3) Ulkoisen arvioinnin toteutus.

Pikalista:• Onkovalmistelutarvioinnintilaamiseksitehty?• Onkotarjouspyyntölaadittuselkeästi(sisältääkuvauksenhankkeesta, tavoitteista ja arvioinnin kohteista)?• Onkotarjouksiavertailtutasapuolisestiennaltamääritellyinkriteerein?• Onkopäätettyjatuotuilmi,mitäyhteistyöltäodotetaan?• Onkoarvioinninraportointijahyödyntäminenjatkossasuunniteltu?

1. Valmistelut ulkoisen arvioinnin tilaamiseksi

lähtökohta arvioinnin onnistumiselle on selkeä ymmärrys oman toiminnan tavoitteista ja käsitys sii-tä, milloin tavoitteet on saavutettu. tilaajan arviointiosaaminen ja samanaikainen sisäinen arviointi ovat tärkeitä myös ulkoisen arvioinnin onnistumisessa.

oman toiminnan tai hankkeen tavoite on määritelty selkeästi. konkreettinen tavoite on eri asia kuin toiminnan laajempi päämäärä.

on kuvattu oman toiminnan onnistumisen kriteerit – eli mistä voidaan päätellä, että tavoitteeseen on päästy.

on määritelty, miksi ja mihin tarvitaan ulkoista arviointia. Seuraavat kysymykset voivat ollaavuksi pohtimisessa:

ketä varten ja miksi arviointia ollaan suunnittelemassa?• Missä ulkopuolisesta näkökulmasta on hyötyä?• Mitä osataan ja mitä ajanpuitteissa on mahdollista tehdä itse ja mitä ei?• tarvitaanko samanaikaista sisäistä arviointia?• Miten arvioinnin tuloksia aiotaan hyödyntää?•

Arvioinnin tavoite on määritelty:Minkälaista tietoa arvioinnilta halutaan?•Arvioidaanko prosessia ja/vai tulosta?•

on pohdittu arviointikysymyksiä eli sitä, mihin konkreettisiin kysymyksiin arvioinnin odotetaan vastaavan. Arviointikysymyksiä voidaan tarkentaa prosessin kuluessa.

Arvioinnin rahoitusjärjestelyt ovat kunnossa. Arviointi on hyvä huomioida jo budjettia suunniteltaessa. Suositusten mukaan arvioinnille on hyvä varata 5–10 % budjetista. tämä kustannus voi koostua ulkoisesta ja sisäisestä arvioinnista.

LIIT

Te

eT

124

2. ulkoisen arvioinnin tilaaminen

Ulkoisen arvioinnin tilaamisessa tärkeitä kohtia ovat tarjouspyynnön tekeminen ja toteuttajan valin-ta. tietyissä tapauksissa ulkoisen arvioinnin tilaaminen edellyttää kilpailuttamista, jolloin tarjous-pyynnön laatiminen on ensiarvoisen tärkeää. Mikäli kilpailutusta ei edellytetä, ulkoisen arvioinnin voi tilata myös esimerkiksi neuvottelemalla tai suoraan hyväksi havaitulta toteuttajalta. neuvottelu-ja voidaan käydä myös tarjouspyyntöjen yhteydessä. onnistuessaan tarjouspyynnön tekeminen sel-kiyttää myös tilaajalle itselleen arviointiin liittyvät odotukset sekä helpottaa toteuttajan valintaa.

Tarjouspyynnön laatiminen

tarjouspyynnössä on kuvaus arvioitavasta toiminnasta, sen lähtökohdista, toteutuksesta ja tavoitteista.

tarjouspyynnössä tuodaan selkeästi ilmi asetettu tavoite arvioinnille.

tarjouspyynnöstä käy ilmi, millä perusteella valinta tarjousten välillä tehdään (mm. hinta, järjestöalan tuntemus, jonkin tietyn alan ammattitaito).

tarjouspyyntö on riittävän tarkka, yksiselitteinen ja samanlainen kaikille. Mikäli pyydät tarkennuksia, varmista, että jokaiselle toimitetaan samat tarkennusta vaativat pyynnöt.

tarjouspyyntöön on kirjattu tarjouksen jättämiseen liittyvät seikat kuten tarjouksen viimeinen jättöaika; osoite, mihin tarjous toimitetaan; toimitustapa (kirjeposti, sähköposti, faksi); tarjouksen kieli; tarjouksen voimassaoloaika; mahdollisten lisätietojen antaja.

tarjouspyyntöön on kirjattu valmiiksi tiedot sopimusehdoista, mikäli se nähdään tärkeäksi. tähän liittyy esimerkiksi käytännöt sopimuksen aikaisesta yhteistyöstä.

tarjousten käsittelyyn ja hankintapäätöksen tekemiseen on varattu riittävästi aikaa (esim. n. 1 kk).

Tarjousten vertailu ja hankintapäätös

tiedät tai olet ottanut selvää arvioitsijan taustasta ja työhistoriasta. Suosituksia voi kysyä myös tarjouspyynnön yhteydessä tai hyödyntää omia yhteistyöverkostoja.

todetaan tarjousten määrä ja hylätään myöhästyneet tarjoukset.

varmistetaan, että tarjoukset ovat tarjouspyynnön mukaisia eli tarjoaja on vastannut asioihin, jotka tarjouspyynnössä on esitetty.

tarjouksessa on esitetty suunnitelma arvioinnin toteuttamiselle.

Suoritetaan tarjousten keskinäinen vertailu. Mikä arviointisuunnitelmista vastaa parhaiten annettuun arviointitehtävään?

Arviointisuunnitelma arviointikysymyksineen ja -kriteereineen vastaa arvioinnille asetettuun •tavoitteeseen.Arviointisuunnitelmassa esitetty arvioinnin toteutus on aikataulultaan realistinen.•kuvaus aineiston keruusta, raportoinnista ja analysoinnista on tehty.•raportointikäytännöt on selvitetty arviointisuunnitelmassa.•Arvioitsija takaa työn jatkuvuuden ja nimeää arvioinnin toteuttajan(-t).•Arviointisuunnitelma istuu järjestön toimintakulttuuriin ja -ympäristöön.•

125

kirjallisen hankintapäätöksen tekeminen. Hankintapäätöksessä tulee ilmetä, mihin seikkoihin päätös perustuu. (Erityisen tärkeä, mikäli on kyse kilpailutuksesta).

kirjallinen ilmoitus päätöksestä perusteluineen kaikille tarjouksen jättäneille.

Sopimuksen kirjoittaminen valitun tarjoajan kanssa.

3. ulkoisen arvioinnin toteutus

Yhteistyön sujumisessa keskeisintä on jatkuva vuorovaikutus ja yhteisymmärrys arvioinnin perus-lähtökohdista ja tavoitteista. Pahimmat sudenkuopat liittyvät usein siihen, että perusasioissa ei ole muodostunut riittävän selkeätä yhteistä näkemystä tai arviointiprosessin aikana yhteydenpito on liian vähäistä ja ulkoinen arvioitsija ei ole tietoinen mahdollisista muutoksista ja toiminnan etene-misestä.

yhteistyön onnistuminen

Ulkoisen arvioinnin toteuttaja ymmärtää arvioitavan toiminnan lähtökohdat, perusidean, tavoitteet ja onnistumiskriteerit.

Yhteinen ymmärrys vallitsee siitä, mitä arvioinnilta halutaan, miksi ja miten toteutettuna.

Aikaa arvioitsijan tapaamiseen, perehdyttämiseen ja vuoropuheluun on varattu riittävästi.

Arvioinnin toteuttajalla on riittävästi olemassa olevaa dokumentoitua tietoa käytettävänään arvioinnin kohteena olevasta toiminnasta.

Arvioitsija on tietoinen hankkeen aikataulusta ja siinä tapahtuvista muutoksista.

on sovittu, kuinka käytännön asioissa edetään, mm. kuinka arvioitsijan kanssa ollaan säännöllisesti yhteydessä ja arviointiprosessin etenemistä seurataan.

Arvioinnin raportointi ja hyödyntäminen

Arvioinnista tehtävälle raportille on asetettu odotukset mahdollisesti mm. muodon ja pituuden suhteen ja ne ovat arvioitsijan tiedossa.

loppuraportissa vastataan arviointikysymyksiin ja peilataan tulosta asetettuihin arviointikriteereihin.

Arviointiraportista käy ilmi, kuinka tuloksiin on päädytty.

Johtopäätökset sekä mahdolliset kehittämisehdotukset ovat selkeästi perusteltu arvioinnin tuloksien kautta.

Arvioinnin avulla saatu tieto on otettu käsittelyyn ja vastuutaho arvioinnin tuloksien hyödyntämisestä on nimetty.

lähde: Järvi-hanke, www.jarjestoarviointi.fi / laari liisa

126

Liite 2. SWOT-taulukko

SWot-analyysi on lyhenne sanoista strength (vahvuus), Weakness (heikkous), Opportunity (mah-dollisuus) ja Threat (uhka). SWot-analyysitaulukossa vahvuuksia ja uhkia tarkastellaan nykyhetkessä ja useimmiten oman or-ganisaation, toiminnan, hankkeen tai ohjelman sisäisistä asioista käsin. Mahdollisuuksia ja uhkia tarkastellaan tulevaisuusperspektiivistä ja useimmiten ulkoisten asioiden näkökulmasta.

SWot-analyysin avulla saadaan selville• mitävahvuuksiakannattaaylläpitääjakehittääedelleen?• mitenheikkouksiaonmahdollistapoistaa?• mitenmahdollisuuksiavoidaanhyödyntääjaniidentodentumistaedesauttaa?• mitenuhkiavoidaanennaltaehkäistäjatorjua?

nykyhetki

tulevaisuusperspektiivi

vahvuudet Heikkoudet

Mahdollisuudet Uhat