Arviointitiedon tuottaminen ja käyttäminen

Mikko MäntysaariYhteiskuntatieteiden ja filosofian laitosJyväskylän yliopisto

1.4.2008 Kittilä

Evaluaatio tähtää tiedon hyödyntämiseen

• Perinteisen käsityksen mukaan evaluaatiotutkimuksen onnistuneisuuden kriteeri on tuotetun tiedon hyödynnettävyys. Samalla tavalla kuin yleensä tutkimuksen ajatellaan tähtäävän totuudenmukaisen tiedon tuottamiseen, on evaluaatiotutkimuksen tavoitteena tuottaa hyödynnettävissä olevaa tietoa.

• Tieto sen itsensä vuoksi ei ole evaluaatiotutkimuksessa “kiinnostavaa”.

• Kysymys tiedon hyödynnettävyydestä ei ole yksinkertainen juttu: pahimmillaan se voi johtaa lyhytjännitteiseen selvityskulttuuriin, jossa perustutkimuksesta tulee hyljeksittyä tavaraa.

• Mutta miten tutkia sosiaalityön ja sosiaalihuollon vaikutuksia niin, että syntyvää tietoa voisi hyödyntää käytäntöjen kehittämisessä?

• Koettaessamme vastata tähän haasteeseen, joudumme pohtimaan näyttöä, hyötyä ja sosiaalihuollollisen toiminnan olemusta koskevia kysymyksiä.

• Voimme kuvitella, että asiakas, luottamushenkilö tai tiedotusvälineiden edustaja kysyy “Onko teillä näyttöä siitä, että toimintatapanne on vaikuttavaa”.

• Voimme vastata sanomalla, että määrittele ensiksi mitä tarkoitat “näytöllä” ja “vaikuttavuudella”.

• “Näyttö” eli evidenssi on oikeaksi, paikkansapitäväksi todistettua tietoa. Mutta millaista tietoa voidaan sanoa paikkansapitäväksi? Mietitäänpä vaikka postmodernia tietokäsitystä, sosiaalista konstruktionismia, narratiivista tutkimusta ... Mutta yhtä lailla kvantitatiivisen tutkimuksen voidaan sanoa olevan “tarinallista” tai tuloksiltaan manipuloitavissa olevaa.

Vaikuttavuusarviointi

• Toiminnan arviointi voi kohdistua joko

arvioitavan projektin, palvelun tai muun toiminnan toimenpide- eli interventiologiikkaan tai

vaikutuksiin.

• Vaikuttavuus tarkoittaa sitä, että toiminnalla saatetaan aikaiseksi tavoiteltuja tuloksia.

• Arvioinnissa keskeistä on siis arviointikriteerin ja mittareiden muodostaminen, mittaaminen ja tietoon perustuva arvio. (Arviointiopas FinSoc 2001)

toinen suunnitelma. Tälläkin on todennäköisesti pitkän tähtäimen vaiku-tuksia, jotka voivat olla positiivisia tai negatiivisia.

(pitkän tähtäimenvaikutukset)

(välittömätvaikutukset)

(tuotetut tavaratja palvelut)

Ohjelmantoiminnot

(inhimilliset jataloudellisetvoimavarat)

toiminnallisettavoitteet

erityisettavoitteet

yleisettavoitteet

Vaikutukset(seuraukset

yhteiskuntaan)

Vaikutukset

Tulokset

Tuotokset

Panokset

Ohjelmantavoitteet

Kuva 2.1: Ohjelman interventiologiikka (8, s. 20)

Vaikutukset ovat toiminnan seurauksia. Vaikutuksia voi toki syntyä toi-minnan aikanakin, kuten esimerkiksi hyvän opettajan opetuksesta nautti-minen (36). Pitkäaikaisvaikutukset ovat usein tärkeimpiä, ja vaikeimmintutkittavissa olevia, esimerkiksi erilaisten väliintulevien muuttujien vaiku-tusten vuoksi. Kustannukset ja vaikutukset ovat joskus vaikeasti erotetta-vissa toisistaan: henkilöstön väsyminen voi olla sekä kustannus että vaiku-tus.

Arvioinnissa voidaan tarkastella myös toiminnan tai palvelun toimivuut-ta tai soveltuvuutta, jolloin arvioidaan, miten hyvin palvelu vastaa olemas-sa oleviin tarpeisiin. Voidaan tutkia myös tehokkuutta, jolloin arvioidaan,miten taloudellisesti panoksilla on saavutettu tuotoksia ja tuloksia. Vaikut-tavuuden arvioinnissa tarkastellaan, syntyykö niitä vaikutuksia, joita tavoi-teltiin. Voidaan myös tarkastella toiminnan tai palvelun hyötyä, jolloin vai-kutuksia tarkastellaan suhteessa väestön tarpeisiin. Myös vaikutusten kes-tävyyttä voidaan tarkastella. Usein ajatellaan, että toiminnan vaikutuksetovat tärkeitä etenkin palvelujen rahoittajien näkökulmasta. Hyötynäkökoh-ta on kuitenkin erittäin keskeinen myös palvelujen käyttäjille. Annettujenpalvelujen, toteutettujen ohjelmien ja projektien olisi oltava hyödyllisiä so-

7

Tuotosten, tulosten ja vaikutusten suhteet

Tuloksellisuus ja vaikuttavuus

• Sirkka Rousun lastensuojelun tuloksellisuutta koskevassa väitöskirjassa (Rousu 2007, 26) tuloksellisuus on kokoava yläkäsite, jonka alakäsitteitä ovat eri näkökulmista tuotetun ja arvioidun tiedon pohjalta organisaation vaikuttavuus, taloudellisuus ja tuottavuus.

• Tuloksellisuuden arviointi taas tarkoittaa tiedon tuottamisen ja tietoa arvioivan prosessin kokonaisuutta.

• Vaikuttavuus on palvelutuotannon kykyä aikaansaada kuntalaisten elämäntilanteeseen sellaisia vaikutuksia, jotka joko tyydyttävät kuntalaisten tarpeet tai ainakin täyttävät organisaation asettamat tavoitteet. (Rousu 2007, 122)

Sosiaalipalvelujen arviointi kunnissa

• Katri Vataja, Sakari Kainulainen ja Ilse Julkunen selvittivät arvioinnin ja talousosaamisen tarpeita kunnissa v. 2003

• Raportti on ilm. FinSocin työpaperina 3/2004

• antaa tietoa arviointitarpeista ja -tilasta.

Vastaajat

• internetkysely, johon vastasi 167 sosiaalijohtajaa (vastaus% tyydyttävä 37,4 %)

• aineisto on määrällisesti ja alueellisesti riittävän edustava.

Suurimmat kehittämistarpeet

Suurimmat kehittämistarpeet

•vanhustyö 77 mainintaa

•lastensuojelu 34 mainintaa

•päivähoito 32 mainintaa

•kehitysvamma- ja vammaispalvelut 25

•kotipalvelut 16

•päihdehuolto 15

•seudullinen yhteistyö 14

•mielenterveyspalvelut 7

Kehittäminen ja tieto

• Eniten arviointitietoa tarvittaisiin siis vanhustyön, lastensuojelutyön ja päivähoidon kehittämisen tueksi.

• Tietoa myös tuotettiin näistä palveluista.

• Sosiaalijohdon vastauksissa näkyi erityisesti vanhustenhuollon palvelujen lisääntyvä tarve.

Arvioinnin tarve on todellinen

lähde: Vataja ym. 2004, s. 22

Kuntakoko ratkaisee

• työtapojen kehittäminen korostui erityisesti alle 20 000 asukkaan kunnissa.

• yli 40 000 asukkaan kunnissa korostui voimakkaimmin toiminnan vaikuttavuuden ja taloudellisen tuloksellisuuden varmistaminen.

Talous ja vaikuttavuus

Taulukko 9. Sosiaalipalveluiden suurimmat arviolntftarpeet tulevaisuudessa (0""'132)

Ikm

Taloudelliset kysymykset. palveluiden kustannukset ja kustannusvaikutta- 57vuusPalveluiden vaikuttavuus 46

Palveluiden tarve ja kohdistaminen

Palveluiden laatu

Palveluiden tuottamiseen liittyvät kysymykset

Kuntien välistä vertailutietoa

Asiakkaiden tyytyväisyys ja toiveet

Tietoa erilaisista toimintatavoistaja hyvistä klytännöislä

17

1611

9

8

8

Vataja ym. 2004, 30

Mistä tietoa?

• Itse tuotettu ja ostettu tieto tärkeää.

• Vaikuttavuustietoa oli parhaiten saatavilla Stakesista ja Kuntaliitosta, sen sijaan yliopistoista ja ammattikorkeakouluista vain hankalasti.

Sotenna-raportti

Sosiaalialan koulutus-, työvoimatarpeiden ja osaamisen ennakointihanke vuoteen 2015:

• Sosiaalialan koulutuksen kehittämiseen on käytävä heti, jotta muutoksiin kyetään reagoimaan.

• Lähihoitajakoulutus on tärkeää koko sosiaalihuollon kannalta.

15

Työmarkkinoiden haasteet

• Sotenna-raportin (2006) suositukset:

✓ Sosiaalialan työmarkkinoiden ongelmat, ja erityisesti sosiaalityöntekijäpula on poistettava.

✓ Tiedontuotantoa parannettava.

16

Työvoimavaje

• Sosiaalialan työpaikkojen vetovoimaisuus tulee olemaan keskeinen hyvinvointipalvelujen tulevaisuutta koskeva kysymys.

• Palkkojen ja työn epäsuhta ratkaistava. Esim. sosiaalityöntekijöiden palkat jäävät alle suomalaisten keskipalkkojen tason.

Tiedontuotanto

• Sosiaalialan tiedontuotantoa tulee vahvistaa. Ennakoinnista on tehtävä pysyvä osa sosiaalialan tiedontuotantoa. Ruotsin sosiaalialan tiedontuotannon kehittämisohjelma voisi olla esimerkkinä myös meille. Nykyinen tutkimus ei vastaa volyymiltaan alan tiedontarpeita.

Sotenna ...• Tutkimus on joiltakin osin

epätarkoituksenmukaisesti suuntautunutta.

• Sosiaalipalvelujen ja muun sosiaalihuollon sekä näiden asiakkaiden ongelmat jäävät liian vähälle huomiolle. (sos.työ dominoi).

• Erityisesti tutkimusta tarvitaan vanhustenhuollon palvelujen kehittämisen tueksi.

Sotenna ...• Arviointitutkimusta on lisättävä.

Arviointitutkimuksen on yllettävä kokonaan uudelle tasolle suomalaisessa julkishallinnossa, kehittämistyössä ja tutkimuksessa. On edettävä vaikutusten systemaattiseen analyysiin sekä kokeellisilla että ei-kokeellisilla asetelmilla. On tehtävä tuottavuusanalyysia ja kustannus-hyötyanalyysia.

Haasteita riittää, osin omalaatuisia ...

• Tietoa siis sekä tarvitaan että myös tuotetaan, tosin ei välttämättä yliopistoissa.

• Mutta mitä arvioidaan, kun arvioidaan sosiaalihuoltoa? Mistä silloin oikein on kysymys?

Sosiaalihuolto - katoavaa kansanperinnettä?

22

Sosiaalihuolto - katoavaa kansanperinnettä?

• Sosiaalihuollon eri muotoja koskeva kysymys sosiaalityön peruskurssin -06 tentissä: sosiaalihuoltoon laskettiin kuuluvaksi mm. koulutoimi ja terveydenhuolto.

22

Onko sosiaalihuoltoa enää olemassa

• “Sosiaali- ja terveydenhuoltoa” koskevassa yhteiskunnallisessa keskustelussa terveydenhuollon ajattelutavat ja näkökulmat hallitsevat.

• Poliitikkojen on vaikea mieltää, että sosiaalihuolto ei ole terveydenhuoltoa.

• “Sosiaalihuoltolaki on edelleen voimassa” (Maisa Maaniittu noin v. 1997)

Olennaisia eroja

• Sosiaalihuollossa on kysymys sosiaalisesta turvallisuudesta, yhteiskunnallisesta oikeudenmukaisuudesta ja solidaarisuudesta.

• Ne ovat kaikki arvoja, jotka koskevat yhteiskuntaa, eivät somaattisia tai psyykkisiä tiloja jotka koskevat yksilöitä.

Moraalia

• Sosiaalihuollollisessa toiminnassa on aina mukana myös moraalinen elementti, jota voidaan kutsua kasvatukseksi tai sosiaaliseksi kontrolliksi. Sosiaalihuollossa on asiakkaalla sekä oikeuksia että velvollisuuksia.

Kansainväliset vaikutteetVeikko Piirainen oli 1950-luvulla huolissaan siitä, että amerikkalainen casework traditio tulee Suomeen ikäänkuin täällä vallinneita auttamisen perinteitä ei olisi ollut olemassa. Huoli on osoittautunut osin aiheelliseksi. Professionaalistuminen on kansainvälistä kehitystä, mutta kontekstit ovat kovin erilaisia.

Kansainväliset vaikutteetVeikko Piirainen oli 1950-luvulla huolissaan siitä, että amerikkalainen casework traditio tulee Suomeen ikäänkuin täällä vallinneita auttamisen perinteitä ei olisi ollut olemassa. Huoli on osoittautunut osin aiheelliseksi. Professionaalistuminen on kansainvälistä kehitystä, mutta kontekstit ovat kovin erilaisia.

Rakennenäkökulma kateissa

• Mikro-orientaatio hallitsee ja uhkaa syrjäyttää rakenteellisen näkökulman.

• Seurauksena on keskittyminen tutkimuksessa ja muussa tiedontuotannossa vain siihen, mitä sosiaalityöntekijän ja asiakkaan välillä tapahtuu.

Paikallistutkimus“Tässä yhteydessä on eräs näkökohta syytä vielä erikseen mainita, koska sitä harvoin tullaan ajatelleeksi. Laaja, asiantunteva ja huolellinen sosiaalihuollon paikallistutkimus antaa oikeastaanainoan tyydyttävän mahdollisuuden uusien sosiaalihuollon menetelmien käyttökelpoisuuden arvioimiseen. Tällöin on näet mahdollista verrata uusin menetelmin saavutettuja tuloksiapaikallistutkimusten osoittamiin, aikaisemmin menetelmin saavutettuihin. Paikallistutkimus voi siis luoda sosiaalihuollolle pohjan menetelmäkontrollia varten, jollainen sillä kaiken järjenmukaan pitäisi olla. Ilman sitä liikutaan jatkuvasti pelkkien arvailujen ja itsestään selvinäpidettävien dogmien varassa.”

(Reino Salo 1963: Sosiaalihuollon paikallistutkimus. Huoltaja 20/1963)

Sosiaalityön ammatillistumisen suunta?

• Optimistien mielestä tutkimuksen, koulutuksen ja ammattikäytäntöjen yhteisvaikutus on vasta nyt todella syntymässä, asiakkaiden parhaaksi.

• Pessimistien mielestä käynnissä on sosiaalityön epäprofessionaalistuminen. Sosiaalityöstä irtoaa tehtäviä toisten hoidettavaksi.

30

Mistä lopulta on kyse?

• Eileen Gambrillin mielestä sosiaalityö tarvitsee lisää rehellistä läpinäkyvyyttä kaikilla tasoilla, eikä vähiten koulutuksessa.

• “We deceive when we do not accurately describe what is done to what effect, including misleading reports of research” (Gambrill 2006, 2)

31

II Arviointitutkimus ja sosiaalihuolto

• Marketta Rajavaara tarkastelee vaikuttavuustutkimusta väitöskirjassaan ja tarkastelee näkökulman kehitystä, mm. Reino Salon tutkimuksia.

• Arviointitutkimuksen tilausta on käsitelty Suomessakin ainakin 1980-luvun alusta lähtien.

• Paljon puhetta -- silti edistyminen erityisesti vaikuttavuustutkimuksessa on hidasta. Pekka Sulkunen pitää jopa vaikuttavuudesta puhumista lähinnä hallinnon retoriikkana.

• Martti Lähteisen (STM) hyvä neuvo: kysymys on hyvin pitkästä muutoksesta.

32

Carol H. Weiss

• Tutkimuksen hyödynnettävyyttä runsaasti tutkineen Carol H. Weissin mukaan oli olemassa ainakin seuraavia syitä, miksi hyödynnettävyydestä tuli niin tärkeä seikka USA:ssa.

USA:n perustuslaki lähtee siitä että maassa on säännöllisin väliajoin järjestettävä väestönlaskenta. Kunnioitus kvantitatiivista tutkimusta kohtaan suurta. Läpinäkyvä kvantitatiivinen tutkimus on demokraattista.

Filantropian ja hyväntekeväisyyden merkityksen kasvu. Hyväntekeväisyyteen rahaa sijoittaneet halusivat tietää, seurasiko panostuksesta mitään hyvää.

Yhteiskuntatieteet ja psykologia syntyivät oppialoina.

Evaluaation varhaisvaiheita USA:ssa

• Kveekarit loivat eristämiseen perustuvia rangaistuslaitoksia. Ajateltiin, että yksinäisyys mahdollistaa tehokkaan katumisen (penitentirary). Näin ei kuitenkaan käynyt; evaluaatiot osoittivat jo 1800-luvulla että yksinäissellisysteemissä tuotetaan enemmän ongelmia kuin perinteisessä vankilassa.

• Evaluaatiotutkimus vakiintui 1930-luvun Yhdysvalloissa: kaksi merkittävää tutkimustraditiota olivat vankilajärjestelmä ja avohuollollisen työn vaikutus jengeihin.

• War on Poverty (1960-luvulla, Johnsonin presidenttikaudella) aloitti kasvun kauden joka jatkui Reaganin presidenttikauteen saakka.

• (Carol H. Weiss: Mega-Lessons from U.S Evaluation Experience

Varhaisvaiheet Suomessa

• Sosiaali- ja terveyshallitus tilasi 1990-luvun alussa Terho Vuorelalta raportin sosiaalihuollon vaikuttavuustutkimuksesta.

35

Terho Vuorelan kritiikki

“Toiminnan ns. nettovaikutuksen määrittelyä on pidetty usein ylivoimaisena tehtävänä sosiaalihuollossa, joka perustuu inhimilliseen vuorovaikutukseen (...)” Tähän pyritty koeasetelmalla ja kvasikoeasetelmalla sekä eräillä tilastomenetelmillä. (s.61)

36

Arviointiasetelmia

• Vuorela luettelee joukon kvasikoeasetelman muotoja joita on käytetty yhdysvaltalaisessa arviointitutkimuksessa kausaalivaikutusten osoittamiseen.

• Yksinkertaiset kvasikoeasetelmat, ennen-jälkeen mittaukset, eri vertailuryhmäasetelmat.

37

Kehitystä?• Vuorelan esittämät vaikuttavuuden arvioinnin

mallit vaikuttavat edelleen ajankohtaisilta ja järkeviltä.

• Valitettavasti onnistuneita esimerkkejä kvasikokeellisen asetelman soveltamisesta sosiaalihuollon arvioinnissa ei ole kertynyt liikaa. Samoin cost-benefit analysis on jäänyt vähiin sosiaalihuollossa.

38

Rostila & Mäntysaari

• Teimme Ilmari Rostilan kanssa 1990-luvulla kehittämishankkeita, joissa sovellettiin tapauskohtaista arviointia. “Single-Case Design” on edelleen olemassaoleva traditio, vaikka innostus USA:ssa lieneekin laantunut.

• Silti SSD:ssä oli ideaa: yksittäistapauksen seuraamisesta voidaan aina oppia.

RCT:t sosiaalihuollossa• Terveydenhuollossa RCT on “kultainen

standardi” koska sen avulla voidaan osoittaa interventioiden vaikutukset ja kustannukset.

• Esim. Sefton et al. (2004, 69) pitävät RCT:en soveltamista sosiaalihuoltoon epätodennäköisenä. Sen sijaan he kannattavat vertailuryhmien käyttämistä arviointitutkimuksissa.

40

Sulkusen kritiikki

• Prof. Pekka Sulkusen mukaan vaikuttavuuden arviointi edellyttää kausaalipäättelyä, joka puolestaan on mahdollista vain koeasetelmalla. Koeasetelmaan perustuvia tutkimuksia on hyvin vähän; niiden menetelmälliset vaatimukset ovat erittäin vaikeasti toteutettavissa.

Warpenius ja Sulkunen• Erityisesti paikallisella tasolla on vaikea

tuottaa luotettavaa tietoa toiminnan vaikutuksista. Siksi vaikuttavuustiedon tuottamiselle asetetaan kohtuuttomia odotuksia, koska projekteissa tehtävä kehittäminen ei taivu vaikuttavuusarvioinnin metodisiin ehtoihin eivätkä prosessiarvioinnit tuota kumuloituvaa tutkimusta. (Projektiyhteiskunnan kääntöpuolia 2006)

Toisaalta ...

• Oakleyn ja Fullertonin mukaan ei-satunnaisotokseen perustuvat vertailuryhmät näyttävät järjestelmällisesti liioittelevan interventioiden vaikuttavuutta. (Sefton ym. 2004, 71)

• RCT:n soveltamiseen liittyy sekä oikeita että liioiteltuja huolia (mt. 73)

43

Eettisyys

• Lienee eettisempää tutkia interventiota, jonka vaikutuksia ei ole selvitetty, kuin jatkaa testaamattoman intervention käyttöä laajemmassa väestöjoukossa siitä huolimatta, että menettely saattaa tarkoittaa palvelun eväämistä joiltakin ihmisiltä hetkeksi. (Sefton ym 2004, 74)

44

Talous ja arviointi

Michael Scrivenin mukaan evaluaatiossa on aina kyse rahasta. On aina kysyttävä, millaisista kustannuksista on kyse. Käytetyt resurssit aina

mukana arvioinnissa!

Arviointitoiminta

• kunnissa tehtävä arviointitoiminta sisältää taloudellisen arvioinnin.

• esim kunnallisten tarkastuslautakuntien toiminta

• “auditointi”, erilaiset konsulttiyritykset

Arviointitutkimus• kustannus-hyötyanalyysi, kustannus-

vaikuttavuusanalyysi, taloudellisten vaikutusten tarkastelu

• sosiaalitaloustiede (?) kehittymätöntä verrattuna terveystaloustieteeseen

• taloudellista ajattelua ei yleensä opeteta sosiaalityön yksiköissä eikä amk:ssakaan.

Joitakin esimerkkejä

• Stefan Sjöblom arvioi helsinkiläisten nuorten työllistämiskokeilujen kustannuksia (ilm. FinSocin sarjassa).

• Sotenna-raportissa peruslaskelmat.

• AKKU-raportin taloustieteellinen osa.

Kuntouttavan työtoiminnan talousvaikutukset

• Olavi Kallio ja Pentti Meklin (2004): mitä aktivointitoiminta vaikuttaa kuntien talouteen?

• AKKU-loppuraportissa erillinen jakso.

• 15 kunnan otos.

• harvinainen esimerkki Suomessa.

Teoreettinen asetelma

(Kallio & Meklin 2004, 181)

• Arviointi koski siis lähinnä kustannuksia, tulojen osalta otettiin huomioon vain valtion maksamat erityiset tuet kunnille palvelujen järjestämisestä.

• Koska tarkastelu koski vain yhtä vuotta, ei hitaasti syntyviä hyötyjä voitu arvioida lainkaan. (Esim. työllistyminen, totu-menojen väheneminen.)

Kapasiteettiraja

Kallio & Meklin 2004, 184

• kustannukset pysyvät kohtuullisena kunnes palvelujen kysyntä ylittää kapasiteettirajan ja on palkattava lisää työvoimaa, vuokrattava lisää tilaa tms. jolloin kustannukset nousevat jyrkästi.

• Kuntien väliset erot kustannuksissa suuria:

Kustannukset €/suunn.

Kallio&Meklin 2004 s. 193

Lastensuojelun kustannukset

• Lastensuojelun kustannuksista on aika puutteellisesti tietoa. Esim. kokonaiskustannusten vertailu kuntien välillä on Rousun mukaan lähes mahdotonta.

• Laitoshuollon hoitovrk-hinta vaihtelee paljon, jopa 150-700 €/vrk. Sijaisperhehuollon hinta vaihtelee vähemmän (Rousu 2008, 93-94)

Carol Weissin “megaopetukset”

• Evaluaatiota on vaikea tehdä hyvin. Ei ole olemassa yhtä oikeaa tapaa tehdä tutkimusta vaan monia hyviä tapoja, jotka toimivat eri tavoin eri kysymysten kohdalla.

• Toiminnan tavoitteista ei voida päätellä sitä, miten toiminta oikeasti sujuu. Siksi alkumittaus on syytä tehdä huolella, ja riippumatta kauniilta/komeilta kalskahtavista tavoiteasiakirjoista. Tavoitteiden realistinen asettaminen on tärkeää myös evaluaation kannalta.

• Käytetyt resurssit (panokset) ovat tärkeitä arvioinnissa. Projektia toteuttavien oma käsitys siitä, mitkä panokset ovat olennaisimpia, ei välttämättä kerro paljoakaan toiminnan kannalta tärkeimpien panosten luonteesta.

Mitä vaikutuksia toiminnalla on?

• Weissin mukaan vaikutusten arviointi (outcomes) on olennaista evaluaation kannalta. On kuitenkin joskus vaikeaa ratkaista, mitä projektin toteuttajat itse pitävät vaikutuksina. Mitä ovat tavoitellut vaikutukset? Onko esimerkiksi avioerojen välttäminen avioliittoneuvolalle tavoiteltu vaikutus (jos avioero onkin joissakin tapauksissa kaikkien osapuolten kannalta paras ratkaisu).

• Sosiaalialaa koskevassa arviointitutkimuksessa pitäisi keskustella enemmän onnistuneista arviointikriteereistä. Miten esimerkiksi lastensuojelun tuloksellisuutta olisi hyvä arvioida? (Vrt. J-P Roosin lastensuojelukritiikki).

Paremman ohjelmateorian tarve

• Evaluaatiotutkimus on lopulta sitä, että panokset ja vaikutukset (input and outcomes) otetaan yhtäaikaa tarkasteltaviksi. Kun panoksia ja vaikutuksia tarkastellaan yhdessä, rakennetaan ohjelmateoriaa.

• Ohjelmateorian merkitys on korostunut viime vuosina vahvasti.

• Sen selvittäminen, millaisia taustaoletuksia projektissa oikeastaan on, on erittäin vaativa tehtävä. Ohjelmateorian hahmottaminen edellyttää huomattavan pitkälle menevää toiminnan perustojen analysointia.

Kirjallisuutta

•Gambrill, Eileen (2006) Transparency as a route to evidence-informed professional education. Paper for Symposium on Improving the teaching of evidence-based practice. Austin, USA.

•Sefton, T. & Byford, S. & McDaid, D. & Hills, J. & Knapp, M. (2004) Taloudellinen arviointi sosiaalialalla. FinSoc arviointiraportteja 6/2004.

•Sulkunen, Pekka (2005) Vaikuttavuus arviointitutkimuksen rivien välissä. Teoksessa Räsänen ym (toim.): Tutkimus menetelmien pyörteissä. Ps-kustannus: Jyväskylä. ss. 39-52

59

• Vuorela, Terho (1991) Sosiaalihuollon vaikuttavuuden arvioinnin mallit. Sosiaali- ja terveyshallitus. Tutkimuksia 6.

• Vuorensyrjä, M. & Borgman, M. & Kemppainen, T. & Mäntysaari, M. & Pohjola, A. (2006): Sosiaalialan osaajat 2015. Sosiaalialan osaamis-, työvoima- ja koulutustarpeiden ennakointihanke (SOTENNA): loppuraportti. Jyväskylän yliopisto. Sosiaalityön julkaisusarja 4.

60

• Rousu, Sirkka (2007) Lastensuojelun tuloksellisuuden arviointi organisaatiossa. Näkymätön tuloksellisuus näkyväksi. Tampereen yliopisto, Suomen kuntaliitto: Helsinki.

• Rajavaara, Marketta (2007) Vaikuttavuusyhteiskunta. Sosiaalisten olojen arvostelusta vaikutusten todentamiseen. Kela. Sosiaali- ja terveysturvan tutkimuksia 84.

• Vataja, Katri & Kainulainen, Sakari & Julkunen, Ilse (2004) Sosiaalipalvelujen arvioinnista kunnissa. Stakes/Finsoc 3/2004

• Kallio, Olavi & Meklin, Pentti (2004) Kuntouttava työtoiminta-lain kuntiin kohdistuvat taloudelliset vaikutukset vuonna 2002. Teoksessa “Työttömien aktivointi.” (Ala-Kauhaluoma, Keskitalo, Lindqvist, Parpo) ss. 179-203.