arviointitiedon tuottaminen ja kأ¤yttأ¤ mittaaminen ja tietoon perustuva arvio. (arviointiopas...

Download Arviointitiedon tuottaminen ja kأ¤yttأ¤ mittaaminen ja tietoon perustuva arvio. (Arviointiopas FinSoc

Post on 13-Jul-2020

0 views

Category:

Documents

0 download

Embed Size (px)

TRANSCRIPT

  • Arviointitiedon tuottaminen ja käyttäminen

    Mikko Mäntysaari Yhteiskuntatieteiden ja filosofian laitos Jyväskylän yliopisto

    1.4.2008 Kittilä

  • Evaluaatio tähtää tiedon hyödyntämiseen

    • Perinteisen käsityksen mukaan evaluaatiotutkimuksen onnistuneisuuden kriteeri on tuotetun tiedon hyödynnettävyys. Samalla tavalla kuin yleensä tutkimuksen ajatellaan tähtäävän totuudenmukaisen tiedon tuottamiseen, on evaluaatiotutkimuksen tavoitteena tuottaa hyödynnettävissä olevaa tietoa.

    • Tieto sen itsensä vuoksi ei ole evaluaatiotutkimuksessa “kiinnostavaa”.

    • Kysymys tiedon hyödynnettävyydestä ei ole yksinkertainen juttu: pahimmillaan se voi johtaa lyhytjännitteiseen selvityskulttuuriin, jossa perustutkimuksesta tulee hyljeksittyä tavaraa.

    • Mutta miten tutkia sosiaalityön ja sosiaalihuollon vaikutuksia niin, että syntyvää tietoa voisi hyödyntää käytäntöjen kehittämisessä?

  • • Koettaessamme vastata tähän haasteeseen, joudumme pohtimaan näyttöä, hyötyä ja sosiaalihuollollisen toiminnan olemusta koskevia kysymyksiä.

    • Voimme kuvitella, että asiakas, luottamushenkilö tai tiedotusvälineiden edustaja kysyy “Onko teillä näyttöä siitä, että toimintatapanne on vaikuttavaa”.

    • Voimme vastata sanomalla, että määrittele ensiksi mitä tarkoitat “näytöllä” ja “vaikuttavuudella”.

    • “Näyttö” eli evidenssi on oikeaksi, paikkansapitäväksi todistettua tietoa. Mutta millaista tietoa voidaan sanoa paikkansapitäväksi? Mietitäänpä vaikka postmodernia tietokäsitystä, sosiaalista konstruktionismia, narratiivista tutkimusta ... Mutta yhtä lailla kvantitatiivisen tutkimuksen voidaan sanoa olevan “tarinallista” tai tuloksiltaan manipuloitavissa olevaa.

  • Vaikuttavuusarviointi

    • Toiminnan arviointi voi kohdistua joko

    arvioitavan projektin, palvelun tai muun toiminnan toimenpide- eli interventiologiikkaan tai

    vaikutuksiin.

    • Vaikuttavuus tarkoittaa sitä, että toiminnalla saatetaan aikaiseksi tavoiteltuja tuloksia.

    • Arvioinnissa keskeistä on siis arviointikriteerin ja mittareiden muodostaminen, mittaaminen ja tietoon perustuva arvio. (Arviointiopas FinSoc 2001)

  • toinen suunnitelma. Tälläkin on todennäköisesti pitkän tähtäimen vaiku- tuksia, jotka voivat olla positiivisia tai negatiivisia.

    (pitkän tähtäimen vaikutukset)

    (välittömät vaikutukset)

    (tuotetut tavarat ja palvelut)

    Ohjelman toiminnot

    (inhimilliset ja taloudelliset voimavarat)

    toiminnalliset tavoitteet

    erityiset tavoitteet

    yleiset tavoitteet

    Vaikutukset (seuraukset

    yhteiskuntaan)

    Vaikutukset

    Tulokset

    Tuotokset

    Panokset

    Ohjelman tavoitteet

    Kuva 2.1: Ohjelman interventiologiikka (8, s. 20)

    Vaikutukset ovat toiminnan seurauksia. Vaikutuksia voi toki syntyä toi- minnan aikanakin, kuten esimerkiksi hyvän opettajan opetuksesta nautti- minen (36). Pitkäaikaisvaikutukset ovat usein tärkeimpiä, ja vaikeimmin tutkittavissa olevia, esimerkiksi erilaisten väliintulevien muuttujien vaiku- tusten vuoksi. Kustannukset ja vaikutukset ovat joskus vaikeasti erotetta- vissa toisistaan: henkilöstön väsyminen voi olla sekä kustannus että vaiku- tus.

    Arvioinnissa voidaan tarkastella myös toiminnan tai palvelun toimivuut- ta tai soveltuvuutta, jolloin arvioidaan, miten hyvin palvelu vastaa olemas- sa oleviin tarpeisiin. Voidaan tutkia myös tehokkuutta, jolloin arvioidaan, miten taloudellisesti panoksilla on saavutettu tuotoksia ja tuloksia. Vaikut- tavuuden arvioinnissa tarkastellaan, syntyykö niitä vaikutuksia, joita tavoi- teltiin. Voidaan myös tarkastella toiminnan tai palvelun hyötyä, jolloin vai- kutuksia tarkastellaan suhteessa väestön tarpeisiin. Myös vaikutusten kes- tävyyttä voidaan tarkastella. Usein ajatellaan, että toiminnan vaikutukset ovat tärkeitä etenkin palvelujen rahoittajien näkökulmasta. Hyötynäkökoh- ta on kuitenkin erittäin keskeinen myös palvelujen käyttäjille. Annettujen palvelujen, toteutettujen ohjelmien ja projektien olisi oltava hyödyllisiä so-

    7

    Tuotosten, tulosten ja vaikutusten suhteet

  • Tuloksellisuus ja vaikuttavuus

    • Sirkka Rousun lastensuojelun tuloksellisuutta koskevassa väitöskirjassa (Rousu 2007, 26) tuloksellisuus on kokoava yläkäsite, jonka alakäsitteitä ovat eri näkökulmista tuotetun ja arvioidun tiedon pohjalta organisaation vaikuttavuus, taloudellisuus ja tuottavuus.

    • Tuloksellisuuden arviointi taas tarkoittaa tiedon tuottamisen ja tietoa arvioivan prosessin kokonaisuutta.

    • Vaikuttavuus on palvelutuotannon kykyä aikaansaada kuntalaisten elämäntilanteeseen sellaisia vaikutuksia, jotka joko tyydyttävät kuntalaisten tarpeet tai ainakin täyttävät organisaation asettamat tavoitteet. (Rousu 2007, 122)

  • Sosiaalipalvelujen arviointi kunnissa

    • Katri Vataja, Sakari Kainulainen ja Ilse Julkunen selvittivät arvioinnin ja talousosaamisen tarpeita kunnissa v. 2003

    • Raportti on ilm. FinSocin työpaperina 3/2004

    • antaa tietoa arviointitarpeista ja -tilasta.

  • Vastaajat

    • internetkysely, johon vastasi 167 sosiaalijohtajaa (vastaus% tyydyttävä 37,4 %)

    • aineisto on määrällisesti ja alueellisesti riittävän edustava.

  • Suurimmat kehittämistarpeet

  • Suurimmat kehittämistarpeet

    •vanhustyö 77 mainintaa

    •lastensuojelu 34 mainintaa

    •päivähoito 32 mainintaa

    •kehitysvamma- ja vammaispalvelut 25

    •kotipalvelut 16

    •päihdehuolto 15

    •seudullinen yhteistyö 14

    •mielenterveyspalvelut 7

  • Kehittäminen ja tieto

    • Eniten arviointitietoa tarvittaisiin siis vanhustyön, lastensuojelutyön ja päivähoidon kehittämisen tueksi.

    • Tietoa myös tuotettiin näistä palveluista.

    • Sosiaalijohdon vastauksissa näkyi erityisesti vanhustenhuollon palvelujen lisääntyvä tarve.

  • Arvioinnin tarve on todellinen

    lähde: Vataja ym. 2004, s. 22

  • Kuntakoko ratkaisee

    • työtapojen kehittäminen korostui erityisesti alle 20 000 asukkaan kunnissa.

    • yli 40 000 asukkaan kunnissa korostui voimakkaimmin toiminnan vaikuttavuuden ja taloudellisen tuloksellisuuden varmistaminen.

  • Talous ja vaikuttavuus

    Taulukko 9. Sosiaalipalveluiden suurimmat arviolntftarpeet tulevaisuudessa (0""'132)

    Ikm

    Taloudelliset kysymykset. palveluiden kustannukset ja kustannusvaikutta- 57 vuus Palveluiden vaikuttavuus 46

    Palveluiden tarve ja kohdistaminen

    Palveluiden laatu

    Palveluiden tuottamiseen liittyvät kysymykset

    Kuntien välistä vertailutietoa

    Asiakkaiden tyytyväisyys ja toiveet

    Tietoa erilaisista toimintatavoistaja hyvistä klytännöislä

    17

    16 11

    9

    8

    8

    Vataja ym. 2004, 30

  • Mistä tietoa?

    • Itse tuotettu ja ostettu tieto tärkeää.

    • Vaikuttavuustietoa oli parhaiten saatavilla Stakesista ja Kuntaliitosta, sen sijaan yliopistoista ja ammattikorkeakouluista vain hankalasti.

  • Sotenna-raportti

    Sosiaalialan koulutus-, työvoimatarpeiden ja osaamisen ennakointihanke vuoteen 2015:

    • Sosiaalialan koulutuksen kehittämiseen on käytävä heti, jotta muutoksiin kyetään reagoimaan.

    • Lähihoitajakoulutus on tärkeää koko sosiaalihuollon kannalta.

    15

  • Työmarkkinoiden haasteet

    • Sotenna-raportin (2006) suositukset: ✓ Sosiaalialan työmarkkinoiden ongelmat, ja

    erityisesti sosiaalityöntekijäpula on poistettava.

    ✓ Tiedontuotantoa parannettava.

    16

  • Työvoimavaje

    • Sosiaalialan työpaikkojen vetovoimaisuus tulee olemaan keskeinen hyvinvointipalvelujen tulevaisuutta koskeva kysymys.

    • Palkkojen ja työn epäsuhta ratkaistava. Esim. sosiaalityöntekijöiden palkat jäävät alle suomalaisten keskipalkkojen tason.

  • Tiedontuotanto

    • Sosiaalialan tiedontuotantoa tulee vahvistaa. Ennakoinnista on tehtävä pysyvä osa sosiaalialan tiedontuotantoa. Ruotsin sosiaalialan tiedontuotannon kehittämisohjelma voisi olla esimerkkinä myös meille. Nykyinen tutkimus ei vastaa volyymiltaan alan tiedontarpeita.

  • Sotenna ... • Tutkimus on joiltakin osin

    epätarkoituksenmukaisesti suuntautunutta.

    • Sosiaalipalvelujen ja muun sosiaalihuollon sekä näiden asiakkaiden ongelmat jäävät liian vähälle huomiolle. (sos.työ dominoi).

    • Erityisesti tutkimusta tarvitaan vanhustenhuollon palvelujen kehittämisen tueksi.

  • Sotenna ... • Arviointitutkimusta on lisättävä.

    Arviointitutkimuksen on yllettävä kokonaan uudelle tasolle suomalaisessa julkishallinnossa, kehittämistyössä ja tutkimuksessa. On edettävä vaikutusten systemaattiseen analyysiin sekä kokeellisilla että ei-kokeellisilla asetelmilla. On tehtävä tuottavuusanalyysia ja kustannus- hyötyanalyysia.

  • Haasteita riittää, osin omalaatuisia ...

    • Tietoa siis sekä tarvitaan että myös tuotetaan, tosin ei välttämättä yliopistoissa.

    • Mutta mitä arvioidaan, kun arvioidaan sosiaalihuoltoa? Mistä silloin oikein on kysymys?

Recommended

View more >