Hyödynnetäänkö arviointitietoa

päätöksenteossa? – Kansainvälisestä perspektiivistä

järjestönäkökulmaan

Dosentti Liisa Horelli

Aalto Yliopisto

M/S SOSTE -koulutusristeily 8.-9.10.2014

Hyödynnetäänkö näyttöön perustuvaa

arviointitietoa päätöksenteossa?

1. Minkälaisessa arviointikulttuurissa ja

mistä päätettäessä?

2. Mitä on näyttö tai evidenssi?

3. Miten kansalaiset tai kansalaisjärjestöt

voivat vaikuttaa päätöksentekoon?

Liisa Horelli

International Atlas on Evaluation Cultures (Furubo et al. 2002; Jacob et al.

forthcoming) määrittelevät arv.kulttuurin 9 indikaattorin avulla:

E. monilla aloilla

E. eri tieteissä

E. keskusteluissa

Kansallinen

arviointiseura

E. Valtion laitoksissa

E. Eduskunnassa

Politiikkojen

moninaisuus

E. Korkeimmassa

tarkastusvirastossa

Vaikuttavuus, ei vain

tuotos

HUOM:

Kansalaisääni

puuttuu!

Liisa Horelli

IOCE (International Organization for Cooperation in Evaluation)

http://www.ioce.net/en/index.php käsittää yli 100 kansallista ja alueellista arviointijärjestöä

Kansallisten arviointipoliitikkojen kartoitus (Rosenstein, 2013)

http://gendereval.ning.com/forum/topics/parliamentarians-forum-for-development-

evaluation-publishes

• Kansall. arviointipolitiikka luo periaatteet valtion

arviointitoiminnalle

• 115 maata: 20 on lakisääteinen

arviointipolitiikka, 34 arvioi säännöllisesti ilman

lainsäädäntöä, 23:ssa on kehitteillä, 38:ssa ei

aikeita

• Onko kansallinen arviointipolitiikka

välttämätön vai onko akulttuuri tärkeämpi?

Liisa Horelli

Engaging parliamentarians for an

enabling environment of evaluation (EEE)

• Ideaali: parlamentaarikot käyttävät arviointitietoa lainsäädännössä, budjettiratkaisuissa, hallituksen toiminnan kontrolloinnissa

• Esteet: ajan puute, kansalaisen ääni ei kuulu, teorian ja käytännön välinen kuilu, metodiset puutteet

Mitä on ”näyttö” (evidence)?

• Näyttö ei ole irrallaan sosiaalisesta ja

poliittisesta kontekstista (Mitä, miksi ja

miten haluamme tietää)

• Riippuu siitä, miten vaikutus/vaikuttavuus

määritellään (Rajavaara)

• Arviointiasetelmaan perustuva näytön

hierarkia

www.helsinki.fi/yliopisto

Vaikutusten ja vaikuttavuuden

järkeilytyylit (Rajavaara, 2007)

Vaikutusten ennakointi 2000→

Näyttöperusteinen 1990→

Auditointi 1980→

Vuorovaikutteinen, laadullinen

1980→

Tuloksellisuus 1980→

Tavoiteperusteinen 1960→

Tarveperusteinen 1960→

Kokeellinen 1950→

Tilastollinen 1880→

VAIKUTUS (ex-ante)

VAIKUTTAVUUS (ex-post)

Ian Hacking 2002,

2004)

Arviointiasetelmaan perustuva

näytön hierarkia (Nutley et al. 2013)

1. Systemaattinen katsaus ja meta-

analyysi + laatu

2. Satunnaistetut kontrolloidut kokeet

(RCT)

3. Kohorttitutkimukset

4. Tapaustutkimukset

Mitä tietoa päättäjät käyttävät? (Phil Davies, 2007)

1. Asiantuntijatietoa (konsultit)

2. Mielipiteisiin perustuvaa tietoa (Lobbaajat)

3. Ideologista tietoa (puolueen manifestit)

4. Median näyttöä

5. Internetin näyttöä

6. Maallikoiden tietoa (vaalipiirin kansalaisten)

7. Katutietoa (urbaani legendaa)

8. Tutkimustietoa (= näyttöä kun sen viestiä kannatetaan)

Näyttö osana eri menetelmin tuotettua

”evidenssitaivalta”

• Evidenssimatriisit, joissa vastataan tutkimuskysymyksiin eri menetelmin

• Eri tietolähteiden katsaukset (Pawson)

• Näyttösuunnitelmat (evidence schemes), joissa näyttö syntyy askel askeleelta (tutkimusasetelma, vaikuttavuus, kohderyhmät, systeemin kuvaus)

Vahvistaako arviointi

kansalaisen/kansalaisjärjestön ääntä?

-50 -60 -70 -80 -90 -00

Kokeellinen KonstruktivistinenPragmaattinen

Pluralistinen

II Maailman-

sodan jälki-

mainingit, halu

”järkiperäistää”

maailmaa

Kausaaliset

selitykset,

empiiriset

koeryhmät

Yhteiskunnallinen

politisoituminen ja

reformien tarve

Reformien tulosten

ja vaikutusten

systemaattinen

arviointi

Ympäristöajattelun

ja sosio-kulttuuristen

merkitysten nousu

poliittisuuden rinnalle

YVA, toiminta-

tutkimus, prosessien

arviointi, osallistava

arviointi

Rakennemuutosten

nopeutuminen ja

monimutkaistuminen

sekä tarve

niiden hallintaan

Rakenteiden

arviointi, EU:n

kirjava ohjelma-

perusteinen

arviointitoiminta

Globalisaatio,tarve

hallita kasvavaa

epäselvyyttä sekä

itseohjautuvuuden ja

itseuudistuvuuden

idea

Globalisoitumisen,

innovaatioiden,

itseohjautuvuuden ja

itseuudistuvuuden

sekä verkostoitumisen

arviointi

Ensimmäinen

arviointitutkimuksen

”buumi”

Toinen

arviointitutkimuksen

”buumi”

???

Arviointiparadigmojen aaltoja (Roininen, 2012)

Neljäs aalto: tarkistettu demokraattinen

arviointi (Picciotto, 2014)

2 ulottuvuutta:

• arviointi demokratiassa (rakenteelliset

ratkaisut, avoimuus, NEP, valtioneuvoston

TEA)

• demokratia arvioinnissa (osallistavat

menetelmät, vanha ja uusi demokratia)

Arviointitietoa hyödynnetään

päätöksenteossa vaihtelevasti

• lisää arviointia demokratiaan – avoimuutta

tiedonkulkuun, eril. toimintatapojen

hyväksymistä (vanha ja uusi demokratia

kansalaisaloitteineen)

• lisää demokratiaa arviointiin – koulutusta,

uusia menetelmiä, tilastointitapoja,

”laajennetun näytön” ymmärtämistä

Mutta:

• Missä määrin voidaan

demokraattisenkaan arvioinnin avulla

kaventaa kansalaisten ”vaikuttavan

osallistumisen” ja päätöksenteon

välistä kuilua?

• Entä arviointitieto liikemaailmassa ja

järjestöissä? (esim. Zalando; Soste)

Lähdeluettelo

• Davies, P. (2007) Types of Knowles for Evidence-Based Policy. Presentation to NORFACE Seminar on Evidence and Policy. University of Edinburgh

• Furuby, J-E., Rist, R. & Sandahl, R. (2002) International Atlas of Evaluation. London: Transaction publishers

• Jacob, S., Speer, S. & Furubo, J-E. (Forthcoming) The Institutionalization of Evaluation Matters. Updating the International Atlas of Evaluation 10 Years Later.

• Nutley, S., Powell, A. & Davies, H. (2013) What counts as good evidence? www.alliance-4usefulevidence.org

• Picciotto, R. (forthcoming) Democratic evaluation for the 21st Century. Evaluation.

• Rajavaara, M. (2007) Vaikuttavuusyhteiskunta. Sosiaalisten olojen arvostelusta vaikutusten todentamiseen. Sosiaali- ja terveysturvan julkaisuja 84. Helsinki: Helsingin yliopisto

• Roininen, J. (2012) Alue- ja yhdyskuntasuunnittelun arvioinnin fragmentoitunut luonne ja eheyttäminen. Espoo: Aalto yliopisto

• Rosenstein, B. (2013) Mapping national evaluation policies. http://gendereval.ning.com/forum/topics/parliamentarians-forum-for-development-evaluation-publishes

Kiitos

Liisa.horelli@aalto.fi