vaikutusten arviointi. järjestöjen vaikuttavuusvalmentamo

TIIVISTELMÄ: Järjestöjen Vaikuttavuusvalmentamo

29.-30.10.2016

Saila Tykkyläinen @SailaTy

MODUULI 2

TAVOITE: Kirkastaa yhteiskunnallisten vaikutusten ja vaikutusketjujen analysoinnin lähtökohtia.

Yhteiskunnalliset vaikutukset

Vaikutusten arvioinnin lähtökohdat

Vaikuttavuusmaiseman ja –polkujen kartoitus


Yhteiskunnalliset vaikutukset

Teko Muutos Kerrannaisvaikutus Yksilö

Läheiset

Vertaisyhteisöt

Paikallistalous

Viranomaiset

Työura

Elinajanodote

Verokertymä

Palvelut

Työkyky

Koulutustaso

Kansanterveys

HPI

Naapurusto

Kohde

Koettu terveys


Vaikuttavuustavoite


Vaikuttavuustavoite

Hissipuhe, kiinnostuksen herättäjä ja jaettu tavoite

Kerro se lööpillä!

Vaikutusten arviointi


Vaikutusten arviointi

Vaikutusten mallinnus on tiekartta kohti vaikuttavuustavoitetta. Miksi ja miten ratkaisusi toimii?

Vaikutusten todentamisella ja mittaamisella tutkitaan mallin pätevyyttä.

- Keep it simple and sharp

Vaikutusketju1

- Arvioi vaikutuksia, älä tuotoksia

PANOS (input)

TUOTOS (output)

TULOS (outcome)

VAIKUTUS (impact)

Resurssit: Hlöt

Osaaminen Tilat

Välineet Raha

Partnerit

Määrälliset: Osallistujat

Käyttäjät Laadulliset: Aktiivisuus Motivaatio

Välittömät muutokset

Välilliset muutokset

? ?

Pitkäkestoinen muutos - Mitä olisi tapahtunut joka tapauksessa - Muiden osuus - Drop off

?

TOIMINTA (action)


1

Impact chain, I(A)OOI chain

Työntekijät:

5 opettajaa, opo, liikuntaohjaaja

Vertaisryhmä: 5 oppilasta

Opettajan aikaa vapautuu

opettamiseen

Sovellus käyttöön 50

oppilaalle ja 5 opettajalle

Tarvittaessa ohjataan sote-

palveluihin

Oppimisen tuki 15 oppilaalle, yht. 46 tuntia Konseptin vaikutuksesta

syrjäytymisriskiin: - 60% pääsee viiden vuoden kuluessa työelämään tai opintoihin joka tapauksessa. -II asteen koulujen panos valmistumiseen.

PANOS TUOTOS TULOS VAIKUTUS

Ilmapiiri luokassa paranee

Yhteistyö: kunnan nuorisotyö liikuntaseurat II asteen opisk.

Todennäköisyys II asteen tutkinnon suorittamiseen kasvaa -> syrjäytymisriski pienenee

Uusia kaverisuhteita

45 sovelluksen käyttäjää jakaa

siellä kokemuksiaan ja kannustaa muita

Sosiaalinen oppimissovellus

Rahoitus

TULOS MITTARIT

Oppimistulok-set ja pääsy II

asteen kouluun

Sovelluksen käytön

seuranta

Työrauha-indikaattori

Esseet vapaa-ajasta

Lintsaaminen vähenee

35 oppilaan oppimistulokset

paranevat

Opettajien työhyvinvointi

paranee

Oppilaiden myönteisyys

lisääntyy

e€€

Kielteinen vaikutus: Lyhyellä aikavälillä kunnan sote-palveluiden käyttö kasvaa

ESIMERKKI: Oppimistulosten parantaminen yläkoulussa

Tilat: koulu, nuokkari ja

liikuntapaikat

25-30 nuorta pelaa viikoittain

yhdessä

Uusia nuoria saadaan

harrastusten pariin

Opiskelumotivaatio paranee

e€€

II asteen opiskelijoiden

tapaamisia

Sosiaaliset taidot

paranevat

Oppilaan ja opettajan

arvio


Välitön m. Välillinen m.

Sidosryhmänäkökulma mallintamiseen

OPPIMIS-KONSEPTI

PANOKSET TUOTOKSET TULOKSET VAIKUTUS

Oppilaat & Vanhemmat

Koulu: Tilat Työntekijät

Kunta: Tilat Työntekijät SIB-rahoitus

Sovellus

Oppimisen tuki

Palveluiden käyttö

Palveluohjaus

Työajan käyttö Työhyvinvointi Opetuksen laatu

+ Poliisin resurssit - Palveluiden käyttö lisääntyy

Op. motivaatio Op. tulokset Sos. suhteet ja taidot

Harrastaja-määrät

Vapaa-aika

II asteen koulutus Elinkaaritulot Tyytyväisyys elämään

Tuloksellisuus Sairauspoissaolot Tuottavuus

Vähemmän NEET-nuoria Palveluiden käyttö Sakkomaksut Kunnallisverot

Säästöt ja tulot

Inhimillinen lisäarvo

Organisaatio- ja prosessihyödyt


Arvioinnin tavoitetaso

Kaksi koulukuntaa: 1. Tulosten kartoitus riittävä taso

Painotus subjektiivisesti merkittävässä tiedossa ja osallistuvassa arvioinnissa.

Vertailtavuus kyseenalaista.

2. Oman toiminnan vaikutusten osuus selvitettävissä Kuinka suuri osa muutoksesta on ansiotasi: mitä olisi tapahtunut joka

tapauksessa (deadweight), mikä oli jonkun toisen osuus (attribution), vaikutusten vaimeneminen ajan myötä (drop off).

Objektiivinen vertailtavuus on tavoite. Kokeelliset tutkimusasetelmat tyypillisiä.


Vaikutusketju arvioinnin välineenä

PANOS TUOTOS TULOS VAIKUTUS


TAVOITE TARVE

Kenen tarpeeseen arvioitava konsepti vastaa?

Mikä on arviotavan konseptin tavoite?

Tulosten ja vaikutusten suhde panoksiin ja toiminnan tavoitteisiin

- Arvioinnin ja arvioitavan konseptit tavoitteet kirkkaiksi!

Oletukset Oletukset Oletukset

VAIKUTTAVUUS


TARVE

TAVOITE

MALLI

TIEDON-KERUU

ANALYY-SI

PÄÄTÖK-SET

1.

2.

3.

4.

UUSI TARVE

UUSI TAVOITE

HIOTTU MALLI

Vaikutusten arvioinnin kierre

Kohti vaikuttavuustavoitetta

Segmentointi

Hyödynsaajien näkökulma

Kuka hyötyy välittömästi ja eniten?

Millaisia he ovat; kuinka monta, tausta, lähtötilanne.

Minkälaiset tulevaisuudennäkymät heillä on?

Kenen elämään välittömät hyödynsaajat vaikuttavat?


Organisaation vaikuttavuus


Tunne ympäristösi

VAI


MODUULI 3


TAVOITE: Vakuuttavan, loogisen ja testattavan vaikutusmallin perusteet.

Mallintamisen merkitys

Kaksi näkökulmaa mallintamiseen: vaikutuspuu ja vaikutustarina

Malleista mittareihin

Mallinnus on tärkeää…

Nuku yösi hyvin: toimiihan ratkaisusi? Kehittämistyö, työntekijöiden motivointi

Tietävätkö muut, että se toimii? Viestintä, lobbaus ja rahoittajat

Malli on mittareiden perusta


- Ei järkeviä mittareita ilman hyvää mallia

…mutta kaikkein tärkeintä on aloittaa!


RUNKO: PALVELULUPAUS

LEHVÄSTÖ: VAIKUTUKSET

Yksilötason muutokset

Kerrannais-vaikutukset

JUURET: MIHIN VAIKUTETTAVA?

RAVINTEET: TOIMENPITEET

Edellytykset Riskit

Vaikutuspuu


Copyright Saila Tykkyläinen, Antti Honkasalo

RUNKO: PALVELULUPAUS

LEHVÄSTÖ: VAIKUTUKSET

Yksilötason muutokset

Kerrannais-vaikutukset

JUURET: MIHIN VAIKUTETTAVA?

RAVINTEET: TOIMENPITEET

Copyright Saila Tykkyläinen, Antti Honkasalo

ESIMERKKI: Nuorten huono-osaisuuden lievittäminen asumisessa

Edellytykset Riskit

Nuori saa henkilökohtaista tukea ja tuntee kuuluvansa aktiiviseen taloyhteisöön

Ammattitaito Nuoren motivaatio

Toimeentulo

Elämäntavat Luottamus

Talouden hallinta paranee

Ihmissuhteet

Osallistuminen

Yhteisön Inklusiivisuus

Velkakierre katkeaa

Asunnottomuus-riski pienenee

Henkinen ja fyysinen terveys kohenee

Työkyky paranee

Ennenaikainen kuolleisuus pienenee

Työ- ja op. valmiudet

vahvistuvat

Palveluiden käyttö vähenee

Kiinnittyminen taloyhteisöön

Tulevaisuuden usko kohenee

Kokemuksia puun käytöstä

Hyvä malli syntyy vain kun palvelulupaus on tarkka ja terävä.

Kannattaisiko tehdä vaikutuspuumetsä: puu / hyödynsaaja- tai asiakasryhmä?

Tosin ….

Sopii myös taustoitus- ja suunnittelutyön jäsentämiseen.

Laajasta näkymästä on helppo pistää oksasakset viuhumaan ja puristaa puu vaikkapa vaikutusketjuksi.


Mittaristo

Hyvä mittari... mittaa sitä mikä on tärkeintä. mittaa sitä mitä on tarkoitus (validiteetti). on ymmärrettävä tärkeimpien sidosryhmien näkökulmasta. perustuu arjessa kertyvään tietoon, jos vain mahdollista. tuottaa vertailukelpoista tietoa.

Hyvä mittaristo… seuraa ja todentaa matkaa kohti valittua vaikutustavoitetta. kattaa erilaisia aikajänteitä. tuottaa tietoa monien sidosryhmien näkökulmista. sisältää sekä subjektiivisia että objektiivisia mittareita. auttaa kehittämään toimintaa


- Mittaa muutosten suuntaa, suuruutta ja kestävyyttä


Vaikutustarina Tarinat ja tarinallistaminen kiinteä osa ihmisen identiteetin rakentamista ja sosiaalista maailmaa. Tarinalla on alku ja loppu Tarinan tapahtumia yhdistää juoni Usein tarina henkilöidään

Vaikuttavuutta mallinnettaessa ja viestittäessä: Hallittava ajanjakso tietyn hyödynsaajien arkkityyppiä,

”keskiarvoa”, edustavan ihmisen elämäntarinasta ja –tilanteesta.

Muista taustoittaa! Minkälainen henkilön tausta ja tilanne on. Tarinan muutoskohtiin kiinnitetään tilasto- / kustannus- /

hyötyjä kuvaavaa tietoa.


Esimerkki vaikutustarinasta

Lähde: Talentia

KIITOS


vaikutusten arviointi. järjestöjen vaikuttavuusvalmentamo

Government & Nonprofit