arviointitutkimus osana nuorisotutkimuksen … · 7. stufflebeam, daniel l., “the cipp model for...

NuorisotutkimusverkostoNuorisotutkimusseura

ARVIOINTITUTKIMUS OSANANUORISOTUTKIMUKSEN

TYÖKENTTÄÄ

Merja Kylmäkoski

Taitto: Milla Koski© Nuorisotutkimusseura ja Merja Kylmäkoski

Nuorisotutkimusverkosto/Nuorisotutkimusseura

ISBN: 952-5464-02-4 (PDF)

Helsinki 2003

Julkaisujen tilaukset:NuorisotutkimusverkostoOlympiastadion, Eteläkaarre00250 Helsinkip. 09-348 24326fax. 09-454 4837sähköposti: [email protected]

SISÄLLYS

Johdanto 4

I Mitä on arviointitutkimusNuori tutkimusala 6Arviointitutkijan paikka 9

II Arviointitutkimus ja kenttätyöTutkijan rooli Tampereen KOHO-projektissa 23Tutkijaroolin onnistumisen eväät 28Nuorten haastattelut 31Muut haastatteluaineistot 48

III Arviointitutkimuksen kehityslinjojaLaadun arviointi 53BSC-mallin hyödyntämismahdollisuudetarvioinnissa 57Projektin tulosten konkretisointi 64Arviointitutkimus ja poliittinen päätöksenteko 65Arvioinnin uskottavuus 70

Lopuksi 72

Lähteet 74

JOHDANTO

Toimin vuosina 2001–2002 Nuorisotutkimusverkoston rahoituksellaulkopuolisena arviointitutkijana Tampereella 2001–2002 toiminees-sa kaksivuotisessa KOHO-projektissa. Tämä teksti pohjautuu ko-kemuksiini KOHO-projektin arvioitsijana ja kokemuksistani nous-seisiin ajatuksiin arviointitutkimuksesta nuorisotutkimuksen osa-alu-eena.

Kun aloitin työni, minua askarrutti, miten nuorisotutkimuksen si-sällä tehtävä arviointitutkimus mahdollisesti eroaisi muusta arvioin-titutkimuksesta. Työni alkuvaiheessa toivoin, että pystyisin muotoi-lemaan joitakin yleispäteviä ohjeita arviointitutkijan roolin rakenta-misesta kenttätyössä tai kirjoittamaan “arviointitutkimuksen aapis-kirjan” arviointia aloittelevan nuorisotutkijan tueksi, mutta mitä pi-demmälle työni eteni sitä vaikeammalta yleistysten tekeminen alkoituntua. Päädyin pohtimaan haastattelutilanteita ja yleensäkin ihmis-ten kanssa työskentelyä sekä sitä, miten tutkija käyttää omaa per-soonallisuuttaan työvälineenä. Jälkeenpäin arviointitutkimuskokemus-tani puntaroidessani keskeisin tutkijan työn onnistumisen edellytyson mielestäni, että tutkijan roolista on selvästi sovittu asianosaistenkanssa jo ennen tutkijan työn alkamista. Tutkijan kenttätyöskente-lyn menestyksellisyyden osalta taas on tärkeää osata ja jaksaa kuun-nella nuoria ja heidän parissaan työskenteleviä. Raporttia kirjoitet-taessa on pyrittävä olemaan mahdollisimman totuudenmukainen, re-hellinen, tasapuolinen ja oikeudenmukainen. Onnistumiset ja osaa-minen on raportoitava, mutta myös ongelmat ja epäkohdat on kirjat-tava: ei ole peilin vika, jos kuva ei ole kaunis. Arviointitutkijan työs-sä – kuten monessa muussakin ihmisten parissa tehtävässä työssä– vastaanvoi tullahyvinkinyllättäviä jahankaliakin tilanteita.Arvioitsi-

JOHDANTO

4

5

jan on koetettava selviytyä niistä noudattamalla ammattietiikkaa,käyttämällä maalaisjärkeä ja tekemällä parhaansa.

Seuraavilla sivuilla pyrin ensin selvittämään lyhyesti, mistä arvi-ointitutkimuksessa on kyse esittelemällä tutkimusalan eräiden kes-keisten kirjoittajien1 osittain vastakkaisiakin näkemyksiä arviointi-tutkimuksesta ja arviointitutkijan roolista. Ensimmäisen osion tavoit-teena on tarjota arviointitutkimukseen perehtymättömälle lukijalleperustiedot tutkimusalasta ja johdattaa hänet lähteille. Arviointitut-kimukseen jo entuudestaan syventyneet lukijat voivat lukea tekstinensimmäisen osion kursorisesti. Tekstin toisessa, empiirisessä osassakäsitellään tutkijan roolin määrittelyä ja (seuranta)haastatteluidentekemistä. Tekstin kolmannessa osassa pohditaan nuorisotutkimuk-sen sisällä tehtävän arviointitutkimuksen kehittämistä esittelemälläosa-alueita, joilla kehitystyötä voitaisiin tehdä. Tässä osassa käsitel-lään myös arviointitutkijoiden ja päätöksentekijöiden välistä työnja-koa. Tekstin lopussa pyritään vielä luonnostelemaan joitakin toimen-pidesuosituksia.

1. So. lähinnä Michael S. Scriven, Daniel Stufflebeam, Robert E. Stake, David M.Fetterman, Egon G. Guba, Yvonna S. Lincoln, Michael Quinn Patton, Peter H. Rossija Howard E. Freeman.

6

MITÄ ON ARVIOINTITUTKIMUS?

I MITÄ ON ARVIOINTITUTKIMUS?

Nuori tutkimusala

On olemassa hyvin monenlaista arviointia. Nuorisotutkimuksenkinpiirissä arvioinnilla voidaan tarkoittaa esimerkiksi akateemisen op-pineisuuden arviointia tai nuorison parissa työskentelevien toimijoi-den tai hankkeiden arviointia. Tässä tekstissä arvioinnilla tarkoite-taan jälkimmäistä arvioinnin lajia. Projektiarvioinnin kysyntä on var-sinkin ESR-hankkeiden myötä lisääntynyt nuorisotutkimuksessa.Nuorisotutkimuksessa tehtävää akateemisen oppineisuuden arvioin-tia, so. lähinnä opinnäytetöiden ja akateemisten tutkimusten arvioin-tia, ei tässä tarkastella. Puhuttaessa esimerkiksi nuorille tarkoitettu-jen hankkeiden arvioinnista arviointi ymmärretään useimmiten sek-toritutkimukseksi, jota pidetään varsinaista tieteellistä tutkimustavaatimattomampana tutkimuksen lajina. Tämä on seurausta arvi-oinnille asetettavista käytännön tiedontarpeen ja sovellettavuudenvaatimuksista, jotka juontavat juurensa tieteenalan syntyhistoriasta.

Arviointi- tai evaluaatiotutkimuksen ensimmäinen tuleminen liit-tyy 1960–70-lukujen2 suunnitteluoptimismiin Yhdysvalloissa. Suo-meen arviointitutkimus tuli 1970-luvulla, jolloin sitä alettiin soveltaa

2. Madaus, Stufflebeam ja Scriven huomauttavat, että huolimatta siitä, että arviointi-buumi nousi vasta 1960-luvun lopulla arvioinnilla on pitkä historia, joka ulottuu1800-luvulle saakka. He nimittävät arvioinnin historian ensimmäistä vaihetta (1800–1900) reformaation ajaksi. Tällöin Iso-Britanniassa ja Yhdysvalloissa pyrittiin uudis-tamaan opetustoimea ja sosiaalitoimea: koulutoimen tarkastajat vierailivat vuosit-tain kouluissa ja raportoivat havaintojaan ja sosiaaliohjelmia arvioitiin komissioissaja kuulemistilaisuuksissa. (Madaus, George F. – Daniel Stufflebeam – Michael S. Scri-ven, “Programme Evaluation: A Historical Overview” teoksessa Madaus, George F. –Daniel Stufflebeam – Michael S. Scriven (eds.), Evaluation Models. Viewpoints on

7

opetusalalla.3 Arviointitutkimus on siis varsin nuori ja edelleen voi-makkaasti kehittyvä tieteenala. Arviointitutkimus on, kuten MichaelScriven toteaa, syntynyt arviointikäytännön ja tieteen liitosta kivuli-aasti. Tämä käytännön ja teorian kohtaaminen on aiheuttanut arvi-ointitieteelle tiettyä identiteettikriisiä sen suhteen, kumpaan maail-maan arviointi kuuluu.4 Tästä syystä Suomessakin on esiintynyt ra-jankäyntiä sen suhteen, onko arviointi tieteellistä tutkimusta vai ei.Kuten Petri Virtanen toteaa, tämän kiistelyn mielekkyys on kuiten-kin kyseenalaista.5

Edellä esitetyn Scrivenin määritelmän mukaan puhuttaessa ar-vioinnista tieteenalana arvioinnissa on kyse “entiteettien ansion (merit)ja arvon (worth) määrittelemisestä ja arvioinnit ovat tämän proses-sin tulos”6, toisin sanoen jotakin nuorisoprojektia arvioitaessa onpyrittävä selvittämään toiminnan ansiot ja heikkoudet suhteessa toi-siin toimintavaihtoehtoihin ja vastaaviin projekteihin sekä projektinmerkitys kyseisessä kontekstissa. Scrivenin määritelmä ei kuiten-kaan ole ainoa tapa määritellä arviointitutkimus, vaan se voidaanmääritellä esimerkiksi Stufflebeamin tavoin “prosessiksi, jollahankitaan hyödyllistä informaatiota päätöksentekoa varten.”7 Rossinja Freemanin usein lainatussa evaluaatio-oppikirjassa puolestaan

Education and Human Services Evaluation. Kluwer-Nijhoff Publishing 1983, 4–6.)Guba ja Lincoln puolestaan nimittävät suurin piirtein vastaavaa jaksoa arvioinninhistoriassa arvioinnin ensimmäiseksi sukupolveksi, jota luonnehti mittaaminen. Tänäajanjaksona käsitteitä mittaaminen (measurement) ja arviointi (evaluation) käytet-tiin synonyymisesti ja molemmat käsitteet esiintyivät usein aihepiiriä käsitelevienkirjojen otsikoissa, joskin käsite “mittaaminen” esiintyi aina ensin nimessä. (Guba,Egon G. – Yvonna S. Lincoln, Fourth Generation Evaluation. Sage Publications1989, 22–26.)

3. Eräsaari, Risto – Tuija Lindqvist – Mikko Mäntysaari – Marketta Rajavaara,Arviointi ja asiantuntijuus. Helsinki 1999, 20–21.4. Scriven, Michael, “Evaluation as a Discipline”, Studies in Educational Evaluation,Vol. 20 1994, 148.5. Virtanen, Petri, “Evaluointia, arviointia vai arviointitutkimusta” Nuorisotutkimus4/1997, 54–55.6. Scriven 1994, 152.7. Stufflebeam, Daniel L., “The CIPP Model for Program Evaluation” teoksessaMadaus, George F. - Michael S. Scriven - Daniel L. Stufflebeam (eds.), EvaluationModels. Viewpoints on Educational and Human Services Evaluation. Kluwer-NijhoffPublishing 1983, 120.

8

arviointitutkimus määritellään “systemaattiseksi yhteiskuntatieteel-listen tutkimusprosessien sovellukseksi sosiaalisten interventio-oh-jelmien käsitteellistämisen, suunnittelun, toteutuksen ja hyödyllisyy-den arvioimiseksi (assessing)”8. Rossin ja Freemanin mukaan arvi-ointitutkimus on yhteiskuntatieteellistä tutkimusta, ja sen tekijöilläon yleensä jonkinlainen yhteiskuntatieteellinen koulutus9. Arviointi-tutkimus on kuitenkin muutakin kuin menetelmien sovellusta Rossinja Freemanin määritelmän mukaan: se on myös poliittista ja mana-geriaalista toimintaa. Se on yksi osatekijä prosessia, jossa tehdäänpoliittisia päätöksiä ja päätetään ihmisten elinoloja parantavien oh-jelmien suunnittelun, toimeenpanon tai jatkon rahoittamisesta.10

Nuorille tarkoitettujen ohjelmien tai projektien arviointi on siis yksiosa nuorisopoliittista päätöksentekoprosessia. Arvioinnit ovat tämänvuoksi politiikanteon välineitä ja siksi niihin kohdistuu monenlaisiaodotuksia, ja arvioitsija voi toisinaan huomata joutuneensa keskellepolitikointia ja erilaisten intressien ristivetoa.

Nuorten keskuudessa tehtävää työtä voidaan arvioida monessaeri vaiheessa ja itse arviointikin voidaan tehdä eri menetelmin taierilaista arviointinäkökulmaa käyttäen.11 Arviointi voi tapahtua hank-keen alkuvaiheessa, jolloin selvitetään ohjelman käynnistämisenehtoja ja sen mielekkyyttä. Arviointi voi myös olla prosessiarvioin-tia, jolloin arvioinnin tavoitteena on tuottaa informaatiota, jonka avullatyöskentelyä voidaan kehittää tai sitten arviointi voi olla summatii-vista hankkeen lopussa tapahtuvaa arviointia. Arvioinnin suoritta-van tutkijan rooli vaihtelee sen mukaan, missä vaiheessa arviointitehdään ja millaisen teoreettisen taustan hän on omaksunut. Tutki-jan kannalta työtehtävä on mielenkiintoisin silloin kun hänellä on

8. Rossi, Peter H., - Howard E. Freeman, Evaluation. A Systematic Approach 5. SagePublications (1979) 1993, 5.9. Emt., 52.10. Emt., 15.11. Myös Virtanen korostaa artikkelissaan arviointitutkimuksen kontekstisidonnai-suutta ja tarvetta soveltaa erilaisia menetelmiä (Virtanen 1997, 55). Ylipäätään yh-teiskuntatieteellisessä (tai humanistisessa) tutkimuksessa kannattaisi pyrkiä ennak-koluulottomampaan menetelmien käyttöön ja niiden innovatiiviseen yhdistämiseen.Sanalla menetelmä, metodi, tarkoitetaan alkuaan tietä, jota pitkin kuljetaan. Mene-


9

mahdollisuus olla mukana projektin kaikissa vaiheissa aina alkuide-oinnista toiminnan lopettamiseen saakka. Tällöin myös hänen roo-linsa määrittely on yleensä selkein. Tämä ei kuitenkaan läheskäänaina ole mahdollista ja usein tutkija saa arvioinnin tehtäväkseen vastahankkeen päättymisvaiheessa.

Arviointitutkijan paikka

telmien avulla tulee voida päästä perille siitä, mitä halutaan selvittää eikä tyytyäselvittämään vain sitä, mikä on yhden menetelmän keinoin mahdollista. Myös MarjaHolmila painottaa arviointitutkimuksen monitieteellistä luonnetta ja siitä seuraavaamonimenetelmällistä lähestymistapaa (vrt. Holmila, Marja, “Evaluaatiotutkimuk-sesta sosiaalitieteissä” teoksessa Paakkunainen, Kari (toim.), Arviointitutkimus januoriso. Tulosvastuusta dynaamiseen nuorisotoimintaan. Nuorisotutkimusverkosto– Nuorisotutkimusseura. Julkaisuja 8/99. Helsinki 1999, 47 ja 48–49).

12. Jaana Lähteenmaan pääkirjoitus, Nuorisotutkimus 1/2002, 1–2.

Roolijaon merkitys

Arvioitsijan roolin huolellinen määrittely suhteessa arvioitavaan pro-jektiin on tärkeää tutkimuksen onnistumisen kannalta. Tutkijan suh-de tutkimuksen kohteena olevaan kenttään on monimutkainen ky-symys, ja kuten Jaana Lähteenmaa Nuorisotutkimus -lehdessä to-teaa, tätä kysymystä ei voitane pohtia liikaa. Eri tutkijat hahmotta-vat suhdettaan tutkittavaan kenttään eri tavoin ja joskus tutkijan jakentän välille muodostuu jännitteitä.12 Mikäli arvioitsijalle itselleenja/tai arvioinnin kohteille on epäselvää, mikä on arvioitsijan suhdeheihin, kasvaa arvioitsijan ja arvioitavien välisten konfliktien toden-näköisyys. Esimerkiksi syksyllä 2001 Helsingissä pidetyssä, Nuori-sotutkimusverkoston järjestämässä TUHTI-seminaarissa leimahtitutkijoiden ja kentän välinen jännite odottamatta liekeiksi. Osa ken-tän toimijoista piti tutkijoita oman työnsä tekemisen kannalta tar-peettomina. Tutkijan läsnäolosta ei katsottu olevan hyötyä päivittäi-sessä työssä, jos tutkija ei tee kentän toimijan rinnalla samaa käy-tännön työtä. Tutkijapuolella taas tuotiin julki tuntemuksia, joiden

10

mukaan kenttäväki ei suvaitse toimintansa rakentavaakaan kritisoin-tia ja pettymystä siitä, että tutkijoiden tutkimuksillaan kenttäväelletuomasta julkisuudesta ja sitä kautta rahoituksesta ei kiitosta ainaole kuulunut. Konfliktin pohjalta on löydettävissä epätietoisuus siitä,mitä tutkija oikeastaan tekee kentällä ja mikä on hänen työnsä ken-tän toimijoille ja käytännön hankkeille tuoma lisäarvo.

Arvioitsijan ja arvioinnin kohteena olevien väliset konfliktit ovatyleismaailmallisesti tunnettu ilmiö ja melkeinpä väistämättömiä. Tämäon seurausta siitä, että arvioinnin kohteena olevassa pienimuotoi-sessakin toiminnassa on aina mukana osakkaita, joiden edut ovatjoissakin asioissa ristiriitaisia ja oli arvioinnin tulos mikä hyvänsä,niin kaikki eivät ole siihen tyytyväisiä. Arvioinnin tekeminen edellyt-tää päätelmien tekoa ja jotkut asianosaiset saattavat kokea arvioit-sijan objektiiviset päätelmät kritiikiksi.13 Toisinaan konflikteja saat-taa syntyä myös arvioitsijan ja arvioinnin ostajan välille. Näin saat-taa käydä, jos arvioinnin tulokset eivät tue heidän kannattamaansapolitiikkaa tai ohjelmia. Tällöin arvioitsija joutuu hyvin vaikeaan ti-lanteeseen, koska erimielisyydet arvioinnin tilaajan kanssa saatta-vat jatkossa vaikeuttaa arvioitsijan mahdollisuuksia saada uusia ar-viointitehtäviä.14 Tästä syystä arvioitsijalla olisi hyvä olla jokin taus-tayhteisö, joka voisi tarvittaessa pehmentää konfliktia. Arviointiatekevien nuorisotutkijoiden osalta on onnekasta, että monet arvioin-titoimeksiannot tulevat Nuorisotutkimusverkoston välityksellä. Täl-löin arvioitsijaan kohdistuva paine on pienempi kuin jos hän olisi puh-taasti freelance-arvioitsija. Suomalaisen nuorisotyön arviointia olisi-kin järkevää koordinoida entistä enemmän Nuorisotutkimusverkos-ton kautta. Tästä hyötyisivät myös arvioinnin kohteet ja niiden tilaa-jat: Nuorisotutkimusverkoston toimiessa arviointitutkijan kriittisenäkeskustelufoorumina arviointitutkimukset ovat samalla automaatti-sesti akateemisen kritiikin ja arvioinnin piirissä.

13. Rossi – Freeman 1993, 407.

14. Emt., 410.


11

Ulkopuolinen ja sisäinen arvioitsija

Arvioitsijan roolista projektissa on keskusteltu paljon arviointitutki-muksessa. Yksinkertaisin roolijako on määritellä arvioitsija joko ul-kopuoliseksi tai sisäiseksi arvioitsijaksi. Rossin ja Freemanin mu-kaan sekä ulkopuolisen että sisäisen arvioitsijan roolissa on etunsa,mutta olennaisinta on, että arvioitsijalla itsellään sekä arvioinnin koh-teilla ja tilaajilla on selkeä käsitys siitä, mikä arvioitsijan rooli onsuhteessa arvioinnin kohteeseen.15 KOHO-projektissa rooliksenimääriteltiin yhteisesti ulkopuolinen arvioitsija. Kokemukseni perus-teella tämä oli onnistunut määrittely, sillä ulkopuolisuus osoittautuihyväksi tutkijan strategiseksi ominaisuudeksi, joka antoi toimintati-laa arviointityölle.

Edellisen perusjaottelun lisäksi arviointitutkijan rooleja on luoki-teltu muillakin tavoin eri lähteissä. Esimerkiksi Eleanor Chelimskykokoaa tutkimuskirjallisuudessa käytyä keskustelua tutkijan roolistakolmen eri perspektiivin avulla: 1) tuloksellisuusperspektiivi (accoun-tability perspective), jossa arviointia tehdään tulosten tai tehokkuu-den mittaamiseksi, 2) kehitysperspektiivi (development perspecti-ve), jossa arvioinnin avulla pyritään vahvistamaan instituutioita ja 3)tietoperspective (knowledge perspective), jossa arvioinnilla pyritäänjonkin tietyn alueen tai alan perusteellisempaan ymmärrykseen.Näistä ensimmäinen tuottaa tietoa julkisen tai yksityisen sektorinpäätöksentekijöille. Toisinaan tuotettu informaatio saattaa olla hy-vinkin yksinkertaista ja rajoittua pelkästään toiminnan dokumentointiintai toteamukseen, saatiinko uusin keinoin aikaan muutosta vai ei.Tavallisesti kuitenkin tavoitteena on osoittaa, mistä tekijöistä muu-toksen aikaansaaminen on riippuvainen. Tehokkuutta mitattaessapuolestaan vertaillaan kustannuksia samaan tai samankaltaiseenohjelmaan tai tuotteeseen. Kehitysperspektiiviä käytetään arvioin-nissa parantamaan organisaation suorituskykyä. Toisinaan tätä pers-pektiiviä edustavat arvioitsijat voivat vaikuttaa pikemminkin arvioin-tikonsulteilta kuin arvioitsijoilta. Tietoperspektiivistä nousevalla ar-

15. Emt., 438–439.

12

vioinnilla taas pyritään synnyttämään syvempää ymmärrystä ja se-lityksiä. Tärkeä tavoite tässä perspektiivissä on lisätä tietämystäongelmien taustalla olevista tekijöistä ja ehdotettujen ratkaisujen to-dennäköisestä toimivuudesta. Lisäksi pyritään avaamaan toteute-tun intervention taustalla olevaa teoriaa ja logiikkaa tai niiden puu-tetta.16

Arviointitutkijoista Fetterman edustaa kehitysperspektiivistä nou-sevaa näkemystä arvioitsijasta partnerina. Scriven puolestaan edus-taa vastakkaista tuloksellisuusperspektiiviin perustuvaa näkemystä,jonka mukaan arvioitsijan on säilytettävä itsenäisyytensä ja riittäväetäisyys voidakseen olla objektiivinen arvioitsija. Stake puolestaanedustaa jonkinlaista välittävää kantaa näiden kahden näkemyksenvälissä: arvioitsija on arviointikohteessaan vieras, joka tekee työnsähuolellisesti, empaattisesti ja hienotunteisesti, mutta joka ei avustakehitystyössä.17 KOHO-projektin arviointikokemukseni osoitti, ettäyhden projektin arviointiin kuului monenlaisia vaiheita, jotka edellyt-tivät erilaisten perspektiivien käyttöä. Kaksi vuotta kestäneessäKOHO-arvioinnissa käytin kaikkia edellä mainittuja kolmea perspek-tiiviä arvioinnin kuluessa. Kehitys- ja tietoperspektiivin merkityskorostui tehdessäni prosessiarviointia ja vastaavasti tuloksellisuusperspektiivin merkitys painottui loppuarvioinnissa. Näkökulman vaih-taminen työn edetessä oli tarkoituksenmukaista projektin kokonais-arvioinnin kannalta. Koin perspektiivin vaihtamisen avulla onnistu-neeni nostamaan esiin projektin eri osakkaiden näkemyksiä ja luo-maan konsensusta projektin osakkaiden näkemysten välille (tästätarkemmin luvussa “Tutkijan rooli Tampereen KOHO-projektissa”).Itse toimin ulkopuolisena arvioitsijana, mutta edellä esitellyilläperspektiiveillä voidaan luonnehtia myös sisäisen arvioitsijan roolia.Tyypillisin sisäisen arvioitsijan käyttämä perspektiivi on kehityspers-pektiivi.

16. Chelimsky, Eleanor, “The Coming of Transformations in Evaluation” teoksessaChelimsky, Eleanor – William R. Shadish (eds.), Evaluation for the 21st Century. AHandbook. Sage 1997, 10–14.

17. Emt., 18–19.


13

Yhteen perspektiiviin sitoutumisesta on arvioitsijan roolille muunmuassa seuraavia seurauksia: Tietoperspektiivistä ja varsinkin tu-losvastuullisuusperspektiivistä lähtevien arvioitsijoiden rooli arvioin-nin kohteesta jää etäiseksi ja heidän voi olla vaikea saavuttaa arvioin-nin kohteiden hyväksyntää, mutta vastaavasti näiden perspektiivienedustajien objektiivisuutta voidaan pitää korkeana ja heillä voi ollapaljon vaikutusvaltaa poliittisessa keskustelussa. Kehitysperspektii-vin edustajat puolestaan pääsevät läheiseen kontaktiin kohteidensakanssa tai voivat olla osana tiimiä ja tiimi hyväksyy heidät helposti,koska heitä ei koeta uhkana, mutta heidän objektiivisuutensa ja vai-kutusvaltansa poliittiseen debattiin on epävarmaa, koska heidän ase-mansa ei ole kovin itsenäinen.18

David M. Fetterman ajatukset asettuvat edellä kuvattuun kehi-tysperspektiiviin arviointitutkimuksen kentässä. Fetterman puolus-taa innovatiivista lähestymistapaa arviointiin, jossa ohjelman osalli-set ja asiakkaat tekevät arviointia itse (empowerment evaluation).Tässä on kyse nimenomaan ryhmän tekemästä arvioinnista, jonkavalta ei ole peräisin arvioitsijalta vaan ryhmältä itseltään. Tutkijatoimii tämän läpeensä demokraattisen prosessin valmentajana ja hel-pottajana.19 Ryhmä on kokonaisuudessaan vastuussa arvioinnista,ja arvioitsija on tässä hankkeessa muiden kanssa tasavertainen; hänon ’kriittinen ystävä’, joka voi kyseenalaistaa ryhmän ajattelua.20

Fetterman ei kuitenkaan katso ryhmän jäsenten itsensä tekemänarvioinnin sulkevan pois perinteistä arviointia, vaan pitää niitä kes-kenään vaihdettavina. Perinteinen, ulkoinen arviointi voi toimia ryh-män oman arvioinnin tukena tuomalla ryhmän avuksi ulkopuolisennäkökulman ja vaikkapa auttamalla erilaisten toimintojen ansioidenja arvon määrittelyssä. Nämä kaksi arvioinnin lajia eivät ole toisiaanpoissulkevia, mutta ulkopuolisen arvioinnin mukana olo ei ole edel-lytys ryhmän itsensä tekemälle arvioinnille.21 Fettermanin kuvaa-

18. Emt., 21.19. Fetterman, David M., “Empowerment Evaluation and Accreditation in HigherEducation” teoksessa Chelimsky, Eleanor – William R. Shadish (eds.), Evaluation forthe 21st Century. A Handbook. Sage 1997, 382.20. Emt., 388.

21. Emt., 389.

14

man lähestymistavan voidaan katsoa olevan varsin lähellä toiminta-tutkimusta22, jossa kaikki ryhmän jäsenet toimivat tutkijoina tutkijanruokkiessa keskustelua. Toisaalta Fettermanin lähestymistapaa voimyös kritisoida kysymällä, miten hänen lähestymistapansa eroaakonsultin työstä vai eroaako se lainkaan. Ainakin Fettermanin taan-noisen demonstraation23 perusteella Fettermanin työskentelytapavaikuttaa huomattavasti enemmän henkilöstökouluttajan kuinarvioitsi-jan työmenetelmältä.

Robert E. Staken näkemys arvioitsijan roolista asettuu jonnekinFettermanin ja Scrivenin24 väliin. Hän hyväksyy Jennifer Greenenväitteen, jonka mukaan arvioinnille on luontaista kampanjoida jonkinkäsityksen puolesta, kyse on vain siitä, kenen tai keiden käsitystäpuolustetaan.25 Stake valaisee kantaansa käyttämällä esimerkkinäerästä omista arviointikokemuksistaan. Rooliaan arvioitsijana Stakerinnastaa vieraaseen, joka on kosketuksissa henkilökunnan kanssaja joka haluaa tehdä työnsä hienotunteisesti, empaattisesti ja huolel-la. Samanaikaisesti kuitenkin hänen tiiminsä teki työtä löytääkseenja ymmärtääkseen laatua. He eivät avustaneet toiminnan paranta-misessa tai pitäneet itseään uudistuksen yhteistyökumppaneina.Heidän tehtävänsä oli auttaa erityisesti laadun ja siihen liittyvienoperaatioiden itseymmärryksen kasvattamisessa. He tuottivat yksi-tyiskohtaista tietoa ansioista ja heikkouksista sekä tulkitsivat ja kes-kustelivat asioista.26 Loppuraportissaan Stake ryhmineen päätyikorostamaan toiminnan vahvuuksia suhteessa sen heikkouksiin.Vääristä valinnoista raportoitiin yksityisemmin, kun taas vahvuuk-sista kerrottiin laajemmallekin yleisölle. Kaiken kaikkiaan loppura-

22. Toimintatutkimuksen ja arviointitutkimuksen keskinäisestä suhteesta ks. esim.Holmila 1999, 56–58.23. Fetterman esitteli menetelmäänsä Suomen arviointiyhdistyksen Empowermentthrough evaluation -seminaarissa Helsingissä 25.10.2002.24. Aikaisemmin julkaistussa artikkelissaan Program Evaluation, Particularly Res-ponsive Evalution Stakes kirjoittaa Scrivenin metaevaluaationa esittelemästä pää-määrältään vapaasta arvioinnista (goal-free evalution) kriittisesti ja epäilee, ettäScrivenin arvioitsijalta sensitiivisyyttä, rationaalisuutta ja valppauttava vaativia ar-viointitutkimusasetelmia ei pysty toteuttamaan kukaan Scriveniä itseään lukuun ot-tamatta. (Stake, Robert E., “Program Evaluation, Particularly Responsive Evaluation”


15

portti laadittiin siten, että se ei lisäisi vaikeassa taloudellisessa tilan-teessa olevan tilaajan ahdistusta.27

Staken kertomus arviointiryhmän työstä ja roolista – he eivätpitäneet itseään uudistuksen yhteistyökumppaneina – ja loppurapor-toinnissa tehdyistä painotusvalinnoista on ristiriitainen. Jos arvioitsi-ja päätyy loppuraportissaan esitystapaan, joka ei lisää tilaajan epä-varmuutta, hän on vähintäänkin uudistuksen yhteistyökumppani,vaikka itse sen kieltääkin. Stake kertoo, että hänelle ja hänen ryh-mälleen ei ollut selvää, missä kohdin heidän velvollisuutensa evalu-antteja kohtaan päättyy ja missä velvollisuudet arvioinnin tilaajaakohtaan alkavat.28 Tämä selittää varmasti osin, miksi loppuraportis-ta tuli äärimmäisen hienotunteinen ja miksi asiat haluttiin nähdä par-hain päin. Edelleen Staken käsitys arvioitsijan roolista ja siihen mah-dollisesti sisältyvästä kampanjoinnista vaikuttaa ainakin kyseisenartikkelin osalta ristiriitaiselta ja jäsentymättömältä: huolimatta siitä,että hän artikkelinsa alussa ja omassa arviointiesimerkissään selke-ästi hyväksyy kampanjoinnin osaksi arvioitsijan työtä, hän päättääartikkelinsa kritiikiksi tulkittavaan toteamukseen, jonka mukaan ar-vioitsijat ovat “kietoutuneet kampanjoinnin verkkoon ja ovat tulleetvasten tahtoaan, joskus omasta tahdostaan, pelkästään osaksi edis-tämispyrkimyksiä”29.

Artikkelin päättävä toteamus on linjassa hänen aikaisemmassatekstissään esiintyvän näkemyksen kanssa, jonka mukaan moni ar-vioitsija tiedostamattaan tai tietoisesti päättää korostaa arvioinnis-saan ohjelman käytännön toteuttajien päämääriä tai keskittyy sellai-siin teemoihin ja muuttujiin, joissa ohjelma todennäköisesti suoriutuu

teoksessa Madaus, George F. – Michael S. Scriven – Daniel L. Stufflebeam (eds.),Evaluation Models. Viewpoints on Educational and Human Services Evaluation.Kluwer-Nijhoff Publishing 1983, 290.)25. Stake, Robert E., “Advocacy in Evaluation. A Necessary Evil?” teoksessa Che-limsky, Eleanor – William R. Shadish (eds.), Evaluation for the 21st Century. AHandbook. Sage 1997, 471.26. Emt., 472.27. Emt., 472–473.28. Emt., 473.29. Emt., 475.

16

hyvin, ja tästä syystä tarvitaan metaevaluaatiota huolehtimaan arvioin-nin laadusta.30 Toisin sanoen myös Stake kokee ymmärtäväisensuhtautumisen arvioinnin kohteeseen ongelmalliseksi ja vääristävänarvioinnin tuloksia. Viime kädessä projektin osallistujat joutuvat ti-laajan taloudellisen tilanteen huomioon ottavan hienotunteisen arvi-ointiraportin maksumiehiksi. Myös nuorisotutkimuksen puolella jois-sakin tutkijatapaamisissa on keskusteltu myötätuntoisen arvioinninhaitoista, erityisesti päihdeprojektien kohdalla. Näissä keskusteluis-sa varsinkin päihdetutkijat ovat painottaneet, että huono projekti voiaiheuttaa niin paljon vahinkoa, että on parempi olla kokonaan tarjo-amatta minkäänlaista palvelua kohderyhmälle kuin ohjata heidäthuonoon projektiin.

Michael Scrivenin näkemys arvioitsijan roolista on lähes päin-vastainen Fettermanin ja Stakesin lähtökohdan kanssa. Scriven pai-nottaa totuuden ja objektiivisuuden merkitystä arvioinnissa ja hänennäkemyksensä mukaan ulkopuolisen arvioitsijan, joka ei ole arvioi-tavan ohjelman tms. palkkalistoilla, parhaita ohjenuoria ovat etäi-syyden ottaminen arvioinnin kohteesta ja objektiivisuus.31 Scriveninmukaan painotuksen tulisi olla olemassa olevassa datassa siinä mää-rin, että haastattelut voidaan minimoida tai jopa kokonaan välttää, jasilloinkin kun haastatteluita tehdään, niitä tulisi edeltää huomattavamäärä evaluaatioinformaatiota, joka ei perustu haastatteluihin. Yh-tenä esimerkkinä tällaisesta etäältä tehdystä arvioinnista hän ottaaesiin päämäärältään avoimen arvioinnin (goal-free evalution), jossaarvioitsija ei edes puhu arvioitavan ohjelman henkilöstön kanssa tailue ohjelman suunnitelmaa, vaan keskittyy haastattelemaan ihmisiä,joihin ohjelman tarjoamat palvelut vaikuttavat. Toisinaan haastatel-laan lisäksi osakasotosta.32 Scriven pitää arvioitsijan etäisyyttä ar-vioinnin kohteesta tärkeänä, koska hän pitää mahdollisena, että hen-kilökemiat vaikuttavat kielteisesti arvioitsijan objektiivisuuteen ja

30. Stake 1983, 290.31. Scriven, Michael, “Truth and Objectivity in Evaluation” teoksessa Chelimsky,Eleanor – William R. Shadish (eds.), Evaluation for the 21st Century. A Handbook.Sage 1997, 477–500, ks. erityisesti 481, 486.32. Emt., 484–485.


17

vääristävät arvioinnin lopputulosta joko myönteisemmäksi tai kiel-teisemmäksi kuin mitä se muuten olisi. Lisäksi hän katsoo kanssa-käymisen mahdollistavan painostuksen, joka voi vääristää raport-tia.33 Scrivenin huoli ei varmasti ole aiheeton, sillä projektiarviointiatehneet nuorisotutkijatkin ovat kertoneet projektityöntekijöiden kriit-tistä tutkijaa kohtaan osoittamasta painostavasta arvostelusta tai siitä,miten he ovat tiedostaneet arvionsa lopputuloksen vaikuttavat pro-jektiväen työpaikkojen säilymiseen ja tunteneet huonoa omaatuntoakriittisen loppuraportin jättämisestä. Oman kokemukseni pohjaltaTampereen KOHO-projektin arvioinnista väitän kuitenkin, että asi-alla on toinenkin puoli: jos olisin rajoittanut arviointini pelkästään pro-jektin asiakkaiden ja yhteistyökumppaneiden haastattelemiseen, pro-jektista saamani kriittinen palaute olisi ollut olematonta. Sen sijaanprojektin työntekijöiden haastatteluissa sekä projektin tuottamiendokumenttien ja toiminnan tarkkailun kautta minulle kertyi tietoaprojektin pulmakohdista. Toisinaan työntekijöiden harjoittama itse-kritiikki oli paljon ankarampaan kuin mikään kritiikki, jota minä olisinvoinut heidän toiminnastaan esittää muiden haastattelujen pohjalta.Tämä on kuitenkin vain oma kokemukseni eikä välttämättä ole yleis-tettävissä.

33. Emt., 486.

18


Arvioinnin ja konsultoinnin rajankäynti

Scriven katsoo, että sisäisen arvioitsijan rooli on hyvin hankala, kos-ka hän saa palkkansa arvioinnin kohteena olevasta toiminnasta javielä sen lisäksi tämä toiminta muodostaa arvioitsijan sosiaalisenympäristön. Scriven ei pidä tätä yhtälöä täysin ratkaisemattomana,vaikka se onkin valtaisa haaste arvioitsijalle. Hän pitää kuitenkinsisäisen arvioitsijan tuottamaa raporttia ongelmallisena, koska onvaikeaa arvioida, miten pitkälle sisäisen arvioitsijan roolista synty-neet ongelmat on voitu ylittää. Scrivenin mukaan sama kritiikki pä-tee myös ulkoiseen arvioitsijaan, joka yrittää parhaansa mukaan päästäsisälle arvioitavaan ohjelmaan. Scriven myöntää, että hänen kan-tansa ei ole kaikkien arvioitsijoiden hyväksymä, vaan monet arvioit-sijat haluavat auttaa arviointinsa kohdetta ja heille, samoin kuin hei-dän asiakkailleen, henkilöstön tukeminen ja kehittäminen ovat arvioin-tiin kuuluvia tärkeitä päämääriä.34 Scrivenin voi siis katsoa suhtau-tuvan kielteisesti toimintatutkijan tekemään arviointitutkimukseen.

Tämä käsitys vahvistuu tarkasteltaessa Scrivenin näkemystä ar-vioitsijan (evaluator) ja arviointikonsultin (evaluation consultant) roo-lien eroista. Scriven tekee jyrkän eron arvioinnin tekemisen ja arvi-ointiin liittyvien palveluiden tarjoamisen välillä. Mikäli nämä kaksiroolia yhdistyvät, menevät jyvät ja akanat sekaisin ja arvioitsijanuskottavuus kyseenalaistuu. Scrivenin vakaumuksen mukaan am-mattietiikka vaatii näiden kahden roolin erottamista, koska arvioitsi-ja tekee tietyssä mielessä yhteiskunnan kanssa sopimuksen, jossahän saa kohtuullisen vapauden työnsä tekemiseen. Tässä sopimus-suhteessa yhteiskunta voidaan ymmärtää asiakkaaksi erityisesti sil-loin kun hankkeita rahoitetaan lähes aina enemmän tai vähemmänjulkisin varoin. Käytännössä tämä tarkoittaa sitä, että arvioitsijanvelvollisuus on esittää kaikki tuloksensa niiden maksajalle. Hänelläei ole oikeutta sensuroida löydöksiään tai holhota asiakasta esittä-mällä vain sellaisia löydöksiä, joiden kertomista pitää rakentavana.35

Scrivenin kanta on päinvastainen Staken näkemyksen kanssa.36

34. Emt., 487.35. Emt., 491–492.

19

Myös CIPP-mallin kehittäjä Stufflebeam pitää tarpeettomien taihuonosti toimivien ohjelmien puolustamista huonona käytäntönä,koska nämä ohjelmat vievät resursseja paremmin toimivilta ohjel-milta. Stufflebeamin näkemyksen mukaan huonon ohjelman lakkaut-tamista edistävä arviointi edistää samalla parannustyötä.37

Scrivenin ja Staken näkemykset arviointitutkimuksesta ovat kau-kana toisistaan, mutta Scrivenin ja Stufflebeamin ajatukset kohtaa-vat. Vaikka heidänkin näkemyksensä arviointitutkimuksesta vaikut-tivat päällisin puolin hyvin erilaisilta, heillä on myös paljon yhteistä.Erot syntyvät lähinnä menettelytavoissa ja näkökulmissa, muttamolempien menettelytavoilla saavutetut lopputulokset ovat saman-kaltaisia.38 Stufflebeamiä ja Stakea puolestaan yhdistää kiinnostussivuvaikutuksiin ja tahattomiin vaikutuksiin, joihin päästään kiinnitarkastelemalla projektin tuotoksia.39 Näitä positiivia ja/tai negatiivi-sia vaikutuksia voidaan selvittää esimerkiksi järjestämällä osallistu-jien kuulemistilaisuuksia tai ryhmähaastatteluita.40 Tämä näyttäisilähestyvän Scrivenin päämääriltään avointa arviointia (goal-freeevaluation) ainakin jossakin määrin.

Arvioitsijan uskottavuuden ja lahjomattomuuden turvaamiseksiScriven vaatii arvioitsijan ja arviointikonsultin roolin erottamista toi-sistaan siten, että niitä erottaa ainakin muutama vuosi. Omaksi sään-nökseen Scriven kertoo, että hän ei tuota arvioimalleen hankkeellearviointiin liittyviä palveluita ainakaan kolmeen vuoteen arvioinninpäättymisen jälkeen. Scriven listaa kaksi syytä, miksi jotkut arvioit-sijat toimivat toisin. Ensinnäkin arviointi ei tahdo olla taloudellisestikannattavaa toimintaa, jos sen ohella ei tarjota myös konsulttipalve-luita ja toiseksi halu auttaa saa yhdistämään nämä roolit. Scrivenpitää kaikenlaisten kompromissien tekemistä näiden kahden roolinvälillä ongelmallisena, vaikka arvioitsija tuottaisi arviointinsa ohessaarviointikonsultaatiopalveluita ilmaiseksi huolehtien siitä, että hank-

36. Emt., 498.37. Stufflebeam 1983, 118.38. Emt., 123, Scriven 1994, 159.39. Stufflebeam 1983, 122.40. Emt., 134–135.

20

keen päättymisenkään jälkeen raha ei vaihda omistajaa.41 OmassaKOHO-arvioinnissani en pitänyt ongelmallisena arviointiin liittyvienpalveluiden tai palautteen antamista projektille. Osittain syynä olise, että koin tekeväni osin prosessiarviointia42 ja katsoin palautteenantamisen kuuluvan siihen. Toiseksi koin akateemisena arvioitsija-na olevani velvollinen antamaan yliopistolta vaadittavan yleishyödyl-lisyyden hengessä palautetta projektille ennen lopullisen arvioinninvalmistumista, sillä yliopistotutkijana tunnen olevani velvollinen te-kemään ilmaista vapaaehtoistyötä kohtuuden rajoissa, koska suo-malainen yliopistolaitos on pääosin yhteiskunnan rahoittama. Edel-leen tulee muistaa, että Suomessa tutkintonsa suorittanut tutkija onmyös saanut opiskella yliopistossa ilmaiseksi yhteiskunnan tuella:häneltä ei ole vaadittu lukukausimaksuja, kuten esimerkiksi Isossa-Britanniassa tai Yhdysvalloissa opintonsa suorittaneelta tutkijalta.Tästäkin syystä arvioidessani julkisin varoin rahoitettua hankettapidän hyväksyttävänä projektin tukemista antamalla välipalautetta.

41. Scriven 1997, 492–493.42. Pattonin mukaan laadulliset menetelmät soveltuvat erityisen hyvin prosessiarvi-ointiin. Mielenkiinnon kohde on, miten jokin tuote tai tuotos on saatu aikaan eikäniinkään itse tuote. Prosessiarviointi edellyttää ohjelman yksityiskohtaista tunte-musta ja usein myös tietämystä lähellä ohjelmaa olevien ihmisten käsityksistä ohjel-masta ja sen suoriutumisesta. (Patton, Michael Quinn, Qualitative Evaluation Met-hods. Sage Publications, Fourth printing, 1980, 60–62.) KOHO-arvioinnissa puhtain-ta prosessiarviointia oli projektin työntekijöiden työtehtäväkartoitus siihen liittyvi-ne haastatteluineen. Tämän arviointityövaiheen valmistelussa käytettiin myös tilas-tollisia menetelmiä. Mikäli olisin turvautunut pelkkiin laadullisiin menetelmiin, kar-toituksesta saadut tulokset eivät olisi olleet yhtä valaisevia. Ainakin KOHO-arvioin-nissa optimaalisiin tuloksiin pääseminen edellytti sekä laadullisten että tilastollistenmenetelmien käyttöä. Lumijärven määritelmän mukaan prosessiarvioinnilla tarkoi-tetaan yhtä kolmesta hallintotoiminnan arvioinnin perusmuodoista. Kaksi muutaperusmuotoa ovat suoritearviointi ja päätösvaikutusarviointi. Prosessiarviointi jae-taan edelleen päätösperustan eli sisällöllisten ehtojen toteutumisen ja päätössääntö-jen eli menettelytavallisten ehtojen toteutumisen arvioinniksi. Päätöksentekopro-sessia arvioidaan sen perusteella, miten ongelma on hahmotettu ja rajattu, miten erivaihtojen hyödyt ja haitat on analysoitu ja miten perusteellisesti päätösanalyysinedellyttävä tietopohja on hankittu. Edellisten lisäksi prosessiarviointiin voi yhdistyälaadullisen toimivuuden arviointia eli esimerkiksi toimenpiteiden joutuisuutta tai suju-vuutta. Prosessiarvioinnilla voidaan selittää esimerkiksi toiminnan tehottomuutta taiei-aiottuja vaikutuksia. (Lumijärvi, Ismo, Tuloksellisuuden arvioiminen julkisessahallinnossa. Vaasan korkeakoulun julkaisuja. Tutkimuksia No 133. Hallintotiede 6. 2.


21

Myös Rossi ja Freeman näyttävät suhtautuvan välipalautteenantamiseen myönteisesti.43 Rossin ja Freemanin mukaan säännölli-nen arviointipalaute on ohjelmajohtajan parhaita työkaluja ohjelmansaavutusten puolustamisessa verrattaessa sitä muihin vastaaviin oh-jelmiin.44 Henkilökohtaisesti olen hieman kiusaantunut näkemyksestä,että väliaikapalautteella palveltaisiin ohjelman lobbaamista. Luon-nollisesti sitä ei voitane välttää tiedettäessä, millaisia tulospaineitaohjelmajohtajiin kohdistuu, mutta nähdäkseni säännöllisen arviointi-palautteen ensisijainen funktio on kuitenkin tilannetiedotusten anta-minen siitä, miten ohjelma on suoriutunut ja missä kohdin on syytätehdä korjauksia toimintaan tai suunnitelmiin.

Scrivenin esittämä huoli arvioinnin tulosten vinoitumisesta onkuitenkin oikeutettu ja siihen tulee suhtautua vakavasti. ToisaaltaScriven myöntää itsekin, että joissakin tapauksissa arviointi ja tuki-palveluiden yhdistäminen saattaa onnistua, joskin se on “luontaisestiei-toivottavaa” (intrinsically undesirable).45 Scrivenin näkemyksenmukaan arvioitsija onkin, oikeussaliterminologiaa lainaten, “asian-tuntijatodistaja”46, joka kertoo koko totuuden pohtimatta, miten hä-nen todistuksensa vaikuttaa lautamiehiin. Edelleen Scriven pitää vir-heellisenä näkemystä, jonka mukaan formatiiviseen arviointiin si-sältyisi konsultointia, parannusehdotusten esittämistä. KantaansaScriven perustelee sillä, että usein tällaisten parannusehdotustentekeminen edellyttää syvällistä olosuhteiden tuntemista tai laajaateknistä tietämystä, mitä arvioitsijalla ei ole. Sen sijaan formatiivi-sen arvioinnin tehtävänä on antaa palautetta onnistumisesta sekätarkastella hanketta tuorein silmin ja tuoda arviointiteknistä osaa-mista.47 Scrivenin lähtökohdasta tarkasteltuna objektiivisuus ja etäi-

painos. Vaasa 1989, 18–20. Vrt. myös Chemlisky 1997, 11–12.) KOHO-arvioinnissaerityisesti prosessiarviointiin liittyvä laadullisen toimivuuden arviointi oli hyvä arvi-ointityökalu.43. Rossi – Freeman 1993, 417.44. Emt., 35–36.45. Scriven 1997, 495.46. Todettakoon, että myös Rossi ja Freeman nimittävät arvioitsijaaasiantuntijatodistajaksi. (Rossi – Freeman 1993, 417, 420.)

47. Scriven 1997, 499.

22

syyden pitäminen arvioinnin kohteeseen ovat tärkeitä ulkopuolisenarvioitsijan työn onnistumiselle. Näin ollen arvioitsijan määrittelemi-nen ’asiantuntijatodistajaksi’ on loogista. Mikäli totuuden etsintähyväksytään Scrivenin tavoin arvioinnin eettiseksi ohjeeksi, on arvi-oitsijan oltava objektiivinen ja riittävän etäällä arvioinnin kohteista,jotta objektiivisuus ei vaarannu. Siitä miten täydellistä etäisyydenpi-don tulee olla arvioitavista, jotta objektiivisuus ei vaarantuisi ja mis-sä määrin arvioitsija on velvollinen antamaan väliaikapalautetta (taiarviointikonsulttipalveluita) voidaan kuitenkin keskustella. On var-sin inhimillistä ja ymmärrettävää, että jonkin osan arvioinnin valmis-tuttua arvioinnin kohteet haluavat kuulla ja saada käyttöönsä arvi-oinnin tulokset. Annetaanhan kouluissakin jouluna ’välitodistus’ en-nen kevään päättötodistusta. Samoin kurssimuotoisessa lukiossa jokakurssi arvioidaan ennen keväällä annettavaa koko kouluvuotta kos-kevaa todistusta. Kouluissa oppilailla on myös mahdollisuus saadatukiopetusta. Miksi siis hankkeille, joita usein pyöritetään yhteiskun-nan varoin isoilla rahoilla, ei voisi antaa väliaikapalautetta tai tuoret-ta ulkopuolista näkökulmaa pulmakohdissa ennen kuin on jo lopulli-sen tilinpäätöksen aika ja liian myöhäistä tehdä korjauksia? Toisaal-ta voin olla jäävi puolustamaan arviointikonsulttipalveluiden anta-mista arvioinnin ohessa, sillä arvioimani KOHO-projekti osti kon-sulttipalveluita toiselta tutkijalta, joka ei millään tavoin ollut mukanatekemässäni arviointitutkimuksessa, ja näin roolissani ei syntynytristiriitaa arvioitsijan ja konsultin roolien välillä.


23

II ARVIOINTITUTKIMUS JAKENTTÄTYÖ

Tutkijan rooli TampereenKOHO-projektissa

Kuten alussa jo mainitsin, tämä teksti perustuu kokemuksiini Tam-pereen KOHO-projektin arvioitsijana. Tampereen KOHO-projektion osa ESR:n tavoite 3-ohjelmaa ja sen toimintalinjaa 2 (tasa-arvonja yhtäläisten mahdollisuuksien edistäminen). Sen kohderyhmä ontamperelaiset 18–25-vuotiaat nuoret, joilla ei ole ammatillista koulu-tusta, joiden ammattikoulutus on keskeytynyt tai on vaarassa kes-keytyä tai jotka ovat olleet pidempään työttöminä. Projektiin rekry-toitiin loppusyksystä 2000 kolme yksilötyötä tekevää palveluohjaa-jaa (kehityspsykologi, sosiaalityöntekijä ja erikoistyövoimaneuvoja),ohjaavasta koulutuksesta vastaava opettaja/kurssinvetäjä (sosiaali-työntekijä), projektikoordinaattori, työkokeiluohjaaja (toimintatera-peutti) ja osa-aikainen tutkimusapulainen/projektisuunnittelija. Myö-hemmin alkuvuodesta 2001 projektiin palkattiin vahtimestari ja elo-kuussa tiimiä vahvistettiin vielä sosiaalikasvattajalla, joka tuli mu-kaan osa-aikaisena kurssinvetäjän työparina. Projektin keskeisim-mät työvälineet ovat yksilöllinen palveluohjaus, työ- ja toimintaky-vyn kartoitus ja projektin tiloissa pidettävä 22 työpäivää kestäväKOHO-kurssi, jolle valitaan 10 nuorta kerrallaan. Kahden vuodenaikana KOHO-kursseja järjestettiin kaikkiaan 13 kappaletta.

Itse tulin mukaan vasta alkuperäisen rekrytoinnin päätyttyä jatapasin projektin henkilökunnan ensimmäisen kerran 21.12.2000.Tuossa tapaamisessa tutkijan rooliani määriteltiin siten, että tulenprojektiin mukaan riippumattomana ulkopuolisena arvioitsija-na ja tutkijana, joka ei ole taloudellisessa suhteessa projektiin.

24

Edelleen sovittiin, että tutkimukseni ei ole osallistuvaa havainnoin-tia48 ja että työtilani sijaitsee projektin ulkopuolisissa tiloissa yliopis-tolla. Panokseni projektiin on ESR:n edellyttämän seurannan teke-minen ja arviointiraportti. Vastineeksi tästä projektin tarvitsemastaarvioinnista saan49 kerätä ja käyttää projektista koostuvaa materi-aalia Nuorisotutkimusverkostolle tehtävään arviointia käsittelevääntyöhön (käsillä oleva teksti). Onnistumiselleni oli tärkeää taloudelli-nen riippumattomuus ja sen tuoma itsenäisyys projektista sekä fyy-sinen etäisyys. Nämä seikat auttoivat minua erityisesti palautteenkeruussa projektin rekrytointitahoilta ja sijoittumisverkoston edusta-jilta.

Projektin esittämä käsitys arviointitutkijan roolistani käy yksiinoman käsitykseni kanssa riippumattoman ulkopuolisen arvioitsijanroolista. Näkemykseni mukaan arviointia tekevän tutkijan tehtäviinkuuluu projektin toiminnan dokumentointi ja moniulotteinen pereh-tyminen siihen sekä havaintojen raportointi projektille. Perustan nä-kemykseni Guban ja Lincolnin listaukseen arvioitsijan tehtävistä.Karkeasti tiivistäen Guba ja Lincoln esittävät arvioitsijan tehtäväksiprojektin osakkaiden identifioimisen ja heidän tavoitteidensa, huo-lenaiheidensa ja näkemystensä esiintuomisen ja konsensuksen luo-misen eri osakkaiden ja heidän näkemystensä välille.50 Arviointi onpohjimmiltaan oppimista, jossa arvioitsija oppii projektilta ja projekti

48. Osallistumiseni projektin toimintaan olisikin ollut ainakin Pattonin näkökulmas-ta mahdotonta: Patton ymmärtää arvioitsijan osallistuvan havainnoinnin tarkoitta-van arvioitsijan esiintymistä ohjelman asiakkaana ja katsoo ohjelman luonteen jatiettyjen luonnollisten seikkojen rajoittavan arvioitsijan mahdollisuuksia tehdä osal-listuvaa havainnointia. (Patton (1980) 1983, 127–130.) Omalla kohdallani tällainenrajoittava luonnollinen seikka on esim. se, että en kuulu ryhmään 18–25-vuotias.Osallistumiseni projektin henkilöstön päivittäisiin rutiineihin tai käytännön asiakas-työhön olisi yhtä lailla mahdotonta, koska koulutukseni ei siihen sovellu. Kuitenkin,jotta saisin mahdollisimman selkeän käsityksen projektista jo ennen asiakkaidenseurantahaastatteluja, olen vieraillut säännöllisesti projektin tiloissa ja osallistunutvaltaosaan projektin viikkopalavereista, projektin kehittämispäiviin, eri ohjausryh-mien kokouksiin ja yhteistyötahojen tapaamisiin ja vieraillut projektin nuorille jär-jestämillä kursseilla.49. Tämän lisäksi minulla on luonnollisesti tutkimuslupa myös Tampereen kaupungilta.50. Guba, Egon G.- Yvonna S. Lincoln, Fourth Generation Evaluation. Sage Publica-

tions (1989) 1990, 72–74.

ARVIOINTITUTKIMUS JA KENTTÄTYÖ

25

arvioitsijalta, kuten Eräsaari et al. määrittelevät Guban ja Lincolninkehittämää konstruktivistista arviointitutkimusta.51 Oppimisen tavoit-teena puolestaan on koostaa yhteisymmärrys toimintatavoista jaosakkaiden tavoitteista. Jos osakkaat ymmärretään projektin pää-töksentekijöiksi sanan laajassa merkityksessä, niin myös konstrukti-vistinen arviointitutkimus pyrkii Pattonin arviointitutkimukselle aset-tamaan tavoitteeseen: tuottamaan relevanttia ja hyödyllistä infor-maatiota päätöksentekijöille52 eli projektin osakkaille. Omassa työs-säni pyrin tuottamallani tiedolla palvelemaan sekä nuoria, projektintyöntekijöitä, rekrytoijia, nuorten harjoittelupaikkoja että projektinrahoittajia.

Se, mitä tutkija oppii projektilta ei liene epäselvää: projektin tuot-taman materiaalin, sen toiminnan havainnoinnin ja osakkaiden haas-tatteluiden pohjalta tutkijalle valkenee esimerkiksi, mitä projektissaoikeastaan tehdään, miten ja miksi se tehdään ja millaisin tuloksin.Kuitenkin, visaisempi kysymys on, mitä projekti oppii tutkijalta. Itsemäärittelen tutkijana tuomani “lisäarvon” projektille seuraavasti:arviointitutkija pyrkii toiminnallaan lisäämään ja parantamaan pro-jektin itsetuntemusta tekemällä projektissa muotoutuneet käytännötläpinäkyviksi ja lausumalla ne ääneen sekä välittämään tietoa ken-tän muista toimijoista, joiden kokemukset ja esimerkit saattavat vie-dä projektia eteenpäin ja raportoinnillaan tekemään havaintoja arvioi-tavasta projektista (mikä toimii ja mikä ei) laajemmin tunnetuksi,jolloin muut kentän toimijat voivat hyötyä projektin kokemuksista.

Projektin lisääntyneen itsetuntemuksen avulla tutkija pyrkii aut-tamaan projektia täsmentämään keinot, joilla tavoitteet saavutetaanja sitä kautta saavuttamaan nämä tavoitteet entistä paremmin. Toi-sin sanoen projektin tutkijasta saama arjen työssä näkyvä välitönhyöty liittyy tutkijan roolin kehitys- ja tietoperspektiiviin. Projektinitsetuntemuksen lisääminen voisi olla esimerkiksi projektin asiakas-profiilin laatimista. Jos projektin asiakkaista vaikkapa 49 prosenttiaon ammatillisen koulutuksen keskeyttäneitä työttömiä nuoria, niinheidän palvelutarpeensa on varmasti erilainen kuin jos he olisivat

51. Eräsaari – Lindqvist – Mäntysaari – Rajavaara 1999, 49.

52. Patton (1980) 1983, 273.

26

ammatillisen tutkinnon suorittaneita työttömiä nuoria.Arviointitutkija voi lisätä projektin työntekijöiden itsetuntemusta

joskus myös asianomaisia itseään hämmästyttävällä tavallakin: esi-merkiksi jos työtehtäväkartoituksessa käy ilmi ensimmäisenä pro-jektivuonna, että projektikoordinaattorin työtehtävistä neljännes onasiakastyöhön liittyvää toimintaa, on sekä koordinaattorin että tutki-jan syytä kysyä, miksi näin on. Lisäksi tutkijan kanssa omasta työs-tä ääneen puhuminen ja keskusteleminen auttaa usein työntekijääjäsentämään näkemystään omasta työstä ja tavoitteista. Tutkija voimyös tehdä ns. “tyhmiä kysymyksiä” eli kysyä itsestäänselvyyksiäja sitä kautta tuoda tiimin pohdittavaksi annettuina pidettyjä käytän-töjä, joita voisi mahdollisesti tehdä totuttua mielekkäämmällä taval-la. Näiden “tyhmien kysymysten” lisäksi arviointitutkijan tulee nos-taa esiin myös ikäviä tai vaikeita kysymyksiä, so. projektin työsken-telyyn liittyviä ongelmia tai asioita, joihin on tarpeen kiinnittää enem-män huomiota. Ongelmalliset tai hankalat asiat on syytä nostaa esiinmahdollisimman nopeasti, niitä ei tule pantata loppuraporttiin saak-ka. Yksi syy siihen, miksi kentän toimijat eivät aina koe hyötyvänsätutkijan mukanaolosta on viive kehittämistarpeen ja tutkimustulos-ten julkistamisen välillä: projektityö on luonteeltaan sellaista työtä,jossa toimintaa voidaan muuttaa hyvinkin nopeasti ja siinä vaihees-sa kun arviointitutkijan projektin edelliseen työskentelyvaiheeseenperustuvat suositukset ovat kentän toimijoiden käytössä, saattavatkenttätyöskentelyn prioriteetit olla jo toisaalla. Kentän toimijoille onmyös reilusti annettava mahdollisuus vastata toiminnallaan kritiik-kiin ja kehittää toimintaansa paremmaksi. Varsinkaan kehittämis-projektin ollessa kyseessä tutkijan pätevyyttä ei todista se, mitenmonta ongelmakohtaa tai kriittistä huomiota hän pystyy kirjaamaanloppuraporttiinsa vaan se, miten nopeasti ja rakentavasti hän pystyyidentifioimaan ongelmakohdat ja tukemaan projektilaisia niiden rat-kaisemisessa. Loppuraportissa on luonnollisesti rehellisesti tuotavaesiin projektin mahdolliset heikkoudet ja epäonnistumiset, mutta seei saa toimia arvioitsijan “kriittisen tutkijaminän” rakennusmateri-aalina. Toisaalta raportissa ei myöskään pidä sortua arvioitavan pro-jektin mielistelyyn, tulosten kaunisteluun ja ongelmien vähättelyyn.


27

Asiat ja faktat on pyrittävä ilmaisemaan mahdollisimman oikeuden-mukaisesti ja totuudellisesti.

Toisinaan kentän toimijat saattavat kohdistaa arviointitutkimuk-seen suuria odotuksia ja toiveita tai ennakkoluuloja.53 Toisinaan ar-viointitutkija saattaa tuntea olevansa puun ja kuoren välissä pyrki-essään säilyttämään asialliset välit kentän toimijoiden kanssa ja toi-mimaan ammattilaisen tavoin oman ammattinsa akateemisten jaeettisten normien mukaisesti, kuten syksyn 2001 TUHTI-seminaa-rissa todettiin. Mikäli tutkija joutuu ristiriitaiseen tilanteeseen, hänenon toimittava mahdollisimman oikeudenmukaisesti ja tukeuduttavaomaan ammattitaitoonsa ja taustaorganisaatioonsa.

53. Ks. Sulkunen, Pekka: “Evaluaatio, interventio ja tiedon kasautumisen mahdolli-suudet”. Pekka Sulkusen Rovaniemen sosiologipäivillä 23.3.2001 pitämään työryh-mäesitykseen perustuva katsaus. Nuorisotutkimus 1/2002, 43–44.

28

Tutkijaroolin onnistumisen eväät

KOHO-projektin arviointi oli minulle mieluisa työtehtävä. Työsken-tely projektin työntekijöiden ja muiden Tampereella nuorten parissatyöskentelevien toimijoiden parissa ja projektissa asioineiden nuor-ten haastattelut sujuivat ongelmitta, hyvässä hengessä. Oman käsi-tykseni mukaan arvioinnin tekniseen onnistumiseen vaikuttivat seu-raavat seikat: 1) Tutkijaroolini oli selkeästi määritelty ja kaikki pro-jektin toimijat olivat siitä tietoisia, 2) Projektin toimijat olivat koke-neita ammattilaisia, joilla oli vahva, terve ammatillinen itsetunto.Kritiikkiä ei otettu henkilökohtaisesti vaan siihen suhtauduttiin neut-raalisti. 3) Tutkijan ja kentän toimijoiden molemminpuolinen luotta-mus ja arvostus. Onnistuneen arviointityöskentelyn lähtökohta on,että arvioitsija ja arvioinnin kohteet kuuntelevat toisiaan, tunnusta-vat toistensa erikoisosaamisalueet ja ovat vastavuoroisesti oppilaanja opettajan rooleissa. 4) Toimivat henkilökemiat. Vaikka onnistu-neiden henkilökemioiden löytyminen on pitkälti sattumaa, henkilö-kemioiden sujuvuutta voi jossain määrin edistääkin.

KOHO-projektin osalta minun kannaltani oli äärimmäisen onne-kasta, että projektin kantavana ideologiana oli kaikkien projektin ti-loissa pyörivien tasa-arvoisuus. Projektiin osallistuvat nuoret pyrit-tiin kohtaamaan tasavertaisina ja tasa-arvoisuutta korostettiin mm.henkilökunnan ja nuorten yhteiskäytössä olevilla keittiö- ja wc-tiloil-la. Tällaiseen tilaan, jossa hierarkioita oli tietoisesti pyritty poista-maan oli tutkijankin helppo mennä ja tulla hyväksytyksi yhtenä pro-jektin osana. Luonnollisesti pyrin myös omalla toiminnallani vastaa-maan projektin epämuodolliseen hierarkiattomuuteen. Esimerkiksiosallistuessani perjantaiaamuisin pidettävään viikkopalaveriin saa-toin auttaa kantamalla valmiiksi kahvikuppeja ryhmähuoneeseen, jostulin paikalle ennen palaverin alkua ja palaverin päätyttyä pesin itsekahvikuppini. Toisin sanoen astuin ulos ulkopuolisen vieraan (tun-keilijan) roolista yhteistyökumppaniksi, osaksi projektia, säilyttäenkuitenkin erillisroolini projektin ulkopuolisesta lähteestä palkkaansasaavana tutkijana. Tämä projektin alussa tehtyyn onnistuneeseen


29

roolin määrittelyyn perustuva erillisyys ilmeni esimerkiksi siten, ettäminua ei kertaakaan pyydetty huolehtimaan pöytäkirjan kirjoittami-sesta viikkopalaverissa tai muissakaan dokumentointia vaativissatilanteissa, vaikka teinkin avoimesti koko ajan omia muistiinpanojanija pöytäkirjan pito ei ollut projektin työntekijöiden mieluisimpia teh-täviä.

Arviointitutkimuksella ja etenkin prosessiarvioinnilla voidaan kat-soa olevan jossain määrin yhtymäkohtia toimintatutkimukseen: mo-lemmissa tutkija toimii eräässä mielessä konsulttina, joka pyrkii aut-tamaan toimijoita näkemään ja ratkaisemaan toimintaan sisältyviäongelmia ja välittämään heille tieteellistä tietoa. Itse en kuitenkaanole halukas nimittämään tekemääni arviointitutkimusta toimintatut-kimukseksi, koska toimintatutkimuksen tehtävänä on muuttaa taikehittää jotakin toimintoa. Ulkopuolisen arvioitsijan tekemässä arvioin-titutkimuksessa puolestaan ensisijainen tehtävä on selvittää, täyt-tääkö toiminta sille asetetut tavoitteet ja vasta sen jälkeen pohtiamuutos- tai kehittämisnäkymiä. Tässä suhteessa toimintatutkijan roolion lähempänä avustavan strategian laatijan kuin arviointitutkijanroolia . Arviointitutkimusta ja arvioitsijan työtä voidaan myös kuva-ta Guban tavoin tutkivaksi journalismiksi. Tällöin tutkija käyttää työs-sään journalistin tavoin apuna luotettavaksi havaittuja tietolähteitä.54

Mielestäni tällainen lähestymistapa soveltuu erinomaisesti ulkopuo-liselle arvioitsijalle.

Guban näkemyksen mukaan ei ole olemassa yhtä objektiivistatotuutta vaan on useampia totuuksia. Vastaavasti myös objektiivi-suuden käsite on ongelmallinen niin journalismissa kuin arvioinnis-sa. Objektiivisuuteen liittyy käsitys, että on olemassa yksi ainoa to-dellisuus tai totuus, joka ei jätä tarkastelijalleen tulkinnanvaraa taiettä objektiivisuus on yksiperspektiivinen kriteeri, jonka avulla pyri-tään kuvamaan todellisuutta täsmällisesti. Samoin objektiivisuuteenkuuluu käsitys, että tarkastelun kohteesta voidaan pysyä etäällä ja

54. Lincoln, S. Yvonna – Egon G. Guba, Naturalistic Inquiry. Sage Publications (1985)1989, 257-259. Ks. myös Guba, Egon G., “Investigative Journalism” in Smith, NickL., (ed.), New Techniques for Evaluation. New Perspectives in Evaluation. Volume 2.Sage Publications 1981, 167–262.

30

irrallaan ja että objektiivisuus on absoluuttinen kriteeri, joka ei sallimitään poikkeamia. Guba toteaa, että journalismia käsittelevässäkirjallisuudessa on vallalla näkemys, jonka mukaan tällä tavoin mää-ritelty objektiivisuus on saavuttamattomissa ja tästä syystä objektii-visuus korvataan reiluudella (fairness). Reiluuden näkökulmastakatsottuna todellisuuksia tai totuuksia on useampia ja siksi reiluuttavoidaan testata sillä, onko kaikki asian puolet esitetty. Edelleen rei-luus edellyttää, että toimittaja pyrkii esittämään kaikkien asianosais-ten näkemykset ja asiat samalla tavalla kuin asianosaisia edustavatlakimiehet oikeudessa. Päätöksenteko jätetään näin lautamiehiävastaavalle yleisölle eikä toimittajalle. On myös olettavissa, että ju-tun kohde tai kohteet reagoivat jotenkin toimittajaan ja että heidänvälillään on vuorovaikutusta. Tältä osin reiluutta voidaan testata sil-lä, miten pitkälle toimittaja testaa omia ennakkoluulojaan ja vapau-tuu niistä. Lopuksi on kuitenkin muistettava, että reiluus on luonteel-taan relativiinen kriteeri.55

Näkemykseni mukaan arviointitutkijan tehtävä ei ole tehdä omaarooliaan ja toimintaansa näkyväksi projektissa56 vaan tehdä projek-tin ja sen osakkaiden toiminta näkyväksi. Arviointitutkijan tehtäväei ole määritellä projektin tavoitteita tai visioida projektin strategi-aa.57 Nämä tehtävät kuuluvat niille, jotka kantavat projektissa talo-udellisen ja poliittisen vastuun. Ulkopuolinen riippumaton tutkija eikanna projektin tulosvastuuta ja siksi hänen tehtävänsä on tutkiaprojektin tavoitteiden toteutumista, ei määrätä niitä. Sen sijaan hä-nen tulee kertoa perusteltu käsityksensä siitä, miten näihin tavoittei-siin voitaisiin parhaiten yltää.

55. Guba 1981, 234–235.56. Tällä en luonnollisesti tarkoita sitä, että arviointitutkimusta tehtäisiin jotenkinsalassa tai piilossa asianomaisilta vaan sitä, että tutkija on sivuroolissa ja projektipääroolissa ja että tutkijan läsnäolo tai toiminta vääristää mahdollisimman vähänprojektin normaalia toimintaa.57. Myös Rossi ja Freeman katsovat, että arvioitsijalla ja päätöksentekijällä on omaalueensa ja arvioitsijan ei tule tunkeutua päätöksentekijöiden alueelle (Rossi – Free-

man 1993, 420).


31

Nuorten haastattelut

Haastattelutilanteen valtarakenteet

Merkittävä osa arviointitutkimukseni aineistosta kerättiin haastatte-luilla. Tutkimukseni aikana haastattelin kaikkiaan 30 projektissamukana ollutta nuorta ja viisi projektiin eniten nuoria rekrytoinuttaviranomaista tai Tampereella nuorten parissa työskentelevää hen-kilöä. Näiden haastattelujen lisäksi tein projektin työntekijöille kaksityötehtäväkartoitusta, joihin liittyi henkilökohtaiset haastattelut. Haas-tatteluaineistoni tärkein osa on nuorten haastattelut. Omaksumaniosakasarvioinnin näkökulman pohjalta pidän tärkeänä osallistujapa-lautteen mahdollisimman huolellista ja laajaa keräämistä, ja siksipainotin arvioinnissani nuorten antamaa palautetta projektista.

Donna Eder ja Laura Fingerson toteavat lasten ja nuorten haas-tattelemista käsittelevässä artikkelissaan, että haastatteluihin ryhty-essään tutkijan on tärkeää tarkastella aikuisten ja nuorten väliseenkanssakäymiseen liittyviä valtasuhteita. Eder ja Fingerson kirjoitta-vat, että tutkijoilta jää joskus huomaamatta, että länsimaissa ylei-sesti ottaen lapsilla on matalampi status kuin aikuisilla ja että heiltäpuuttuu valtaa. Esimerkiksi tästä suhtautumistavasta he nostavatesiin Berry Mayallin, joka kirjoittaa lapsista omana vähemmistöryh-mänä suhteessa aikuisiin; “lapsi” on relatiivinen kategoria, joka onalisteinen “aikuiselle”.58 Tutkijan on siis syytä tiedostaa ikäerokysy-mys silloin kun hän haastattelee lapsia tai nuoria. Haastattelemaninuoret olivat minua vähintään kymmenen vuotta nuorempia ja olinheidän silmissään selkeästi aikuisempi tai jopa täti-ihminen.Tätä kä-sitystä vahvistaa esimerkiksi se, että yksi projektin työntekijöistäkertoi minulle tavattuaan sattumalta haastattelun jälkeen yhden 18-vuotiaista haastateltavistani kyseisen nuoren miehen luonnehtineenminua “kivaksi tädiksi” kuulumisia kertoessaan. Samaa iästä synty-

58. Eder, Donna – Laura Fingerson, “Interviewing Children and Adolescents” teok-sessa Gubrium, Jaber F – James A. Holstein (eds.), Handbook of Interview Research.Context & Methods. Sage Publications 2002, 182.

32


vää alemmuutta kuvastaa erään haastattelemani 23-vuotiaan nai-sen vastaus kysymykseeni, arvostavatko ihmiset nuorta samalla lailla,jos hän on työtön työnhakija tai jos hän on töissä.

… Mitähän mä tohon ny sanon? Hm, kyllä ainaki mua arvostetaan samallalailla, samalla lailla ku kaikkia muitaki, tai no mua arvostetaan vaan niinkunuarena

Vastauksen loppuosa on paljastava. Nuoren näkemyksen mukaanikä määrittää hänen paikkaansa voimakkaammin yhteiskunnassa kuintyöllisyys tai työttömyys. Myös monissa muissa haastatteluissa nuorettoivat esiin omaan kategoriaansa “nuoret” liittyvää alisteisuutta ai-kuisille tai heikkoa asemaa yhteiskunnassa. Huolimatta siitä, ettähaastateltavani olivat täysi-ikäisiä ja esimerkiksi riittävän vanhojaäänestämään vaaleissa tai menemään naimisiin, monet heistä tun-tuivat määrittävän nuoren ihmisen asemansa alisteiseksi vanhem-mille ikäryhmille. Jotkut pahoittelivat nuorille suunnattujen palvelui-den vähäisyyttä suhteessa aikuisille tarjottaviin työllistymispalvelui-hin. Toiset harmittelivat sitä, että heitä pyritään nuoren iän vuoksiohjaamaan mieluummin kouluun kuin työelämään, vaikka koulun-käynti tuntuu vastenmieliseltä. Sitä vastoin katsottiin, että vähänkoulutettujen aikuisten on ikänsä vuoksi hyväksyttävämpää olla kiin-nostuneempia työelämään pääsystä kuin koulutukseen hakeutumi-sesta. Osaltaan tätä alisteisuutta pitää yllä myös suomalainen työlli-syyspolitiikka: 18–24-vuotias vailla ammatillista koulutusta oleva nuorimenettää oikeutensa työmarkkinatukeen kunnes hän täyttää 25 vuot-ta, jos hän ei hae esimerkiksi soveltuvaan ammatilliseen koulutuk-seen tai eroaa kesken koulutuksen. Nuoren oikeus työmarkkinatu-keen palaa, jos hän suorittaa ammatillisen tutkinnon. Vastaavaa vaa-timusta ei esitetä varttuneemmille vailla ammattikoulutusta olevilletyöttömille. He voivat nollata koulutuksesta kieltäytymisestä seu-ranneen karenssin kolmen kuukauden koulutuksella tai pätkätyöllä.Ammatillisen tutkinnon suorittamista heiltä ei vaadita.

Eder ja Fingerson kiinnittävät huomiota artikkelissaan myös tut-kijan ja nuorten haastateltavien erilaiseen asemaan yhteiskunnassaja haastattelutilanteessa. Haastattelija on tutkija ja hänen sosiaali-

33

nen asemansa haastateltavia korkeampi. Tutkijan ja tutkittavan rooliteivät ole vaihdettavia: haastateltavien positio on tutkittava, ei kos-kaan tutkija.59 Haastattelua sovittaessa tai itse haastattelutilantees-sa tämä epätasa-arvo saattaa näkyä esimerkiksi siten, että nuori eiole täysin vapautunut vaan on hermostunut tai puhuu normaalia huo-lellisemmin kirjakieltä ja on niukkasanainen tai harkitsee äärimmäi-sen tarkasti, mitä kertoo haastattelijalle. Voihan olla, että haastatte-lija on ensimmäinen yliopistolainen tai “akateemisesti korkeasti kou-lutettu”, jonka kanssa nuori on koskaan puhunut ja hän pelkää vai-kuttavansa oppimattomalta haastattelijan silmissä.

Moni voinee ymmärtää tämänkaltaista epävarmuutta muistel-lessaan ensimmäistä päiväänsä yliopistossa tai muussa oppilaitok-sessa ja ensimmäistä tapaamistaan laitoksen professorin tai muunopetushenkilökunnan kanssa. Toisaalta nuorilla saattaa olla myöshyvin stereotyyppisiä käsityksiä yliopistolaisista, kuten opin käydes-säni eräällä KOHO-kurssilla kertomassa KOHOsta tehtävästä tut-kimuksesta, tutkimustyöstä ja yliopisto-opiskelusta. Kurssilaistenkanssa syntyneessä keskustelussa kävi ilmi, että nuorten mielestätyypillisellä yliopisto-opiskelijalla on kauhtunut villapaita ja likaisethiukset. Hän opiskelee monta vuotta ja on opiskeluaikanaan jatku-vassa rahapulassa, istuu ahkerasti baarissa, mutta häviää viinan-juonnissa teekkareille. Selvyyden vuoksi kerrottakoon, että minä enollut pukeutunut kauhtuneeseen villapaitaan kyseisenä päivänä jahiukseni olivat puhtaat ja siististi kammatut. Tohtorin oppiarvoni tuntuihieman hämmentävän kurssilaisia. En ilmeisesti vastannut heidänodotuksiaan arkisesti mutta siististi farkkuihin ja puuvillaneuleeseenpukeutuneena siitä, millainen on tohtori. Tieto tohtorin tutkinnostaniainakin otettiin vastaan hieman epäuskoisesti. Myös ammattinimiketutkija tuntui olevan joillekin nuorista hyvin hämärä käsite. Joku kurs-silaisista arveli, että (nuoriso)tutkijana olo ei eroa kauppakeskuksis-sa kuluttajakyselyitä tekevien haastattelijoiden työstä. Pääsääntöi-sesti nuoret kuitenkin yhdistivät tutkijan ammatin yliopistolaisuuteenja ahkeraan lukemiseen. Jossakin nauhurin sammuttamisen jälkeen

59. Emt., 182.

34


käydyissä keskusteluissa haastateltavieni kanssa on tullut esiin, ettänuoret olettavat minun asuvan isossa asunnossa ja työllisyystilan-teeni olevan sellainen, että työn riittävyydestä ei tarvitse kantaa huolta.Toisin sanoen, heidän tulkintansa mukaan minä olen yhteiskunnanhyväosaisia heihin itseensä verrattuna. Tällainen käsitys luo auto-maattisesti hiearkiasuhteen tutkijan ja haastateltavan välille.

Myös Sasu Pajala ja Kari Nyyssölä ovat pohtineen nuorten koh-taamisen problematiikkaa haastattelutilanteessa Turun yliopistonkoulutussosiologian tutkimuskeskuksen tutkimuksessa, joka käsitte-li EU-hanketta, jonka tavoitteena oli kartoittaa ja parantaa nuortenkoulutus- ja työllisyysmahdollisuuksia. Pajala ja Nyyssölä toteavat,että nuoren kohtaaminen haastattelutilanteessa on aina haasteelli-nen tapahtuma. Nuoren ja haastattelua tekevän tutkijan välissä onhaastattelun osapuolten erilaisista elämänkokemuksista, kielestä taikulttuurista kohoava muuri, joka pitäisi haastattelutilanteessa mur-taa. Mikäli samankaltaisia kokemuksia ei ole, toisen ymmärtäminenon vaikeaa. Joskus muuriin ei pystytä tekemään edes pientä säröä,joskus muuri voi sortua kokonaan.60 Pajalan ja Nyyssölän haastat-telukokemukset muistuttavat omia kokemuksiani. Osaan nuoristaoli helpompi saada kontakti kuin toisiin. Muurin murtamiseen ei oleolemassa mitään patenttiratkaisuja; jokainen haastateltava ja haas-tattelutilanne on erilainen. Kuitenkin omien kokemusteni pohjaltaväitän, että muurin murentumista auttaa nuoren kohtaaminen hänenehdoillaan ja tasa-arvoisena.

60. Pajala, Sasu – Kari Nyyssölä, Muuria murtamassa. Marginaalinuoret tutkimus-kohteena. http://www.minedu.fi/nuora/mll15_97.html (13.12.2002).

35

Haastattelijan sukupuolen merkitys

Helmi Järviluoma pohtii artikkelissaan “ ‘Ei hän ole tyttö, hän onantropologi!’ Muistiinpanoja sukupuolitetulta kentältä”61 naistutki-jan paikkaa ja ’sukupuolittumista’ kenttätyössä. Järviluoma lähteeliikkeelle Claude Lévi-Strauss -sitaatista, jossa annetaan ymmärtäänaisten olevan miehiä parempia kenttätyössä huolellisuutensa jakärsivällisyytensä vuoksi. Loppuluvussaan Järviluoma päätteleeLévi-Straussin väittämän olevan stereotyyppinen ja paikkaansa pi-tämätön ja tutkijan ja kentän ykseyden olevan dialogin ykseyttä.Järviluoma päätyy näkemykseensä tutkimuskirjallisuuden ja omankenttätyöskentelykokemuksensa valossa. Järviluoma analysoi tut-kijaidentiteettinsä muovautumista ja muuttumista “prinsessasta” “tut-kijaksi” sekä tutkijaroolia ylläpitävää tapaansa käyttää ryhmän nor-meja kahvitauon aikana: hän ei kaatanut kahvia, kattanut pöytää taileikannut pullaa ja tiskasi vain oman kuppinsa.62 Järviluoman ana-lyysi on mielenkiintoinen ja perusteltu. Sukupuoli ei varmasti teekenestäkään parempaa kenttätutkijaa vaan kentällä menestymisenselityksen on oltava muualla. Kuitenkin pohtiessani omia haastatte-lukokemuksiani en voi olla kysymättä itseltäni, onko minulle ollutetua sukupuolestani haastattelutyössäni? Onko minulla ollut Järvi-luoman lainaaman Carol Warrenin tavoin enemmän liikkumavaraasukupuoleni vuoksi?63 Jos olen täysin rehellinen, vastaukseni on ol-tava kyllä.

Näkökantani perustuu haastattelemieni nuorten näkemyksiin pro-jektin työntekijöiden sukupuolijakaumasta. Tampereen KOHO-pro-jektissa työskentelee enimmäkseen naisia. Projektin käynnistyessäsen kahdeksasta työntekijästä vain kaksi oli miehiä, projektisihteerija vahtimestari, ja hekään eivät tehneet varsinaista asiakastyötä.Kurssittaja, kaikki kolme yksilöohjaajaa, toimintaterapeutti ja pro-jektikoordinaattori olivat kaikki naisia. Ensimmäisen vuoden toisella

61. Järviluoma, Helmi, “ ‘Ei hän ole tyttö, hän on antropologi!’ Muistiinpanojasukupuolitetulta kentältä.” Nuorisotutkimus 1/2002, 3–15.62. Emt., 9–10.

63. Emt., 7.

36


puoliskolla projektiin palkattiin osa-aikainen kurssittaja kurssinvetä-jän työpariksi, jolloin asiakastyöhön saatiin yksi miestyöntekijä. Sa-manaikaisesti kuitenkin vahtimestari vaihtui KOHO-emännäksi.Yksilöohjaajaksi tuli mies vasta toisen vuoden elokuussa yhden pro-jektin alusta saakka mukana olleista yksilöohjaajista vaihtaessa työ-paikkaa. Projektin sukupuolijakauman ollessa näin naispainotteinenminua kiinnosti tietää, miten projektissa asioivat nuoret kokivat pro-jektin naisvaltaisuuden aloittaessani asiakkaiden seurantahaastatte-lut loppuvuodesta 2001. Yllätyksekseni kukaan haastattelemistaninuorista ei pitänyt miestyöntekijöiden puuttumista epäkohtana taiollut kaivannut heitä. Yksi tytöistä jopa totesi, että “se [miestyönte-kijöiden puuttuminen] tuntu vaan hyvältä” ja toinen totesi, että “kyl-lä saa olla semmosiaki paikkoja, missä on pelkkiä naisia”. Joku tyttötosin pohti, että pojista olisi ehkä mukavaa, jos projektissa olisi enem-män miestyöntekijöitä. Pojat puolestaan vastasivat kysymyksiini joko“ei se mua haitannu” tai “parempi vaan mulle”. Pojat selittivät kan-taansa sillä, että heidän näkemyksensä mukaan naiset olivat miehiähuolehtivaisempia ja auttavaisempia. Joku pojista jopa epäili, ettäjos projektissa olisi miestyöntekijöitä asiakastyössä, he eivät olisiyhtä auttavaisia kuin “nämä naiset”. Moni pojista kertoi myös tottu-neensa olemaan naisten, lähinnä äidin ja muiden suvun naisten seu-rassa, ja pari poikaa kertoi parhaimpien ystäviensä olevan naisia.

Omassa haastattelutyössäni pidän mahdollisena, että erityisestipoikien naisiin liittämät pehmeät mielikuvat toimivat edukseni sopi-essani haastatteluita puhelimessa ja itse haastattelua tehtäessä.Sukupuoleni toimi vastapainona yliopistotaustalleni ja pehmensi haas-tatteluun liittyvää “virallisuutta” tai jännitystä. Huomasin myös itsekäyttäväni naisen roolia apuna jään murtamisessa ennen haastatte-lun alkua hössöttämällä kahvipannun kanssa “käytätkö sokeria taimaitoa?”, “lusikka puuttuu, odota niin haen sen”, “maistuuko pikku-leipä?” saadakseni nuoren rentoutumaan. Naisena olo ei missääntapauksessa tehnyt minusta parempaa haastattelijaa tai tutkijaa, muttanuorten mielikuvat naisesta (tädistä) toimivat tilanteessa edukseni.Haastattelutilanteessa tutkija käyttää omaa persoonallisuuttaan työ-välineenä ja niinpä toin esiin omasta persoonallisuudestani ja identi-teetistäni piirteitä, joiden koin helpottavan haastattelutilannetta ja

37

kontaktin saamista haastateltavaan. Sukupuoleni vain sattui olemaanyksi tällainen työtäni helpottava piirre.

Feministisestä näkökulmasta voidaan tietenkin kysyä, toiminkojotenkin väärin tai epäemansipoituneesti heiluessani kahvipannunkanssa.64 Mielestäni en, sillä kahvinkeitto ja kahvittelu auttoi kon-taktin syntymistä haastateltavaan ja mursi edellä mainittua Ederinja Fingersonin tutkijan positioon liittämää valta-asemaa ja antoi haas-teltavalle lisää valtaa tilanteessa. Vieraanvaraisella käytökselläni jahuolehtimalla itse kahvista osoitin pitäväni haastateltavaa ja hänenkertomustaan tärkeänä ja olevani itse “tavallinen ihminen”, jonkakanssa jutustelua ei tarvitse jännittää. Toisaalta väitän, että se, mi-ten tutkija käyttää persoonallisuuttaan työvälineenä haastattelutilan-teessa, riippuu suuresti myös siitä, keitä haastateltavat ovat. Mikäliolisin kokenut olevani epävarma ja yhteiskunnallisesti altavastaajanasemassa suhteessa haastateltaviini, en varmastikaan olisi ryhtynytkahvinkeittopuuhiin taiesimerkiksipukeutunut rennosti t-paitaan ja fark-kuihin.Näinkahvinkeittovoidaannähdäarviointitutkimuksenikonteks-tiin soveltuvaksi, haastattelutilannetta rentouttavaksi menetelmäksi.

Jokainen tutkija rakentaa itse haastattelijan roolinsa omalle per-soonallisuudelleen parhaiten soveltuvalla tavalla. Se, millaisen roo-lin tutkija haastattelua tehdessään kulloinkin omaksuu, riippuu myöshaastattelutilanteesta, ympäristöstä ja haastateltavasta. Vasta-alkajanavuksi voi tarjota vain alan kirjallisuudesta tuttuja haastattelutekni-siä neuvoja, joita ovat esimerkiksi huomion kiinnittäminen kysymys-ten muotoiluun ja siihen, että haastattelussa haastateltavan olisi suo-tavaa olla enemmän äänessä kuin haastattelijan.65 Haastatteluitatehtäessä on tärkeää muistaa antaa haastateltavan puhua ja näin

64. Feministiseen diskurssiin tutustunut naistutkija ei voi välttää kahvin keittämisenmerkityksen pohdiskelua tutkijaroolille, sillä kahvinkeitto on akateemisessa(kin)maailmassa vahvasti sukupuolittunut ja stereotyyppisesti naiselle kuuluva tehtävä,joka asettaa tehtävän suorittajan (yleensä nainen) alisteiseen asemaan suhteessa nii-hin (yleensä mieskollegat), jotka eivät keitä kahvia muille. Oman tutkijaidentiteetti-ni vuoksi minun täytyi pohtia, annoinko vääränlaisen kuvan naistutkijasta, olisikominun pitänyt luokitella kahvinkeitto tehtäviini kuulumattomaksi. Koin kuitenkintutkijaidentiteettini niin vahvaksi, että sitä ei murentanut ryhtyminen kahvinkeittä-jäksi.

65. Ks. esim. Patton (1980) 1983, 195–263.

38


pyrkiä rikkomaan haastattelutilanteessa vallitsevaa valta-asetelmaa.Toisinaan voi olla myös hyvä haastattelustrategia antaa keskustelunluisua hetkeksi sivuraiteelle, jos se vapauttaa haastateltavaa. Jos-kus näistä harhapoluista voi kertyä tärkeää tietoa, jonka olemassa-oloa haastattelija ei ole ennalta oivaltanut. Haastattelut tulisi tehdärauhallisesti ja kiireettömästi. Tämä puolestaan edellyttää haastat-telijalta hiljaisuuden sietokykyä. Haastateltavalle täytyy antaa aikaapohtia hänelle esitettyä kysymystä, jotta hän saa puettua ajatuksen-sa tai tuntemuksensa sanoiksi. Vaikka tutkija on laatinut ja esittääkysymykset, haastateltava nuori on tarinan kertoja: hän on omanelämänsä ja kokemustensa päähenkilö ja asiantuntija. Haastatteluntekemiseen on siis varattava riittävästi aikaa ja kun viimeiseenkinkysymykseen on saatu vastaus ja nauhuri sammutettu, on maltetta-va vielä istua rauhassa juomaan satsikahvikupit, mikäli haastatelta-va itse ei kiirehdi eteenpäin. Usein parhaat tarinat kerrotaan vastahaastattelun päättymisen jälkeen.

Haastattelun sopiminen ja paikan valinta

Ennen kuin itse haastattelutilanteeseen päästään on tehtävä pohja-työtä ja alkuvalmisteluja. Omassa tutkimuksessani valmistelutyö lähtiliikkeelle uudestaan joka kuukausi, kun osa-aikaisena tutkimusapu-laisenani toiminut projektisihteeri toimitti minulle niiden nuorten ni-met ja yhteystiedot, jotka olivat päättäneet projektissa asioinnin kuusikuukautta aikaisemmin. Osa näistä nuorista oli minulle entuudes-taan tuttuja kurssivierailujeni yhteydestä, projektin palaverikeskus-teluista tai muista käynneistäni projektin tiloissa. Listan saatuani kävinlyhyen keskustelun listalla olevien nuorten yksilöohjaajien kanssa.Näissä keskusteluissa selvitin, mitä yksilöohjaajat tiesivät nuorennykytilanteesta, eli oliko hän lähtenyt projektista töihin tai kouluunvai oliko hän jäänyt työttömäksi päättäessään asiointinsa, olivatkoasiakastiedostosta otetut yhteystiedot edelleen voimassa sikäli kuinyksilöohjaajat olivat kuulleet nuoresta, miten pitkään nuori oli asioi-nut projektissa, oliko hänen asiakkuudessaan jotakin erityispiirteitä,mikä oli nuoren suomen kielen taito jos hän oli maahanmuuttaja ja

39

jos nuoren yhteystiedoissa puhelinnumeroksi oli merkitty vanhempi-en numero, olivatko nuoren suhteet vanhempiinsa sellaiset, että tut-kijan soitto kotiin ei aiheuta hänelle harmia. Näissä keskusteluissasain usein nuoresta sellaista taustatietoa, joka auttoi minua nuorenkohtaamisessa haastattelutilanteessa siten, että osasin asettaa sa-nani hienovaraisesti sellaisten kysymysten kohdalla, joiden tiesinetukäteen olevan nuorelle vaikeita.

Yksilöohjaajien kanssa käymieni keskustelujen jälkeen valitsinlistoilta nuoret, joille soitin ja joita pyysin haastateltaviksi. Valinta-prosessissa pyrin kiinnittämään huomiota siihen, että haastatelta-vieni ikä- ja sukupuolijakauma ja asiakkuus heijastaisivat projektinkoko asiakaskunnan jakaumia. Asiakkuuden edustavuudella tarkoi-tan sitä, että pyrin valitsemaan aineistooni sellaisia asiakkaita, jotkaolivat käyneet joko vain yksilöohjauksessa ja sellaisia, jotka olivatkäyneet myös KOHO-kurssin ja/tai työ- ja toimintakyvyn kartoi-tuksen suurin piirtein samassa suhteessa kuin mikä heidän osuuten-sa oli projektin koko asiakaskunnasta. Lisäksi yritin huolehtia siitä,että aineistossa olisi riittävästi kaikkien työntekijöiden asiakkaita, jottavoin sanoa tehneeni seurantaa koko projektin enkä jonkun yksittäi-sen työntekijän asiakkaista. Koska kyseinen projekti oli kehittämis-projekti, ajoitin haastattelut siten, että haastattelujen tekeminen ve-nyiensimmäisenprojektivuoden loppupuolelta (eli ajankohdasta, jolloinensimmäisten asiakkaiden kohdalla tuli kuluneeksi kuusi kuukauttaprojektissa asioinnin päättämisestä) lähes projektin päättymiseensaakka seuraavan vuoden lopussa. Näin pyrin eliminoimaan asiointi-ajankohdan vaikutuksen asiakkaiden asiointikokemukseen.

Pyrin ensisijaisesti tavoittamaan haastateltaviksi valitut nuoretpuhelimitse. Tämä ei aina ollut helppoa, vaikka useimmilla nuorillaolikin kännykkä. Valitusta numerosta tuli monta kertaa tiedotus “va-litsemaanne numeroon ei saada yhteyttä” tai “valitsemanne nume-ro ei ole käytössä”. Katvealueella oleviin tai suljettuihin kännyköi-hin soitin sitkeästi uudelleen ja lähettelin välillä soittoyritysten välis-sä tekstiviestejä, joissa selitin asiani. Valtaosan näistä nuorista on-nistuinkin tavoittamaan. Vanhentuneiden puhelintietojen osalta tilanneoli hankalampi, sillä uusia numeroita ei juurikaan löytynyt numero-

40

tiedustelusta tai muualtakaan ja nuorten asiakkuuden alussa ilmoit-tamat osoitetiedotkin saattoivat olla vanhentuneita tai sitten osoite-tiedon kohdalla saattoi lukea “asunnoton”. Näistä nuorista en onnis-tunut jäljittämään kovinkaan montaa nuorta ja nekin, jotka tavoitinsain kiinni lähinnä onnellisten sattumien kautta.

Olin iloisesti yllättynyt siitä, miten mielellään nuoret suostuivathaastatteluun. Ainoastaan viiden nuoren kanssa en onnistunut sopi-maan haastattelua. Heidänkin kohdallaan kyse oli pikemminkin nuorenomasta elämäntilanteesta, johon haastattelu ei syystä tai toisestasopinut kuin negatiivisesta asenteesta haastatteluun tai projektiin.Heistä kolmen kanssa puhuin aika pitkään puhelimessa heidän ko-kemuksistaan KOHO-projektista. Projekti tuntui olevan nuorille mu-kava puheenaihe, josta oli jäänyt hyvä muisto, vaikka oma elämän-tilanne hankalan työrytmin, juuri alkaneen opiskelun tai terveydenti-lan takia oli sellainen, että nuori ei ollut halukas sopimaan tapaamis-ta haastattelua varten. Yhdelle nuorelle soitin säännöllisin välein 3–4 kuukauden ajan ja sopivaa aikaa ei koskaan onnistuttu löytämään.Toisen nuoren kanssa sovimme haastatteluajan, mutta hän ei saa-punut paikalle ja muutaman päivän soittelun jälkeen luovuin yrityk-sistä tavoittaa hänet uudelleen puhelinsoitolla tai tekstiviestillä, kunnumerossa vastattiin vain “tavoittelemaanne numeroon ei saadayhteyttä” ja kirjettäkään en voinut asunnottomalle nuorelle lähettää.

Osaa nuorista en tuntenut lainkaan soittaessani heille. Kurssinkäyneistä nuorista osa muisti minut kurssivierailustani (“Ai, onkstää se tutkimus?”). Soittaessani nuorelle pyrin esittämään asianimahdollisimman selkeästi ja selittämään, kuka olen ja miksi tutki-musta tehdään. Toin esiin, että en ole palkkasuhteessa projektiinvaan ulkopuolinen arvioitsija ja työskentelen yliopistossa ja että tut-kimusta tehdään, koska projektia rahoittanut ESR edellyttää asia-kasseurannan tekemistä. Korostin myös haastattelun luottamuksel-lista luonnetta. Lisäksi selitin nuorelle, että juuri hänen projektikoke-muksensa ja mielipiteensä olivat tärkeitä. Nuoret tuntuivat olevanmielissään siitä, että heidän mielipidettään kysyttiin heille tarkoite-tusta projektista ja suostuivat helposti haastatteluun. Luultavasti myösnuorten myönteiset projektikokemukset lisäsivät nuorten halukkuutta


41

tulla haastateltaviksi. Moni nuori sanoi minulle jo puhelimessa, ettähänellä “ei oo ainakaan mitään negatiivista sanottavaa projektista”.Haastattelun sopimisen lisäksi yritin puhelinkeskustelun aikana luo-da ennalta rentoa haastatteluilmapiiriä. Erityisesti silloin, jos nuoripuhutteli minua “te”-sanalla, koetin jutustella hänen kanssaan mah-dollisimman leppoisasti ja kiittelin häntä lämpimästi lupautumisestahaastateltavaksi sekä toivottelin hänet tervetulleeksi sovittuun haas-tatteluun.

Haastattelupaikaksi sovittiin yhtä nuorta lukuun ottamatta KOHO-projektin toimisto, missä saimme käyttöömme ryhmätilan tai jonkunvapaana olevan työntekijän huoneen. Yksi muualla tehty haastatte-lu tehtiin nuoren kotona hänen omasta toivomuksestaan, koska liik-kuminen oli hänelle hankalaa. Haastatteluaika määrittyi sen mukaan,milloin nuorelle parhaiten sopi. Yksi haastattelu tehtiin jopa lauantaiaa-mulla kello 9 projektin keittiön pöydän äärellä, koska ajankohta sattuinuoren muiden menojen vuoksi sopimaan hänelle parhaiten.

Aloittaessani haastattelujen tekemisen pohdin kovasti, mikä olisihyvä haastattelupaikka. Olin hieman huolestunut siitä, vaikuttaisikoprojektin tiloissa haastatteleminen jotenkin nuorten kertomuksiin.Hylkäsin kahvilat ja ravintolat mahdollisina haastattelupaikkoina lii-an meluisina. Työtilani yliopistolla taas oli haastatteluympäristönämielestäni liian laitosmainen ja tyly. En halunnut pilata haastatteluitatekemällä niitä paikassa, jossa nuori ei ehkä tuntisi oloaan rentoutu-neeksi vaan kokisi olevansa “poliisikuulustelussa”. Katja Komonenkertoo ammatillisen koulutuksen keskeyttäneistä nuorista tekemäs-sään tutkimuksessa haastatelleensa 17–25-vuotiaita nuoria koulu-jen luokkahuoneiden lisäksi myös omassa kodissaan ja nuorten luo-na.66 En halunnut tehdä haastatteluita kotonani, sillä pyrin muuten-kin pitämään työni ja kodin erillään. Tutkijan työlle on tyypillistä epä-säännölliset työajat ja ylityötuntien kertyminen, minkä vuoksi pidänomalla kohdallani tärkeänä kodin rauhoittamista työltä. Nuortenkoteihin taas en halunnut tunkea, sillä katsoin, että nuoren koti on

66. Komonen, Katja, Koulutusyhteiskunnan marginaalissa? Ammatillisen koulutuk-sen keskeyttäneiden nuorten yhteiskunnallinen osallisuus. Joensuun yliopiston yh-teiskuntatieteellisiä julkaisuja No 47, Joensuu 2001, 81–82.

42

hänen yksityisaluettaan, jonne minulla ei ole asiaa, jollei nuori sitäitse ehdota haastattelupaikaksi. Näiden pohdintojen jälkeen ensisi-jaiseksi haastattelupaikaksi valikoituivat projektin toimitilat. Ennak-koluuloni projektin tiloissa haastattelemista kohtaan osoittautuivatturhiksi, sillä nuoret tulivat mielellään sinne haastateltaviksi ja moniheistä oli käynyt siellä muutenkin tervehtimässä henkilökuntaa asi-ointinsa päättymisen jälkeen. Yksi nuorista jopa toivoi, että haastat-teluajankohta voitaisiin sopia siten, että hän voisi samalla nähdä omanentisen yksilöohjaajaansa ja toinen haastattelu sovittiin ja tehtiin spon-taanisti, kun projektissa käydessäni tapasin siellä listallani olevannuoren, joka oli ohi kulkiessaan poikennut projektiin kertomaan kuu-lumisiaan. Noin puolet haastatteluista tehtiin projektin asiakastyön-tekijöiden virka-ajan päätyttyä tai ollessa muualla. Lisäksi kaikkihaastattelut tehtiin kahden kesken suljettujen ovien takana.

Yhtä nuorta lukuun ottamatta kaikille nuorille sopi haastattelujennauhoittaminen. En yrittänyt suostutella nauhurin käyttöä vieroksu-vaa nuorta antamaan lupaa haastattelun nauhoittamiseen, jotta haas-tattelu voitiin tehdä mahdollisimman rennossa ilmapiirissä. Yleisestiottaen nauhurin käyttö ei vaikuttanut nuoria yllättävän tai häiritse-vän. Haastattelun alussa nauhuria saatettiin vähän vilkuilla, muttahaastattelun edetessä nuori näytti tottuvan nauhuriin niin, että edesnauhan kääntäminen tai vaihto ei haastattelua häirinnyt. Lisäksi “nau-hurijännitystä” poisti se, että kerroin ennen haastattelun aloittamis-ta, että nauhoja ei kuuntele kukaan muu kuin minä. Tämä tuntuirentouttavan niitä nuoria, joista oman äänen kuuleminen nauhaltatuntui kiusalliselta. Lisäksi selitin, että halusin nauhoittaa keskuste-lumme siksi, että se tulisi kirjatuksi mahdollisimman tarkasti ja oi-kein. Nuoret luottivat siihen, että käsittelen haastattelunauhaa lu-paukseni mukaisesti luottamuksellisesti ja että sitä ei soiteta muille.Haastattelun nauhoittamiseen joidenkin nuorten kohdalla liittyväpulmallinen asia tuntui olevan nimenomaan pelko, että oma äänikuulostaisi jotenkin kummallisesta (nololta) nauhoitettuna. Tämä il-meni esimerkiksi siten, että eräs nuori sanoi minulle kun lupasin,että nauhaa ei kuuntele muut kuin minä, että hän ei ainakaan haluakuulla ääntään itse.


43

Nuorten suhtautuminen haastattelutilanteeseen

Haastattelupäivä sovittiin yleensä parin päivän tai korkeintaan vii-kon päähän. Ainoastaan parin nuoren kanssa päivä sovittiin yli kah-den viikon päähän. Nuorten elämä vaikutti olevan hyvin nopeatem-poista huolimatta siitä olivatko he töissä, koulussa, työttöminä vaikotona ja seuraavan viikon aikataulut olivat usein vasta muotoutu-massa. Haastattelun sopiminen viikon sisään tai lupaus, että soitanseuraavalla viikolla uudestaan ja että sovimme sitten sille viikolle ajanoli paras tapa varmistaa, että ajankohta todellakin sopi nuorelle.

Yhteydenoton ja haastattelupäivän läheisyydellä tuntui myös ole-van se vaikutus, että osa nuorista oli selvästi jo haastatteluun tulles-saan valmiiksi muistellut projektiaikaansa ja siihen sisältyviä jakso-ja. Puolen vuoden takaisista ja vanhemmistakin projektiasioista pu-huminen oli heille helppoa ja tarina eteni sujuvasti. Yksi asiakasseu-rantahaastatteluiden ongelmista olikin juuri tuo vaadittu kuuden kuu-kauden mittainen aika projektissa asioinnin päättymisestä. Vastaa-minen kysymyksiin yli puolen vuoden takaisista asioista on vaativaakenelle tahansa, saati sitten nopearytmistä elämää elävälle nuorelle,jonka elämäntilanteet vaihtuvat samaan tahtiin kännykkänumeronkanssa. Toisaalta, mikäli seuranta olisi tehty aikaisemmin, olisi pys-tytty selvittämään vain projektin lyhyen keston vaikutukset nuortenelämään. Lisäksi puolen vuoden kuluttua asioinnista nuorten oli ehkäkuitenkin helpompi arvioida projektin todellista merkitystä itselleenkuin esimerkiksi kolme kuukautta projektin päättymisen jälkeen.

Analysoidessani nuorten haastatteluja havaitsin haastattelujenjakautuvan kolmeen jokseenkin yhtä suureen ryhmään sen perus-teella, miten nuori näkemykseni mukaan suhtautui minuun ja haas-tattelutilanteeseen. Näitä tilanteita voi nimittää seuraavasti: 1) Vi-rastotapaaminen. Noin kolmannes nuorista suhtautui minuun samallatavoin kuin kehen tahansa virkailijaan; keskustelu käytiin tiukan asi-allisissa merkeissä sivupoluille eksymättä. Nämä nuoret olivat enim-mäkseen vain yksilöohjauksessa käyneitä nuoria, joiden asiakkuusoli kestänyt vain pari käyntikertaa. 2) Projektin puolustuspuhe taivelanmaksu projektille. Lähes viidennes nuorista oli jo haastatte-luun tullessaan selvästi päättänyt, että haastattelija on vakuutettava

44


projektin erinomaisuudesta. Nuoret halusivat varmistaa, että minäymmärsin, miten tärkeä ja hyvä asia projekti on ja että sitä on eh-dottomasti jatkettava tulevaisuudessakin. 3) Aikuiskontakti. Vajaakolmannes nuorista tuntui suhtautuvan minuun kuten keneen tahan-sa luotettavaan myötätuntoiseen aikuiseen, joka on kiinnostunut hä-nen asioistaan ja jolle voi puhua muustakin kuin tiukasti projektiinliittyvistä asioista. Nuoret olivat hämmästyttävän avoimia ja puhui-vat oma-aloitteisesti yllättävän henkilökohtaisista asioista. Osa nuo-rista myös oletti minun tietävän heistä entuudestaan enemmän kuinmitä todellisuudessa tiesin. Joidenkin nuorten kanssa puhuessanitunsin välillä toimivani terapeuttina. Nuoret tuntuivat näkevän minutprojektin tarjoamana lisäpalveluna ja minut samastettiin jossain mie-lessä projektin työntekijöihin, vaikka olin koettanut tehdä selväksisekä haastattelua sovittaessa että haastattelutilanteen alussa, ettäen kuulu projektin henkilökuntaan. Yhteistä kahteen viimeiseen ryh-mään kuuluville nuorille oli se, että heidän projektiasiakkuutensa olikestänyt pidempään kuin niiden nuorten, jotka suhtautuivat haastat-telutilanteeseen samaan tapaan kuin virastotapaamiseen.

Jo varsin varhaisessa projektin vaiheessa ilmeni, että monet pro-jektissa asioivista nuorista kaipasivat luotettavaa aikuiskontaktia.Osalla tarve oli seurausta siitä, että omassa perhe- tai tuttavapiiris-sä ei ollut aikuista, jonka kanssa nuori olisi voinut jutella omista asi-oista. Esimerkiksi äitiä tai isää ei ollut, vanhemmat saattoivat olla joikääntyneitä, perheessä saattoi olla alkoholismia tai välit vanhempi-en kanssa eivät olleet hyvät. Yksi projektin tarjoamista yksilöohja-uspalveluista oli aikuinen juttuseura; nuori saattoi pohtia omia asioi-taan ja saada kysymyksiinsä aikuisen näkökulman tai “harjoitella”omaa aikuisena oloa aikuisen keskustelukumppanin kanssa, jokakohteli häntä aikuisena. Tämä aikuiskontaktin kaipuu näkyi myöshaastatteluissa ja erityisesti niiden jälkeen käydyissä “santsikahvi-kuppikeskusteluissa”. Tämä edellytti, että nuori hyväksyi minut luo-tettavana aikuisena ja antoi minulle saman statuksen kuin projekti-työntekijälle.67

67. Tätä suhtautumistapaa kuvaa yhden projektityöntekijän kertomus toisen työnte-kijän yksilöohjauksessa olleesta asiakkaasta, joka oli poikennut projektiin ilman ajan-varausta ja kuultuaan, että oma yksilöohjaaja ei ollut paikalla tokaissut toiselle pro-jektityöntekijälle “sä kelpaat!”.

45

(Arviointi)tutkijan vastuun ja välittämisen rajat

Arviointitutkijana minulle oli hieman pulmallista tulla samastetuksiprojektin työntekijöihin ja yritin aina korostaa nuorille, että minä enollut projektin palkkalistoilla vaan ulkopuolinen tutkija. Pelkäsin, ettäjos minut miellettäisiin projektityöntekijäksi, minulle ei kerrottaisimahdollisia kielteisiä projektikokemuksia. Haastatteluja tehdessäniminusta kuitenkin tuntui, että ennakkopelkoni oli turha: nuoret ker-toivat minulle avoimesti kokemuksiaan ja mielipiteitään projektintoiminnasta. Jos jotain kaunisteltiin, niin se liittyi mahdolliseen nuo-ren työharjoittelun ennenaikaiseen päättymiseen tai mahdolliseenpäihteiden käyttöön. Jos nuori koki, että jokin asia projektin toimin-nassa ei ollut häntä miellyttänyt, hän sanoi sen suoraan. Negatiivis-ta palautetta tuli kaiken kaikkiaan hyvin vähän ja se liittyi työnteki-jöiden nuorille tekemiin kysymyksiin, joita jotkut nuorista pitivät liianhenkilökohtaisina. Arviointitutkimuksen näkökulmasta tätä palautettaei kuitenkaan voi pitää projektin kannalta raskauttavana, sillä huo-mattava osa nuorista odotti projektin työntekijöiltä mahdollisuuttahenkilökohtaisista asioista puhumiseen. Lisäksi projektissa asiointioli ollut vapaaehtoista: nuorella ei ollut velvollisuutta vastata näihinkysymyksiin ja mikäli nuorella olisi ollut mielessä jotain suurempaakritiikkiä projektia kohtaan, hän olisi voinut puhua siitä työntekijöille-kin suoraan ilman pelkoa jostakin sanktiosta.

Kokemukseni nuorten halukkuudesta puhua asioistaan heistäkiinnostuneen aikuisen tutkijan kanssa eivät ole mitenkään ainut-kertaisia. Esimerkiksi Eder ja Fingerson viittavat artikkelissaan JillTaylorin, Carol Gilliganin ja Amy Sullivanin vuoden 1995 tutkimuk-seen eri etnisistä ja sosiaalisista taustoista tulevista tytöistä ja Pene-lope Eckertin lukiolaisten sosiaalisia kategorioita ja identiteettiä tar-kastelevaan tutkimukseen vuodelta 1989 kirjoittaessaan nuortenvälittömyydestä keskusteluissa heistä kiinnostuneen tutkijan kans-sa. Haastattelija koettiin muita aikuisia vähemmän tuomitsevaksi,turvalliseksi ja ymmärtäväiseksi keskustelukumppaniksi, johon luo-tettiin.68

68. Eder – Fingerson 2002, 186.

46


Arviointitutkijan ja projektissa asioivista nuorista kiinnostuneenaikuisen kaksoisrooliin liittyy pahin tutkimuksen aikana syntynyt roo-liristiriitani. Käytyäni eräänä päivänä projektin tiloissa näin sieltätullessani kadulla erään projektissa asioivan nuoren, jonka kanssaolin aiemmin jutellut projektissa ja kadulla häneen törmätessäni, vaik-ka en häntä ollutkaan haastatellut. Kutsun häntä tässä “Pekaksi”.Pekka istui kaupungilla kukkaistutuksen vieressä yksinään huono-kuntoisen näköisenä ja kun tervehdin häntä, havaitsin Pekan olevanselvästi huumausaineen vaikutuksen alainen. Yritin jututtaa Pekkaaselvittääkseni hänen tajunnantilaansa ja Pekka reagoi minuun vas-tailemalla hyvin poissaolevana ja synkkään sävyyn. Minua huoles-tutti Pekan kunto ja pelotti hänen itsetuhoa huokuva synkkyytensä.Minusta tuntui, että jotain olisi tehtävä, mutta tiedostin samalla omanroolini rajallisuuden: minä olin tutkija, minun työni oli arvioida pro-jektia. Minä en ollut päihdetyöntekijä tai sosiaalityöntekijä ja minunkoulutukseni oli erilainen. Mitä siis saatoin tehdä ja mitä minun olisallittua tehdä? Arvioin, että Pekka ei ollut siinä kunnossa, että hänolisi kyennyt hankkimaan itse apua. En kuitenkaan mielestäni voi-nut spontaanisti ryhtyä työskentelemään Pekan kanssa ja ohjaa-maan häntä hoitoon. Pelkäsin, että hyvää tarkoittava auttamisyri-tykseni saattaisi olla vahingoksi, koska minulla ei ollut tällaiseen työs-kentelyyn tarvittavaa koulutusta. Lisäksi katsoin, että minun tulikunnioittaa projektin työntekijöiden kanssa yhteisesti sovittua työn-jakoa: oman roolini hyvääkin tarkoittava ylittäminen olisi saattanuthorjuttaa sujuvaa yhteistyötä ja hankaloittaa jatkotyöskentelyä. Päät-telin, että nuoren tuntevana aikuisena moraalinen velvollisuuteni olidelegoida asia ammattilaiselle ja aloin miettiä, onko minulla oikeusilmoittaa Pekan yksilöohjaajalle Pekan tilanteesta. Päätin, että oli,sillä olin juuri hetkeä aikaisemmin jutellut Pekasta hänen yksilöoh-jaajansa kanssa ja tiesin Pekan kertoneen hänelle avoimesti edellis-päivien retkahduksista. Ilmoittamalla Pekan sen hetkisen kunnon jaolinpaikan en siis paljastaisi yksilöohjaajalle Pekasta sellaista tietoa,jota Pekka ei itse haluaisi yksilöohjaajalleen kertoa. Tämän järkei-lyn jälkeen välitin tiedon Pekan yksilöohjaajalle ja jätin Pekan hänenhuolekseen. Vielä illalla työpäivän jälkeen murehdin moneen ker-

47

taan Pekkaa ja pelkäsin hänen ottavan yliannoksen. Helpotuksenioli suuri, kun kuulin Pekan ja yksilöohjaajan sopineen tutustumisvie-railusta hoitopaikkaan. Valitettavasti myöhemmin ilmeni, ettähoitoonohjauksesta oli Pekalle vain tilapäistä apua.

Pekan tapauksesta käy ilmi, miten arviointitutkijakin voi joutuapohtimaan roolinsa rajoja suhteessa tutkimuskohteena oleviin nuo-riin. Ei ole yksinkertaista vetää rajaa sen välille, mitä tutkijan tuleetehdä ja mitä ei. Tutkimuskohteet ovat eläviä ihmisiä ja tutkijan roo-liin yhdistyy yksilön moraalinen vastuu sekä velvollisuudet lähim-mäistä kohtaan. Tämä problematiikka on varmasti vielä polttavam-pi toimintatutkijoiden työssä. Nuorisotutkijoiden keskuudessa olisi-kin hyvä käydä enemmän keskustelua toimintamalleista ja toiminta-ohjeista vastaavanlaisissa tilanteissa. Tilanteen osuessa kohdallearvioitsija/tutkija on kovin yksin – oman tilannetajunsa ja arviointi-kykynsä varassa.

Toisen ihmisen pahoinvoinnin ja hädän kohtaaminen on psyykki-sesti varsin rankkaa. Toisinaan rutiinihaastatteluja tehdessä saattaatörmätä johonkin erityisen kipeään ja koskettavaan tarinaan, jokajää haastattelun jälkeen pyörimään mielessä. Nuoren tarinaan saat-taa myös kuulua jokin vaikea elämänkokemus, joka yllättäen leik-kaa haastattelijan omaa henkilöhistoriaa (esim. kertomus lähiomai-sen sairaudesta tai kuolemasta) ja nostaa pintaan vaikeita muistoja.Joskus tutkija voi myös joutua hankauksiin tutkimansa projektin työn-tekijöiden kanssa ja kaivata siksi työnohjausta. Esimerkkejä löytyyerityisesti toimintatutkimuksen puolelta. Tässä suhteessa yliopisto-laitoksella olisi kehittämisen varaa henkilöstöhallinnassa: esimerkik-si rahoitussopimuksella määräaikaisessa virkasuhteessa työskente-leville tutkijoille yliopistotyönantaja ei tarjoa minkäänlaisia työnohja-uspalveluita, vaikka jotkut toiset henkilöstöryhmät voivatkin niitäsaada. Mikäli tutkija suorittaa jatko-opintojaan, hänellä voi olla mah-dollisuus käyttää edullisia ylioppilaiden terveydenhuoltosäätiön pal-veluita tarpeen mukaan. Jos tutkija on onnekas, hänen tutkimuksen-sa rahoittaja kustantaa tarvittaessa työnohjauspalveluita – ellei, so-pii toivoa, että tutkijan psyyke on vahva ja lähipiiristä löytyy osaaviakeittiöterapeutteja.

48


Muut haastatteluaineistot

Projektin asiakastyöntekijät

Arvioitaessa nuoriin kohdistuvaa projektia pelkkä nuorten haastat-teleminen ei riitä, vaan tutkijan on kerättävä muunkinlaisia haastat-teluaineistoja, jotta projektista muodostuisi mahdollisimman moni-puolinen kuva ja kaikkien osapuolten näkemykset ja kokemuksettulisi kirjatuksi. KOHO-projektin kohdalla määrittelin muiksi osak-kaiksi projektin työntekijät, projektiin nuoria rekrytoivat tahot, sijoit-tumispaikat sekä muut yhteistyökumppanit ja projektin rahoittajat.Kaikkien edellä mainittujen ryhmien perusteellinen haastattelemi-nen muiden aineistojen keräämisen ja analysoinnin ohessa oli kui-tenkin yhdelle tutkijalle ylivoimainen tehtävä kaksivuotisen tutkimuk-sen aikana. Oli siis tehtävä valintoja ja painotettava eri ryhmiä eritavalla. Painotusten valinta oli loppujen lopuksi varsin helppoa, kos-ka arviointitutkijan lisäksi koin olevani nuorisotutkija ja siksi nuortenhaastatteluiden painottaminen aineistossa tuntui luonnolliselta. Li-säksi se, että projektin työskentelyn lähtökohtana oli nuorten toiveetja tarpeet tuki tätä painotusta. Toiseksi merkittävin haastatteluai-neistoni oli projektin asiakastyöntekijöiden haastattelut. Haastatte-lin heidät kahteen kertaan työtehtäväkartoituksen yhteydessä, en-simmäisen kerran maalis-huhtikuussa 2001 ja toisen kerran vuottamyöhemmin. Tämä painotus perustui siihen, että pidin ensinnäkintärkeänä ja hyvän tutkimustavan mukaisena kuulla niitä etenkin ih-misiä, jotka työskentelivät haastattelemieni nuorten kanssa audiaturet altera pars69 -periaatteen mukaisesti. Toiseksi kyseinen projektioli kehittämisprojekti, minkä vuoksi pidin erityisen kiinnostavana pro-jektin työntekijöiden haastatteluita. Haastattelut tehtiin nauhurinkanssa projektin tiloissa työntekijöiden kanssa yksitellen.

69. Kuultakoon toistakin puolta.

49

Projektiin nuoria lähettäneet työntekijät

Kolmas haastatteluaineistoni koostui projektiin eniten asiakkaita lä-hettäneistä rekrytointitahon edustajista. Tästä joukosta valitsin viisieri tahoilla työskentelevää rekrytoijaa, jotka olivat tehneet yhteis-työtä kaikkien projektin työntekijöiden kanssa ja pyysin heitä haas-tateltaviksi. Kaikki suostuivat auliisti. Yhtä lukuun ottamatta nämänauhurihaastattelut tehtiin haastateltavien työpaikoilla. Yksi haas-tateltavista tuli mieluummin haastattelua varten minun työpaikalle-ni. Näiden haastattelujen lisäksi kaikkia KOHO-projektiin nuoriarekrytoineita pyydettiin täyttämään laatimani kyselylomake ensim-mäisenä ja toisena projektivuonna. Eri rekrytointitahojen kokemus-ten ja mielipiteiden kartoittaminen oli tärkeää, koska projektin työtapahtui tällä kentällä ja heidän käsissään oli osaltaan se, miten pro-jekti menestyi kentällä: kaksi haastattelemistani rekrytoijista kertoiminulle suoraan, että mikäli projektia ei pidetä hyvänä ja toimivana,sitä ei esitellä nuorille tai siitä kerrotaan siten, että nuori ei siitä kiin-nostu.

Projektiin nuoria lähettäneiden työntekijöiden haastattelut erosi-vat nuorten kanssa tehdyistä haastatteluista siten, että haastattelutolivat selvemmin kahden aikuisen välisiä keskusteluita. Tämä onseurausta siitä, että haastattelu määrittyi ammattitutkijan ja nuortenkanssa työskentelevän viranomaisen tai nuorisotyöntekijän välisek-si virka-aikana tehtäväksi työasiaksi. Haastateltavat halusivat tuo-da esiin omien näkemystensä lisäksi myös oman taustaorganisaati-onsa ja ammattikuntansa kannan. Tästä syystä haastatteluiden on-nistumiselle oli eduksi, että olin tavannut kaikki haastateltavat ohi-mennen tai he olivat ainakin nähneet minut erilaisissa KOHO-pro-jektiin liittyvissä tilaisuuksissa edustamassa yliopistoa ja Nuorisotut-kimusverkostoa. Profiloituminen projektin ulkopuoliseksi tutkijaksija ohutkin henkilökohtainen kontakti helpottivat haastattelun sopi-mista ja toi avoimuutta haastatteluihin.

50

Projektin rahoittajien edustajat

Edellä mainittujen nauhurihaastatteluiden lisäksi tein projektin alku-taipaleella yhden haastattelun ilman nauhuria erään kaupungin sosi-aalitoimen johtavan virkamiehen kanssa. Tämän haastattelun ta-voitteena oli selvittää yhden projektin yhteistyökumppanin ja rahoit-tajan odotuksia projektin tuloksista. Haastattelun tulos jäi varsin niu-kaksi, koska kaupungin harjoittama ostopalvelupolitiikka painottaavapaiden käsien antamista kolmannen sektorin toimijoille: kaupunkiodottaa ja katsoo, millaisia palveluita kolmannen sektorin toimijoillaon tarjottavana ja antaa niiden tehdä tuotekehittelyä omatoimisestisitoutumatta projektiin. Palautteen kerääminen rahoittajatahoiltaosoittautui muutenkin vaikeaksi. Yritin saada lisää tietoa rahoittaji-en näkemyksistä laatimalla projektin ohjausryhmälle kyselylomak-keen. Ainoa ohjausryhmän jäsen, joka ei palauttanut kyselyloma-ketta muistutuksistani ja lomakkeen luottamuksellisuutta koskevistavakuutteluistani huolimatta, oli projektin päärahoittajan edustaja. Syytähän saattoi olla käynnissä olleet neuvottelut projektin jatkorahoi-tuksesta. Rahoittajatahon esiintyminen ohjausryhmän kokouksissaja poisjäänti kokouksesta, jossa ohjausryhmä otti kantaa jatkohan-keluonnokseen puoltaa tätä tulkintaa. Virkamiehen varovaisuus ra-hakysymyksissä on hyvin ymmärrettävää, mutta kommentoinnistapidättyminen tekee projektin kehittämistyön ja sen arvioinnin vai-keaksi. Kun rahoittajatahon intressejä ja toiveita ei artikuloida ää-neen, on mahdotonta arvioida projektin onnistumista tai epäonnistu-mista heidän näkökulmastaan.

Sijoittumisverkoston yhteyshenkilöt

Sijoittumisverkosto eli projektissa asioineiden nuorten työharjoitte-lupaikkojen yhteyshenkilöt tulivat mukaan projektiyhteistyöhön vii-meisinä eli vasta kun nuorten asiointi projektissa oli edennyt siihenvaiheeseen, että sijoittuminen harjoitteluun oli mahdollista. Arvioin-titutkimuksen aikataulun kannalta tämä merkitsi sitä, että tiedonke-ruun aloittaminen sijoittumisverkon projektikokemuksista oli järke-


51

vää tehdä vasta toisena projektivuonna, jolloin sijoittumispaikkoja olienemmän ja samoissa paikoissa oli mahdollisesti ollut enemmänkinkuin yksi KOHO-nuori. Alkuperäisenä ajatuksena oli lähettää kai-kille sijoittumispaikkojen yhteyshenkilöille kyselylomake ja sen jäl-keen haastatella muutama yhteyshenkilö. Lomakekyselyn perus-teella ilmeni kuitenkin, että valtaosalla sijoittumispaikoista oli koke-musta vain yhdestä KOHO-nuoresta ja asiointi projektin kanssa olirajoittunut vain tämän nuoren harjoitteluun liittyneisiin kysymyksiineikä heiltä siksi olisi ollut mahdollista saada projektista laajempaanäkemystä kuin mitä lomakekysely jo tuotti. Edelleen useampiaKOHO-nuoria ottaneet sijoittumispaikat olivat täyttäneet lomakkeethuolella ja arviointitutkimuksen vuoksi ei ollut tarpeen tehdä enäälisäksi nauhurihaastatteluita.

Suomalaisen nuorisotutkimuksen piirissä tehdylle arviointitutki-mukselle onkin ominaista tutkimuksen tekeminen pienin henkilöresurs-sein yhden tutkijan voimin70. Tämän vuoksi tutkimuksessa on tehtä-vä rajauksia ja keskityttävä vain olennaisimpaan, vaikka toisinaanmahdollisimman laajan näkökulman tarjoaminen arviointitutkimuk-sen tutkimuskohteeseen saattaisi tuottaa varsinkin kentän toimijoi-den ja heidän rahoittajiensa kannalta mielenkiintoista ja tärkeää li-sätietoa, joka palvelisi poliittista päätöksentekoa ja nuorisotyöstra-tegian luomista tulevaisuudessa. Yhtä isoakaan projektia tai projek-tikokonaisuutta tutkivan akateemisen arviointitutkimusryhmän ko-koaminen on harvoin taloudellisesti mahdollista Suomen oloissa.Käytännössä arviointiryhmiä pystyvät muodostamaan vain kaupal-lisia arviointipalveluita tuottavat yritykset. Näiden yritysten kohdal-

70. Esimerkiksi Outi Linnossuon KOHO pitää pinnalla! Turkulaisten 17–20-vuotiai-den työttömien nuorten arviointiprojektin projektiorganisaation arviointitutkimus1996–1999 (Työministeriö ja Turun kaupunki 2000), Minna Doganin Turun HUKI-projekti & Raision 360º 24 h -projekti 1998–2000 (Turun ja Raision kaupunki 2000)Jaana Lähteenmaan “Elämyksiä, harrastuksia ja virastoja”. Arviointitutkimus Elä-mysten kautta ammattiin -projektista (Nuorisotutkimusverkosto 2001) ja Kari Paak-kunaisen “Köysirataryhmää on taas hyvä muistella – eikä kukaan ollut vaarassapudota”. Nuorten Akatemian Mahis-projektin arviointitutkimus 1998–2000 (Nuori-sotutkimusverkosto 2000) ovat kaikki yhden tutkijan tekemiä arviointitutkimuksia.

52

la ei voida kuitenkaan aina puhua akateemiset kriteerit täyttävästäarviointitutkimuksesta.71 Tämä on valitettavaa, sillä nuorisotutkimuk-sen sisällä tehtävän arviointitutkimuksen akateemisen jalostumisenkannalta olisi eduksi, jos arviointitutkimuksen parissa työskenteleviänuorisotutkijoita voitaisiin koota saman arviointitutkimuksen ympä-rille. Näin voitaisiin tuottaa sekä entistä laajempaa ja yksityiskohtai-sempaa tietoa jostakin isosta projektista että identifioida ja analysoi-da nuorisotutkimuksen kannalta merkittäviä arviointitutkimuksenmenetelmiä ja teorioita ja kehittää arviointitutkimusta yhtenä nuori-sotutkimuksen osa-alueena. Tällaiseen oppi-ainespesifiin arviointiin72

panostaminen olisi tarpeellista aikana, jolloin huomattava osa nuori-sotyöstä ja muusta nuorten parissa tehdystä työstä tehdään projek-teissa, joista tehtyjen arviointitutkimusten tulisi voida lausua jotakinyleistettävää eri projekteista ja niiden kokemuksista. Tällainen arvioin-titutkimustieto olisi kullanarvoista palautetta kentän toimijoille ja pää-töksentekijöille ja veisi suomalaista nuorisotyötä eteenpäin.

71. Esimerkiksi haastatteluita ei aina dokumentoida. Arviointi saattaa myös ollapelkästään saavutusten ja ongelmien kirjaamista ja niiden taustojen selvittämiseen eikäytetä aikaa.72. Viittaan tällä termillä Michael Scrivenin jaotteluun discipline-specific evaluationja meta-evalution. Meta-evaluaatiolla Scriven tarkoittaa arvioinnin arviointia ja op-piainespesifillä arvioinnilla oppiaineen sisään menevää arviointia, jota voidaan tehdäsekä ammattiarvioitsijoiden avustuksella että ilman heitä, mutta joka vaatii ainaoppiaineen hyvää tuntemusta. (Scriven 1994, 148.) Tämä ei kuitenkaan tarkoita sitä,että yhden tieteenalan käyttämiä arviointimenetelmiä ei voitaisi käyttää toisessatieteenalassa. Päinvastoin, arviointi on tässä suhteessa verrannollinen esimerkiksitilastotieteen käyttöön apuvälineenä muissa tieteissä. Scrivenin näkemyksen mukaanarviointi on a tool discipline, aputiede, jossa on tavoitteena kehittää työkaluja myösmuille tieteenaloille. (Emt., 150). Suomalaisen nuorisotutkimuksen haasteena on löy-

tää oma sovelluksensa arvioinnista.


53

III ARVIOINTITUTKIMUKSENKEHITYSLINJOJA

Laadun arviointi

Nuorisotyön tai nuorille suunnattujen palveluiden ja toiminnan laa-dun arviointi ei ole yksinkertaista, sillä ihmistyössä laatuun liitettävätominaisuudet eivät aina ole kvantitatiivisesti mitattavissa, vaan nesaattavat olla hyvinkin abstrakteja ja subjektiivisia. Nuorisotutkimus-verkoston piirissä laatuajattelusta ja nuorisotyöstä on kirjoittanut PetriCederlöf.73 Cederlöf luonnehtii laatuajattelua nuorisotyössä tarkas-televaa tekstiään sanoin “ajattelun ja toiminnan tueksi tarkoitettuteoreettinen työkalupakki, jonka sisältöä tulee parantaa toiminnastaja käytännöstä käsin”. Asiakirja on ensisijaisesti suunnattu nuortenja nuorisotyön parissa työskenteleville ihmisille, mutta se antaa aja-tuksia myös heidän työtään arvioiville tutkijoille. Cederlöfin mukaan“[p]erusajatuksena on, että kuten laatutyön tulee käynnistyä tapaus-kohtaisesti tarpeista ja omasta näkökulmasta, myös laatuajattelunajatuksia voidaan vapaasti soveltaa nuorisotyöhön”74. Toisin sanoenlaatu on luonteeltaan relatiivinen käsite, joka on sidoksissa nuoriso-työn paikkaan, ajankohtaan, kohderyhmään, tekijöihin ja osakkai-siin. Laatu nousee siis edellä mainituista seikoista.

Nuorisotyöntekijöillä, heidän yhteistyökumppaneillaan, rahoitta-jilla, nuorisotyön kohteena olevilla nuorilla itsellään ja tavallisellaveronmaksajalla saattaa olla enemmän tai vähemmän jäsentynyt

73.Cederlöf, Petri, Laatuajattelu ja nuorisotyö? Perustietoa ja näkökulmia nuoriso-alan toimijoille. http://www.alli.fi/alli/laatu (23.04.2001) [sivunumeroimaton teksti,sivunumeroimaton sivu 6]

74. Emt., sivunumeroimaton sivu 6.

54

näkemys siitä, mitä laatu nuorisotyössä tarkoittaa, ja ryhmien näke-mykset saattavat painottaa hyvinkin erilaisia asioita tai olla keske-nään ristiriitaisia. Arviointitutkijan tehtävä on määritellä, mitä laa-dulla tarkoitetaan kulloisessakin arvioinnin kohteessa. Ajatus laa-dusta ei voi perustua vain arviointitutkijan subjektiiviseen tai ideolo-giseen näkemykseen siitä, millainen nuorisotyö kussakin paikassaolisi laadukasta, vaan sille on löydettävä perusteet arvioitavasta hank-keesta ja sen kontekstista. Erityisesti tämä pätee Guban ja Lincol-nin arviointistrategiaan työnsä pohjaavaan arvioitsijaan, joka pyrkiiluomaan eri osakkaiden välille konsensusta.

Kenen näkemystä laadusta arvioitsija sitten painottaa sovittaes-saan asianosaisten mahdollisesti ristiriitaisiakin käsityksiä toiminnanlaadusta? Tämän pohdinnan tukena on hyödyllistä käyttää erilaisialaadun tarkastelunäkökulmia. Tällaisia näkökulmia ovat valmistus-keskeinen laatu, jossa pyritään minimoimaan virheiden määrä, tuo-tekeskeinen laatu, jossa korostetaan tuotteiden ominaisuuksia, ar-vokeskeinen laatu, jossa keskeistä on käyttö- tai hyötyarvo ja hinta-laatu -suhde, kilpailukeskeinen laatu, jossa seurataan laadun suh-detta kilpailijoihin, asiakaskeskeinen laatu, jossa laatu muodostuuasiakkaiden tarpeiden ja toiveiden täyttämisestä sekä yhteiskunta-keskeinen laatu, jossa laadulla viitataan toiminnan kokonaisvaiku-tuksiin yhteiskuntaan ja luontoon.75 Asiakasnäkökulma, asiakasläh-töisyys tai asiakaskeskeisyys ovat nykyään merkittäviä lähtökohtialaatuajattelussa. Asiakkaan äänen pitää kuulua toiminnan suunnit-telussa, käytännön toiminnassa ja sen kehittämisessä.76 EU-kieltäkäyttäen voidaan puhua asiakkaan empowermentista eli asiakkaanvaikutusvallan lisäämisestä. Asiakkaat ymmärretään kuitenkin laa-

75. Emt., sivunumeroimaton sivu 18. Vrt. myös Taina Saarisen esittämä Harveyn jaGreenin jaottelu: poikkeuksellinen laatu, tasainen tai virheetön laatu, tarkoituksen-mukainen laatu, laatu tehokkuusvaatimuksena ja laatu muutoksena (Saarinen, Taina,“Koulutuksen arvioinnin vaikutukset – esimerkkinä yliopistoarviointi” teoksessaPaakkunainen (toim.) 1999, 64.76. Cederlöf [s.a.], sivunumeroimaton sivu 34. Ks. myös Cederlöf, Petri, “Merkityk-sestä laatuun. Haasteena nuorisotyön tutkimus” teoksessa Paakkunainen (toim.) 1999,

92–93, 94, 95.

ARVIOINTITUTKIMUKSEN KEHITYSLINJOJA

55

jaksi ryhmäksi nykylaatuajattelussa ja asiakkaana pidettäviä ryhmiävoidaan luokitella eri näkökulmista. Perusluokitustapa on jako sisäi-siin ja ulkoisiin asiakkaisiin. Riippuu luokitteluperusteista, kumpaanryhmään nuorten halutaan ymmärtää kuuluvan. Cederlöfin mukaannuorten voidaan periaatteessa katsoa olevan nuorisotyön välittömiäulkoisia asiakkaita, jotka sanelevat tarpeitaan ja joille toiminta ontarkoitettu, kun taas muut tahot voidaan nähdä sisäisiksi tai välilli-siksi asiakkaiksi. Kuitenkin, kuten Cederlöf huomauttaa, nuoret ovatmyös yhteiskunnan odotuksien mukaan nuorille räätälöidyn toimin-nan kohteita ja siten oikeastaan nuorisotyön ja sen mahdollistamientoimintojen sisäisiä asiakkaita näihin toimintoihin osallistuessaan.77

Nuorisotyö on siis tärkeä osa yhteiskunnan toimintaa ja nuoriin pa-nostaminen on yhteiskuntamme keskeisiä arvovalintoja. Tästä syystämyös yhteiskunta täytyy määrittää asiakkaaksi ja siksi on mielestä-ni käsitteellisesti osuvampaa kutsua arvioimani KOHO-projektin kal-taisten hankkeiden osallistujia, nuoria, sisäisiksi asiakkaiksi ja muitatoimijoita ulkoisiksi asiakkaiksi.

Sosiaalipoliittisia EU-hankkeita arvioitaessa asiakkaan painotta-minen laatua määriteltäessä on perusteltua, sillä empowerment-ajat-telun mukaisesti EU painottaa ohjelmakokonaisuuksiin osallistujienmahdollisuutta vaikuttaa itseään koskeviin toimenpiteisiin. Cederlö-fiä seuraten, tämä tarkoittaa nuorisotyön käytännön arvioinnissa senmittaamista, miten nuorten tarpeet on selvitetty ja ennakoitu, ja mi-ten tämä tietämys on osattu muuntaa käytännön toiminnaksi. Lisäk-si on arvioitava, miten toiminnan tai palvelujen kustantajien ja yh-teistyökumppaneiden tarpeisiin on osattu vastata tuotetulla toimin-nalla tai palvelulla. Tämä ajattelutapa on yhdensuuntainen Guban jaLincolnin ajatusten kanssa osakasarvioinnista. Laatua määritelles-sään tutkijan on tavallaan sovitettava yhteen hankkeen osakkaidennäkemyksiä laadusta ja luotava siitä konsensus. Kun yhteisymmär-rys siitä, mitä laadulla kulloinkin tarkoitetaan, on saavutettu, on alet-tava miettiä, miten laatua mitataan. Laatu ei ole sama asia kuin

77. Cederlöf [s.a.], sivunumeroimaton sivu 34.

56

tehokkuus78 ja niinpä laatua ei voida mitata mittaamalla tehokkuut-ta. Muiden sosiaalipoliittisten hankkeiden tavoin nuorisotyön laaduk-kuus liittyy sen yhteiskunnalliseen arvoon taloudellisessa ja moraa-lisessa mielessä.79 Niinpä toiminnalla voi olla eettisiä tavoitteita, joi-ta ei voida mitata rahassa. Näiden ei-rahallisten arvojen määrittelyvoi olla vaikeaa. Jos esimerkiksi asiakkaat kokevat tasavertaisentai inhimillisen kohtelun toiminnan hyvänä laatuna, niin miten tällais-ta varsin subjektiivista kokemusta voidaan mitata? Nuorisotutkimuk-sen osana tehtävän arviointitutkimuksen kehittämishaasteita on laa-dukkaaseen nuorisotyöhön liitettävien abstraktien ja subjektiivistenarvojen mallintaminen mitattaviksi siten, että toiminnan laatua voi-daan suhteuttaa myös jonkin kilpailevan toiminnan laatuun. Tähänmallintamiseen on paneuduttava jatkossa pohdittaessa nuorisotutki-muksen sisällä tehtävän arvioinnin kehittämistä ja profilointia erilli-senä arviointitutkimuksen osa-alueena.

78. Emt., sivunumeroimaton sivu 22.

79. Ks. emt., sivunumeroimaton sivu 13.


57

BSC-mallin hyödyntämis-mahdollisuudet arvioinnissa

Nuorisotyön laatua arvioitaessa kannattaa kiinnittää huomiota toi-minnan taustalla vaikuttavaan strategiaan. Strategia on laatutyössätarvittava työväline, jolla tavoitteet ja suunnitelmat muutetaan käy-tännön toiminnaksi.80 Suomalaisen nuorisotutkimuksen vahvuuksiaon sen monitieteellisyys ja ennakkoluulottomuus eri tieteenalojenmenetelmien hyödyntämisessä. Samaan innovatiivisuuteen tulisipyrkiä myös nuorisotutkimuksen sisällä tehtävässä arviointitutkimuk-sessa. Yksi kiintoisa ajatuskoe on, mitä BSC-malli voi antaa arvi-ointitutkimusta tekevälle nuorisotutkijalle. Vuonna 1992 esitelty Ro-bert S. Kaplanin ja David P. Nortonin Balanced Scorecard (BSC)on yritysmaailmassa käytetyimpiä81 strategisia ohjausmalleja tällähetkellä. Sitä voidaan käyttää strategian luomiseen ja toteuttami-seen, tuotetusta toiminnasta saatavan palautteen keräämiseen jatoiminnan tarkkailuun. BSC-mallin hyödyntäminen arvioinnin apu-välineenä on pohdinnan arvoinen kysymys. Malli on sovellettavissamyös nuorisotyöhön, sillä sitä voidaan käyttää niin liikeyritysten kuinjulkisten tai ei-voittoa tavoittelevien toimijoiden tarpeisiin. Mallinkehittäjät toteavatkin, että vaikka BSC kehitettiin alunperin yksityi-sen sektorin tarpeisiin, sen potentiaalinen hyöty on mahdollisesti vieläsuurempi julkiselle sektorille ja ei-voittoa tavoitteleville toimijoille.82

Tämä näkemys perustuu ajatukseen, että edellä mainitut organi-saatiot joutuvat rajoittamaan menonsa budjetoituihin summiin, mut-ta niiden tehokkuutta ei voida mitata sillä, miten tarkkaan ne pysy-vät budjetissaan tai onnistuvatko ne peräti alittamaan budjettinsa.Näiden organisaatioiden menestyksellisyyttä tulisi arvioida sen mu-

80. Emt., sivunumeroimaton sivu 31.81. Vuonna 2001 noin 80% suurista suomalaisista yrityksistä oli rakentanut tai olirakentamassa BSC-mallia. (Laitinen, Erkki K., “Balanced Scorecard saattaisi toimiayliopistossa”. Acatiimi 5/2001, 13.)82. Kaplan, Robert S, – David P. Norton, Translating Strategy into Action. TheBalanced Scorecard. Harvard Business School Press 1996, 179.

58

kaan, miten tehokkaasti ne kykenevät vastaamaan kohderyhmänsätarpeisiin.83

BSC-mallissa strategiset mittarit kootaan yhteen neljän näkö-kulman avulla. Nämä näkökulmat ovat taloudellinen näkökulma, jossatarkastellaan sijoitetun pääoman tuottoa, asiakkaan näkökulma, jos-sa kiinnitetään huomiota asiakastyytyväisyyteen ja -uskollisuuteen,sisäisten prosessien näkökulma, jossa tuotetaan mahdollisimmannopeasti tuotteita ja palveluita, jotka tyydyttävät asiakkaita sekäoppimisen ja kasvun näkökulma, jonka avulla pyritään toiminnankasvattamiseen ja kehittämiseen.84 Mallin tarkoituksena on selvit-tää, että kaikki menestyksen edellytykset ovat kunnossa ja organi-saatiota johdetaan tasapainoisesti.

BSC on ytimeltään organisaation johtamismalli, ei mittausväli-ne.85 Tästä syystä BSC-mallin käyttö arvioinnin apuvälineenä onongelmallista. Mallin käyttö arvioinnin apukeinona näyttäisi edellyt-tävän interaktiivista (arviointi)tutkijapositiota suhteessa arvioinninkohteisiin. Tällaisen position omaksuminen taas olisi mahdotonta,mikäli hyväksyttäisiin Michael Scrivenin näkemys arvioitsijan ja ar-vioinnin kohteena olevien välisestä suhteesta. BSC-mallia apunakäyttävä arvioitsija olisi siis toimenkuvaltaan lähinnä arviointikon-sultti. Koska BSC-malli on strategia eikä mittausväline, näyttäisisiltä, että sen hyödyntäminen soveltuisi paremmin prosessiarvioin-tiin tai formatiiviseen arviointiin kuin summatiiviseen arviointiin. Tähänviittaa myös BSC-mallin taustalla oleva ajatus, jonka mukaan toimi-jat pyrkivät parantamaan olemassa olevia prosesseja.86 Malliin liit-tyvään ajatteluun tutustuminen voi kuitenkin olla hyödyllistä myösScrivenin edustamalle arvioitsijatyypille ensinnäkin, koska BSCmuuttaa toiminnan läpinäkyväksi87 ja toiseksi, koska siinä koroste-taan asiakasnäkökulmaa88 samoin kuin esimerkiksi ESR-hankkeis-sa. BSC-mallin voisi olettaa tuovan nuorten ääntä kuuluviin entistä

83. Emt., 180.84. Emt., 24–29.85. Emt., esim. sivu 25.86. Emt., viii.87. Emt., 148, 165–156 ja 222.

88. Emt., 63–91.


59

enemmän heille suunnatuissa hankkeissa. Nähdäkseni nuorisotutki-muksen osana harjoitettavan arviointitutkimuksen erityisyys suhtees-sa muuhun arviointitutkimukseen on juuri nuorten näkökulman pai-nottaminen. Siksi BSC-mallin soveltuvuutta arviointitutkimusta te-kevän nuorisotutkijan työvälineenä tulisi tutkia jatkossa.

Kaplan ja Norton toteavat, että informaatioaikana on pystyttäväpalvelemaan asiakkaiden yksilöllisiä tarpeita sekä tuottamaan rää-tälöityjä tuotteita ja palveluita mahdollisimman pienin kustannuksin.89

Jotta voidaan palvella asiakkaita mahdollisimman hyvin, on tunnet-tava asiakkaat ja valittava kohderyhmät.90 Toisin sanoen, tietyssämielessä palveluiden tuottajat valikoivat asiakkaat, joita he haluavatpalvella mahdollisimman hyvin ja yksilöllisesti. Nuorisotyössä toimi-taan pitkälti samalla tavalla. Rajalliset resurssit ovat toisinaan hy-vinkin niukkoja ja niitä on pyrittävä hyödyntämään mahdollisimmantaloudellisesti. Samoin esimerkiksi joku nuorten parissa toimiva pro-jekti saattaa kelpuuttaa toimenpiteisiinsä vain tietyn ikäisiä nuoria.Projekti saattaa myös olla luonteeltaan vaikkapa päihteetöntä toi-mintaa ja tästä syystä tarjota räätälöityjä palveluita on vain sellaisil-le nuorille, joilla ei ole päihdeongelmaa tai joilla se ei ole akuutti.Arviointitutkijan kannalta tämä tarkoittaa sitä, että hänen on pyrittä-vä selvittämään, miten hyvin hankkeen suunnittelusta ja käytännöntoteutuksesta vastaavat kentän toimijat ovat onnistuneet identifioi-maan ja tavoittamaan kohderyhmänsä, sekä miten hyvin tarjottutoiminta tai palvelut vastaavat näiden nuorten tarpeita ja toiveita.Samalla arvioitsija saa tietoa palvelun tuottajan ja sen henkilöstönkyvystä kerätä tietoa omasta kohderyhmästään. Saadun tiedon an-siosta kohderyhmään kuuluvat nuoret opitaan tuntemaan paremminja heitä voidaan jatkossa palvella kattavammin. Tämä ei tarkoitasitä, etteikö nuori olisi tyytyväinen saatuaan hakemansa palvelun taituotteen, vaan kyse on siitä, miten häntä voitaisiin palvella vielä pa-remmin.91

89. Emt., 4.90. Emt., 64–67.

91. Emt., 127–129.

60

Tehdessäni Tampereen KOHO-projektin asiakkaiden kuudenkuukauden seurantahaastatteluita havaitsin, että haastattelemaninuoret eivät juurikaan itse kyenneet muotoilemaan lisäpalvelutar-peitaan. Huomattava osa heistä ei osannut määritellä, mitä he pro-jektin asiakkuuden aloittaessaan olivat projektilta toivoneet tai odot-taneet. Nuoret olivat “tulleet katsomaan”. Tätä taustaa vasten voi-daan sanoa, että nuorten palveleminen hyvin edellytti työntekijöiltäaktiivisuutta suhteessa nuoreen ja hänen palvelutarpeidensa kar-toittamisessa.

Arvioitaessa esimerkiksi nuorten parissa toimivaa projektia yh-tenä arvioinnin osa-alueena voisi olla projektin kyky kerätä ja päivit-tää asiakastiedostoja. Monessa projektissa asiakastietojen kerää-mistä pidetään toissijaisena asiakkaan palvelemisen kannalta. Tie-tojen kerääminen on usein epäsystemaattista ja asiakkaista kirjattutieto epätäydellistä, säännöllisistä tilastokoosteista puhumattakaan.Monesti asiakasrekisterin puutteita perustellaan niukoilla resursseilla.Näin ei kuitenkaan tarvitsisi olla, sillä ajan tasalla olevan asiakasre-kisterin ylläpito ei useinkaan vaadi suuria rahasummia tai henkilöre-sursseja vaan niiden järkevää käyttöä. Ongelma on todennäköisim-min se, että asiakastiedoston keräämistä ja hoitoa ei pidetä tärkeä-nä osana työtä, koska sitä ei ymmärretä oman asiakastyön laadunparantamisen välineeksi ja sitä kautta koko hankkeen kehittämis-työkaluksi.

BSC-mallin inspiroimana nuorisohankkeen menestyksellisyyttäasiakasnäkökulmasta voitaisiin arvioida seuraavien avainelementti-en toimivuuden pohjalta: 1) osaavat ihmiset, 2) tavoitettavuus ja 3)nopea palvelu. Osaavilla ihmisillä tarkoitetaan työntekijöiden kykyätunnistaa ja täyttää nuorten tarpeet. Tavoitettavuudella puolestaantarkoitetaan palvelun helppoa saatavuutta. Käytännössä helppousvoi perustua joustaviin aukioloaikoihin, keskeiseen sijaintiin tai vaik-kapa tukkeutumattomaan puhelinpalveluun. Nopea palvelu taas tar-koittaa sitä, että palvelun saamista edeltävän odotusajan pitäisi vä-hintäänkin vastata asiakkaan käsitystä palvelutarpeensa kiireellisyy-destä.92

92. Emt., 75.


61

Arvioinnissa voitaisiin ottaa huomioon hankkeen toimijoiden pa-nostus asiakaspalautteen keräämiseen, eli miten usein, missä vai-heessa ja kuinka säännöllisesti asiakaspalautetta kerätään. Nuori-sotyössä tuotetaan palveluita kuten missä tahansa palvelualalla toi-mivassa yrityksessäkin. Palveluiden tuottajat puolestaan eroavattavaroiden tuottajista siten, että negatiivinen asiakaspalaute kulkeu-tuu heikommin takaisin. Siinä missä huonon tuotteen ostanut asia-kas tulee takaisin vaihtamaan tai palauttamaan tuotteen, palveluuntyytymätön asiakas vaihtaa palvelun tuottajaa yleensä sen kummem-min palautetta antamatta (so. nuori ei tule uudelleen) ja asiakkaidentyytymättömyys palveluun saatetaan havaita vasta aikojen kuluttuaasiakkaiden vähentymisen myötä, usein siinä vaiheessa, kun on joliian myöhäistä tehdä asialle mitään.93 Puhuttaessa nuorisotyöpro-jekteista asiakkaiden vähentyminen saattaa olla seurausta esimer-kiksi projektiin nuoria rekrytoivien tahojen tyytymättömyydestä pro-jektin toimintaan tai tuloksiin. Nuorten oma tyytymättömyys projek-tin tarjoamiin palveluihin saattaa johtaa asioinnin keskeytymiseentai loppumiseen nuoren “kadotessa” selittämättömästi palvelun pii-ristä. Luonnollisesti kaikki selittämättömät asioinnin keskeyttämiseteivät ole vastareaktioita palvelun laadulle, vaan nuori saattaa lopet-taa asioinnin äkillisesti jostain muustakin täysin palvelusta riippu-mattomasta syystä. Siksi olisikin hyvä pyrkiä selvittämään keskeyt-tämisen syitä ja erottamaan palvelusta johtuneet keskeyttämisetnuoresta itsestään johtuneista keskeyttämisistä. Jotakin palvelunlaadusta kertoo myös nuorten sitoutuneisuus säännölliseen asioin-tiin ja ajallaan paikalle saapuminen. Jos projekti tarjoaa samalle nuo-relle useita erilaisia ajanvaraukseen perustuvia palveluita, joista osaanhän saapuu täsmällisesti ja osaan myöhässä (tai jättää kokonaansaapumatta), voidaan aavistella tämän ilmentävän sitä, että nuoripitää jotakin osaa palveluista itselleen toisia palveluita merkittäväm-pänä. Esimerkiksi KOHO-projektissa osa KOHO-kurssille osallis-tuneista nuorista tuli paikalle normaalia täsmällisimmin silloin kunnuoren kurssipäivään kuului henkilökohtainen yksilöohjaus. Arvioit-

93. Emt., 88, 70.

62

sijan on hyvä olla tietoinen näistä seikoista ja pohtia nuoria ja han-ketta koskevan tietämyksensä pohjalta, voidaanko edellä mainituis-ta seikoista päätellä jotain asiakkaiden mielipiteestä kyseisen palve-lun laadusta. Omien päätelmien ja käsitysten oikeellisuutta on kui-tenkin hyvä testata esimerkiksi asiakashaastatteluilla.

Osaavat ihmiset ovat tärkeä osa asiakaspalvelua missä tahansaorganisaatiossa, jossa on asiakkaita. Esimerkiksi nuorisotyössä, jokaon luonteeltaan ihmistyötä ja pitkälti asiakaspalvelua, työntekijöidenosaaminen on avainasemassa. Kaplan ja Norton esittävät työnteki-jöiden työtyytyväisyyden ja tuottavuuden korreloivan voimakkaas-ti.94 Siksi arvioitaessa esimerkiksi jotakin nuorisotyöprojektia on syytäselvittää myös työntekijöiden pätevyydet ja näkemykset projektistaja omasta työstään. Muodollisen pätevyyden lisäksi työntekijöidentyökokemuksen pituus ja laatu ovat tärkeitä asiakaspalvelutyön re-sursseja. Organisaation suorituskyvylle on eduksi, jos sen työnteki-jät tuntevat myös muiden asiakkaiden kuin nuorten ja yhteistyökump-paneiden toimintatavat. Työtyytyväisyyden selvittämiseen soveltu-via mittareita on esimerkiksi työntekijöiden vaihtuvuus. Vaihtuvuu-den syiden selvittämisellä (esim. työsuhteen määräaikaisuus, palk-kaus, hankalat työajat, liian kova työtahti, koulutuksen ja työtehtävi-en vastaamattomuus) puolestaan voidaan mahdollisuuksien mukaanpoistaa tyytymättömyyttä aiheuttavia seikkoja ja parantaa työnteki-jöiden viihtyvyyttä ja sitoutumista työyhteisöönsä ja -tehtäviinsä.Mittaamiseen perustuvien kvantitatiivisten menetelmien lisäksi työ-tyytyväisyyttä tai -tyytymättömyyttä voidaan selvittää työntekijä-haastatteluilla.

Organisaatio saa tietoa palautteen hankintamekanismien avulla(projekti)suunnitelman toteutumisesta. Organisaation kannalta olisiedullista, että palautetta kerättäessä oppiminen tapahtuisi kahdensilmukan reittiä (double-loop learning) pelkän yhden silmukan (sing-le-loop learning) sijasta. Edellisessä on kyse siitä, että testataan toi-minnan pohjalla olevia olettamuksia aineiston, havaintojen ja koke-muksen perusteella, kun taas jälkimmäisessä palautetta saadaan siitä,

94. Emt., esim. 130.


63

onko toiminta toteutettu suunnitelmien mukaan. Luonnollisesti mo-lemmat oppimisprosessit ovat tarpeellisia.95 Jotakin organisaatiota,hanketta tai nuorisotyöprojektia arvioitaessa palautteenkeruuproses-sin analysointi kertoo arvioinnin kohteen valmiudesta oppia toimin-nastaan ja sitä kautta kiinnostuksesta kehittää itseään. Esimerkiksinuorisoprojektin kohdalla arvioitsijan kannalta on kiintoisaa, missälaajuudessa projektin johto kerää ja analysoi tietoa suunnitelmientoteuttamisesta ja niiden toimivuudesta käytännössä. Edelleen pro-jektin itsereflektiotavat (yhteiset kehittämistilaisuudet tai palaverit,joissa puidaan työskentelytapoja, kokemuksia, tavoitteita ja niidentoteuttamista) kertovat projektin sisäisestä oppimis- ja kehittämis-työskentelystä.

95. Emt., 17.

64

Projektin tulosten konkretisointi

Osa KOHO-projektin arviointistrategiaani oli yhden osakasryhmännäkemyksen, nuorten, painottaminen arvioinnissa. Valitsemassanilähtökohdassa ongelmallisinta oli nuorten projektista antaman pa-lautteen konkretisointi. Monista nuorista projektin paras anti oli ys-tävällinen palvelu ja henkilökunta. Moni nuorista oli myös saanutprojektista itseluottamusta ja uskallusta. Tämä kaikki oli projektinsuorittaneille nuorille arvokasta ja se oli heidän näkökulmastaan yksiprojektissa asioinnin tulos. Ystävällisyys ja rohkaisu olivat palvelui-ta, joita nuoret projektista halusivat työ- ja koulutuspaikan tai omienjatkosuunnitelmien selkeyttämisen lisäksi. Mutta miten ystävällises-tä ja empaattisesta asiakkaan kohtaamisesta syntyvä hyvä mielimuutetaan laskettavaksi tuotokseksi, ja miten se suhteutetaan työ-paikan tai opiskelupaikan saantiin? Ainakin projektin rahoittajataho-jen voi perustellusti olettaa odottavan sijoittumisia työhön tai koulu-tukseen. Mitä pidempikestoisia nämä sijoittumiset ovat, sen parem-min voi projektin katsoa onnistuneen työssään heidän näkökulmas-taan. Mukavasta ja kannustavasta palvelusta kohentunut itsetuntoon heidän kannaltaan vai sivutuote, joskin varmastikin hyvä sellai-nen. Kuitenkin projektin tulosten arvioinnissa on kiinnitettävä huo-miota projektin tavoittelemien tulosten toteutumisen lisäksi myös sentoiminnan myönteisiin ja kielteisiin sivutuotoksiin. Toisinaan toimin-nan sivutuotteina tai tahattomana vaikutuksena syntyneet tulokset– kuten esimerkiksi hyvä mieli – voivat olla asiakkaan itsensä mie-lestä projektiasiakkuuden tärkein tulos. Tällaisten sivutuotteidennostaminen esiin arvioinnissa on arvokasta toiminnan mahdollisellejatkokehittämistyölle. Nuorisotutkimuksen osana tehtävässä arvioin-titutkimuksessa olisikin hyvä käydä keskustelua abstraktien tulos-ten ja sivuvaikutusten konkretisoinnista ja mittaamisesta.


65

Arviointitutkimus ja poliittinenpäätöksenteko

Arviointitutkimuksen käyttö – elääkö arviointiraportti omaaelämäänsä?

Arvioitavan toiminnan tai palvelun tuottajilla, sidosryhmillä, kohteillaja rahoittajilla on erilaisia intressejä ja arvoja, jotka voivat olla kes-kenään kilpailevia tai ristiriitaisia. Tästä syystä arviointitutkijaa taihänen arviointiaan saatetaan yrittää käyttää eri ryhmien intressienajamiseen ja politiikanteon välineenä. Miten arviointitutkijan pitäisitoimia tällaisessa tilanteessa ja mitkä ovat hänen mahdollisuutensaitsenäisten linjausten ja toimenpidesuositusten esittämiseen? Mitentämä erilaisten odotusten ja paineiden kohteena olo näkyy tutkijanroolissa?

Kuten edellä kuvasin, Chelimsky määrittelee tutkijan roolin tu-loksellisuus-, kehitys- ja tietoperspektiivin perusteella. Kirjoittaes-saan opetuksen arvioinnista Barry MacDonald puolestaan jakaaarviointitutkimuksen kolmeen eri tyyppiin arvioitsijan hyväksymienarvojen perusteella ja sen mukaan, miten hänen tutkimustaan käy-tetään. MacDonald jakaa arvioinnin byrokraattiseen arviointiin, au-tokraattiseen arviointiin ja demokraattiseen arviointiin. Näistä byro-kraattinen arviointi on niiden valtion virastojen käytössä, jotka pää-osin kontrolloivat opetustoimen resursseja. Tällaista arviointia teke-vä arvioitsija hyväksyy viranhaltijoiden arvot ja tarjoaa sellaista in-formaatiota, joka auttaa heitä saavuttamaan tavoitteensa. Byrokraat-tisessa arvioinnissa arviointitieto palvelee hallintoa ehdoitta. Auto-kraattinen arviointi, jota Michael Scriven edustaa MacDonaldinmukaan, on ehdollista opetustoimen resursseja pääosin kontrolloi-vien virastojen palvelua. Sen arvot ovat peräisin arvioitsijan näke-myksestä hallintokoneiston perustuslaillisista ja moraalisista velvol-lisuuksista. Arvioitsija toimii asiantuntijaneuvonantajan tavoin. Hä-nen vaikutusvaltansa nousee akateemisesta tutkimusyhteisöstä jahän säilyttää tutkimuksensa “tekijänoikeudet”. Hänen tutkimuksensa

66

pätevyys koetellaan tutkimusyhteisössä. Demokraattinen arviointi,jonka edustajiksi MacDonald lukee Robert Staken, on koko yhtei-sölle tarkoitettua informaatiopalvelua. Demokraattinen arvioitsijahyväksyy pluralismin arvoksi ja pyrkii tuomaan esiin erilaiset intres-sit. Hän välittää informaatiota ryhmiltä toisille ja hänen aineistonsakeräysmenetelmät ja esitystavat ovat ymmärrettäviä maallikkoylei-sölle.96 MacDonald julistautuu itse demokraattisen näkökulman edus-tajaksi.97 MacDonaldin argumentaatio nousee yhteiskunnan plura-listisuudesta. Arvioitsijalla ei ole oikeutta edistää omia arvojaan taiomista lähtökohdistaan eniten legitiimiltä vaikuttavaa ideologiaa.98

Esittäessään demokraattisen arvioinnin parhaana arviointityyppinäja nostaessaan Staken esiin sen edustajana MacDonald lähestyyakateemisen lukijan kannalta kiusallista päätelmää: jos Staken edus-tama ote on pluralistisen yhteiskunnan arvojen mukaan paras lähes-tymistapa, silloin myös Staken itsensä tunnustama kriittisten löydös-ten valikoiva esittäminen arviointiraporteissa olisi suositeltava käy-täntö. Akateemisen raportointikäytännön sisäistäneelle lukijalle tämäon mahdotonta hyväksyä. Toisaalta MacDonald ei lainkaan käsitte-le Staken esittämää arviointikohteen ymmärtämistä vaan ainoas-taan arvioinnin perustumista pluralismiin ja erilaisten intressien esiintuomista. Käsittelemättä jää, mihin saakka arvioitsijan työssä voi-daan puhua erilaisten intressien esiin tuomisesta ja missä meneeraja lobbauksen kanssa.

Poliittisen vastuun merkitys

Rossin ja Freemanin näkemys arvioinnista sijoittuu byrokraattisenja autokraattisen arvioinnin välimaastoon, joskin siihen sisältyy myöselementtejä demokraattisesta arvioinnista. Rossi ja Freeman käsit-

96. MacDonald, Barry, “Evaluation and the Control of Education” teoksessa Murphy,Roger – Harry Torrance (eds.), Evaluation Education: Issues and Methods. Harper &Row Publisher 1987, 44–45. Vrt. myös Taina Saarisen yhteenveto arviointitiedonkäytöstä tutkimuskirjallisuudessa (Saarinen 1999, 66–67).97. MacDonald 1987, 37.

98. Emt., 39.


67

televät arviointia hyvin käytännön läheisesti ja heidän arviointiteok-sensa sisältää runsaasti arkirealismia. Tästä johtuen sitä on vaikeapakottaa yhden edellä mainitun arkkityypin alle: arviointitutkimus-työ on usein monimutkaisempaa kentällä kuin paperilla. Ross ja Free-man painottavat byrokraattisen arvioinnin elementtejä korostaes-saan, että arvioinnit ovat vain yksi, joskin tärkeä osa, päätöksente-koprosessia ja valmistuttuaan arviointi saattaa päätyä vain alaviit-teen asemaan tai tulla kokonaan ohitetuksi.99 Tämä ei suinkaantarkoita sitä, että arviointitutkimusten laatiminen olisi turhaa tai arvioin-titutkijat olisivat hyväksikäytettyjä tai arvioissaan puolueellisia, vaankyse on poliittisen vallan edustukselliseen käyttöön liittyvästä vas-tuusta. Kuten Rossi ja Freeman toteavat, arvioitsija ei ole “filosofi-kuningas”, joka veto-oikeudellaan tekee tyhjäksi poliittisten päätök-sentekijöiden päätösvallan.100 Rossin ja Freemanin näkemys on pe-rusteltu, sillä toisin kuin arviointitutkija, poliittiset päättäjät ovat vaa-leilla tehtäviinsä valittuja, ja he kantavat vastuun poliittisista päätök-sistä ja vastaavat niistä valitsijoilleen. Mikäli arvioitsija riistäisi po-liittisilta päätöksentekijöiltä heidän äänestäjiltään saamansa mandaa-tin, demokraattinen päätöksentekoprosessi korvattaisiin tekno-kraattisella. Kansa ja sen tahtoa ilmaisevat päätöksentekijät voivat ar-vioitsijan näkökulmasta tehdä tyhmiä päätöksiä, mutta se on kansanetuoikeus. Kari Paakkunainen toteaa päätöksentekijöiden tarvitse-van nykyään tietoa niin nopeasti, että he kääntyvät mieluumminnuoriso- tai arviointitutkijan puoleen kuin käyttävät hitaampia kan-sanvaltaisia kanavoita. Näin tutkijat ottavat tai heidät saadaan otta-maan “paikkoja ja rooleja kansanvaltaisilta, ryhmätasoiselta etu- jaideologiselta mobilisaatiolta, vastuunalaisuudelta ja parlamentaris-milta”101. Paakkunainen toteaa, että kansalaisten omien osallistu-mismahdollisuuksien korvaamisen asiantuntijavallalla on kyseenalais-ta ja vailla kestäviä perusteita, vaikka toteaakin tiedontuottajien ole-van avainasemassa ratkaisuja etsittäessä. Paakkunainen esittää, että

99. Rossi - Freeman 1993, 47, 49, 409 ja 418–419.100. Emt., 420.101. Paakkunainen, Kari, “Nuorisotyön evaluaatio ’poliittisen’ uudelleen löytämise-

nä” teoksessa Paakkunainen, Kari (toim.) 1999, 141.

67

arviointiin helposti liittyvää epädemokraattisuutta korjattaisiin kohot-tamalla arvioinnin kohteita arvioijiksi.102 Arviointi määrittyy hänenartikkelissaan politikoinnin muodoksi ja uudeksi tavaksi toimia jaosallistua.103 Paakkunainen näyttäisi asettuvan Fettermanin empo-werment-arvioinnin kanssa samoille linjoille, vaikka ei häneen artik-kelissaan viittaakaan.

Kansalaisten osallisuus

Richard Murray on kiintoisalla tavalla tuonut esiin kansalaisten ar-viointiprosessiin osallistumiseen liittyviä pulmia. Murray katsoo val-takysymysten kuuluvan oleellisesti arviointiprosessiin. Valtaa käy-tetään arvioinnissa tavoitteiden asettelussa, ongelman määrittelys-sä ja vaihtoehtojen muotoilussa.104 Murrayn esimerkkitapaus onTukholman liikennesuunnitteluprosessi, jossa kansalaiset pyrittiinintegroimaan mukaan arvioinnin tekoon.105 Arviointiyritys epäon-nistui poliitikkojen vähäisen arviointiin sitoutumisen vuoksi. Arvioin-tiprosessi keskeytyi ennen varsinaisen suunnittelukeskustelun alkua,ja arvioinneilla kartoitettujen vaihtoehtoisten ratkaisumallien uutisointijäi niin niukaksi, että raportit eivät tavoittaneet suurta yleisöä.106

Murrayn artikkelin mukaan lähtökohdiltaan demokraattisen arvioin-tiprosessin, jossa kansalaiset ovat yhtenä ryhmänä mukana teke-mässä evaluaatiota, onnistumisedellytys on kansalaisten integrointikaikkiin arviointiprosessin vaiheisiin, myös vaihtoehtojen määritte-lyyn, jossa kansalaiset usein eivät ole mukana. Lisäksi onnistumi-nen edellyttää poliitikkojen ja päättäjien sitoutumista arviointipro-sessiin.

Nuorisotutkimuksen sisäisessä arviointitutkimuskeskustelussatulisikin jatkossa pohtia, miten kansalaisten ja erityisesti nuorten it-

102. Emt., 143.103. Emt., 145.104. Murray, Richard, “Citizens’ Control of Evaluations”. Evaluation. Volume 8.Number 1. January 2002, 81.105. Emt., 91–98.106. Emt., 97.


68

69

sensä osallistumista arviointeihin voitaisiin kannustaa ottaen saman-aikaisesti huomioon Murrayn esittämät ehdot tällaisen prosessinmenestyksekkäälle läpiviemiselle.

Arvioinnin autoritaariset elementit

Rossin ja Freemanin arviointikäsitykseen liittyviä autokraattisia ele-menttejä on heidän toteamuksensa, että useimmilla arviointiasian-tuntijoilla on ainakin jotakin yhteiskuntatieteellistä koulutusta ja hei-dän toivekuvansa, että arvioitsijat tuntisivat yhteiskuntatieteellistenmenetelmien koko kirjon.107 Edellisen lisäksi autokraattisia element-tejä heidän näkemyksessään edustaa ajatus, jonka mukaan muutarvioitsijat, jotka lukevat arviointeja ja antavat palautetta niiden tek-nisestä laadusta kuuluvat arviointiprosessin osakkaisiin.108 Suoma-lainen nuorisotutkimus on luonteeltaan monitieteellistä ja siksi arvi-oinninkin kohdalla tulisi kannustaa yhteiskuntatieteellisen tutkimuk-sen rajat ylittävään monitieteelliseen tutkimusotteeseen.

Raportin kirjoittamisen tasot

Demokraattisia elementtejä Rossin ja Freemanin näkemyksessäarvioinnista edustaa ajatus, jonka mukaan jokaisen arvioitsijan tulisiosata myös kansantajuistaa (secondary dissemination) teknisen ver-taisryhmälle suunnatun raportin (primary dissemination) sisältö.Kansantajuisesti kirjoitetun raportin tavoitteena on tarjota arvioin-nin tulokset muodossa, jossa “älykäs maallikkolukija” pystyy neymmärtämään. Toisin sanoen raportissa tulee välttää ammattislan-gia ja käyttää sellaista kieltä, jonka älykäs mutta arviointitutkimustatuntematon lukija ymmärtää ja lisäksi raportissa tulee pyrkiä lyhy-

107. Rossi – Freeman 1993, 52–53.108. Emt., 408.

70


een, tiivistettyyn ilmaisutapaan.109 Arviointitutkijan tulisi siis hallitauseampi kuin yksi kirjoittamisen laji. Toisaalta tutkimusta kirjoitta-essa kannattaa myös muistaa, että vaikeatajuinen kieli ei tee teks-tistä tieteellistä eikä selkokielisyys epätieteellistä. Varsinkaan yh-teiskunnan varoilla harjoitetun tutkimustoiminnan tuloksia raportoi-taessa kieltä ei pitäisi käyttää vallan välineenä, jolla osa lukijoistasuljetaan ulkopuolella. Ainakin nuorisotutkimus ja sen piirissä tehtä-vä arviointitutkimus ovat tutkimusaloja, joiden oman(kin) edun mu-kaista on kutsua tai suorastaan houkutella maallikoita, kentän am-mattilaisia ja virkamiehiä myös syvällisempien tekstiensä lukijoiksi.Dialogin avaaminen palvelee pitkällä tähtäimellä sekä nuorisotutki-musta että nuorisotyötä.

109. Emt., 452.110. Emt., 430–436. Jaana Lähteenmaa huomauttaa, että Suomessa erityisnuoriso-työn projektiarvioitsijoilla on usein ollut jokin aivan muu kuin tutkijakoulutus ja tästäsyystä heidän tutkijan ammattitaidossaan on ollut puutteita. Lähteenmaa toteaa kui-tenkin tilanteen luultavasti parantuvan, mikäli tutkimuskoulutus lisääntyy nuoriso-työn koulutuksessa (Lähteenmaa, Jaana, “Nuorisoprojektit ja evaluutiot – noviisinä-

kökulmia” teoksessa Paakkunainen (toim.) 1999, 115).

Arvioinnin uskottavuus

Rossi ja Freeman toteavat, että vaikka useimmilla arvioitsijoilla onjonkilainen muodollinen koulutus takanaan, he ovat hyvin hetero-geeninen ryhmä, ja arvioinnista ei voi puhua ammattina siinä mie-lessä, mitä sillä sosiologiassa ymmärretään. Rossin ja Freemaninhavaintojen mukaan sellaiset arvioitsijat, joilla on sosiaalityön taikasvatusalan ammatillinen koulutus, ovat taipuvaisempia näkemäänitsensä osana ohjelman henkilökuntaa ja painottamaan “formatiivi-sia” arviointeja, joilla pyritään kehittämään ohjelman päivittäistä toi-mintaa kuin akateemiset arvioitsijat.110 Rossin ja Freemanin näke-mys arvioinnista on siis varsin laaja: sen piiriin mahtuu niin Scriveninkuin Stakenkin painotuksia.

71

Arvioitsijoiden koulutuksen heterogeenisyys on ongelma arvioinnintulosten vertailukelpoisuuden ja uskottavuuden kannalta. Periaat-teessa kuka tahansa voi ryhtyä arvioitsijaksi. Kuitenkin arvioitsijantehtävään sisältyy valtava vastuu. Hänen työnsä tulosten perusteel-la saatetaan lakkauttaa tai jatkaa ohjelmia, päättää työpaikoista januorille suunnattujen palveluiden tai toiminnan rahoituksen jatkami-sesta, leikkaamisesta tai lisäämisestä. Tällaista vastuuta ja valtaa eitulisi antaa (eikä ottaa vastaan) kevyesti. Suomalaisen nuorisotutki-muksen piirissä harjoitettavan arviointitutkimuksen kannalta olisitoivottavaa tiivistää ja kehittää arviointitutkimusta tekevien tutkijoi-den yhteistyötä, vuorovaikutusta ja ammattitaidon kehittämistä. Sään-nölliset tapaamiset, seminaarit tai jonkinlaiset koulutustilaisuudet oli-sivat oiva tapa työstää arviointitutkimuksen suhdetta nuorisotutki-mukseen ja avata nuorisotutkimuksen sisällä harjoitettavan arvioin-titutkimuksen erityisluonnetta suhteessa muualla tehtävään arvioin-titutkimukseen. Yhteisissä istunnoissa tulisi pyrkiä määrittelemäännuorisotutkimuksen piirissä arviointitutkimusta tekeviä nuorisotutki-joita yhdistävät perusperiaatteet ja siten kääntämään monitieteelli-syys ja heterogeenisyys heikkoudesta vahvuudeksi, joka vie nuori-sotutkimuksen sisällä tehtävää arviointitutkimusta eteenpäin. Tämän-kaltainen kehittämistyö palvelisi myös nuorten ja ohjelmien rahoitta-jien etua. Nuorisotutkijoille yhteisen arviointitutkimusstandardin luo-minen mahdollistaisi samalla arvioinneilta toivotun yhteismitallisuu-den ja vertailtavuuden, mikä puolestaan auttaisi niin sanottujen hy-vien käytäntöjen tunnistamista ja levittämistä.

72

LOPUKSI

Arviointitutkimus on nuoresta iästään johtuen edelleen voimakkaastikehittyvä tieteenala. Vaikka arviointitutkijoilla on yleensä jonkinlai-nen yhteiskuntatieteellinen koulutus, se ei merkitse sitä, että arviointi-tutkimus olisi yksinomaan tai puhtaasti yhteiskuntatieteellistä tutki-musta, vaan siitä löytyy esimerkiksi myös hallintotieteen element-tejä. Tällaisesta tiedekunta- ja oppirajojen huokoisesta leikkauspin-nasta nousevaa yhteisvaikutusta kannattaisi hyödyntää aktiivisestisen sijaan, että rajoituttaisiin tuttuihin yhteiskuntatieteellisiin mene-telmiin. Yhteiskuntatieteen ja hallintotieteen menetelmien ennakko-luuloton yhdistäminen, esimerkiksi BSC-mallin sovellusmahdollisuuk-sien pohdinta nuorisoprojektin arvioinnissa, on tie, jolle tulisi uskal-tautua nykyistä rohkeammin.

Arviointitutkijan roolista on esitetty monenlaisia luokituksia janäkemyksiä, jopa vastakkaisia. Michael Scrivenin ja Robert Stakenkäsitykset edustavat näistä ääripäitä. Suomalaisen nuorisotutkimuk-sen piirissä tehtävän arviointitutkimuksen kannalta hedelmällisin läh-tökohta olisi koostaa nuorisoprojekteja arvioiville tutkijoille jonkinlai-nen yhteinen perusohjeisto, jossa luonnosteltaisiin arviointitutkijanpaikka, velvollisuudet ja vastuu suhteessa arvioinnin kohteisiin jatoiminnan rahoittajiin. Tämä ei tarkoita sitä, että arviointitutkija va-pautuisi omaan rooliinsa kuuluvasta itsereflektiosta, mutta jonkinlai-nen yhteinen perusnormisto toimisi oman roolin jäsentämisen tuke-na varsinkin silloin kun tutkija toimii projektissa yksin tai jos ongel-mia syntyy. Lisäksi suomalaisen nuorisotutkimuksen piirissä tehtä-vässä arviointitutkimuksessa olisi tilaa kiinteämmälle yhteistyöllearviointitutkimuksen sisältökysymysten pohdinnan osalta. Nuoriso-tutkimuksen osana harjoitettavan arviointitutkimuksen pitkäjäntei-sen kehittämisen ja yksittäisen arviointitutkijan kannalta olisi eduksi,

LOPUKSI

73

jos Nuorisotutkimusverkosto ottaisi entistä voimakkaammin katto-järjestön roolin. Tutkijoiden vaihtuessa Nuorisotutkimusverkostoedustaisi pitkäjänteisyyttä ja suunnitelmallisuutta arviointitutkimuk-sen saralla. Käytännössä tämä voisi tarkoittaa esimerkiksi säännöl-lisin väliajoin järjestettäviä koulutustilaisuuksia tai seminaareja japainopistealueiden määrittelyä arviointitutkimuksen kehittämisessä.Yksittäisen tutkijan kannalta Nuorisotutkimusverkoston merkitystutkimuspyyntöjen välittämisen ja lisäkoulutustilaisuuksien ohella olisioman tutkimuksen akateemisessa vertaisarvioinnissa ja tuessa, jotase voisi antaa, mikäli tutkija joutuu hankauksiin kentän tai tutkimuk-sen tilaajien kanssa. Nuorisotutkimusverkosto voisi myös luoda jär-jestelmän, joka mahdollistaisi sen suojissa työskentelevien tutkijoi-den säännöllisen työnohjauksen esimerkiksi luomalla alueellisia työn-ohjauspiirejä, joissa maantieteellisesti samalla alueella toimiville tut-kijoille tarjottaisiin säännöllisin väliajoin tilaisuus osallistua työnoh-jaajan johdolla tapahtuvaan ryhmämuotoiseen työnohjaukseen.

Arviointitutkimuksen keskeisimpiä ongelmia on tulosten yleistet-tävyys. Arvioitavat hankkeet ovat usein syntyneet paikallisista tar-peista ja kysynnästä, minkä vuoksi niitä leimaa tietynlainen ainut-kertaisuus. Kuitenkin arviointitutkimuksessa tulisi pyrkiä mahdolli-simman laajaan hyödynnettävyyteen ja siihen pääseminen edellyt-tää tulosten yleistettävyyttä. Tutkijoiden käyttämien menetelmienyhtenäistäminen vertailukelpoisen arviointitiedon tuottamiseksi onsiis vain yksi askel kohti laadukkaampaa tutkimusta. Niin sanotuthyvät käytännöt ovat luotettavimmin havaittavissa, mikäli esimer-kiksi kaikista yhteen ohjelmakokonaisuuteen kuuluvista hankkeistaon saatavilla yhteismitallista arviointitietoa ja sitä tuottavat tutkijatovat keskenään vuorovaikutuksessa. Näin voidaan erottaa valta-kunnalliset onnistumiset ja epäonnistumiset paikallisista ja pohtiaerojen syitä.

Kaiken kaikkiaan arviointitutkimuksen moniulotteisesta luonteestaseuraa paineita yhtäältä sen systemaattisempaan jäsentämiseen jaorganisoitumiseen nuorisotutkimuksen sisällä, toisaalta professiona-lismin asteen nostamiseen. Nuorisotutkimuksen piirissä tehtävälläarviointitutkimuksella on edessään monia haasteita, mutta myös lois-tavia kehitysmahdollisuuksia.

74

LÄHTEET

Cederlöf, Petri, Laatuajattelu ja nuorisotyö? Perustietoa ja näkökulmia nuoriso-alan toimijoille. http://www.alli.fi/alli/laatu (23.04.2001) [sivunumeroimatonteksti].

Cederlöf, Petri, “Merkityksestä laatuun. Haasteena nuorisotyön tutkimus” teok-sessa Paakkunainen, Kari (toim.), Arviointitutkimus ja nuoriso. Tulosvastuus-ta dynaamiseen nuorisotoimintaan. Nuorisotutkimusverkosto – Nuorisotut-kimusseura. Julkaisuja 8/99. Helsinki 1999.

Chelimsky, Eleanor, “The Coming of Transformations in Evaluation” teoksessaChelimsky, Eleanor – William R. Shadish (eds.), Evaluation for the 21st Cen-tury. A Handbook. Thousand Oaks – London – New Delhi: Sage Publications1997.

Eder, Donna – Laura Fingerson, “Interviewing Children and Adolescents” teok-sessa Gubrium, Jaber F – James A. Holstein (eds.), Handbook of InterviewResearch. Context & Methods. Thousand Oaks – London – New Delhi: SagePublications 2002.

Eräsaari, Risto – Tuija Lindqvist – Mikko Mäntysaari - Marketta Rajavaara,Arviointi ja asiantuntijuus. Helsinki: Gaudeamus 1999.

Fetterman, David M., “Empowerment Evaluation and Accreditation in HigherEducation” teoksessa Chelimsky, Eleanor – William R. Shadish (eds.), Evalu-ation for the 21st Century. A Handbook. Thousand Oaks – London – NewDelhi: Sage Publications 1997.

Guba, Egon G., Investigative Journalism in Smith, Nick L., (ed.), New Techniquesfor Evaluation. New Perspectives in Evaluation. Volume 2. Beverly Hills –London: Sage Publications 1981.

Guba, Egon G. – Yvonna S. Lincoln, Fourth Generation Evaluation. NewburyPark – London – New Delhi: Sage Publications (1989) 1990.

Holmila, Marja, “Evaluaatiotutkimuksesta sosiaalitieteissä” teoksessa Paakkunai-nen, Kari (toim.), Arviointitutkimus ja nuoriso. Tulosvastuusta dynaamiseennuorisotoimintaan. Nuorisotutkimusverkosto – Nuorisotutkimusseura. Jul-

ARVIOINTITUTKIMUS OSANA NUORISOTUTKIMUKSENTYÖKENTTÄÄ

75

kaisuja 8/99. Helsinki 1999.Järviluoma, Helmi, “”Ei hän ole tyttö, hän on antropologi!” Muistiinpanoja suku-

puolitetulta kentältä”. Nuorisotutkimus 1/2002.Kaplan, Robert S, - David P. Norton, Translating Strategy into Action. The Balan-

ced Scorecard. Boston: Harvard Business School Press 1996.Komonen, Katja, Koulutusyhteiskunnan marginaalissa? Ammatillisen koulutuk-

sen keskeyttäneiden nuorten yhteiskunnallinen osallisuus. Joensuun yliopis-ton yhteiskuntatieteellisiä julkaisuja N:o 47, Joensuu 2001.

Laitinen, Erkki K., “Balanced Scorecard saattaisi toimia yliopistossa”. Acatiimi 5/2001.

Lincoln, S. Yvonna – Egon G. Guba, Naturalistic Inquiry. Newbury Park – London– New Delhi: Sage Publications (1985) 1989.

Lumijärvi, Ismo, Tuloksellisuuden arvioiminen julkisessa hallinnossa. Vaasan kor-keakoulun julkaisuja. Tutkimuksia No 133. Hallintotiede 6. 2. painos. Vaasa1989.

Lähteenmaa, Jaana, pääkirjoitus. Nuorisotutkimus 1/2002.Lähteenmaa, Jaana, “Nuorisoprojektit ja evaluutiot – noviisinäkökulmia” teokses-

sa Paakkunainen, Kari (toim.), Arviointitutkimus ja nuoriso. Tulosvastuustadynaamiseen nuorisotoimintaan. Nuorisotutkimusverkosto – Nuorisotutki-musseura. Julkaisuja 8/99. Helsinki 1999.

MacDonald, Barry, “Evaluation and the Control of Education” teoksessa Mur-phy, Roger – Harry Torrance (eds.), Evaluation Education: Issues and Met-hods. London: Harper & Row Publisher 1987.

Madaus, George F. – Daniel Stufflebeam – Michael S. Scriven, “Programme Eva-luation: A Historical Overview”. Teoksessa Madaus, George F. – Daniel Stuf-flebeam – Michael S. Scriven (eds.), Evaluation Models. Viewpoints on Educa-tion and Human Services Evaluation. Boston – The Hague – Dordrecht –Lancaster: Kluwer-Nijhoff Publishing 1983.

Murray, Richard, “Citizens’ Control of Evaluations.” Evaluation Volume 8. Num-ber 1. January 2002.

Paakkunainen, Kari, “Nuorisotyön evaluaatio ’poliittisen’ uudelleen löytämise-nä” teoksessa Paakkunainen, Kari (toim.), Arviointitutkimus ja nuoriso. Tulos-vastuusta dynaamiseen nuorisotoimintaan. Nuorisotutkimusverkosto – Nuo-risotutkimusseura. Julkaisuja 8/99. Helsinki 1999.

Pajala, Sasu – Kari Nyyssölä, Muuria murtamassa. Marginaalinuoret tutkimus-kohteena. http://www.minedu.fi/nuora/mll15_97.html (13.12.2002).

Patton, Michael Quinn, Qualitative Evalution Methods. Beverly Hills: Sage Publi-cations (1980) 1983.

76

Rossi, Peter H, - Howard E. Freeman, Evaluation. A Systematic Approach 5.Newbury Park – London – New Delhi: Sage Publications (1979) 1993.

Saarinen, Taina, “Koulutuksen arvioinnin vaikutukset – esimerkkinä yliopistoar-viointi” teoksessa Paakkunainen, Kari (toim.), Arviointitutkimus ja nuoriso.Tulosvastuusta dynaamiseen nuorisotoimintaan. Nuorisotutkimusverkosto –Nuorisotutkimusseura. Julkaisuja 8/99. Helsinki 1999.

Scriven, Michael, “Evaluation as a Discipline”. Studies in Educational Evaluation,Vol. 20 1994.

Scriven, Michael, “Truth and Objectivity in Evaluation” teoksessa Chelimsky,Eleanor – William R. Shadish (eds.), Evaluation for the 21st Century. A Hand-book. Thousand Oaks – London – New Delhi: Sage 1997.

Stufflebeam, Daniel L., “The CIPP Model for Program Evaluation” teoksessaMadaus, George F. - Michael S. Scriven - Daniel L. Stufflebeam (eds.), Evalu-ation Models. Viewpoints on Educational and Human Services Evaluation.Boston – The Hague – Dordrecht – Lancaster: Kluwer-Nijhoff Publishing1983.

Stake, Robert E., “Advocacy in Evaluation. A Necessary Evil?” teoksessa Che-limsky, Eleanor – William R. Shadish (eds.), Evaluation for the 21st Century. AHandbook. Thousand Oaks – London – New Delhi: Sage 1997.

Stake, Robert E., “Program Evaluation, Particularly Responsive Evalution” teok-sessa Madaus, George F. – Michael S. Scriven – Daniel L. Stufflebeam, Evalu-ation Models. Viewpoints on Educational and Human Services Evaluations.Boston – The Hague – Dordrecht – Lancaster: Kluwer-Nijhoff Publishing1983.

Sulkunen, Pekka, “Evaluutio, interventio ja tiedon kasautumisen mahdollisuudet”.Pekka Sulkusen Rovaniemen sosiologipäivillä 23.3.2001 pitämään työryhmä-esitykseen perustuva katsaus. Nuorisotutkimus 1/2002.

Virtanen, Petri, “Evaluointia, arviointia vai arviointitutkimusta”. Nuorisotutkimus4/1997.

ARVIOINTITUTKIMUS OSANA NUORISOTUTKIMUKSENTYÖKENTTÄÄ

arviointitutkimus osana nuorisotutkimuksen … · 7. stufflebeam, daniel l., “the cipp model for...

Documents