AMMATTIKORKEAKOULUJEN VALMISTUMISVAIHEEN

OPISKELIJAPALAUTEKYSELY

AmmAttikorkeAkoulutuksen lAAdun määrittelystä kyselymittArin

Arvioinnin kAuttA tulosten rAportointiin: kokemuksiA Avop-kyselyn kehitystyöstä 2012-2013

Leo Aarnio

Opiskelun ja koulutuksen tutkimussäätiö Otus

5/12/2013

MONITULOISET

korkeAkouluopiskelijoiden tulonlähteet jA kokemus

toimeentulostA erilAisissA elämäntilAnteissA

Janne MikkonenElina Lavikainen

Juhani Saari

Opiskelun ja koulutuksen tutkimussäätiö Otus

40/2013

Copyright:Opiskelun ja koulutuksen tutkimussäätiö OtusLeo Aarnio

Taitto:Tero Silvast

Oikoluku: Janne Mikkonen, Timo Luopajärvi

Julkaisija: Opiskelun ja koulutuksen tutkimussäätiö OtusLapinrinne 200180 HELSINKIwww.otus.fi

ISBN: ISSN:

Paino:

AMMATTIKORKEAKOULUJEN VALMISTUMISVAIHEEN

OPISKELIJAPALAUTEKYSELY

AmmAttikorkeAkoulutuksen lAAdun määrittelystä kyselymittArin Arvioin-

nin kAuttA tulosten rAportointiin: ko-kemuksiA Avop-kyselyn kehitystyöstä

2012-2013

Leo Aarnio

Opiskelun ja koulutuksen tutkimussäätiö Otus

5/12/2013

54

Sisällysluettelo

Tiivistelmä käytännön kehitystyöstä 7kiinnostuneelle (executive summary) 7Kiitokset 11Esipuhe 15Johdanto 19Raportin rakenne 19Raportin tyyli 201. Taustaa 231.1. Yhteiskunnalliset ja koulutuspoliittiset taustat pähkinänkuoressa 231.2. Kokonaisvaltainen näkökulma yleiseen mittausteoriaan 282. Teoreettisen käsitteen määrittely ja operationalisointi: mitä ja miten mitataan? 372.1. Toimeksianto 382.2. Ammattikorkeakoulutuksen lainsäädännölliset tavoitteet 382.3. Teoreettiset taustat 402.4. Vertailukyselyt 762.5. Kommenttikierrokset 902.6. Observointiin perustuva laadullinen kyselyiden koestaminen 962.7. Vastausasteikko 982.8. Yhteenveto: mitä ja miten mitataan? 1033. Mittarin luotettavuusanalyysi: miten mittari a posteriori toimii? 1133.1. Kyselymittarin testaus ja koulutuksen laadun indikaattori 1143.2. Huolimattomasti vastanneet, metodifaktorit ja kontrollimuuttujat 1253.3. Reliabiliteetti 1593.4. Validiteetti 1713.5. Yhteenveto luvusta 3: Miten AVOP-kyselyn koulutuksen laadun mittari a posteriori toimii? 2044. Ehdotus koulutuksen laadun opiskelijapalautekyselymittariksi osana ammattikorkeakoulujen opiskelijapalautejärjestelmää 2114.1. Koulutuksen laadun mittarin väittämät, komponentit ja vastausasteikko 2124.2. Miten ratkaista kyselyyn liittyvät ongelmat? 2254.3. Vastaajien keruu ja tulosten raportointi 2344.4. Yhteenveto AVOP-kyselyn käytännön hyödyntämisestä 2385. Loppukaneetti 241Viitteet 247Kesäkuun yhdistetyn kyselyn väittämäkohtaiset tunnusluvut 2521. Hyvät käytännöt 253Frekvenssitaulukot 264

1. Hyvät käytännöt 266Koulutuksen laadun kokonaisindikaattorin sekä komponenttien jakaumat, tunnusluvut ja Kolmogorov-Smirnov-testit normaalisuudelle 272Liitteet 277

7

Ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekysely (AVOP) on mittari am-mattikorkeakoulun opiskelijalle tarjoamasta koulutuksen laadusta. Kyselymittari perustuu arvioon, jonka alemman korkea-asteen ammat-tikorkeakouluopiskelijat valmistumisvaiheessa tutkinnostaan tekevät.

Kyselymittarissa on mallinnettu kolme toi-siaan täydentävää koulutuksen laadun näkö-kulmaa: korkeakoulun toteuttamien toimien hyvä käytännön toteutuminen (hyvät käytän-nöt), ammattikorkekouluopiskelijan oppimi-nen (tämän osaaminen ja sen kehittyminen ennen kaikkea NQF-kompetensseina mitattu-na) sekä opiskelijan koulutuksensa osa-alueille asettamien toiveiden ja tavoitteiden täyttymi-nen (opiskelutyytyväisyys). Näille näkökulmille on rakennettu kuusi koulutuksen laadun mitta-ria, joista yhdessä johdetaan koulutuksen laa-tua kokonaisuudessaan kuvaava arvio.

Ammattikorkeakoulutuksen laadussa on otettu huomioon ammattikorkeakoulun erityi-nen rooli osana suomalaisen korkeakoulujär-jestelmän duaalimallia. Kansainvälisesti kehi-tetyt mittarit eivät siten sovellu AVOP-kyselyn malliksi, vaan kysely on alusta alkaen rakennet-tu silmällä pitäen ammattikorkeakoulujen työ-elämäläheisyys kouluille asetettuna tehtävänä tuottaa työelämässä käyttökelpoista ja sitä uu-distavaa korkeatasoista osaamista.

Poikkeuksellista kyselyn kehitystyössä on, että kyselyn sisältö on rakennettu yhteistyönä ammattikorkeakoulujen kanssa: 700–800 kan-sallista korkeakoulukenttää kattavasti edusta-vaa asiantuntijaa on osallistunut lähes vuoden ajan kyselyn laatimiseen. Kyselyä voidaankin kuvata joukkoistamalla aikaansaaduksi. Valit-

Tiivistelmä käytännön kehitystyöstä kiinnostuneelle (executive summary)

tu työskentelytapa varmistaa sen, että kyselys-sä tulevat tasapainoisesti ja monipuolisesti nä-kyviin ne koulutuksen laadun osa-alueet, joita opiskelijat, opettajat ja henkilökunta pitävät tärkeinä. Prosessi ei ole ollut ainoastaan mit-tarin luotettavuuden kannalta tehokas, vaan se on myös legitimoinut mittarin rakentamisen prosessia ja varmistanut, että mittari on hyö-dynnettävissä siinä kehitystyössä, johon kom-mentointiin osallistuneet henkilöt ottavat osaa myös jatkossa.

Erilaisten toisiaan tukevien luotettavuu-den ominaisuuksien perusteella mittari on ti-lastollisesti ja psykometrisesti mitattuna pää-osin luotettava. Mittari kykenee erottelemaan korkeakouluja niiden laadulle arvioitujen kes-kiarvoestimaattien avulla, mutta tähän erotte-luun tulee suhtautua varauksella. Ensinnäkin kaikki erot eivät poikkea toisistaan tilastollises-ti merkitsevästi, ellei vastaajamäärän suhteel-lista osuutta perusjoukosta saada sellaiselle ta-solle, joka käytännössä edellyttää vastaamiseen pakottamista. Toisaalta, vaikka erottelu saatai-siinkin aikaiseksi, ei ole selvää, että kaikkien korkeakoulujen erotteleminen toisistaan olisi sisällöllisesti perusteltua. Vaikka mittarissa on tilastollista voimaa korkeakoulujen erottelemi-seen, ovat nämä erot käytännössä silti pieniä, eivätkä välttämättä sellaisia, joiden perusteella voitaisiin esimerkiksi väittää korkeimman ar-vosanan saaneen korkeakoulun olevan parempi kuin toiseksi korkeimman arvosanan saanut.

Vaikka mittari kokonaisuudessaan toimii hyvin, se kärsii kolmesta pääasiallisesta ongel-masta: 1) kyselymittari on pitkä, 2) osaamisen mittari toimii melko huonosti, 3) kyselymitta-rin pilotoinnissa ilmeni liiallista vastauskatoa.

98

Käytännössä kyselyn kehitystyö ei ole val-mis, ennen kuin nämä ongelmat on ratkaistu. Haasteisiin voidaan yhtäältä vastata integroi-malla kysely osaksi opiskelijapalautejärjestel-mää, toisaalta tekemällä hienoisia muutoksia myös kyselyn sisältöön.

Kehitetty kysely tulee ammattikorkea-kouluissa integroida osaksi opiskelijapalaute-järjestelmiä siten, että opiskelijoita opetetaan arvioimaan koulutustaan ja myös itse omaa oppimistaan NQF-osaamisen (tutkintojen ja muun osaaamisen kansallinen viitekehys) mit-tarin avulla.

Geneeristen kompetenssien mittarin pois-tamista tulee harkita ja sen tilalla koestaa ky-selyssä käytettyjä yleisiä periaatteita (muun muassa vastausasteikkoa) noudattavien kou-lutusalakohtaisten osaamisten mittaristo. Jos tällainen mittari on opiskelijalle helpommin arvioitavissa ja vastaa paremmin kunkin kou-lutusalan laatua, mainittujen kehitystoimien pitäisi lisätä osaamisen mittarin luotettavuutta.

Osaamisen mittarista tulee myös poistaa huonosti toimiva retrospektiivinen arvio opis-kelijan korkeakoulun aloittamisen aikaisesta lähtötasosta. Tämä arvio täytyy tehdä jo sil-loin kun se on ajankohtainen, eli ensimmäisen opiskeluvuoden aikana, ja tehtyä arviota täy-tyy sitten verrata valmistumisvaiheessa osana AVOP-kyselyä tehtyyn osaamisen arvioon.

Kyselyn pituuteen ja vastauskatoon liit-tyvät ongelmat voidaan ratkaista lisäämällä vastaaminen osaksi korkeakouluihin luota-vaa palautteen antamisen ja vastaanottami-sen opintojaksoa. Tällä opintojaksolla opiske-lijat oppivat antamaan palautetta ja tekemään arviointityötä omasta ja muiden osaamisesta. Opiskelijan oman osaamisen lisäksi ehdotus parantaisi ammattikorkeakoulujen opiskelija-palautejärjestelmien yleistä toimivuutta.

Kerättävää kvantitatiivista palautetta on syvennettävä laadullisella palautteella, jotta ke-hitystyötä voidaan palautteen perusteella koh-dentaa oikein. AVOP-kyselyn korkeakoulu-kentän rahoituksen allokaatioon käytettävä määrällinen palaute on kehitystyön tehokkaa-seen korkeakoulukohtaiseen suuntaamiseen yksinään pääasiassa liian yleisluontoista. Olisi

toivottavaa, että ammattikorkeakoulut noudat-taisivat yhtenäisiä ohjeita ja standardeja siitä, miten laadullista palautetta tulee kerätä tuke-maan AVOP-kyselyn arvioinnin hyödynnettä-vyyttä ja luotettavuutta.

Näiden mittaria parantavien toimien lisäk-si on hallinnollisesti pohdittava ja päätettävä, miten ja keille mittarin tuloksia tulee rapor-toida. Raportoinnissa on huomioitava tyylin sopeuttaminen kohdeyleisön tarpeisiin: opis-kelijoiden ja korkeakoulujen tietoon tulee saat-taa laadun osa-aluekohtaisia suhteellisia arvi-oita, jotka koskevat niin korkeakouluja kuin koulutusaloja korkeakoulujen sisällä. Korkea-koulujen kehityksen asiantuntijoille täytyy ai-neistoa jakaa putsattuna ja suojattuna harkin-nanvaraiseen tutkimus- ja kehitystyökäyttöön, ja lisätä aineisto yleiseen tietokantaan. Tämän lisäksi korkeakoulujen pitäisi valituin määrä-ajoin (esimerkiksi kolmivuotisen rahoituskau-den lopuksi) saada lyhyt raportti suhteellises-ta pärjäämisestään kyselymittarin koulutuksen laadun indikaattoreilla, jotta korkeakoulut voi-sivat kohdentaa toimiansa tehokkaasti tiettyi-hin koulutuksen osa-alueisiin koulutuksensa kokonaislaadun parantamiseksi.

Kyselyvastausten keruu tulee järjestää si-ten, etteivät korkeakoulukohtaiset käytännöt vaihtele tai vähintään niin, ettei käytäntöjen hienoinen vaihtelu pääse vaikuttamaan arvi-oihin koulutuksen laadusta.

Ei ole välttämättä toivottavaa, että rahoi-tusmallissa kyselyn arvio perustuu siihen si-sältyvän koulutuksen laadun mittarin ohel-la vastaajien määrään. Mittarin paikantamat erot koulutuksen laadussa ovat liian pieniä ja sensitiivisiä, jotta tämänkaltainen laadun nä-kökulmasta epäoleellinen tekijä voitaisiin hy-väksyttävästi sisällyttää korkeakoulukohtaisiin rahoituspäätöksiin. Jos näin tehdään, on vaara-na, että korkeakoulujen kyselymittariin perus-tuva rahoitusosuus on vain näennäinen; että tosiasiassa rahoitus on enemmän vastauspro-sentin kuin koulutuksen laadun funktio.

Korkeakoulukohtaiset erot koulutuksen laa-dussa ovat pieniä, ja erotuksen signaalia heiken-tävät edelleen vääjäämättömät määritys- ja mit-tausvirheet. Kyselymittarin mahdollisimman

hyvä eristäminen mittauskohteeseensa – kor-keakoulun tarjoaman koulutuksen laatuun – tulee tämän vuoksi ottaa huomioon kaikissa kyselyä koskevissa opiskelijapalautejärjestel-män toimissa.

Kun nämä ehdotukset huomioidaan, saa-daan AVOP -kyselymittarista hyvä ja kauan kaivattu ammattikorkeakoulutuksen laadun arviointi- ja kehitystyökalu niin korkeakoulujär-jestelmän, yksittäisten korkeakoulujen kuin tu-levien korkeakouluopiskelijoidenkin tarpeisiin.

AVOP-kyselyn kehitystyöstä vastaava tutkija,Leo AarnioOpiskelun ja koulutuksen tutkimussäätiö Otus

1110

Koulutuksen ja erityisesti korkeakoulutuksen laadun arvioiminen ei ole kovin yksinkertai-nen tehtävä. Korkeakoulutuksen laadun arvi-ointi on kuitenkin noussut tärkeäksi tekijäksi korkeakoulutuksen yhteiskunnallista vaikut-tavuutta arvioitaessa ja kehitettäessä.

Siksi myös ammattikorkeakoulujen ja yli-opistojen rahoituskriteereissä opiskelijoiden arvioima korkeakoulutuksen laatu on kohoa-massa erääksi korkeakoulujen rahoitusta mää-rittelevistä tekijöistä. Ammattikorkeakouluissa aiempana opiskelijoiden arvioinnin mittarina on käytetty nk. OPALA-kyselyä. OPALAn kes-keisiä ongelmia ovat olleet mittarin luotetta-vuuskysymykset, kyselyn osioiden yksiselit-teisyyden puute sekä kyselyyn vastanneiden vähäisyys valmistuneiden opiskelijoiden mää-riin verraten.

Käsillä oleva julkaisu on yhteenvetora-portti siitä määrätietoisesta ammattikorkea-koulujen koulutuksen laadun arvioinnin kehit-tämiseksi tehdystä työstä, jota on parin viime vuoden aikana toteutettu Ammattikorkea-koulujen rehtorineuvosto Arene ry:n ja Suo-men ammattikorkeakouluopiskelijakuntien liit-to SAMOK ry:n yhteisenä hankkeena. Hanketta on rahoittanut opetus- ja kulttuuriministeriö ja sen käytännön toteuttamisesta on vastan-nut Opiskelun ja koulutuksen tutkimussäätiö OTUS.

Kuten raportista voidaan todeta, tässä on toteutettu kansainvälisestikin arvioiden usei-den satojen ammattikorkeakouluasiantuntijoi-den kanssa yksi laajimpia ja perusteellisimpia korkeakoulutuksen laadun arvioinnin mittarin kehittämishankkeita. Varsin seikkaperäisen ja perusteellisen raportin perusteella voidaan to-deta, että hankkeessa on syntynyt korkeakoulu-tuksen laadun arvioimiseksi mittari, jota voi-daan hyödyntää laajemminkin kuin pelkästään suomalaisten ammattikorkeakoulujen laadun arvioinnin työkaluna. Toivonkin, että mittari otetaan käyttöön kaikkien suomalaisten am-mattikorkeakoulujen laadun arvioinnin työka-luna ja tämän julkaisun ja saatujen kokemus-ten kautta sitä sovelletaan myös laajemmin sekä kotimaisessa että kansainvälisessä kor-keakoulutuksen laadun arvioinnissa.

Tässä yhteydessä esitän lämpimät kiitok-seni kaikille hankkeessa mukana olleille ja eri-tyisesti hankkeesta päävastuussa olleelle tutkija Leo Aarniolle, joka on tehnyt todella mittavan työn korkeakoulutuksen laadun arvioinnin mit-taamisen sekä laajemmin koulutuksen laadun arvioinnin ja kyselymenetelmällä tehtävän ar-vioinnin ja sen luotettavuuden kehittämiseksi.

Timo LuopajärviToiminnanjohtaja, Ammattikorkeakoulujen rehtorineuvosto Arene ryKT, dosentti

Yhteistyössä ammattikorkeakoulutuksen laadun mittaria kehittämässä

1312

Ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekyselyn pilottiluonnokset ei-vät ole minun. Sekä käsitteelliset valinnat että niiden muotoileminen koulutuksen laadun mit-tareiksi on tehty laajana ammattikorkeakoulu-kentän kattavana yhteistyöprojektina. Minun tehtävänäni on ollut johtaa kyseistä projektia: tehdä ehdotuksia, ohjata keskustelua, tiedot-taa tehdystä työstä, perustella tehtyjä valinto-ja, suorittaa luotettavuusanalyysi ja kirjoittaa loppuraportti.

Ensimmäisenä haluankin kiittää – käy-tännön syistä valitettavasti anonyymisti – sitä 700–800 henkilön joukkoa, joka ammattikor-keakouluista on kahdeksan kuukauden ajan säännöllisesti kommentoinut, ideoinut ja ra-kentavasti kritisoinut kyselyn kehityksen eteen tehtyä työtä. Teidän työpanoksenne on ollut niin keskeinen, ettei ole väärin kutsua työn tu-loksena syntyneitä kyselyitä joukkoistamalla aikaansaaduiksi.

Kommentti- ja keskusteluryhmään on kuulunut henkilöitä, joiden osuus tehdystä työstä on niin suuri, että he ansaitsisivat sii-tä enemmän kuin seuraavan nöyrän kiitokse-ni. Toivon, että kyseiseen ryhmään kuuluvat henkilöt ottavat vastaan lämpimimmän kiitok-senosoitukseni siitä huolimatta, että he vali-koituivat korostettuun rooliinsa nimenomaan sinnikkään ja tiukan, mutta perustellun kritiik-kinsä ansiosta.

Kiitos siis pitkistä keskusteluista, piinaavis-ta kyseenalaistuksista sekä mainioista muutos- ja korjausehdotuksista sekä FUAS:n laaturyhmän jäsenille Tarja Gustafssonille, Jaana Ignatiuksel-le, Marjo-Riitta Järviselle ja Pirjo Kuismalle että Metropolian Oiva-tiimiläisille: Robert Arpolle,

Minna Hautamäelle, Jaana Holvikivelle, Juha Lindforsille, Marjo Mannilalle, Merja Reijo-selle, Seija Ristimäelle, Carina Savander-Ran-teelle, Miikka Tanhualle, Heikki Valmulle sekä erityisesti Johanna Holvikivelle. Haluan myös kiittää sekä Metropolian että OPALA-kehitys-työn ohjausryhmän Tiina Heikkistä tapaami-sen järjestämisestä Metropolian asiantuntijoi-den kanssa. Erityismaininnan ansaitsevat myös Kymenlaakson ammattikorkeakoulun Sinikka Ruohonen ja Sinikka Pekkalin, jotka suostuivat ystävällisesti ja ahkerasti muotoilemaan oman ehdotuksensa Opetus ja oppiminen -moduulik-si kesäkuun pilotointikierrosta varten.

Aivan poikkeukselliseksi sen tehdyn val-tavan työn, joka kaikkia kommenttikierroksil-le osallistuneita koskee, tekee se tosiasia, että suurin osa työstä tehtiin muiden töiden ohella, ikään kuin pro bono, mikä on osoitus osallis-tujien yleisestä hyväntahtoisuudesta, intohi-mosta sekä aidosta epäitsekkäästä halusta vai-kuttaa myönteisesti korkeakoulujen arviointiin. Ennen kaikkea tämä on osoitus asianomaisten poikkeuksellisesta työteliäisyydestä.

Suomalaisella ammattikorkeakouluken-tällä ei ole mitään hätää, kun sen hyvinvoin-tia vahtii tällainen ryhmä osaavia työmyyriä. Vielä kerran, kiitokset tämän osalta täytyy eri-tyisesti osoittaa yllä mainituille henkilöille: he näkivät valtavan vaivan esimerkiksi laatiessaan vaihtoehtoisia mittareita behaviorismin pei-kosta kärsineelle Opetus- ja oppiminen -osiol-le. Tästä(kään) työstä minulla ei valitettavasti ollut tarjota sitä rahallista palkkiota, jonka yli-määräinen työ olisi aivan päivänselvästi ansain-nut. Toivon todella, että kyseisissä ammattikor-keakouluissa osataan mainittujen henkilöiden

Kiitokset

1514

erityispanosta arvostaa niiden arvoisilla erityi-sillä huomionosoituksilla.

Hahmoteltuamme kyselyn moduulira-kenteen syksyn 2012 lopussa kävimme kes-kusteluja moduulien konkreettisista sisällöis-tä suurenmoisten asiantuntijoiden kanssa. Edellä mainitun kommenttiryhmän lisäksi ha-luan kiittää ennen kaikkea Helsingin yliopis-ton yliopistopedagogiikan tutkimus- ja kehit-tämisyksikön johtajaa Sari Lindblom-Ylännettä sekä tutkija Anna Parpalaa, jotka jakoivat sekä asiantuntemustaan että konkreettisia Oppi-ky-selyn tiimoilta kehitettyjä väittämiä ja syntynei-tä kokemuksia Opetus ja oppiminen -moduulin kehittämisen tueksi. Opetus ja oppiminen -mo-duulin sisällöllisen kehitystyön tiimoilta haluan lisäksi kiittää Hämeen ammatti-instituutin joh-tajaa Seija Mahlamäki-Kultasta.

Dosentti Pentti Rauhalalle kuuluu lämmin kiitos sekä konsultaatiosta kyselyn sisältöön kokonaisuudessaan liittyen että ohjausryhmän väliaikaisena puheenjohtajana mallikkaasti toi-mimisesta. Kiitokset hyvistä kommenteista ja ohjeista TKI-toiminnan huomioimisessa osana kyselyä Jyväskylän ammattikorkeakoulun reh-torille Jussi Halttuselle. Erityisen lämpimästi haluan kiittää Centria ammattikorkeakoulun Paula Erkkilää, jonka kokemukset opiskelun ja työelämäyhteyksien INTO-kehittämisver-koston tiimoilta rakennetusta työelämälähei-sen oppimisen mallin kyselymittarista olivat korvaamattomia Työelämäyhteydet ja -neuvon-ta -moduulille. Useat moduulin väittämät ovat joko muokattuja kyseisestä kyselymittarista tai otettu sellaisinaan osaksi kyselyä.

Kyselyn luotettavuusanalyysin asetelmas-sa oli tarkoitus alun perin käyttää suurta mää-rää kyselyn ositteita, jotka olisivat pitäneet sisällään vaihtoehtoisia väittämämuotoiluja koulutuksen laadun mahdollisimman kattavaa teoreettista käsitekenttää kuvaamaan. Monin-kertaisen imputoinnin algoritmeillä oli tarkoi-tus sitten täyttää puuttuvat solut matriisista, joka mallintaisi mahdollisimman kokonaisval-taisesti superpopulaatiota kuvaavia vaihtoeh-toisia muotoiluja koulutuksen laadusta. Tämän asetelman arvioimisesta sekä yleisestä kannus-

tuksesta ja avusta haluan kiittää Helsingin yli-opiston tilastotieteen laitosta.

Aivan erityisen kiitoksen kyselyn kehitys-työn tukemisessa ansaitsee surveymetodiik-kaan erikoistunut emeritusprofessori Seppo Laaksonen. Pieni erityiskiitos Sepolle kuuluu myös inspiraatiosta raportin nimeksi. Saman-kaltaiset kiitokset osoitan otantamenetelmiin ja pienalue-estimointiin erikoistuneelle pro-fessorille Risto Lehtoselle johdantokappalees-ta löytyvästä sitaatista. Lisäksi haluan kiittää Kimmo Vehkalahtea kannustuksesta ja tuesta. Haluan toisaalta myös pahoitella, etten ole kor-vannut Cronbachin alfaa paremmalla sisäisen konsistenssin mitalla, Tarkkosen ja Vehkalah-den rho:lla.

Kommenttiryhmä varmisti, että kyselys-sä tulee huomioiduksi opettajan näkökulma hyvästä opetuksesta ja koulutuksesta. Vaik-ka ryhmässä oli mukana myös kattava joukko opiskelijajäseniä, jäi heidän äänensä ryhmässä opettajien alle. Tämän näkökulman paremmin esille tuomisesta haluan kiittää ohjausryhmän jäseninäkin toimineita Suomen opiskelijakun-tien liitto – SAMOKin entistä puheenjohtajaa Elin Blomqvistia sekä ennen kaikkea SAMO-Kin opetuksesta ja ohjauksesta vastaavaa asian-tuntijaa Veli-Matti Taskilaa. Vellulle ja Elinille kuuluvat erityiskiitokset lukemattomista suu-renmoisista ehdotuksista, kyselyn vastaamisen havainnointiin perustuvien pilotointien järjes-tämisestä sekä yleisestä läheisestä vuoden kes-täneestä hedelmällisestä yhteistyöstä.

SAMOKista kiitän kansainvälisistä asiois-ta vastaavaa asiantuntijaa Pauliina Savolaa, jota konsultoin Kansainvälisyys ja kieliopin-not -moduulia varten ja josta on kiittäminen kotikansainvälistymisen huomioimisesta ky-selyssä. Opiskelijajärjestöjen yhteistyökump-paneista lisäksi kiitän Metropolia Ammatti-korkeakoulun opiskelijakunta – Metkan Aku Aarvaa, jolta tuli systemaattisesti hyviä kom-mentteja kyselyn väittämistä ja joka järjesti Metropolian ammattikorkeakoulussa kyselyn täyttämisen havainnointiin ja haastatteluihin perustuvia pilotointeja. SYL:n koulutuspoliit-tista sihteeriä Suvi Erikssonia haluan kiittää

yliopistojen YOPALA-kyselyn kehitystyön ko-kemusten jakamisesta.

Opiskelun ja koulutuksen tutkimussääti-östä haluan erityisesti kiittää toiminnanjohtaja Jussi Junnia, joka on ottanut aktiivisesti osaa ohjausryhmään ja suonut minulle luottamuk-sen johtaa kyselyn kehitystyön tutkimuksellis-ta tukea. Lisäksi erityisen kiitoksen ansaitsevat ennen kaikkea ajatusten, ideoiden ja metodolo-gian sparraajana toiminut tutkija Juhani Saa-ri (jota pahoittelen siitä, ettei hänen kehittä-määnsä edistyksellistä tutkimusasetelmaa loppujen lopuksi voitu sellaisenaan toteuttaa) sekä tutkija Heidi Kettunen, jonka kasvatustie-teellisen teorian tuntemus ja kriittinen kyselyn sisällön kommentointi on ollut korvaamaton osa kyselyn kehittymistä nykyisen kaltaiseksi. Raportin oikoluvusta ja korjaamisesta raken-teeltaan johdonmukaisemmaksi sekä tyyliltään selkokielisemmäksi valtava kiitos pedantille ja taitavalle kollegalleni Janne Mikkoselle. Kiitok-set vielä Alina Inkiselle sekä Suvi Pulkkiselle, jotka osaltaan kävivät kyselyä läpi ja antoivat hyviä sisältöön ja muotoiluun liittyviä kehitys-ehdotuksia.

Haluan kiittää ohjausryhmän upeita jä-seniä: ennen kaikkea Arenen aikaansaavaa ja jämptiä toiminnanjohtajaa Timo Luopajärveä, joka oli merkittävänä tukena läpi prosessin ja josta on kiittäminen raportin yksityiskohtai-sesta läpikäymisestä ja hienoista korjausehdo-tuksista. Lisäksi kiitän Metropolian Tiina Heik-kistä, Karelian Jyrki Kankkusta sekä jo edellä mainittuja Veli-Matti Taskilaa, Elin Blomqvis-tia, Jussi Junnia sekä Juhani Saarta. Arenesta haluaisin vielä kiittää Eija Antilaa, joka mah-

dollisti pilotoinnin onnistumisen jo huhtikuus-sa lyhyellä varoitusajalla neuvokkaalla ja no-pealla toiminnallaan.

Kiitokset haluan osoittaa myös kehitystyö-tä seuranneille ja arvioineille Opetus ja kult-tuuriministeriön virkamiehille, ennen kaikkea korkeakoulu- ja tiedepolitiikan osastolle: joh-taja Hannu Sirenille, opetusneuvoksille Armi Mikkolalle ja Tomi Haloselle sekä ylijohtajille Tapio Kosuselle ja Anita Lehikoiselle.

Kiitos myös Bettina Backström-Widjesko-gille Noviasta hienosta kesäkuun kyselyversion ruotsin kielen käännöksestä. Mitä nöyrimmät pahoitteluni siitä, että ammattikorkeakoulupe-dagogiikan kielen erityisesti huomioiva kään-nöksesi jäi huolimattomuusvirheen vuoksi käyttämättä. Kyselymittarin kääntäminen on haastava ja suuri työ: tästä erinomaisesti suo-ritumisesta kiitos Lapinrinteen ahkeralle kään-täjällemme Kristian Johanssonille.

Monet jäivät nimeltä mainitsematta. Teil-le kymmenille ellei sadoille henkilöille, joiden kanssa olen kyselyn kehitystyön tiimoilta kes-kustellut, nöyrimmät kiitokseni.

Korostettuani tässä kehitystyön yhteistyö-luonnetta on hyvä vielä lopuksi painottaa, että kaikki kyselyyn jääneet puutteet ovat yksin mi-nun vastuullani. Lopulliset päätökset siitä, mitä lisäyksiä, poistoja tai korjauksia kyselyyn teh-dään tein omaa harkintaani käyttäen. Harva, jos kukaan, edellä mainitsemistani henkilöistä allekirjoittaisi kaikki kyselyn yksityiskohdat.Olen kiitollinen siitä, että minä voin niin tehdä.

Helsingissä 4.11.2013,Leo Aarnio

1716

”Essentially, all models are wrong, but some models are us eful.”George E.P. Box (1987, 424)

Tämä kirjoitus kuvaa ja arvioi kehitystyötä, jon-ka tuloksena on syntynyt ammattikorkeakoulu-tuksen laadun kyselymittari.

Tehtävään, jonka tavoitteena on määritellä koulutuksen laatu, ryhtyminen vaatii kyynisyy-destä vapaata, kenties peräti naiivia pragmatis-mia. Täydellisyyden tavoittelu olisi toivoa saa-vuttaa todellisuudesta irtaantunut ihanne, joka on olemassa korkeintaan ideoiden maailmas-sa. Mahdottoman tavoittelu johtaisi halvauk-seen tehtävän alkumetreillä. Jos osaa kuitenkin olla itselleen (ja muille) maltillisen armollinen ja asettaa realistiseksi tavoitteeksi maltillisen epäonnistumisen, kyseessä ei ole mahdottoman tekeminen mahdolliseksi. Koulutuksen laatua voidaan lähestyä – sitä kenties koskaan täysin saavuttamatta – niin lukuihin kuin sanoihin perustuvin kuvauksin.

Tehtävään ei kuitenkaan myöskään tule ryhtyä henkselit paukkuen ymmärtämättä sen haasteellisuutta vaan nöyrästi annetun haas-teen vakavuutta kunnioittaen. Koulutuksen laa-dun mittaaminen on nimittäin vaikeaa. Koulu-tuksen laadun käsite on samanaikaisesti sekä laaja että syvä: käytännössä moniulotteinen, periaatteessa pohjattoman filosofinen.

Ensin mainitusta mittauskohteen ominai-suudesta seuraa, että joudutaan tekemään kaik-kea muuta kuin itsestään selviä arvovalintoja. Näiden seurauksena joitain koulutuksen kan-nalta tärkeitä asioita jää varjoon toisten, tietys-tä näkökulmasta tärkeämmiksi koettujen asioi-den kustannuksella.

Esipuhe

Toiseksi mainitusta ominaisuudesta taas seuraa, ettei näitäkään lukemattomia käytän-nön asioita voida lähestyä ilman, että samal-la otettaisiin kantaa, implisiittisesti tai eksp-lisiittisesti, sellaisiin perustaviin koulutuksen filosofiaan liittyviin kysymyksiin, kuten mitä henkilökohtaista ja yhteiskunnallista (eettistä, tiedollista ja taidollista) tehtävää koulutuksen tulisi ylipäätään palvella.

Termi ”koulutuksen laatu” onkin latautu-nut: se on välttämättä sekä arvottava että ku-vaileva. Teoreettisen käsitteen lailla ei käsitteen mittarikaan voi täten olla objektiivinen, vaan pikemminkin se on kiistanalainen, enemmän tai vähemmän perusteltu subjektiivinen, inter-subjektiivinen tai korkeintaan tietyn ryhmän positionaalisesti tai perspektiivisesti objektii-vinen1 arvio niistä asioista, joita koulutuksen järjestämisen kannalta hyvinä voidaan valituin ennakko-oletuksin pitää.

Koska AVOP-kysely on kehitetty laajana yhteistyöprojektina ammattikorkeakouluken-tän yhteistyökumppaneiden ja minun kesken, käsillä olevaa kuvausta ja sen pohjalta synty-nyttä mittaria koulutuksen laadusta voi ken-ties parhaiten luonnehtia intersubjektiiviseksi kompromissiksi. Se on asianomaisten moniää-ninen, ei-konsensuaalinen käsitys siitä, mitä hyvä ammattikorkeakoulutus pitää sisällään. Kyseinen lopputulos on saavutettu joukkoista-malla deliberaation keinoin neuvottelemalla, ei aggregoimalla preferenssejä tai äänestämäl-lä näkemyksistä.

Näin filosofisen, moniulotteisen ja kiista-nalaisen käsitteen mittaaminen onkin niin vai-keaa, että jos luulee siinä erehtymättömästi on-nistuneensa, on joko hullu tai tyhmä. Raportti

1 Positionaalisesta objektiivisuudesta katso esimerkiksi Amartya Sen, 1993.

18

on täten kuvaus epätäydellisestä prosessista, jota voidaan tehdyn työn ansiosta pitää jossain määrin onnistuneena. Tehtävänäni on seuraa-vassa perustella tämä onnistuneisuus kohtuu-della, rehellisesti ja tosiasioihin perustuen.

Tämän kirjoituksen näkemys, jonka mu-kaan koulutuksen laatu on mitattavissa, tar-koittaa, ettei nähdä olevan merkittäviä peri-aatteellisia syitä, miksei koulutuksen laadun käsitettä voisi käyttää myös arvottamaan kor-keakouluja. Se, joka on tästä lähtökohtaises-ti eri mieltä – perustellusti tai ei – voi jättää jatkon lukematta: tämän perustavanlaatuisen premissin totuudenmukaisuutta ei seuraavas-sa pyritä todistelemaan.

Jotta koulutuksen laadun käsite voisi toi-mia kehitys- ja arviointityökaluna, täytyy se muuntaa mittariksi eli operationalisoida. Jot-ta mittari toimisi sille annetuissa tehtävissä, tulee sen olla onnistuneesti operationalisoitu. Tämä onnistuneisuus on sitä, että kaikkine on-gelmineenkin mittari toimii; että sen käyttä-minen koulutuksen laadun indikaattorina on suotavampaa kuin sen käyttämättä jättäminen.

Onnistuneisuus on täten nähtävä suhtee-na muihin vaihtoehtoisiin tapoihin toimia: siis mitata, arvioida ja ohjata koulutuksen laatua. Onnistuneisuus tehtävässä ei siis ole puhtaasti absoluuttinen suure. Tätä suhteellista onnistu-neisuutta kuvataan seuraavassa pääosin mitta-usteoreettisin, mittarin luotettavuuteen liitty-vin termein. Kantaa ei kuitenkaan juuri oteta muiden mittareiden toimimiseen tai toimimat-tomuuteen. Jos on kiinnostunut suhteellisesta arvioinnista, voi sitten vertailla tässä tehtyjä arvioita muiden koulusjärjestelmää ohjaavien mittareiden arvioihin.

Sen lisäksi, että onnistuneisuus on suhde muihin toimintatapoihin, se on myös riippu-vaista käytännön toteutuksesta. Mittarin toimi-minen on ehdollista sille, miten mittaria käyte-tään. Täten lopullinen työn onnistuneisuuden mitta saadaan vasta jälkikäteen – silloin, kun mittaria on jonkin aikaa käytetty onnistunees-ti ammattikorkeakoulujen kehitystyössä ja ar-vioinnissa.

2120

Tämän raportin näkökulma on rajattu. Kaikkia kehitystyön yksityiskohtia ei ole mielekästä ly-hyessä raportissa tuoda esille. Tämän puutteen kohdalla toivon, että kehitystyön lopputuote - ehdotus ammattikorkeakoulujen valmistu-misvaiheen opiskelijapalautekyselyksi (AVOP) - johon kaikki pienimmätkin kehitystyön kom-mervenkit ovat tavalla tai toisella tulleet sisäl-lytetyiksi, puhuu omasta puolestaan.

Jokaisella kyselyn sisältämällä väittämällä on yksilöllinen historiansa. Yksi vaihtoehto ky-selyn kehitystyön raportoinnille olisikin näiden historioiden kuvaileminen, perusteleminen ja arvioiminen. Tämä tulisi kuitenkin niin luki-jalle kuin allekirjoittaneelle liian raskaaksi. Tä-män vuoksi seuraavassa kuvaillaan ja hahmo-tellaan yleisellä tasolla niitä asioita ja tekijöitä, joita kyselyn kehitystyössä on otettu huomioon. Melko paljon huomiota kiinnitetään teoreetti-siin perusteluihin ja käsitteiden läpikäyntiin. Tämän tarkoituksena on antaa lukijan osallis-tua mittarin rakennusprosessin arviointiin.

Tällaisen tiiviimmän kuvauksen huono puoli on se, ettei kirjaamistani perusteluista yk-siselitteisesti tai loogisesti seuraa johtopäätök-set eli kyselyn sisältö. Voin korkeintaan taus-toittaa tehtyjä valintoja. Tällöin toivon lukijan ymmärtävän, ettei taustojen ja päätösten väliin jäävä tyhjä tila ole summittainen. Perusteltuja päätöksiä on myös näissä kohdissa tehty, vaik-kei niitä kaikkia voidakaan tässä raportoida.

Kyselyn väittämien genealogian lisäksi vä-hälle käsittelylle jäävät ne yhteiskunnalliset ja koulutuspoliittiset tekijät, jotka ovat johtaneet päätökseen ottaa kysely osaksi korkeakoulujen rahoitusmallia. Nämä tekijät sietäisivät tulla tarkemmin käsitellyiksi siitä syystä, että ne vai-kuttavat taustalla myös kyselyn sisältöön liitty-viin päätöksiin.

Johdanto

Raportin rakenneRaportti jakautuu kahteen osaan, joista ensim-mäisessä on kolme ja jälkimmäisessä kaksi lukua.

Ensimmäinen osa kuvaa kyselyn sisällön määrittämisen kehitystyötä ja mittarin arvi-ointia, toinen osa ehdotusta kyselyksi sekä tä-män hallinnoinniksi ensimmäisen osan näkö-kulmien pohjalta.

Ensimmäisessä osassa kuvailen kyselyn si-sältöä kokonaisvaltaisesta mittausteoreettises-ta näkökulmasta. Tarkoituksena on jäsentää ja eritellä kyselyn rakentuminen prosessina, jos-sa käsitteellisestä analyysista siirrytään käsit-teiden mittareiksi muuntamisen (luvut 1 ja 2) kautta mittarin toimivuuden ja laadun analyy-siin testaamalla kyselymittarin ominaisuuksia (luku 3).

Teoreettisen käsitteen, opiskelijapalaute-kyselyn mittauskohteen, valintaan ja rajauk-seen vaikuttavia yhteiskunnallisia ja koulutus-poliittisia tekijöitä käsittelen lyhyesti raporttia taustoittavassa luvussa 1. Nämä tekijät vaikut-tavat kyselylle asetettujen päämäärien ja tule-vaisuuden kehitystarpeiden kautta teoreettisen käsitteen sisältöön.

Toisessa luvussa syvennän koulutuksen laadun teoreettisen käsitteen muodostamista ja rajausta sekä selvennän, millä tavalla tämä käsite on muunnettu kyselymittariksi ja mistä syistä näihin valintoihin on päädytty. Teoreet-tisen käsitteen määritys lähtee liikkeelle Opis-kelun ja koulutuksen tutkimussäätiön saamasta toimeksiannosta sekä ammattikorkeakoulutuk-selle laissa määrätyistä tavoitteista (luvut 2.1 ja 2.2). Nämä paikantavat vastausta kysymyk-seen, mitä AVOP-kyselyllä mitataan.

22

Tämän pohjalta hahmoteltava hyvän am-mattikorkeakoulutuksen empiirinen käsitekart-ta tarkentuu teoreettisen taustatyön (luku 2.3), toimivien vertailukyselyjen analysoinnin (2.4), ammattikorkeakoulujen yhteistyökumppanei-den ja asiantuntijoiden kommenttien (2.5), kyselyversioiden laadullisten testausten (2.6) sekä vastausasteikon valintaan liittyvän survey-metodisen kirjallisuuden (2.7) kautta.

Edellä mainitussa järjestyksessä pyrin siis ensimmäisessä ja toisessa luvussa vastaamaan kysymyksiin, (1) mitä ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekyselyl-lä (AVOP) on tarkoitus mitata, ja (2) miten tätä on hyvä mitata. Näitä kysymyksiä ja nii-den vastauksia käsittelen osittain päällekkäin vaiheiden keskinäisriippuvuuksien vuoksi. En-simmäinen luku ja toisen luvun alku keskittyy teoreettisen käsitteen valintaan ja toisen luvun loppu siihen, miten tämä teoreettinen käsite muunnetaan empiiriseksi käsitteeksi, josta sit-ten johdetaan valittua käsitettä kuvaava kyse-lymittari.

Ensimmäisen osan viimeisessä eli kolman-nessa luvussa arvioin sitä, miten rakennetut mittarit vastaavat yleisiin mittausteoreettisiin ja psykometrisiin haasteisiin. Vastaan siis kysy-mykseen, kuinka hyvin mittarit mittaavat am-mattikorkeakoulutuksen laatua. Vastaus koos-tuu muun muassa siitä, vaihtelevatko mittarit niille epäoleellisten muuttujien suhteen (syste-maattinen mittausvirhe, luku 3.2), ovatko mit-tarit tarkkoja vai onko niissä satunnaista mit-tausvirhettä (eli ovatko mittarit reliaabeleja, 3.3) ja ennen kaikkea mittaavatko mittarit en-simmäisessä luvussa määriteltyjä asioita (eli ovatko mittarit valideja, 3.4).

Raportin toisessa osassa esitän, miltä AVOP-kyselyn mielestäni tulisi näyttää ja mi-ten sitä tulisi käyttää. Luvussa 4.1 teen ensim-mäisessä osassa läpikäytyjen teemojen pohjalta ehdotuksen ammattikorkeakoulujen valmistu-misvaiheen opiskelijapalautekyselyksi. Luvus-sa 4.2 ehdotan, miten AVOP-kyselyn puutteita voitaisiin mielestäni korjata integroimalla se paremmin osaksi opiskelijapalautejärjestelmän kokonaisuutta.

Neljännessä luvussa pyrin myös jakamaan kehitystyön tiimoilta syntyneen käsitykseni sii-tä, miten kyselyä voitaisiin käytännössä par-haalla mahdollisella tavalla hyödyntää am-mattikorkeakoulutuksen kehittämisen tukena. Tähän liittyy kyselyn hallinnointi, tulosten ra-portointi sekä ehdotus tavaksi kerätä vastauk-sia kyselyyn. Esitän, että opintojaksosuorittee-na kyselyn vastausten laatua voitaisiin parantaa ja samalla päästäisiin eroon pitkäksi muodos-tuneen kyselyn mahdollisesta vastauskadosta ja osaamisen mittariin liittyvistä ongelmista.

Päätän loppukaneettiin luvussa 5, jos-sa pohdin niitä päättelyn sudenkuoppia, jot-ka ovat jääneet vähälle huomiolle raportissa mutta jotka oleellisesti vaikuttavat raportin si-sällön yleistettävyyteen.

Raportin tyyliRaportilla ei ole kohdennettua yleisöä, minkä seurauksena toivon, ettei se ole sietämätöntä luettavaa kaikille. Kompromissi, johon yksi-kään lukija ei pysty samaistumaan: liian aka-teeminen ja koukeroinen käytännön toimeen-panosta kiinnostuneille, liian matalaotsainen, suoraviivainen ja huonosti perusteltu akatee-miselle yleisölle. Raportin tyylillinen ongelma onkin ilmentymä tehtävän luonteesta. Siinä missä tehtävä on yhtäältä varsin käytännölli-nen (toimivan kyselytyökalun rakentaminen ammattikorkeakoulujen kehitystyöhön), se on toisaalta myös toivottoman akateeminen (psy-kometrisesti luotettavan mittarin rakentami-nen kasvatustieteelliselle/filosofiselle koulu-tuksen laadun määreelle).

Uskoisinkin, että valitsemani käsittelyta-van vuoksi raportista voisivat olla yhtä lailla kiinnostuneita sekä korkeakoulujen kehitys-työhön vihkiytyneet käytännön toimijat että kasvatustieteellisistä mittareista innostuneet tutkijat ja mikseivät myös korkeakoulutuksen tai yleistä arviointityötä opiskelevat opiskelijat.

Raportti on kirjoitettu niin tyylillisesti kuin sisällöllisestikin kuvaamaan sitä ajatus-työtä, jonka olen itse läpikäynyt: kronologise-na prosessina ensimmäisistä teoreettisen käsit-teen valinnan pohdinnoista viimeisiin tulosten

raportoinnin vaiheisiin. Se on kuvaus aavistuk-sesta, joka muuttuu matkalla perustelluksi a priori arvioksi siitä, mitä ammattikorkeakoulu-tuksen laatu pitää sisällään, ja huipentuu pilo-toinnilla koeteltuun a posteriori arvioon tämän käsityksen toimivuudesta.

Täten raportti ei valitettavasti kovin hyvin sovellu valikoiden luettavaksi ainakaan niin, että lukisi jotain raportin alkupäästä ja päätte-lisi tämän perusteella, mitä mieltä olen tai mi-ten käytännön kehitystyössä tulisi toimia. Voi nimittäin olla, että alkuperäinen näkemykseni on osana prosessia tarkentunut tai peräti radi-kaalisti muuttanut muotoaan, ja tämä muutos on sisältynyt raporttiin siten, ettei raportin al-kupään arvioni ole yhteneväinen loppupääs-sä esittämäni arvion kanssa. Raportin raken-teen onkin tarkoitus löyhästi muistuttaa niin sanottua bayesilaistä oppimisprosessia, jossa a priori käsitystä jostain asiasta (tässä koulu-tuksen laadusta) tarkennetaan ja päivitetään kerätyn aineiston avulla perustelluksi a poste-riori arvioksi.

Tämän oppimista kuvaavan muutospro-sessin, joka ei toivottavasti aiheuta tarkkaavai-sessa lukijassa hämmennystä, olen sisällyttänyt raporttiin, koska olen halunnut tuoda näkyviin myös ne perustelut, jotka ovat minulle ilmen-

neet nimenomaan kumulatiivisena kronologi-sena prosessina. Ilman niiden pukemista tätä vastaavaan ulkoasuun jäisivät perustelut ulko-puolisille mutta niistä kenties kiinnostuneille piiloon. Samalla olen halunnut olla rehellinen sille, etteivät kaikki asiat – mitkään asiat itse asiassa – ole näyttäytyneet minulle ilmeisinä projektin alusta lähtien.

Niinpä jos jotain lopullista haluaa poimia raportista, poimittakoon se raportin loppu-päästä. Alussa esitetyt näkemykset ovat hiou-tumattomia, minkä vuoksi niiden perusteltuina pitäminen on lukijan itsensä vastuulla. Toisaal-ta raportin loppukaan ei seiso siinä mielessä itsenäisesti jaloillaan, että lopun lukeminen riittäisi johtopäätösten lisäksi myös peruste-lujen ymmärtämiseen. Jos käy läpi vain mit-tarin a posteriori arvion, ei kykene kattavas-ti arvioimaan mittarin määritysvirhettä, saati ymmärtämään, miksi jotain on tullut kyselyyn sisällytetyksi ja miksi jotain muuta on jätetty siitä pois.

Käytännön ehdotuksia koskeva luku 4 on tältä osin poikkeus: siinä esitetyt toimenpiteet on johdettu kaikesta sitä ennen käsitellystä. Jos lukija on kiinnostunut toimenpide-ehdotuksis-ta eikä niin välitä niiden perusteluista, hän voi hyvin tutustua vain neljänteen lukuun.

2322

OSA 1: Perustelut ja arviot

Tässä luvussa kuvailen koulutuspoliittisia taus-toja, jotka kyselyn kehitystyötä ovat ohjanneet. Selvennän myös raportin näkökulmaa ja raken-netta paikantamalla sen raportin mittausteo-reettiseen otteeseen.

1.1. Yhteiskunnalliset ja koulutuspo-liittiset taustat pähkinänkuoressaTässä luvussa käyn lyhyesti läpi niitä yhteis-kunnallisia ja koulutuspoliittisia taustoja, jot-ka ovat konkreettisesti, joskin lähinnä välilli-sesti, vaikuttaneet AVOP-kyselyn sisältöön ja muotoon.

Ehdotus ammattikorkeakoulujen val-mistumisvaiheen opiskelijapalautekyselyksi koostuu kolmesta osakokonaisuudesta, jotka voidaan nähdä koulutuksen laadun vaihtoeh-toisina, mutta toisiaan tukevina ja keskenään korreloivina mittareina. Nämä osakokonaisuu-det ovat: Koulutuksen käytännöt (kesäkuun kyselyn, liite 17, moduulit 2–6), Osaamisen kehittyminen (kyselyn moduuli 7) ja Yleistyy-tyväisyys (moduuli 8).

Kyselyyn yleisesti vaikuttavia yhteiskunnal-lisia ja koulutuspoliittisia kehityskaariaErittelen seuraavassa kyselyyn vaikuttaneita yhteiskunnallisia ja koulutuspoliittisia kehitys-kaaria kyseisten osakokonaisuuksien kautta. Ennen tätä käyn kuitenkin lyhyesti läpi kaik-kien osakokonaisuuksien taustalla yhteises-ti vaikuttavia yleisiä koulutuspoliittisia tren-dejä sekä paikannan opiskelijapalautekyselyn osuuden ammattikorkeakoulujen uudistetta-vassa rahoitusmallissa. Yhteiskunnallisen ja koulutuspoliittisen ilmaston tarkastelu selven-tää niitä haasteita, joihin kyselyn tulee kyetä vastaamaan.

1. Taustaa

Bolognan prosessiBolognan prosessi, jonka tarkoituksena on saa-da aikaan kilpailukykyinen ja vetovoimainen sekä yhteinen ja yhtenäinen eurooppalainen korkeakoulutusalue, on vaikuttanut myös nii-hin tarpeisiin, joita valmistumisvaiheen opis-kelijapalautekyselylle asetetaan.

Bolognan prosessin voidaan nähdä pakot-taneen selventämään ja yhdenmukaistamaan niitä korkeakoulutuksen laadunvalvonta-, oh-jaus- ja kannustinjärjestelmiä, joiden avulla korkeakoulujen tuloksellisuutta on muutamien viimeisten vuosikymmenten ajan enenevissä määrin valvottu ja ylläpidetty sekä Suomessa että muualla Euroopassa.

Bolognan prosessin seurauksena suo-malaisen korkeakoulutuksen tutkintoraken-ne on muuttunut. Samalla on noussut tarve verrata tutkintoihin kuuluvia osaamiskoko-naisuuksia ylikansallisesti, minkä seurauk-sena myös ammattikorkeakoulutukselle on luotu kansallisesti toimeenpantava viiteke-hys tutkinnon suorittamisella saavutettavista osaamiskokonaisuuksista.

TulosohjausSuomessa korkeakoulujen tulosohjauksen li-sääntyminen ainakin vuoden 1986 korkea-koulujen kehittämislaista lähtien on ollut sidoksissa korkeakoulujen autonomian kehit-tämisen vaatimukseen (Saarinen 1997, 16–18). Opiskelijapalautteen käyttäminen osana rahoi-tusmallia voidaan nähdä osana tätä ohjausjär-jestelmän yleistä kehitystä.

2524

Konsumerismi ja kilpailu Korkeakoulutuksen kansainvälisen ja kansal-lisen liikkuvuuden sekä korkeakoulujen auto-nomisen päätäntävallan ja ohjauksellisen tu-losvastuun lisääntymisen myötä korkeakoulut kilpailevat kansainvälisesti sekä kansallisesti aiempaa enemmän keskenään. Bolognan pro-sessi on vauhdittanut tätä kehitystä, josta tu-losohjaus on ollut yksi ilmentymä. Tämä on tuonut korkeakouluille mukanaan joko vä-littömänä realiteettina tai lähitulevaisuuden haasteena kilpailun lahjakkaista opiskelijoista, mikä puolestaan on pakottanut korkeakoulu-ja sopeutumaan opiskelijalähtöisempään toi-mintamalliin.

Joidenkin kriitikoiden mukaan skandi-naaviseen korkeakoulukenttään on samal-la rantautunut sille vieraita, angloamerikka-laisen korkeakoulutusmallin asiakaslähtöisiä tai konsumeristisia piirteitä. Opiskelijapalaut-teen kohdalla tällainen kritiikki on sikäli pe-rusteltua, että juuri angloamerikkalaisissa yli-opistoissa, ennen kaikkea Yhdysvalloissa ja Isossa-Britanniassa, mutta myös Australiassa, opiskelijapalautteen käyttöönotossa ja hyö-dyntämisessä on menty kaikkein pisimmälle (Richardson 2005). On kuitenkin vaikeaa ot-taa kantaa siihen, missä määrin kehityskulkuun liittyminen on enää vapaaehtoinen kansallinen tai korkeakoulukohtainen valinta, missä mää-rin se taas on toimintaympäristön asettamaa yksittäiselle toimijalle välttämättömänä esiin-tyvää todellisuutta, joka koulujen on kilpailussa pärjätäkseen vain hyväksyttävä.

Konsumerismin ja opiskelijalähtöisyyden paine lisääntynee entisestään mahdollisen lu-kukausimaksujen käyttöönoton myötä. Opis-kelijapalautteella voi tässä mahdollisessa ke-hityksessä olla myös myönteinen, tiedollinen, opiskelijan korkeakouluvalintaa järkiperäistävä rooli. Esimerkiksi Isossa Britanniassa opiske-lijalähtöisyyden kysynnän kasvuun on vastattu kehittämällä kandidaattivaiheen loppusuoral-la täytettävä National Student Survey (NSS), kansallinen opiskelijapalautekysely, jonka yksi ensisijaisista tarkoituksista on antaa opi-nahjoaan pohtivalle tulevalle opiskelijalle pa-remmat tiedolliset valmiudet tehdä perusteltu

korkeakouluvalinta. Tarkoituksena on tarjota vertailevaa tietoa kohdekorkeakoulujen opis-kelijoiden näkemyksistä tutkintonsa onnistu-neisuudesta.

KorkeakouluvertailutKorkeakouluvertailujen kasvava kysyntä voi-daan myös nähdä yhtenä esimerkkinä sekä liikkuvuuden lisääntymisen tiukentamasta kilpailusta lahjakkaista opiskelijoista että yli-opistojen tuloksellisuuden arvioinnin kasvus-ta. Huonot korkeakouluvertailut vastaavat laa-dun arviointia vääristävään kuluttajan (tulevan opiskelijan) tarpeeseen saada yksinkertaises-sa ja valmiiksi pureskellussa muodossa tietoa tulevasta opinahjostaan. Korkeakouluvertai-luissa nähdäänkin enenevissä määrin ongelmia koulutuksen laadun mittareina. Näistä ongel-mista yksi syvimmistä on vertailujen (toimivi-en tai toimimattomien) itsensä toteuttava en-nuste: vertailut mittaavat laatua, joka osittain perustuu mittareiden luomaan korkeakoulun maineeseen. Hyvät korkeakouluvertailut pyr-kivät löytämään tasapainon viestinnällisen te-hokkuuden (joka vaatii yksinkertaistamista) ja mittausteoreettisen perusteltavuuden (joka vaatii liiallisen yksinkertaistamisen vastustus-ta) väliltä.

Yhtenä esimerkkinä tarpeesta parantaa korkeakouluvertailuja voidaan nähdä Euroopan komission joulukuussa 2012 tekemä päätös ke-hittää uusi, komission mukaan moniulotteinen, kattava ja pätevä yliopistovertailujärjestelmä (U-Multirank). Tässä järjestelmässä perinteis-ten vertailujen yksipuolisuudesta ja tutkimus-painotteisuudesta siirryttäisiin mittaamaan korkeakoulutuksen laatua viidellä yhteismitat-tomalla ulottuvuudella, jotka ovat: 1. opetus ja oppiminen (teaching and learning), 2. tutki-mustoiminta (research), 3. tiedon jakaminen (knowledge transfer), 4. kansainvälinen orien-taatio (international orientation) sekä 5. paikal-linen osallistuminen (regional engagement).2

Jos U-Multirankin voidaan nähdä vas-taavan korkeakouluvertailujen hankaluuk-siin, sen sisältöä on hyvä käyttää mallina myös ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekyselylle. Luonteva paikka

2 U-Multirank-projektista voi lukea verkosta osoitteesta: http://www.u-multirank.eu/ (poimittu 4.11.2013)

opiskelijapalautekyselyllä yllä mainitun kaltai-sessa jaottelussa on ainakin 1. ”Opetus ja oppi-minen” -osio. Tätä osiota U-Multirank onkin aikeissa mitata muun muassa opiskelijatyyty-väisyydellä seuraavissa osa-alueissa: oppimis-kokemus (overall learning experience), opinto-jaksojen ja opetuksen laatu (quality of courses & teaching), opintojen organisointi (organisa-tion of the programme), yhteys opettajiin (con-tact to the teachers), oppimis- ja sosiaalinen ympäristö (social climate), opiskelun tukipal-velut ja opiskeluympäristöt (facilities), opetuk-sen tutkimusorientaatio (research orientation of teaching) sekä työelämäkokemukset (work experience/practical elements).

Ammattikorkeakoulujen valmistumisvai-heen opiskelijapalautekyselyssä on ennakoitu yliopistovertailujen U-Multirankin suuntais-ta kehitystä siten, että kyseisen vertailumitta-rin opiskelijatyytyväisyyden osa-alueet tulevat kyselymittarissa edustetuiksi. Vertailumittarin suosion mahdollisesti kasvaessa AVOP-kyselyä voidaan tällöin käyttää työkaluna ilman suu-rempia muokkauksia myös kyseisessä korkea-kouluvertailussa pärjäämisen parantamiseen.

Opiskelijapalautekyselyn paikka ammatti-korkeakoulujen vuonna 2014 uudistettavas-sa rahoitusmallissaTulosohjauksen painopiste on siirtynyt Suo-messa tehokkuuskriteereistä kohti koulutuk-sen laadun ja vaikuttavuuden parantamis-ta (Nyyssölä & Saarinen, 1997). Tämä näkyy myös opetusministeriön asiakirjassa ”Ehdotus ammattikorkeakoulujen rahoitusmalliksi vuo-desta 2014 alkaen” (OKM 2012, 19), jossa lukee muun muassa seuraavasti:

”Hallitusohjelmaa tarkentavassa Koulu-tuksen ja tutkimuksen kehittämissuun-nitelmasssa (KESU) vuosille 2011–2016 linjataan, että ammattikorkeakoulujen rahoitus- ja säädösohjausta uudiste-taan vuoden 2014 alusta vauhdittamaan ammattikorkeakoulujen rakenteellista uudistamista ja toiminnan laadun ja vaikuttavuuden parantamista. Ammat-tikorkeakoulujen toimiluvat uudistetaan

vuoden 2014 alusta, jolloin koulutustar-jontaa voidaan suunnata työelämän tar-peisiin paremmin vastaaviksi.KESU-linjausten mukaisesti opetus- ja kulttuuritoimen rahoitusta koskeva lain-säädäntö muutetaan ammattikorkea-koulujen osalta niin, että rahoituksen määräytymisperusteissa ja rahoituskri-teereissä otetaan huomioon ammat-tikorkeakoulujen koko lakisääteinen toiminta laatua, vaikuttavuutta ja te-hokkuutta korostaen. Korkeakoulukoh-tainen rahoitus määräytyy pääasiassa suoritettujen tutkintojen ja opintopro-sessien laadun ja tehokkuuden sekä työl-listymisen perusteella.”

Retoriikasta huolimatta nähdäkseni korkea-koulutuksen laatu on varsinaisissa rahoitus-mallia ohjaavissa ja korkeakouluille varoja allokoivissa koulutuksen osoittimissa jäänyt määrää vähemmälle huomiolle. Vuonna 2014 uudistettavan rahoitusmallin ehdotetaan ni-mittäin jakavan ammattikorkeakouluille varoja seuraavien painotusten mukaisesti:

TAULUKKO 1. KOULUTUKSEN INDIKAATTORIEN PAINO-ARVOT UUDISTETTAVASSA RAHOITUSMALLISSA.

Koulutuksen indikaattoriPaino rahoi-tusmallissa

Suoritetut ammattikorkeakoulututkinnot 0,46

55 op suorittaneiden määrä 0,26

Valmistuneet työlliset 0,03

Avoimen ammattikorkeakoulun ja erillisten opintojen opintopisteet 0,02

Ammatillisessa opettajankoulutuksessa suoritetut opinnot

0,02

Opiskelijapalaute 0,03

Koulutuksen kansainvälisyys 0,03

2726

Olen merkinnyt taulukossa punaisella ne indi-kaattorit, jotka mielestäni ovat puhtaasti mää-rällisiä ja joille ei ole – valmistuneita työllisiä sekä kansainvälisyyttä kenties lukuun otta-matta – kuviteltavissa määritelmällisen sijaan edes suoraa synteettistä yhteyttä koulutuksen laatuun. Se, kuinka paljon tutkintoja suorite-taan, millä tahdilla opiskellaan tai mitä opis-kellaan, kertoo kyllä kulurakenteesta ja mää-rällisistä koulutuksen lopputuotteista muttei siitä, kuinka hyvä tämä lopputuote sisällölli-sesti on. Työllistymistä ja kansainvälisyyttä voidaan puolestaan pitää laadun kannalta hy-vinä asioina sinänsä, mutta niitäkin mitataan määrällisin indikaattorein ilman että selvitet-täisiin, onko kansainvälistymisestä ollut hyö-tyä tai onko työllistytty koulutusta vastaaviin tehtäviin. Yhteensä koulutuksen indikaattorit määrittävät ammattikorkeakoulujen uudistet-tavasta rahoitusmallista 85 prosenttia.

Rahoitusmallin toinen 15 prosentin osuus koostuu tutkimus- ja kehittämistoiminnan in-dikaattoreista seuraavalla tavalla:

TAULUKKO 2. TK-TOIMINNAN INDIKAATTORIEN PAINO-ARVOT UUDISTETTAVASSA RAHOITUSMALLISSA.

TK-toiminnan painoista on vaikeampi mää-rittää, mitkä ovat laadullisia indikaattoreita, mitkä eivät. Sanottakoon, että näistäkin mit-tareista ainakin TK-rahoituksessa, ylemmissä

ammattikorkeakoulututkinnoissa sekä hen-kilöstön kansainvälisessä liikkuvuudessa pai-nottuvat määrälliset panokset, eivät laadulli-set tuotokset. TK-rahoitus ei esimerkiksi kerro, onko tämän seurauksena syntynyt sitä mitä oi-keasti halutaan, eli innovaatioita tai innova-tiivisia ihmisiä, vaan se kertoo korkeintaan panostuksena näkyvästä toiveesta saada mai-nitulla sektorilla jotain aikaiseksi. (ks. Ketoki-vi 2011, 43–45)

Näkisin asian tämän vuoksi niin, että opis-kelijapalautteella on kolmen prosentin vaati-mattomalla osuudellaan rahoitusmallissa ras-kas vastuu edustaa indikaattoreissa parhaalla sekä kattavimmalla mahdollisella tavalla sitä laadullisuuden kriteeriä, jota rahoitusmallin sanalliset kuvaukset niin selvästi painottavat mutta jonka käytännön indikaattorit pitkälti sivuuttavat.

Tämän laadullisuuden sisällä opiskelijapa-lautteen erityisenä tehtävänä on edustaa opis-kelijanäkökulmaa koulutuksen laatuun – asiaa, joka tulee tällä tavalla parhaiten mitatuksi ja jota ei millään muulla tavalla rahoitusmallissa oteta huomioon.

Koulutuksen käytännöt -osakokonaisuu-den yhteiskunnalliset ja koulutuspoliittiset taustatKoulutuksen käytäntöjen osakokonaisuus koos-tuu laadukkaan ammattikorkeakoulutuksen hy-viksi koetuista käytännöistä ja niiden toimeen-panon onnistuneisuuden mittaamisesta. Tässä osiossa yhteiskunnallisista ja koulutuspoliitti-sista trendeistä näkyvät ennen kaikkea opetuk-sen ja oppimisen laadullisuus, rahoitusmallin painottama työelämäläheisyys sekä koulu-tuksen kansainvälisyyden tosiasiallinen laa-tu (päällekkäisyyttä ei ole, sillä rahoitusmallin muissa indikaattoreissa kansainvälisyyttä mi-tataan opiskelijoiden ja opettajien liikkuvuuden määrällä). Lisäksi osio mittaa kaikki U-Multi-rank-yliopistovertailumittarin edellä mainitut opiskelijatyytyväisyyden oleelliset osa-alueet.

Anna Parpalan (2010, 1–2) mukaan yh-tenä Bolognan prosessin ilmentymänä on ol-lut opetuksen ja oppimistavoitteiden täyt-tymisen laadunvalvonnan kehittyminen.

Oppimiskeskeisen ajattelun korostuessa koros-tui hänen mukaansa 2000-luvun alussa enene-vissä määrin myös oppijalähtöinen oppimisen ja opettamisen malli perinteisen opettajaläh-töisen mallin sijaan.

Väittäisin tämän kehityskaaren olevan myös pidemmän aikavälin kasvatustieteelli-sen teorian kehityksen mukainen: siirtymä keskitetysti ohjatusta behavioristisesta oppi-misesta kokonaisvaltaisempaan, konstrukti-vistisempaan oppimiskäsitykseen (ks. luku 2.4 Teoreettinen taustatyö). Tämä opetuksen laa-dunvalvontaan liittyvä paradigman muutos – oli sen aiheuttaja mikä tahansa – näkyy kyselyn Opetus ja oppiminen -moduulissa. Väittämät on muotoiltu tarkoituksenmukaisuuden rajois-sa mahdollisimman oppijalähtöisesti, opintoi-hin liittyvää ohjausta, suunnittelua sekä oppi-jan yksilöllisiä oppimistarpeita korostaen.

Työelämäläheisyyden, ammattikorkea-koulutuksen tärkeän painopisteen, lisäänty-vä korostaminen näkyy Koulutuksen käytän-nöt -osakokonaisuudessa, Työelämäyhteydet ja neuvonta -osiossa sekä Opetus ja oppimi-nen -osion käytännönläheisessä painotuksessa. Kansainvälisyyttä on puolestaan mitattu laa-dullisesta näkökulmasta Kansainvälisyys, mo-nikulttuurisuus ja kieliopinnot -osiossa.

Osaamisen kehittyminen osakokonaisuu-den yhteiskunnalliset ja koulutuspoliittiset taustat

Osaamisen kehittyminen -osakokonaisuus mittaa opiskelijan arviota osaamisensa kehit-tymisestä ammattikorkeakoulutuksen aikana. Osaamisen kehittyminen -osion kyselyyn mu-kaan ottamisessa yhdistyvät työelämäläheisyy-den tarve – osiossa mitataan työelämärelevant-tien osaamisalueiden kehittymistä – sekä yllä mainittu opiskelijalähtöisyyden ja oppimistu-losten painottaminen opettajakeskeisten käy-täntöjen mittaamisen sijaan.

Sisällöltään osaamisen kehittymisen osa-kokonaisuus on lähes suoraan seurausta Bo-lognan prosessista, jonka tiimoilta euroop-palaista liikkuvuutta on pyritty parantamaan yhdenmukaistamalla ja tuomalla esiin kansal-listen koulutusjärjestelmien tutkintojen seu-rauksena syntyvät oppimistulokset ja osaamis-

sisällöt. Nämä sisällöt ovat eurooppalaisessa viitekehyksessä kuvattuina EQF-standardeis-sa (European Qualifications Framework), jotka on tarkoitus toimeenpanna kansallisella tasolla kansallisten viitekehysten avulla (NQF Natio-nal Quality Framework). Tutkintotasoja, joiden mukaan osaamistulokset jaotellaan, on kahdek-san. Näistä alemmat ammattikorkeakoulutut-kinnot sijoittuvat tasolle 6.

Ammattikorkeakoulujen rehtorineuvosto ARENE ry on tehnyt varsin yksityiskohtaisen suosituksen kansallisesti käyttöönotettavista NQF-kompetensseista, jotka ovat jaettavissa yhteisiin ja koulutusohjelmakohtaisiin kom-petensseihin (ARENE 2006). Koska AVOP toiminee osana rahoitusmallia koulutuksille yhteisenä indikaattorina, ovat juuri yhteiset ARENEn määrittelemät kompetenssit luon-teva käsitepohja oppimis- ja osaamistulosten mittaamiselle. Kyseiset kompetenssit on muu-tamin poistoin ja lisäyksin muunnettu mitta-reiksi tai indikaattoreiksi eli operationalisoitu AVOP-kyselyn Osaamisen kehittyminen - osakokonaisuuteen.

Kokonaistyytyväisyys-osakokonaisuuden yh-teiskunnalliset ja koulutuspoliittiset taustatKoulutuksen käytäntöjen sekä osaamisen kehit-tymisen lisäksi opiskelijatyytyväisyys on tärkeä osa koulutuksen laadun opiskelijanäkökulman mittaamista. Kolmannen koulutuksen laadun näkökulman, Kokonaistyytyväisyyden, voidaan nähdä ilmentävän opiskelijalähtöisyyden ko-rostumista korkeakoulupolitiikassa. Olettaen, että opiskelija osaa arvioida koulutuksen to-teutumista suhteessa annettuihin realistisiin tavoitteisiin oikein, voi kokonaistyytyväisyyt-tä pitää itsessään tärkeänä hyvän koulutuksen osa-alueena.

Tyytyväisyys voi tietenkin olla joiden-kin mielestä väärin perustein syntynyt (ks. Richardson 2005, 403). Opiskelijan tyytyväi-syys mittaa hänen valmistumisvaiheen arvio-taan koulutuksen onnistuneisuudesta. Tämän arvion voidaan väittää olevan subjektiivisesta näkökulmastakin harhainen esimerkiksi osoit-tamalla arvion muuttuvan opiskelijan saades-sa enemmän tai parempaa kokemusta siitä,

Tutkimus- ja kehittämistoiminnan indikaattorit

 

TK-rahoitus 0,08

Ylemmät ammattikorkeakoulututkinnot 0,04

Julkaisut, taiteellinen toiminta, audiovisuaaliset aineistot sekä tieto ja viestintätekniset ohjelmat

0,02

Henkilöstön kansainvälinen liikkuvuus 0,01

2928

minkälainen koulutus hänen elämänsä kannal-ta on tarpeellisin. Tämä näkökulma liittyy ar-vion mittausteoreettiseen stabiliteetin käsittee-seen, johon palaan kolmannessa luvussa.

Tässä vaiheessa on kuitenkin syytä tode-ta, ettei tyytyväisyys viittaa sen enempää jon-kun muun kuin opiskelijan itsensä määrittele-mään väärin kuin oikein ymmärrykseenkään vaan korkeakoulun kykyyn ottaa huomioon opiskelijan subjektiivisesti koulutukselleen tai tutkinnon sisällölleen asettamat halut, toiveet ja tarpeet. Täten kokonaistyytyväisyys ei käsit-teellisestä näkökulmasta mitenkään väistämät-tä mallinna asiakaslähtöistä kaiken kattavaa ja perusteetonta ”asiakas on aina oikeassa, vaikka se olisikin väärässä” -ajattelua konsumerismin kritiikin mukaisesti3. Käsitys, että se niin teki-si, olettaa opiskelijan arvioivan koulutustaan markkinahyödykkeenä, jonka tarkoituksena on pikemminkin tyydyttää opiskelijan (yleensä ly-hyen tähtäimen pinnalliset ja perustelematto-mat) mielihalut kuin tämän ylevämpinä nähdyt pitkän aikavälin oppimis- tai henkisen kasvun tavoitteet.

1.2. Kokonaisvaltainen näkökulma yleiseen mittausteoriaanRaportin ensimmäisen osion rakenne sekä täs-sä esiteltävä näkökulma kyselymittarin arvioi-miseen noudattelee läheisesti Mikko Ketokiven (2011, 43–83) näkemyksiä mittauksen luotet-tavuuden arvioinnista.

Raportin ensimmäisen osion kappaleja-ko perustuu Ketokiven esittelemään kokonais-valtaiseen, realistiseen ja klassisen testiteorian mukaiseen näkemykseen yleisestä mittausteo-riasta. Kappalejako noudattelee sitä järjestys-tä, jossa toivottu asia, idea tai käsite ensin vali-koidaan ja rajataan teoreettiseksi mitattavaksi käsitteeksi ja sitten muunnetaan tätä määritel-mää kuvaavaksi määrämittaiseksi empiirisek-si indikaattoriksi tai mittariksi. Kun puhutaan kvantitatiivisesta kyselymittarista, tarkoittaa tämä yhden tai useamman käsitettä kuvaavan lukuarvon (tai estimaatin) määrittämistä ra-kennetun mittarin (tai estimaattorin) avulla al-kuperäistä teoreettista käsitettä kuvaamaan. Kun mittari on rakennettu, sen toimivuutta

arvioidaan erinäisin luotettavuuskriteerein em-piirisellä pilottikyselyllä.

Viittaan näkökulmaan attribuutilla ”ko-konaisvaltainen” siksi, että haluan korostaa käsitteen määrittelyn merkitystä erotuksena tämän jo määritellyn käsitteen mittaamisen onnistuneisuudesta tietyssä mittaustilantees-sa. Tämän teen siksi, että mielestäni (Ketoki-ven käsityksen mukaisesti) käytännön syistä liian usein mittauksen luotettavuusanalyysis-sa tarkastellaan vain operationalisoinnin seu-rauksena syntyneen mittarin mittausvirheen osuutta, huomioimatta mahdollista määritys-virheen osuutta mittarin rakentamisen (epä)onnistuneisuudesta.

Määritysvirhe syntyy jo ennen mittausti-lannetta siirryttäessä teoreettisesta käsittees-tä (joka yleensä valikoituu ennen tutkimuksen aloittamista) empiiriseen käsitteeseen. Hyvä esimerkki määritysvirheen unohtamisesta ylei-selläkin tasolla on se, että toisinaan virheelli-sesti kuvitellaan käsitteellisen analyysin olevan yksin kvalitatiivisen tutkimuksen ominaispiirre eikä kuuluvan kvantitatiiviseen tutkimukseen lainkaan. Tällöin mittareiden rakentaminen ja niiden testaaminen nähdään ikään kuin itsetar-koituksellisena prosessina, jossa mittarin yh-teydestä teoreettisen käsitteistöön ei olla lain-kaan huolissaan (tästä kirjoittaa muun muassa Töttö 2012).

Lopullisen mittaustuloksen voidaankin määritysvirheen huomioivan kokonaisvaltai-sen mittausteoreettisen näkökulman mukaan nähdä koostuvan seuraavista komponenteista:

x=X+s+m

missä x=mittaustulos, X=teoreettisen kä-sitteen todellinen arvo, s=määritysvirhe ja m=mittausvirhe (Ketokivi, 2011, 46).

Kaava on kuvaannollinen: se ei tarkoita, että suureet olisivat yhteismitallisia tai suora-viivaisesti laskettavissa yhteen, vaan ainoas-taan, että saatu mittaustulos voidaan jakaa ky-seiseen kolmeen osatekijään eli komponenttiin.

Koska määritysvirheen ja mittausvirheen osuuksia on vaikeaa määrämittaisesti erotel-la (mikä ei tarkoita, ettei niitä tulisi eritellen

3 Todettakoon tässä kuitenkin, että tietyissä tapauksissa, kuten paljon käytetyn Noel-Levitz Student Satisfaction Surveyn kohdalla, kyselyn sisältö perustuu nimenomaan kulutusteoriaan. Osaksi siitä syystä, että haluttiin tehdä eksplisiittisen pesäero kulutustutkimuksen traditioon, on AVOP-ky-selyssä valittu varsin erilainen mittari opiskelutyytyväisyydelle.

4 Kokonaisvaltaisesta mittausteoreettisesta näkökulmasta on tärkeää, ettei mittausvirhettä sekoita samalla latinalaisella aakkosella usein mer-kittävään jäännöstermiin eli residuaaliin, joka tietyin ehdoin rajatuissa tapauksissa estimaatin mittausvirhettä hyvin approksimoikin. Myös tässä kaavassa komponenttien summaaminen on ymmärrettävä kuvaannollisena havainnollistuksena.

pohtia), klassisessa testiteoriassa yllä olevat mittaustuloksen komponentit typistetään usein kahteen:

x=X+ ε, missä ε=s+m 4

Yleistettävyysteoriassa mittausvirhe ε jaetaan vielä systemaattiseen ja satunnaiseen mittaus-virheeseen. Koska klassisessa testiteoriassa mittarin reliabiliteetti samaistetaan toistetta-vissa olevan varianssin (systemaattisen mit-tausvirheen JA (systemaattisen) todellisen arvon varianssin) osuudeksi mittaustuloksen kokonaisvarianssista, ei tällä päästä käsiksi sys-temaattisen mittausvirheen osuuteen, sillä ky-seisellä lähestymistavalla se tulee samaistetuksi mittauskohteen todellisen arvon kanssa.

Systemaattisen mittausvirheen huomiot-ta jättäminen on kuitenkin satunnaista vaka-vampaa. Tämä tuo mukanaan nimittäin myös systemaattisen harhan. Yleistettävyysteoriassa systemaattisen mittausvirheen osuutta voidaan tarkastella operationalisoimalla ja mittaamal-la tai vaihtoehtoisesti teoreettisesti ja käytän-nöllisesti arvioimalla metoditekijöiden (tässä tapauksessa kyselytutkimukseen sisältyvien) mittauskohteen todellista arvoa tai tosiarvoa vääristävää vaikutusta mittaustuloksessa. Me-toditekijöillä tarkoitetaan tässä siis sellaista mittaustavan tai mittarin vaikutusta mittaus-tulokseen, joka on ymmärrettävissä todellisesta arvosta poikkeavaksi osuudeksi mittaustulok-sesta. Koska tällaiset tekijät ovat valitun meto-din, eivät mittauskohteen ominaisuuksia, kut-sutaan niitä metoditekijöiksi.

Klassisessa testiteoriassa metoditekijöihin liittyvään ongelmaan voidaan päästä käsiksi ai-nakin osittain hyvällä validiteetin tarkastelulla, mikä puolestaan tarkoittaa huomion kiinnit-tämistä mittaukseen kokonaisvaltaisesti, pro-sessin alun käsitteen valinnasta ja määrittelys-tä aina mittaustuloksen tulkintaan. (Ketokivi 2011, 43–83)

Mittarin kyky kuvata tiettyä teoreettista käsitettä on siis riippuvaista teoreettisen kä-sitteen empiirisen määrittelyn onnistuneisuu-desta. Määrittelyn onnistuneisuuden arviointi on tämän vuoksi ensisijaista: epäonnistunutta

määrittelyä ei voida mitenkään pelastaa mit-tausvirhettä varsinaisessa mittaustilantees-sa minimoimalla. Yllä olevan kaavan mukais-ten mittaustulosten komponenttien määrittely voidaankin jakaa seuraavankaltaiseen, ohjeelli-seen ja polkuriippuvaiseen ajalliseen prosessiin (lainattu teoksesta Ketokivi 2011, 44):

KUVIO 1. MITTAAMISEN YLEINEN PROSESSI. Mittaria rakentaessa aloitetaan siis valitsemal-la, rajaamalla tai vastaanottamalla teoreettinen käsite (jos tämä tulee tutkijalle annettuna, on kyse tietenkin viimeisestä), joka muunnetaan empiiriseksi käsitteeksi selvittämällä, kuinka teoreettista käsitettä voitaisiin mitata. Jos teo-reettinen käsite ei tule annettuna, tulee teoreet-tinen käsite valita ja rajata suhteessa johonkin ennalta asetettuun tavoitteeseen. Näissä ta-pauksissa jo teoreettisen käsitteen rajauksessa ja valinnassa voi tapahtua virhe, jos teoreet-tinen käsite ei vastaa tutkimukselle annettua tavoitetta.

Tämän jälkeen teoreettinen käsite muun-netaan empiiriseksi käsitteeksi, eli määritellään käsitteet ja termit joko teoreettiselta tai käy-tännölliseltä pohjalta perustellusti siten, että empiirinen käsite muuntuu mitattavissa ole-van mittarin muotoon. Kun empiirinen käsite on määritelty operationalisoitavaan muotoon, tämä käsite muunnetaan mittariksi eli opera-tionalisoidaan, minkä jälkeen suoritetaan mit-taus arvioimalla mittarille sopivin mittaustapa, mittausympäristö ja tiedonkeruukokonaisuus. Kyselymittarin kohdalla tähän työvaiheeseen kuuluu niin otanta-asetelman suunnittelu kuin käytännön kysymykset siitä, mitä taustatietoja tarvitaan esimerkiksi vastausten painottami-seen, miten vastaajia kyselymittariin kerätään sekä miten ja missä kyselyyn vastataan.

Siirryttäessä empiirisestä käsitteestä var-sinaiseen mittaustulokseen, on aina odotet-tavissa jonkin suuruinen mittausvirhe, jonka usein oletetaan olevan normaalisti jakautunut

3130

satunnaismuuttuja. Mittausvirhe voi syntyä mittarin epätarkkuudesta, mittaria tulkitsevan tutkijan epätarkkuudesta, lähtöarvojen määrit-telyn epätarkkuudesta tai vaikka, kuten usein kyselymittarin kohdalla, mittarin antamien ar-vojen vaihtelusta epäoleellisten kolmansien te-kijöiden suhteen.

Yllä olevassa prosessikaaviossa määritys-virhe s tapahtuu siis siirryttäessä teoreettisesta käsitteestä empiiriseen käsitteeseen, mittaus-virhe m siirryttäessä empiirisestä käsitteestä mittaustulokseen. Prosessin kaaviossa on mer-kitty korrespondenssit k1 sekä k2, jotka ku-vaavat prosessin mukaisten käsitteiden välistä suhdetta. Jos teoreettinen käsite määritellään sen empiirisenä muunnoksena, oletetaan kor-respondenssi k1 identiteetiksi. Tällöin puhu-taan operatiivisesta määritelmästä. (Ketokivi 2011, 47) Tässä raportissa omaksuttu näkökul-ma on realistinen eikä operatiivinen, koska se ei tämänkaltaista identiteettiä oleta vaan pyrkii tarkastelemaan mittaamisen päämäärän (täs-sä teoreettisen käsitteen) korrespondenssia saatuun varsinaiseen mittaustulokseen koko prosessin pituudelta. Tämä tehdään eritellen molempia korrespondensseja vastaavien pro-sessien onnistuneisuutta arvioimalla sekä mää-ritysvirheen että mittausvirheen todennäköi-syyttä ja suuruutta.

AVOP-kyselyn kehitystyössä on päädyt-ty realistiseen tulkintaan mittaamisesta siksi, että operatiivisessa määritelmässä menetetään mahdollisuus tarkastella käsitteen määrittelys-sä mahdollisesti tapahtuvia perustavanlaatuisia virheitä. Realistisen tulkinnan omaksumisen ongelma kiisteltyyn ja tulkinnanvaraiseen kou-lutuksen laadun käsitteeseen on, että tosiarvos-ta puhuminen antaa ymmärtää objektiivisesti olemassa olevan ’koulutuksen laatu’ nimisen olion, jonka tosiarvon vaihtelua voidaan luo-tettavuusanalyysissa sitten vertailla mittaustu-loksen antamien arvojen vaihteluun määrittäen erotuksen mittariin palautuviksi heikkouksiksi.

Tässä raportissa ei kyetä käsittelemään tähän valintaan mahdollisesti liittyvää meto-dista sen enempää kuin totuusteoreettistakaan ongelmaa. Todettakoon, että jos koulutuksen laadun suhteen ei halua omaksua ylimääräistä

tieteellisen realismin mukaista objektiivisen koulutuksen laadun olion olemassaolon oletus-ta, voidaan tosiarvo ja sen ympärille rakennet-tu käsitteistö myös ymmärtää pragmatistisena tarkistuksena mittarin toimivuudesta sisäisesti yhdenmukaisena ja synteettisesti perusteltuna koulutuksen kehittämisen työvälineenä.

Operatiivista määritelmää ei siis ole hy-lätty totuusteoreettisista, vaan käytännölli-sistä syistä. Siirryttäessä koulutuksen laadun teoreettisesta, käytännöllisestä ja poliittisesta käsitteestä sen (tässä kyselymittarilla) mitat-tavaan empiiriseen määritelmään, voitaisiin tehdä rajaus, jossa koulutuksen laadun em-piiriseksi käsitteeksi valittaisiin niin sanottu määrällinen indikaattori, kuten korkeakoulus-sa suoritettujen tutkintojen määrä. Kun tutkin-tojen määrää sitten mitataan, huomataan, ettei mittaustilanteessa synny lainkaan mittausvir-hettä: suoritettujen tutkintojen määrä saadaan suoraan rekistereistä ja tietokannoista. Kun korrespondenssi k1 oletettaisiin vielä operatii-visesti identiteetiksi, päädyttäisiin sitten suo-sittelemaan tutkintojen määrää laadun indi-kaattoriksi, sillä a) operatiivisesti määriteltynä mittarilla ei ole määritysvirhettä b) kyseisellä operationalisoinnilla on mitä luultavimmin pie-nempi mittausvirheen osuus kuin vaikkapa kä-sissä olevalla laadullisella opiskelijapalautemit-tarilla. Mittari tulkitaan lähes aukottomaksi.

Tämän tulkinnan mukaan teoreettisen koulutuksen laadun käsitteen ja tutkintojen määrän mittaustuloksen välillä korrespon-denssi on lähellä yhtä. Väitteen pätevyyden ar-vioinnin kannalta on hyödyllistä erottaa kou-lutuspoliittisen arviointityön kannalta tärkeät koulutuksen määrän, yksikkölaadun ja koko-naislaadun käsitteet. Valitaan esimerkin vuoksi koulutuksen määrän mittariksi korkeakoulun tuottamien tutkintojen määrä tietyllä aikavä-lillä ja yksikkölaadun mittariksi laatu/tutkin-to, joka operationalisoidaan esimerkin vuoksi kapeasti (korkeakoulun aikaansaamana) osaa-misena tutkintoa kohden. Tällöin korkeakoulun tuottama kokonaislaatu on osaamisen määrä (annetulla aikavälillä), mikä saadaan kertomal-la yksikkölaatu tutkintojen määrällä (annetulla aikavälillä).

Koulutuksen laadulla voidaan siis viitata joko kokonaislaatuun tai yksikkölaatuun. Jos viitataan ensimmäiseen, korrespondenssin k1 olettaminen identiteetiksi pätee korkekaoulu-kohtaisesti keskimäärin, kunhan yksikkölaatu on riippumaton kokonaislaadusta. Tällöin tut-kintojen määrän mittari ei systemaattisesti yli tai aliarvioi minkään korkeakoulun kokonais-laatua samaistaessaan kokonaislaadun tämän tuottamien tutkintojen määrään. On huomi-onarvoista, että tässäkin tapauksessa yksik-kölaatuun olisi järkevää kiinnittää huomiota, jos yksikkölaadun mittarin avulla pystyttäisiin tarkentamaan kokonaislaadun korkeakoulu-kohtaista arviota kustannustehokkaalla taval-la verrattuna tilanteeseen, jossa kokonaislaa-tu on samaistettu tutkintojen määräksi kertaa jokin tutkintokohtaista yksikkölaatua kuvaava vakio. Asian estimoiminen on hyödyllistä, jos estimaatin keskivirhe on pienempi kuin koulu-tuksen laadun keskihajonta yli korkeakoulujen, ja tarkemmasta informaatiosta voidaan johtaa kustannustehokkaampia kehitystoimenpiteitä.

Riippumattomuuden ennaltaolettaminen ei kuitenkaan ole perusteltua, sillä mittaria käytetään koulutuspoliittisessa arviointityös-sä nimenomaan siksi, että sillä olisi vaikutus korkeakoulujen toimintaan. Jos rahoituskritee-reinä käytetään yksinomaan tutkintojen mää-rää ja korkeakouluja palkitaan piittaamatta yk-sikkölaadusta, on korkeakoulun rationaalista kasvattaa tutkintojen määrää ja minimoida yk-sikkökustannukset. Kustannustehokkuus va-kioiden yksikkökustannusten pienentämisestä seuraa yksikkölaadun heikkeneminen. Tällöin yksikkölaadun ja tutkintoje määrällä on yhteys, jonka perusteella tutkintojen määriään eniten kasvattaneet korkeakoulut ovat todennäköises-ti yksikkölaatuaan samalla myös eniten heiken-täneet.

Jos tutkintojen määrän kasvu ei korkea-koulukentällä ole riittävä korvaamaan yksik-kölaadun heikkenemisen vaikutusta laadun ko-konaismäärään, on tutkintojen määrän mittari ennen pitkää, niin käytännöllisilta vaikutuk-siltaan kuin tosiarvon vastaavuudeltaan, huo-nompi kokonaislaadun mittari kuin esimerkik-si korkeakoulujen ikkunoiden määrä. Melko

kyynisin, muttei täysin perusteettomin ole-tuksin, sekä yksikkölaadusta että tutkintojen määrästä riippumaton ikkunoiden määrän oh-jausmittari sekä vaikuttaa pitkällä aikavälillä kokonaislaatuun vähemmän haitallisesti että vastaa paremmin kokonaislaadun tosiarvoa kuin laatuun käänteisesti vaikuttava tutkinto-jen määrän mittari.

Koska yksikkölaadun seuraaminen on siis tärkeää, vaikka olisi yksinomaan kiinnostu-nut kokonaislaadun maksimoimisesta (mikä ei myöskään liene yhteiskuntapoliittisesti jär-kevä päämäärä, tarvitaanhan yhteiskunnassa muutakin kuin korkeakouluosaamista), ei kor-respondenssia k1 voida olettaa identiteetiksi. Koska kokonaislaatu saadaan kertomalla yk-sikkölaatu tutkintojen määrällä, ja tutkintojen määrä on muualta saatavissa, on tässä rapor-tissa kuvattu kyselymittari rakennettu mitta-riksi ammattikorkeakoulun tutkintokohtaises-ta yksikkölaadusta ja lähestymistavaksi valittu realistinen eikä operatiivinen määritelmä. Ky-selymittarista voidaan toki johtaa myös koko-naislaadun totaaliestimaatti, vaikka tässä onkin keskiarvoestimaattiin keskitytty.5

Vaikka kuviosta 1 löytyvän prosessin osien erittelyn mukainen analyyttinen jako on pro-sessin kuvausta selkiyttävä, ei se missään ni-messä tarkoita, ettei prosessissa edettäisi osit-tain myös toisessa järjestyksessä, saati ettei empiirisen ja teoreettisen käsitteen välille oli-si vaikeaa tehdä selvää erottelua. Näin on esi-merkiksi siinä tapauksessa, kun teoreettinen käsite ei tule suoraan annettuna, vaan tehtä-vänanto antaa tilaa myös teoreettisen käsitteen valikoinnille.

Mittarin määrittely jo toimeksiannossa ky-selyksi vaikuttaa myös siihen, mitä teoreettis-ta käsitettä mittarin voidaan nähdä kuvaavan. Koska kyselymittari rajaa tarkastelun kohteek-si väistämättä opiskelijan antaman arvion tut-kinnostaan, voi tämä vaikuttaa käsitteellisestä näkökulmasta riippuen vaihtoehtoisesti joko 1) teoreettisen tai 2) empiirisen käsitteen valin-taan, mikä sitten puolestaan vaikuttaa mittaus-tuloksen tulkintaan. Ensimmäisessä tapauk-sessa teoreettinen käsite voidaan määritellä koulutuksen laadun opiskelijanäkökulmaksi,

5 Tämän laadun ymmärretään pitävän sisällään muutakin kuin osaamisen määrän.

3332

tai vaihtoehtoisesti jälkimmäisessä tapauk-sessa opiskelijapalautekysely voidaan nähdä koulutuksen yleisen laadun teoreettisen käsit-teen empiirisenä käsitteellistyksenä.

Prosessin osien päällekkäisyydestä huo-limatta prosessin suunnassa voidaan nähdä kronologisen prosessijärjestyksen mukainen virheiden hierarkia, joka vastaa karkeasti psy-kometrian mukaista validiteetin ja reliabili-teetin välistä hierarkiaa (ks. luku 2.3 ja 3). Jos korrespondenssi k1 on huono ja määritysvirhe täten suuri, eikä empiirinen käsite kuvaa teo-reettista käsitettä hyvin tai peräti millään ta-valla, on jokseenkin yhdentekevää, kuinka hyvä korrespondessi k2 on, eli kuinka suuri mittaus-tilanteessa syntyvän mittausvirheen osuus it-sessään on. Tällöin mittari saattaa olla reliaa-beli, muttei validi. Ivallisesti voitaisiin väittää, että jos on syytä olettaa empiirisen määritel-män olevan jopa päinvastainen kuin toivotun mittauksen teoreettisen kohteen, voidaan suu-remman mittausvirheen nähdä olevan pienem-pää toivottavampi: tällöin edes osa mittaukses-ta saattaa osua oikeaan maaliin eli valittuun mittauskohteeseen.

Raportin ensimmäisen osion ensisijaise-na tarkoituksena on siis osoittaa, että empiiri-nen käsite on hyvin määritelty ja määritysvir-heen osuus pieni. Tämän määritysvirhen voi halutessaan ymmärtää suhteessa objektiiviseen tosiarvoon tai pragmaattisesti toimivaan kou-lutuksen laadun käsitteeseen. Toissijaisena ta-voitteena on osoittaa, että mittaus toimii hyvin ja mittausvirheen osuus on pieni. Raportin en-simmäisen osan rakennetta voidaankin kuvata seuraavalla yllä kuvattua prosessikaaviota mu-kailevalla kaaviolla:

Luvuissa yksi ja kaksi käsitellään kysymyksiä, mitä ja miten mitataan. Tähän kuuluu käsitteen valinta ja rajaus (teoreettinen käsite), käsitteen määrittely (empiirinen käsite) sekä empiirisen käsitteen muuntaminen mittariksi (operationa-lisointi). Lukujen tavoitteena on kuvata määri-tysvirheen mahdollisuutta käsitteen määritte-lyn ja operationalisoinnin prosessien kautta. Tässä ei voida sanoa varsinaisesti siirryttävän yllä kuvaillun kaltaisesti teoreettisesta kou-lutuksen laadun opiskelijanäkökulman käsit-teestä empiiriseen määritelmään. Alkuperäinen valittu käsite on nimittäin paitsi teoreettisesti, myös käytännöllisesti, poliittisesti ja lainsää-dännöllisesti rajattu.

Luvussa kolme käsitellään kysymystä, mi-ten varsinainen mittaus toimii. Tässä luvussa otan Niiniluodon yleisille mittausteoreettisil-le ominaisuuksille antamaa määrittelyä (1984, 183–191) mukaillen kantaa psykometrisestä näkökulmasta ennen kaikkea mittarin reliabi-liteettiin ja validiteettiin. Mittarin käytännön hyötyä en erittele, vaan se tulee teemana näky-viin sekä reliabiliteetin että validiteetin käsit-telyjen yhteydessä. Reliabiliteetti ja validiteetti voidaan edelleen jakaa pienempiin osa-aluei-siin, joihin palataan myöhemmin raportissa.

Luvussa kolme tarkastellaan lisäksi syste-maattista mittausvirhettä sen erityisluonteen vuoksi erillään reliabiliteetista ja validiteetis-ta. Systemaattista mittausvirhettä kartoitta-vassa luvussa 3.2 käsittelen metodifaktoreita, kuten kyselyn pituuden ja en osaa sanoa -vaih-toehdon poisjättämisen vaikutusta sekä tausta-muuttujien vaikutusta kyselymittarin tulosten yleistettävyyteen.

Yllä olevaan prosessikaavioon merkatut kovarianssinuolet mittausteoreettisten ominai-suuksien välillä tarkoittavat, että psykometri-set ominaisuudet ovat keskinäisriippuvaisia. Joissain tapauksissa, kuten sisältövaliditeetin ja konsistenssin kohdalla, ne ovat jopa keske-nään ristiriidassa. Siksi kaikkia ominaisuuksia on usein mahdotonta maksimoida. Tätä aihe-piiriä käsittelen luvussa 2.3.

Osiossa kaksi esitän kyselyn sekä sen op-timaaliseen käyttöön liittyvän toiminnallisen kokonaisuuden ensimmäisessä osassa tekemä-ni arvion pohjalta.

Mitä kokonaisvaltaisesta näkökulmasta jää raportissa vähemmälle huomiolle?Tässä raportissa valituksi tulleesta näkökul-masta käytän termiä kokonaisvaltainen, kos-ka se huomioi mittaamisen prosessin kokonai-suudessaan. Mitä tulee prosessiin mahdollisesti liittyviin virhelähteisiin, teen kuitenkin tiettyjä rajauksia. Kyseessähän on kyselymittarin pilo-tointi: tehtävä, jonka mandaatti loppuu tältä erää kyselymittarin rakentamiseen ja jatkotyös-tämisen ehdotusten antamiseen luotettavuusa-nalyysin perusteella.

Siirryttäessä pitkä matka valmiista mitta-rista sen antamien raakatulosten kautta aineis-ton putsauksen ja tulkittujen tulosten mukai-seen toimeenpanoon, virhelähteitä ilmaantuu tietenkin lisää.

Ensinnäkään kyselymittariin eivät vastaa kaikki kiinnostusperusjoukon alkiot. Vaikka suunnitelmien mukaan varsinaista otantaa ei tehdä vaan koulutuksen laatu johdetaan poi-mimalla opiskelijapalautekyselyyn kaikki pe-rusjoukon alkiot, tapahtuu aina vastauskatoa, mikä luo oman virhelähteensä. Tämä virheläh-de vaikuttaa tilastolliseen päättelyyn, jossa pe-rusjoukon osajoukolta, eli kyselyn vastaajajou-kolta, saadut estimaatit yleistetään koskemaan koko perusjoukkoa.

Tätä virhettä voitaisiin kutsua, mukaan lu-kien mahdollinen otanta-asetelman suunnit-telu, yhdistetyksi otanta -ja päättelyvirheek-si. Risto Lehtosta mukaillen (2004, 14) tähän otantastrategian kokonaisuuteen kuuluu otan-ta-asetelma ja valittu estimaattori. Tämän li-

säksi otanta- ja päättelyvirheeseen ymmärre-tään kuuluvaksi analyysivaiheeseen tultaessa tapahtuva, puuttuneisuudesta pitkälti johtuva ei-otantavirhe (non-sampling error, ks. Lehto-nen 2004, 112), jota voidaan ainakin osittain korjata uudelleenpainotuksilla. Vaikka virhet-tä sivutaan tarkastelemalla koulutuksen laa-dun mittarista johdetun keskiarvoestimaattorin harhattomuutta ja tehokkuutta ilman puuttu-neisuutta, jää tämä tarkastelu vähemmälle huomiolle, koska virhelähde ilmenee vasta ky-selymittarin rakentamisen jälkeen ja riippuu analyysivaihetta edeltävästä mahdollisesta va-linnasta uudelleenpainotusmenetelmäksi.

Tämän lisäksi käytännössä kaikkiin vir-helähteisiin ja prosessin osien mukaisten tu-losten tulkintaan liittyy tulkintavirheen osuus: mikään mittaustuloksen komponenteista ei ole yksiselitteisesti ja suoraviivaisesti mitattavissa, vaan niiden kaikkien arviointi on jokseenkin tutkijan subjektiivisesta harkinnasta sekä ar-vovalinnoista riippuvaista. Ennen kaikkea näin on tietenkin siinä vaiheessa, kun kyselymittari on rakennettu, mittarista on tehty päättely ta-voiteperusjoukkoon ja näiden päätelmien mu-kaisille estimaateilla täytyy tehdä sisällöllinen tulkinta. Toisin sanottuna merkittävä virheläh-de on vielä tulostenkin tulkinnan vaihe, vaikka kaikki olisi tilastollisten estimaattien suhteen täysin kunnossa. Vaikka tämä vaihe mittarei-den käytöstä on jo selvästi mittarin rakentami-sen näkökulmasta periferiassa, täytyy tulosten tulkintaakin pohtia jo mittaria rakennettaes-sa. Tämän vuoksi raportti sivuaa myös tulosten tulkintaa ja sisällöllistä analyysia esitetyistä ti-lastollisista parametreista. Raportti loppuukin siihen, mitä kokonaisvaltaisen mittausproses-sin tuloksena tuotetaan: käytännöllinen koulu-tuksen laadun kehittämisen työkalu, joka tulee toimiakseen sisältää mahdollisimman vähän rajaus-/tulkintavirhettä, määritysvirhettä, mit-tausvirhettä, otanta- ja päättelyvirhettä ja joka täytyy vielä onnistuneesti tulkita ja toimeen-panna osana korkeakoulujen kehitystyötä.

Hienosyistä virhelähteiden jakoa voi-daan paikantaa esimerkiksi seuraavan kuvion mukaisesti. Kronologisena järjestyksenä vir-helähteiden esiintyminen viittaa siihen, että

KUVIO 2. KOULUTUKSEN LAADUN MITTAAMINEN OPISKELIJAPALAUTEKYSELYLLÄ.

3534

prosessin alussa tapahtuvat virheet voivat oh-jata koko kyselymittarin rakentamisen väärille urille. Jos teoreettisen käsitteen valinta ja ra-jaus eivät esimerkiksi ole mittarin käyttötar-koituksen eli korkeakoulujen arviointi- ja oh-jaustyön näkökulmasta perusteltuja, ei tätä voi korjata muuntamalla mittaustilanteen tai tie-donkeruun järjestelyjä. Virheetönkin tilastolli-nen päättely mittarilla, joka ei ole käyttötarkoi-tukseen sopiva, on lähes hyödytöntä.

Tässä raportissa sivutaan kaikkia virheläh-teitä, joskin pääpaino on määritys- ja mittaus-virheellä. Valinta-/rajausvirhettä käsitellään mittarin rakentamisen taustoja kartoittamalla ja sille asetettua käyttötarkoitusta analysoiden. Otantavirhettä ei juuri käsitellä, sillä varsinais-ta otantaa ei tehdä. Sen sijaan otossuureista johdettavien estimaattorien ominaisuuksia tarkastellaan ja puuttuneisuuden vaikutuk-sia tilastolliseen päättelyyn eritellään. Lisäksi pohditaan metoditekijöitä mahdollisten päät-telyvirheiden lähteinä. Tulkintavirheestä lähin-nä varoitellaan: sen osuutta voidaan parhaiten arvioida vasta kehitystyön kokemusten kautta.

Onkin hyvä pitää mielessä seuraava (kyse-ly)mittarin rakentamisen virhelähteiden erit-tely. Myös sisällöllistä tulkintaa tehdessä tu-lee huomioida koko mittarin rakennusprosessi.

KUVIO 3. MITTARIN RAKENTAMISEN VIRHELÄH-TEET PROSESSIJÄRJESTYKSESSÄ.