KORKEAKOULUJENARVIOINTINEUVOSTONJULKAISUJA

��:����

Ismo Kantola • Ulla Keto • Marjo Nykänen

Avaimia arvioinnin tehokkaampaanhyödyntämiseenTurun ja Mikkelin ammattikorkeakoulujenbenchmarking

ISBN 978-952-206-115-7 (painettu)ISBN 978-952-206-116-4 (pdf)ISSN 1457-3121

Julkaisija: Korkeakoulujen arviointineuvosto

Kansi: Juha IlonenLayout: Pikseri Julkaisupalvelut

Esa Print OyTampere 2009

Sisällys

JohdantoJohdantoJohdantoJohdantoJohdanto ___________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________ �����

����� Arviointiprojektin toteutus Arviointiprojektin toteutus Arviointiprojektin toteutus Arviointiprojektin toteutus Arviointiprojektin toteutus __________________________________________________________________________________________________________________________________________________________________________________________________________________ �������� Arvioinnin tavoitteet ja menetelmä ___________________________________ ���� Benchmarking�arviointiin osallistuneet korkeakoulut ____________________ �

����� Turun ammattikorkeakoulu _____________________________________ ������ Mikkelin ammattikorkeakoulu __________________________________ ��

�� Projektiorganisaatio _________________________________________________ ���� Benchmarking�arvioinnin vaiheet _____________________________________ ��

����� Arviointi osana laadunvarmistustaArviointi osana laadunvarmistustaArviointi osana laadunvarmistustaArviointi osana laadunvarmistustaArviointi osana laadunvarmistusta _______________________________________________________________________________________________________________________________________________________________________________ �������� Laadunvarmistus ja toiminnanohjaus _________________________________ ���� Arvioinnin käsitteitä _________________________________________________ ���� Arvioinnin hyödyntäminen ___________________________________________ ���� Organisatorisen oppimisen näkökulma arvioinnin hyödyntämiseen ________��

Toiminnanohjaus ja laadunvarmistus benchmarking�korkeakouluissaToiminnanohjaus ja laadunvarmistus benchmarking�korkeakouluissaToiminnanohjaus ja laadunvarmistus benchmarking�korkeakouluissaToiminnanohjaus ja laadunvarmistus benchmarking�korkeakouluissaToiminnanohjaus ja laadunvarmistus benchmarking�korkeakouluissa _________________________ ������������ Toiminnanohjaus ja laadunvarmistus Turun ammattikorkeakoulussa _____ ��

���� Toiminnanohjaus _____________________________________________ ������ Laadunvarmistus ______________________________________________ �

�� Toiminnanohjaus ja laadunvarmistus Mikkelin ammattikorkeakoulussa ___ ���� Toiminnanohjaus _____________________________________________ ���� Laadunvarmistus ______________________________________________ �

Arvioinnin tuloksetArvioinnin tuloksetArvioinnin tuloksetArvioinnin tuloksetArvioinnin tulokset _____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________ ������� Kokonaiskuva _____________________________________________________ �

���� Mitä opimme arvioinnin hyödyntämisestä Mikkelin ammattikorkea�koulun toiminnanohjauksessa – arviointikumppanin näkökulma ____ �

���� Mitä opimme arvioinnin hyödyntämisestä Turun ammattikorkea�koulun toiminnanohjauksessa – arviointikumppanin näkökulma ____ �

�� Hyvät käytänteet __________________________________________________ ���� Koulutusohjelman ristiinarviointi Turun ammattikorkeakoulussa____ ���� Itsearviointi Mikkelin ammattikorkeakoulussa ____________________ �

� Kehittyvät käytänteet ______________________________________________ ����� Toimintasuunnitelmakäytäntöön sisältyvä itsearviointi Turun

ammattikorkeakoulussa _______________________________________ ����� Johdon katselmukset Mikkelin ammattikorkeakoulussa ____________ ��

����� JohtopäätöksetJohtopäätöksetJohtopäätöksetJohtopäätöksetJohtopäätökset ____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________ ����������

LähteetLähteetLähteetLähteetLähteet ___________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________ ����������

LiiteLiiteLiiteLiiteLiite __________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________ ����������

�

Johdanto

Laadunvarmistuksesta on tullut suomalaisten yliopistojen ja ammattikorkea-koulujen lakisääteinen tehtävä eurooppalaisen korkeakoulutuksen kehittämi-sen myötä. Jokainen korkeakoulu vastaa oman toimintansa laadusta ja laadun-varmistuksen erityistavoitteista, käytettävistä menetelmistä ja niiden kehittä-misestä. Korkeakoulujen arviointineuvoston (KKA) asettama ulkoinen arvi-ointiryhmä arvioi korkeakoulun laadunvarmistusjärjestelmän toimivuuden.

Arviointiryhmä auditoi 12 korkeakoulun laadunvarmistusjärjestelmätvuosina 2005–2007. Auditointien perusteella keskeiseksi kehittämishaasteeksihavaittiin ”laadunvarmistusjärjestelmien vaikuttavuus ja niiden tuottaman tie-don jatkuva hyödyntäminen” (KKA 2007, esipuhe). Tämä heikkous on huo-mattava – laatuajattelun jatkuvan parantamisen periaate1 ei ilmeisesti toteu-dukaan käytännössä?

Laadunvarmistusjärjestelmiä arvioidaan seitsemän, nimetyn kohteen pe-rusteella. Arvioinnin hyödyntämisen tarkastelu liittyy kohteeseen 3: ”Laadun-varmistusjärjestelmän kytkeytyminen johtamiseen ja toiminnanohjaukseen”.Korkeakouluissa toiminnanohjaus liittyy korkeakoulun vuosisuunnitteluun jajohtamisjärjestelmään. Esimerkiksi Turun ammattikorkeakoulussa toiminnan-ohjauksella tarkoitetaan korkeakoulun eri organisaatiotasoilla tapahtuvia toi-menpiteitä, joilla asetetaan tavoitteet, suunnitellaan ja resurssoidaan toimintaja toimenpiteet tavoitteiden saavuttamiseksi sekä arvioidaan asetettujen tavoit-teiden saavuttaminen.

Turun ammattikorkeakoulu ja Mikkelin ammattikorkeakoulu käynnisti-vät syksyllä 2006 arviointiprojektin, jossa tunnistettiin ja kehitettiin ratkaisujalaadunvarmistuksen integroimiseksi korkeakoulun toiminnanohjaukseen en-tistä paremmin. Korkeakoulut olivat kehittäneet toiminnanohjausprosessejaanja niiden työkaluja aktiivisesti jo ennen projektia. Turun ammattikorkeakou-lussa oli määritelty ja kuvattu toiminnanohjausprosessi, ja toimittu sen mu-kaan vuodesta 2006 alkaen. Toiminnanohjauksessa on hyödynnetty tietojär-jestelmää (4T-portaalia), jonne on tehty organisaatioyksikköjen toimintasuun-nitelmat ja talousarviot. Mikkelin ammattikorkeakoulussa uuden toiminnan-ohjausprosessin mukaisesti on toimittu syksystä 2005 alkaen.

1 Esimerkiksi W. Edwards Demingin laatuajattelussa keskeistä on jatkuvan parantamisen peri-aate noudattaen Plan–Do–Check–Act-sykliä (Beckford 2002, 66–79).

�

Arviointiprojekti toteutettiin kahden ammattikorkeakoulun välisenä ver-tailuarviointina eli benchmarking-toimintana. Projektissa etsittiin sellaisia käy-täntöjä ja työkaluja, jotka tukevat arvioinnin hyödyntämistä toiminnanohja-uksessa ja kehittämistyössä. Korkeakoulujen arviointineuvosto rahoitti projek-tia ja asetti edustajansa projektin ohjausryhmään. Tässä raportissa esitelläänprojektin lähtökohdat, toteutus sekä keskeiset löydökset ja johtopäätökset.

�

� Arviointiprojektin toteutus

��� Arvioinnin tavoitteet ja menetelmä

Arviointiprojektissa pyrittiin etsimään ratkaisuja laadunvarmistuksen integroi-miseksi paremmin korkeakoulun toiminnanohjaukseen. Tehtävänä oli tunnis-taa ja kehittää sellaisia käytäntöjä ja työkaluja, jotka tukevat arvioinnin hyö-dyntämistä toiminnanohjauksessa ja kehittämistyössä. projektille asetettiin kol-me osatavoitetta:1) Tuotetaan vertailun avulla tietoa siitä, miten koulutusprosessia koskevan

arviointi- ja palauteinformaation hyödyntäminen toiminnanohjauksessa(johtamisprosessissa) on jäsennetty osallistuvissa korkeakouluissa

2) Arvioidaan, miten osallistuvien korkeakoulujen toiminnanohjauksen käy-tännöt tukevat arviointi- ja palauteinformaation instrumentaalista, laadunkehittämistä tukevaa käyttöä

3) Tunnistetaan korkeakoulun ja sen yksiköiden johdon tiedonmuodostuk-sen kannalta kriittisiä menestystekijöitä, jotka näyttävät olevan yhteydes-sä laatua parantaviin toimenpiteisiin.

Arvioinnin menetelmäksi valittiin benchmarking eli vertailukehittäminen. Sii-nä organisaatio vertaa omaa toimintaansa ja omaa kehittämishaastettaan sys-temaattisesti yhteen tai useampaan muuhun organisaatioon. Niinikoski jaKarjalainen2 ovat jaotelleet benchmarking-arvioinnin käyttömahdollisuuksia(taulukko 1). Tässä arvioinnissa motiivina oli kumppanilta oppiminen ja me-nestystekijöiden kehittäminen. Vertailun avulla pyrittiin tunnistamaan parhai-ta käytäntöjä eli hyviä toimintamalleja.

Taulukko �� Benchmarking�arvioinnin tyypit (Niinikoski & Karjalainen ���� �)

ARVIOINNIN MOTIIVIARVIOINNIN MOTIIVIARVIOINNIN MOTIIVIARVIOINNIN MOTIIVIARVIOINNIN MOTIIVIARVIOINNIN KOHDEARVIOINNIN KOHDEARVIOINNIN KOHDEARVIOINNIN KOHDEARVIOINNIN KOHDE VertailuVertailuVertailuVertailuVertailu YhteistyöYhteistyöYhteistyöYhteistyöYhteistyö

Tunnuspiirteet ja A. Oman tason selvittäminen. B. Yhteisten tavoitetasojentulosindikaattorit (benchmarks) Heikkojen ja vahvojen asettaminen. Suoritteiden

alueiden tunnistaminen kannustava vertailuParhaat käytänteet C. Toisilta oppiminen. D. Yhteisten ja molemminpuolin(best practices) Innovaatioiden ja menestys- hyödyllisten hankkeiden ja

tekijöiden kehittäminen toimintamallien kehittäminen

2 Niinikoski & Karjalainen 2005, 14

�

Kohteeksi rajattiin tutkintoon johtavan koulutuksen arviointiin käytetyttyökalut ja menettelyt sekä arviointitiedon hyödyntäminen koko ammatti-korkeakoulun ja tulosalueen tasolla. Tarkastelutasoiksi valittiin koko ammatti-korkeakoulu, tulosalue sekä laitos tai koulutusohjelma.

Yksityiskohtaisemmin määriteltynä arvioinnin kohteina olivat– koulutusprosessin arviointiin käytetyt arviointityökalut koko ammatti-

korkeakoulun johtamisen tasolla– koulutusprosessin suunnittelutyökalut koko ammattikorkeakoulun tasol-

la (toimintasuunnitelma, tuloskortti, seurantamittarit jne.)– koulutusprosessin arviointitehtävät (esim. tulosanalyysien tekeminen) osa-

na ammattikorkeakoulun toiminnanohjausta– koulutusprosessin arvioinnin kautta tuotetun informaation hyödyntämi-

nen johtamisessa ja toiminnanohjauksessa.Raportti rakentuu siten, että osatavoitteeseen 1 vastataan raportin luvussa 4.Osatavoitteeseen 2 vastataan luvussa 5, johon valittiin neljä esimerkkiä arvi-ointivierailuilla toimiviksi havaituista arviointikäytännöistä. Arvioinnin hyö-dyntämisen näkökulmasta parhaat käytännöt esitetään luvussa 5.2 ja luvussa5.3. esitellään kehittyvät käytänteet. Johtopäätökset esittelevä luku 6 toimiiyhteenvetona ja vastaa osatavoitteeseen 3: mitkä tekijät ovat johdon tiedon-muodostuksen kannalta kriittisiä menestystekijöitä, jotka näyttävät olevan yh-teydessä laatua parantavien toimenpiteiden käynnistämiseen. Luvussa 6 esite-tään tunnistettuja avaimia arvioinnin parempaan hyödyntämiseen toiminnankehittämisessä.

��� Benchmarking�arviointiin osallistuneetkorkeakoulut

����� Turun ammattikorkeakoulu

Turun ammattikorkeakoulu (Turun AMK) on monialainen koulutusyhteisö,joka tarjoaa työelämää ja yrittäjyyttä palvelevaa ja kehittävää koulutusta, so-veltavaa tutkimus- ja kehitystyötä (T&K) sekä organisaatioiden kokonaisval-taista kehittämistä. Turun ammattikorkeakoulun keskeinen vaikutusalue onVarsinais-Suomi. Pääosa opiskelijoista rekrytoidaan Varsinais-Suomesta, jonnemyös 75 % valmistuneista sijoittuu. Ammattikorkeakoululla on 12 toimipis-tettä, joista Turun ulkopuolella sijaitsevat Salon, Loimaan ja Uudenkaupungintoimipisteet. Vuonna 2007 toiminnan kokonaisrahoitus oli 57,91 miljoonaaeuroa, josta ulkopuolisen rahoituksen osuus oli 9,18 miljoonaa euroa.

�

Turun ammattikorkeakoulussa tutkintoon johtavaa nuorten koulutustaannetaan seitsemällä eri koulutusalalla. Opiskelijoita on noin 9 500. Ammat-tikorkeakoulun palveluksessa on noin 700 työntekijää, joista päätoimisia opet-tajia on 450. Ammattikorkeakoulussa on yhteensä 34 koulutusohjelmaa, joista13:ssa on myös aikuisten tutkintoon johtavaa koulutusta. Lisäksi ammattikor-keakoulussa on 10 ylempään ammattikorkeakoulututkintoon johtavaa koulu-tusohjelmaa. Aikuisten tutkintoon johtavassa koulutuksessa ja erikoistumis-opinnoissa opiskelee noin 1 500 opiskelijaa.

Turun AMK:n tutkimus- ja kehitystyön tarkoituksena on palvella alueenelinkeinoelämää ja monipuolistaa opetusta. Vuonna 2006 käynnistettiin tutki-mus- ja kehitysohjelmatoiminta. T&K-ohjelma koostuu useasta ohjelman ta-voitteita tukevasta projektista ja tukee alueellista innovaatiojärjestelmää tuot-tamalla uutta tietoa ja osaamista kyseisestä aihealueesta. Vuonna 2007 käyn-nistyi 56 uutta T&K-projektia yritysten ja julkisten toimijoiden kanssa.

Turun ammattikorkeakoulun ylläpitäjänä toimii Turun kaupunki. Am-mattikorkeakoulu toimii ylläpitohallintoa edustavan Turun kaupunginhallituk-sen alaisuudessa. Sisäistä hallintoa hoitavat ammattikorkeakoulun hallitus jarehtori. Hallitukseen kuuluu puheenjohtajana rehtori sekä 11 varsinaista jä-sentä, jotka edustavat ammattikorkeakoulun muuta johtoa, päätoimisia opet-tajia ja muuta henkilökuntaa, opiskelijoita ja työelämää.

Opetuksen tulosalueet toteuttavat sekä nuorille että aikuisille suunnattuatutkintokoulutusta, täydennyskoulutusta, soveltavaa tutkimus- ja kehitys-toimintaa ja palvelutoimintaa. Ammattikorkeakoulussa on kuusi opetuksen tu-losaluetta:– bioalat ja liiketalous– hyvinvointipalvelut– taideakatemia– tekniikka, ympäristö ja talous– terveysala– tietoliikenne ja sähköinen kauppa.Tulosaluetta johtaa koulutusjohtaja, jonka alaisuudessa toimivat koulutuspääl-liköt vastaavat koulutusohjelmien toiminnasta. Opetuksen tulosalueiden lisäksitoimii hallinnollinen kehittämisen tulosalue, joka tuottaa yhteisiä palvelujasekä koordinoi yhteisiä toimintoja. Kehittämisen tulosalue muodostuu kol-mesta palvelukokonaisuudesta, jotka jakautuivat toimintoihin.

��

����� Mikkelin ammattikorkeakoulu

Mikkelin ammattikorkeakoulu (MAMK) on yksi maan monialaisimmista am-mattikorkeakouluista. Koulutusta järjestetään kahdeksalla koulutusalalla. Tut-kintoon johtavassa koulutuksessa on 20 koulutusohjelmaa, joista kolme onenglanninkielistä. Tutkintoon johtavaa aikuiskoulutusta on lähes kaikissa kou-lutusohjelmissa ja lisäksi MAMKissa on 7 ylempään ammattikorkeakoulu-tutkintoon johtavaa koulutusohjelmaa. Ammattikorkeakoulun liikevaihto onn. 40 miljoonaa euroa.

Koulutuksen ohella MAMKissa tehdään tutkimus- ja kehitystyötä työ-elämän tarpeisiin. Toiminta profiloituu osaamiskeskittymiin, jotka ovat hyvin-vointi, materiaalit, palveluliiketoiminta, rakennettu ympäristö ja sähköiset pal-velut. Tutkimus- ja kehittämistoiminta on soveltavaa tutkimusta, jolla pyritäännopeasti hyödynnettäviin tuloksiin. Uudet tuotteet ja toimintamallit syntyvätusein hankkeiden tai opinnäytetöiden kautta, joita tehdään MAMKissa vuo-sittain yli 800.

MAMKissa on opiskelijoita noin 4500 ja työntekijöitä noin 430. Ope-tusta järjestetään kolmella paikkakunnalla: Mikkelissä, Pieksämäellä ja Savon-linnassa. Lisäksi toimintaa on Pietarissa. Aikaisemmin MAMKin ylläpitäjänäon ollut kuntayhtymä, mutta vuoden 2009 alusta MAMK toimii osakeyhtiö-muotoisena.

MAMKia ylläpitää Mikkelin Ammattikorkeakoulu Oy, jonka omistaaMikkelin ammattikorkeakouluyhtymä. Yhtymän jäsenkuntia ovat Mikkeli,Pieksämäki ja Savonlinna. Mikkelin ammattikorkeakoulun sisäistä hallintoahoitavat rehtori ja ammattikorkeakoulun hallitus. Hallituksen puheenjohtaja-na toimii rehtori ja hallituksessa on edustettuna ammattikorkeakoulun johto,opettajat ja muu henkilöstö, opiskelijat sekä elinkeino- ja muun työelämänedustajat. Hallituksen tehtävänä on kehittää ammattikorkeakoulun toimintaa.Ammattikorkeakoulun toiminnan kehittämisestä ja suunnittelusta vastaavathallituksen lisäksi muun muassa johtoryhmä, koulutustiimi ja muut tiimit.Ammattikorkeakoulu muodostuu kuudesta tulosalueesta, joita ovat koulutuk-sen tulosalueet (Hyvinvointi ja kulttuuri, Liiketoiminta ja palvelut sekä Tek-niikka ja tuotekehitys), opetuspalvelut, hallintopalvelut ja kehityspalvelut. Tu-losalueet jakaantuvat tulosyksiköihin. Koulutuksen tulosyksiköistä käytetäännimitystä laitos. Laitoksia johtavat koulutusjohtajat, joiden tukena toimii lai-toksen johtotiimi. Koulutusohjelmien kehittämisestä vastaavat koulutusvastaa-vat (KOVA) ja opiskelijoiden ohjaamisesta opiskelijavastaavat (OVA).

��

�� Projektiorganisaatio

Projektin ohjausryhmään kuuluivat rehtori Juha Kettunen (Turun AMK,puheenjohtaja), rehtori Erkki Karppanen (MAMK, varapuheenjohtaja), ke-hitysjohtaja Heikki Malinen (MAMK), suunnittelija Karl Holm (Korkea-koulujen arviointineuvosto) ja hankkeen projektipäällikkönä toiminut IsmoKantola (Turun AMK, kehityspäällikkö).

Projektiryhmän muodostivat alkuvaiheessa Ismo Kantola projektipäällik-könä, Heikki Malinen, lehtori Ulla Keto (MAMK), laatusihteeri SusannaHytönen (MAMK) sekä tietopalveluvastaava Jouni Hautala (Turun AMK).Hytösen ja Hautalan ollessa virkavapaalla projektiryhmää täydennettiin niin,että arviointivierailuilla mukaan tulivat koulutusjohtaja Kaija Lind (TurunAMK), koulutuspäällikkö Meeri Kojonkoski (Turun AMK), tulosaluejohta-ja Marjo Nykänen (MAMK) sekä koulutusjohtaja Taru Särkkä (MAMK).Arvioinnin tulosten määrittelyyn osallistuivat Turun ammattikorkeakoulustaIsmo Kantola ja Meeri Kojonkoski ja Mikkelin ammattikorkeakoulusta UllaKeto ja Marjo Nykänen.

�� Benchmarking�arvioinnin vaiheet

Benchmarking-arviointi toteutettiin kahdessa vaiheessa, joista jälkimmäiseensisältyi myös vierailu kumppanikorkeakouluun (kuvio 1). Ensimmäisessä ar-viointivaiheessa keväällä 2007 kartoitettiin, mitä tietoa vastuuhenkilöt tarvit-sevat koulutuksen toiminnanohjaukseen ja arviointiin. Samalla kartoitettiin,millaisia ovat tutkintoon johtavan koulutuksen toiminnanohjauksen ja ar-vioinnin työkalut ammattikorkeakoulun tasolla, tulosalueen tasolla sekä lai-tos- ja koulutusohjelmatasolla. Itsearviointia ohjaavassa kysymyslomakkeessakysyttiin mm. mitä tietoa rehtori ja vararehtorit sekä toisaalta tulosaluejohta-jat ja koulutusjohtajat/koulutuspäälliköt tarvitsevat koulutuksen toiminnan-ohjaukseen. Arviointiin osallistuivat Turun ammattikorkeakoulusta rehtori, ke-hityspäällikkö, kaksi tulosaluejohtajaa ja kaksi koulutuspäällikköä. Mikkelinammattikorkeakoulusta itsearvioinnissa olivat mukana rehtori, kehitysjohtaja,kaksi tulosaluejohtajaa (joista toinen on laatupäällikkö), kaksi koulutusjohta-jaa sekä laatuvastaava.

��

Kuvio �� Benchmarking�arvioinnin vaiheet

Arvioinnin toisessa vaiheessa tarkasteltiin, miten arviointitietoa tuotetaan jahyödynnetään kummassakin ammattikorkeakoulussa ja miten hyödyntämistävoisi tehostaa. Syys-lokakuun 2007 aikana kummassakin ammattikorkea-koulussa projektiryhmän jäsenet sekä arviointivierailulla haastateltavaksi vali-tut henkilöt tekivät nykytilan kuvauksen ja itsearvioinnin. Tämän jälkeen teh-tiin marras-joulukuussa 2007 yhden päivän kestänyt arviointivierailu kump-panikorkeakouluun.

Arviointiryhmään kuului kummastakin korkeakoulusta kaksi projekti-ryhmän jäsentä, tulosaluejohtaja sekä yksi koulutuspäällikkö (Turku) ja kou-lutusjohtaja (Mikkeli). Haastatteluja varten arviointiryhmä jakaantui kahtia.Arviointivierailujen haastattelut toteutettiin taulukkojen 2 ja 3 mukaisesti.

Yhden haastattelun kesto oli 1,5 tuntia. Kaikki haastattelut nauhoitettiinja litteroitiin.

Projektiryhmän kokoonpanossa tapahtui muutoksia vuoden 2008 alusta,mikä hidasti tulosten tulkintaa ja raportointia. Arvioinnin tulosten määrit-

Projektin ohjausryhmä

Projektiryhmä

Itsearviointiryhmät (MAMK, Turun AMK)

Vierailevat arviointiryhmät (MAMK, Turun AMK)

Arviointivierailulla haastateltavat (korkeakoulun, tulosalueiden ja koulutusohjelmien johdon edustajat (MAMK, Turun AMK)

Perehtyminen BM-kumppanin

laadunvarmistus-järjestelmään ja

toiminnanohjaukseen

Projektin käynnistäminen

Itsearviointivaihe 1: kartoitus toiminnan-

ohjaukseen ja arviointiin tarvittavista tiedoista ja työkaluista

Työ-seminaari

Itsearviointivaihe 2: arviointitiedon tuottaminen ja hyödyntäminen

Työ-seminaari

Arviointivierailu MAMK:iin

Arviointivierailu MAMK:issa

Arviointivierailu Turun AMK:iin

Arviointivierailu Turun

AMK:issa

Arvioinnin löydösten tunnistaminen ja loppuraportointi

1/2007 6/2007 12/20081/200810/2007

�

telyyn osallistuivat Turun ammattikorkeakoulusta Ismo Kantola ja MeeriKojonkoski ja Mikkelin ammattikorkeakoulusta Ulla Keto ja Marjo Nykä-nen. Projektiryhmän ydinjoukko työsti arvioinnin tuloksia ja johtopäätöksiätyöpajatyöskentelynä Turussa ja Mikkelissä sekä sähköpostin avulla. Johto-päätöksistä ja raportin kirjoittamisesta vastasivat Kantola, Keto ja Nykänen.Raportointivaihe saatiin päätökseen vuoden 2009 alussa.

Taulukko �� Arviointivierailun haastattelut Mikkelin ammattikorkeakoulussa

Haastateltavat (MAMK)Haastateltavat (MAMK)Haastateltavat (MAMK)Haastateltavat (MAMK)Haastateltavat (MAMK) Haastattelijat (Turun AMK)Haastattelijat (Turun AMK)Haastattelijat (Turun AMK)Haastattelijat (Turun AMK)Haastattelijat (Turun AMK)

rehtori Erkki Karppanen koulutusjohtaja Kaija Lindtietopalveluvastaava Jouni Hautala

kehitysjohtaja Heikki Malinen kehityspäällikkö Ismo Kantolakoulutuspäällikkö Meeri Kojonkoski

tulosaluejohtaja Tuija Vänttinen Kaija LindJouni Hautala

tulosaluejohtaja Marjo Nykänen Ismo KantolaMeeri Kojonkoski

koulutusjohtaja Taru Särkkä Kaija LindJouni Hautala

koulutusjohtaja Paula Siitonen Ismo KantolaMeeri Kojonkoski

Taulukko � Arviointivierailun haastattelut Turun ammattikorkeakoulussa

Haastateltavat (Turun AMK)Haastateltavat (Turun AMK)Haastateltavat (Turun AMK)Haastateltavat (Turun AMK)Haastateltavat (Turun AMK) Haastattelijat (MAMK)Haastattelijat (MAMK)Haastattelijat (MAMK)Haastattelijat (MAMK)Haastattelijat (MAMK)

rehtori Juha Kettunen tulosaluejohtaja Marjo Nykänenkehityspäällikkö Ismo Kantola laatusihteeri Susanna Hytönenvararehtori Saara Lampelo koulutusjohtaja Taru Särkkäprojektipäällikkö Eeva Harjulahti lehtori Ulla Ketokoulutusjohtaja Kaija Lind Marjo Nykänen

Susanna Hytönenkoulutusjohtaja Juha Kontio Taru Särkkä

Ulla Ketokoulutuspäällikkö Meeri Kojonkoski Marjo Nykänen

Susanna Hytönenkoulutuspäällikkö Elina Nupponen Taru Särkkä

Ulla Keto

�

� Arviointi osanalaadunvarmistusta

��� Laadunvarmistus ja toiminnanohjaus

Korkeakoulutuksen piirissä vakiintunut quality assurance -käsite on suomen-nettu laadunvarmistukseksi. OPM:n laadunvarmistustyöryhmän3 ja Korkea-koulujen arviointineuvoston auditointikäsikirjan4 tapaan tässä projektissa laa-dunvarmistuksella ymmärretään niitä menettelytapoja, prosesseja tai järjestel-miä, joiden avulla korkeakoulu ylläpitää ja kehittää koulutuksen ja muun toi-minnan laatua. Muita tässä projektissa keskeisiä laadunvarmistukseen liittyviäkäsitteitä ovat toiminnanohjaus, arviointi, itsearviointi, sisäinen arviointi ja ar-viointitiedon hyödyntäminen.

Jatkuvan parantamisen periaate on laatuajattelun keskeinen sisältö5. Tun-nettu jatkuvan parantamisen periaatteen kuvaus on PDCA-laatusykli, jokaesittää systemaattisen toiminnan laadun kehittämisen vaiheet (Plan–Do–Check–Act)6. Laatusyklin taustalla on näkemys laadusta tarkoitukseen sopi-vuutena (fitness for purpose). Laadun kehittäminen tarkoittaa suunnitelmien,toimintatapojen ja prosessien kehittämistä paremmin ”tarkoitukseen sopivik-si” siten, että tulevaisuudessa päästään aiempaa parempiin tuloksiin. Saavutet-tujen tulosten ja käytettyjen menetelmien arviointi sijoittuu mallissa check-vaiheeseen, jonka tarkoitus on tuottaa tietoa toiminnan onnistumisesta ja ke-hittämistarpeista.7 Arvioinnilla on keskeinen rooli laadunvarmistuksessa, silläpäätelmät laadusta perustuvat aina joko formaaliin tai jonkinlaiseen informaa-liin arviointiin.

Korkeakouluissa toiminnanohjauksella viitataan usein siihen, että korkea-koulun johto- ja esimiestehtävissä toimivat kantavat vastuun arviointien ja pa-lautteiden hyödyntämisestä sekä kehittämistoimenpiteiden määrittämisestä jatoimeenpanosta. Toiminnanohjauksella ymmärretään yleisesti ottaen korkea-

3 OPM 2004.4 KKA 2007.5 Kettunen & Kantola 2008.6 Beckford 2002, 67.7 Woodhouse 2003, 134.

��

koulun vuosisuunnitteluun sisältyviä toimenpiteitä, joilla asetetaan toiminnal-le tavoitteet, suunnitellaan toiminta ja toimenpiteet tavoitteiden saavuttami-seksi, resursoidaan toiminta sekä arvioidaan asetettujen tavoitteiden saavutta-minen. Toiminnanohjaus kytkeytyy selvästi enemmän laadunvarmistuksen ma-nagerialistiseen kuin kollegiaaliseen lähestymistapaan8.

Korkeakoulutuksessa laadun määrittely perustuu yleensä korkeakoulunasettamiin tavoitteisiin, jotka ilmaistaan strategiassa ja opetussuunnitelmissa.Laatu ymmärretään tällöin tarkoitukseen sopivuutena ja laatua arvioidaan suh-teessa asetettuihin tavoitteisiin.9 Laadunvarmistusjärjestelmän tehtävänä on tu-kea asetettujen tavoitteiden saavuttamista ja tuottaa toiminnan kehittämisenkannalta tarkoituksenmukaista tietoa, jota hyödynnetään toiminnan kehittä-miseen. Edellä esitetyn perusteella laadunvarmistuksen ja toiminnanohjauk-sen välillä näyttää olevan luonnollinen yhteys, mutta arviointien tulosten hyö-dyntämistä voitaisiin edelleen tehostaa.

��� Arvioinnin käsitteitä

Koulutuksen arviointi on moni-ilmeinen ilmiö. Arviointia on niin opiskeli-joiden oppimisen arviointi10, koulutusuudistuksen onnistumisen arviointi11

kuin koulutusohjelmien arviointi. Yhteistä kaikelle arvioinnille on arvostel-man esittäminen. Arvioinnin tekijä määrittelee, ”onko toiminta hyvää, huo-noa tai jotakin siltä väliltä.”12 Arvioinnin eli evaluaation tarkoitus on tuottaasystemaattista informaatiota, johon liitetään arvo- ja hyötypäätelmä. Tällöintietoa voidaan käyttää ohjaamaan jotakin toimintaa pääsemään entistä parem-min sille asetettuihin tavoitteisiin.13

Edellä esitetty Reijo Raivolan arvioinnin määritelmä soveltuu yleispäte-vänä eri konteksteissa tapahtuvaan arviointitoimintaan ja kattaa useimmat ar-vioinnin suuntaukset. Poikkeuksena on mainittava Egon G. Guban ja YvonneS. Lincolnin arviointiajattelu sekä muut konsultatiivisen ja konstruktivistisen,ns. arvioinnin neljännen sukupolven mallit, jotka poikkeavat huomattavasti ai-emmista positivistispainotteisista, ulkoisen ja riippumattoman arvioinninmalleista.14 Niissä arvioinnin tekijä ei toimi ulkopuolisesta tarkkailijana vaan

8 Ursin 2007, 24–28.9 Woodhouse 1999.10 Brown & Pendlebury, Karjalainen 2002.11 Vuorenmaa 2001.12 Virtanen 2007, 37.13 Raivola 2000, 65–66.14 Virtanen 2007, 38–41.

��

fasilitaattorina ja arviointiin osallistuvien ryhmien eri todellisuuksien tulkki-na. Arvioinnin tulokset tuotetaan tällöin konsensusharkinnan perusteella.

Sisäinen arviointi on vakiintunut käsite arvioinnille, jota suoritetaansäännöllisesti omasta toiminnasta esimerkiksi osana korkeakoulun sisäistä ke-hittämistä ilman ulkoista arviointia. Myös itsearvioinnilla tarkoitetaan orga-nisaation omaan toimintaan, sen edellytyksiin ja tuloksiin kohdistuvaa ar-viointia.15 Usein itsearviointi kuitenkin toteutetaan osana jonkin arviointi-ins-tituution järjestämää arviointiprosessia, johon sisältyy myös ulkoinen arvioin-ti.16 Itsearvioinnin toteuttaminen voi auttaa työyhteisöä muodostamaan yh-teistä tulkintaa palvelun laatuun vaikuttavista tekijöistä ja kehittämiskohteistasekä vahvistaa sitoutumista toiminnan kehittämiseen. Itsearviointi voi lisätäyhteistä ymmärrystä toiminnan päämääristä, tavoitteista ja kokonaisuudesta.Itsearvioinnilla voidaan saavuttaa johdon ja henkilöstön yhteinen tulkinta or-ganisaation vahvuuksista, parantamisalueista ja kehittämiskohteista.17

Luotettavuuden ja objektiivisuuden puuttuminen nähdään toisinaan it-searviointien ongelmiksi. Petri Virtanen18 kuitenkin muistuttaa, että arvioin-nin tekijän omat arvot vaikuttavat arviointituloksiin, johtopäätöksiin ja kehit-tämissuosituksiin yhtä paljon riippumatta siitä, onko kyseessä itsearviointi vaiulkoinen arviointi. Itsearviointien pulmallisuus voi tulla esiin intressikonflik-teina. Arvioinnin työkalu voi suunnata huomion organisaation kriittisiin ki-pupisteisiin mutta myös vähäpätöisiin ja vähemmän kiistoja aiheuttaviin ky-symyksiin. Itsearviointi voidaan toteuttaa jäykästi ja kaavamaisesti. Itsearvioin-nin työkalujen mekaaninen soveltaminen voi johtaa vääriin tulkintoihin omantyöyhteisön tai organisaation tilanteesta ja pahimmillaan lannistaa kehittämis-innon.

Itsearvioinnin luotettavuuteen liittyy kysymys vuorovaikutuksellisuudes-ta. Vuorovaikutuksellisuuden määrä ei riitä erottelemaan luotettavaa arviointiaepäluotettavasta. Arvioinnin vuorovaikutuksellisuus liittyy 1) arvioinnin teki-jän ja tilaajan väliseen suhteeseen, sekä 2) arvioinnin tekijän ja kohteen väli-seen suhteeseen. Petri Virtanen19 erottaa neljä arvioinnin perusmallia: täysinriippumaton arviointi, arvioinnin kohteiden ehdolla suoritettu arviointi, ar-vioinnin tilaajan ehdoilla suoritettu arviointi ja kokonaisvuorovaikutukselli-nen arviointi.

15 KKA 2007, 27.16 Saari 2002, 74.17 Virtanen 2007, 177–180.18 emt., 192–193.19 emt., 133–138.

��

Organisaation tai työyhteisön itsearviointi muistuttaa arvioinnin perus-malleista eniten arvioinnin kohteiden ehdolla toteutettua arviointia. PetriVirtasen20 mukaan tällaisessa arvioinnissa arvioinnin tekijä (tai vetäjä) toimiivalmentajana tai konsulttina läheisessä vuorovaikutuksessa arvioinnin kohtei-den kanssa. Hyvä esimerkki tällaisesta arvioinnista on Michael Fettermaninempowerment evaluation -konsepti, jossa pyritään arvioitavan kohteen val-taistamiseen. Arvioinnin tekijä toimii mahdollistajana -valmentajana tai kon-sulttina läheisessä vuorovaikutuksessa arvioinnin kohteiden kanssa. Arvioin-nin tekijä luo arvioinnin kohteille valmiuksia ja välineitä itsearviointiin. Koh-teet määrittelevät itse arvioinnin kriteerit ja sovellettavat tutkimusmenetelmät.Tämän ajattelutavan mukaan arviointien hyödynnettävyys paranee, kun ar-vioinnin kohteena olevat toimijat saavat vaikuttaa arviointiprosessin kulkuunja lopputulokseen.

�� Arvioinnin hyödyntäminen

Arviointia on totuttu jäsentämään kolmesta teoreettisesta näkökulmasta. Nä-kökulmat ovat arviointitiedon metodologia, arviointitiedon arvologiikka sekäarviointitiedon käyttö ja hyödyntäminen.21 Viimeinen näkökulma on tämänprojektin kannalta keskeinen.

Evaluaatio pyrkii parantamaan ja tehostamaan toimintoja ja sisältää ainatoiminnan arvottamisen.

Evaluaation käsitteeseen on ”sisäänrakennettu muutoksen vaatimus.”22

Vaikka tähän näkemykseen on helppo yhtyä, arvioinnin hyödyntäminen onkäytännössä havaittu ongelmalliseksi ja monisäikeiseksi ilmiöksi. Tätä osoittaajo aihetta käsittelevän evaluaatiokirjallisuuden laajuus. Normatiivisen laatu-kirjallisuuden piirissä arviointien hyödyntämisen problematiikka on pitkälti si-vuutettu.

Michael Patton23 erottaa kolme tapaa hyödyntää arvioinnin tuloksia. En-sinnäkin arvioinnin tulokset voivat palvella johtopäätösten tekemistä arvioi-tavan kohteen arvosta ja ansioista, jolloin kyseessä on tilivelvollisuuteen liitty-vä arviointi (judgment-oriented evaluation). Arvioinnissa voidaan esimerkiksiasettaa kysymys, onko ohjelman tavoitteet saavutettu ja kannattaako ohjelmantoteuttamista jatkaa. Toiseksi arviointi voi tukea toiminnan kehittämistä,

20 emt., 40–41, 135.21 Alkin & Christie 2004, 12–14; Virtanen 2007, 34.22 Raivola 2000, 66.23 Patton 1997, 64–80.

��

jolloin kyseessä on kehittävä arviointi (improvement-oriented evaluation).Tällöin arvioinnissa tarkastellaan esimerkiksi ohjelman vahvuuksia ja heikko-uksia sekä asiakkaiden ja eri sidosryhmien näkemyksiä toteutuksen onnistu-misesta. Kolmanneksi arviointi voi tuottaa tietoa, jolloin kyseessä on tietoayleisesti lisäävä arviointi (knowledge-oriented evaluation). Pattonin mukaankaikki kolme arvioinnin hyödyntämisen tapaa voivat tukea päätöksentekoa.

Tilivelvollisuusarviointiin ja kehittävään arviointiin sisältyy arvioinnin tu-losten instrumentaalinen käyttö. Tällä tarkoitetaan sitä, että päätökset tai toi-menpiteet ovat suoraan seurausta arvioinnista.

Tilivelvollisuusarvioinnissa päätös voi esimerkiksi koskea sitä, jatketaankovai lopetetaanko jokin toiminta kokonaan, tai laajennetaanko vai supistetaan-ko toimintaa. Kehittävä arviointi puolestaan johtaa yleensä inkrementaalisiinpienten askelten parannuksiin.24

Arvioinnin tulokset ovat kuitenkin harvoin ainoa syy kehittämistoimilletai päätöksille. Arviointitulokset kartuttavat tietämystä vähitellen, vaikka tu-lokset eivät johda suoraan päätöksiin tai kehittämistoimiin. Tällöin puhutaanarviointitulosten käsitteellisestä käytöstä (conceptual use of findings) tai tie-toisuutta lisäävästä käytöstä (enlightment use). Arviointitulokset voivat esi-merkiksi auttaa täsmentämään ohjelman tavoitteita ja tulosten arviointia, ku-vata toiminnassa opittua (lessons learned) tai auttaa muotoilemaan uusia poli-tiikkalinjauksia. Käsitteellinen käyttö voi tarkoittaa yleisemmin syvempää ym-märrystä toiminnasta tai yhteisen ymmärryksen luomista. Vielä 1970-luvullaarviointiteoreetikot sivuuttivat arviointitulosten käsitteellisen käytön, muttasen merkitys on tunnustettu 1990-luvulta lähtien. Esimerkiksi politiikkapää-tökset seuraavat yksittäisten arviointien tuottaman tiedon kumuloituessa, mut-ta yksittäisen arvioinnin tulosten ja päätöksenteon yhteys on vaikeasti havait-tavissa.25

Arvioinnin hyödynnettävyyden määrä on arvioinnin keskeisin laatukri-teeri Michael Pattonin hyödyntämiskeskeisen arvioinnin (utilisation-focusedevaluation) mallissa.26 Hyödyntämiskeskeinen arviointi on prosessi, jossa tun-nistetaan arvioinnin todelliset käyttäjät arviointihankkeen alussa ja yhdessäheidän kanssaan suunnitellaan arviointi ja sen hyödyntämisen tavat27.

Arvioinnin suunniteltua käyttöä voidaan tarkastella paitsi edellä esitettyyntapaan arviointitulosten hyödyntämisen näkökulmasta, myös arviointiprosessinhyödyntämisen (intended process use) kannalta. Arviointiprosessin hyödyntä-

24 Patton 1997, 70–80.25 emt., 70–85.26 Virtanen 2007, 40.27 Patton 1997, 20–22.

��

misellä tarkoitetaan arvioinnin aikana oppimisen seurauksena tapahtuvia yk-silötason muutoksia ajattelussa ja käyttäytymisessä sekä organisaatiotasolla ta-pahtuvia toimintatapojen tai -kulttuurin muutoksia. Arviointiprosessin hyö-dyntämisestä kertovat arviointeihin osallistuneiden toteamukset siitä, että ar-vioinnin tuloksia enemmän heihin vaikutti arviointiprosessin aikana käynnis-tynyt ajatteluprosessi. Michael Patton28 on tarkastellut monipuolisesti eri ta-poja hyödyntää arviointiprosessia ja arvioinnin logiikkaa. Tässä yhteydessä kes-kitytään arvioinnin käyttöön yhteisen näkemyksen rakentamisessa.

Arviointia voidaan käyttää yhteisen jaetun näkemyksen luomiseen. Esi-merkkejä tästä ovat henkilöstön yhteisen ymmärryksen luominen siitä, mitäovat tavoitellut lopputulokset sekä johdon ja henkilöstön yhteisen näkemyk-sen kirkastaminen. Arviointi voi auttaa henkilöstöä suuntaamaan huomionsatärkeimpiin lopputuloksiin ja tuomaan johdolle esiin näkemyksensä siitä, ovat-ko tavoitellut lopputulokset realistisia. Arvioinnin logiikka edellyttää osallis-tujia paitsi ilmaisemaan itseään mahdollisimman täsmällisesti ja selvästi myöskuuntelemaan tarkkaan ja huolellisesti muita, reflektoimaan kuulemaansa sekäantamaan palautetta kuulemastaan. Arvioinnin onnistuminen riippuu pitkältiviestinnän onnistumisesta. Toisaalta arviointi kannustaa toimijoita kommuni-koimaan ymmärrettävästi. Arviointi voi onnistuessaan parantaa yhteistä sitou-tumista tuloksiin eri organisaatiotasoilla.29

Itsearvioinnin hyödyntäminen riippuu pitkälti organisaation kypsyysta-sosta ja valmiudesta kriittiseen itsearviointiin. Heikko organisaatiokulttuuri jajohdon vastaanottamattomuus heikentävät mahdollisuuksia hyödyntää ar-viointia.30 Arviointitiedon kattava kerääminen ja tehokas hyväksikäyttö edel-lyttävät johdon vahvaa tukea.31

Michael Patton32 on tunnistanut organisaatioiden sisäisen arvioinnin pa-rissa työskentelevien arvioinnin asiantuntijoiden työn ongelmakohtia. Orga-nisaation johdon ja henkilöstön on vaikea sitoutua arviointiprosessiin ja tun-nistaa arvioinnin asiantuntijan valmentavaa roolia hyödyntämiskeskeisessä ar-viointimallissa. Sen sijaan että asiantuntija toimisi arvioinnissa valmentajanroolissa, hänen odotetaan toteuttavan arvioinnin itse. Hän voi joutua käyttä-mään suhteettoman paljon aikaa työläisiin tiedonkeruisiin ja raportointiin.Keskittyminen lyhyen aikavälin raportointiin vie mahdollisuudet toteuttaavaativia mutta merkittäviä arviointitehtäviä. Lisäksi sisäistä arviointia tekevä

28 emt., 88–113.29 Patton 1997, 91.30 Virtanen 2007, 193.31 Davenport & Harris 2007, 53–55.32 Patton 1997, 138–140.

��

asiantuntija toimii usein etäällä päätöksenteosta, toiminnan suunnittelusta jatärkeistä informaatioverkostoista, jolloin he eivät pysty ottamaan huomioonkehittämisaloitteita ja -linjauksia suunnitellessaan arviointeja. Arvioijalta puut-tuu yleensä myös muodollinen auktoriteettiasema, eikä arvioinnin hyödyntä-mistä varmistava jälkiseuranta yleensä lukeudu arvioijan tehtäviin. Tiivistetys-ti voidaan todeta, että arvioijan vaikutusmahdollisuudet ovat vähäiset, jos häntoimii etäällä organisaation johdosta ja hänen työnsä nähdään raportointina.

Michael Patton33 näkee, että organisaation sisäisen arviointiasiantuntijanroolin uudelleenmäärittely on avain sisäisen arvioinnin tehokkaaseen hyödyn-tämiseen. Sisäisen arvioinnin uskottavuuden ja hyödyntämisen kannalta ontärkeää, että arvioijalla on organisaatiossa korkea status ja todellista valtaa. Ar-viointi tulee nähdä ylemmän johdon velvollisuutena ja johtamistyön osa-alu-eena, jossa korostuu tiedon hyödyntäminen päätöksenteossa, sen sijaan että ar-viointi nähdään sisäiseen raportointiin liittyvänä tiedonkeruuna. MichaelPattonin mielestä arvioinnin tulee sisältyä kaikkien johtajien ja päälliköidentulosorientoituneeseen johtamiseen. Tällöin organisaation sisäisestä arvioinnis-ta vastaava henkilö voi toimia mahdollistavassa roolissa valmentajana ja huo-lehtia arviointien resursoinnista sen sijaan, että hän käyttäisi itse aikaa ar-viointien toteuttamiseen. Patton erottaa tulosorientoituneessa johtamisessa(”results-oriented leadership”) neljä tehtäväaluetta:1. tulosorientaatioon ja aitoon itsearviointiin perustuvan kulttuurin raken-

taminen2. prosessin johtaminen: määritellään tavoitteet, joihin nähden ollaan tilivel-

vollisia3. mielekkään ja uskottavan seurannan rakentaminen tavoitteiden saavutta-

miselle4. seurannan tulosten hyödyntäminen.Michael Patton34 esittää arvioinnin tekijöille vinkkejä, jotka voivat auttaa pa-rantamaan arvioinnin hyödyntämistä. Ensinnäkin arvioinnin tekijän tuleemiettiä arvioinnin tulosten relevanssia ja raportin käytettävyyttä käyttäjän kan-nalta. Kaikki tieto ei ole suoraan hyödyllistä, vaan arvioinnilla tulee olla käyt-täjälle informaatioarvoa. Tämä toteutuu esimerkiksi silloin, kun arviointi vä-hentää päätöksentekijän epävarmuutta ja siten parantaa hänen kontrolliaanasioihin. Toiseksi, kohdistettu arviointitieto on hyödyllisempää kuin kohdis-tamaton. Haasteena on tuottaa oikeaa informaatiota oikeille ihmisille. Kaikkiihmiset eivät ole arvioinnin käyttäjiä. Arvioinnin tekijän on ryhmiteltävä ar-vioinnin hyödyntäjät sen perusteella, millaista tietoa he tarvitsevat. Kolmas

33 Patton 1997, 143–144.34 emt., 350–352.

��

arvioinnin hyödynnettävyyden kannalta tärkeä tekijä on arviointitiedon us-kottavuus. Mitä poliittisempi arvioinnin konteksti ja mitä näkyvämpi arviointion, sitä tärkeämmäksi uskottavuuden kannalta muodostuu arviointihankkeenlaadun ulkopuolinen arviointi.

Petri Virtanen35 korostaa arvioinnin hyödyntämisen monivaiheisuutta. Ar-viointiprosessin aikana on tärkeä luoda erilaisia vuorovaikutuksen foorumei-ta. Taitava arvioija osaa viestiä kiinnostavalla tavalla arviointihankkeesta ja luo-da näin kysyntää ja kiinnostusta arvioinnin tuloksia kohtaan.

Thomas Davenportin ja Jeanne Harrisin36 mukaan arviointitietoa hyö-dyntäviä ja menestyneitä organisaatioita yhdistää neljä ominaisuutta:– arviointitieto ja sen hyödyntäminen tukee omaleimaisia strategisia tavoit-

teita– arviointitiedon kerääminen ja käyttäminen kattaa koko toiminnan– ylin johto on sitoutunut arviointitiedon keräämiseen ja käyttämiseen– toiminnan tavoitteet uskalletaan asettaa korkeiksi.Arviointitieto on organisaation kilpailutekijä, jos se tukee sellaista ominaisuut-ta, jolla organisaatio erottautuu kilpailijoistaan. Arviointitiedon keräämistä jahyödyntämistä ei ole hyvä rajata vain tiettyyn organisaation osaan tai tiettyynryhmään. Tiedon kerääminen koko organisaatiosta mahdollistaa tasapuolisenkehittämisen ja toisaalta resurssien suuntaamisen strategisesti tärkeisiin koh-teisiin. Koko organisaation kannalta keskeisten tietojen ja analyysien hallintakannattaa hoitaa keskitetysti. Tällä varmistetaan, että tiedoista ja analyysien tu-loksista on olemassa vain yksi versio, jota organisaation eri tasot voivat hyö-dyntää.37

�� Organisatorisen oppimisen näkökulmaarvioinnin hyödyntämiseen

Arvioinnin hyödyntämisen problematiikkaa voidaan jäsentää organisatorisenoppimisen teorioiden avulla. Edellä viitattiin Michael Pattonin38 ja Petri Vir-tasen39 näkemyksiin (itse)arvioinnin hyödyntämisestä pyrittäessä lisäämään yh-teistä ymmärrystä esimerkiksi toiminnan tavoitteista ja kokonaisuudesta tai or-ganisaation vahvuuksista, parantamisalueista ja kehittämiskohteista. Organisa-

35 Virtanen 2007, 202.36 Davenport & Harris 2007, 46–52.37 emt., 46–52.38 Patton 1997.39 Virtanen 2007.

��

torisen oppimisen malleissa mennään askelta pidemmälle ja tarkastellaan mi-ten organisaation käytännöt muuttuvat.

Organisatorisen oppimisella tarkoitetaan tässä raportissa Ellströmin40 ta-voin niitä organisatoristen käytänteiden muutoksia, jotka välittyvät yksilöllis-ten oppimis- ja ongelmanratkaisuprosessien kautta organisaation tasolle.Muuttuvat käytänteet voivat olla rutiineja, menettelytapoja, rakenteita, tekno-logioita tai järjestelmiä. Määritelmän mukaan yksilön oppiminen on organi-satorisen oppimisen välttämätön mutta ei riittävä ehto.

Crossanin, Lanen ja Whiten41 esittämä organisatorisen oppimisen viite-kehys pyrkii yhdistämään yksilön, ryhmän ja organisaation oppimisen tasotsekä näiden väliset vuorovaikutussuhteet ja -prosessit. Oppiminen ja innova-tiivisten ideoiden syntyminen tapahtuu yksilöiden kautta eikä organisaatiollesinällään. Yksilöiden luoma tieto ei ole kuitenkaan organisaatiolle suoraanmerkityksellistä vaan edellyttää keskustelua ja jakamista muiden kanssa sekäyhteisten jaettujen merkitysten muodostumista. Tietty osa yksilöllisesti opi-tusta ja ryhmissä muodostuneesta jaetusta ymmärryksestä voi institutionali-soitua organisaation käytänteiksi. Organisaation oppiminen nähdään eri tasotylittävänä dynaamisena prosessina, johon sisältyy uuden oppimisen ja aiem-min opitun hyödyntämisen välinen jännite.

Crossanin ym.42 organisaation oppimisen viitekehys sisältää neljä organi-satorisen oppimisen aliprosessia – intuitio, tulkinta, integraatio ja institution-alisointi – jotka ilmenevät kaikilla kolmella tasolla: yksilö, ryhmä ja organi-saatio. Oppimisen kolme tasoa määrittävät rakenteen, jonka kautta organisaa-tion oppiminen tapahtuu, ja aliprosessit sitovat rakenteen yhteen. Intuitio jatulkinta tapahtuvat yksilötasolla, tulkinta ja integraatio ryhmän tasolla, ja in-tegraatio sekä institutionalisoituminen organisaation tasolla. Uudet ideat vir-taavat yksilötasolta ryhmän kautta organisaatioon vaakatason syöteprosessinmyötä. Samalla organisaatiotasoinen institutionalisoitunut oppiminen vaikut-taa ryhmien ja yksilöiden ajattelu- ja toimintatapoihin, mitä esittävät pys-tysuuntaiset palauteprosessit (kuvio 2).

40 Ellström 2001.41 Crossan, Lane & White 1999.42 Crossan, Lane & White 1999.

�

Kuvio �� Organisatorisen oppimisen dynaaminen prosessi

Uudistumisen kannalta ongelmallinen kohta on uuden oppimisen tulkinta-ja integrointiprosessien välillä. Siirtyminen tulkinnasta integrointiin merkit-see siirtymistä yksilöllisestä oppimisesta yksilöiden väliseen tai ryhmässä op-pimiseen. Tähän sisältyy yksilöllisesti muodostuneiden kognitiivisten kartto-jen yhdistäminen ja kollektiivinen tulkinta niin, että ryhmässä syntyy yhtei-nen jaettu näkemys. Yhteisen jaetun todellisuuden muuttamisessa on useitahaasteita, alkaen oman hiljaisen tiedon muuntamisesta eksplisiittiseksi ja kom-munikoimisesta muille. Yksilöiden omat kognitiiviset kartat toimivat viestin-nän suhteen suodattimina. Ihmisillä on pikemmin taipumus nähdä totena semihin he uskovat kuin uskoa totena se minkä he näkevät. Yhteinen toimintaluo mahdollisuuden jakaa yhteinen kokemus, mikä voi edistää yhteisen käsi-tyksen muodostumista.44

Crossanin ja hänen tutkijakollegoidensa kuvaus tulkinnasta integrointiinsiirtymisestä auttaa ymmärtämään ensinnäkin itsearviointiprosessin aikana ta-pahtuvaa tiedonmuodostusta. Arvioinnissa yksilöiden erilaiset näkemyksetkohtaavat, jolloin yhteisen näkemyksen muodostaminen voi olla haastavaa.

43 Crossan, Lane & White 1999.44 emt.

Tulkinta

Integrointi

IntuitioYksilö

Ryhmä

Organisaatio

Opitunpalaute-Prosessi(feedback)

Yksilö Ryhmä Organisaatio

Uuden oppimisen syöteprosessi (feed forward)

Institutiona-lisoituminen

�

Toisaalta itsearviointi yhteisenä toimintana merkitsee mahdollisuutta muodos-taa yhteistä näkemystä. Toiseksi, viitekehys auttaa ymmärtämään sitä, miksi ar-vioinnin tulosten instrumentaalinen käyttö on harvinaista. Arviointiraporttiinkirjoitettuja tuloksia tulkitaan ensin yksilötasolla (intuitio), minkä jälkeen tu-loksista tuli tehdä yhdessä johtopäätökset ja sopia toimenpiteistä (integrointi).Arvioinnin suosituksia saatetaan soveltaa jossain organisaatioyksikössä ripeästija kirjaimellisesti, kun taas toisessa yksikössä tulokset voidaan unohtaa koko-naan. Laajassa organisaatiossa arvioinnin perusteella tehtävien kehittämis-toimenpiteiden institutionalisoituminen koko organisaation yhteisiksi käytän-teiksi on usein pitkäkestoinen organisatorisen oppimisen prosessi.

��

Toiminnanohjausja laadunvarmistusbenchmarking�korkeakouluissa

�� Toiminnanohjaus ja laadunvarmistusTurun ammattikorkeakoulussa

���� Toiminnanohjaus

Turun ammattikorkeakoulussa toteutettiin vuosina 2004–2006 laajamittainentoiminnanohjauksen kehittämisprojekti. Projektin alkuvaiheessa toiminnan-ohjauksen käytännöt arvioitiin ja tarkennettiin yhteen laajaan prosessikaavi-on, joka määritteli prosessin vaiheet, tapahtumat, toimijat ja heidän tehtävän-sä sekä näiden keskinäiset riippuvuudet. Toiminnanohjausprosessin tehtävät jatietovirrat kuvattiin seuraavien toimijoiden kannalta: opetusministeriö, yllä-pitäjä eli Turun kaupunki, ammattikorkeakoulu, tulosalue, koulutusohjelma taitukitoiminto sekä henkilö. Toiminnanohjausprosessin vaiheiksi tunnistettiin:1) strategisten tavoitteiden asettaminen, 2) toiminnan ja talouden suunnittelu,3) toimeenpano ja seuranta, sekä 4) vuosiraportointi. Toiminnanohjauksen kä-sitteen alle samaan prosessikaavioon jäsennettiin1. opetusministeriön, Turun ammattikorkeakoulun ja Turun kaupungin vä-

lisen tavoitesopimuksen (Taso) valmisteluprosessi,2. Turun ammattikorkeakoulun ja Turun kaupungin välinen talousarvion

valmistelu (omistajaohjaus), sekä3. ammattikorkeakoulun sisäinen toiminnanohjausprosessi.Toiminnanohjauksen kehittämisprojektissa määriteltiin prosessin tietovirrat(dokumentit, käsitteet, looginen tietomalli), minkä perusteella tuli mahdolli-seksi toteuttaa toimijoita heidän tehtävissään palveleva räätälöity tietojärjes-telmäkokonaisuus, 4T-portaali ja tietovarasto. Portaali on selainpohjainen käyt-töliittymä, joka sisältää yhteen paikkaan koottuna työkalut sekä tarpeellisetpohjatiedot, joita korkeakoulun johto sekä eri organisaatioyksiköiden vastuu-henkilöt ja henkilöstö tarvitsevat toiminnanohjauksen tehtäviin.45

45 Kettunen & Kantola 2005.

��

Kaikki Turun ammattikorkeakoulun laadunvarmistusjärjestelmän menet-telyt eivät sisälly toiminnanohjausprosessin kuvaukseen eikä toiminnan ar-viointia ole esitetty toiminnanohjauksessa omana vaiheenaan. Silti kunkinorganisaatioyksikön toiminnan suunnittelua edeltää kevyt itsearviointi, jokaon sisään rakennettu toimintasuunnitelmakäytäntöön.

������ Strategisten tavoitteiden asettaminen

Strategiset linjaukset ja tavoitteet määritellään valtuustokausittain eli neljävuoden välein ammattikorkeakoulun kokonaisstrategiassa46, jonka vahvistaaTurun kaupunginhallitus, sekä toisaalta kolmevuotisessa tavoitesopimuksessa,jonka osapuolet ovat opetusministeriö, Turun kaupunki ja ammattikorkea-koulu. Sopimustarjouksen valmistelu käynnistetään opetusministeriön marras-kuussa järjestämän tavoiteohjausseminaarin ja joulukuussa saapuvan opetus-ministeriön ohjekirjeen perusteella. Tavoitesopimustarjousta valmistellaan vuo-sittain tammikuussa pidettävässä strategiaseminaari I:ssä. Ammattikorkeakoululähettää tammikuun lopussa opetusministeriölle ammattikorkeakoulun halli-tuksen hyväksymän tarjouksen tavoitesopimusta tai sen lisäpöytäkirjaa varten.

Sopimustarjous sisältää ammattikorkeakoulun tulosanalyysin, esitykset uu-sista koulutusohjelmista ja suunnitelman koulutuksen määrällisestä mitoituk-sesta. Opetusministeriö lähettää vastatarjouksensa maalis–huhtikuussa ennentavoitesopimusneuvottelua, johon osallistuvat ammattikorkeakoulun johdon jaylläpitäjän edustajat. Tavoitesopimuksen allekirjoittaa syyskuussa rehtori am-mattikorkeakoulun puolesta ja apulaiskaupunginjohtaja ylläpitäjän puolesta.

������ Toiminnan ja talouden suunnittelu

Ammattikorkeakoulu tekee vuosittain kaupunginhallitukselle talousarvio-ehdotuksen ja taloussuunnitelman kolmevuotiskaudelle. Talousarvioehdotussisältää paitsi määrärahat ja tuloerät tulosalueittain myös koko ammattikorkea-koulun strategisen kehyksen eli arvion toimintaympäristön muutoksista ja tu-loskorteille sijoittuvat kriittiset menestystekijät sekä niiden seurantamittarei-den tavoitearvot koko ammattikorkeakoulun tasolla. Talousarvioehdotuksenvalmistelu käynnistyy kesäkuun alussa sen jälkeen, kun kaupunginhallitus onpäättänyt ammattikorkeakoulun talousarvion ohjeluvusta ja ammattikorkea-koulun hallitus on päättänyt määrärahojen jakamisen perusteista ja tulos-aluekohtaisista ohjeluvuista. Ammattikorkeakoulun toiminnan ja talouden

46 Turun ammattikorkeakoululla on lisäksi kokonaisstrategiaa tarkentavia yhteisiä osastrategioi-ta kuten T&K-strategia, pedagoginen strategia, kansainvälistymisstrategia, henkilöstöstrategia,aluekehitysstrategia ja tietohallintostrategia. Näiden hyväksymisestä päättää ammattikorkea-koulun hallitus.

��

suunnittelun lähtökohdat ja ohjeistukset käsitellään toukokuussa pidettävässäsisäisessä strategiaseminaari II:ssa.

Talousarvioehdotus valmistellaan toiminnanohjauksen 4T-portaalissa si-ten, että jokainen organisaatioyksikkö valmistelee oman osuutensa noudattaenammattikorkeakoulun hallituksen vahvistamia määrärahojen jakoperiaatteita jaannettuja ohjelukuja. Ammattikorkeakoulun hallitus tekee ylläpitäjälle talous-arvioehdotuksen syyskuun puolivälissä. Lisäksi hallitus käsittelee ammattikor-keakoulun ja sen tulosalueiden toimintasuunnitelmat sekä henkilöstösuunni-telmat. Kaupunginjohtaja tekee talousarvioesityksen kaupunginhallituksellelokakuussa ja kaupunginvaltuusto päättää talousarvion hyväksymisestä marras-kuun lopulla tai joulukuun alussa. Tämän jälkeen ammattikorkeakoulu tekeetarkennetun talousarvion käyttösuunnitelman.

Tavoitesopimuksessa sovittuja ja ammattikorkeakoulun strategiassa mää-riteltyjä strategisia linjauksia ja tavoitteita viedään eteenpäin systemaattisentoiminnanohjauksen vuosiprosessin avulla. Toiminnanohjausprosessi ymmär-retään ydinprosessien (koulutus, innovaatioprosessi eli tutkimus- ja kehitystoi-minta) ja tukiprosessien kehittämistä ohjaavaksi prosessiksi. Sen tärkeimmättyökalut ovat talousarvio ja toimintasuunnitelma, joiden hallintaa varten ontoteutettu selainpohjaiset työkalut 4T-portaaliin.

Tämän projektin näkökulmasta 4T-portaalin keskeinen työkalu on toi-mintasuunnitelma, joka perustuu tasapainotetun tuloskortin eli BalancedScorecardin47 viitekehykseen. Ammattikorkeakoulu, tulosalueet, koulutusoh-jelmat ja tukitoiminnot määrittelevät toimintasuunnitelmassaan kehittämista-voitteet eri näkökulmista. Ammattikorkeakoulun ja opetuksen tulosalueen toi-mintasuunnitelma sisältää tasapainotetun tuloskortiston viisi näkökulmaa, jot-ka ovat yhteiskunnalliset vaikutukset, asiakkuus, talous, prosessit ja osaaminen.Kuhunkin näkökulmaan sisältyvien kokonaisstrategian mukaisten tavoitteidenkonkretisointi sanallisiksi vuositavoitteiksi ja määrällisiksi seurantamittareidenvuositavoitteiksi. Määrälliset tavoitteet asetetaan seuraaville kolmelle vuodelletoimintasuunnitelmaan. Itsearvioinnin ja tavoitteenasettelun tueksi portaaliinhaetaan automaattisesti kunkin organisaatioyksikön seurantamittareiden toteu-tumatiedot kolmen edellisen vuoden ajalta. Tämän tekee mahdolliseksi tieto-varasto, jonne ladataan eri lähdejärjestelmien (kirjanpito, henkilöstöhallinto,opiskelijahallinto) tiedot. Tietovarasto mahdollistaa luotettavan ja ajantasaisenseurantatiedon saamisen raportoinnin ja suunnittelun tueksi.

47 Kaplan & Norton 1996; 2001; 2004.

��

����� Toimeenpano seuranta ja vuosiraportointi

Opetusministeriön tavoitesopimusneuvottelussa käsitellään onnistumista am-mattikorkeakoulun laatiman tulosanalyysin, AMKOTA-tietokannan profiili-raportin sekä opetusministeriön toimittaman tilastoaineiston perusteella. Am-mattikorkeakoulun tulosanalyysi valmistellaan tammikuussa tulosalueiden jatoimintojen tulosanalyysien perusteella. Profiiliraportit ja opetusministeriönennen tavoiteneuvottelua toimittamat tuloksellisuusmittareiden tilastoaineis-tot mahdollistavat vertailun muihin ammattikorkeakouluihin. Ammattikorkea-koulun strategisten tavoitteiden toteutumista arvioidaan toiminnanohjauspro-sessiin kuuluvien sisäisten strategiaseminaarien puitteissa ja toimintasuunni-telmien seurantamittareiden sekä muiden tietosisältöjen perusteella.

Ylläpitäjän omistajaohjauksen puitteissa talouden ja seurantamittareidentoteutumia seurataan kaupunginvaltuuston määrittämällä tavalla toiminnanseurannan raportissa huhtikuun ja elokuun tilanteiden mukaan sekä tilinpää-töksen yhteydessä seuraavan vuoden helmikuussa. Toiminnan seurannan ra-portissa käytetään samoja mittareita kuin ammattikorkeakoulun talousarvio-ehdotuksessa. Tarkastelutasona on koko ammattikorkeakoulu. Seurantamitta-reiksi on valittu lukumääräisesti vähemmän ja pääosin samoja mittareita kuinammattikorkeakoulun ja sen tulosalueiden toimintasuunnitelmassa (4T-por-taalissa). Osavuosiraporteissa käsitellään tavoitteiden toteutumista ja vuosi-ennusteita liikennevalo-symbolien avulla. Mikäli ammattikorkeakoulu arvioi,että tiettyä tavoitetta ei tulla saavuttamaan, raporttiin kirjataan tästä rehtorinsanallinen kommentti. Talouden toteutumaennusteet käsitellään joka toinenkuukausi ammattikorkeakoulun hallituksessa sekä johtoryhmässä. Toiminnanseurannan raportit käsitellään ammattikorkeakoulun hallituksessa.

Ammattikorkeakoulun sisäisen toiminnanohjausprosessin ytimenä on am-mattikorkeakoulun rehtorin johdolla vuosittain marraskuussa käytävä tulos-alueen ja ammattikorkeakoulun johdon välinen tavoiteneuvottelu. Tavoite-neuvotteluihin osallistuvat rehtori, vararehtorit, kehityspäällikkö ja talouspääl-likkö sekä kultakin opetuksen tulosalueelta koulutusjohtaja, koulutuspäällikötsekä tutkimus- ja kehityspäällikkö. Vastaavat tavoiteneuvottelut käydään myöskehittämisen tulosalueen palvelukokonaisuuksien (korkeakoulupalvelut, inno-vaatiopalvelut) kanssa hyödyntäen 4T-portaaliin tallennettuja toimintasuunni-telmia. Tavoiteneuvottelussa käsitellään tulosalueen toiminnan tuloksellisuuttaja kehittymistä sekä määritellään seuraavan vuoden toimintasuunnitelman toi-minnalliset tavoitteet ja kehittämistoimenpiteet. Rehtori vahvistaa tulosaluei-den toimintasuunnitelmat vuoden lopussa talousarvion käyttösuunnitelmanhyväksymisen yhteydessä.

Kunkin tulosalueen koulutusjohtaja vastaa sovittujen toiminnallisten jataloudellisten tavoitteiden saavuttamisesta. Vuodesta 2008 lähtien koulutus-

��

johtaja esittää tavoiteneuvottelussa kirjallisen raportin kuluvan vuoden toi-mintasuunnitelmaan sisältyvien toimenpiteiden toteutumisesta. Tähän tarkoi-tukseen soveltuva työkalu kuitenkin vielä puuttuu 4T-portaalista. Portaaliintullaan rakentamaan vuonna 2009 toimintasuunnitelmien seurannan toimin-nallisuus, jolla voidaan dokumentoida kuluvan vuoden toimintasuunnitelmaanmääriteltyjen toimenpiteiden toteutumisesta. Toiminnanohjausprosessin ny-kyiset tehtävät koulutusjohtajan näkökulmasta on esitetty kuvion 3 vuosi-kellossa.

Kuvio � Tulosalueen toiminnanohjausprosessi koulutusjohtajan tehtävinä

Turun ammattikorkeakoulu otti vuonna 2006 käyttöön kannustinmekanismi-na oman tuloksellisuusrahoituksen, jonka volyymi on yksi prosentti ammatti-korkeakoulun nettomenoista. Tuloksellisuusrahoituksen kohdentuminen eriopetuksen tulosalueille osaksi seuraavan vuoden talousarviota määritellään al-kusyksyllä ammattikorkeakoulun hallituksen vahvistamien tuloksellisuus-kriteerien perusteella. Kriteerit ovat määrällisiä lukuun ottamatta sanallista ar-viota tulosalueen toiminta- ja uusiutumiskyvystä. Tuloksellisuus arvioidaanedellisen vuoden toteutumien perusteella ja kullakin kriteerillä vain parasopetuksen tulosalue palkitaan.

�

���� Laadunvarmistus

Turun ammattikorkeakoulussa laadunvarmistusjärjestelmä nähdään tarkoituk-seen sopivuuden (fitness for purpose) näkökulmasta. Laadulla ymmärretäänammattikorkeakoulun onnistumista tehtävissään. Lähtökohtana ovat korkea-koulupoliittiset sekä ammattikorkeakoulun ja ylläpitäjän asettamat tavoitteet.Onnistumista ja menettelyiden tarkoituksenmukaisuutta arvioidaan suhteessaasetettuihin tavoitteisiin, jotka on määritelty strategioissa, toimintasuunnitel-missa ja opetussuunnitelmissa.

Laadunvarmistusjärjestelmän tavoitteena on varmistaa, että asetetut tavoit-teet saavutetaan. Laadunvarmistusjärjestelmän tehtävänä on selvittää, mitenTurun ammattikorkeakoulu ja sen toimintayksiköt ovat onnistuneet tehtävis-sään, tuottaa hyödyllistä tietoa toiminnan kehittämiseen, varmistaa toiminta-prosessien ja käytäntöjen tarkoituksenmukaisuus ja hallittavuus suhteessa ta-voitteisiin sekä viestiä toiminnan tuloksista ja laadusta korkeakouluyhteisölle(opiskelijat, henkilöstö, johto) sekä ulkoisille sidosryhmille. Toiminnan lähtö-kohtien ja strategian tarkoituksenmukaisuuden tarkastelu ei sisälly laadun-varmistusjärjestelmään. Toimivat suunnitteluprosessit varmistavat, että tavoit-teet ovat kohdallaan.

Kaikki Turun ammattikorkeakoulun laadunvarmistusjärjestelmän menet-telyt eivät sisälly toiminnanohjausprosessin kuvaukseen eikä toiminnan ar-viointia ole esitetty toiminnanohjauksessa omana vaiheenaan. Turun ammat-tikorkeakoulussa ajatellaan, että toiminnanohjaus ja laadunvarmistus kohtaa-vat toimintasuunnitelmassa. Ammattikorkeakoulun sisäisissä tavoiteneuvotte-luissa arvioidaan tulosalueiden toimenpiteiden nivoutumista koko organisaa-tioiden tavoitteisiin. Laadun parantamiseksi tehtävät toimenpiteet eivät jää ir-rallisiksi tulosalueen tai yksikön tehtäviksi vaan ne integroituvat koko ammat-tikorkeakoulun strategiseen johtamiseen ja toiminnanohjaukseen. Kunkinorganisaatioyksikön toimintasuunnitelman valmisteluun sisältyy kevyt itse-arviointi, jonka kysymykset on sisällytetty toimintasuunnitelmaan.

4T-portaalin toimintasuunnitelma on konkreettinen työkalu, joka kan-nustaa toimintasuunnitelmista vastaavia (rehtori, vararehtorit, koulutusjohta-jat, koulutuspäälliköt, tukitoimintojen päälliköt) arviointitiedon ja palauttei-den hyödyntämiseen toiminnan kehittämiseksi. Toimintasuunnitelmakäytäntövahvistaa johtamisen kytkentää laadunvarmistukseen.48 Laadunvarmistusjärjes-telmän kattavuus ja kytkentä strategiseen johtamiseen, toiminnanohjaukseenja muuhun johtamistyöhön on esitetty kuviossa 4.

48 Kettunen & Kantola 2005; Kettunen & Kantola 2007.

�

Kuvio � Turun ammattikorkeakoulun laadunvarmistusjärjestelmän kattavuusja kytkentä toiminnanohjaukseen

Turun ammattikorkeakoulu on kaikessa toiminnassaan sitoutunut jatkuvaanparantamiseen. Laadunvarmistus kattaa korkeakoulun koko toiminnan: kou-lutuksen, tutkimus- ja kehitystoiminnan sekä johtamisen ja tukiprosessit. Laa-dunvarmistusjärjestelmän kokonaisrakenne noudattaa jatkuvan parantamisenperiaatetta ja laatusykliä.

Koko ammattikorkeakouluyhteisö osallistuu laadunvarmistukseen rehto-rin johdolla. Laadunvarmistusjärjestelmän ja sen menettelyiden toimivuudes-ta ja kehittämisestä vastaa kehityspäällikkö. Vararehtorit, koulutusjohtajat, kou-lutuspäälliköt ja tukitoimintojen päälliköt vastaavat toiminnallisten ja talou-dellisten tavoitteiden saavuttamisesta omilla vastuualueillaan.

Opettajat osallistuvat opetussisältöjen ja -menetelmien sekä oppimisen ar-viointimenettelyjen kehittämiseen oman koulutusohjelmansa opetussuunni-telmatyön puitteissa. Opiskelijat toimivat osaamista tuottavissa opetus–oppi-misprosesseissa vastuullisina kumppaneina ja osallistuvat usein myös oppimi-sen arviointiin. Opiskelijat antavat opetus–oppimisprosessien ja tukiprosessientoimivuudesta palautetta ja osallistuvat edustajiensa välityksellä toiminnankehittämiseen. Ammattikorkeakoulun koko henkilöstö osallistuu laatutyöhönomien toimintaprosessiensa arvioinnin ja kehittämisen kautta.

�

Laadun hallintaan, arviointiin ja parantamiseen käytetään erilaisia tarkoi-tuksenmukaisia menettelyjä. Niiden käyttö on hahmotettu suhteessa laatu-syklin osa-alueisiin: tavoitteet ja toimintatapa, käytännön soveltaminen, ar-viointi ja parantaminen (kuvio 5). Erilaiset sähköiset työkalut, jotka on mai-nittu suluissa kuviossa 5, tukevat menettelyiden käyttöä ja dokumentaatiota.Hyvä esimerkki tästä on toiminnanohjauksen ja laadunvarmistuksen integroi-va toimintasuunnitelma.

Kuvio �� Turun ammattikorkeakoulun laadunvarmistusjärjestelmän menettelyt

�� Toiminnanohjaus ja laadunvarmistusMikkelin ammattikorkeakoulussa

���� Toiminnanohjaus

Kokonaistavoitteet Mikkelin ammattikorkeakoulun toiminnalle on asetettuopetusministeriön ja ammattikorkeakoulun välisessä tavoitesopimuksessa sekäeri strategioissa. Päästrategian eli kehittämissuunnitelman lisäksi ammatti-korkeakoulussa on neljä muuta voimassa olevaa strategiaa: pedagoginen stra-tegia, t&k-strategia, palvelustrategia sekä osaamis- ja henkilöstöstrategia. Li-säksi on useita voimassa olevia toimenpideohjelmia, esimerkiksi kieltenope-tuksen toimenpideohjelma sekä toimenpideohjelma opetuksen ja t&k-toi-minnan vuorovaikutuksen edistämiseksi. Toteutusvaiheessa strategioiden mu-kaista toimintaa ohjataan toiminnanohjaus- ja muiden prosessien avulla.

Mikkelin ammattikorkeakoulussa selkiytettiin toiminnanohjausjärjestel-mää päivittämällä toiminnanohjauksen prosessit vuoden 2005 alussa tapah-tuneen organisaatiomuutoksen yhteydessä. Prosessissa kuvattiin toiminnan-ohjauksen tietovirrat ja vaiheet kuukausittain. Prosessin vaiheita ovat 1) toi-minnan arviointi, 2) strateginen tavoiteasetanta, 3) toiminnan ja taloudensuunnittelu (Tota), 4) toimeenpano ja seuranta sekä 5) vuosiraportointi (ku-vio 6). Toiminnanohjausprosessin kanssa rinnakkain kulkevat TASO-prosessisekä ydinprosessit, joita ovat koulutus-, t&k- ja palveluprosessi.

Kuvio �� Mikkelin ammattikorkeakoulun toiminnanohjausprosessin vaiheet

Oleellista oli koko toiminnanohjauksen hallinnollisten prosessien kuvaa-minen yhdellä prosessikaaviolla, jossa ilmenevät osaprosessien ajoitus ja keski-näiset riippuvuudet. Erityistä huomiota kiinnitettiin siihen, että prosessi ku-vataan kaikkien uuden organisaation tasojen osalta. Prosessikaavion vaiheet jatietovirrat esitettiin seuraavien toimijoitten kannalta: opetusministeriö,yhtymäkokous ja kuntayhtymän hallitus, amk-hallitus, johtoryhmä, tulosalue,laitokset ja muut tulosyksiköt, projektit ja henkilöt.

Toiminnan arviointi tehdään vuosittain maalis–huhtikuussa hankittujenpalaute- ja tilastotietojen sekä itsearviointien tuottaman tiedon pohjalta. Suu-ri osa kerätystä tiedosta on peräisin ammattikorkeakoulun palautejärjestelmäs-tä, mutta sen lisäksi arvioinnissa käytetään mm. AMKOTA-tilastotietoja. Tä-hän vaiheeseen ajoittuvat myös itsearvioinnit. Ammattikorkeakoulun laatukä-sikirjan mukaan MAMKin johto sekä vastaavasti jokaisen yksikön ja koulu-tuksen laitoksen koko henkilöstö tekevät kokonaisarvioinnin EFQM-malliinpohjautuen vähintään joka kolmas vuosi. Eri tavoin kerättyä palautetietoa kä-sitellään huhtikuussa pidettävissä johdon katselmuksissa.

Strateginen tulosanalyysi toimii seuraavan vaiheen eli strategisen tavoite-asetannan tausta-aineistona. Tämä vaihe ajoittuu huhti–kesäkuulle. Johto-ryhmän strategiaseminaarissa tarpeen mukaan joko laaditaan uutta strategiaatai päivitetään voimassa olevaa. Samaan aikaan käsitellään alustavia ToTa-luon-noksia. Yhdessä hallitusten kanssa järjestetään vuosittain strategiaseminaari,jonka tavoitteena on yhteisymmärryksen laatiminen strategisista tavoitteista.Kehityskeskusteluissa esiin nousseet ehdotukset kootaan ja arvioidaan. Strate-gian käytäntöön viemisen tueksi laaditaan viestintäsuunnitelma. Strategisistatavoitteista ja niiden toteutumisesta informoidaan ja uuden strategian jalkaut-taminen käynnistyy elokuun henkilöstöpäivässä.

Toiminnan ja talouden suunnittelu (ToTa) tehdään elokuusta marraskuul-le ulottuvalla ajanjaksolla. Suunnittelu käynnistyy johtoryhmän elokuussa an-tamien ohjeitten pohjalta. Työskentelyvaiheita ovat luonnoksen laadinta, kä-sittely ja tarkentaminen sekä ehdotuksen laadinta, ToTa-neuvottelu, ToTa:ntäydentäminen tai muuttaminen ja viimeistely. Viimeistelty ToTa-ehdotus vie-dään ensin AMK-hallituksen käsittelyyn ja sen jälkeen yhtymähallitukseen,joka tekee esityksen yhtymäkokoukselle. Yhtymäkokouksen käsittelyn ja hy-väksynnän jälkeen alkaa tulevan vuoden toiminta- ja taloussuunnitelman kä-sittely ja toimeenpano tulosalueilla ja tulosyksiköissä. Samaan aikaan valmis-tellaan seuraavaa OPM:n kanssa solmittavaa tavoitesopimusta. Sen suunnittelukäynnistyy marraskuun alussa järjestettävästä valtakunnallisesta seminaarista jajoulukuussa saatavasta opetusministeriön ohjekirjeestä. AmmattikorkeakoulunTASO-tarjousta valmistellaan joulu–tammikuussa ja se lähetetään opetusmi-nisteriöön tammikuun lopussa sen jälkeen, kun se on käsitelty ja hyväksytty

�

hallituksissa. OPM:n vastatarjous saadaan maalis–huhtikuussa, jolloin myöskäydään TASO-neuvottelut. Lopullinen sopimus allekirjoitetaan syyskuussa.

Toiminta- ja taloussuunnitelman toimeenpanoa ja toteutumista seurataanorganisaation eri tasoilla koko vuoden ajan. Työaikasuunnitelmien toteutumis-ta seurataan jatkuvasti. Talouden seurantaa tehdään kuukausittain. ToTa-toteu-tumatiedot kootaan kolme kertaa vuodessa osavuosikatsaukseksi, jonka tulos-aluejohtajat esittelevät AMK-hallitukselle.

Vuosiraportointi pohjautuu kerättyihin toteumatietoihin toiminnan eriosa-alueilta: opinto-, opiskelija- ja opetustiedot, taloustiedot, henkilöstötiedot,t&k-toiminta, palveluliiketoiminta, tila-, laite- ja tietojärjestelmätiedot sekäkv-toiminnan tiedot. Tiedot kootaan ja niitä hallitaan keskitetysti. Tietojenpohjalta laaditaan raportteja sekä ammattikorkeakoulun sisäiseen käyttöön ettäeri viranomais- ja rahoitusorganisaatioille toimitettavaksi. Raportit tarkistetaanja tuloksia analysoidaan johtoryhmässä. Niiden pohjalta laaditaan tilinpäätösja toimintakertomus, jotka hyväksytään yhtymähallituksessa ja -kokouksessa.Tietoja käytetään seuraavan kauden toimenpiteiden ja linjausten suunnitte-lussa sekä tavoitesopimukseen liittyvässä tulosanalyysissä.

Toiminnanohjausprosessit kuvattiin niin, että niihin sisältyvät kaikki kes-keiset laatujärjestelmän osat. Näin varmistettiin toiminnanohjauksen ja laatu-järjestelmän täydellinen integraatio. Toiminnanohjauksen prosessikuvaukseenon tehty pieniä päivityksiä vuosittain. Koko toiminnanohjausprosessi päivite-tään aina organisaatiouudistusten yhteydessä.

���� Laadunvarmistus

Mikkelin ammattikorkeakoulun tavoitteena on toiminnan laadun jatkuva pa-rantaminen. Hyvä laatu saavutetaan kehittämällä ammattikorkeakoulun kou-lutustoiminnan, tutkimus- ja kehitystyön, palvelutoiminnan sekä tukipalvelu-jen laatua kohti erinomaisuutta. Tähän pyritään käyttämällä laatujärjestelmääniin, että ammattikorkeakoulun päätöksenteko ja toiminnan parantaminen pe-rustuu entistä selkeämmin laadunvarmistusjärjestelmän systemaattisesti tuot-tamaan tietoon. Laatujärjestelmä on suunniteltu ja toteutettu niin, että laadunylläpito ja parantaminen integroituu ammattikorkeakoulun ja sen eri yksiköi-den toimintaan. Toiminnan laadun arviointiin ja kehittämiseen valitaan tehok-kaita, taloudellisia ja henkilöstöä sekä opiskelijoita laadun parantamiseen mo-tivoivia toimintamalleja ja menettelyjä. Laadunvarmistusjärjestelmä ja sen osa-tekijät kuvataan Demingin laatuympyrän pohjalta mukailtuna STAK (= suun-nittele, toteuta, arvioi, kehitä) -kuviona (kuvio 7).

�

Kuvio �� Mikkelin ammattikorkeakoulun laatujärjestelmä

Ammattikorkeakoulun toiminta ja laatutyö perustuvat päästrategiaan eli ke-hittämissuunnitelmaan, johon on kirjattu strategiset valinnat ja tavoitteet. Ke-hittämissuunnitelmaa täydentävät ammattikorkeakoulun muut strategiat ja toi-menpideohjelmat, jotka päivitetään vähintään joka viides vuosi. Kehittämis-suunnitelma tehdään vähintään kolmen vuoden välein ja sitä päivitetään tar-vittaessa vuosittain kehittämistoimenpiteiden arvioinnin perusteella. Strate-giset linjaukset viedään vuosittain ammattikorkeakoulun ja sen yksiköidentoimintasuunnitelmiin ja talousarvioihin. Mikkelin ammattikorkeakoulun ke-hittämissuunnitelma laaditaan kuntayhtymän hallituksen johdolla vuoro-vaikutteisesti ammattikorkeakoulun hallituksen, henkilöstön ja sidosryhmienkanssa.

Toimintasuunnitelman ja talousarvion tekemisen yhteydessä valmistellaankoko ammattikorkeakoulun sekä kunkin tulosalueen keskeiset toiminnallisetja taloudelliset tavoitteet tulevalle vuodelle. Tässä vaiheessa asetetaan tuloskort-tien tulosalue- tai yksikkökohtaiset tavoitteet. Tuloskortti sisältää strategian to-teutumisen seurannan kannalta keskeiset mittarit. Tuloskorttien mittarit tar-kistetaan ja päivitetään kerran vuodessa. Toimintasuunnitelman ja talousarviontoteutumista seurataan ja raportoidaan hallituksille kolme kertaa vuodessa.

Toteutusvaiheessa toimintaa ohjaavat ammattikorkeakoulun laatujärjestel-mään kuuluvat yhteiset prosessit, säännöt, ohjeet ja sopimukset sekä doku-mentointi. Yhteiset prosessit on jaettu ydin- ja tukiprosesseihin. Ydinproses-seja ovat koulutus-, t&k- ja palveluprosessit. Tukiprosesseja ovat toiminnan-ohjaus- ja henkilöstöprosessit sekä kirjasto- ja tietopalvelujen, kv-palvelujen,

�

opiskelijapalvelujen ja viestintäpalvelujen prosessit. Kaikilla prosesseilla on osa-prosesseja.

Ammattikorkeakoulun toiminnan palaute saadaan laatupalautteiden, ke-hityskeskustelujen, johdon katselmusten, itsearviointien sekä ulkoisten ar-viointien kautta. Sidosryhmäpalautetta saadaan neuvottelukuntatyössä, alum-nikyselyissä ja muussa alumnitoiminnassa sekä asiakaskyselyissä ja -tutkimuk-sissa. Palaute kerätään mittaussuunnitelman mukaisesti. Suunnitelmasta ilme-nee jokaisen kyselyn kohderyhmän keräystapa, ajankohta, keräys- ja analysoin-tivastuu sekä vastuu muutostoimenpiteiden käynnistämisestä.

Arviointi- ja palautejärjestelmän pohjalta esille nousseet kehittämis-toimenpiteet toteutetaan, niiden toteutumista arvioidaan ja seurataan. Tulok-sia hyödynnetään ammattikorkeakoulun operatiivisessa toiminnassa tai strate-gisissa valinnoissa. Kehittämistoimenpiteistä tiedotetaan opiskelijoille ja hen-kilöstölle sekä tarpeen mukaan myös ulkoisille sidosryhmille. Taulukossa 4 onkuvattu, miten laatujärjestelmä liittyy vuositasolla ammattikorkeakoulun joh-tamisjärjestelmään.

Taulukko � Laatutyön yhteydet johtamisjärjestelmään

AjankohtaAjankohtaAjankohtaAjankohtaAjankohta ToimenpideToimenpideToimenpideToimenpideToimenpide TarkoitusTarkoitusTarkoitusTarkoitusTarkoitus

01–12 Opiskelijapalautekyselyt, Palautteen kerääminen toiminnan kehittämiseksiprojektipalautekyselyt

01–12 Asiakaskyselyt Palautteen kerääminen sisäisiltä ja ulkoisiltaasiakkailta toiminnan kehittämiseksi.

02–03 MAMK:n itsearviointi EFQM-mallin mukainen itsearviointi.Arvioinnin pohjalta käynnistetään kehittämishankkeitatoiminnan kehittämiseksi.

03–04 Yksiköiden itsearviointi EFQM/CAF-mallin mukainen itsearviointi.Arvioinnin pohjalta käynnistetään kehittämishankkeitatoiminnan kehittämiseksi.

03–04 Työyhteisön kehittämiskysely Työyhteisön toiminnan kehittäminen03–06 Kehittämissuunnitelman Sisäisen ja ulkoisen toimintaympäristön tarkastelu,

tekeminen tai päivitys strategiset linjaukset ja tavoitteet04–05 Kehityskeskustelut Henkilötason itsearviointi, kehittymistarpeet ja

tavoitteista sopiminen04–05 Johdon katselmukset yksiköissä Yksiköiden laatujärjestelmän sekä toiminnan arviointi

ja kehittäminen, tavoitteiden läpikäynti06–08 Tuloskortin päivitys Tuloskortin päivitys vastaamaan strategisia tulos- ja

laatutavoitteita. Tuloskortin mittareiden seuranta onjatkuvaa.

08–12 Toimintasuunnitelman ja Tulevan vuoden tulostavoitteiden jatalousarvion laadinta talousarvion suunnittelu ja hyväksyminen.

Tuloskortin sisällön tarkistaminen.01–12 Tulosten seuranta Toiminnan ja talouden seuranta sekä korjaavat

toimenpiteet.

�

Mikkelin ammattikorkeakoulun koko henkilökunta, opiskelijat sekähankkeissa ainakin ohjausryhmän jäsenet osallistuvat laatutyöhön. Laatutyöstävastaavat johtoryhmä, laatu- ja arviointitiimi sekä laatupäällikkö ja laatu-sihteeri. Laatupäällikkö vastaa laatujärjestelmästä. Hänen tukenaan toimii am-mattikorkeakoulun laatu- ja arviointitiimi, joka on koottu yksiköiden laatu-vastuuhenkilöistä. Laatu- ja arviointitiimi toimii tiedon välittäjänä sekä val-mistelee asiat johtoryhmän käsiteltäväksi. Johtoryhmä päättää laatu- ja ar-viointitoiminnan toteutuksesta.

Yksiköissä voi toimia oma laatu- ja arviointitiimi. Yksikön laatutyöstävastaa yksikön johtaja apunaan laatuvastaava. Henkilöstö vastaa oman tehtä-väalueensa toiminnan laadun kehittämisestä kehityskeskusteluissa sovittavienperiaatteiden mukaisesti. Opiskelijakunnan edustajat osallistuvat MAMKinlaatu- ja arviointitiimin työskentelyyn. Opiskelijat antavat palautejärjestelmänkautta palautetta toiminnasta ja osallistuvat kehittämisryhmien työskentelyyn.Opiskelijavastaavien tehtävänä on käsitellä laatupalautteet yhdessä opiskelijoi-den kanssa.

�

Arvioinnin tulokset

�� Kokonaiskuva

���� Mitä opimme arvioinnin hyödyntämisestäMikkelin ammattikorkeakoulun toiminnanohjauksessa –arviointikumppanin näkökulma

Mikkelin ammattikorkeakoulun toiminnanohjaus ja laatutyö perustuu kehit-tämissuunnitelmassa eli päästrategiassa määriteltyihin strategisiin valintoihin jatavoitteisiin. Kehittämissuunnitelmaa tarkentavat osastrategiat ja toimenpide-ohjelmat. Toteutusvaiheessa strategioiden mukaista toimintaa ohjataan toimin-nanohjausprosessin sekä muiden laatujärjestelmän mukaisten prosessien ja oh-jeistuksen avulla. Keskeisiin työkaluihin lukeutuvat ammattikorkeakoulun jasen yksiköiden toimintasuunnitelmat ja talousarviot (ToTa), tuloskortit, itse-arvioinnit, johdon katselmukset sekä prosessikuvaukset, säännöt, ohjeet ja do-kumentointi.

Toiminnan arviointi on erotettu omaksi vaiheeksi Mikkelin ammatti-korkeakoulun toiminnanohjausprosessin jäsennyksessä. Toiminnan arviointi-vaihe sijoittuu vuosittain maalis–huhtikuulle. Arvioinnin materiaalina ovatoman palautejärjestelmän tuottama palautetieto, AMKOTA-tilastot sekä itse-arviointien tuottama tieto. Tähän vaiheeseen ajoittuvat myös EFQM-malliinpohjautuvat itsearvioinnit. Tällä hetkellä laatukäsikirjan mukaan ammattikor-keakoulun johto sekä kunkin yksikön ja koulutuksen laitoksen henkilöstö te-kevät itsearvioinnin vähintään joka kolmas vuosi. Eri tavoin kerättyä palaute-tietoa käsitellään huhtikuussa pidettävissä johdon katselmuksissa. Itsearvioin-tia ja johdon katselmuksia käsitellään yksityiskohtaisesti jäljempänä.

Strateginen tulosanalyysi näyttää tapahtuvan hallitusten ja johtoryhmienseminaareissa sekä johdon katselmuksissa. Analyysi on taustalla strategisen ta-voiteasetannan vaiheessa, joka ajoittuu huhti–kesäkuulle. Tässä vaiheessa joh-toryhmä pitää strategiaseminaarin, jossa työstetään uutta strategiaa tai päivite-tään voimassa olevaa strategiaa, sekä käsitellään tulosalueiden alustavia toimin-tasuunnitelmia ja talousarvioita. Strategisia tavoitteita tarkastellaan hallitustenkanssa vuosittain strategiaseminaarissa. Strategisia tavoitteita ja niiden toteu-tumista käsitellään henkilöstön kanssa elokuun henkilöstöpäivässä.

�

Toiminnanohjausprosessin seuraava vaihe on toiminnan ja talouden suun-nittelu (ToTa), joka sijoittuu elo–marraskuulle. Siinä ammattikorkeakoulu jatulosalueet valmistelevat tulevan vuoden toiminnalliset ja taloudelliset tavoit-teet. Toimintasuunnitelmassa asetetaan erilaisia laadullisia ja määrällisiä tavoit-teita koulutukselle, kuten aloituspaikkojen määrä, opetussuunnitelmien raken-ne (mahdollistettava projektioppinen, virtuaaliopinnot, monialaiset opinnot),ylemmän tutkinnon koulutusohjelmien määrä, opiskelijarekrytoinnin kehit-täminen sekä t&k-toiminnan liittäminen opetukseen. Määrälliset tavoitteetovat suoritettujen tutkintojen määrä, ensisijaisten hakijoiden määrä nuortenkoulutuksessa, koulutuksen keskeyttäneiden määrä, virtuaaliopintoina suori-tetut opintopisteet sekä avoimen ammattikorkeakoulun opetukseen osallistu-neiden ulkopuolisten osallistujien suorittamat opintopisteet.

Toiminnan ja talouden suunnittelun vaiheessa tulosalueet tekevät tulos-kortin, joka sisältää strategian toteutumisen seurannan kannalta tärkeimmätmittarit. Tuloskortin mittarit tarkistetaan ja päivitetään kerran vuodessa. Eri-tyisen hyvin toimivalta vaikuttaa käytäntö, jossa tulosalueiden johtajat rapor-toivat toimintasuunnitelman ja talousarvion toteutumisesta ammattikorkea-koulun hallitukselle kolme kertaa vuodessa. Tulosalueen toimintasuunnitel-maan sisältyvä tuloskortti on tarkimmin seurattu tavoitteita määrittävä työ-kalu.

Hallitukselle tehtävään raportointiin sisältyvät toimintaympäristön nyky-tila ja muutokset, kuvaus ammattikorkeakoulutasolla hoidettavista tehtävistäja kehittämishankkeista sekä niiden tuloksista (mm. johtoryhmässä hyväksytythankkeet, itsearvioinnin tuloksena käynnistetyt hankkeet) sekä oman toimin-nan kehittämishankkeet ja niiden tulokset (mm. johdon katselmuksissa sovi-tut kehittämishankkeet).

Toimintasuunnitelman ja tuloskortin käsittely hallituksessa heijastaa ta-voitteiden tärkeyttä ja nostaa toimintasuunnitelmien painoarvoa myös henki-löstön näkökulmasta. Opintojen keskeyttämistä ja ennusteita tutkinnon suo-rittavista käsitellään säännöllisesti. Mikkelin ammattikorkeakoulun vertailu-aineistossa tuli esiin useita näyttöjä seurannan perusteella käynnistetyistä ke-hittämistoimenpiteistä. Esimerkiksi opintojen keskeyttämisen kohottua am-mattikorkeakoulun tasolla ongelmallisen suureksi, asiaan tartuttiin uudistamallaopiskelijoiden ohjausjärjestelmää.

Mikkelin ammattikorkeakoulun itsearvioinnin mukaan mittariston hyö-dyntämistä kehittämistoimenpiteiden perusteluna tulee terävöittää samoinkuin tiedottamista kehittämistoimenpiteiden tuloksista. Kuitenkin nyky-muotoinen tulosalueiden johtajien raportointikäytäntö on hyvä esimerkkiarviointitiedon hyödyntämistä tukevasta menettelystä.

�

Joillakin laitoksilla opettajat ovat esittäneet kritiikkiä siitä, että ammatti-korkeakoulussa mitataan vain numeerisia asioita ja että pedagogisen johtajuu-den painoarvo on vähentynyt. Itsearvioinnin käyttö voi auttaa tuomaan täl-laiset ongelmina koetut asiat selkeämmin esille. Tätä nimenomaista ongelmaaon paikattu myös puhumalla tulosalueiden sisäisissä foorumeissa enemmän si-sällöistä ja pedagogiikasta. Silti varsinaisten tuloskorttimittareiden nähdään vai-kuttavan hyvin keskeisesti siihen, mihin toiminnan tavoitteet ja painopisteetasetetaan.

Laitosten ja koulutusohjelmien tasolla tavoitteiden toteutumisen seuran-ta tapahtuu systemaattisemmin vuosittain huhtikuussa järjestettävissä johdonkatselmuksissa. Johdon katselmusten sekä toiminnan ja talouden suunnittelunkytkentä näyttää varsin toimivalta arvioinnin hyödyntämisen näkökulmasta:johdon katselmuksissa sovitut kehittämishankkeet kirjataan ToTa-prosessin yh-teydessä toiminnallisiksi tavoitteiksi.

Ammattikorkeakoulun johdon ja tulosalueiden ToTa-neuvotteluissasovitaan ammattikorkeakoulun tasolla tehtävistä kehittämishankkeista, joistatuoreita esimerkkejä ovat INTO-hanke eli integratiiviset oppimisympäristötja kielipalvelut. Kehittämishankkeita on käynnistetty EFQM-tyyppisen itse-arvioinnin pohjalta. Johdon itsearvioinnin perusteella käynnistettyjä kehittä-mishankkeita ovat henkilöstöjohtamisen ja -palveluiden kehittäminen sekä or-ganisaation osaamisen kehittäminen, palautejärjestelmän tarkistus ja ulkoisenpalautteen hyödyntäminen.

Arvioinnin hyödyntämistä näyttää tehostaneen erityisesti ammattikorkea-koulun johdon proaktiivinen ote strategiatyössä sekä kiinnostus tunnistaa jatarttua toiminnan kehittämiskohtiin. Edellistä osoittaa Mikkelin ammatti-korkeakoulun toteuttama koulutustarjonnan profilointi. Esimerkkeinä kehit-tämiskohteisiin tarttumisesta ovat rehtorin pyytämät selvitykset suoritettujentutkintojen määristä ja valmistumisen esteistä. Suoritettujen tutkintojen te-hokkaampi seuraaminen, joka on vakioaiheena johtoryhmän listalla, on ar-viointitiedon aktiivista hyödyntämistä.

Mikkelin ammattikorkeakoulun toiminnanohjausprosessi näyttää raken-tuvan siten, että tavoitteiden asettamisen ja seurannan välillä on katkeamatonketju. Prosessissa ei ole pitkiä suvantokohtia, sillä toteutumista raportoidaankolme kertaa vuodessa. Johtoryhmän ja hallituksen vuosittaisten strategia-seminaarien kautta myös takaisinkytkentä seurannasta ja vuosisuunnittelustastrategiatyöhön on rakennettu.

Ylipäätään toiminnan tavoitteiden asettaminen sekä arviointitiedon ke-rääminen, tallentaminen ja hyödyntäminen näyttävät systemaattiselta. Strate-gisten tavoitteiden ja operatiivisen toiminnan välille on luotu toimiva yhteys

�

käyttämällä strategiatyössä ja -viestinnässä strategiapuuta sekä rakentamalla sel-keä toiminnanohjauksen malli. Toiminnasta kertyvä dokumentaatio kerätäänsystemaattisella tavalla intranetiin ja yhteisille levyasemille.

Arviointivierailulla eri tehtävissä toimivat henkilöt puhuivat tavoitteidenasettamisesta ja arviointitiedon hyödyntämisestä omasta näkökulmastaan. Vaik-ka päästrategian ja laatuajattelun lähtökohdat ja rakentuminen olivat lähiesi-miesten näkökulmasta jonkin verran arkityölle etäisiä asioita, laatutyötä pi-dettiin tärkeänä. Palautteen kerääminen ja hyödyntäminen tarkoitti pitkältikonkreettista työtä opiskelijoiden ja opintojen parissa.

���� Mitä opimme arvioinnin hyödyntämisestäTurun ammattikorkeakoulun toiminnanohjauksessa –arviointikumppanin näkökulma

Turun ammattikorkeakoulun nykyinen toiminnanohjausprosessi perustuumuutama vuosi sitten toteutettuun laajaan kehittämisprojektiin. Projektissatoiminnanohjausprosessia arvioitiin ja prosessin vaiheet, tapahtumat, toimijatja heidän tehtävänsä sekä näiden keskinäiset riippuvuudet tarkennettiin ja ku-vattiin samassa prosessikaaviossa. Toiminnanohjausprosessi kuvataan neljänävaiheena: strategisten tavoitteiden asettaminen, toiminnan ja talouden suun-nittelu, toimeenpano ja seuranta sekä vuosiraportointi. Toiminnan arviointisen sijaan ei sisälly prosessiin erillisenä vaiheena, vaan itsearviointia tehdäänorganisaatioyksiköissä toiminnan suunnittelun yhteydessä. Toiminnanohjaus-prosessiin linkittyy selkeästi myös ammattikorkeakoulujen toimintaa ohjaavaopetusministeriön tavoitesopimusprosessi sekä Turun kaupungin kanssa teh-tävä talousarvion valmisteluprosessi.

Toiminnanohjauksen kehittämisprojektin aikana parannettiin myös työ-kaluja eli toteutettiin käyttäjiä palveleva laaja tietojärjestelmä, 4T-portaali jatietovarasto. Portaali vaikuttaa erinomaiselta ratkaisulta, koska siihen on koot-tu kaikki toiminnanohjauksen kannalta käyttäjille tarpeelliset työkalut ja tie-dot. Haastatteluissa ilmeni, että käyttäjillä on mahdollisuus vaikuttaa portaalinsisältämään informaatioon. Tämä motivoi käyttäjiä hyödyntämään portaalinantamia mahdollisuuksia entistä paremmin.

Strategiset tavoitteet asetetaan kokonaisstrategiassa, joka vahvistetaan Tu-run kaupunginhallituksessa valtuustokausittain eli neljäksi vuodeksi kerrallaan.Myös ammattikorkeakoulun ja opetusministeriön välinen tavoitesopimus lin-jaa strategisia tavoitteita. Vuosittain kaupunginhallitukselle laadittava talousar-vioehdotus sisältää myös strategisen kehyksen eli arvion toimintaympäristönmuutoksista sekä tuloskorteissa kuvatut kriittiset menestystekijät ja niiden seu-rantamittareiden tavoitearvot ammattikorkeakoulutasolla. Omistajalla on vah-

va rooli strategiaprosessissa. Osastrategioista sen sijaan päättää ammattikorkea-koulun hallitus.

Strategian käytäntöön vienti kuvataan hyvin selkeästi tulosalueen vuosi-kellossa. Työ käynnistyy tammikuussa osittain tavoitesopimusprosessiin liitty-vien tulosanalyysin, koulutustarjonta- ja koulutusohjelmaesitysten laatimisella.Kevään aikana järjestetään kaksi strategiaseminaaria, joista ensimmäisen jälkeentarkennetaan strategista kehystä ja toisen jälkeen julkaistaan kevään aikana laa-dittu toimintasuunnitelma. Sisäiset strategiaseminaarit, joissa muun muassa kä-sitellään toiminnan ja talouden suunnittelun lähtökohdat ja ohjeistukset, vai-kuttavat hyvin toimivalta käytännöltä.

Toimintasuunnitelma perustuu tasapainotettuun tuloskorttiin ja sisältääsiihen kuuluvat viisi näkökulmaa: yhteiskunnalliset vaikutukset, asiakkuus, ta-lous, prosessit ja osaaminen. Toiminnan ja talouden suunnittelua tulosalue-tasolla tukee 4T-portaali, jossa toimintasuunnitelmat ja niihin liittyvät itse-arvioinnit valmistellaan. Portaaliin haetaan automaattisesti seurantamittareidentoteutumatiedot kolmen edellisen vuoden ajalta, mikä tukee vuositavoittei-den määrittelyä. Portaaliin on tehty yhteinen toimintasuunnitelman lomake-formaatti, joka sisältää yhtenäisen viitekehyksen kysymyksineen ja seuranta-mittareineen. Toimintasuunnitelman valmisteluun sisältyy itsearviointi, jonkakysymykset on sisällytetty toimintasuunnitelmaan. Itsearvioinnissa hyödynne-tään laadunvarmistusjärjestelmän tuottaman tiedon lisäksi sitä täydentävää ko-kemusperäistä tietoa. Valmistelun aikana itsearvioinnin laatija voi lähettää työ-versioita kommentoitavaksi henkilöstölle, joka voi antaa portaalin kauttasuunnitelmaan.

Ammattikorkeakoulun tulosten seurantaa ja raportointia tehdään ammat-tikorkeakoulutasolla osana tavoitesopimusprosessia ja tulosaluetasolla osanarehtorin johdolla vuosittain marraskuussa käytäviä tulosalueiden ja ammatti-korkeakoulun johdon välisiä tavoiteneuvotteluja. Neuvottelussa käsitellään tu-losalueen toiminnan tuloksellisuutta ja kehittymistä sekä määritellään seuraa-van vuoden toimintasuunnitelman toiminnalliset tavoitteet ja kehittämistoi-menpiteet. Rehtori vahvistaa tulosalueiden toimintasuunnitelmat vuoden lo-pussa talousarvion käyttösuunnitelman hyväksymisen yhteydessä.

Turun ammattikorkeakoulussa osa rahoituksesta jaetaan tulosten perus-teella osaksi tulosalueen talousarviota. Rahoituksen kohdentuminen päätetäänhallituksessa vahvistettujen tuloksellisuuskriteerien pohjalta. Tuloksellisuus-rahoituksen käyttäminen ohjaa vahvasti toimintaa strategisesti asetettujen ta-voitteiden suuntaan.

Turun ammattikorkeakoulun 4T-portaali on hyvä työkalu koulutus-ohjelmakohtaisen toiminnan suunnitteluun, seurantaan ja ohjaukseen. Kou-

lutusohjelmakohtaista laadunvarmistuksen tuottamaa tietoa käytetään yhdessämuun 4T-portaalin sisältämän tiedon kanssa toiminnan suunnittelussa. Näintavoiteasettelun strategiakytkentä säilyy myös koulutusohjelmatasolla. Portaa-lissa esimiehillä on mahdollisuus antaa palautetta tehdyistä suunnitelmista jamotivoida näin koulutuspäälliköitä kehittämistyöhön. Portaali antaa läpinäky-vyytensä vuoksi myös hyvän mahdollisuuden vertailukehittämiseen.

Koulutusohjelmien kehittämisen tukemiseksi on rakennettu ristiin-arviointimalli, jota on testattu jo useamman kerran. Malli on tarkkaan ja huo-lellisesti suunniteltu ja ohjeistettu. Näin varmistetaan arvioinnin laadukas to-teuttaminen. Ristiinarvioinnit kehittävät arviointiosaamista ja vahvistavat laa-tukulttuuria. Arviointeihin osallistuvilla näyttää olevan aito halu auttaa kou-lutusohjelmia kehitystyössä antamalla ”vihjeitä” kehittämisen suunnasta. Ris-tiinarviointi on hyvä väline kehitettyjen hyvien käytäntöjen levittämisessämuiden koulutusohjelmien käyttöön.

Turun ammattikorkeakoululla on käytössään paljon työkaluja, jotka mah-dollistavat tehokkaat toimintatavat ja toiminnan kehittämisen.

�� Hyvät käytänteet

���� Koulutusohjelman ristiinarviointiTurun ammattikorkeakoulussa

Vuonna 2007 Turun ammattikorkeakoulussa otettiin käyttöön sisäisen koulu-tusohjelma-arviointi, jota kutsutaan koulutusohjelman ristiinarvioinniksi(Hyvönen ym. 2007; Kontio ym. 2008). Siinä ammattikorkeakoulun omistaasiantuntijoista muodostettu arviointiryhmä toteuttaa valitun koulutusohjel-man kehittävän arvioinnin. Arviointiryhmä kootaan aina erikseen kunkinkoulutusohjelman arviointia varten. Arvioinnin kohteena ovat koulutusohjel-man suunnittelun, toteutuksen ja arvioinnin prosessit ja käytännöt. Arviointitukee niiden kehittämistä. Samalla vahvistetaan arviointiosaamista ja laatukult-tuuria sekä tuotetaan ja levitetään dokumentoitua tietoa ammattikorkea-koulun koulutuksen laadusta. Keskeinen esikuva Turun ammattikorkeakoulunristiinarvioinnin mallille on Jyväskylän ammattikorkeakoulun ristiinarvioin-nin käytäntö (Mikkonen ym. 2004).

Koulutusohjelman ristiinarvioinnin toteutus

Koulutusohjelman ristiinarviointi ei ole säännöllisesti toistuva menettely. Vuo-sittain valitaan arvioinnin kohteeksi 1–2 koulutusohjelmaa 40 koulutusohjel-man joukosta. Arvioinnista sovitaan edellisen vuoden syksyllä tavoiteneuvot-telussa. Kehityspäällikkö valmistelee esityksen arvioitavista koulutusohjelmis-

�

ta ja arviointiryhmistä ammattikorkeakoulun laaturyhmän kanssa. Ristiin-arviointi voidaan jakaa seitsemään vaiheeseen:1. koulutusohjelman ristiinarvioinnin valmistelu2. koulutusohjelman itsearviointi3. itsearviointiraportin analyysi ja arviointivierailuun valmistautuminen4. arviointivierailu5. arvioinnin tulosten raportointi ja levittäminen (palautekokous)6. koulutusohjelman toiminnan kehittäminen ja seuranta7. ristiinarviointimallin arviointi ja kehittäminen.Kunkin koulutusohjelman arviointia varten kootaan riippumaton sisäinen ar-viointiryhmä. Ryhmän puheenjohtaja toimii yleensä koulutusjohtaja sekä 6–7 muuta henkilöä: sihteeri, kehityspäällikkö, koulutuspäällikkö, opettajaedus-tajat (2 kpl, toisella tutkimus- ja kehitystyön kokemusta), kehittämisen tulos-alueen edustaja sekä opiskelija. Puheenjohtaja ja jäsenet eivät voi tulla samaltatulosalueelta kuin arvioitava koulutusohjelma. Puheenjohtaja vastaa koko ar-viointiprosessista ja raportista. Opettajajäsenille ja opiskelijajäsenelle osoitetaan48 tunnin työaikaresurssi. Rehtori tekee päätökset arviointiryhmien kokoon-panosta kehityspäällikön valmistelun pohjalta.

Arvioinnin tilaaja on rehtori, joka johtaa ammattikorkeakoulun laadun-varmistusta. Koulutusohjelma tekee itsearvioinnin itselleen ja arviointiryhmänkäyttöön. Arviointiryhmän tekemä arviointi tehdään ensisijaisesti koulutus-ohjelmalle, joka on raportin tärkein hyödyntäjä. Muut sidosryhmät kuten am-mattikorkeakoulun johto, koulutusjohtajat sekä muut koulutusohjelmat saa-vat arviointiraportin perusteella tietoa koulutuksen laadusta ja hyvistä käytän-teistä.

Arvioinnissa tarkastellaan valitun koulutusohjelman koulutuksen suunnit-telun, toteutuksen ja arvioinnin prosesseja ja käytäntöjä. Arvioinnin ulko-puolelle on rajattu koulutusohjelman asettamien tavoitteiden relevanssi ja tu-lokset. Arviointioppaassa on määritelty arvioinnin peruskysymykset.

Arviointia voidaan räätälöidä rajaamalla pois joitakin kysymyksiä tai pai-nottamalla koulutusohjelman kannalta tärkeitä teemoja. Arvioinnin kysymyk-sistä ja arviointiperusteista sovitaan itsearviointia edeltävässä suunnittelupala-verissa, johon osallistuvat arviointiryhmän puheenjohtaja ja sihteeri sekä kou-lutusjohtaja ja koulutusohjelman koulutuspäällikkö. Lopullisesti arviointi-kysymyksistä päättää arviointiryhmä saatuaan koulutusohjelman esityksen li-sättävistä tai pois rajattavista arviointikohteista. Arviointiryhmä käsittelee kaik-ki teemat ja kysymykset. Luettavuuden parantamiseksi arviointiryhmä voi ra-portissaan poiketa alkuperäisten arviointikysymysten jäsennyksestä.

Itsearvioinnin toteuttaa koulutusohjelman henkilöstö koulutuspäällikönjohdolla oppaan väljän ohjeistuksen mukaisesti. Koulutusohjelma resursoi

�

itsearvioinnin pääosin itse. Kehityspäällikkö ja arviointiryhmän sihteeri jär-jestävät koulutuspäällikön kanssa koulutusohjelman henkilöstölle perehdytyk-sen ristiinarviointiin. On tärkeää, että koulutusohjelmassa ymmärretään ris-tiinarvioinnin tarkoitus sekä sitoutumisen ja osallistumisen tärkeys.

Itsearvioinnissa koulutusohjelma työstää ensinnäkin kuvauksen, miten setoimii annettujen teemojen ja kysymysten alueilla. Yleensä koulutusohjelmakokoaa edustuksellisen ryhmän henkilöstön ja opiskelijoiden edustajista vas-taamaan arvioinnin kysymyksiin. Sekä opiskelijoiden että henkilöstön mieli-pidettä arvioinnin kohteina oleviin asioihin tulee kartoittaa riittävän laajastihyödyntäen olemassa olevat palauteaineistot. Koulutusohjelman toimintaa ku-vaavat keskeiset tunnusluvut ovat koulutusohjelman toimintasuunnitelmassa(4T-portaali), minkä lisäksi voidaan hyödyntää muutakin tilastoaineistoa. Kou-lutusohjelma tuottaa kuvausten, tilastoanalyysin sekä johdon, henkilöstön jaopiskelijoiden näkemysten perusteella varsinaisen itsearviointiraportin, joka si-sältää myös koulutusohjelman SWOT-arvioinnin. Itsearviointiraportti ei olejulkinen, vaan koulutusohjelma toimittaa sen pelkästään arviointiryhmän jaoman henkilöstönsä sekä valitsemiensa sidosryhmien käyttöön.

Arviointiryhmä analysoi arviointiraportin ja muun itsearviointiaineistonja tekee arviointivierailun. Tätä edeltää arviointiryhmän valmennus arvioin-tiin, joka sisältää 2 kpl puolen työpäivän mittaisia valmennuksia. Valmentajinatoimivat kehityspäällikkö sekä jokin aiemman arviointiryhmän puheenjohta-ja. Arviointiryhmän sihteerin tehtävänä on arviointiprosessin koordinointi jayhteydenpito koulutusohjelmaan liittyen esim. arviointivierailun järjestelyihin.

Arviointivierailuun valmistautuessaan ryhmän jäsen analysoi itsearvioin-tiraportin, muodostaa alustavan näkemyksen koulutusohjelman vahvuuksistaja kehittämishaasteista sekä muotoilee alustavia haastattelukysymyksiä arvioin-tivierailua varten. Arviointiryhmä muodostaa kokouksessaan yhteisen näke-myksen tarkennusta vaativista alueista ja muokkaa haastattelukysymykset ar-viointivierailua varten.

Arviointivierailun aikana arviointiryhmä haastattelee erikseen koulutus-ohjelman johdon, opiskelijat, opettajat sekä työelämän edustajat (max 7 hlö/ryhmä). Koulutusohjelma valitsee edustajat haastatteluihin ottaen huomioonarviointiryhmän toiveet. Kysymykset keskitetään muutamaan itsearviointira-portin pohjalta esiin nousevaan teemaan.

Arvioinnin loppuraportin tulee perustua itsearviointiin, siihen liittyviintilastolukuihin sekä arviointivierailulla käytyihin keskusteluihin. Arviointi-vierailun jälkeen ryhmän jäsenet kirjaavat vastuualueittain ensin omat havain-tonsa arvioitavasta koulutusohjelmasta. Kukin jäsen kirjoittaa pohjatekstinomalta vastuualueeltaan. Arviointiryhmän sihteeri kokoaa ja muokkaa arvioi-jien tekstit sovitun aikataulun mukaisesti raportin käsikirjoitukseksi, jota ar-

�

viointiryhmä kokoontuu yhdessä käsittelemään vähintään kaksi kertaa. Ar-viointiryhmä muodostaa yhdessä konsensuksen siitä, mitkä ovat keskeisetkoulutusohjelman vahvuudet ja kehittämishaasteet.

Sihteeri lähettää arvioinnin loppuraportin käsikirjoituksen koulutus-päällikölle tarkistettavaksi asiavirheiden osalta. Koulutusohjelma voi oikaistaarviointiraportin luonnoksessa havaittuja asiavirheitä toimittamalla korjaus-ehdotukset kirjallisesti sihteerille. Arvioinnin loppuraportti on julkinen, ja sejulkaistaan Turun ammattikorkeakoulun raportteja -sarjassa.

Arviointiryhmä järjestää yhdessä arvioidun koulutusohjelman kanssa pa-lautekokouksen. Koulutuspäällikkö käsittelee ristiinarvioinnin tuloksia hen-kilöstönsä kanssa keskustellen.

Koulutuspäällikkö esittelee tulosalueen johtoryhmän kokouksessa ristiin-arvioinnin tuloksia ja suosituksia. Koulutuspäällikkö asettaa ja vastuuttaa tar-peelliset kehittämistoimenpiteet.

Turun ammattikorkeakoulun edustajien näkemys koulutusohjelmanristiinarvioinnista

Ristiinarvioinnin kohteena on ammattikorkeakoulun koulutustehtävän toteu-tus yhden koulutusohjelman kehyksessä. Ristiinarvioinnin käytöstä on vastaniukasti kokemuksia, sillä tähän mennessä on raportoitu kolme arviointia janeljäs arviointi on käynnissä. Tällöin myös tehtyjen arviointien hyödyntämi-sestä koulutusohjelmien toiminnan kehittämisessä ja arviointien vaikuttavuu-den seurannasta on vasta alustavia kokemuksia.

Vaikka ristiinarvioinnilla ei ole erityistä ajoitusta tai tehtävää toiminnan-ohjausprosessissa, arvioinnin hyödyntäminen ja sen seuranta on selvästi vas-tuutettu. Koulutuspäällikkö hyödyntää ristiinarviointia arvioidessaan toimin-tasuunnitelmaa varten koulutusohjelman nykytilaa ja sen kehittämiskohteita.Koulutuspäällikkö vastaa myös toimenpiteiden kirjaamisesta toimintasuunni-telmaan. Ammattikorkeakoulun kehityspäällikkö puolestaan seuraa ristiin-arvioinnin tulosten hyödyntämistä koulutusohjelmien toimintasuunnitelmienperusteella ja toteuttaa 1–2 vuoden kuluttua loppuraportin valmistumisestakevyen seurantakyselyn koulutusohjelmalle. Marraskuussa 2008 osana tavoi-teneuvottelua keväällä 2007 arvioitu tietotekniikan koulutusohjelma esittipyydetyn seurantaraportin arvioinnin hyödyntämisestä. Kehityspäällikkö vas-taa siitä, että loppuraporteissa mainitut kehittämistarpeet ja suositukset käsi-tellään ko. tulosalueen tavoiteneuvottelussa. Hyödyntämisen seurannasta vas-taava kehityspäällikkö on johtoryhmään kuuluva johtava viranhaltija samoinkuin arviointiryhmien puheenjohtajina toimivat koulutusjohtajat, mikä vah-vistaa ammattikorkeakoulun arviointikulttuuria. Johdon edustajien osallistu-

�

minen arviointeihin rakentaa vähitellen käsitystä arvioinnista osana johtamis-työtä.

Ristiinarviointi tuottaa varsin hyvät puitteet arviointiprosessin hyödyn-tämiseen koulutusohjelman kehittämiskohteiden määrittelyssä. Arviointi-prosessia voidaan räätälöidä koulutusohjelman tarpeiden suuntaiseksi, minkäkatsotaan lisäävän arvioinnin kohteena olevien sitoutumista arviointiproses-siin ja sen tuloksiin. Ristinarviointi on potentiaalinen foorumi yhteisten käy-tänteiden muodostamiselle, sillä se tuottaa yhden rakenteen jossa organisato-risen oppimisen prosessit voivat käynnistyä. Arvioinnin aikana yhteisöllistä tie-donmuodostusta tapahtuu sekä itsearvioinnin aikana koulutusohjelmassa ettäarviointiryhmän työskentelyn puitteissa.

Ristiinarvioinnin heikkous on työläys ja suurehkot kustannukset. Ar-viointeja kyetään toteuttamaan 1–2 kpl vuodessa, jolloin suurin osa koulu-tusohjelmista jää ristiinarviointien ulkopuolelle. Vaikka arvioinnin tulokset jajohtopäätökset julkaistaan muidenkin koulutusohjelmien käyttöön, hyvienkäytäntöjen leviäminen pelkästään raporttien välityksellä voi osoittautua riit-tämättömäksi. Ristiinarviointien tuloksia ja suosituksia ei ole toistaiseksi py-ritty aktiivisesti levittämään ammattikorkeakoulun johtoryhmän käsittelyjentai seminaarien välityksellä. Arviointien kumuloituessa aika alkaa olla kypsäseminaarille jonka aiheena on ”mitä olemme oppineet ristiinarvioinneista”.

Arviointikumppanin näkemys koulutusohjelman ristiinarvioinnista

Useissa Korkeakoulujen arviointineuvoston auditointiraporteissa kehotetaankorkeakouluja hyvien käytänteiden levittämiseen. Turun ammattikorkeakouluon rakentanut hyvien käytänteiden levittämisen varmistamiseksi selkeän struk-turoidun mallin, jonka avulla koulutusohjelmia kehitetään. Hyvien käytäntei-den levittäminen tapahtuu arviointiin osallistuvien koulutusohjelmien välilläja myös arviointiryhmän kautta. Arvioinnin aikana tapahtuu oppimista, jonkaseurauksena syntyy uusia toimintatapoja ja -kulttuureja. Prosessiin liittyvä hy-vin hoidettu dokumentointi osaltaan antaa koko organisaatiolle mahdollisuu-den hyvien käytänteiden omaksumiseen.

Arvioinnissa on seitsemän vaihetta, joista toinen, koulutusohjelman itse-arviointi, jo sinällään on hyvä kehittämisen työkalu. Vaikka itsearvioinnistatuotettu raportti ei ole julkinen, antaa arviointi koulutusohjelmalle tietoa vah-vuuksista ja kehittämiskohteista. Julkistettavan ristiinarvioinnin tulosten poh-jalta käydään keskustelut henkilöstön kanssa ja tulokset käsitellään myös tulo-saleen johtoryhmässä. Koulutuspäällikkö asettaa ja vastuuttaa jatkotoimet. Ke-hityspäällikkö seuraa tulosten hyödyntämistä ja vastaa siitä, että kehittämistar-peet ja -suositukset käsitellään tulosalueen tavoiteneuvottelussa. Näin ollen ar-viointityö on osa koulutusohjelman johtamista. Tulosalueen johtoryhmä voisi

�

seurata jatkotoimenpiteiden toteutumista tai ainakin toteutumisesta voitaisiinraportoida johtoryhmälle.

Sekä koulutusohjelman itsearvioinnissa että ristiinarvioinnissa käytetäänhyväksi palautejärjestelmän tuottamaa tietoa ja 4T-portaalin tietoa. Tällä var-mistetaan tuotetun tiedon hyväksikäyttö kehittämistoimenpiteitä suunnitelta-essa ja kehittämistoimien perustuminen todelliseen tietoon.

Ristiinarvioinnin toteutusmalli on huolellisesti suunniteltu ja arvioinnintoteutus on hyvin ohjeistettu. Arvioinnin toteuttaminen vaatii aikaa, joten ko-vin monta koulutusohjelmaa ei ole mahdollista ottaa mukaan ainakaan saman-aikaisesti. Ulkopuolelle jäävien koulutusohjelmien on mahdollista hyödyntääkehittämisessään ristiinarvioinnin dokumentoinnin kautta esiin tulevia hyviäkäytänteitä.

���� Itsearviointi Mikkelin ammattikorkeakoulussa

Itsearviointi muodostaa olennaisen osan Mikkelin ammattikorkeakoulun laa-tujärjestelmää. Ensimmäinen silloiseen Suomen laatupalkintomalliin perustu-va itsearviointi tehtiin vuonna 1999. Euroopan laatupalkintomalliin pohjau-tuvat itsearvioinnit toteutettiin vuosina 2004, 2006 ja 2008. Vuodesta 2006lähtien arvioinnit on tehty tähän tarkoitukseen kehitetyn johtoryhmän hy-väksymän sähköisen työkalun avulla. Ammattikorkeakoulun laatukäsikirjanmukaan MAMKin johto tekee kokonaisarvioinnin vähintään joka kolmasvuosi. Viimeisin johdon itsearviointi toteutettiin vuonna 2006. Ammatti-korkeakoulun jokaisen yksikön ja koulutuksen laitoksen koko henkilöstö te-kee itsearvioinnin noin joka kolmas vuosi. Arvioinnin tuloksena saadaan yk-siköiden vahvuudet ja kehittämiskohteet. Toiminnan ohjausprosessissa itse-arviointi sisältyy toiminnan arviointivaiheeseen, jolloin kerätään pohjatiedotstrategisten tavoitteiden päivittämistä tai asettamista varten.

Itsearvioinnin toteutus

Itsearviointi pohjautuu EFQM-malliin, joten arvioinnin kohteina ovat orga-nisaation (johto) ja organisaatioyksikön (laitokset ja yksiköt) toiminta ja toi-minnan tulokset. Toimintaa arvioitaessa arviointialueina ovat johtajuus, toi-mintaperiaatteet ja strategiat, henkilöstö, kumppanuudet ja resurssit sekä pro-sessit. Tuloksia arvioitaessa tarkastellaan asiakastuloksia, henkilöstötuloksia, yh-teiskunnallisia tuloksia ja keskeisiä suorituskykytuloksia.

Itsearviointiprosessissa on seuraavat vaiheet riippumatta siitä, onko ky-seessä ammattikorkeakoulun johdon tai yksiköiden itsearviointi:

��

– suunnittelu– arvioinnin tekeminen– tulosten alustava analysointi– tulosten käsittely sekä vahvuuksista ja kehittämishankkeista sopiminen– kehittämishankkeiden käynnistys ja seuranta.Ennen arviointia on tärkeää määritellä itsearvioinnin tavoitteet organisaationkannalta sekä varmistaa koko prosessin sujuva eteneminen ja tulosten saanti.Suunnitteluvaiheessa rakennetaan organisaatiolle sopiva tapa arvioinnin läpi-viemiseksi. Tämä tarkoittaa ensimmäiseksi sitä, että tarkistetaan sähköinen ar-viointipohja sellaiseksi, että arvioitavat asiat on ilmaistu arviointiin osallistu-vien oman organisaation mukaisesti. Toiminnan arviointialueilla arvioidaan ar-viointikohtien tärkeyttä, nykytilaa ja tavoitetasoa. Tulosten arviointialueilla ar-vioidaan tulosten nykytilaa ja tavoitetasoa. Kaikista arviointialueista tuodaanesille vahvuudet ja kehittämiskohteet.

Toinen arviointityökalun tarkistustoimenpide liittyy arviointipohjaan lin-kitetyn sähköisen tausta-aineiston valitsemiseen. Tausta-aineisto helpottaa janopeuttaa arvioinnin tekemistä. Aineistona on käytetty mm. seuraavia intra-netin sisältämiä asiakirjoja: strategiat, toimenpideohjelmat, toimintasuunnitel-ma ja talousarvio, toiminnanohjausprosessiin ja laatujärjestelmään kuuluvaa ai-neistoa (mm. laatukäsikirja, tuloskortit, prosessikuvaukset, mittaussuunnitelma,laatupalautteiden yhteenvedot). Arviointia varten ei erikseen kerätä informaa-tiota, vaan käytetään olemassa olevaa aineistoa. Johdon itsearvioinnissa tausta-materiaalin valitsevat kehitysjohtaja ja laatupäällikkö. Yksiköiden itsearvioin-nin taustamateriaalina on laatupäällikön ja laatuvastaavien yhdessä valitsemaperusmateriaali, jonka lisäksi on yksikkökohtaista yksikönjohtajan ja laatu-vastaavan valitsemaa materiaalia. Linkityksestä vastaavat yksiköiden laatuvas-taavat.

Suunnitteluvaiheessa pohditaan strategian tavoitteiden toteutumista tuke-vat kriteerit, joiden mukaan kehittämishankkeet asetetaan tärkeysjärjestykseen.MAMKin johdon itsearvioinnissa vuonna 2006 hankkeita arvioitaan sillä pe-rusteella, miten hanke edistää MAMKin strategian toteutumista. Kriteeritolivat:– kuinka hyvin hanke edistää ammattikorkeakoulun koulutustehtävän to-

teuttamista ja parantaa opetuksen laatua– kuinka hyvin hanke hyödyttää asiakkaitamme (opiskelijat, työelämä)– kuinka hyvin hanke parantaa organisaation ja henkilöstön osaamista– kuinka hyvin hanke tukee ammattikorkeakoulun prosessien ja rakentei-

den uudistumista– kuinka hyvin hanke parantaa ammattikorkeakoulun toiminnan taloudel-

lisuutta.

��

Yksiköiden itsearvioinnissa keväällä 2008 sovittiin yhteiset strategian ta-voitteita tukevat kriteerit erikseen koulutuksen laitoksille ja muille yksiköille.

Suunnitteluvaiheeseen kuuluu myös arviointiin osallistuvien perehdyttä-minen. Ensimmäisellä kerralla henkilöstö perehdytetään EFQM-pohjaiseen it-searviointiin, myöhemmin tärkeintä on arviointiin osallistujien motivointi.Yksiköiden itsearvioinnin perehdytyksestä vastaavat yksikön johtajat ja laatu-vastaavat. Arvioinnin yhdenmukaiset periaatteet varmistetaan sillä, että laatu-vastaavat kokoontuvat prosessin eri vaiheissa yhdessä vaihtamaan kokemuksiaja sopimaan yhteisistä menettelyistä.

Arviointi alkaa siitä, että ilmoitus itsearvioinnista lähetetään osallistujillesähköpostilla. Arvioinnin voi tehdä työpaikalla tai muualla tietokoneella, jossaon internet-yhteys. Näin arvioinnin toteutusajankohta on yksilöllisesti valit-tavissa ja arviointiin käytettävä kokonaisaika lyhenee huomattavasti. Arvioin-nin voi välillä tarvittaessa keskeyttää ja jatkaa myöhemmin sopivana ajankoh-tana. Arviointi on avoinna noin viikon ajan.

Tulosten alustavan analyysin tekee MAMKin kokonaisarvioinnissa laatu-päällikkö työryhmän avustuksella. Yksikön tulosten analysoinnista vastaa laa-tuvastaava yhdessä yksikön johtajan kanssa. Analysoinnissa ja tulosten käsitte-lyssä korostetaan avoimuutta. Tulosten käsittely sekä vahvuuksista ja kehittä-mishankkeista sopiminen eli konsensuskokous vie aikaa noin puoli työpäivää.Kokouksen puheenjohtajana toimii kokonaisarvioinnissa kehitysjohtaja ja yk-siköiden arvioinnissa yksikönjohtaja. Kokouksen kulku noudattelee seuraavaamallia:– aikaisempien itsearviointien perusteella käynnistyneiden kehittämishank-

keiden tilanne– arviointikohtien tärkeyden, nykytilan ja tavoitetason tulosten esittely (nu-

meerinen aineisto)– keskustelu kriittisistä kohdista– jokaisesta arviointialueesta esitetyt vahvuudet ja kehittämisehdotukset– kehittämishankkeiden muodostaminen alustavista hanke-ehdotuksista– priorisointikriteerien esittely ja keskustelu kriteereistä– kehittämishankkeiden priorisointi– jatkotoimista päättäminen.Kehittämishankkeiden tärkeysjärjestyksestä äänestetään. Tärkeimmiksi valituistakehittämiskohteista laaditaan kehittämissuunnitelmat, hankkeet resursoidaan javastuutetaan. Pienet kehittämistoimet hoidetaan operatiivisen toiminnan yh-teydessä.

��

Mikkelin ammattikorkeakoulun edustajien näkemys itsearvioinnista

Johdon sitoutuminen on onnistumisen kannalta välttämätöntä. Myös jokai-sen arvioijan osallistuminen ja mielipide on erittäin tärkeää, jotta arvioinnintuloksena saadaan esille yksiköiden todelliset vahvuudet ja kehittämiskohteet.Osallistamalla varmistetaan henkilöstön sitoutuminen kehittämistyöhön. Niinjohto kuin henkilöstökin on osallistunut arviointeihin aktiivisesti. Arvioijatovat käyttäneet itsearviointiin aikaa 30 minuutista kolmeen tuntiin riippuensiitä, miten hyvin arvioija oli aikaisemmin perehtynyt arviointikohtiin liitty-vään sähköiseen tausta-aineistoon.

Varsinaisen arvioinnin lisäksi on koettu tärkeäksi tulosten käsittely. Käsit-telyn onnistumista parantaa huolellinen valmistautuminen ja luotettavuus. Var-sinkin avoimissa vahvuuksia ja kehittämiskohteita koskevissa tuloksissa alku-peräisten arviointien esittäminen samanaikaisesti alustavassa analyysissa tehty-jen yhteenvetojen kanssa lisää avoimuutta. Vahvuuksia ja kehittämiskohteitapohdittaessa otetaan huomioon arvioijien näkemykset arvioinnin kohteen tär-keydestä, nykytilasta ja tavoitetasosta sekä arviointialueisiin liittyvät avoimetvastaukset. Lisäksi kiinnitetään huomiota toiminnan ja tulosten väliseen yh-teyteen tai sen puuttumiseen.

Itsearviointi ei saa olla erillinen toimenpide, vaan sen täytyy olla kiinteäosa yksikön toiminnan suunnittelua, jotta kehittämistä vaativien toimenpitei-den käynnistäminen ja eteenpäin vieminen voidaan joustavasti resursoida. Ar-vioinnit ovat johtaneet ammattikorkeakoulun kokonaisarvioinnissa strategisiinkehittämishankkeisiin. Hankkeet on vastuutettu ja aikataulutettu ja niille onvarattu erilliset resurssit. Jokaiselle hankkeelle on nimetty johtoryhmässä vas-tuuhenkilö, joka on valmistellut hankesuunnitelman. Hankesuunnitelmat onhyväksytty johtoryhmässä, joka myös seuraa kokouksissaan säännöllisesti hank-keiden etenemistä ja tavoitteiden toteutumista.

Yksiköiden itsearvioinnista nousevat kehittämishankkeet on käynnistettyyksiköissä. Arvioinnin tulokset käsitellään johdon katselmuksissa, jolloin myösmuista käynnistettävistä kehittämishankkeista sovitaan. Yksiköiden itsearvioin-nin tuloksista nostetaan tarvittaessa johtoryhmän päätöksellä yhteisiä MAMK-tasoisia kehittämishankkeita.

Itsearvioinnin on todettu parantavan arviointiin osallistuvien kokonais-kuvaa organisaation toiminnasta ja lisäävän organisaation ja sen strategian tun-temusta. Arvioinnin yhteydessä on syntynyt tehokasta ajatusten vaihtoa, jokaauttaa osallistujia myös helpommin sopeutumaan tuleviin muutoksiin ja ke-hittämishaasteisiin. Keskustelu synnyttää yhteisen kehittämisen hengen ja tar-peen. Arvioinnista saatavan hyödyn varmistaa se, että yksiköiden johtajat jalaatuvastaavat ovat sitoutuneet kehittämiseen ja osaavat motivoida henkilös-tön osallistumaan.

�

Itsearvioinnin toteutusajankohta on sopeutettu organisaation muuhunsuunnitteluaikatauluun niin, että kehittämishankkeiden mukaan ottaminentoimintasuunnitelmiin ja budjetteihin sujuu joustavasti. Kovin usein toteute-tut arvioinnit voisivat saada aikaan liiallisen määrän kehittämishankkeita, joi-den toteuttamiseen ei riittäisi resursseja. Tällöin myös into osallistua arvioin-tiin laimenisi, jos todellinen toiminnan parantaminen ja kehittäminen jäisipuuttumaan. Työmotivaatiota taas lisää se, että osallistujat pääsevät vaikutta-maan, suunnittelemaan ja antamaan palautetta ja näkevät kehitystyön ete-nevän.

Arviointikumppanin näkemys itsearvioinnista

Itsearvioinnilla haravoidaan koko MAMKin organisaation toimintaa. Arviointiosoittaa kehittämiskohteita myös kumppanuuksien ja yhteiskunnallisen vai-kuttavuuden alueilla. Arviointi nähdään muutoksen läpiviennin ja muutos-johtamisen välineenä. Menetelmää kuvataan myös kipupisteiden etsijänä jastrategisten kehittämishankkeiden kuvataan kumpuavan itsearvioinnista.

Itsearvioinnin toteutustapa on erittäin systemaattinen. Tämä näkyy sel-keänä ohjeistuksena ja perehdyttämisen käytäntöinä. Suunnitteluvaihe tuoprosessiin räätälöinnin mahdollisuuksia ja varmistaa sen, että arviointitehtäväymmärretään oikein.

Johdon edustajien osallistuminen ja roolit itsearvioinnissa on harkittu on-nistuneesti. Yksiköiden tekemän arvioinnin perehdytyksestä vastaavat yksikönjohtajat ja laatuvastaavat. Johdon tekemässä arvioinnissa taustamateriaalin va-litsevat kehitysjohtaja ja laatupäällikkö. Tulosten alustavan analyysin tekee am-mattikorkeakoulun kokonaisarvioinnissa laatupäällikkö työryhmän avustuksel-la. Yksikön tulosten analysoinnista vastaa laatuvastaava yhdessä yksikön johta-jan kanssa. Ammattikorkeakoulun kokonaisarvioinnissa konsensuskokouksenpuheenjohtajana toimii kehitysjohtaja ja yksiköiden arvioinnissa yksikön-johtaja. Ammattikorkeakoulun kehitysjohtaja ja yksikönjohtajat osallistuvatarviointiin, mikä toteuttaa Pattonin (1997) ajatusta arvioinnista ylemmän joh-don velvollisuutena ja johtamistyön osa-alueena.

Johdon roolin painottumisesta huolimatta itsearviointi sisältää yhteisöl-listä tiedonmuodostusta ja tahdonmuodostusta tukevia piirteitä. Osallistujienalkuperäisten arviointien esittäminen samanaikaisesti alustavassa analyysissatehtyjen yhteenvetojen kanssa tuo läpinäkyvyyttä ja edesauttaa tiedonmuo-dostusta. Arviointiin osallistuneiden näkemykset arvioinnin kohteen tärkey-destä, nykytilasta ja tavoitetasosta otetaan huomioon analyysissa. Edelleen kon-sensuskokouksessa kehittämishankkeiden tärkeysjärjestyksestä äänestetään.Itsearvioinnin kautta henkilökunta voi käsitellä nimenomaan heille tärkeitä

�

asioita, kuten opetuksen sekä tutkimus- ja kehitystyön sisältöjä ja toteutustasillä kielellä joka on heille tuttua. Arviointien kautta johto saa tietoa henki-löstön näkemyksistä. Kun jokainen huomaa itse muutostarpeen työssä, sitou-dutaan myös kehittämistyöhön paremmin, eikä kehittäminen jää vain johta-jien vastuulle.

Itsearvioinnin merkittävin vahvuus on siinä, että toimenpiteiden ja ke-hittämishankkeiden määrittäminen on sisäänrakennettu arviointimalliin. Ar-vioinnin ytimenä näyttää olevan konsensuskokous, jossa valitaan tärkeimmätkehittämiskohteet ja laaditaan kehittämissuunnitelmat ja hankkeet. Yksiköidentekemästä arvioinnista nousevat kehittämishankkeet käynnistetään yksiköissäja käsitellään johdon katselmuksissa. Ammattikorkeakoulun johdon tekemienarviointien perusteella asetetaan strategisia kehittämishankkeita, joille nime-tään johtoryhmässä vastuuhenkilö, joka on myös hankesuunnitelman valmis-telija. Johtoryhmä hyväksyy hankesuunnitelmat ja seuraa kokouksissaan hank-keiden etenemistä. Itsearvioinnit sijoittuvat toiminnanohjausprosessissa opti-maalisesti eli kevään arviointivaiheeseen, joka edeltää toiminnan ja taloudensuunnittelua. Tällöin kehittämishankkeiden sisällyttäminen toimintasuunnitel-miin ja budjetteihin sujuu luontevasti.

Hankkeiden johtoryhmäkäsittelyn ajankohdista (syksyn ensimmäinen ko-kous, visiopäivät ja teemapäivät) on sovittu tarkasti. Ammattikorkeakoulun laa-tutiimi on mukana johdon itsearvioinnista lähteneiden koko ammattikorkea-koulun tasoisten hankkeiden konkretisoinnissa. Vastaavasti yksiköiden laatu-tiimit ovat mukana yksiköiden kehittämishankkeiden toteutuksen seurannas-sa. Jalkauttamisprosessia pidetään kaiken kaikkiaan hyvin tärkeänä asiana. Kunkoko hanke on tehty ja valmis, se saa arviointina ”hymynaaman”.

Koko EFQM-itsearvioinnin tekeminen on melko laaja ja raskas prosessi,johon liittyy laaja tausta-aineisto. Arvioinnissa toteutuu laatusyklin periaateoikeaoppisesti, sillä malliin sisältyy myös seuranta. Konsensuskokouksessakäsitellään aikaisempien arviointien perusteella käynnistyneiden kehittämis-hankkeiden tilanne. Voidaan kysyä, voiko arviointitiedon instrumentaalinenkäyttö tapahtua enää selvemmin kuin Mikkelin ammattikorkeakoulussa itse-arviointien hyödyntämisessä toiminnanohjauksessa.

��

� Kehittyvät käytänteet

��� Toimintasuunnitelmakäytäntöön sisältyvä itsearviointiTurun ammattikorkeakoulussa

Turun ammattikorkeakoulu, opetuksen tulosalueet ja niiden koulutusohjelmatsekä kehittämisen tulosalueen palvelukokonaisuudet ja tukitoiminnot määrit-televät vuosittain toimintasuunnitelmassaan kehittämistavoitteet. Toiminta-suunnitelma perustuu tasapainotetun tuloskortin eli Balanced Scorecardin(BSC) viitekehykseen. Ammattikorkeakoululle ja opetuksen tulosalueille on4T-portaalissa käytössä toimintasuunnitelman www-lomakepohja. Toiminta-suunnitelma laaditaan yhtenäisen viitekehyksen mukaan, joka sisältää yhteisetarviointikysymykset, laadulliset ja määrälliset tavoitteet mittareille sekä toi-menpiteet. Vastaavasti koulutusohjelmilla on yksi yhteinen toimintasuunnitel-man lomakemalli, kuten myös kehittämisen tulosalueen palvelukokonaisuuk-silla ja tukitoiminnoilla. Kunkin organisaatioyksikön toimintasuunnitelmanvalmisteluun sisältyy kevyt itsearviointi, jota ohjaavat toimintasuunnitelma-pohjan kysymykset. Liitteenä 1 on esimerkki ammattikorkeakoulun toimin-tasuunnitelman välilehdestä.

Toimintasuunnitelmien lomakemallit on valmisteltu toiminnanohjauksenkehittämisprojektin määrittelypalavereissa, joihin osallistuivat rehtori sekä kou-lutusjohtajien, koulutuspäälliköiden ja tukitoimintojen päälliköiden edustajat.Ammattikorkeakoulun ja opetuksen tulosalueen toimintasuunnitelman mit-taristoa on uudistettu johtoryhmän käsittelyn perusteella kaksi kertaa, viimeksivuoden 2008 suunnitelmiin. Tällä hetkellä koulutusprosessin määrälliset tavoit-teet asetetaan seuraaville mittareille:– tutkintojen määrä (erikseen nuorten koulutus, aikuisten tutkintoon joh-

tava koulutus, YAMK-koulutus)– keskimääräinen opiskeluaika (erikseen nuorten koulutus, aikuisten tut-

kintoon johtava koulutus, YAMK-koulutus) (v)– tutkinnon suorittaneet / 5 vuotta aikaisemmin aloittaneet, nuorten kou-

lutus (%)– opintopistekertymä / opiskelija (erikseen nuorten koulutus, aikuisten tut-

kintoon johtava koulutus, YAMK-koulutus)– eroamisaste, läsnäolevista nuorten koulutuksen opiskelijoista (%)– eroamisaste, aikuisten tutkintoon johtava koulutuksen opiskelijoista (%)– suoritetut verkko-opinnot / läsnäolevat, nuorten koulutuksen opiskelijat– t&k-projekteissa suoritetut opintopisteet / läsnäolevat opiskelijat (p/lkm).

��

Toimintasuunnitelmakäytäntö ja siihen sisältyvän itsearvioinnin kuvaus

Toimintasuunnitelman valmistelun yhteydessä tapahtuva itsearviointi on suun-niteltu tehtäväksi kahdessa vaiheessa riippumatta siitä, mistä organisaatioyksi-köstä on kysymys. Ensimmäisessä vaiheessa, organisaatioyksikön toiminnastavastaava tekee henkilöstönsä kanssa yhteenvedon edellisen sopimuskaudenkeskeisten tavoitteiden toteutumista seuraavan rakenteen mukaisesti:– Tavoitteet saavutettiin seuraavilla osa-alueilla.– Tavoitteet saavutettiin osittain seuraavilla osa-alueilla.– Tavoitteita ei saavutettu seuraavilla osa-alueilla.Itsearvioinnin toinen vaihe on nykytilan arviointi ja kehittämiskohteidenmäärittely tasapainotetun tuloskortin eri näkökulmista. Ammattikorkeakoulun,tulosalueen ja koulutusohjelman toimintasuunnitelmarungot sisältävät tasapai-notetun tuloskortiston viitekehyksen viisi näkökulmaa, jotka ovat yhteiskun-nalliset vaikutukset, asiakkuus, talous, prosessit ja osaaminen. Tässä arviointi-vaiheessa on tarkoitus hyödyntää paitsi ammattikorkeakoulun laadunvarmis-tusjärjestelmän eri menettelyiden tuottamaa tietoa myös vastuuhenkilön jahänen tiiminsä kokemusperäistä tietoa. Esimerkiksi koulutusohjelma voi hyö-dyntää eri tavalla kerättyä opiskelijapalautetta, oppimistulosten arviointien tu-loksia, sijoittumisseurannan tuloksia, toimintasuunnitelman määrällisten mit-tareiden toteutumatietoja, valtakunnallisen Opala-kyselyn tuloksia, koulutus-ohjelmien ristiinarviointeja sekä vuorovaikutuksessa henkilöstöltä, neuvotte-lukunnilta ja muilta työelämän edustajilta saatua palautetta.

Turun ammattikorkeakoulussa toimintasuunnitelma nähdään toiminnan-ohjausta ja laadunvarmistusta integroivana työkaluna, jonka kysymyksenaset-telu kannustaa vastuuhenkilöitä arviointitiedon ja palautteiden hyödyntämi-seen toiminnan kehittämiseksi. Toimintasuunnitelmassa määritellyt toimenpi-teet perustuvat aina joko strategisiin tavoitteisiin tai itsearvioinnissa havaittui-hin kehittämiskohteisiin. Kokonaisstrategian tavoitteiden konkretisointi sanal-lisiksi ja määrällisiksi vuositavoitteiksi tehdään toimintasuunnitelmaan eriBSC-näkökulmista. Kuhunkin näkökulmaan sisältyvien strategisten tavoittei-den toteutumista seurataan jatkuvan parantamisen periaatteen mukaan seu-raavasti:– nykytilan arviointi ja kehittämiskohteet– tavoitteet– määrälliset tavoitteet (seurantamittarien kolmen edellisen vuoden toteu-

tuma-arvot, kuluvalle vuodelle sovittu tavoitearvo, kolmen tulevan vuo-den tavoitearvot)

– toimenpiteet: vastuut ja toimenpiteen kuvaus sisältäen aikataulun ja bud-jetin.

��

Rehtori julkaisee ammattikorkeakoulun toimintasuunnitelmaluonnoksen 4T-portaalissa toukokuussa strategiaseminaari II:n yhteydessä. Tällöin koko hen-kilöstöllä on mahdollisuus tutustua suunnitelmaan, johon sisältyy korkea-koulun johdon tekemä itsearviointi. Opetuksen tulosalueet ja kehittämisentulosalueen palvelukokonaisuudet ja tukitoiminnot aloittavat toimintasuunni-telman valmistelun toukokuussa ja lähettävät suunnitelmaluonnoksensa kor-keakoulun johdolle elokuun alkupuolella samanaikaisesti talousarvioehdotuk-sen kanssa. Johto päivittää julkaistua ammattikorkeakoulun suunnitelmaa elo–syyskuussa. Päivityksessä otetaan huomioon tulosalueiden suunnitelmat sekäTurun kaupungille tehtävään talousarvioehdotuksen sisältyvien tuloskorttienseurantamittareiden tavoitetasot, joiden suhteen ammattikorkeakoulun toi-mintasuunnitelma tulee saada yhteensopiviksi.

Valmistelun aikana kaikki organisaatioyksiköt voivat lähettää työversioitakommentoitavaksi oman organisaationsa henkilöstölle. Henkilö voi antaa por-taalin kautta nimellään palautetta oman organisaatioyksikön suunnitelmantyöversioon sekä julkaistuun suunnitelmaluonnokseen49.

Itsearvioinnin hyödyntämistä ja toimintasuunnitelmien merkitystä toi-minnanohjauksessa (johtamisprosessissa) vahvistaa ylemmältä organisaatiotasol-ta saatava palaute sekä hyväksymiskäytäntö. Opetuksen tulosalueen toiminta-suunnitelman määritellyt seuraavan vuoden tavoitteet ja kehittämistoimenpi-teet käsitellään vuosittain marraskuussa tavoiteneuvottelussa, johon osallistu-vat rehtori, vararehtorit, kehityspäällikkö ja talouspäällikkö sekä kultakin ope-tuksen tulosalueelta koulutusjohtaja, koulutuspäälliköt sekä tutkimus- ja ke-hityspäällikkö. Ennen tavoiteneuvottelua rehtori julkaisee kullekin tulos-alueelle 4T-tarjouksen, joka sisältää toimintasuunnitelmaluonnokseen annetutjohdon palautteet, kysymykset ja kommentit esim. tulosalue määrällisistä ta-voitteista. Ammattikorkeakoulun neuvottelijat käyttävät 2–3 päivää valmistau-tuessaan kuuden tulosalueen tavoiteneuvotteluun.

Opetuksen tulosalueen tavoiteneuvottelu kestää 2,5 tuntia ja siinä keski-tytään johdon palautteessa ja kommenteissa esille nostettuihin asioihin. Tavoi-teneuvottelun jälkeen toimintasuunnitelma palautuu tulosalueelle täsmen-tämistä ja hyväksymistä varten. Rehtori vahvistaa tulosalueiden toiminta-

49 Esimerkiksi opetuksen tulosalueen henkilöstöön kuuluva pääsee portaalissa katsomaan tu-losalueensa kaikkien koulutusohjelmien hyväksytyt toimintasuunnitelmat kuluvalle vuodellesekä seuraavalle vuodelle laaditut koulutusohjelmien julkaisemat suunnitelmaluonnokset. Vas-taavasti hän voi katsoa ammattikorkeakoulun kuluvan vuoden toimintasuunnitelmaa ja seuraa-van vuoden suunnitelmaluonnosta, oman tulosalueensa kuluvan vuoden toimintasuunnitelmaasekä antaa palautetta tulosalueensa seuraavan vuoden toimintasuunnitelmaluonnokseen.

��

suunnitelmat vuoden lopussa talousarvion käyttösuunnitelman hyväksymisenyhteydessä.

Tulosaluetta johtavan koulutusjohtajan vastuulla on varmistaa, että tulos-alueen ja sen koulutusohjelmien suunnitelmat noudattavat yhteistä linjaa.Opetuksen tulosalueilla on järjestetty vuosisuunnitteluseminaareja ja työ-kokouksia, joissa on työstetty tulosalueen toimintasuunnitelmaa sekä käsiteltykoulutusohjelmien suunnitelmaluonnoksia. Koulutusjohtaja voi antaa 4T-por-taalissa palautetta koulutusohjelmien toimintasuunnitelmiin. Koulutusjohtajavoi myös palauttaa koulutusohjelman toimintasuunnitelman valmisteluunkoulutuspäällikölle, joka täsmentämisen jälkeen lähettää suunnitelman uudel-leen koulutusjohtajalle. Koulutusjohtaja vahvistaa tulosalueensa koulutus-ohjelmien toimintasuunnitelmat sisäisten tavoiteneuvottelujen jälkeen joulu-kuun puoliväliin mennessä.

Turun ammattikorkeakoulun edustajien näkemys itsearvioinnistaosana toimintasuunnitelmakäytäntöä

Toimintasuunnitelmakäytäntö ja itsearviointi tähtäävät jatkuvaan parantami-seen pienten askelten kautta. Arvioinnin hyödyntäminen on pyritty rakenta-maan sisään toimintasuunnitelman logiikkaan.

Toimintasuunnitelmakäytäntö ja siihen sisältyvä itsearviointi nähdään Tu-run ammattikorkeakoulussa ensisijaisesti organisaatioyksikön vastuuhenkilönomana työkaluna ja ensisijaisesti kehittävän arvioinnin menetelmänä. Arvioin-nin tarkoitus on tunnistaa kehittämistarpeita, joista valitaan vuosittain vain ra-jallinen määrä konkreettisia kehittämiskohtia. Niihin suunnitellaan toimen-piteet, joille määritellään vastuuhenkilöt ja budjetit.

Kaikkien organisaatioyksiköiden vastuuhenkilöt (rehtori, vararehtorit,koulutusjohtajat, koulutuspäälliköt, tukitoimintojen päälliköt) tekevät itse-arvioinnin säännöllisesti. Tämä vahvistaa laatukulttuuria ja vahvistaa käsitystäarvioinnista johtavien viranhaltijoiden ja muiden esimiesten velvollisuutenaja johtamistyön osa-alueena.

Toimintasuunnitelmakäytäntö tuottaa läpinäkyvyyttä kunkin organisaa-tioyksikön vastuuhenkilön toimintaan. Esimerkiksi kunkin tulosalueen kou-lutusjohtaja vastaa sovittujen toiminnallisten ja taloudellisten tavoitteiden saa-vuttamisesta. Koulutusjohtaja määrittelee toimintasuunnitelmassa toiminnal-liset tavoitteet sekä arvioi, missä määrin asetetut tavoitteet on saavutettu.

On mahdollista, että erityisesti itsearvioinnin ensimmäinen vaihe (tavoit-teiden toteutumisen arviointi) mielletään pikemmin tilivelvollisuusarvioinniksikuin organisaatioyksikön sisäiseksi kehittäväksi arvioinniksi. Edelleen se, pi-tääkö vastuuhenkilö toimintasuunnitelmaa toiminnan kehittämisen tukityö-kaluna vai tilivelvollisuuteen liittyvänä raportoinnin työkaluna, riippuu pit-

��

kälti siitä miten vastuuhenkilö kokee ylemmän organisaatiotason antaman pa-lautteen ja ohjauksen. Toiminnallisten tavoitteiden toteutumista arvioidaantyypillisesti määrällisten tavoitteiden toteutumisen kautta. Toimintasuunnitel-man määrälliset mittarit eivät sinällään ole itsearviointi vaan aineisto, jota or-ganisaatioyksikön vastuuhenkilö voi hyödyntää itsearvioinnissa. Päätettäessäammattikorkeakoulun sisäiseen tuloksellisuusrahoituksen kohdentamisestakäytetään eräitä tulosalueen toimintasuunnitelman määrällisiä mittareita, min-kä lisäksi arvioinnissa otetaan huomioon toimintasuunnitelman selkeys ja näy-töt toimeenpanon onnistumisesta. Tilivelvollisuusarvioinnin ja kehittävän ar-vioinnin jännite näkyy jossain määrin myös toimintasuunnitelmakäytännössä.

Puutteeksi työkalun käytössä on havaittu se, että koulutusohjelmat ole ei-vät ole vielä kattavasti saaneet toimintasuunnitelmistaan kirjallista palautettakoulutusjohtajilta. Koulutusjohtaja voi kirjoittaa palautteensa johdon kom-mentit -tekstikenttään. Tämän uuden käytännön jalkauttaminen vaatii aikaa.

Koulutusohjelmien toimintasuunnitelmien valmistelun ajankohta kesä–elokuussa oli ongelmallinen koulutusohjelmien koulutuspäällikköinä toimi-vien opettajien vuosilomien takia. Tämän vuoksi koulutusohjelmien toimin-tasuunnitelmien valmistelu siirrettiin vuonna 2008 syys–marraskuulle. Ajan-kohdan muutoksella haluttiin mahdollistaa koulutusohjelmien opettajien laa-jempi osallistuminen itsearviointiin ja toimintasuunnitelman valmisteluun.

Vuonna 2008 havaittiin lisäksi, että tasapainotetun tuloskortin viitekehyk-seen perustuva toimintasuunnitelman rakenne ei tue riittävästi koulutus-ohjelman itsearviointia ja suunnittelua. Tilanteen korjaamiseksi laadittiin pi-lottikäyttöön koulutusohjelman itsearvioinnin tukilomake, joka sisältää aiem-paa tarkemmat itsearvioinnin kysymykset opetuksen suunnittelun ja toteutuk-sen sekä opiskelijoiden ohjauksen osa-alueilta. Esiin on noussut tarve ohjeis-taa itsearviointi paremmin ja mahdollisesti järjestää tähän valmennusta. Tällähetkellä perehdytys itsearviointiin puuttuu kokonaan, mikä heikkous tuleekorjata ennen seuraavaa suunnittelukierrosta. Koulutusohjelman itsearvioin-nin toteutustapa riippuu nykyisin koulutuspäällikön perehtyneisyydestä jamotivaatiosta.

Ammattikorkeakoulun ja tulosalueen toimintasuunnitelma on varsin laa-ja, minkä seurauksena suunnitelman huolellinen valmistelu vaatii ammatti-korkeakoulun johdolta ja koulutusjohtajilta mittavan panoksen. Laajuus joh-tuu Balanced Scorecard -viitekehyksen tuomasta moninäkökulmaisuudesta jatoisaalta strategisten tavoitteiden suuresta määrästä. Suunnitelman fokusoin-tiin ja mittareiden karsintaan tarjoutuu luonteva tilaisuus, sillä Turun ammat-tikorkeakoulu on käynnistänyt uuden kokonaisstrategian valmistelun vuoden2009 alussa.

��

Arviointikumppanin näkemys itsearvioinnistaosana toimintasuunnitelmakäytäntöä

Itsearvioinnissa omaa toimintaa, toimintatapoja ja toiminnan tuloksia tarkas-tellaan järjestelmällisesti tiettyjä arviointikriteerejä vasten. Turun ammatti-korkeakoulun organisaatioyksiköiden toimintasuunnitelmien valmisteluun si-sältyvä itsearviointi sisältää monia erinomaisia kehittävän arvioinnin käytän-töjä. Itsearvioinnissa tehdään systemaattinen arvio edellisellä kerralla asetettu-jen kehittämistavoitteiden saavuttamisesta. Arviointi varmistaa myös yksiköi-den tavoitteiden strategialähtöisyyden.

Itsearviointiprosessi on hyvä tapa varmistaa laadunvarmistusjärjestelmäntuottaman tiedon hyödyntäminen toiminnan kehittämisessä. Määrällisten mit-tareiden tuottamaa tietoa täydennetään kokemusperäisellä tiedolla, mikä lisääarviointiin laadullisen elementin.

Itsearviointien valmistelu 4T-portaalissa tuo prosessiin läpinäkyvyyttä jamahdollistaa henkilöstön perehtymisen ja osallistumisen sekä palautteen an-tamisen. Yhteinen portaali parantaa myös tiedon jakamista, kun arvioinnit ovathyödynnettävissä kautta koko organisaation. Portaali on lisäksi erinomainentapa dokumentoida kehittämistoimenpiteitä ja niiden toteutumista.

Systemaattinen ja perusteellinen 4T-portaalin käyttö sitoo paljon työai-kaa esimerkiksi koulutusjohtajilta, joiden tehtävänä on käsitellä koulutus-ohjelmien toimintasuunnitelmat ja antaa niistä palautetta koulutusohjelmienkoulutuspäälliköille. Kyseessä on melko uusi työkalu, joten toiminnallisuudetkuten väliraportoinnin työkalut ovat osittain vielä kehitysvaiheessa. Tämä nä-kyy varsinkin organisaatioyksiköiden erilaisina toteutuksina. Portaali mahdol-listaa kuitenkin hyvien käytäntöjen levittämisen.

��� Johdon katselmukset Mikkelin ammattikorkeakoulussa

ISO 9001:2000 -standardin mukainen johdon katselmus perustuu ajatukseen,että johdon tulee katselmoida organisaation laadunhallintajärjestelmä ennaltasuunnitelluin väliajoin. Tarkoituksena on varmistaa järjestelmän jatkuva sovel-tuvuus, asianmukaisuus ja vaikuttavuus. Koulutusorganisaatiossa katselmuksentulee sisältää opetus- ja tukijärjestelmien, asiakastyytyväisyyden, arviointikri-teerien, arviointitulosten ja dokumentoitujen parannusten katselmus. Par-haimmillaan johdon katselmukset ovat tilaisuuksia, joissa keskustellaan avoi-mesti, esitetään uusia ideoita ja arvioidaan myös johdon panoksia toiminnanedistämisessä.

Organisaatiolle lisäarvoa tuottavat johdon katselmukset pohjautuvat sel-laisiin lähtötietoihin, jotka johtavat laadunhallintajärjestelmää laajempaan suo-rituskyvyn parantamiseen. Lähtötietojen tulee sisältää informaatiota mm. asia-kaspalautteista, korjaavien ja ehkäisevien toimenpiteiden tilanteesta, aiempien

��

johdon katselmusten seurantatoimenpiteistä ja parantamissuosituksista. Katsel-musten tuloksiin tulee sisältyä laadunhallintajärjestelmään ja sen prosessien pa-rantamiseen, asiakasvaatimuksiin liittyviin parannuksiin ja resurssitarpeisiin liit-tyvät päätökset ja toimenpiteet. Katselmuksista tulee pitää tallenteita.50

Johdon katselmuksen toteutus

Ensimmäiset johdon katselmukset Mikkelin ammattikorkeakoulussa suoritti-vat vuonna 1998 rehtori ja kehitysjohtaja. Katselmuksessa käytiin läpi koulu-tusyksiköiden laadun kehittämisen tarkistuslista. Erityisesti keskityttiin ensim-mäistä kertaa tehdyn henkilöstön ilmapiirikartoituksen tulosten arviointiin.Toinen tärkeä tarkastelualue oli opetusjärjestelyt.

Nykyisin johdon katselmukset järjestetään toiminnanohjaus- ja laatujär-jestelmän mukaisesti toimintavuoden aikana ennakolta valmistellun aineistonpohjalta. Keskitetysti valmisteltu aineisto on henkilöstön intranetissä kaikkienosapuolten käytettävissä jo ennen katselmustilaisuutta. Johdon katselmuksetliittyvät ammattikorkeakoulun arviointi- ja seurantajärjestelmään, toiminnanja henkilöstön kehittämiseen. Arviointi ja seuranta antavat ammattikorkea-koulun käyttöön pohjatietoa toiminnan laadusta ja tuloksista. Johdon katsel-musten tavoitteena on arvioida sitä, miten toiminta on edistynyt ja käydä sii-hen liittyvää tiedon vaihtoa. Johdon tavoitteena on myös tukea ja edistää yk-siköiden toimintaa.

Katselmuksen suorittavat rehtori, kehitysjohtaja sekä hallinto- ja talous-johtaja. Koulutuksen tulosalueille on varattu aikaa koko päivä ja muille yksi-köille noin kaksi ja puoli tuntia. Koulutuksen tulosalueilla ja muissa yksiköis-sä katselmuksiin osallistuu johtajien lisäksi eri sektoreiden tai avainalueidenvastuuhenkilöitä, muun henkilöstön edustaja sekä koulutuksen laitoksilla opis-kelijoiden edustaja. Katselmuksista tehdään muistiot, johon sovitut kehittämis-toimenpiteet kirjataan. Seuraavan vuoden katselmus alkaa edellisessä katsel-muksessa sovittujen kehittämistoimenpiteiden raportoinnilla. Muistiot ovatintranetissä koko henkilöstön saatavilla.

Katselmuksessa käsitellään edellisen vuoden taloudelliset tulokset ja ku-luvan vuoden toiminnalliset tavoitteet tuloslomakkeiden pohjalta. Tulosaluee-seen kuuluvien laitosten ja muiden tulosyksiköiden osalta käsitellään laitok-sen laatutyön kuvaukset, edellisessä katselmuksessa havaitut kehittämiskohteetja tehdyt toimenpiteet, t&k-työ sekä työyhteisön kehittämiskyselytulokset taiitsearvioinnissa esiin nousseet kehittämishankkeet. Koulutuksen laitosten osal-ta käsitellään lisäksi koulutusohjelmien tulokset: hakijatilanne, aloittaneet,eronneet, valmistuneet, vieraskielinen opetus, virtuaaliopetus, avoin amk sekä

50 SFS 2004.

��

opetusministeriön työllistymiskyselytulokset koulutusohjelma-kohtaisesti. Lo-puksi käydään läpi katselmuksessa esiinnousseet kehittämiskohteet tulevallevuodelle ja varataan aikaa tulosalueen ja laitosten esille tuomille kysymyksille.Katselmuksissa saattaa lisäksi olla vaihtuvia ajankohtaisia teemoja, kuten esi-merkiksi pedagoginen kehittäminen, organisaatiomuutos tai palvelutoiminnankehittäminen.

Mikkelin ammattikorkeakoulun edustajien näkemysjohdon katselmuksesta

Mikkelin ammattikorkeakoululla on jo kymmenen vuoden kokemus johdonkatselmuksista. Katselmuksia on vuosien mittaan kehitetty yhdenmukaistamal-la käytettäviä aineistoja ja dokumentointia sekä parantamalla sovittujen ke-hittämistoimenpiteiden seurantaa. Hyvä johdon katselmuskäytäntö toimiikinryhdikkäästi kaikissa vaiheissa: ennen katselmusta, katselmuksen aikana ja kat-selmuksen jälkeen.

On erittäin tärkeää, että katselmuksen rooli osana laadunvarmistusjärjes-telmää on selkeästi määritelty. Sekä katselmuksen toteuttava ylin johto että sii-hen osallistuvat ammattikorkeakoulun muu johto ja henkilöstön sekä opiske-lijoiden edustajat valmistautuvat katselmukseen. Katselmuksessa käydään sys-temaattisesti läpi sovitut aihealueet, jolloin ylimmälle johdolle muodostuu ko-konaiskuva organisaation eri osien toiminnasta ja tuloksista.

Katselmukset ovat myös keskustelutilaisuuksia, joissa laitosten ja yksiköi-den sekä opiskelijoiden edustajat pääsevät kertomaan näkemyksiään johdolle.Johdon tavoitteena on myös tukea ja edistää yksiköiden toimintaa. Katselmuk-sia arvostetaan ja niitä pidetään tärkeänä kanavana ylimmän johdon ja yksi-köiden välillä. Johdon katselmus on tärkeä työkalu sekä ylimmälle johdolleettä laitosten ja yksiköiden johtajille.

Laitosten ja muiden yksiköiden johto on vastuussa siitä, että katselmuk-sessa sovitut kehittämistoimenpiteet vastuutetaan ja resursoidaan. Toimen-piteiden toteutumista seurataan yksikkötasolla ja katselmuksissa. Katselmustenlähtötiedot, sovitut toimenpiteet ja niiden seuranta dokumentoidaan henki-löstön intranetissä. Arviointi ja seuranta antavat ammattikorkeakoulun käyt-töön pohjatietoa toiminnan laadusta ja tuloksista.

Johdon katselmusten edelleen kehittäminen on yksi seuraavan vuodenkehittämiskohteista. Laitosten ja yksiköiden itsearviointi tulee saamaan kat-selmuksissa merkittävämmän roolin. Katselmusten teemat tullaan myös johta-maan entistä selkeämmin ammattikorkeakoulun strategisista tavoitteista ja kat-selmuksista tulee tältäkin osin tärkein toiminnan arviointitapahtuma. Uutenakatselmuksiin lisätään ylimmän johdon ja tulosalueen koko henkilöstön ta-paaminen katselmuksen päätteeksi. Tässä tilaisuudessa ylin johto kertoo koko

�

henkilöstölle katselmuksen tärkeimmät johtopäätökset: tulosalueen onnistu-miset ja kehittämiskohteet.

Arviointikumppanin näkemys johdon katselmuksesta

Johdon katselmuksessa käydään kerran vuodessa läpi tulosalueittain keskus-tellen tulosalueen ja laitosten toiminnan taloudelliset ja toiminnalliset tavoit-teet ja keskeiset tulokset. Alaotsikoita keskustelussa ovat mm. laatukäytännöt,edellisessä katselmuksessa havaitut kehittämiskohteet ja tehdyt toimenpiteet,hakijatilanne, aloittaneet, eronneet, valmistuneet, vieraskielinen opetus vir-tuaaliopetus, avoin ammattikorkeakoulu, valmistuneiden työllistyminen, työ-yhteisön kehittämiskysely. Tuloskorttien luvut käydään yksityiskohtaisesti läpi.Viimeisenä kirjattavana kohtana ovat katselmuksessa esiinnousseet kehittämis-kohteet tulevalle vuodelle. Katselmuksissa saattaa lisäksi olla vaihtuvia ajan-kohtaisia teemoja, kuten esimerkiksi pedagoginen kehittäminen, organisaa-tiomuutos tai palvelutoiminnan kehittäminen.

Johdon katselmuksella on selkeä systemaattinen malli. Katselmuksen ete-nemiselle on selkeä struktuuri ja käsiteltävien asioiden tukena on kyselyistä,tilastoista ja mittareista saatua pohjatietoa. Pohja-aineistot ovat kattavat jayhtenäiset. Tietoa voidaan tarkastella helposti johdon katselmuksen aikana.Erityisesti tilastotiedon tarkastelua helpottava Staff-intranet on koettu toimi-vaksi.

Johdon katselmuksen käytäntö on toimiva sekä sisällön ja käsittelytavan,että sitoutumisen ja yhteishengen kasvamisen kannalta. Johto saa katselmuk-sessa tietoa tulosalueiden toiminnasta ja voi samalla välittää uusia kehittämi-sen suuntia sekä seuraavan vuoden tavoitteita tulosalueille ja laitoksille. Joh-don katselmuksessa esille tulleita haasteita ovat olleet hakijamäärien kehitys jaentistä tiiviimpi kytkös paikalliseen alueeseen, työelämän tarpeisiin ja työn-antajiin.

Katselmukset ovat myös keskustelutilaisuuksia, joissa laitosten ja yksiköi-den sekä opiskelijoiden edustajat pääsevät kertomaan näkemyksiään johdolle.Johdon tavoitteena on myös tukea ja edistää yksiköiden toimintaa. Katselmuk-sia arvostetaan ja niitä pidetään tärkeänä kanavana ylimmän johdon ja yksi-köiden välillä. Myös tulosalueiden henkilöstön osallistuminen ja vuoropuhe-lu korkeakoulun johdon kanssa on mahdollista. Henkilöstö on voinut todeta,että ammattikorkeakoulun johto on kiinnostunut siitä, mitä henkilöstö tekee.Samalla on voitu arvioida yhdessä sitä, missä tilanteessa ollaan ja mitä pitääseuraavaksi tavoitella. Tämä on luonut hyvää kehittämishenkeä.

Johdon katselmus on tärkeä työkalu sekä ylimmälle johdolle että laitos-ten ja yksiköiden johtajille. Nykyinen johdon katselmuksen malli mahdollistaa

�

suoran vuorovaikutuksen. Katselmukseen on varattu riittävästi aikaa: koulu-tuksen tulosalueille koko päivä ja muille yksiköille noin kaksi ja puoli tuntia.

Mikkelin ammattikorkeakoulun johdon katselmus näyttää sisältävän osit-tain samoja elementtejä kuin Turun ammattikorkeakulun sisäisen tavoite-neuvottelun käytäntö. Mikkelin ammattikorkeakoulun johdon katselmuksenmallin pohjalta Turun ammattikorkeakoulussa otettiin syksyllä 2008 käyttööntulosalueen kehittämispäivä, joka sisältää aiempaa tapaan sisäisen tavoiteneu-vottelun ja uusina elementteinä ammattikorkeakoulun johdon ja opiskelijoi-den tapaamisen, henkilöstön kyselytunnin, johdon puheenvuorot ammatti-korkeakoulun ajankohtaisista asioista sekä päivän lopuksi tulosalueen hyvänkäytännön esittelyn.

��

� Johtopäätökset

Turun ja Mikkelin ammattikorkeakoulujen toiminnanohjauksen ja laadun-varmistusjärjestelmien arvioinnin ja vertailukehittämisen (benchmarking) pe-rusteella on mahdollista esittää johtopäätöksiä arvioinnin parempaan hyödyn-tämiseen toiminnan kehittämisessä. Projektiryhmä esittää eräitä arvioinnin ku-luessa tunnistettuja tekijöitä, jotka näyttävät olevan yhteydessä laatua paranta-vien toimenpiteiden käynnistämiseen.

Havaintojemme mukaan itsearviointien ja muiden sisäisten arviointi-prosessien systemaattisuuteen, ohjeistukseen sekä perehdyttämiseen tulee kiin-nittää erityistä huomiota. Arviointiin tulee olla selkeä dokumentoitu menet-telytapa, johon osallistujat perehdytetään. Tällöin varmistetaan, että arvioin-nin kohteena olevat ymmärtävät arvioinnin tavoitteet ja tarkoituksen. Ar-vioinnin suunnittelun ja perehdyttämisen vastuiden tulee olla selkeät.

Arviointien yhteissuunnittelu arvioitavan kohteen edustajien ja arvioin-nin tilaajan sekä toteuttajan kesken mahdollistaa arvioinnin räätälöinnin siten,että arvioinnilla voidaan tuottaa eri asianosaisten kannalta relevanttia tietoa.Kehittävän arvioinnin periaate korostaa arvioinnin käyttäjälähtöisyyttä. Ar-vioinnin räätälöinnissä on hyödyllistä painottaa arvioinnin kohteiden tieto-tarpeita, sillä tämä lisää sitoutumista paitsi (itse)arviointiprosessiin myös ar-vioinnin tuloksiin ja edelleen tulosten ja suositusten hyödyntämiseen päätök-senteossa. Arvioinnin kohteen sitoutumisesta viime kädessä riippuu se, missämäärin arvioinnin tulokset ja suositukset realisoituvat toimintakäytäntöjenmuutoksina.

Itsearviointeihin osallistuneet kokevat toisinaan itsearviointiprosessinhyödyllisemmäksi kuin ulkoisen arviointiryhmän tuottama arvioinnin julki-nen loppuraportti. Itsearviointi tuottaa vuorovaikutuksen areenan ja voi sel-keyttää viestintää. Itsearviointia voidaan käyttää pyrittäessä luomaan työyhtei-sön yhteistä jaettua näkemystä toiminnan vahvuuksista ja kehittämiskohteistamutta myös tavoitteista ja tavoiteltavista lopputuloksista. Parhaimmillaan itse-arviointi tukee yhteisöllistä tiedonmuodostusta ja tahdonmuodostusta. Proses-sin aikana yksilöiden erilaiset näkemykset kohtaavat, jolloin yhteisen näke-myksen muodostaminen voi osoittautua haastavaksi. Yhteisöllisen tiedonmuo-dostuksen edellytyksenä on sosiaalinen vuorovaikutus. Arvioinnista oppimi-nen edellyttää yhteisiä tulkintafoorumeja sekä osallistujien kykyä ja haluk-

��

kuutta dialogiin. Tästä syystä perehdyttäminen itsearviointiin sekä ohjeistus onerittäin tärkeää.

Arviointitiedon kattava kerääminen ja tehokas hyväksikäyttö edellyttävätjohdon vahvan tuen. Erilaiset digitaaliset työkalut (intranet, johdon portaali)parantavat läpinäkyvyyttä, dokumentointia ja viestintää. Näyttää kuitenkin sil-tä, että verkkotyöskentely sinällään ei riitä yhteisöllisen itsearvioinnin fooru-miksi. Ilman kasvokkain tapahtuvaa vuorovaikutusta arvioinnin ja toiminnansuunnittelun kytkentä jää puutteelliseksi.

Arvioinnista tulee pystyä nostamaan esiin keskeiset vahvuudet ja tärkeim-mät kehittämiskohteet, jotka kannattaa hankkeistaa. Kehittämishankkeidenpriorisointi osana päätöksentekoa on äärimmäisen tärkeää, koska organisaa-tion voimavarat eivät riitä useiden laajojen kehittämishankkeiden onnistunee-seen toteuttamiseen samanaikaisesti. On suositeltavaa, että kehittämishankkei-den tai pienempien toimenpiteiden määrittäminen sisällytetään arviointi-malliin kuten EFQM-itsearvioinnissa ja toimintasuunnitelmakäytäntöön liit-tyvässä itsearvioinnissa.

Itsearvioinnit ja muut sisäiset arviointiprosessit kannattaa aikatauluttaaosaksi korkeakoulun toiminnanohjauksen vuosiprosessia siten, että arviointientuottamat kehittämiskohteet käsitellään ennen seuraavan vuoden toiminnanja talouden suunnittelua. Tällöin kehittämishankkeiden käsittely, priorisointija sisällyttäminen toimintasuunnitelmiin ja talousarvioon sujuu luontevasti.Tämä toteutuu EFQM-itsearvioinnissa ja toimintasuunnitelmakäytäntöönliittyvässä itsearvioinnissa.

Toiminnanohjauksessa ja sen dokumentaatiossa (toimintasuunnitelmissaym.) on kyettävä priorisoimaan ja rajaamaan asetettavia kehittämishankkeita.Suunnitelmien jalostamiseksi tarvitaan korkeakoulun johdon ja tulosalueenjohdon välisiä neuvottelun ja vuoropuhelun foorumeita ja käytäntöjä. Esi-merkkejä näistä ovat tavoiteneuvottelut ja johdon katselmukset. EsimerkiksiMikkelin ammattikorkeakoulun EFQM-itsearvioinnin konsensuskokoustenperusteella laaditut yksikköjen kehittämishankkeet käsitellään johdon katsel-muksissa tai johdon itsearviointien tuottamien strategisten kehittämishankkei-den osalta johtoryhmässä.

Arviointi tulee hahmottaa ylemmän johdon velvollisuutena ja johtamis-työn osa-alueena. Johdon edustajien osallistuminen ja roolit EFQM-itse-arvioinnissa ja ristiinarvioinnissa ovat tästä esimerkkejä. Myös arviointien hyö-dyntämisen seuranta tulee vastuuttaa johtoryhmään kuuluvalle henkilölle.Kaikkien tärkeintä on ammattikorkeakoulun ylimmän johdon aktiivinen roolija esimerkki arviointitiedon käyttäjänä. Ammattikorkeakoulun johdon aktii-vinen kiinnostus tunnistaa toiminnan kehittämiskohteita sekä sinnikäs tarttu-

��

minen ongelmiin rakentavat systemaattisen kehittämisen laatukulttuuria. Myösraportointivelvollisuus ammattikorkeakoulun hallitukselle sekä keskeisten tun-nuslukujen seuranta johtoryhmässä tukevat arvioinnin hyödyntämistä.

Korkeakoulujen arviointineuvoston toteuttamissa korkeakoulujen laatu-järjestelmien auditoinneissa painottuu arviointitiedon instrumentaalisenhyödyntämisen näkökulma. Projektiryhmän haluaa korostaa sitä, että ar-vioinnin hyödyntäminen on laaja ja kompleksinen ilmiö. Tätä heijastaa laajakeskustelu ja kirjallisuus seuraavista teemoista: arviointiprosessin hyödyntä-minen, arviointitiedon käsitteellinen käyttö sekä organisatorinen oppiminen.Arvioinnin hyödyntämistä kokonaisvaltaisena laajana ilmiönä tuskin voidaantavoittaa pelkästään auditoinnilla. Suuressa organisaatiossa arvioinnin perus-teella tehtävien kehittämistoimenpiteiden muuntuminen koko organisaationyhteisiksi käytänteiksi on usein pitkäkestoinen organisatorisen oppimisen pro-sessi.

��

Lähteet

Alkin, M.C. & Christie, C.A. 2004. An Evaluation Theory Tree. Teoksessa M. Alkin(toim.) Evaluation Roots. Tracing Theorists’ Views and Influences, 12–59. London:Sage.

Beckford, J. 2002. Quality. London: Routledge.Brown, G.; Bull, J. & Pendlebury, M. 1997. Assessing Student Learning in Higher

Education. London and New York: Routledge.Crossan, M., Lane, H. & White, R. 1999. An Organizational Learning Framework: From

Intuition to Institution. Academy of Management Review, 24 (3), 522–537.Davenport, T. & Harris, J. 2007. Analysoi ja voita. Talentum Media Oy. Helsinki: Karisto

Oy.Ellström, P. 2001. Integrating Learning and Work: Problems and Prospects. Human

Resource Development Quarterly 12 (4), 421–435.Heikkilä, J.; Hytönen, S., Janatuinen, T., Keto, U., Kinttula, O., Lahti, J., Malinen, H.,

Myllys, H. & Eerikäinen, M. 2007. Itsearviointityökalun kehittäminen korkeakou-luille. Mikkelin ammattikorkeakoulu. Tutkimuksia ja raportteja 20.

Hyvönen, R., Aittonen, T., Huhta, A., Jolkkonen, A., Kantola, I., Lähteenmäki, I. &Viinikkala, P. (2007). Hyvässä hengessä ja monipuolisin menetelmin – tietotekniikankoulutusohjelman arviointiraportti. Turun ammattikorkeakoulu. Turun ammattikor-keakoulun raportteja 58. Turku: Tampereen yliopistopaino.

Kaplan, R., & Norton, D. 1996. The Balanced Scorecard. Boston, MA: Harvard BusinessSchool Press.

Kaplan, R., & Norton, D. 2001. The Strategy-Focused Organisation. Boston, MA:Harvard Business School Press.

Kaplan, R., & Norton, D. 2004. Strategy Maps. Boston, MA: Harvard Business SchoolPress.

Karjalainen, A. 2002. Tentin teoria. Oulu: Oulun yliopistopaino.Kettunen, J., & Kantola, I. 2005. Management Information System Based on the Balan-

ced Scorecard. Campus-Wide Information Systems, 22(5), 263–274.Kettunen, J., & Kantola, I. 2007. E-Collaboration for Quality Assurance in Higher

Education.Teoksessa M. Khosrow-Pour (toim.) Managing Worldwide Operations and Operations

with Information Technology. IGI Publishing, 1089–1092.Kettunen, J., & Kantola, I. 2008. Quality Assurance View of a Management Information

System. Teoksessa A. Cartelli & M. Palma (toim.) Encyclopedia of Information andCommunication Technology. Volume II. Information Science Reference. New York:Hershey, 691–697.

KKA 2007. Korkeakoulujen laadunvarmistusjärjestelmien auditointi. Auditointikäsikirjavuosille 2008–2011. Korkeakoulujen arviointineuvoston julkaisuja 7: 2007. Korkea-koulujen arviointineuvosto. Tampere: Tammer-Paino Oy.

Kontio, J. Kantola, I., Angerpuro, K., Elomaa, I., Lehtisaari. H., Nupponen, E. & Ojala, S.2008. Aktiivisista kokeiluista yksissä tuumin harkittuihin ratkaisuihin – palvelujentuottamisen ja johtamisen kulutusohjelman arviointiraportti, Turun ammattikorkea-koulun raportteja 70. Turun ammattikorkeakoulu. Turku: Tampereen yliopistopaino.

��

Mikkonen, A., Virtala, M., Heikkilä, J., Mutka, U., Ikonen, H., Tulkki, H., Vänskä, K.,Laiho, K. & Toikka, M. 2004. Matkalla monikulttuuriseen hoitotyöhön. Koulutus-ohjelman ristiinarviointiraportti. Towards multicultural nursing. Cross-EvaluationReport of a Degree Programme. Jyväskylän ammattikorkeakoulun raportteja 2.Reports from Jyväskylä Polytechnic 2. Jyväskylän ammattikorkeakoulu. Jyväskylä:Jyväskylä University Press.

OPM 2004. Koulutuksen laadunvarmistus. Opetusministeriön työryhmämuistioita jaselvityksiä 2004:6. Opetusministeriö. Helsinki: Yliopistopaino.

Patton, M. Q. 1997. Utilization-Focused Evaluation. The New Century Text. London:Sage.

Raivola, R. 2000. Tehoa vai laatua koulutukseen? WSOY: Juva.Saari, S. 2002. Opettajankoulutuksen arviointi- ja kehittämisdiskurssi koulutuspoliittisessa

kontekstissa. Acta Universitatis Tamperensis 893. Tampereen yliopisto. Tampere:Tampere University Press.

SFS 2004. Suomen standardisoimisliitto SFS ry. Laadunhallintajärjestelmät. Suuntaviivojastandardin ISO 9001:2000 soveltamiselle koulutuksessa.

Ursin, J. 2007. Yliopistot laadun arvioijina. Akateemisia käsityksiä laadusta ja laadun-varmistuksesta. Koulutuksen tutkimuslaitos. Tutkimusselosteita 35. Jyväskylä:Jyväskylän yliopistopaino.

Virtanen, P. 2007. Arviointi. Arviointitiedon luonne, tuottaminen ja hyödyntäminen.Helsinki: Edita Prima Oy.

Vuorenmaa, M. 2001. Ikkunoita arvioinnin tuolle puolen. Uusia avauksia suomalaistakoulutusta koskevaan evaluaatiokeskusteluun. Jyväskylä studies in education,psychology and social research 176. Jyväskylä: Jyväskylän yliopistopaino.

Woodhouse, D. 1999. Quality and quality assurance. Teoksessa J. Knight & H. de Wit(toim.), Quality and Internationalisation in Higher Education, 29–44, Paris: OECD.

Woodhouse, D. 2003. Quality Improvement through Quality Audit. Quality in HigherEducation, 9 (2), 133–139.

Liit

e

TIIVISTELMÄ

JulkaisijaKorkeakoulujen arviointineuvosto

Julkaisun nimiAvaimia arvioinnin tehokkaampaan hyödyntämiseen – Turun ja Mikkelin ammattikorkeakoulun benchmarking

TekijätIsmo Kantola, Ulla Keto, Marjo Nykänen

TiivistelmäKorkeakoulujen arviointineuvoston vuosina 2005–2007 toteuttamissa korkeakoulujen laadunvarmistusjärjestelmien auditoin-neissa kehittämishaasteeksi on havaittu ”laadunvarmistusjärjestelmien vaikuttavuus ja niiden tuottaman tiedon jatkuva hyö-dyntäminen”. Tämän huomion perusteella Turun ammattikorkeakoulu ja Mikkelin ammattikorkeakoulu käynnistivät syksyllä2006 arviointiprojektin, jossa tunnistettiin ja kehitettiin ratkaisuja laadunvarmistuksen integroimiseksi korkeakoulun toimin-nanohjaukseen entistä paremmin.

Arviointiprojekti toteutettiin kahden ammattikorkeakoulun välisenä vertailuarviointina eli benchmarking-toimintana. Pro-jektissa etsittiin sellaisia käytäntöjä ja työkaluja, jotka tukevat arvioinnin hyödyntämistä toiminnanohjauksessa ja kehittämis-työssä.

Teoreettisena näkökulmana käytettiin arvioinnin hyödyntämistä koskevaa kirjallisuutta, erityisesti Michael Pattonia (1997).Arvioinnin hyödyntämistä voidaan lähestyä arviointitulosten hyödyntämisen näkökulmasta ja toisaalta arviointiprosessin hyö-dyntämisen kannalta. Tekijöiden ymmärrystä syvensi myös Crossanin, Lanen ja Whiten (1999) organisatorisen oppimisen viite-kehys.

Benchmarking-arviointi toteutettiin kahdessa vaiheessa, joista jälkimmäiseen sisältyi myös vierailu kumppanikorkeakou-luun. Ensimmäisessä arviointivaiheessa kartoitettiin, mitä tietoa vastuuhenkilöt tarvitsevat koulutuksen toiminnanohjaukseenja arviointiin, millaisia ovat tutkintoon johtavan koulutuksen toiminnanohjauksen ja arvioinnin työkalut ammattikorkeakouluneri organisaatiotasoilla.

Toisessa vaiheessa tarkasteltiin, miten arviointitietoa tuotetaan ja hyödynnetään ammattikorkeakouluissa ja miten hyödyn-tämistä voisi tehostaa. Syksyllä 2007 aikana ammattikorkeakoulut tekivät itsearvioinnin sekä yhden päivän arviointivierailunkumppanikorkeakouluun.

Raportissa esitetään projektin tuloksina neljä valittua arviointikäytäntöä, jotka tunnistettiin arvioinnin hyödyntämisen nä-kökulmasta parhaiten toimiviksi. Parhaat käytännöt olivat koulutusohjelman ristiinarviointi (Turun AMK) ja itsearviointi(MAMK). Kehittyviä työkaluja olivat toimintasuunnitelmakäytäntöön sisältyvä itsearviointi (Turun AMK) sekä johdon kat-selmukset (MAMK).

Benchmarking-arvioinnin perusteella projektiryhmä esittää johtopäätöksiä arvioinnin parempaan hyödyntämiseen toimin-nan kehittämisessä:– Itsearviointien ja muiden sisäisten arviointiprosessien systemaattisuus, selkeä dokumentoitu menettelytapa ja osallistujien

perehdyttäminen on edellytys sille, että arvioinnin tarkoitus ja tavoitteet ymmärretään.– Arvioinnista oppiminen edellyttää yhteisiä tulkintafoorumeja sekä osallistujien kykyä ja halukkuutta dialogiin. Arvioinnin

räätälöinnissä tulee painottaa arvioinnin kohteiden tietotarpeita, mikä parantaa sitoutumista paitsi arviointiprosessiin myösarvioinnin tuloksiin ja suosituksiin sekä niiden hyödyntämiseen.

– Suuressa organisaatiossa arvioinnin perusteella tehtävien kehittämistoimenpiteiden muuntuminen koko organisaationyhteisiksi käytänteiksi on usein pitkäkestoinen työyhteisön oppimisen prosessi.

– Arviointitiedon kattava kerääminen ja tehokas hyväksikäyttö edellyttävät johdon vahvan tuen. Erilaiset digitaalisettyökalut (intranet, johdon portaali) parantavat läpinäkyvyyttä, dokumentointia ja viestintää. Verkkotyökalut eivät siltiyksinomaan käytettyinä riitä yhteisöllisen itsearvioinnin foorumiksi.

– Arvioinnista tulee pystyä nostamaan esiin keskeiset vahvuudet ja tärkeimmät kehittämiskohteet, jotka kannattaa hank-keistaa.

– Itsearvioinnit kannattaa aikatauluttaa osaksi korkeakoulun toiminnanohjauksen vuosiprosessia siten, että arviointientuottamat kehittämiskohteet käsitellään ennen seuraavan vuoden toiminnan ja talouden suunnittelua. Kehittämishankkei-den priorisointi osana päätöksentekoa on tärkeää.

– Arviointi tulee hahmottaa ylemmän johdon velvollisuutena ja johtamistyön osa-alueena. Myös arviointien hyödyntämi-sen seuranta tulee vastuuttaa johtoryhmään kuuluvalle henkilölle.

– Ammattikorkeakoulun ylimmän johdon aktiivinen rooli ja esimerkki arviointitiedon käyttäjänä on keskeistä. Johdonaktiivinen kiinnostus tunnistaa toiminnan kehittämiskohteita sekä tarttuminen ongelmiin rakentavat systemaattisenkehittämisen laatukulttuuria.

AvainsanatAmmattikorkeakoulut, arviointi, laatu, benchmarking, koulutus

SAMMANDRAG

UtgivareRådet för utvärdering av högskolorna

PublikationAvaimia arvioinnin tehokkaampaan hyödyntämiseen – Turun ja Mikkelin ammattikorkeakoulun benchmarking(Nycklar till effektivare utnyttjande av utvärderingar)

FörfattareIsmo Kantola, Ulla Keto, Marjo Nykänen

AbstraktI de auditeringar som Rådet för utvärdering av högskolorna genomförde 2005–2007 har observerats att en utvecklingsutma-ning är kvalitetssäkringssystemens effektivitet och kontinuerligt utnyttjande av den information som dessa frambringar. Utifråndenna observation startade Åbo yrkeshögskola (TuAMK) och S:t Michels yrkeshögskola (MAMK) hösten 2006 ett utvärde-ringsprojekt där man identifierade och tog fram olika lösningar för att allt bättre integrera kvalitetssäkringen i högskolornasverksamhetsstyrning.

Utvärderingsprojektet genomfördes som en jämförande utvärdering av, dvs. i form av benchmarking mellan, två yrkeshög-skolor. Inom ramen för projektet söktes praxis och verktyg som stödjer utnyttjandet av utvärderingar i verksamhetsstyrningenoch utvecklingsarbetet.

Som teoretisk infallsvinkel anlitades litteratur om utnyttjandet av utvärderingar, i synnerhet Michael Patton (1997). Utnytt-jandet av utvärderingar kan betraktas med utgångspunkt i hur väl utvärderingsresultaten respektive utvärderingsprocessernautnyttjas. Djupare teoretisk insikt hämtades även ur Crossans, Lanes och Whites (1999) referensram för organisatoriskt lärande.

Benchmarkingen utfördes i två etapper, varav den senare innefattade även ett besök vid partnerhögskolan. Under den för-sta utvärderingsetappen kartlades vilken information ansvarspersonerna behöver för verksamhetsstyrningen inom och utvärde-ringen av utbildningen samt vilka verktyg den aktuella yrkeshögskolans olika organisationsnivåer förfogar över när det gällerverksamhetsstyrningen inom och utvärderingen av utbildning som leder till examen.

Under den andra etappen granskades hur yrkeshögskolorna producerar och utvärderar utvärderingsinformationen och hurde kunde tillgodogöra sig informationen effektivare. Hösten 2007 företog yrkeshögskolorna en självutvärdering och ett endags utvärderingsbesök vid partnerhögskolan.

I rapporten framförs som resultat av projektet fyra utvalda metoder för utvärderingspraxis, vilka konstaterades fungera bästmed avseende på utnyttjandet av utvärderingar. De bästa metoderna var korsutvärdering av utbildningsprogrammet (Åbo yr-keshögskola) och självutvärdering (S:t Michels yrkeshögskola). Verktyg som håller på att utvecklas var självutvärdering inomramen för praxisen i anslutning till verksamhetsplanen (Åbo yrkeshögskola) samt ledningens kontroller (S:t Mickels yrkeshög-skola).

På basis av benchmarkingen framför projektgruppen följande slutledningar för bättre utnyttjande av utvärderingar i ut-vecklingen av verksamheten.– Systematik i självutvärderingarna och övriga interna utvärderingsprocesser, tydligt dokumenterat förfaringssätt samt

instruering av deltagarna är en förutsättning för insikt i utvärderingarnas syfte och mål.– För att lära sig av utvärderingarna förutsätts gemensamma tolkningsforum samt hos deltagarna förmåga och vilja till dialog.

När en utvärdering skräddarsys bör man lägga vikt vid informationsbehovet i anslutning till utvärderingsobjekten, vilketgör det lättare att förbinda sig till inte bara utvärderingsprocessen utan också utvärderingsresultaten och -rekommendatio-nerna samt utnyttjandet av dessa.

– I en stor organisation är omvandlingen av de utvecklingsåtgärder som vidtas på basis av en utvärdering till gemensampraxis för hela organisationen ofta en långvarig läroprocess på arbetsplatsen.

– Mångsidig insamling och effektivt utnyttjande av utvärderingsinformationen förutsätter starkt stöd från ledningen. Olikadigitala verktyg (intranät, portal för ledningen) förbättrar genomskinligheten, dokumenteringen och informationsförmed-lingen. Användandet av enbart nätverktyg räcker ändå inte till som forum för gruppsjälvutvärdering.

– Ur en utvärdering ska man kunna ta fram de centrala styrkorna och de viktigaste utvecklingsobjekten, som med fördel kanbyggas vidare till utvecklingsprojekt..

– Det lönar sig att integrera självutvärderingarna i årsschemat för högskolans verksamhetsstyrning så att utvecklingsobjektenpå basis av utvärderingarna behandlas innan nästa års verksamhet och ekonomi planeras. Det är viktigt att utvecklingspro-jekten prioriteras som en del av beslutsfattandet.

– Utvärderingarna bör ses som en skyldighet för den högre ledningen och som ett delområde inom ledningsarbetet. Ocksåansvaret för uppföljningen av utnyttjandet av utvärderingarna bör läggas på en person i ledningsgruppen.

– Det är ytterst viktigt att yrkeshögskolans högsta ledning intar en aktiv roll och fungerar som förebild i egenskap av använ-dare av utvärderingsinformationen. Ett aktivt intresse från ledningens sida identifierar utvecklingsobjekten, och angripan-det av problemen bygger upp en kvalitetskultur för systematisk utveckling.

NyckelordYrkeshögskolor, utvärdering, kvalitet, benchmarking, utbildning

ABSTRACT

Published byThe Finnish Higher Education Evaluation Council FINHEEC

Name of publicationAvaimia arvioinnin tehokkaampaan hyödyntämiseen – Turun ja Mikkelin ammattikorkeakoulun benchmarking(Keys to better utilisation of evaluation)

AuthorsIsmo Kantola, Ulla Keto, Marjo Nykänen

AbstractIn the quality assurance systems audits performed by the Finnish Higher Education Evaluation Council (FINHEEC) during2005–2007, it was discovered that a key development challenge is presented by “the impact of quality assurance systems andthe continuous utilisation of data provided by them”. With this observation in mind, the Turku University of Applied Sciences(Turku AMK) and Mikkeli University of Applied Sciences (MAMK) launched an evaluation project in autumn 2006 to re-cognise and develop solutions for improving the integration of quality assurance in the operational management of the highereducation institutions.

The evaluation project was implemented as a comparison or benchmarking activity between the two university of appliedsciences. The project sought practices and tools that support the utilisation of evaluations in operational management anddevelopment.

The theoretical background of the project included literature on utilisation of evaluation, particularly by Michael Patton(1997). On the one hand, the utilisation of evaluation can be approached from the perspective of utilisation of evaluationresults and, on the other hand, the utilisation of the evaluation process itself. The organisational learning framework of Crossanet al. (1999) also deepened the authors’ understanding of the issue.

The benchmarking evaluation was implemented in two stages, the latter of which included a visit to the partner highereducation institution. The first evaluation stage charted what information responsible personnel need in order to steer andevaluate educational activities, and what kinds of tools are used at different organisational levels of the university of appliedsciences in steering and evaluation of education.

The second stage examined how evaluation data are produced and utilised in the universities of applied sciences and howthe utilisation could be made more effective. In autumn 2007, the universities of applied sciences conducted a self-evaluationexercise as well as a one-day evaluation visit to the partner higher education institution.

The report presents the results of the project as four selected evaluation practices that were recognised best from the per-spective of the utilisation of evaluation. The best practices were cross-evaluation between degree programmes (Turku AMK)and self-evaluation (MAMK). Tools being developed were self-evaluation included in the action plans (Turku AMK) and man-agement reviews (MAMK).

On the basis of the benchmarking evaluation, the project group presents the following conclusions in order to better uti-lise evaluation in the development of activities:– The systematic nature of self-evaluations and other internal evaluation processes, clearly documented procedures and

orientation of participants are prerequisites for understanding the meaning and goals of the evaluation.– Learning from evaluation requires common interpretative forums and participants’ ability and willingness to participate in

dialogue. Tailoring of evaluation must emphasise knowledge needs of evaluation targets, which improves commitment notonly to the evaluation process and evaluation results and recommendations as well as to their utilisation.

– In a large organisation, transforming the development procedures made on the basis of evaluation into common practiceswithin the whole of the organisation is often a long process of organisational learning.

– Comprehensive collection and efficient utilisation of evaluation data require strong support from the senior management.Various digital tools (intranet, senior management portal) increase transparency, documentation and communications.However, web-based tools in themselves are not an adequate forum for communal self-evaluation.

– It is important that key strengths and the most important development targets, which are worth turning into projects, canbe highlighted in the evaluation.

– It is worthwhile to schedule self-evaluations as part of the annual process of operational management so that the develop-ment targets produced by the evaluations are handled before the beginning of the operational and economic planning forthe next year. Prioritisation of development projects as part of decision making is important.

– Evaluation must be perceived as the duty of the senior management and part of management work. Monitoring ofutilisation of evaluations should also be made the responsibility of a member of the management group.

– The active role and example as a user of evaluation data of the university of applied sciences senior management is crucial.Senior management’s active interest in recognising the development targets in the activities and in tackling the problemscontributes to the building of a quality culture of systematic development.

KeywordsUniversities of Applied Sciences, evaluation, quality, benchmarking, education

KORKEAKOULUJEN ARVIOINTINEUVOSTON JULKAISUJA

PL 133, 00171 HELSINKI • Puh. 09-1607 6913 • Fax 09-1607 6911 • www.kka.fi

1:2000 Lehtinen, E., Kess, P., Ståhle, P. & Urponen, K.: Tampereen yliopiston opetuksen arviointi2:2000 Cohen, B., Jung, K. & Valjakka, T.: From Academy of Fine Arts to University. Same name, wider ambitions3:2000 Goddard, J., Moses, I., Teichler, U., Virtanen, I. & West, P.: External Engagement and Institutional Adjustment: An

Evaluation of the University of Turku4:2000 Almefelt, P., Kekäle, T., Malm, K., Miikkulainen, L. & Pehu-Voima, S.: Audit of Quality Work. Swedish Polytechnic,

Finland5:2000 Harlio, R., Harvey, L., Mansikkamäki. J., Miikkulainen, L. & Pehu-Voima, S.: Audit of Quality Work. Central

Ostrobothnia Polytechnic6:2000 Moitus, S. (toim.): Yliopistokoulutuksen laatuyksiköt 2001–20037:2000 Liuhanen, A.-M. (toim.): Neljä aikuiskoulutuksen laatuyliopistoa 2001–20038:2000 Hara, V. , Hyvönen, R. , Myers, D. & Kangasniemi, J. (Eds.): Evaluation of Education for the Information Industry9:2000 Jussila, J. & Saari, S. (Eds.): Teacher Education as a Future-moulding Factor. International Evaluation of Teacher

Education in Finnish Universities10:2000 Lämsä, A. & Saari, S. (toim.): Portfoliosta koulutuksen kehittämiseen. Ammatillisen opettajankoulutuksen arviointi11:2000 Korkeakoulujen arviointineuvoston toimintasuunnitelma 2000–200312:2000 Finnish Higher Education Evaluation Council Action Plan for 2000–200313:2000 Huttula, T. (toim.): Ammattikorkeakoulujen koulutuksen laatuyksiköt 200014:2000 Gordon, C., Knodt, G., Lundin, R., Oger, O. & Shenton, G.: Hanken in European Comparison. EQUIS Evaluation

Report15:2000 Almefelt, P., Kekäle, T., Malm, K., Miikkulainen, L. & Kangasniemi, J.: Audit of Quality Work. Satakunta Polytechnic16:2000 Kells, H.R., Lindqvist, O. V. & Premfors, R.: Follow-up Evaluation of the University of Vaasa. Challenges of a small

regional university17:2000 Mansikkamäki, J., Kekäle, T., Miikkulainen, L. , Stone, J., Tolppi, V.-M. & Kangasniemi, J.: Audit of Quality Work.

Tampere Polytechnic18:2000 Baran, H., Gladrow, W. , Klaudy, K. , Locher, J. P. , Toivakka, P. & Moitus, S.: Evaluation of Education and Research in

Slavonic and Baltic Studies19:2000 Harlio, R. , Kekäle, T. , Miikkulainen, L. & Kangasniemi, J.: Laatutyön auditointi. Kymenlaakson ammattikorkeakoulu20:2000 Mansikkamäki, J., Kekäle, T., Kähkönen, J., Miikkulainen, L., Mäki, M. & Kangasniemi, J.: Laatutyön auditointi.

Pohjois-Savon ammattikorkeakoulu21:2000 Almefelt, P., Kantola, J., Kekäle, T., Papp, I., Manninen, J. & Karppanen, T.: Audit of Quality Work. South Carelia

Polytechnic1:2001 Valtonen, H.: Oppimisen arviointi Sibelius-Akatemiassa2:2001 Laine, 1., Kilpinen, A., Lajunen, L., Pennanen, J., Stenius, M., Uronen, P. & Kekäle, T.: Maanpuolustuskorkeakoulun

arviointi3:2001 Vähäpassi, A. (toim.): Erikoistumisopintojen akkreditointi4:2001 Baran, H., Gladrow, W. , Klaudy, K. , Locher, J. P. , Toivakka, P. & Moitus, S.: |kspertiza obrazowaniq i nau^no-

issledowatelxskoj raboty w oblasti slawistiki i baltistiki (Ekspertiza obrazovanija i nauc’´no-issledovatelskoj raboty v oblasti slavistiki i baltistiki)

5:2001 Kinnunen, J.: Korkeakoulujen alueellisen vaikuttavuuden arviointi. Kriteerejä vuorovaikutteisuuden arvottamiselle6:2001 Löfström, E.: Benchmarking korkeakoulujen kieltenopetuksen kehittämisessä7:2001 Kaartinen-Koutaniemi, M.: Korkeakouluopiskelijoiden harjoittelun kehittäminen. Helsingin yliopiston, Diakonia-

ammattikorkeakoulun ja Lahden ammattikorkeakoulun benchmarking-projekti8:2001 Huttula, T. (toim.): Ammattikorkeakoulujen aluekehitysvaikutuksen huippuyksiköt 20019:2001 Welander, C. (red.): Den synliga yrkeshögskolan. Ålands yrkeshögskola.10:2001 Valtonen, H.: Learning Assessment at the Sibelius Academy11:2001 Ponkala, O. (toim.): Terveysalan korkeakoulutuksen arvioinnin seuranta12:2001 Miettinen, A. & Pajarre, E.: Tuotantotalouden koulutuksen arvioinnin seuranta13:2001 Moitus, S., Huttu, K., Isohanni, I., Lerkkanen, J., Mielityinen, I., Talvi, U., Uusi-Rauva, E. & Vuorinen, R.: Opintojen

ohjauksen arviointi korkeakouluissa14:2001 Fonselius, J., Hakala, M.K. & Holm, K. : Evaluation of Mechanical Engineering Education at Universities and

Polytechnics15:2001 Kekäle, T. (ed.): A Human Vision with Higher Education Perspective.Institutional Evaluation of the Humanistic

Polytechnic1:2002 Kantola, I. (toim.): Ammattikorkeakoulun jatkotutkinnon kokeilulupahakemusten arviointi2:2002 Kallio, E.: Yksilöllisiä heijastuksia. Toimiiko yliopisto-opetuksen paikallinen itsearviointi?

3:2002 Raivola, R., Himberg, T., Lappalainen, A., Mustonen, K. & Varmola, T.: Monta tietä maisteriksi. Yliopistojenmaisteriohjelmien arviointi

4:2002 Nurmela-Antikainen, M., Ropo, E., Sava, I. & Skinnari, S.: Kokonaisvaltainen opettajuus. Steinerpedagogisenopettajankoulutuksen arviointi

5:2002 Toikka, M. & Hakkarainen, S.: Opintojen ohjauksen benchmarking tekniikan alan koulutusohjelmissa. Kymen-laakson, Mikkelin ja Pohjois-Savon ammattikorkeakoulut

6:2002 Kess, P., Hulkko, K., Jussila, M., Kallio, U., Larsen, S. , Pohjolainen,T. & Seppälä, K.: Suomen avoin yliopisto.Avoimen yliopisto-opetuksen arviointiraportti

7:2002 Rantanen, T., Ellä, H., Engblom, L.-Å., Heinonen, J., Laaksovirta, T., Pohjanpalo, L., Rajamäki, T.& Woodman, J.:Evaluation of Media and Communication Studies in Higher Education in Finland

8:2002 Katajamäki, H., Artima, E., Hannelin, M., Kinnunen, J., Lyytinen, H. K., Oikari, A. & Tenhunen, M.-L.: Mahdollinenkorkeakouluyhteisö. Lahden korkeakouluyksiköiden alueellisen vaikuttavuuden arviointi

9:2002 Kekäle, T. & Scheele, J.P: With care. Institutional Evaluation of the Diaconia Polytechnic10:2002 Härkönen, A., Juntunen, K. & Pyykkönen, E.-L. : Kajaanin ammattikorkeakoulun yrityspalveluiden benchmarking11:2002 Katajamäki, H. (toim.): Ammattikorkeakoulut alueidensa kehittäjinä.Näkökulmia ammattikorkeakoulujen

aluekehitystehtävän toteutukseen12:2002 Huttula, T. (toim.): Ammattikorkeakoulujen koulutuksen laatuyksiköt 2002–200313:2002 Hämäläinen, K. & Kaartinen-Koutaniemi, M. (toim.): Benchmarking korkeakoulujen kehittämisvälineenä14:2002 Ylipulli-Kairala, K. & Lohiniva, V. (eds.): Development of Supervised Practice in Nurse Education. Oulu and

Rovaniemi Polytechnics15:2002 Löfström, E., Kantelinen, R., Johnson, E., Huhta, M., Luoma, M., Nikko, T., Korhonen, A., Penttilä, J., Jakobsson, M.

& Miikkulainen, L.: Ammattikorkeakoulun kieltenopetus tienhaarassa. Kieltenopetuksen arviointi Helsingin jaKeski-Pohjanmaan ammattikorkeakouluissa

16:2002 Davies, L., Hietala, H., Kolehmainen, S., Parjanen, M. & Welander, C.: Audit of Quality Work. Vaasa Polytechnic17:2002 Sajavaara, K., Hakkarainen, K. , Henttonen, A., Niinistö, K., Pakkanen, T. , Piilonen, A.-R. & Moitus, S.: Yliopistojen

opiskelijavalintojen arviointi18:2002 Tuomi, O. & Pakkanen, P.: Towards Excellence in Teaching. Evaluation of the Quality of Education and the

Degree Programmes in the University of Helsinki1:2003 Sarja, A., Atkin, B. & Holm, K.: Evaluation of Civil Engineering Education at Universities and Polytechnics2:2003 Ursin, J. (toim.): Viisi aikuiskoulutuksen laatuyliopistoa 2004–20063:2003 Hietala, H., Hintsanen, V., Kekäle, T., Lehto, E., Manninen, H. & Meklin, P.: Arktiset haasteet ja mahdollisuudet.

Rovaniemen ammattikorkeakoulun kokonaisarviointi4:2003 Varis, T. & Saari, S. (Eds.): Knowledge Society in Progress – Evaluation of the Finnish Electronic Library – FinELib5:2003 Parpala, A. & Seppälä, H. (toim.): Yliopistokoulutuksen laatuyksiköt 2004–20066:2003 Kettunen, P., Carlsson, C., Hukka, M., Hyppänen, T., Lyytinen, K., Mehtälä, M., Rissanen, R., Suviranta, L. &

Mustonen, K.: Suomalaista kilpailukykyä liiketoimintaosaamisella. Kauppatieteiden ja liiketalouden korkea-koulutuksen arviointi

7:2003 Kauppi, A. & Huttula, T. (toim.): Laatua ammattikorkeakouluihin8:2003 Parjanen, M. : Amerikkalaisen opiskelija-arvioinnin soveltaminen suomalaiseen yliopistoon9:2003 Sarala, U. & Seppälä, H.: (toim.): Hämeen ammattikorkeakoulun kokonaisarviointi10:2003 Kelly‚ J., Bazsa, G. & Kladis, D.: Follow-up review of the Helsinki University of Technology11:2003 Goddard, J., Asheim, B., Cronberg, T. & Virtanen, I.: Learning Regional Engagement. A Re-evaluation of the Third

Role of Eastern Finland universities12:2003 Impiö, 1., Laiho, U.-M., Mäki, M., Salminen, H., Ruoho, K.,Toikka, M. & Vartiainen, P.: Ammattikorkeakoulut

aluekehittäjinä. Ammattikorkeakoulujen aluekehitysvaikutuksen huippuyksiköt 2003–200413:2003 Cavallé, C., de Leersnyder, J.-M., Verhaegen, P. & Nataf, J.-G. : Follow-up review of the Helsinki School of

Economics. An EQUIS re-accreditation14:2003 Kantola, I. (toim.): Harjoittelun ja työelämäprojektien benchmarking15:2003 Ala-Vähälä, T.: Hollannin peili. Ammattikorkeakoulujen master-tutkinnot ja laadunvarmistus16:2003 Goddard, J., Teichler, U., Virtanen, I., West, P. & Puukka, J.: Progressing external engagement. A re-evaluation of

the third role of the University of Turku17:2003 Baran, H., Toivakka, P. & Järvinen, J.: Slavistiikan ja baltologian koulutuksen ja tutkimuksen arvioinnin seuranta1:2004 Kekäle, T., Heikkilä, J., Jaatinen, P., Myllys, H., Piilonen, A.-R., Savola, J., Tynjälä, P. & Holm, K.: Ammattikorkea-

koulujen jatkotutkintokokeilu. Käynnistysvaiheen arviointi2:2004 Ekholm, L., Stenius, M., Huldin, H., Julkunen, I., Parkkonen, J., Löfström, E., Metsä, K.: NOVA ARCADA –

Sammanhållning, decentralisering, gränsöverskridande. Helhetsutvärdering av Arcada – Nylands svenskayrkeshögskola 2003

3:2004 Hautala, J.: Tietoteollisuusalan koulutuksen arvioinnin seuranta

4:2004 Rauhala, P., Karjalainen, A., Lämsä, A.-M., Valkonen, A., Vänskä, A. & Seppälä, H.: Strategiasta koulutuksenlaatuun. Turun ammattikorkeakoulun kokonaisarviointi

5:2004 Murto, L., Rautniemi, L., Fredriksson, K., Ikonen, S., Mäntysaari, M., Niemi, L., Paldanius, K., Parkkinen, T., Tulva,T., Ylönen, F. & Saari, S.: Eettisyyttä, elastisuutta ja elämää. Yliopistojen sosiaalityön ja ammattikorkeakoulujensosiaalialan arviointi yhteistyössä työelämän kanssa

6:2004 Ståhle, P., Hämäläinen, K., Laiho, K., Lietoila, A., Roiha, J., Weijo, U. & Seppälä, H.:Tehokas järjestelmä – elävädialogi. Helian laatutyön auditointi

7:2004 Korkeakoulujen arviointineuvoston toimintakertomus 2000–20038:2004 Luopajärvi, T., Hauta-aho, H., Karttunen, P., Markkula, M., Mutka, U. & Seppälä, H.: Perämerenkaaren ammatti-

korkeakoulu? Kemi-Tornion ammattikorkeakoulun kokonaisarviointi9:2004 Moitus, S. & Seppälä, H.: Mitä hyötyä arvioinneista? Selvitys Korkeakoulujen arviointineuvoston 1997–2003

toteuttamien koulutusala-arviointien käytöstä10:2004 Moitus, S. & Saari, S.: Menetelmistä kehittämiseen. Korkeakoulujen arviointineuvoston arviointimenetelmät

vuosina 1996–200311:2004 Pratt, J., Kekäle, T., Maassen, P., Papp, I., Perellon, J. & Uitti, M.: Equal, but Different – An Evaluation of the

Postgraduate Studies and Degrees in Polytechnics – Final Report1:2005 Niinikoski, S. (toim.): Benchmarking tutkintorakennetyön työkaluna2:2005 Ala-Vähälä, T.: Korkeakoulutuksen ulkoisen laadunvarmistuksen järjestelmät Ranskassa3:2005 Salminen, H. & Kajaste, M. (toim.): Laatua, innovatiivisuutta ja proaktiivisuutta. Ammattikorkeakoulujen

koulutuksen laatuyksiköt 2005–20064:2005 Korkeakoulujen laadunvarmistusjärjestelmien auditointi. Auditointikäsikirja vuosille 2005–20075:2005 Auditering av högskolornas kvalitetssäkringssystem. Auditeringshandbok för åren 2005–20071:2006 Dill, D.D., Mitra, S. K., Siggaard Jensen, H., Lehtinen, E., Mäkelä, T., Parpala, A., Pohjola, H., Ritter, M. A. & Saari, S.:

PhD Training and the Knowledge-Based Society. An Evaluation of Doctoral Education in Finland2:2006 Antikainen, E.-L., Honkonen, R., Matikka, O., Nieminen, P., Yanar, A. & Moitus, S.: Mikkelin ammattikorkeakoulun

laadunvarmistusjärjestelmän auditointi3:2006 Kekäle, T., Ilolakso, A., Katajavuori, N., Toikka, M. & Isoaho, K.: Kuopion yliopiston laadunvarmistusjärjestelmän

auditointi4:2006 Audits of Quality Assurance Systems of Finnish Higher Education Institutions. Audit Manual for 2005–20075:2006 Rauhala, P., Kotila, H., Linko, L., Mulari, O., Rautonen, M. & Moitus, S.; Keski-Pohjanmaan ammattikorkeakoulun

laadunvarmistusjärjestelmän auditointi6:2006 Hämäläinen, K., Kantola, I., Marttinen, R., Meriläinen, M., Mäki, M. & Isoaho, K.: Jyväskylän ammatti-

korkeakoulun laadunvarmistusjärjestelmän auditointi7:2006 Kekäläinen, H.: (toim.)Neljä aikuiskoulutuksen laatuyliopistoa 2007–20098:2006 Yliopistokoulutuksen laatuyksiköt 2007–20099:2006 Ojala, I. & Vartiainen, P.: Kolmen yliopiston opetuksen kehittämistoiminnan vaikuttavuus. Lapin yliopiston,

Lappeen-rannan teknillisen yliopiston ja Vaasan yliopiston opetuksen kehittämistoiminnan vaikuttavuudenbenchmarking-arviointi

10:2006 Lappalainen, M. & Luoto, L.: Opetussuunnitelmaprosessit yliopistoissa11:2006 Levänen, K., Tervonen, S., Suhonen, M. & Stigell, L.: Verkko-opintojen mitoituksen arviointi12:2006 Vuorela, P., Kallio, U., Pohjolainen, T., Sylvander, T. & Kajaste, M.; Avoimen yliopiston arvioinnin seurantaraportti13:2006 Käyhkö, R., Hakamäki, S., Kananen, M., Kavonius, V., Pirhonen, J., Puusaari, P., Kajaste, M. & Holm, K.: Uudenlais-

ta sankaruutta. Ammattikorkeakoulujen aluekehitysvaikutuksen huippuyksiköt 2006–200714:2006 Malm, K., Lavonius, H., Nystén, P., Santavirta, N. & Cornér, S.: Auditering av Svenska yrkeshögskolans

kvalitetssäkringssystem15:2006 Papp, I., Carolan, D., Handal, G., Lindesjöö, E., Marttinen, R., Mustonen, V. & Isoaho, K.: Audit of the quality

assurance system of Seinäjoki Polytechnic16:2006 Alaniska, H. (toim.): Opiskelija opetuksen laadunarvioinnissa.17:2006 Pyykkö, R., Keränen, P., Lahti, M., Mikkola, A., Paasonen, S. & Holm, K.: Media- ja viestintäalan seuranta1:2007 Karppanen, E., Tornikoski, E., Töytäri, R., Urponen, H., Uusitalo, T., Holm, K.: Lahden ammattikorkeakoulun

laadunvarmistusjärjestelmän auditointi2:2007 Liljander, J.-P., Heikkilä, J., Lappalainen, M., Nystén, P., Sulameri, T. & Kajaste, M.: Savonia-ammattikorkeakoulun

laadunvarmistusjärjestelmän auditointi3:2007 Wahlbin, C., Heikkilä, J., Hellberg, M., Lindroos, P., Nybom, J. & Cornér, S.: Auditering av Svenska

handelshögskolans kvalitetssäkringssystem4:2007 Jokinen, T., Malinen, H., Mäki, M., Nokela, J., Pakkanen, P. & Kekäläinen, H.: Tampereen teknillisen yliopiston

laadunvarmistusjärjestelmän auditointi5:2007 Saari, S. (toim.): Korkeakouluopiskelija yhteiskunnallisena toimijana. Kansallinen benchmarking-arviointi

6:2007 Korkeakoulujen laadunvarmistusjärjestelmien auditointi. Uusinta-auditoinnin käsikirja 2007–2009 –Auditering av högskolornas kvalitetssäkringssystem. Handbok för förnyad auditering 2007–2009 –Audits of the quality assurance systems of higher education institutions. Manual for Re-Audits 2007–2009

7:2007 Korkeakoulujen laadunvarmistusjärjestelmien auditointi. Auditointikäsikirja vuosille 2008–20118:2007 Seppälä, K., Rinne, R. & Trapp, H. (eds.): Connecting Research and Client. Finnish Experience of Quality

Enhancement in University Lifelong Learning9:2007 Auditering av högskolornas kvalitetssäkringssystem. Auditeringshandbok för åren 2008–201110:2007 Audits of Quality Assurance Systems of Finnish Higher Education Institutions. Audit Manual for 2008–

201111:2007 Toikka, M., Aarrevaara, T., Isotalo, J., Peltokangas, N., Raij, K., Hiltunen, K. & Holm, K.: Kajaanin ammatti-

korkeakoulun laadunvarmistusjärjestelmän auditointi1:2008 Ståhle, P., Karppanen, E., Kiiskinen, N., Okkonen, T., Saxén, H., Uusi-Rauva, E., Holm, K.& Seppälä, H.:

Teknillisen korkeakoulun laadunvarmistusjärjestelmän auditointi2:2008 Vuorio, E., Huttula, T., Kukkonen, J., Kurtakko, K., Malm, K., Mikkola, A., Mäki, M., Rekilä, E., Yanar, A.,

Kekäläinen, H., Moitus, S. & Mustonen, K.: Helsingin yliopiston laadunvarmistusjärjestelmän auditointi3:2008 Aaltonen, E., Anoschkin, E., Jäppinen, M., Kotiranta, T., Wrede, G. H. & Hiltunen, K.: Sosiaalityön ja sosiaali-

alan koulutuksen nykytila ja kehittämishaasteet – Yliopistojen sosiaalityön ja ammattikorkeakoulujensosiaalialan koulutuksen seuranta-arviointi

4:2008 Leppisaari, I., Ihanainen, P., Nevgi, A., Taskila, V.-M., Tuominen, T. & Saari, S.: Hyvässä kasvussa – Yhdessäkehittäen kohti ammattikorkeakoulujen laadukasta verkko-opetusta

5:2008 Hiltunen, K. & Kekäläinen, H.: Benchmarking korkeakoulujen laadunvarmistusjärjestelmien kehittämisessä– Laadunvarmistusjärjestelmien benchmarking-hankkeen loppuraportti

6:2008 Rauhala, P., Liljander, J.-P., Mulari, O. & Moitus, S.: Keski-Pohjanmaan ammattikorkeakoulun laadun-varmistusjärjestelmän uusinta-auditointi

7:2008 Korkeakoulujen arviointineuvoston toimintasuunnitelma 2008–20098:2008 Hintsanen, V., Höynälänmaa, M., Järvinen, M.-R., Karjalainen, A., Peltokangas, N. & Hiltunen, K.: Vaasan

ammattikorkeakoulun laadunvarmistusjärjestelmän auditointi9:2008 Rekilä, E., Heikkilä, J., Kääpä, P., Seppälä, M., Virtanen, T., Öberg, J., Moitus, S. & Mustonen, K.: Tampereen

yliopiston laadunvarmistusjärjestelmän auditointi10:2008 Luoma, M., Daniel, H.D., Kristensen, B., Pirttilä, A., Vaisto, L., Wahlén, S., Mustonen, K. & Seppälä, H.: Audit

of the quality assurance system of Helsinki School of Economics11:2008 Stenius, M. Ansala, L., Heino, J., Käyhkö, R., Lempa, H., Niemelä, J., Holm, K. & Seppälä, H.: Turun yliopiston

laadunvarmistusjärjestelmän auditointi1:2009 Helander, E., Ahola, J., Huttunen, J., Lahtinen, M., Okko, P., Suomalainen, H., Virtanen, I., Holm, K. &

Mustonen, K.: Lisää yhteistyötä alueiden parhaaksi. Yliopistokeskusten arviointi2:2009 Saarela, M., Jaatinen, P., Juntunen, K., Kauppi, A., Otala, L., Taskila, V.-M., Holm, K. & Kajaste, M.:

Ammattikorkeakoulujen koulutuksen laatuyksiköt 2008–20093:2009 Hiltunen, K. (ed.): Centres of Excellence in Finnish University Education 2010–20124:2009 Harmaakorpi, V., Furu, P., Takala, M., Tenhunen, M.-L., Westersund, C. & Holm, K.: Turun kauppakorkea-

koulun laadunvarmistusjärjestelmän auditointi5:2009 Pirttilä, A., Keränen, P., Pirnes, H., Tiilikka, A.-M., Virtanen, A. & Seppälä, H.: Tampereen ammattikorkea-

koulun laadunvarmistusjärjestelmän auditointi6:2009 Malinen, H., Hallikainen, J., Karttunen, P., Majander, M., Pudas, M. & Mustonen, K.: Satakunnan ammatti-

korkeakoulun laadunvarmistusjärjestelmän auditointi7:2009 Suntioinen, S., Myller, E., Nieminen, P., Pohjolainen, S., Wahlgrén, A., Kajaste, M. & Moitus, S.: Lappeen-

rannan teknillisen yliopiston laadunvarmistusjärjestelmän auditointi8:2009 Urponen, H., Kinnunen, J., Levä, K., Nieminen, R., Raij, K., Seppälä, M. & Hiltunen, K.: Jyväskylän yliopiston

laadunvarmistusjärjestelmän auditointi9:2009 Papp, I., Lindesjöö, E., Töytäri, R. & Seppälä, H.: Re-audit of the Quality Assurance System of the Seinäjoki

University of Applied Sciences