1

KOULUTUKSEN TUOTTAVUUS JA ARVIOINTI

Kasvatustieteen päivätKoulutussuunnittelu ja –ekonomiasymposium 23.11.2006

Esko KorkeakoskiPääsuunnittelija, dosenttiKoulutuksen arviointisihteeristöJyväskylän yliopisto

2

TUOTTAVUUDEN PARANTAMISEN LÄHTÖKOHTIA

1) Eurooppalainen laadunedistämispolitiikka

2) Edellisen ja nykyisen hallituksen ohjelmat

3) Kansallinen tuottavuusohjelma

4) Kestävän kehityksen tukeminen julkisessa taloudessa

5) Julkisen palvelusektorin tuottavuuden ja työn laadun parantaminen

6) Yhteiskunnalliset muutostarpeet

3

MITÄ TUOTTAVUUS ON?Tuottavuudella tarkoitetaan kaikkien panosten kykyä saada aikaan

tuotoksiapanoksissa on kyse myös panosyhdistelmistä ja yhdistelmien keskinäisestä tehokkuudestatuotoksissa on kyse mm. suoritteista, toiminnan seurauksista, hyödyistä ja haitoista sekä vaikutuksista

Tuottavuus (productivity) voidaan kuvata tuotosten ja niiden

aikaansaamiseksi käytettyjen panosten suhteena

tuotosten määrä ______________

panosten määrä

Työn tuottavuus mittaa henkilöstön käytön tehokkuutta eliesim. tuotokset suoritteina (määrä ja laatu) henkilömäärää, työtuntimäärää tai työvoimakustannuksia ja henkilötyövuotta kohden. Prosessitulokset vai saavutetut tavoitteet?

4

TYÖN TUOTTAVUUS, BRUTTOKANSANTUOTE TYÖTUNTIA KOHTI , USA 2004 = 100.

0 10 20 30 40 50 60 70 80 90 100 110 120 130

Portugali

Espanja

Japani

Sveitsi

Ruotsi

Iso-Britannia

Italia

SUOMI

Tanska

Saksa

Itävalta

USA

Alankomaat

Irlanti

Belgia

Ranska

Norja

5

MITÄ ARVIOINNILLA TAVOITELLAAN?

kehittäminen oppimisen parantaminen tulosvastuu (tavoitteiden saavuttaminen)

tiedon tuottaminen eettisten tavoitteiden edistäminen

Arvoja arvioinnin ja tuottavuuden taustalla- taloudellisen kilpailukyvyn parantaminen- materiaalisen hyvinvoinnin edistäminen- ulkonaisten tehokkuuspiirteiden vahvistaminen: enemmän, nopeammin, paremmin- hyvä elämä?

(Lähteitä: mm. koululait, Patton 1990, Guba & Lincoln 1989, Scriven 1998, Jakku-Sihvonen & Heinonen 2001).

6

Arvottaminen – arvottavat

johtopäätökset, kehittämistarpeet ja

-suositukset

Auditointi -mm. tutkintatiedot

siitä, miten prosessit ja

tulokset vastaavat suunnitelmia

Sertifiointi -todistukset toiminnan laadusta

Vertailu -esim. yksiköiden,organisaatioiden järjestelmien välillä soveltuvissa kohteissa

Tiedon tuottaminen -esim. määrät, erot, yhteydet, selitykset, trenditiedot ja johtopäätökset

ARVIOINTI -kyse on kaikista niistä toimenpiteistä, joiden

avulla määritetään tarkasteltavan

kohdeilmiön tilan arvo suhteuttamisperustaan

nähden.Koulutuksen erityisyys

kohteena?

7

ARVIOINTITOIMINNAN JÄRJESTELMÄLUONNE KOULUTUKSESSA – SISÄINEN JA ULKOINEN TARKOITUKSENMUKAISUUS

RESURSSITLAIT, ASETUKSET

TAVOITTEET

TOIMINTAYMPÄRISTÖ

TALOUDELLISET

EDELLYTYKSET

PROSESSITHALLINTO

JOHTAMINEN

OPETUS

OPPIMINEN …

TULOKSETVAIKUTUKSET

VAIKUTTAVUUS

ARVIOINTIKEHITTÄMINEN

TUTKIMUS META-ARVIOINTI ENNAKOINTI FOLLOW UP

TIEDON ja TIETÄ-MYKSEN

HYÖDYNTÄMINEN

8

TIETOTUOTANTO TUOTTAVUUDEN PARANTAMISEN TAUSTALLA – arviointi panoksina, tulokset tuottavuutena

Mitä pitäisi tehdä?

Mitä todella tapahtuu koulutuk-sessa / työ-elämässä / yhteis-kunnassa?

Mitä opiskelijat / asiakkaat hyötyvät toiminnas-ta?

Mitkä ovat yhteis-kunnan / työelämän tulevaisuu-den haasteet?

Mitä uusinta tietoa alalta on käytet-tävissä?

Säädökset?

Opetus-suunnitelman tavoitteet?

Toiminta-suunnitelman tavoitteet?

Toiminnan kuvaus; mitä on tehty, jätetty tekemättä, miten on toimittu?

Toteutuneet tavoitteet – kuinka hyvin?

Toteutumat-tomat tavoitteet?

Mitä muuta on saavutettu?

Hyödynne-täänkö tietoa yhteiskunnan tarpeista, ennakointi-tietoa alan kehityksestä?

Käytetäänkö uusinta tutkimus- ja arviointi-tietoa?

9

TUOTTAVUUTTAEDISTÄVÄT STRATEGISETRATKAISUT ESIM.ARVIOINTI

TUOTTAVUUDEN ARVIOINTIMENETELMIENKEHITTÄMINEN- LAADULLISET- MÄÄRÄLLISET

TUOTTAVUUDEN TILA- AJATTELUN MUUTOKSET- TAVOITTEIDEN MUUTOKSET- PROSESSIEN MUUTOKSET- TUOTAVUUDEN PARANEMINEN

KOULUTUKSEN TUOTTAVUUDEN PARANTAMINEN

ARVOTTAVOITTEET

TUOTTAVUUTTA EDISTÄVÄ

TOIMINTA ESIM. ARVIOINTI-PROSESSIT (ERITYISESTI NS.

KEHITTÄVÄ ARVIONTI)JA ARVIOINTIEN

HYÖDYNTÄMINEN

10

HYVÄN OPETUKSEN, OPISKELUN JA OPPIMISEN JA HYVINVOINNIN EDELLYTYSTEN LUOMINEN – KOHDISTUUKO JÄRJESTELMÄN SYNERGINEN TARMO OIKEISIIN ASIOIHIN?

Koulutus-, talous- ja sosiaalipolitiikka

EU:n toiminnan yhteydet

OECD:n yhteydet

Koulutusjärjestelmän toimivuus

Paikalliset resurssit, tuki- ja ohjauspalvelut Opettajan suhde opettamiseenOppilaan suhde oppimiseensa

Oppilasta koskeva tieto

Oppilaan ja opettajan pedagoginen suhde

11

2.a) paikallinen ops 2.b) oppilaitoksen ops

3. toimeenpantu ops (opettajan oma ops)

5. oppimistulokset (toteutunut ops)

4. oppilaan elämä ops (opetus-opiskelu-oppimisprosessi)

1. opetussuunnitelman perusteet

Koulutuksen tuottavuus opetussuunnitelmien, niiden tasojen ja oppimistulosten vastaavuutena

OPETUSSUUNNITELMAN HYÖDYNNETTÄVYYS?

OPETUSSUUNNITELMAN HYÖDYNTÄMINEN?

OPETUSSUUNNITELMA KOULUTUKSEN PANOKSENA (ARVOT, PÄÄMÄÄRÄT)?

OPETUSSUUNNITELMA KOULUTUKSEN TULOSKRITEERINÄ?

12

TABLE 1. National learning outcomes 1998–2002.

SUBJECTYEAR OF DATA COLLECTION

AGE GROUP

LEVEL OF OUTCOMES; PER CENT OF MAXIMUM POINTS

VERBAL DESCRIPTION

MOTHER TONGUE 2000 6. 64 satisfactory

MATHEMATICS 2000 6. 58 fair

SCIENCE 1998 9. 45 pass

MATHEMATICS 1998 9. 54 fair

ENGLISH 1999 9. 64 satisfactory

MOTHER TONGUE 1999 9. 64 satisfactory

MATHEMATICS 2000 9. 54 fair

RELIGIONETHICS

2001 9. lutheran: 68orthodox: 73

ethics: 59

satisfactorygoodfair

MOTHER TONGUE 2001 9. mother tongue (reading, writing, grammar): 62

satisfactory

MATHEMATICS 2002 9. 57 fair

A-SWEDISH 2001 9. 62 satisfactory

B-SWEDISH 2001 9 53 fair

National exams are founded on the Finnish national curriculum in the evaluations.

13

Opetuksenlaadun tekijöitä (toiminta)

Opetuksen tavoitteet ovat korkeatasoiset, selvät, perustellut ja priorisoidut, opettajat ovat sitoutuneet opetussuunnitelmaan ja sen kehittämiseen (panosten perusteet).

Opiskelijoita arvostetaan; heidän ikänsä ja erilaisuutensa otetaan huomioon.

Oppimisen lainalaisuudet otetaan huomioon; opetuksessa sovelletaan tehokkaasti didaktisia periaatteita ja käytetään vaihtelevia kognitiivisia, sosiaalisia ja toiminnallisia prosesseja.

Opetusjärjestelyt ja –menetelmät ovat tarkoituksenmukaisia mm. opiskelijoiden, tavoitteiden, tilanteiden kannalta.

Oppimistulokset ovat hyvät suhteessa tavoitteisiin, opiskelijan edellytyksiin ja lähtötasoon (lisäarvo).

KUVIO X. Opetuksen laadun osatekijöitä ja niiden yhteyksiä sekä laatuvaatimuksia koulun kontekstissa. Tehdäänkö oikeita asioita oikein?

14

TULOKSELLISEN OPETTAMISEN KUVAAMINEN – The International System for Teacher Observation and Feedback (ISTOF) –prosessin pohjalta

1) arviointi2) eriyttäminen ja inkluusio3) opetuksen selkeys4) opetukselliset taidot5) oppimisen aktiviteetit ja metakognitiivisten taitojen kehittäminen6) opetustilanteen ilmapiiri7) opetustilanteen johtaminen

Komponentit jakaantuvat 22 indikaattoriin ja indikaattorit 3-4 osioon. Tavoitteena on kansainvälisen standardoidun opettajan ja opetuksen tuloksellisuutta mittaavan pätevän (validin) mittarin kehittäminen.

Taustalla on oletus mm. opettajaeksperttiyden kehittymisen yhteyksistä tuottavuuteen ja pyrkimys löytää laadukkaaseen oppimiseen johtavia toimintatapoja (vrt. OECD/CERIn tavoite).

15

PERUSOPETUSPEDAGOGIIKAN ARVIOINTI - opetusministeriön toimeksianto 10.11.2006

Arvioinnin pääkohteet opetusmenetelmät ja työtavat opetuksen suunnittelu opetusvälineiden ja –materiaalien käyttö

Fokusointi – mitä tavoitellaan? Yhteydet laajempaan kontekstiin? Menetelmät?

16

PARANEVATKO OPPIMISTULOKSET, VAIKKA OPETUS EI MUUTUKAAN?

1) Luokkahuonetyöskentely on pysynyt tällä vuosisadalla pääpiirteissään samanlaisena (Cuban 1982; Sirotkin 1983; Kuusela 2003).

2) Koulun kriisin ydin on sisäinen inertia, traditiossa pitäytyvä konservatiivisuus yhteiskunnan muuttuessa (Coombs 1985).

3) Suomessa ei ole tuettu opetuskulttuurin muuttumista kylliksi – opetussuunnitelman ihanteiden ja käytännön välillä suuri kuilu (Norris ym. 1996; osin myös Simola 1995).

4) Peruskoulu ei ole pedagogisesti juurikaan muuttunut 1970-luvun koulusta (Korkeakoski ym. 2001); opetuksen uudistuminen näyttää olevan ikuisuuskysymys (Pehkonen 1992).

17

MISTÄ KOULUTUKSEN KUSTANNUKSET MUODOSTUVAT?

1. Noin 2/3 perusopetuksen kustannuksista syntyy opetuksesta ja siitä 90 % on palkkakustannuksia.

2. Oppilaitoksen koko ja kustannukset?3. Oppilaitoksen koko ja oppimistulokset?4. Opetusryhmän koko ja kustannukset?5. Opetusryhmän koko ja oppimistulokset?6. Opettajien koulutustaso ja oppimistulokset?7. Opettajien kelpoisuus eri oppilaitosmuotoihin ja kustannukset?

Noin 3000 tutkimuksen tulokset (Wahlberg 1986): opetuksen laadulla ja opetusajalla merkittävä yhteys oppimistuloksiin. Laadun parantaminen ja ajan lisääminen nostavat kustannuksia (Beaton 2004).

Missä määrin voidaan aikaa resurssina lisätä, parantaa laatua ja samanaikaisesti tinkiä kustannuksista?

18

0 50 100 200 300 400 500 600

Ks. M-L Pernu, Arviointi 1/2001, Opetushallitus

35000

30000

25000

20000

15000

10000

5000

0

PERUSOPETUKSEN VUOSILUOKAT 1.-6. KÄSITTÄVIEN KOULUJEN OPETUKSEN OPPILASKOHTAISET KUSTANNUKSET KOULUN KOON MUKAAN VUONNA 1999 (N = 211) - mk/oppilas

19

PANOSTEN MÄÄRISTÄOPPIMISTULOSTEN TAUSTALLA (OECD 2005)

Virallisten vaatimusten mukaan opetustuntien määrä OECD-maissa 7-14 –vuotiaiden opiskelussa on keskimäärin 6852 tuntia Skotlannissa, Italiassa ja Alankomaissa 8000 tuntia Suomessa 5523 tuntia

Ylemmällä perusasteella oppilasmäärä luokassa OECD-maissa keskimäärin 24 oppilasta Japanissa ja Koreassa noin 30 oppilasta Tanskassa, Islannissa ja Sveitsissä alle 20 oppilasta Suomessa vuosiluokilla 7-9 alle 20 oppilasta?

Koulutusmenojen BKT-osuus Suomessa hieman alle OECD keskiarvon 2001 (perus- ja keskiaste) – osuus selvästi vähemmän kuin Ruotsilla, Norjalla ja Tanskalla.

20

21

ARVIOINTINEUVOSTON HANKEALOITE TUOTTAVUUDEN ARVIOINNISTAYLEISSIVISTÄVÄSSÄ KOULUTUKSESSA 2006

HANKKEEN TARKOITUS

1) edellytysten luominen tuottavuuden parantamiselle

2) tuottavuuden arviointimenetelmien kehittäminen

3) tuottavuuskeskustelun ja -ajattelun rikastaminen yleissivistävässä koulutuksessa

22

HYVÄT TOIMINTAMALLIT TUOTTAVUUDEN ARVIOINNIN KOHTEENA

Toimintamallilla tarkoitetaan toiminnallista kokonaisuutta, jonka osa-alueet ovat kiinteässä vuorovaikutuksessa ja jossa mallin osa-alueiden tuloksellisuushyötyjä voidaan arvioida erikseen ja yhteydessä toisiinsa.

Hanke käynnistetään julistamalla tuottavuusraha haettavaksi. Tuottavuusrahaa voivat hakea kaikki yleissivistävän koulutuksen järjestäjät tai oppilaitokset. Hakuilmoituksessa kerrotaan hakuehdot ja arvioinnin kriteerit.

Esimerkkejä kohteista: Miten kunta on järjestänyt erityisopetuksen? Miten koulutilojen käyttö on järjestetty (esim. käyttöaste, moninaiskäyttö,

tilojen käytön hallinnointi ja seuranta)? Miten järjestäjän/oppilaitoksen arviointityö on organisoitu opetuksen ja

oppimisen tueksi?

23

TOIMINTAMALLIEN ARVIOINNIN KRITEEREJÄ

Mallin 1. perustuminen verkottumiseen2. kustannusvaikutusten merkittävyys3. evidenssi toiminnan laadun parantumisesta 4. kyky mukautua muuttuviin tarpeisiin ja olosuhteisiin 5. mallin käyttöönotto- ja kehittämisprosessien selkeys ja

systemaattisuus6. soveltuvuus erilaisiin toimintaympäristöihin

24

ARVIOINNIN KANSALLISET PÄÄTUOTOKSET

1) hankkeen käynnistämät prosessit2) mittari, jolla toimintamallien tuottavuutta

arvioidaan (sovellettavissa paikallisesti ja kansallisesti)

3) hyvät toimintamallit (tuottavuuskriteerein) – levitystä varten

4) toimintamalleihin perustuvat kansalliset johtopäätökset ja kehittämissuositukset

Hankekuvaus osoitteessa: www.edev.fi (aloitteet 2006)

25

ARVIOIMMEKO OIKEITA ASIOITA PYRITTÄESSÄ

PARANTAMAAN TUOTTAVUUTTA?

1) Keskitytäänkö koulutuksessa oikeisiin asioihin?2) Tarkastellaanko koulutuksen päämäärien

tarkoituksenmukaisuutta systemaattisesti?3) Tukeeko koulutus luovuutta ja innovatiivisuutta?4) Antaako koulutus haasteita myös lahjakkaiden

oppimiselle? 5) Tukeeko koulutusjärjestelmä eri tasoilla

systemaattisesti oppimisen, opiskelun ja opetuksen edellytysten parantamista?

6) Miksi koulun pedagogiikka uudistuu hitaasti?7) Onko arvioinnin kohteena oleva koulutuksen tasa-

arvo(käsitys) liian kapea-alainen?

26

MERKITSEEKÖ TUOTTAVUUDEN PARANTAMINEN VAIN AHTAAMPIA KEHYSBUDJETTEJA JA HENKILÖSTÖMÄÄRIEN SUPISTUKSIA? MIHIN RAKENTEISIIN ARVIOINTIEN TULISI KOHDISTUA TUOTTAVUUDEN PARANTAMISEKSI?

1) Opettajankoulutus – opetusta säilyttävä vai uudistava rakenne?

2) Opettajien palkkausjärjestelmä – este vai katalysaattori opetusresurssien uudelleenallokoinnille?

3) Opetussuunnitelmaohjaus – massiivinen järjestelmä vailla realistisia toteutumismahdollisuuksia vai kehittämisdynamiikan moottori?

4) Valtionosuusjärjestelmä – tuottavuutta passivoiva vai aktivoiva järjestelmä?

5) Kansallinen arviointitoiminta (myös laatujärjestelmät) –toteava tiedontuottaja vai aito kehittämisväline?

6) Formaalien ja informaalien oppimisympäristöjen vaikuttavuusalueet – täydentävätkö toisiaan vai menevätkö päällekkäin?

27

MIKSI TIETO EI AINA AUTA KEHITTÄMISESSÄ?

1) Taloudellisen kehityksen suurin este on yhteiskunnan arvojen ja institutionaalisten normien muutosten vastustus. (Talcott Parsons)

2) Opetuksen ja oppimisen perusrakenteet eivät muutu, koska useimmat kehittämisstrategiat eivät keskity oppimiseen ja opetukseen. (Mark Berends 1992).

3) Tiedonhankinnan tulee olla järjestelmällistä ja perustua oikeaan metodiin, päämääränä valmiin tiedon järjestelmä. (Aristoteles) Onko näin?

Hallinnollisten rakenteiden muutos ei riitä.1) Koulussa muuttumattomien tekijöiden havaitseminen osoittaa, ovatko

muutokset olleet syvälle käypiä vai marginaalisia. (Walo Hutchmacher)2) Muutoksen kannalta tiedon on läpäistävä ihmisten mentaalisen

järjestelmän kokonaisuus – älyllinen / kognitiivinen osajärjestelmä ei riitä. (Jaana Venkula)