Suullisen kielitaidon itsearviointi uudenlaisen puhenäytteisiin pohjautuvan arviointimenetelmän avulla

LukSuS-seminaari Helsingin yliopisto

30.11.2013

Tarja Leblay Turun yliopisto/

Opetushallitus

Esityksen rakenne

5.12.2013

2

Yleistä tutkimuksesta

Perinteinen itsearviointi kirjallisten itsearviointiväittämien avulla

Väittämien laatu tilastollisten tunnuslukujen valossa

Esimerkkejä eri tavoin toimineista väittämistä

Itsearviointi kuunneltavien puhenäytteiden avulla

Toteutus

Kielen piirteisiin liittyvät kommenttikategoriat

Esimerkkejä helposti ja vaikeasti vastattavista näytteistä

Uuden menetelmän luotettavuus, käytettävyys ja hyödyt

Konstruktivistinen

oppimiskäsitys

Oppijakeskeisyys

Oppimaan

oppiminen

Elinikäinen

oppiminen

• Sitouttaminen

• Itsetuntemuksen

lisääminen

• Reflektiivisyys

• Itseohjautuvuus

5.12.2013 3

Tutkimuksesta

Suullisen kielitaidon itsearviointi (& vertaisarviointi)

Ranskan kieli

Empiirinen tutkimus

209 osallistujaa

6 oppilaitosta (neljä yliopistoa, kaksi lukioluokkaa)

2 puhumisen tehtävää

Kuvasta

kertominen

Tilanteessa reagointi

5.12.2013

4

Tutkimusmateriaalin taustaa

Eurooppalainen viitekehys Arviointiasteikot

DIALANG Puhumisen itsearviointilomake

Yleisitsearviointi

Tilannekohtainen itsearviointi

Yleiset kielitutkinnot Puhumisen tehtävät

5.12.2013

5

Tutkimuskysymykset

1. Kuinka toimivia ovat oppijoiden käyttämät erilaiset itsearviointimenetelmät ? 2. Mitä käsityksiä oppijat esittävät paperilla esitettyjen itsearviointiväittämien toimivuudesta? 3. Mihin kielen piirteisiin oppijat kiinnittävät huomiota arvioidessaan kielitaitoaan uuden itsearviointimenetelmän avulla ? 4. Mikä on tyypillistä niille puhenäytteille, joissa oppijoilla oli eniten vaikeuksia verrata omaa puhetuotostaan kuunneltuihin näytteisiin? Entä mikä oli tyypillistä niille puhenäytteille, joissa esiintyy vähiten vaikeuksia? 5. Missä määrin erilaiset itsearvioinnit vastaavat toisiaan? 6. Missä määrin oppijoiden tekemät itsearvioinnit vastaavat ulkoista arviointia?

5.12.2013

6

Puhumistehtävä 1

Kuvasta kertominen

Kuvaile alla olevaa henkilöä mahdollisimman yksityiskohtaisesti.

Voit kertoa henkilöön liittyen esimerkiksi seuraavia asioita:

mitä hänellä on päällään (vaatteiden värit, materiaalit)

mikä aika päivästä on

mihin hän on menossa

mistä hän on tulossa

missä hän työskentelee

minkä tyyppisestä ihmisestä on kysymys

mistä hän pitää tai ei pidä

mitä harrastaa (jne. käytä vapaasti mielikuvitustasi!)

5.12.2013

7

Puhumistehtävä 2

Tilanteessa reagointi

Lue ensin alla oleva kuvaus tilanteesta. Tilannekuvaus (eli mitä on jo tapahtunut): Olet hakenut asemalta ranskalaisen tärkeän vieraan, Julien Fabre-Perrault’n. Olette jo esittäytyneet toisillenne. Nyt olette palanneet työpaikallesi. Suorita nyt viivan alla oleva tehtävä. ______________________________________________________________ Suoritettava tehtävä:

Esittele toisilleen työtoverisi Kristiina Saukkonen-Riipinen ja juuri saapunut vieras.

Kerro, että työtoverisi puhuu hyvin ranskaa.

5.12.2013

8

Mitä kielistudiossa tehtiin?

Toimintaohjeet osallistujille

Taustatiedot -lomake

Itsearviointi kirjallisten taitotasokuvausten ja itsearviointiväittämien avulla

Tehtävä 1 Kuvasta

kertominen

Puhumistehtävän suorittaminen &

tallennus

Tehtävä 2

Tilanteessa reagointi

Oman suorituksen

kuuntelu

Oman suorituksen vertaaminen

puhenäytteisiin

5.12.2013

9

Itsearviointi kirjallisten taitotasokuvausten avulla

- yleistaitotaso A1−C2

→ valittiin yksi

5.12.2013

10

Esimerkki yleisitsearvioinnista

Osaan käyttää yksinkertaisia ilmauksia ja lauseita kuvaamaan asuinpaikkaani ja tuntemiani ihmisiä. Osaan jonkin verran keskustella, jos keskustelukumppani auttaa minua toistamalla sanottavansa tai sanomalla asiat uudestaan hitaammin. Osaan kysyä yksinkertaisia kysymyksiä ja vastata niihin, jos ne käsittelevät tuttuja jokapäiväisiä asioita.

1

Osaan käyttää yksinkertaisia ilmauksia ja lauseita kuvaamaan perhettäni ja ystäviäni ja muita ihmisiä, asuinpaikkaani (missä ja miten asun), koulutustani ja nykyistä tai aikaisempaa työtäni. Osaan keskustella jokapäiväisissä tilanteissa, joissa puhutaan lyhyesti tutuista asioista, mutta en osaa ranskaa tarpeeksi pitääkseni keskustelua yllä.

2

Osaan kuvata yksinkertaisesti tapahtumia, kokemuksiani, unelmiani, toiveitani ja tavoitteitani. Osaan lyhyesti selittää mielipiteitä ja suunnitelmia. Osaan kertoa tarinan tai kuvata kirjan tai elokuvan juonta ja omia reaktioitani. Osaan valmistautumatta puhua minua kiinnostavista ja jokapäiväisistä asioista kuten perheestäni ja ystävistäni, harrastuksista, työstä, matkustamisesta ja ajankohtaisista tapahtumista.

3

Osaan esittää selkeän ja yksityiskohtaisen kuvauksen useista minua kiinnostavista aiheista. Osaan esittää mielipiteeni ja eri vaihtoehtojen hyviä ja huonoja puolia. Osaan aktiivisesti osallistua tutuissa tilanteissa käytäviin keskusteluihin ja ilmaista näkökantojani.

4

Osaan käsitellä vaikeita aihealueita selkeästi, yksityiskohtaisesti ja eri näkökohdat huomioon ottaen. Osaan kehitellä aiheita ja saattaa asioita päätökseen. Osaan puhua sujuvasti ja spontaanisti. Minun tarvitsee hakea sanoja vain harvoin. Osaan käyttää ranskan kieltä tehokkaasti sekä yksityiselämässä että työssä. Osaan ilmaista itseäni tarkasti ja pystyn sopeuttamaan sanottavani muiden sanomisiin.

5

Osaan kuvata ja selittää asioita selkeästi, joustavasti ja tilanteisiin sopivasti. Osaan rakentaa sanottavani niin, että kuulija voi helposti ymmärtää tärkeät kohdat. Minulle on erittäin helppoa ottaa osaa keskusteluun, ja tunnen eri tilanteisiin sopivat ranskan kielen ilmaukset, myös puhekielen eri muodot. Osaan puhua sujuvasti ja ilmaista itseäni erittäin tarkasti. Osaan kiertää ongelmakohdat kuulijan edes huomaamatta.

6

.

5.12.2013

11

Itsearviointi kirjallisten itsearviointiväittämien avulla

Tilannekohtaiset ia-väittämät

42 kpl

Kaikentasoisia (A1−C2)

Toimivuus ja laadun varmistaminen

→ tilastolliset tunnusluvut

→ Osio−testi-korrelaatio, Infit mean square

(Infit mean Zstd)

→ osallistujien kommentit toimivuudesta

→ osallistujien kokemus väittämien vaikeustasosta

5.12.2013

12

Esimerkki tilannekohtaisista itsearviointiväittämistä

Kyllä Ei VÄITTÄMÄ

Osaan keskustella jokapäiväisistä käytännön asioista yksinkertaisesti, jos keskustelukumppani puhuu selkeästi ja hitaasti.

1

Osaan puhua ranskaa luontevasti, sujuvasti ja tehokkaasti tutuissa tilanteissa.

2

Osaan käyttää erilaisissa tilanteissa ranskaa joustavasti ja tehokkaasti mukaan lukien tunteiden ilmaisun, humoristisen kielenkäytön ja viittaukset tunnettuihin kaunokirjallisiin ja muihin lähteisiin.

3

Selviän vieraistakin tilanteista julkisissa kulkuvälineissä, esimerkiksi jos joudun kysymään kanssamatkustajalta, missä minun pitäisi jäädä pois.

4

Osaan muotoilla kutsuja ja anteeksipyyntöjä ja vastata niihin.

5

Osaan palata takaisin vaikeisiin kohtiin ja muotoilla uudestaan sanottavani niin, että toiset tuskin huomaavat sitä.

6

Osaan selittää ja perustella suunnitelmiani, aikomuksiani ja tekemisiäni.

7

5.12.2013

13

Tilastollisista analyyseistä

Osio−testi-korrelaatio - arvo yli .30 → osion voidaan todeta arvon suuruudesta riippuen toimivan joko kohtalaisesti tai hyvin (vrt. Bachman 2004, 138) Infit mean square - arvon tulee sijaita .7 ja 1.3 välillä (high stakes -tutkinnot) - epäilyttävän osion raja on noin 1.3 tärkeissä tutkinnoissa ja selvästi ongelmallisen osion raja-arvo on noin 2.0 - ihannearvo 1.0 (Infit mean Zstd) - osion Infit Zstd-arvon tulee sijaita rajojen +2 ja -2 sisällä (Linacre 2011)

5.12.2013

14

Esimerkit hyvin toimineista tilannekohtaisista itsearviointiväittämistä

B1 (väittämä 40)

Osaan kertoa melko yksityiskohtaisesti kokemuksistani ja kuvata tunteita ja reaktioita.

B2 (väittämä 42)

Osaan kuvailla ja määritellä konkreettisia asioita, joille en juuri sillä hetkellä satu muistamaan sopivaa sanaa (esimerkiksi pysäköintisakko, luottokortti tai vakuutuskirja).

Korr.kerroin .70

Infit mean square .82

Vastausjakauma 77−131

Korr.kerroin .68

Infit mean square

.91

Vastausjakauma

106−103

5.12.2013

15

Esimerkki vaikeatulkintaisesta itsearviointiväittämästä

C2 (väittämä 6)

Osaan palata takaisin vaikeisiin kohtiin ja muotoilla uudestaan sanottavani niin, että toiset tuskin huomaavat sitä. Vaikeisiin asioihin kielellisesti, vai muuten? Miksi palaisin asiaan? Miten niin toisten huomaamatta? (B1).

Korr.kerroin .51

Infit mean square .87

Vastausjakauma 25−184

5.12.2013

16

Esimerkki huonosti toimineesta itsearviointiväittämästä

B2 (väittämä 36)

Osaan puhua syntyperäiselle kielenpuhujalle siten, etten ole tahtomattani huvittava, ärsyttävä tai vaadi heitä käyttäytymään toisin kuin toisen syntyperäisen kanssa. Eivätkö kaikki ”ei-ranskankieliset” ole ranskaa äidinkielenään puhuville ”tahtomattaan huvittavia”? (B2). Mistä voin itse tietää, puhuuko joku minulle samoin vai eri tavalla kuin syntyperäiselle kielenpuhujalle? (B2).

Korr.kerroin .52

Infit mean square 1.33

Vastausjakauma 61−148

5.12.2013

17

Tilannekohtaisten itsearviointiväittämien kommentoinnista

Oppijoilla oli vaikeuksia ymmärtää joidenkin itsearviointiväittämien sisältöä Oppijat kommentoivat niitä väittämiä, joihin heillä oli vaikeuksia vastata ”Kyllä ja ”ei” -vastausvaihtoja pidettiin liian rajoittavina Oppijoilla ilmeni taipumusta tulkita kontekstistaan erotettuja

itsearviointiväittämiä jossain määrin persoonakohtaisesti Oppijoilla oli vaikeuksia vastata väittämiin, joissa kuvattiin sellaisia

kielenkäyttötilanteita, joista heillä ei ollut käytännön kokemusta Osa oppijoista epäili, onko heillä kompetenssia arvioida omaa kielitaitoaan

Taitotasoarvioinnin toimintaperiaatteet eivät ole itsestään selvät Väittämän toimivuus on suhteellinen käsite → monta mahdollista näkökulmaa

5.12.2013

18

Miksi oli tärkeää tarkastella kirjallisia itsearviointiväittämiä?

Jotta

voitiin saada kokonaiskuva perinteisiä ia-väittämiä sisältävän lomakkeen toimivuudesta ja laadusta

voitiin arvioida perinteisen ja uuden ia-menetelmän keskinäistä suhdetta

saatiin konkreettista käyttäjäpalautetta siitä, mikä toimii ja mikä ei (tilastolliset menetelmät + oppijoiden kommentit)

saatiin lisävalaistusta tekijöistä, jotka voivat vaikuttaa oppijan itsearvioinnin onnistumiseen

5.12.2013

19

Itsearviointi

kuunneltavien puhenäytteiden avulla

A. Pakollinen osa: Kuunneltiin puhenäytteet (26/23) juuri itse tehdystä puhumisen tehtävästä (tehtävät 1 & 2) Verrattiin omaa suoritusta jokaiseen kuunneltuun näytteeseen ja vastattiin joko ”kyllä” tai ”ei” kysymykseen

Suoriuduitko paremmin tehtävästä kuin nauhalta kuulemasi henkilö? B. Vapaaehtoinen osa: Kommentoitiin lyhyesti, miksi vastasi ”kyllä” tai ”ei” Merkittiin tarvittaessa vaikea päättää -rasti

5.12.2013

20

Suoriuduitko paremmin tehtävästä kuin nauhalta kuulemasi henkilö?

Näytteen numero Miksi? Vaikea päättää?

1 kyllä ei (1)___________________________ ______

2 kyllä ei (2)___________________________ ______

3 kyllä ei (3)___________________________ ______

4 kyllä ei (4)___________________________ ______

5 kyllä ei (5)___________________________ ______

6 kyllä ei (6)___________________________ ______

7 kyllä ei (7)___________________________ ______

8 kyllä ei (8)___________________________ ______

9 kyllä ei (9)___________________________ ______

10 kyllä ei (10)__________________________ ______

5.12.2013 21

Puhenäytteiden vapaaehtoisesta kommentoinnista

Vapaus kommentoida, mitä tahansa

Osalla oppijoista paljon kommentteja, osalla ei mitään

”Kyllä” ja ”ei” -vaihtoehdot koettiin joskus liian rajoittaviksi vastausvaihtoehdoiksi

Oppijoilla oli eniten vaikeuksia verrata omaa kielitaitoaan niihin näytteisiin, jotka edustavat likimain samantasoista kielitaitoa kuin heidän oma suullinen kielitaitonsa on

5.12.2013

22

Puhenäytteisiin liittyvät kommenttikategoriat

1. Ääntäminen

2. Sujuvuus

3. Kielioppi

4. Laatu

5. Määrä

6. Sisältö

7. Puhuja

8. Muut

5.12.2013

23

Puhenäytteiden litterointimerkintöjä

5.12.2013

24

Merkki Seloste

[ ]

Selvästi ranskan kielen ääntämissäännöistä poikkeava ääntäminen on merkitty hakasulkeisiin.

: Näytteen puhujan tuotoksessa esiintyvä sanojen loppujen venyttäminen on merkitty kaksoispisteellä.

≤ ≥

Tuotokseen tai puhujaan liittyvät kommentit on merkitty suurempi/pienempi kuin tai yhtä suuri -merkkien sisään.

_

Näytteen puhujan tuotoksessa esiintyvät tauot on merkitty _-viivoin. Viivojen lukumäärä kertoo karkeasti taukojen keston.

( )

Mahdolliset epäselvät kohdat tuotoksessa on merkitty sulkeisiin ( ) ja yleensä varustettu kommentilla.

< >

Tuotoksen pituus on merkitty suurempi/pienempi -merkkien sisään tuotoksen perään.

Tehtävä 1, näyte 15

Mais_ _ je crois que François_ euh il a l’air un peu triste parce que_ il voudrait jouer du _basket ball et _ il a demandé ses camarades et __ou euh_ ses ses amis_ euh pour jouer le_ basket _et_euh_ maintenant_ il doit seulement s’asseoir et _ attendre si quelqu’un voudrait venir parce que _ tout le monde [mon] euh _ _ _ tout le monde [mon] sont dit que _ _ qu’on doit mang – manger _ et après ça_ peut-être_ on peut jouer le basket ball _ et _ il peut_ seulement attendre (49 s.)

5.12.2013

25

Tehtävä 1, näyte 9

Bon je vois François _ _ François est un garçon _ il a environ vingt-cinq ans _ ou en tout cas il a moins de trente ans _ il a des cheveux blonds et des yeux_ gris ou bleus et_ il a l’air très sportif _il_ il porte des pantalons _ des jeans _ et_ un t-shirt_ _à côté de lui il y a un basket ball _ il a _ _ j’ai l’impression que_ il va aller ou il vient de venir _ _ euh jouer _ au basket avec ses copains _ euh _ __ il euh _ _ il travaille dans un restaurant_ il_ _euh _ et euh _ maintenant j’ai l’impression que c’est samedi parce qu’il travaille pas et et le samedi et le week-end_il _ normalement il passe son temps avec ses copains les copains ils sont très importants pour lui _ il_ il fait du sport avec ses copains _ il va à la plage et au montagne en hiver _ il fait du slalom _ et tout ce qu’il fait il aime bien faire avec ses copains et tout ce qu’il fait c’est très sportif <1 min, 23 s.>

5.12.2013

26

Tehtävä 2, näyte 7

Et _ voilà _ euh _ monsieur Julien Fabre-Perrault _ et voilà _ euh ma collègue Kristiina Saukkonen _ _ et _ ma collègue Kristiina Saukkonen _ elle parle très bien français <16 s>

5.12.2013

27

Tehtävä 2, näyte 10

Euh _ _ je _ vous invite _euh _ mon collègue _ ma collègue Kristiina Saukkonen _ euh et _ euh _ ici _ monsieur Julien Fabre-Perrault _ _ euh _ _ Kristiina Saukkonen _ parle français _ bien <23 s>

5.12.2013

28

Top 3: eniten kommentoidut kielen piirteet

Sujuvuus

Ääntäminen

Kielioppi

+ sosiolingvistinen ”taitavuus” (tehtävä 2)

5.12.2013

29

Uuden itsearviointimenetelmän luotettavuudesta ja käytettävyydestä

Uusi puhenäytteiden kuuntelemiseen ja oman suorituksen

vertaamiseen perustuva itsearviointimenetelmä - korreloi varsin hyvin ulkoisen arvioinnin sekä kirjallisten itsearviointiväittämien avulla tehtävän itsearvioinnin kanssa - osoittautui validiksi ja reliaabeliksi → voidaan siten ajatella käytettävän suullisen kielitaidon itsearviointi- ja opetustilanteissa - näyttää soveltuvan hyvin suullisen kielitaidon itsearviointiin konkreettisuutensa ansiosta

5.12.2013

30

Uuden itsearviointimenetelmän hyödyt

Konkreettinen? Mielekäs? Autenttinen? Helppo? ”Tässä ja nyt” -luonne?

Ei sisällä käsitteiden määrittelyyn liittyviä ymmärtämis- tai tulkintaongelmia Antaa lisävalaistusta oppijan osaamisesta ja itsearviointitaidosta Tekee arviointikäytänteistä monipuolisempia ja oikeudenmukaisempia Kehittää auditiivista erottelukykyä Kehittää tietoisuutta suullisen kielitaidon piirteistä ja ominaisuuksista Totuttaa suhteuttamaan omaa kielitaidon tasoa suhteessa muiden tasoon Opettaa, minkä tyylisiä keskimäärin tietyntasoiset puhesuoritukset ovat Kehittää reflektiivisiä taitoja → tietoisen reflektoinnin yhteys motivaatioon ja omaan kuvaan oppijana → oppijana kasvaminen oman toiminnan kautta

Puhenäytteiden kuunteluun perustuva

itsearviointimenetelmä

5.12.2013

31

Uuden menetelmän käyttäminen kieltenopetuksessa?

Näytteiden analysointi ja litterointi pari- tai ryhmätyönä → esitteleminen luokalle

Näytteiden ominaisuuksiin tutustuminen

Parin puhetuotoksen analysointi ja

palautteen antaminen

Oman puhetuotoksen ominaisuuksien analysointi

ja palautteen saaminen

Näytteiden taitotasolle

asettaminen

Näytteiden ominaisuuksien

luokittelu

Puhenäytteet

5.12.2013

32

Viitatut lähteet

5.12.2013

33

Bachman, L. F. 2004. Statistical Analyses for Language Assessment. Cambridge: Cambridge University Press.

Linacre, J. M. 2011. A User’s Guide to FACETS. Rasch Model Computer Program.

Leblay, T. 2013. ”Voi ei, nää on tosi hyviä verrattuna muhun!” – Uudenlaisen arviointimenetelmän toimivuus ranskan suullisen kielitaidon itsearvioinnissa. Jyväskylän yliopisto.

Kiitos

Tarja Leblay

tamleb@utu.fi

tarja.leblay@oph.fi

Väitöskirja sähköisenä:

jyx.jyu.fi (haku tekijän nimellä) tai

https://jyx.jyu.fi/dspace/handle/123456789/42162

5.12.2013

34