TTY/DMI/Hypermedialaboratorio

Anne-Maritta Tervakari, tutkija

Hypermedialaboratorio Digitaalisen median instituutti

Tampereen teknillinen yliopisto

VirtuaaliAMK-seminaari 11.11.2004Mikkeli

Verkko-opetuksen laadukkuus jakäyttökelpoisuus

TTY/DMI/Hypermedialaboratorio

Esityksen sisältö:

• Käyttökelpoisuuden arviointimalli

• Opiskelijoiden laadun odotuksia ja

kokemuksia (EVA-tutkimushanke)

• Jatkotutkimuksia

• Kysymyksiä ja keskustelua

TTY/DMI/Hypermedialaboratorio

Käyttökelpoisuuden arvioinnin näkökulmia

kohderyhmä kohderyhmä

kohderyhmäkohderyhmä

käytettävyys

esteettömyyssaavutettavuus

informaationesitystapa

informaation luotettavuus

pedagoginenkäytettävyys

lisäarvot

informaation laadukkuus

käytö

n suju

vuus

opiskeltavuus,

opittavuushy

ödyt

asiantuntijatasiantuntijat

asiantuntijat Tervakari ym. 2002

TTY/DMI/Hypermedialaboratorio

Hyödyllisyys oppimisen kannalta (utility )

OpittavuusKäytön tehokkuus

Käytettävyys(usability)

MuistettavuusVirheet

Subjektiivinen tyytyväisyys

Lisäarvot

Opetus- ja opiskelu-prosessien organisoinnin tukeminen

Oppimis- ja ohjausprosessien tukeminen

Taitojen kehittymisen tukeminen (mm. opiskelutaidot, tiedonhakutaidot ja vuorovaikutustaidot)

Opetuksen ja opiskelun organisointiOpetuksen laadun kehittäminen

Opiskelutaitojen kehittyminen

Opetusteknologian testaus ja kehittäminen

Pedagoginen käytettävyys(pedagogical usability)

Käyttökelpoisuus(usefulness)

Sosiaalinen hyväksyttävyys(social acceptability)

Järje

stelm

än h

yväk

syttä

vyys

Käytännöllinen hyväksyttävyys(practical acceptability)

Hinta

YhteensopivuusLuotettavuusjne.

Esteettömyys(accessibility)

Informaation laadukkuus(informational quality)

Esitystapa

Luotettavuus

Verkkopohjaisen opetuksen käyttökelpoisuus

muokattu Nielsenin (1993) pohjalta

vrt. Nielsen, J. 1993. Usability Engineerings. Boston (MS.): Academic press.

Tervakari & Silius 2002-04

TTY/DMI/Hypermedialaboratorio

Käytettävyys (usability)• Suunnittelutavoitteena, tuotteen ominaisuutena, tuotteen käyttöön liittyvänä ominaisuutena tai käyttäjän kokemuksiin liittyvä ominaisuutena (Keinonen 1998)

• Esim. käytettävyyden (tuotteen käyttö) komponentit Nielsenin mukaan– Opittavuus: helppo oppia käyttämään, käyttäjä voi nopeasti aloittaa

työskentelyn

– Käytön tehokkuus: kun käyttäjä on oppinut käyttämään sovellusta (kokenut käyttäjä), tehtävien suorittaminen on tehokasta (high level ofproductivity)

– Muistettavuus: keskivertokäyttäjä kykenee käyttämään sovellusta ilman suurempaa uudelleen opettelua vaikka edellisestä käyttökerrasta olisi kulunut jonkin aikaa

– Virheiden vähyys: virheiden määrä pieni ja vaikka niitä esiintyisikin, niin käyttäjä kykenee selviytymään niistä. Vakavia virheitä ei saa esiintyälainkaan

– Subjektiivinen miellyttävyys: käytön tulee olla miellyttävää

TTY/DMI/Hypermedialaboratorio

Esteettömyys, saavutettavuus• Liittyy mahdollisuuteen ylipäätänsä käyttää verkkopalvelua tms. (Turkki &

Sinkkonen 2004)– vrt. käytettävyys: miten hyvin käyttäjä pystyy käyttämään tuotetta

tehokkaasti, tuottavasti ja miellyttävästi määriteltyjen tavoitteiden saavuttamiseksi tietyssä käyttöympäristössä (ISO 9241-11)

• Voidaan ymmärtää liittyvän käytön sujuvuuteen erityisryhmiennäkökulmasta – esim. näkö-, kuulo-, liikuntavammaiset sekä ihmiset, joilla on jokin muu

pysyvä tai tilapäinen erityisongelma – ikäihmiset, eri ikäiset lapset

• Kysymys erilaisuuden huomioimisesta ja tasa-arvoisuudesta

• Voidaan ymmärtää myös laajemmin– myös erilaiset päätelaitteet ja käyttötilanteet

• Esteettömyys, saavutettavuus, accessibility (WAI)

TTY/DMI/Hypermedialaboratorio

Informaatiosisällön arviointi

• Kiinnitetään huomiota informaatiosisällön luotettavuuteen ja esitystapaan

• Voidaan ajatella osaksi käytettävyyttä (ja pedagogista käytettävyyttä)– esitystapa: miten informaatioarkkitehtuuri ja sen esitystapa

tukevat asiasisällön omaksumista – luotettavuus: perinteisen julkaisun arviointikriteerit yhä toimivia,

mutta verkko julkaisukanavana sinänsä asettaa omat erityisvaatimuksensa

(mm. Alexander&Tate 1999; Cooke 2001)

• Vaikka informaatiosisällön syvällinen arviointi edellyttääsisällön asiantuntemusta, voidaan yleisellä tasolla sanoa kuitenkin jotakin informaatiosisällön laadukkuudesta

TTY/DMI/Hypermedialaboratorio

Pedagoginen käytettävyys

• Käyttökelpoisuus tiettyyn tarkoitukseen edellyttää, että tuote on paitsi käytettävä myös hyödyllinen (esim. Nielsen 1993, 25)

• Opetuskäyttöön suunnatun verkkototeutuksen tulee olla siis sekäkäytettävä että hyödyllinen ennen kaikkea oppimisen kannalta

• Verkkototeutuksen katsotaan olevan hyödyllinen oppimisen kannalta silloin, kun se tukee opiskelu- ja opetusprosessia esim. opetuksen organisointia (vrt. Nielsen 1993, 25)

• Pedagoginen käytettävyys: – miten hyvin tietoverkkoavusteisen oppimisympäristön käyttöliittymä,

rakenne, toiminnot, verkkomateriaali ym. sisältö, vuorovaikutus, oppimistehtävät ja valitut työkalut motivoivat ja tukevat oikea-aikaisesti erilaisten opiskelijoiden opiskelua tietyssä oppimiskontekstissa valittujen pedagogisten tavoitteiden mukaisesti. (Vrt. Hakkarainen et al. 2001, 7;Soloway et al. 1996; Edman & Mayiwar 2003)

TTY/DMI/Hypermedialaboratorio

Pedagoginen käytettävyys• Opetuksen ja opiskelun organisoinnin tukeminen• Oppimis- ja ohjausprosessien tukeminen

– ohjaus ja tuki, oppimistavoitteiden saavuttamisen tukeminen, motivointi, yhteistoiminnallisuus, yhteisöllisyys, reflektiivisyys, konstruktiivisuus, intentionaalisuus, aktiivisuus, autenttisuus, kontekstuaalisuus, siirrettävyys, edutainment, volitio, yksilöllisyys, abstraktiivisuus, erilaisten oppimistyylien tukeminen, eri modaliteettien tukeminen, vuorovaikutuksen tukeminen (Jonassen 1995, Ruokamo & Pohjolainen 1999, Ryan & Deci2000, Järvenoja 2003, Dewitte & Lens 1999, Egenfeld-Nielsen 2003; Walldén 2003; Tella et al. 2001; Leemkuil et al. 2000, Ruokamo et al. 2003)

• Taitojen kehittymisen tukeminen– opiskelutaidot: metakognitiiviset taidot, oppimaan oppiminen,

opiskelustrategiat, itseohjautuminen, medialukutaito menetelmät– tiedonhaku- ja vuorovaikutustaidot, sosiaaliset taidot ym. taidot

• Voivat ilmetä verkkopohjaisen opetuksen rakenteessa, ihmisten toiminnassa, verkkomateriaalissa, oppimistehtävissä, verkkotyökalujen ominaisuutena yms. (Silius et al. 2003.)

TTY/DMI/Hypermedialaboratorio

Lisäarvot

• Mitä konkreettista lisäarvoa tvt:n käyttö opetuksessa tuo toimijoille verrattuna perinteiseen opetukseen

• Voivat konkretisoitua eri tasoilla– opetuksen ja opiskelun organisoinnin tukeminen

– oppimis- ja opetusprosessien tukeminen

– taitojen kehittymisen tukeminen

• Voimakkaasti sidoksissa toimijan kontekstiin -> lisäarvot voivat vaihdella eri käyttäjien kesken

• Ongelmallisinta on siirrettävyys (vrt. Forsblom & Silius 2002a, 2002b; Silius et al. 2003;

Tervakari et al. 2002)

TTY/DMI/Hypermedialaboratorio

opintojakson verkkototeutus

Toteutuksen yleinenkäyttökelpoisuus

Käyttökelpoisuusopettajan

näkökulmasta

opiskelijaryhmät(luokiteltu henkilökohtaisten kontekstitekijöiden mukaan)

Käyttökelpoisuus opetuskontekstissaorganisaatio, tieteenala, oppiaine, toimijat jne.

opettajahenkilökohtainen konteksti

arvioijat

verkkototeutuksen arviointiARVO –työkalun avulla

verkko-osuuden toteutus sekä opetus

opiskeluKäyttökelpoisuus opiskelijaryhmien

näkökulmasta

lisäarvot?

edistävät tekijät?

estävät tekijät?

toteutuksen käyttökelpoisuus tietyssä

opetuskontekstissa

Yleinen käyttökelpoisuusyhteiskunta, kulttuuri jne.

kontekstista riippumattomattekijät

Tutkimus-kysymykset:

Silius, Tervakari, Kaartokallio & Yritys 2003

TTY/DMI/Hypermedialaboratorio

Laadun kokeminen

• laadun kokeminen on varsin subjektiivista– mm. omat tarpeet, lähipiirin kokemukset, markkinaviestit, palvelun ja sen

tuottajan imago > virittävät ennakko-odotuksia– odotetun ja koetun laadukkuuden välinen kuilu vaikuttaa opiskelijan

näkemykseen kokonaislaadusta

opiskelijan ennakko-odotukset

opiskelijan kokemukset

opiskelijan käsitys laadusta

koettu laadukkuus

vertailu

(Vrt. Grönroos 1990; James 2001; Tricker 2003.)

TTY/DMI/Hypermedialaboratorio

EVA -tutkimus• Aineisto koottu vuosina 2001-2003 TTY:n virtuaali-yliopiston

pilottikursseilta (25 kpl)– keskim. 70 opiskelijaa kurssilla– verkkopohjaisen opetuksen osuus 53%

• Mielenkiinnon kohteena mm.– millaisia opiskelijaryhmiä oli tunnistettavissa– millaisia odotuksia opiskelijoilla oli verkkopohjaista opetusta kohtaan– millaisiksi opiskelijat kokivat verkkopohjaisen opetuksen laadukkuuden– mitä lisäarvoa opiskelijat kokivat verkkopohjasien opetuksen tarjonneen – mitä ovat ne ns. merkitykselliset tekijät, jotka muotoutuvat kontekstista

riippuen verkkopohjaisen opetuksen edistäviksi ja estäviksi tekijöiksi

TTY/DMI/Hypermedialaboratorio

Verkkokurssin aloittavat opiskelijaryhmät

Opiskelijoiden ryhmittely henkilökohtaisten taustatekijöiden mukaan (esim. tietotekniset valmiudet, suhtautuminen verkko-opiskeluun, opiskeluaktiivisuus, opintojen vaihe, työssäkäynti).

1. työssäkäyvät (20%)2. kampusopiskelijat (12%) 3. luopujat (26%)4. kokeneet verkko-opiskelijat (14%)5. innostuneet kokeilijat (28%)

Opiskelijat täyttivät verkkolomakkeen opintojakson alussa (N=487)

TTY/DMI/Hypermedialaboratorio

Verkkokurssin aloittavat opiskelijaryhmät1. työssäkäyvät-ovat opinnoissaan varsin pitkällä-ovat menestyneet melko hyvin opinnoissaan-käyvät työssä opiskelun ohessa-eivät ole juurikaan opiskelleet aiemmin verkossa-tavoitteena oppia sisältö pääpiirteittäin-eivät aio osallistua lähiopetukseen-muut verkko-opiskelijat vaikuttavat motivaatioon positiivisesti- tietokoneen käyttötaidot melko hyvät-suhtautuvat varsin positiivisesti verkko-opiskeluun-opiskelisivat mieluiten itsenäisesti ja yksin

N=96

2. kampusopiskelijat- ovat menestyneet keskinkertaisesti opinnoissaan- ei juurikaan kokemusta verkko-opiskelusta - oppimistavoitteet muita alhaisemmalla tasolla- eivät aio osallistua verkko-opiskelujaksoille, mutta aikovat osallistua lähiopetukseen- arvioivat verkko-opiskelun työmäärän selkeästi suuremmaksi kuin perinteisessä opiskelussa- arvelevat muiden verkko-opiskelijoiden heikentävän opiskelumotivaatiotaan- tietokoneen käyttötaidot heikohkot- suhtautuvat negatiivisesti verkko-opiskeluun- opiskelisivat mieluiten opettajan ohjaamana ja opiskelijaryhmässä

N=59

N=487k-means klusterointip < 0.05

3. luopujat- opinnot alkuvaiheessa- aiempi opiskelumenetys heikohko- ei kokemusta verkko-opiskelusta- tavoitteena kuitenkin läpäistä kurssi- arvioivat verkko-opiskelun työmäärän pienemmäksikuin perinteisen opiskelun- eivät aio osallistua lähiopetukseen eivätkäainakaan verkko-opetukseen- tietokoneen käyttötaidot heikommat kuin muilla- suhtautuivat negatiivisesti (verkko)opiskeluun- opiskelisivat mieluiten opettajan ohjaamina ja yksin

N=128

TTY/DMI/Hypermedialaboratorio

Verkkokurssin aloittavat opiskelijaryhmät

4. kokeneet verkko-opiskelijat- opinnot loppuvaiheessa- aiempi opintomenestys varsin hyvä- ovat opiskelleet aiemminkin verkko-opintojaksoilla- tavoitteena oppia sisältö pääpiirteittäin- aikovat osallistua verkko-opintojaksoille, ja jonkin verran lähiopetusjaksoille- arvioivat verkko-opiskelun työmäärän jotakuinkin samaksi kuin perinteisen opetuksen- uudet verkko-opiskelijat vaikuttavat positiivisesti motivaatioon- tietokoneen käyttötaidot hyvät- suhtautuvat melko positiivisesti verkko-opiskeluun- opiskelevat mieluiten itsenäisesti

N=69

N=487k-means klusterointip < 0.05

5. innostuneet kokeilijat- opinnot alkuvaiheessa- aiempi opintomenestys hyvä- ei aiempaa kokemusta verkko-opiskelusta- oppimistavoitteet muita korkeammilla- aikovat osallistua aktiivisesti etenkin verkko-opintojaksolle- arvioivat verkko-opiskelun työmäärän pienemmäksi kuin perinteisen opiskelun- arvelevat uusien ihmisten vaikuttavan erittäin positiivisesti opiskelumotivaatioonsa- tietokoneen käyttötaidot hyvät - suhtautuivat positiivisesti verkko-opiskeluun

N=135

TTY/DMI/Hypermedialaboratorio

Odotettuja lisäarvoja

Lisäarvo 01-02 02-03– Joustavuus ajan suhteen 57% 75%– Joustavuus paikan suhteen 56% 62%– Joustava pääsy opiskelumateriaaleihin 37% 48%– Vastuu omasta oppimisesta kasvaa 36% 19%– Oppimateriaalin monipuolisuus 26% 27%– Palautteen antaminen ja saaminen 19% 17%– Opiskelurutiinien automatisointi 22% 24%– Oppimisympäristö laajenee 23% 18%

Kyselyt TTY:n verkko-opiskelijoilleLukuvuosi 2001-02: vastaajia 414Lukuvuosi 2002-03: vastaajia 164EVA –tutkimusryhmä 2001 - 2004

TTY/DMI/Hypermedialaboratorio

Odotetut lisäarvot ryhmittäin

Montako % ko. ryhmästä valitsi kunkin lisäarvon. Kukin vastaaja saattoi valita useamman kuin yhden lisäarvon.

Lisäarvo Kaikki vast.

Työssä- käyvät

Kampusopisk.

Kok. verk.op.

Innost. verk.op

Luopujat

joustavuus ajan suhteen 75 70 50 91 82 67

joustavuus paikan suhteen 62 80 26 77 69 38

joustava pääsy materiaaleihin 48 60 26 48 51 52

opiskelurutiinien automatisointi 24 21 4 27 31 33

oppimateriaalin monipuolisuus 27 40 8 25 38 19

vastuu omasta oppimisesta kasvaa

19 25 12 20 20 14

(Lukuvuoden 2002-2003 aineisto N=150)

TTY/DMI/Hypermedialaboratorio

Opiskelijoiden ryhmittyminen laadun kokemuksen perusteella

1. verkko-opiskelijat (22%)2. tietoteknistä tukea tarvitsevat (20%) 3. luopujat (9%)4. pettyneet (22%)5. tunnolliset (27%)

Opiskelijat täyttivät verkkolomakkeen opintojakson lopussa (N=157)

TTY/DMI/Hypermedialaboratorio

Ryhmien ominaisuuksia

1. verkko-opiskelijat- suhtautuivat positiivisesti verkko-opiskeluun- tietotekniset taidot melko hyvät- yhteisöllisyydellä ei merkitystä- saavuttivat opiskelutavoitteensa hyvin- oppivat syvällisesti tiedot- opiskelivat mieluiten yksin- opintojakso oli melko helppo- eivät osallistuneet lähiopetukseen, mutta osallistuvat verkko-opetukseen- työmäärä pieni verrattuna perinteiseen- oppimateriaalin laatu parani- oppimateriaalin sisältö vaikutti motivaatioon positiivisesti - kokivat opintojakson soveltuvan parhaiten itseopiskeluun

N=34

2. tietoteknistä tukea tarvitsevat- suhtautuivat hieman negatiivisesti verkko-opiskeluun- muita opiskelijoita heikommat tietotekniset taidot- yhteisöllisyys melko merkittävässä roolissa- opiskelutavoitteiden saavuttaminen heikkoa- oppivat lähinnä irrallisia asioita- kokivat saaneensa heikosti tietoa opintojaksosta ennen sen alkamista- opintojakso oli melko vaikea- osallistuivat paljon lähiopetukseen

N=31

N=157k-means klusterointip < 0.05

3. luopujat- suhtautuivat negatiivisesti (verkko)opiskeluun- yhteisöllisyydellä ei merkitystä- eivät saavuttaneet opiskelutavoitettaan- oppivat hajanaisia yksityiskohtia- opiskelivat mieluiten opettajan ohjaamana- opintojakso oli vaikeahako- eivät osallistuneet lähi- eivätkä verkko-opetukseen- kokivat saaneensa palautetta opettajalta vähemmän kuin perinteisessä- oppimateriaalin laatu heikkeni- oppimateriaalin sisältö vaikutti motivaatiota heikentävästi- kokivat opintojakson soveltuvan parhaiten opettajan ohjaamaksi

N=15

TTY/DMI/Hypermedialaboratorio

Ryhmien ominaisuuksia

4. pettyneet- suhtautuivat negatiivisesti verkko-opiskeluun- tietotekniset taidot hyvät- yhteisöllisyydellä positiivinen merkitys - saavuttuvat opiskelutavoittensa melko hyvin- oppivat sisällön pääpiirteittäin- opintojakso oli helpohko- opiskelivat mieluiten opettajan ohjaamina- osallistuivat aktiivisesti lähiopetukseen, mutta eivät niinkään verkko-opiskeluun- opettajalta saatu palaute vähäistäverrattuna perinteiseen opetukseen- oppimateriaalin laatu heikkenivoimakkaasti-oppimateriaalin sisältö vaikutti motivaatioon negatiivisesti-opintojakso soveltuu parhaiten opettajan ohjaamaksi

N=34

N=157k-means klusterointip < 0.05

5. tunnolliset- suhtautuivat positiivisesti verkko-opiskeluun- tietotekniset taidot melko hyvät- yhteisöllisyydellä positiivinen merkitys- saavuttivat melko hyvin opiskelutavoitteensa- oppivat sisällön melko syvällisesti- saivat melko riittävästi tietoa opintojaksosta ennen sen alkamista- osallistuivat aktiivisesti lähiopetukseen, mutta myös verkko-opetukseen- työmäärä suurempi kuin perinteisessäopetuksessa- kokivat saaneensa palautetta opettajalta enemmän kuin perinteisessä- oppimateriaalin laatu parani- oppimateriaalin sisältö vaikutti motivaatioon positiivisesti

N=43

TTY/DMI/Hypermedialaboratorio

Eri ryhmien kokemuksia verkko-opiskelusta

”Verkko-opiskelijat”• Oppimateriaalin laatu parani verkko-opetuksen myötä >> vaikutti positiivisesti opiskelumotivaatioon ja tuki opiskelua.• Kokivat käytettyjen opetustapojen, opintojakson ajankäytön vaikuttaneen positiivisesti opiskeluun.• Verkossa olevat harjoitustehtävät tukivat melko paljon opiskelua.• Tärkeimät lisäarvot: joustavuus paikan suhteen, materiaalin saatavuus ja mahdollisuus syventyä itsenäisesti opittavaan asiaan.

>> Laadukas verkkomateriaali, itsenäisen verkkotyöskentelyn tukeminen merkittäviä tekijöitä>> Jatkossa 88% vastaajista valitsisi mieluiten verkkopohjaisen opintojakson.

"Webbidemot erittäin hyvä…”"Laskuharjoitukset olivat todella hyvät koska siellä joutui laskemaan itse ja

porkkanapisteet kannustivat yrittämään".

TTY/DMI/Hypermedialaboratorio

”Tietoteknistä tukea tarvitsevat”• Tiedon saaminen opintojaksosta ennen sen alkamista puutteellista.• Opiskelutavoitteiden saavuttaminen onnistui heikohkosti.• Muista ryhmistä poiketen tämän ryhmän edustajista yli puolet sijoittui pakolliselle verkkokurssille.• Kokivat verkossa olevien harjoitustehtävien tukeneen opiskeluaan.• Noin 33% ryhmästä koki verkko-oppimateriaalin tukevan omaa opiskeluaan.• Melko neutraaleja arvioita opetuksen laadukkuudesta.• Tärkeimmät lisäarvot: joustavuus ajan ja paikan suhteen, oppimisympäristön laajeneminen. (Valitsivat vain vähän lisäarvoja).

>> Opiskelurutiinien tukeminen verkon välityksellä.>> Jatkossa 50% vastaajista valitsisi mieluiten verkkopohjaisen.opintojakson.

”...verkon tärkein tehtävä on toimia keskustelukanavana ongelmatilanteissa ja tarjota kurssimateriaali.”

Eri ryhmien kokemuksia verkko-opiskelusta

TTY/DMI/Hypermedialaboratorio

”Luopujat”• Suhtautuivat varsin negatiivisesti verkko-opiskeluun ja olivat

passiivisia sekä lähi- että verkko-opetuksen suhteen• Oppimateriaalin laatu heikkeni verkkopohjaisen opetuksen myötä >>

vaikutti heikentävästi opiskelumotivaatioon. Samaten opintojakson toteutunut ajankäyttö.

• Yksikään ei kokenut käytettyjen opetustapojen tukeneen opiskeluaan.• Palautetta opettajalta vähemmän kuin perinteisellä opintojaksolla.• Eivät kokeneet oppivansa verkko-opintojaksolla.• Tärkeimmät lisäarvot: oppimateriaalin parempaan saatavuus,

suurempi määrä, mahdollisuus syentyä itsenäisesti.

>> Ongelmat tuntuvat liittyvän opiskeluun yleensä. Yleinen opiskeluorientaatioon liittyvä motivointi.>> Jatkossa 73% ryhmästä valitsisi mieluiten perinteisen opintojakson.

”Oma motivaatio ja ajankäyttö olivat ratkaisevia. Valitettavasti huonoon suuntaan tällä kertaa”.

Eri ryhmien kokemuksia verkko-opiskelusta

TTY/DMI/Hypermedialaboratorio

”Pettyneet” (tietoteknisesti vahvoja)• Oppimateriaalin laadun heikentyminen verkkopohjaisen opetuksen myötä >> vaikutti heikentävästi opiskelumotivaatioon ja vaikutti negatiivisesti opiskeluun (esim. päivitysten viivästyminen).• Palautteen ja opastuksen saaminen opettajalta vähäisempää kuin perinteisellä opintojaksolla.• Lähiopetus tuki parhaiten opiskelua, verkossa käyetetyt opetustavat vaikuttivat negatiivisesti omaan opiskeluun (50%).•Tärkeimmät lisäarvot: oman metraalin tekeminen, joustavuus paikan suhteen, ryhmätyötaitojen kehittyminen.

>> Verkko-toteutuksen käytettävyys ja esteettömyys sekä merkittäviätekijöitä sekä oppimisen ohjaus ja opettajan antama palaute.>> Jatkossa 79% vastaajista valitsisi mieluiten perinteisen opintojakson.

”Toimiva portaali, jota kurssinpitäjät eivät käyttäneet””Verkko-opinnot sinänsä voi tehdä myös erittäin toimivasti, mutta tällä

kurssilla verkon kanssa pelleilystä ei ollut muuta kuin haittaa”.

Eri ryhmien kokemuksia verkko-opiskelusta

TTY/DMI/Hypermedialaboratorio

”Tunnolliset”• Oppimateriaalin laadun parantuminen verkkopohjaisen opetuksen myötä >> vaikutti positiivisesti opiskelumotivaatioon.• Käytetyt opetustavat ja toteutunut ajankäyttö vaikuttivat opiskeluun positiivisesti.• Lähiopetus, verkkomateriaali, harjoitustehtävät tukivat oppimista. • Työmäärä suurempi kuin perinteisellä opintojaksolla.• Opiskelutavoitteiden saavuttaminen onnistui hyvin.• Palautetta enemmän opettajilta verrattuna perinteiseen.• Tärkeimmät lisäarvot: joustavuus ajan ja paikan suhteen, oppimateriaalin saatavuus, tietokoneen käyttötaitojen oppiminen.

>> Laadukas verkkomateriaali, vuorovaikutteisen työskentelyn tukeminen sekä opettajan antama palaute merkittäviä tekijöitä.>> Jatkossa 85% valitsisi mieluiten verkkopohjaisen opintojakson.

"Opetustavasta oli hyötyä" "Lisäksi minulle merkitsi paljon mukava opettaja ja muut kurssilaiset."

Eri ryhmien kokemuksia verkko-opiskelusta

TTY/DMI/Hypermedialaboratorio

Toteutuneita lisäarvoja

Lisäarvo 01-02 02-03– Joustavuus ajan suhteen 61% 74%– Joustavuus paikan suhteen 54% 45%– Vastuu omasta oppimisesta kehittyi 56% 20%– Joustava pääsy opiskelumateriaaleihin 36% 53%– Oppimateriaalin monipuolisuus 27% 23%– Oppimateriaalia käytettävissä enemmän 30% 33%– Oppimateriaalin havainnollisuus 22% 31%– Opiskelun rutiinitoimien helpottuminen 19% 13%

Kyselyt TTY:n verkko-opiskelijoilleLukuvuosi 2001-02: vastaajia 152Lukuvuosi 2002-03: vastaajia 70EVA –tutkimusryhmä 2001 - 2004

TTY/DMI/Hypermedialaboratorio

Yleisimmät lisäarvot

Montako % ko. ryhmästä valitsi kunkin lisäarvon.Kukin vastaaja saattoi valita useamman kuin yhden lisäarvon.

Lisäarvo Kaikki vastaajat

Verkko-opiskelijat

ATK-tukea

Luopujat Pettyneet Tunnolliset

joustavuus ajan suhteen

63 88 86 0 6 82

joustavuus paikan suhteen

64 69 71 0 56 65

joustava pääsy materiaaleihin

52 69 29 100 19 71

itsenäinen syventyminen

46 69 29 100 13 59

oppimateriaalin laatu 34 56 27 100 13 29tietokoneen käyttötaitojen oppiminen

34 19 14 0 31 59

(Lukuvuoden 2002-2003 aineisto N=70)

TTY/DMI/Hypermedialaboratorio

TVT-avusteisen opetuksen laadukkuuden merkityksellisiä tekijöitä

• Verkko-opiskelun jatkossa valitsevat kokivat löytäneensä enemmän lisäarvoja kuin perinteisen opintojakson jatkossa valitsevilla

• verkko-opiskelun valinneet keskimäärin 7,7 lisäarvoa• perinteisen opiskelun valinneet keskimäärin 4,7 lisäarvoa

• Merkitykselliset tekijät, jotka vaikuttavat korostuvan jatkossa verkkopohjaisen opintojakson valinneilla, liittyvät mm.

• verkko-opiskelumateriaaliin• toteutuneeseen ajankäyttöön• käytettyihin opiskelu- ja opetustapoihin• opiskelumotivaatioon.

• Merkitykselliset tekijät, jotka vaikuttavat korostuvan jatkossa perinteisen opintojakson valinneilla, liittyvät mm.

•opiskelijoiden aikaisempiin tietoihin ja taitoihin• opiskeluprosessia tukevat ohjeistukset ja opastukset• verkkototeutuksen käytettävyyteen ja • esteettömyyteen (esim. päivitys, tekniset ongelmat)

TTY/DMI/Hypermedialaboratorio

Tutkimustyö jatkuu…

• MOK - Matematiikan opetuksen kehittäminen– opiskelijoiden profilointi > tukea tarvitsevien opiskelijoiden

löytäminen– tiedonlouhintamenetelmät kriittisten kysymysten löytämisessä

• Sumea logiikka ja sumeat käsitteet sekä oppivat algoritmit - esim. päättelypuun käyttö laajan aineiston ryhmittelyssä:

Nykänen, O. (2004). Fuzziness as a recognition problem: using decision tree learning algorithms for inducing fuzzy membership functions. In Zanasi, A., Ebecken N.F.F. & Brebbia, C.A. (Eds). Data Mining V: Data Mining, Text Mining, And Their Business Applications. WIT Press, UK, ISBN 1-85312-729-9.

• Väitöskirjatutkimuksia – Verkko-oppimateriaalin informaatioarkkitehtuurin suunnittelu ja

pedagoginen personointi – Miellyttävyyden ja mielihyvän merkitys verkkopalvelun laadun

kokemisessa

TTY/DMI/Hypermedialaboratorio

EVA-tutkimusryhmän yhteystiedot

Erikoistutkija Kirsi SiliusTutkija Anne-Maritta TervakariFil. yo Elina KalliomäkiHum.kand. Katja KaunismaaProfessori Seppo Pohjolainen

s-posti etunimi.sukunimi@tut.fi

TTY/DMI/HypermedialaboratorioTietotalo, Korkeakoulunkatu 1PL 55333101 Tamperehttp://matriisi.ee.tut.fi/hypermedia/

TTY/DMI/Hypermedialaboratorio

Kiitos mielenkiinnostanne!

• Kysymyksiä?

• Kommentteja?

Yhteystietoni:Anne-Maritta Tervakari S-posti: anne.tervakari@tut.fiPuh: 03-3115 3674

TTY/DMI/Hypermedialaboratorio

EVA-tutkimukseen liittyviä julkaisuja• Forsblom, N. & Silius, K. 2002a. Value Added on Web-based Learning

Environments. In E.Pantzar (Eds.), Perspectives on the Age of the Information Society. Tampere University Press, 103 - 113.

• Forsblom, N. & Silius, K. 2002b. What is the Added Value of Web-based Learning and Teaching? The Case of Tampere University of Technology. In A.J.Kallenberg & M.J.J.M. van der Ven (Eds.), The New Educational Benefits of ICT in Higher Education: Proceedings, 18 - 25.

• Pohjolainen, S., Suomela, K., Silius, K., Tervakari, A-M. & Häkkinen, P. 2004. Mathematical Modelling over the Internet - a National Network Project of Finnish Virtual University. JCAL Journal of Computer Assisted Learning. Special issue. To be published.

• Silius, K., Tervakari, A-M., Kaartokallio, H. & Yritys, K. 2003. Tieto- ja viestintätekniikka-avusteisen opetuksen käyttökelpoisuuden arviointimalli. Suomen virtuaaliyliopiston e-julkaisuja nro 9. Espoo: Suomen virtuaaliyliopiston kehittämisyksikkö. ISBN 951-22-6623-7.

• Silius, K., Tervakari, A-M., Kalliomäki, E. & Kaunismaa, K. 2004. Verkko-opetuksen laatu. Teoksessa: Inkinen, T., Kasvio, A. & Liikala, H. (toim.) Tietoyhteiskunta: mielikuvia ja analyyseja. Tampere: Tampere University Press, 158 - 170. Julkaistaan loppuvuodesta 2004.

TTY/DMI/Hypermedialaboratorio

EVA-tutkimukseen liittyviä julkaisuja• Silius, K. & Tervakari, A-M. 2003. An Evaluation of the Usefulness of Web-

based Learning Environments. The Evaluation Tool into the Portal of Finnish Virtual University. In: Peñarrocha, V. & alt. (ed.)mENU 2003 - International Conference on University Networks and E-learning 2003, 8-9 May 2003 in Valencia, Spain. Proceedings of mENU, [CD-rom]. ISBN:84-9705-369-9. Luettu 26.11.2003. Saatavissa pdf-muodossa:http://matriisi.ee.tut.fi/arvo/liitteet/usefulness_of_web.pdf

• Silius, K., Tervakari, A-M., Kaunismaa, K., Kalliomäki, E. & Pohjolainen, S. 2004. Tieto- ja viestintätekniikka-avusteisen opetuksen laadukkuus - Arvioinnin apuna Käyttökelpoisuuden arviointimalli sekä arviointi- ja reflektointityökalu ARVO. ITK'04 tutkijatapaaminen 21.04.04 Hämeenlinna. Julkaistaan loppuvuodesta 2004.

• Silius, K., Tervakari, A-M., Kaunismaa, K., Kalliomäki, E. & Pohjolainen, S. 2004. Opiskelijoiden erilaisuus ja verkkopohjaisen opetuksen laatu. Teoksessa: Marjomaa, E., Marttunen, M. & Soukka, A. (toim.) Kognitiivisen verkkopedagogiikan erityiskysymyksiä. Joensuu: Joensuun yliopisto. Julkaistaan loppuvuodesta 2004.

TTY/DMI/Hypermedialaboratorio

EVA-tutkimukseen liittyviä julkaisuja• Silius, K., Tervakari, A-M., Yritys, K., Kalliomäki, E. & Pohjolainen, S. 2004.

Tieto- ja viestintätekniikka (TVT) -avusteisen opetuksen käyttökelpoisuuden arviointi. ITK'04 Parhaat paikalla - toimivia käytäntöjä arkeen. Hämeen kesäyliopiston julkaisuja, sarja B. Riihimäki: Hämeen kesäyliopisto, 71-72.

• Tervakari, A-M., Silius, K., Ranta, P., Mäkelä, T. & Kaartokallio, H. 2002.Tietoverkkoavusteisen opetuksen käyttökelpoisuus. Käytettävyys ja pedagoginen käytettävyys opetuksen organisoinnin näkökulmasta. Tampereen teknillinen yliopisto: Hypermedialaboratorio.

TTY/DMI/Hypermedialaboratorio

Muut lähteet• Alexander, J.E. & Tate, M. A.1999. Web Wisdom. How to Evaluate and Create

Informational Quality on the Web. Wolfgram Memorial Library. Widener University. New Jersey: Lawrence Erlbaum Associates.

• ARVO 2003. ARVO - arviointi- ja reflektointityökalu. [viitattu 3.4.2004]. http://www.virtuaaliyliopisto.fi/arvo/

• Cooke, A. 2001. A guide to finding quality information on the Internet. Selection and evaluation strategies. Second edition. London: Library Association Publishing.

• Dewitte, S. & Lens, W. 1999. Volition: Use with measure. Learning and Individual Differences 11(3) 321-333.

• Edman, A. & Mayiwar, N. 2003. A Knowledge-Based Hypermedia Architecture Supporting Different Intelligences and Learning Styles. PEG2003- The Eleventh International PEG Conference: Powerful ICT for Teaching and Learning, 28 June - 1 July 2003 in St. Petersburg, Russia. Proceedings of PEG2003, [CD-rom].

• Egenfeldt-Nielsen, S. 2003. Thoughts on learning in games and designing educational computer games. Game-Research. [viitattu 3.3.2004] http://game-research.com/art_educational_games.asp

• Grönroos, C. 1990. Nyt kilpaillaan palveluilla. Suom. M. Tillman. Helsinki: Weilin+Göös.• Hakkarainen, K., Lakkala, M. , Rahikainen, M. & Seitamaa-Hakkarainen, P. 2001.

Specification of design prinsiples for ITCOLE. ITCOLE Project. IST-2000-26249. Information Society Technologies.

TTY/DMI/Hypermedialaboratorio

Muut lähteet

• ISO 9241-11. 1998. Guidance on Usability.• James, R. 2001. Students’ changing expectations of higher education and the

consequences of mismatches with the reality. OECD-IMHE Conference of Management Responses to Changing Student Expectations, 24 September 2001 in Brisbane, Australia. [viitattu 22.6.2004 ] http://www.cshe.unimelb.edu.au/pdfs/OECD_IMHE.pdf

• Jonassen, D. 1995. Supporting communities of learners with technology: a vision for integrating technology with learning in schools. Educational Technology 35 (4), 60-63.

• Järvenoja, H. 2003. Motivationaalinen itsesäätely ja volitio uusissa teknologisissa oppimisympäristöissä. ITK´03 tutkijatapaaminen. [viitattu 3.3.2004] http://tampub.uta.fi/tup/951-44-5696-3.pdf

• Keinonen, T. 1998. One-dimensional usability - influence of usability on consumers' product preference. Taideteollisen Korkeakoulun julkaisu A21. Helsinki: Taideteollinen korkeakoulu

• Leemkuil, H., de Jong , T. & Ootes, S. 2000. Review of educational use of games and simulations. KITS – Knowledge management Interactive Training System -consortium. [viitattu 3.3.2004] http://kits.edte.utwente.nl/documents/d19.pdf.

• Matikainen, J. & Manninen, J. 2000. Aikuiskoulutus verkossa. Verkkopohjaisten oppimisympäristöjen teoriaa ja käytäntöä. Helsingin yliopiston Lahden tutkimus- ja koulutuskeskus. Tampere: Tammer-Paino.

TTY/DMI/Hypermedialaboratorio

Muut lähteet• Nielsen, J. 1993. Usability Engineerings. Boston (MS.): Academic press.• Nielsen, J. 1995. Inspection Methods. Computer-Human Interaction. CHI'95. Electronic

proceedings. [viitattu 26.11.2003]http://www.acm.org/sigchi/chi95/proceedings/tutors/jn_bdy.htm

• Nykänen, O. (2004). Fuzziness as a recognition problem: using decision tree learning algorithms for inducing fuzzy membership functions. In Zanasi, A., Ebecken N.F.F. & Brebbia, C.A. (Eds). Data Mining V: Data Mining, Text Mining, And Their Business Applications. WIT Press, UK, ISBN 1-85312-729-9.

• Ruokamo, H. & Pohjolainen, S. 1999. Etäopetus multimediaverkoissa (ETÄKAMU) –tavoitetutkimushanke. Teoksessa Ruokamo, H. & Pohjolainen, S. (toim.) Etäopetus multimediaverkoissa. Teknologian kehittämiskeskus. Digitaalisen median raportti 1, 1-63.

• Ruokamo, H., Tella, S., Vahtivuori, S., Tuovinen, H. & Tissari, V. 2003. Pedagogiset mallit verkko-opetuksen suunnittelussa, toteutuksessa ja arvioinnissa (HelLa projekti). Teoksessa V. Meisalo (toim.) Aineenopettajankoulutuksen vaihtoehdot ja tutkimus 2002. Ainedidaktiikan symposiumi 1.2.2002. Helsingin yliopiston opettajankoulutuslaitos. Tutkimuksia 241, 404-420.

• Ryan, R.M. & Deci, E.L. 2000. Intrinsic and Extrinsic Motivation: Classic Definitions and New Directions. Contemporary Educational Psychology 25, 54-67. [viitattu 3.3.2004] http://www.idealibrary.com.

TTY/DMI/Hypermedialaboratorio

Muut lähteet

• Sinkkonen, I., Kuoppala, H., Parkkinen, J. & Vastamäki, R. 2002. Käytettävyyden psykologia. Helsinki: Edita Oyj.

• Soloway, E., Jackson, S.L., Klein, J., Quintana, C., Reed, J., Spitulnik, J.,Stratford, S.J., Studer, S., Jul, S., Eng, J., Scala, N. 1996. Learning Theory inPractice: Case Studies of Learner-Centered Design. Computer-Human Interaction. CHI'96. Electronic proceedings..

• Tella, S., Vahtivuori, S., Vuorento, A., Wager, P. & Oksanen, U. 2001. Verkko opetuksessa - opettaja verkossa. Helsinki: Edita Oyj.

• Tricker, T. 2003. Student expectations – How do we measure up? 2nd Global Conference of the Idea of Education, 4 – 5 July 2003 in Oxford, United Kingdom. [viitattu 22.6.2004] http://www.inter-disciplinary.net/tricker%20paper.pdf

• Turkki,L. & Sinkkonen, I. 2004. Esteetön vai käytettävä? [online] Adage Oy. [viitattu 23.03.04] http://www.adage.fi/artikkelit/esteeton_vai_kaytettava.html

• Walldén, S. 2003. Edutainment interaktiiviseen televisioon? Teoksessa Levonen, J. & Järvinen, T. (Toim.) TUOVI: ITK’03 – Tutkijatapaamisen artikkelit. Tampereen yliopiston Hypermedialaboratorion verkkojulkaisuja, 3. [viitattu 3.3.2004] http://tampub.uta.fi/tup/951-44-5696-3.pdf.

• Wilson, G.B., 1995. Metaphors for instruction, why we talk about learning enviroments. Educational Technology, 35 (5), 25-30.