autoreferát k disertační práci 2016...ostravská univerzita pedagogická fakulta...
TRANSCRIPT
Ostravská univerzita
Pedagogická fakulta
Auto-evaluační
algoritmy
e-learningových
kurzů
Auto-evaluation
algorithms
of e-learning
courses
Autoreferát
k disertační práci
2016
Studijní program: Specializace v pedagogice
P 7507
Obor: Informační a komunikační technologie ve vzdělávání
7507V066
Disertant: Mgr. Markéta Dvořáčková
Ostravská univerzita, Pedagogická fakulta
katedra informačních a komunikačních technologií
Fráni Šrámka 3, 709 00 Ostrava-Mariánské Hory
Školitel: doc. RNDr. Jana Šarmanová, CSc.
Ostravská univerzita, Pedagogická fakulta
katedra informačních a komunikačních technologií
Fráni Šrámka 3, 709 00 Ostrava-Mariánské Hory
Obhajoba disertační práce se uskuteční
v úterý 9. února 2016
v zasedací místnosti SA 407
Ostravská univerzita, Pedagogická fakulta
katedra informačních a komunikačních technologií
Fráni Šrámka 3, 709 00 Ostrava-Mariánské Hory
Oponenti:
doc. Ing. Kateřina Kostolányová, Ph.D.
prof. Dr. Ing. Miroslav Pokorný
Autoreferát byl rozeslán dne 7. 1. 2016
S disertací se lze seznámit na katedře informačních a komunikačních
technologií Pedagogické fakulty Ostravské univerzity v Ostravě
Fráni Šrámka 3, 709 00 Ostrava-Mariánské Hory od 7. 1. 2016.
Bibliografická identifikace
Jméno a příjmení autora: Mgr. Markéta Dvořáčková
Název disertační práce:
Auto-evaluační algoritmy e-learningových kurzů
Název disertační práce anglicky:
Aut-evaluation algorithms of e-learning courses
Školitel: doc. RNDr. Jana Šarmanová, CSc.
Rok obhajoby: 2016
Abstrakt
E-learning se svou flexibilitou a rozsáhlými možnostmi, které přináší
realizaci výuky, může být v mnoha oblastech plnohodnotným, kvalitním
a efektivním způsobem vzdělávání. Rozšiřování využití e-learningu s sebou
přináší i zvýšený požadavek na jeho kvalitní evaluaci. Tato práce se zabývá
evaluací kurzů, jejich obsahu i průběhu samotného procesu vzdělávání
v kontextu studenta jako příjemce komunikovaného obsahu. Zaměřuje
se na personalizovaný e-learning, jakožto vyšší formu e-learningu, středem
jehož zájmu je právě student, jemuž je výuka adaptována. Byl navržen
evaluační model, podle kterého byly definovány oblasti evaluace
a specifikovány konkrétní výstupy dílčích částí evaluace. Tyto jsou základem
pro datovou analýzu a dále formulaci expertních pravidel evaluačního
systému. Práce se zabývá rovněž návrhem struktury tohoto evaluačního
systému, jehož účelem je analyzovat a evaluovat vzdělávací procesy a kurzy
automaticky.
Klíčová slova
Evaluace e learningu, personalizovaný e learning, evaluační model, evaluace
vzdělávacího procesu, expertní systém, evaluační systém
Abstract
E learning with its flexibility and wide possibilities, that brings
to the instruction, can be in many educational fields a valued, high quality
and efficient way of the process of education. The expansion of e learning
brings out higher requirements also on its evaluation. This thesis deals with
the evaluation of courses, their content, and the course of the process itself
as well in context with a student as a recipient of the communicated
content. It concentrates on personalized e learning, as a higher form of
e-learning, which considers a student, to whom the instruction is adapted,
to be the centre of its attention. a model of evaluation has been designed
according to which areas of evaluation have been determined and explicit
outputs of component parts of evaluation have been specified. These are
the basis for a data analysis and also for a formulation of expert rules
of the final evaluation system. The thesis also deals with the design
of the structure of this system which will analyse and evaluate processes
of education and courses automatically.
Key words
E-learning evaluation, personalized e learning, model of evaluation,
evaluation of the learning process, expert system, evaluation system
Obsah
Úvod .............................................................................................................. 1
1. Přehled o současném stavu .................................................................. 2
1.1. Vymezení pojmů ........................................................................... 2
1.2. Evaluace v pedagogice .................................................................. 3
1.3. Evaluace e-learningu ..................................................................... 4
1.4. LMS Barborka ................................................................................ 4
2. Teoretická východiska .......................................................................... 6
2.1. Teorie adaptivní výuky ...................................................................... 6
2.2. Metody dolování znalostí z dat ..................................................... 6
3. Cíle práce .............................................................................................. 8
4. Teoretický návrh evaluačního systému .............................................. 10
4.1. Evaluační posudky před výukou ................................................. 10
4.2. Studentská evaluace po výuce .................................................... 11
4.3. Evaluace učebního procesu ........................................................ 12
4.3.1. Předzpracování dat protokolu pro analýzy ......................... 12
4.3.2. Základní statistické charakteristiky dat .................................. 13
4.3.3. Použití statistických metod ..................................................... 14
4.3.4. Analýzy příčin úrovně znalostí ................................................ 14
4.3.5. Analýzy příčin množství času stráveného nad oporou ........... 15
4.3.6. Analýzy příčin zásahů studenta do adaptivního řízení ........... 15
4.4. Integrace výsledků ...................................................................... 16
5. Implementace evaluačního systému .................................................. 18
5.1. Akvizice dat ................................................................................. 18
5.2. Příprava dat ................................................................................ 18
5.3. Výpočty základních charakteristik .............................................. 19
5.4. Statistické analýzy a analýzy prostřednictvím metod ................. 19
6. Pilotní testování evaluačního systému ............................................... 20
6.1. Předmět Business English 1 ........................................................ 20
6.2. Předmět Matematika .................................................................. 23
6.3. Využití výsledků .......................................................................... 26
7. Závěr ................................................................................................... 27
7.1. Shrnutí výsledků práce ............................................................... 27
7.2. Náměty na pokračování výzkumu .............................................. 28
8. Seznam použité literatury ................................................................... 30
Seznam publikací ........................................................................................ 32
Profesní curriculum vitae ............................................................................ 33
1
Úvod Součásti e-learningu jako výukové objekty, využívání multimédií
nebo uživatelské prostředí jsou často diskutovanými tématy se společnou
základní otázkou: „Jak doručit kurikulum způsobem, aby byl zajištěn
pozitivní impakt výuky pro všechny studenty“?
Autoři a tvůrci výukového obsahu, který je jedním z nejpodstatnějších
stavebních prvků e learningových kurzů, vyvíjejí snahu o vytvoření
efektivních, srozumitelných a motivujících výukových opor. Vytvořit
takovou oporu však není jednoduché, zejména pokud nejsou k dispozici
ucelené standardy pro jejich formu. Často je tak e-learningem nazývána
počítačem podporovaná výuka, realizovaná prostřednictvím internetu
s podporou systému řízení výuky (LMS). Evaluace vzdělávacích materiálů
stejně jako vzdělávacího procesu je obecně nutností, která je o to zásadnější
v případě e-learningových kurzů. Návrhem metod a prostředků pro
vyhodnocení e learningového kurzu, tedy evaluací připraveného kurzu se
zabývá řada autorů. Tato práce je orientována na relativně novou oblast -
výuku s adaptovatelnými výukovými oporami na míru osobním vlastnostem
studenta, podporovanou speciálním adaptivním LMS a protokolujícím velmi
podrobně celý proces výuky každého studenta.
Přestože myšlenka personalizace není novinkou, ve svém plném potenciálu
a rozsahu je její využití spíše výjimkou. Takové řešení, které zaručuje plné
přizpůsobení se různým potřebám jednotlivých studentů je oproti
standartnímu e-learningu o to náročnější na tvorbu kvalitní výukové opory
a rovněž na jeho evaluaci. Autoři adaptivních výukových opor mají silnou
potřebu spolehlivých a automatických nástrojů evaluace, které jim
poskytnou tolik potřebnou zpětnou vazbu o jejich díle, jehož hodnocení
tradičními manuálními nástroji je vzhledem k jeho rozsahu nereálné.
2
1. Přehled o současném stavu
1.1. Vymezení pojmů
Názory na definici e learningu se dle pohledů různých autorů liší. Předtím
tedy, než začneme hovořit o e-learningu a jeho evaluaci, vymezme nejprve
pojmy, se kterými bude dále v práci zacházeno.
Průcha, Walterová a Mareš (2009, s. 66-67) e-learning jako typ učení,
při němž získávání a používání znalostí je distribuováno a usnadňováno
elektronickými zařízeními, které může zahrnovat ucelené učební kurzy nebo
menší učební moduly či témata. Může se opírat o časově synchronní anebo
asynchronní přístupy a být distribuováno z geograficky i časově nezávislých
zdrojů, propojuje vnější řízení jedince s jeho autoregulací a je používáno
především v distančních a kombinovaných formách vysokoškolského studia,
v podnikovém vzdělávání, při rekvalifikačních kurzech, ale postupně proniká
na střední i základní školy.
E-learning může být definován z různých pohledů. Kapounová (2012) uvádí
tři definice, a to:
• na bázi elektronicky orientovaný procesů – jakožto elektronické
vzdělávání, jež je sérií procesů spojených s učením a jejich řízením,
realizovaných elektronickými prostředky,
• technologická – jakožto počítačem podporovanou výuku, případně
výuku prostřednictvím webu, řídicí systém učení a komunikační
prostředky,
• didaktická – jakožto spojení systémového návrhu a vhodného modelu
učení v prostředí informačních a komunikačních technologií.
Pro účely této práce budeme e learningem chápat jako proces
elektronického vzdělávání s podporou multimediálními prostředky,
internetem a jinými médii, realizovaný v prostředí LMS za účelem
efektivního dosažení vzdělávacího cíle.
Zvláštním variantou e-learningu je adaptivní e-learning, v rámci něhož je
výuka adaptována (personalizována) tak, aby každému studentu jako
individuu zprostředkovala individuálně efektivní dosažení vzdělávacích cílů.
3
Součástí adaptivního e-learningu je nejen personalizované uživatelské
prostředí, ale především naplnění potřeb studenta, který se učí:
• formou, která mu vyhovuje,
• z materiálů vyhovujícího typu, detailu informací a zpracování,
• v ideálním rozsahu (pro konkrétního studenta),
• vyhovujícím postupem.
Základní podmínkou pro realizaci adaptivní výuky je znalost individuálních
studentů, jejich učebních stylů a přístupů k výuce. Ekvivalentně důležitou
podmínkou je existence výukových materiálů v takové formě a rozsahu,
aby tuto adaptaci umožnily. V neposlední řadě je personalizace e-learningu
založena na adaptaci výukového procesu, čímž reaguje na požadavek
„vyhovujícího postupu a formy“ výuky.
1.2. Evaluace v pedagogice
Evaluace je proces systematického shromažďování a analýzy informací
podle určitých kritérií za účelem dalšího rozhodování. (Ehlers a Pawlowski,
2006). Je prakticky orientovaná, jejím základem jsou validní a reliabilní data
o podmínkách, procesech a účincích předmětu evaluace a zahrnuje
vyjádření hodnot, kritérií.
Podle oblastí pedagogické evaluace definovaných Průchou (2000), můžeme
zařadit evaluaci e-learningových kurzů v širším kontextu do všech oblastí,
tedy vzdělávacích potřeb, programů, výuky, vzdělávacích výsledků.
Hodnocení kvality jakéhokoli pedagogického procesu je podle Zlámalové
(2012) vnímáno v pedagogických vědách dvěma způsoby:
• hodnocení výkonu studenta, kterého dosahuje v rámci procesu učení,
• hodnocení efektivity ve smyslu účinnosti systému, včetně hodnocení
ekonomického využití investice.
Z tohoto pohledu se tato práce se zaměřuje na druhou z těchto dvou částí,
hodnocení účinnosti systému, pro niž je hodnocení výkonu studenta,
úrovně získaných znalostí a schopností cenným zdrojem informací, zpětnou
vazbou o systému.
4
1.3. Evaluace e-learningu
Názory autorů na kontextuální rozsah evaluace e-learningu se liší. V mnoha
případech je evaluace pojímána velmi komplexně a v širokém významu
pojmu, což ji často činí za běžných podmínek téměř nerealizovatelnou.
Fitzpatrick, Sanders a Worthen (2010) definovali přístupy k evaluaci
e-learningu v 5 klastrech, které jsou orientovány na cíle, management,
spotřebitele, expertízu a účastníka.
Khan (2005) navrhuje následující dílčí oblasti evaluace:
• evaluace procesu vývoje e learningového obsahu,
• evaluace e learningového prostředí,
• evaluace e learningu na programové a institucionální hladině,
• hodnocení studentů (pozn. zde ve významu úrovně jimi dosažených
studijních výsledků).
Kirkpatrick (J. Kirkpatrick, et. al., 2009) navrhuje čtyřúrovňový model
hodnocení s hierarchickými úrovněmi: reakce, učení, chování, výsledky,
přičemž uvádí, že každý vzdělávací program/kurz/předmět by měl být
hodnocen alespoň na první úrovni – hodnocení studenta. Na druhé úrovni
je pak hodnocen pokrok, získané znalosti a dovednosti, na třetí úrovni
využití znalostí v životní realitě a úroveň čtvrtá se zaměřuje na hodnocení
výsledků vzdělávacího projektu.
1.4. LMS Barborka
V rámci projektu ESF „Adaptivní individualizovaná výuka v e learningu“
zpracoval tým expertů z oblastí pedagogiky, psychologie a ICT ve vzdělávání
návrh komplexního řešení adaptivního e-learningu. Systém zajišťující jeho
realizaci zohledňuje všechny interakční složky procesu vzdělávání:
• student a jeho učební styl, kterému je výuka adaptována,
• výukové opory prezentované v odpovídajících variantách,
• adaptivní systém řízení výuky, tzv. virtuální učitel.
5
Obrázek 1 - Struktura LMS Barborka
Systém řízení výuky, LMS Barborka, je v tomto případě vysoce
specializovanou expertní formou LMS, která, kromě základních funkcí
tradičního LMS, komplexně zajišťuje adaptivitu výuky. Systém zprostředkuje
obsah kurzu v odpovídající variantě na základě pravidel zohledňujících
učební styly studenta a zvolí odpovídající formu jeho prezentace a vedení
studenta v procesu výuky.
LMS Barborka zaznamenává veškeré aktivity a celý studijní proces každého
studenta včetně měření znalostí ve formě detailního protokolu.
Nedílnou součástí komplexního systému řízení výuky je modul evaluace,
který v současnost v LMS Barborka není implementován. Takový evaluační
modul by měl poskytovat množinu funkcí pro evaluaci z hlediska autora
(evaluace opory), studenta (ověření vlastností) a virtuálního učitele
(expertního řízení výuky). Úkolem této práce je evaluace opory, která v LMS
Barborka chybí a která v takto detailní formě dosud nebyla zpracována.
6
2. Teoretická východiska
2.1. Teorie adaptivní výuky
Podle Kostolányové (2012) můžeme rozlišit čtyři základní druhy adaptace,
a to: uživatelského rozhraní, obsahu výuky, vyhledávání a sestavování
obsahu výuky a adaptace podpory spolupráce (komunikace).
Adaptivita výuky je postavena na zpracování výukového obsahu po malých
částech a zároveň v několika variantách přizpůsobených studentům různých
vlastností. Studentské vlastnosti, které jsou vhodně zohlednitelné
v e-learningu jsou podle Kostolányové (2014) následující:
• smyslové vnímání - verbální, vizuální, auditivní, kinestetické;
• sociální aspekty - preferuje práci sám, ve dvojici, ve skupině;
• afektivní aspekty - vnější a vnitřní motivace ke studiu;
• systematičnost učení - upřednostňuje řád, volnost;
• způsob učení - teoretické odvozování – experimentování;
• postup učení - analytický – holistický;
• pojetí učení - hloubkové, strategické, povrchové;
• autoregulace – práce podle pokynů či samostatnost.
Navrhuje zpracování každé dílčí jednotky výukového obsahu
ve 4 smyslových variantách a 3 hloubkách (od základního výkladu
k rozšířenému pro pokročilé studenty).
2.2. Metody dolování znalostí z dat
Oproti statistickým metodám analýzy, které odpovídají na stanovené
otázky, metody dolování znalostí umožňují objevit v datech řadu dalších
informací, které jsou v datech rozptýleny a na které nikoho nenapadlo se
ptát. Nejčastěji používanou metodou je hledání asociací.
Cílem analýzy je nalézt vztahy mezi podmnožinami atributů a formulovat je
jako asociační pravidla, v nichž spolu podmnožiny souvisí, jsou jedna druhé
příčinou nebo spolu za určité podmínky korelují. (Šarmanová, 2012b)
Výpočet asociačních pravidel má smysl pro kategoriální atributy. Reálné
atributy (pokud mají rozsáhlou doménu a pokud to dává smysl) je nutno
kategorizovat. Binární atributy mohou být pro tuto metodu považovány
za kategoriální. Výsledná pravidla se skládají z antecedentu a sukcedentu
7
(příčina a důsledek). Obě strany pravidla jsou tvořeny jedním nebo více
atributy nabývajícími konkrétních hodnot, které jsou v konjunkci. Pro každé
pravidlo je dána míra spolehlivosti a výše podpory hypotézy v datech.
Cílem analýzy rozhodovacími stromy je zjištění klasifikačních pravidel,
charakteristického popisu zadaných klasifikačních tříd, pomocí kombinací
hodnot atributů. (Šarmanová, 2012b) Klasifikační pravidlo odečtené
z výsledného stromu od kořene směrem k listu je obdobným výsledkem,
který poskytuje metoda hledání asociací. Z tohoto důvodu nebude tato
metoda při implementaci aplikována.
Cílem analýzy shlukováním je objevit v datech objekty, které si jsou
vzájemně podobné na základě konkrétních charakteristik (hodnot atributů).
V ideálním případě se objekty rozpadnou do shluků, jejichž charakteristika
je interpretována. (Šarmanová, 2012b). S ohledem na charakter evaluační
analýzy a dostupné datové vstupy není zapotřebí metodu shlukování
v rámci této práce aplikovat.
8
3. Cíle práce V rámci provedeného detailního průzkumu existujících evaluačních řešení,
nebyl nalezen kompletní, plně automatizovaný evaluační systém. Většina
evaluačních systémů nejsou komplexními řešení evaluace, ale pouze
částečnými, zaměřenými pouze na některé aspekty e-learningu, nebo je
evaluace prováděna s použitím manuálních prostředků. V mnoha případech
je evaluací nazýváno jednoduché hodnocení výuky prostřednictvím
studentských dotazníků po výuce. Pro adaptivní personalizované
e-learningové kurzy, které svou komplexitou a rozsahem mnohonásobně
zvyšují náročnost evaluace oproti standartním e-learningovým kurzům pak
nebylo nalezeno žádné ucelené a autorizované řešení.
S ohledem na tyto fakty je právě návrh takového komplexního systému
evaluace e learningových kurzů se zaměřením na adaptivní e-learningové
kurzy cílem této práce.
Cílem mé disertační práce je v návaznosti na výše zmíněný projekt adaptivní
personalizované výuky realizovat
komplexní systém evaluace e learningových kurzů, především se
zaměřením na adaptivní e learningové kurzy,
a na jeho základě navrhnout a implementovat evaluační systém jako
subsystém LMS Barborka. Evaluační systém je jistým způsobem systém
expertní, který dosud v e-learningu neexistuje, zvláště ne pro adaptivní
výuku ve smyslu teorie adaptivity.
Základní cíl disertační práce může být dále rozdělen do dílčích cílů:
teoretický návrh evaluačního modelu pro realizaci kompletní evaluace
výukové opory,
návrh metod pro hodnocení kurzu s ohledem na jeho adaptivitu
a poskytnutí zpětné vazby autorovi kurzu,
návrh a implementace evaluačního systému řešícího evaluaci,
pilotní ověření správnosti navrženého řešení na konkrétních
adaptivních kurzech.
V rámci této práce je cílem řešené evaluace nejen zhodnocení současného
stavu e-learningového kurzu, ale také poskytnutí konkrétní a detailní zpětné
9
vazby autorům systému řízení výuky (revize pravidel adaptivního systému,
na základě kterých je řízen proces výuky v kurzu) a autorům studijních opor
(odhalení nedostatků v těchto oporách, jež je nutné autory odstranit).
10
4. Teoretický návrh evaluačního systému Navrhovaný evaluační systém je jednoúčelový expertní systém pro evaluaci
adaptivních výukových e-learningových opor, respektujících principy teorie
adaptivní výuky podle (Kostolányová, 2012). Expertní pravidla, navržená,
implementovaná a ověřená na pilotním kurzu jsou realizována množinou
funkcí modulu Expert v LMS Barborka.
Evaluace jednoho předmětu bude probíhat ve třech věcných a časových
etapách:
• jednorázově před zavedením do výuky (odborné posudky),
• po dokončení výuky (studentské evaluační dotazníky),
• během a po procesu výuky (podrobný protokol o průběhu výuky
všech studentů včetně výsledků hodnocení znalostí).
Obrázek 2 - Součásti evaluačního systému
4.1. Evaluační posudky před výukou
Evaluace studijních opor před výukou bude realizována prostřednictvím
odborných posudků, v nichž experti slovní i kvantifikovanou formou
zhodnotí daný materiál z příslušných hledisek. Do evaluace budou zařazeny
následující posudky:
• odborný posudek (hodnotící odbornou a technickou správnost opory),
11
• pedagogický posudek (hodnotící oporu z hlediska aplikovaných
didaktických a pedagogických postupů),
• adaptivní posudek (hodnotící zpracování opory z hlediska její
adaptivity),
• laický posudek.
Na základě výsledků hodnocení je studijní opora v první fázi evaluace přijata
pro použití ve výuce nebo jsou již v této fázi provedena autorem opory
nápravná opatření k odstranění příslušných odhalených nedostatků.
Struktura těchto posudků byla navržena v rámci ESF projektů manažery
k evaluaci výukových opor tvořených v rámci těchto projektů (Šarmanová,
2012a). V rámci této práce byla analyzována struktura posudků a na základě
výsledků analýz byly posudky případně zefektivněny, upraveny z hlediska
jejich struktury a formulace otázek pro dosažení vyšší přesnosti.
Výsledná data získaná z evaluačních posudků byla analyzována za použití
následujících korelační analýzy a analýzy hlavních komponent.
Posudky byly na základě výsledků těchto analýz upraveny, otázky
přeformulovány pro lepší srozumitelnost a některé otázky sloučeny.
4.2. Studentská evaluace po výuce
Studentskou evaluací se rozumí zhodnocení kurzu a průběhu výuky
studentem po dokončení výuky. Cílem je ověření, zda preference
a požadavky studenta na kurz a výuku byly naplněny v dostatečné míře
pro efektivní dosažení vytýčených vzdělávacích cílů kurzu. Student
vyjadřuje svůj názor na absolvovaný kurz z pohledu srozumitelnosti,
komfortu práce, uživatelské přívětivosti a (ne)vyhovujících postupů učení.
Toto hodnocení je realizováno prostřednictvím kvantifikovaného dotazníku
a získaná data jsou uložena do databázové tabulky.
Data získaná ze studentské evaluace jsou nejen přímou zpětnou vazbou
pro autory opor, ale podstatným zdrojem informací také v kontextu s daty
získanými z evaluace studijních opor. Hodnotící názory expertů se mohou
v mnoha ohledech podstatně lišit od názorů studentů.
12
4.3. Evaluace učebního procesu
Nejpodrobnější informace o procesu výuky jsou získány z podrobného
protokolu, zaznamenaného jednou z funkcí LMS v průběhu všech režimů
výuky. LMS eviduje všechny akce (= kliky) studenta v kurzu a ukládá je
do databáze jako protokol o jeho činnosti. Evaluace procesu výuky je
realizována analýzou tohoto protokolu. Pro analýzy budou použity jednak
metody matematické statistiky, jednak metody získávání znalostí z dat.
4.3.1. Předzpracování dat protokolu pro analýzy
Prvním krokem je předzpracování dat protokolu do podoby vhodné
pro jednotlivé analýzy. Tabulku protokolu je nutné propojit s navazujícími
tabulkami, zvolit atributy vstupující do analýz, odvodit nové zajímavé
atributy a kategorizovat numerické atributy. Výsledná datová sada
obsahuje atributy popisující osobnost studenta, výukovou oporu, akce
a jejich okolnosti a znalosti, dovednosti a chování studenta.
Cílem analýzy je zjištění možných závislostí, stereotypů a obecně podmínek
ovlivňujících vzdělávací proces studentů e-learningových kurzů v prostředí
adaptivního LMS Barborka. Z podrobných informací o procesu výuky je
úkolem evaluace zjistit (podle prokázaných a evidovaných znalostí,
dovedností a podle chování studenta) odpovědět na otázky „Co vedlo k“:
• určitému výsledku měření znalostí,
• množství času stráveného nad oporou,
• manuální změně nabídnuté opory.
Vzhledem k charakteru dat budou prováděny následující analýzy:
• základní statistické charakteristiky;
• analýzy s použitím statistických metod (korelační analýza, hlavní
komponenty)
• analýzy příčin úrovně znalostí (hledání asociací);
• analýzy času stráveného nad oporou (hledání asociací);
• analýzy zásahů studenta do adaptivního řízení (hledání asociací).
Výsledky jednotlivých analýz se vzájemně doplňují a mohou svými výsledky
poukázat na další zajímavé skutečnosti v datech, na jejichž základě může být
13
rozmyšleno zařazení dalších analytických výpočtů. Kombinace výsledků
jednotlivých analýz může rovněž potvrdit či vyvrátit získaný výsledek.
Výsledná vstupní data analýz jsou rozdělena do dvou tabulek, z nichž se
vybírají atributy pro následující analýzy. Tyto dvě tabulky můžeme popsat
následovně:
• základní protokol o akcích nad vrstvami (dále Protokol 1),
• rozšířený protokol o jednotlivých odpovědích u testovacích vrstev
(dále Protokol 2).
Rozdělení do dvou tabulek bylo zvoleno s ohledem na charakter dat.
4.3.2. Základní statistické charakteristiky dat
Jednou ze základních charakteristik opory, kterou je třeba zohlednit při
evaluaci je existence (dostupnost) všech adaptivních variant v systému –
4 smyslové varianty ve 3 hloubkách (celkem 12 variant). Pro každou
variantu je dále zkoumáno zastoupení konkrétních typů vrstev. Autorovi je
tak poskytnut detailní přehled o úplnosti výukové opory.
Jako základní pohled na data o výuce je vhodné poskytnou autorovi přehled
o všech dostupných atributech popsaných základními charakteristikami
jako: rozsah domény (count, min, max), střední hodnota (med), směrodatná
odchylka (std), četnost (freq), počet prázdných hodnot (null), rozložení
hodnot. Výsledky jsou uspořádány do tabulky, rozložení hodnot je možno
vyjádřit grafem.
Z těchto hodnot je možné získat některé užitečné informace, například o:
• době strávené studenty nad výukovými vrstvami,
• rozsahu manuálních zásahů studentů do řízení výuky,
• učebně-stylových charakteristikách studentů,
• typech vrstev předložených studentům,
• úspěšnosti studentů u testových otázek,
• počtech odpovědí na otázky,
• správnosti studentských odpovědí, atd.
Detailnější přehledy jsou pak zpracovány pro jednotlivé vrstvy a testovací
vrstvy, a to s následujícími charakteristikami: absolutní a relativní četnost
14
zobrazení, čas nad vrstvou (minimum, maximum, průměr, medián), relativní
četnost manuálních zásahů do řízení výuky nad vrstvou.
4.3.3. Použití statistických metod
Další zajímavou informací pro autora může být odhalení některých závislostí
mezi atributy, buď mezi dvojicemi atributů pomocí korelací, nebo odhalení
případných skrytých proměnných jako lineárních kombinací atributů
pomocí hlavních komponent.
Cílem korelační analýzy je zjištění vzájemných závislostí mezi atributy
popisujícími studijní oporu, resp. jednotlivé vrstvy, jež ji tvoří. Na základě
takového zjištění je možné zvážit vyřazení jednoho z atributů z dalších
analýz a rovněž danou závislost interpretovat.
Příkladem potenciálního zajímavého výsledku může být následující zjištění:
Z analýzy zjistíme silnou korelaci atributů „čas strávený studiem vrstvy“,
„vizuální složka vrstvy“. Tedy čím více jsou vrstvy vizuálního typu, tím více
času jim studenti věnovali. V takovém případě je vhodné s přihlédnutím k
výsledkům dalších analýz poskytnout tento výsledek autorům k posouzení.
Cílem analýzy hlavních komponent je zjistit, jestli jsou zkoumaná opora (její
vrstvy) charakterizována vzájemně nezávislými znaky, což je žádoucí stav.
Vzájemná závislost znaků může ovlivnit výsledky analýzy. Prokázaná hlavní
komponenta může odhalit skrytou, neměřitelnou vlastnost opory.
4.3.4. Analýzy příčin úrovně znalostí
Cílem analýzy je identifikovat všechny příčiny dobrých i špatných výsledků
studentů při měření znalostí plynoucích ze struktury výukové opory, z
pokrytí a kvality variant a vrstev, osobních charakteristik učebních stylů
studentů, aktivit studentů při výuce a vnějších okolností, a jejich kombinací.
Pro tyto analýzy použijeme především metodu hledání asociací, která umí
odhalit i případné vztahy mezi příčinami a následky, které jsou
neočekávané. Budeme zadávat množiny antecedentových atributů =
potencionálních příčin pro zadaný sukcedent, potencionální důsledek =
úroveň výsledných znalostí nebo naopak. Atributy protokolů popisující
výukovou oporu, osobnost studenta a akci a její okolnosti mohou být ze své
podstaty považovány za příčiny (antecedenty) a atributy popisující znalosti,
15
dovednosti a chování studentů pak za důsledky (sukcedenty). Výpočet
analýzy bude proveden s požadavkem na minimální podporu 70%
a s maximální délkou antecedentu 3.
4.3.5. Analýzy příčin množství času stráveného nad oporou
Každá akce studenta v systému je zaznamenána včetně časového razítka
dané akce. Tato informace umožňuje odvození délek časů strávených
studentem nad danou aktivitou vzhledem k jejich časové posloupnosti.
Z hlediska evaluace opory je zajímavé zkoumat délku času stráveného
nad jejími dílčími prvky. Cílem této analýzy je zjištění příčin vedoucí k tomu,
že studenti nad oporou tráví neúměrně krátkou nebo příliš dlouhou dobu
nad konkrétními částmi opory. Výsledky mohou poukázat na možné
nedostatky v opoře. Tematické kategorie atributů výuková opora, osobnost
studenta a akce/okolnosti zahrnují atributy, které mohou být ze své logické
podstaty považovány za antecedenty (příčiny).
Analýza bude realizována prostřednictvím metody hledání asociací
s požadavkem na minimální spolehlivost 70% a max. délku sukcedentu 3.
4.3.6. Analýzy příčin zásahů studenta do adaptivního řízení
V automatickém režimu výuky je proces studia řízen systémem řízení výuky
LMS. Systém dle zadaných pravidel vybírá dílčí součásti opory vhodných
charakteristik, které jsou v určitém pořadí prezentovány studentu. LMS
při výběru konkrétní varianty části opory zohledňuje osobnostní
charakteristiky studenta stejně jako opory a jeho cílem je poskytnutí
vhodného vzdělávacího objektu. Student má v případě, že to uzná za nutné
(vhodné) možnost do tohoto automatického řízení manuálně zasáhnout.
V případě, že to udělá, můžeme usuzovat, že automaticky nabídnutá část
výukové opory z nějakého důvodu studentu nevyhovovala a tento se
rozhodl k manuální změně. Odhalení takového chování nad konkrétními
celky výukové opory je zásadní součástí evaluace opory a zpětnou vazbou
autorům.
Tematické kategorie atributů výuková opora, osobnost studenta
a akce/okolnosti zahrnují atributy, které mohou být ze své logické podstaty
považovány za antecedenty (příčiny). Analýza bude provedena pomocí
16
metody hledání asociací s požadavkem na minimální podporu 70% a max.
délku antecedentu 3.
4.4. Integrace výsledků
Jednotlivé definované části evaluace (evaluační posudky, studentská
evaluace, evaluace učebního procesu) poskytující zpětnou vazbu je vhodné
jednotlivé výsledky evaluačních modulů integrovat do komplexního
evaluačního výpisu Tento finální výsledek poskytne autorovi:
přehled o daném předmětu (meta datech, počtech zapsaných
studentů, struktuře a vlastnostech dílčích celků opory, existenci
adaptivních variant částí opory co do smyslu a hloubky),
pohled na data evaluačních posudků prostřednictvím statistických
charakteristik (informace o počtu posudků, hodnocení každého
bodu, celkových hodnoceních opory).
Tato data jsou k dispozici již před zahájením výuky a autor tak na jejich
základě může navrhnout nápravná opatření a implementovat je upravením
opory ještě před jejím zařazením do živé výuky.
Po výuce, kdy jsou k dispozici data z modulu studentské evaluace, jsou
výsledky evaluačních posudků doplněny o studentskou evaluaci, ve stejném
formátu jako výsledky evaluačních posudků. Autor může porovnat výsledky
evaluace odbornými a laickým posudkem s výsledky evaluace studentské.
Toto porovnání může být velmi přínosné, protože ne vždy se názory
odborníků a studentů shodují.
Evaluace učebního procesu může být prováděna již v průběhu výuky, anebo
po jejím ukončení. V případě, že výuka stále probíhá, autorovi je poskytnut
náhled na data a výsledky evaluace. Je nutno přihlédnout k faktu, že výuka
ještě neskončila a datová sada pro daný předmět není úplná.
Systém autorovi poskytne následující informace o učebním procesu:
přehled o měření znalostí (celkové výsledky pro předmět, výsledky
pro dílčí celky – rámce a konkrétní testovací vrstvy),
přehled o množství času stráveného nad oporou (pro předmět,
rámce a jednotlivé vrstvy a testovací vrstvy),
přehled o manuálních zásazích studentů do řízení výuky,
17
tematicky strukturovaný přehled nalezených asociací z analýz.
Výsledky evaluace učebního procesu jsou pak porovnány s dostupnými
výsledky evaluačních dotazníků a studentské evaluace, názor je porovnán
se zaznamenanou realitou, skutečným chováním studentů.
Za další úroveň tohoto navrženého řešení může být považováno zařazení
expertního systému provádějícího evaluaci na základě expertních pravidel
navržených na základě jak výsledků posudků a studentské evaluace, tak
především asociací odhalených analýzami učebního procesu. Formulace
takových expertních pravidel není součástí této dizertační práce,
nýbrž předmětem dalšího výzkumu, který je možno realizovat
po shromáždění dostatečných výsledků (dat) z více adaptivních předmětů.
18
5. Implementace evaluačního systému Navržený evaluační systém se všemi jeho dílčími částmi, funkcemi
a uživatelským prostředím je zapojen do struktury systému řízení výuky
Barborka (viz obrázek níže), konkrétně v modulu Expert, kde bude
k dispozici autorům.
Obrázek 3 - Zapojení evaluačního systému do struktury LMS Barborka
5.1. Akvizice dat
Prvním krokem implementace je zajištění vstupních dat evaluačního
systému. Funkce systému jsou závislé na datech z evaluačních posudků,
studentské evaluace a protokolu o výuce.
Evaluační dotazníky a dotazníky studentské evaluace implementujeme
jakou součást systému. Hodnotitelé nebo studenti je tak mohou vyplnit
přímo v prostředí LMS a získaná data budou uložena v požadovaném
formátu v databázi. Protokol o výuce je rovněž ukládán systémem
do databázových tabulek.
5.2. Příprava dat
Data protokolu o výuce musí projít automatickým předzpracováním,
při němž je proveden sběr dat z více databázových tabulek, výběr/filtrace
atributů, odvození a dopočítání nových/chybějících atributů a kategorizace
atributů. Pro každý z těchto úkonů nad daty byly v systému
implementovány funkce a procedury, ať již nad databází nebo v aplikaci
19
LMS Barborka. Výsledkem je základní datová tabulka Protokol1, která je
dále roznásobením propojena se záznamy o testovacích vrstvách
a odpovědích, aby vytvořila protokol o testovacích vrstvách – Protokol2.
5.3. Výpočty základních charakteristik
V této části byly řešeny dvě základní skupiny charakteristik, a to strukturální
(přehled o předmětu a jeho struktuře a dílčích částech) a statistické
(navržené statistické charakteristiky dat o předmětu a jeho vrstvách).
Data pro poskytnutí strukturálních přehledů jsou získávána přímými dotazy
nad databází, které byly připraveny jako uložené funkce (stored procedures)
v databázi. Pro práci s těmito daty pak byly naprogramovány webové
objekty a stránky, které jsou součástí LMS Barborka a poskytují tak
uživatelské rozhraní, které data zpracuje a zobrazí v tabulce autorům.
Pro základní charakteristiky jako počet hodnot, minimální a maximální
hodnota, četnost, atd. bylo využito existujících funkcí databázového
motoru. Pro výpočet mediánu byla naprogramována chybějící funkce.
5.4. Statistické analýzy a analýzy prostřednictvím metod
V rámci statistických analýz je prováděna korelační analýza a analýza
hlavních komponent. Obě tyto analýzy jsou prováděny nad reálnými
atributy. Analytické výpočty jsou prováděny prostřednictvím existujících
programů, které jsou zpracovány v programovacím jazyku Pascal,
zkompilovány a implementovány přímo na serveru.
Naprogramované funkce nejprve připraví data v požadovaném formátu.
Funkce zvolí pouze atributy s reálnými hodnotami a tyto hodnoty zapíše
do vstupního textového souboru. Následně skript spustí příslušný program
na serveru, který provede výpočet analýzy a výsledky zapisuje
do výstupního souboru, ze kterého je finální výsledek načten, zpracován
do vhodné podoby a zobrazen v přehledném formátu autorům.
Výsledky zahrnují v případě statistických analýz korelační matici, vlastní
čísla korelační matice a vlastní vektory korelační matice – koeficienty
hlavních komponent. V případě analýz prostřednictvím hledání asociací jsou
to pak výsledná asociační pravidla, která je nutno automaticky „přeložit“
do jazyka jednoduše srozumitelného autorovi.
20
6. Pilotní testování evaluačního systému Pro pilotní testování byly k dispozici celkem 2 předměty, pro něž v systému
LMS Barborka reálně proběhla výuka nebo testování v adaptivním režimu
a jsou tak k dispozici příslušné protokoly o výuce. Jedná se o tyto předměty:
Business English 1,
Matematika.
První předmět Business English 1 se co do komplexnosti využití možností
LMS zaměřovaly spíše na výuku samotnou – tedy v režimu výuky. Z analýzy
protokolu vyplývá, že testování v rámci předmětu proběhlo pouze jako
okamžitá zpětná vazba pro řízení výuky, bez samostatného testování. Není
tak k dispozici rozsáhlá datová sada o tomto aspektu adaptivní
e-learningové výuky. Naopak předmět Matematika se naopak výhradně
zaměřuje na využití adaptivního testování a poskytuje tak velmi komplexní
data co se týče tohoto aspektu. Výukových/studijních aktivit v tomto
předmětu je velmi málo, téměř žádné.
Tyto fakty byly zohledněny při analýzách, které byly provedeny právě podle
zaměření předmětu tak, aby bylo zaručeno otestování kompletního
evaluačního modelu.
6.1. Předmět Business English 1
Pro tento předmět jsou k dispozici záznamy o výuce pro celkem
277 studentů (uživatelů) a v celkovém počtu 39 603 záznamů v Protokolu 1
(výuka) a 57 738 záznamů v Protokolu 2 (testování).
Na základě meta dat o výukové opoře byl zpracován a poskytnut autorům
podrobný přehled o struktuře výukové opory (předmětu) na všech jeho
úrovních – předmět, lekce, rámce a jeho varianty, ze kterého je například
patrné, že více rámců existuje pouze v jedné smyslové variantě. Vzhledem
k tomu, že se jedná o jazykovou výuku, je tento fakt opodstatnitelný
(např. pouze auditivní varianta pro část nácviku poslechu).
Dále byly zpracovány základní statistické charakteristiky dat, ze kterých
vyplývá například, že se výuky zúčastnilo 277 studentů, kteří podle mediánu
trávili nad vrstvami přibližně 19 sekund, a to nejčastěji ve 4 sezeních.
Při výuce bylo použito 45 vrstev a 56 testovacích otázek a medián hodnot
21
procentuálních výsledků měření znalostí je 64%. Pro každou vrstvu
předmětu, která byla součástí výukového procesu, byly zpracovány základní
statistické charakteristiky v navrženém formátu.
Korelační analýza byla provedena nad 21 reálnými atributy protokolu. Byla
zjištěna silná korelace mezi auditivní a verbální smyslovou charakteristikou
vrstev. Zjištěná korelace těchto dvou atributů může být považována
za přirozenou. Předmět se zabývá jazykovou výukou a dá se tedy
předpokládat, že většina auditivních vrstev se zaměřuje na mluvené slovo
(nácvik poslechu a porozumění). Takové vrstvy mohou mít tedy vysokou
auditivní, ale zároveň i verbální smyslovou složku. Analýza dále poskytla
některé očekávané výsledky, které potvrzují její validitu.
Nad stejnými atributy byla provedena analýza hlavních komponent.
Vypočtené hodnoty vlastních čísel klesají plynule, a nelze vysledovat žádný
podstatný hodnotový zlom, který by naznačoval výraznou hlavní
komponentu v datech.
Pro předmět byla dále provedena analýza příčin výsledků měření znalostí.
Nad kategorickými atributy proveden výpočet asociací, jehož výsledkem
bylo celkem 267 pravidel. Pro velmi dobré a dobré výsledky (66-100%),
částečně dobré (26-65%) a špatné výsledky (1-25%) nebyly nalezeny žádné
zjevné příčiny. Pravidla však poskytla některé očekávané výsledky
potvrzující validitu výpočtu. Pro velmi špatné výsledky (0%) byly nalezeny
například následující příčiny:
vrstvy předmětu v hloubce 1 mohou být příliš obtížné či těžko
srozumitelné studentům,
v předmětu částečně chybí kinestetické varianty a varianty
poskytované jako náhradní silně kinestetickým studentům nevyhovují,
špatných výsledků u silně kinestetických studentů je zvláště
dosahováno, pokud jsou varianty převážně verbálního typu,
v případě otázek s tvořenou odpovědí, nad kterými studenti strávili
velké množství času, byly výsledky měření znalostí špatné (prověřit
konkrétní případy - otázky).
22
Analýza příčin množství času stráveného nad oporou byla provedena
s použitím metody hledání asociací nad kategorickými atributy. Výsledkem
bylo celkem 119 asociačních pravidel vztahujících se převážně k velmi
krátkým časům nad oporou (0-2 sekundy). Výsledkem analýzy jsou
následující zjištění:
při vysokém počtu odpovědí na otázku (6 odpovědí) tráví studenti
nad vrstvami velmi krátký čas – 0-2 sekundy, množství odpovědí je
vhodné zredukovat,
pro střední až delší doby nad oporou nebyly nalezeny žádné zjevné
příčiny.
Mezi výslednými pravidly se vyskytovalo několik předpokládaných pravidel,
které potvrzují validitu výsledků analýzy.
Analýza zásahů studenta do adaptivního řízení byla provedena s použitím
metody hledání asociací nad kategorickými atributy. Výsledkem bylo
celkem 57 asociačních pravidel. Atribut značící zásah studenta do řízení je
typu boolean. Pro hodnoty 0 (nedošlo k zásahu do řízení) nebylo vypočteno
žádné pravidlo, všechna pravidla se týkala hodnoty 1 (zasáhl do řízení),
což je pro tuto analýzu podstatná hodnota. Výsledkem analýzy jsou
následující zjištění:
vizuální varianty v hloubce 1 (nejkomplexnější varianta
pro pokročilé studenty) nevyhovují silně auditivním studentům,
což poukazuje na zásadnost nedostatku kinestetických vrstev v této
hloubce v předmětu, které je vhodné doplnit,
studenti s nízkou hodnotou motivace ke studiu manuálně zasahují
do řízení po delší době strávené nad vrstvou, stejně jako studenti
s motivací naopak velmi vysokou. Je vhodné prozkoumat příčiny
dlouhé doby nad vrstvou, která toho může být příčinou,
k manuálnímu zásahu do řízení výuky dochází u slabě vizuálních
variant, nad kterými studenti trávili mnoho času. Je vhodné tyto
varianty přezkoumat co do jejich srozumitelnosti a zpracování.
Rovněž u této analýzy výsledky zahrnovaly množství předpokládaných
pravidel, které potvrzují její validitu.
23
6.2. Předmět Matematika
Pro tento předmět jsou k dispozici záznamy o výuce pro celkem 52 studentů
(uživatelů) a v celkovém počtu 2 117 záznamů v Protokolu 1 (výuka)
a 995 záznamů v Protokolu 2 (testování).
Na základě metadat o výukové opoře byl zpracován a poskytnut autorům
podrobný přehled o struktuře výukové opory (předmětu) na všech jeho
úrovních – předmět, lekce, rámce a jeho varianty, ze kterého je například
patrné, že více rámců existuje pouze ve vizuálních a verbálních variantách.
Vzhledem k tomu, že se jedná o předmět Matematika a navíc v tomto
konkrétním případě zaměřený na adaptivní testování spíše než na výuku,
může být toto rozložení považováno za opodstatněné. Je dále
na rozhodnutí autora zvážit, zda je logicky možné pro tyto rámce připravit
i auditivní a kinestetické varianty.
Dále byly zpracovány základní statistické charakteristiky dat, ze kterých
vyplývá například, že se výuky zúčastnilo 52 studentů, kteří podle mediánu
trávili nad vrstvami přibližně 10 sekund, a to nejčastěji v 1 sezení. Při výuce
bylo použito 132 testovacích otázek a medián hodnot procentuálních
výsledků měření znalostí je 47%. Podle mediánu jsou vrstvy nejčastěji
v hloubce 2 (základní) a otázky byly přibližně ohodnoceny autorem ziskem
3 bodů. Pro vrstvy i testovací vrstvy předmětu, které byly součástí
výukového procesu, byly zpracovány základní statistické charakteristiky
v navrženém formátu, a to včetně detailního přehledu o jednotlivých
odpovědích testovacích otázek, nejen otázkách celkově. Z tohoto přehledu
je patrné, že některé konkrétní odpovědi byly studenty velmi často
nebo i vždy zodpovězeny chybně. Autorovi byla navržena bližší inspekce
těchto odpovědí, co se týče jejich srozumitelnosti a zpracování.
Korelační analýza byla provedena nad 21 reálnými atributy protokolu.
Výsledek korelační analýzy nepřinesl žádné nové zajímavé poznatky. Byly
odhaleny silné korelace mezi hodnotami atributů o charakteristikách
učebních stylů studentů. Tyto korelace však nemají žádný vztah k předmětu
či jeho výuce. V rámci korelační analýzy byly zároveň vypočteny korelace
nad daty Protokolu 2 – detailní záznamy o jednotlivých odpovědích
24
na testovací vrstvy (otázky). Výpočet proběhl nad 33 reálnými atributy
Protokolu 2. Výsledky této analýzy nepřinesly žádné zajímavé výsledky,
pouze potvrdily výsledky očekávané.
Nad stejnými atributy byla provedena analýza hlavních komponent.
Z vypočtených vlastních čísel je patrný prudký propad hned po prvním čísle,
což poukazuje na jednu výraznou hlavní komponentu v datech. Po bližším
prozkoumání a interpretaci komponenty je možno říci, že všechny
významné atributy, které jsou součástí vypočtené hlavní komponenty, mají
jako společnou vlastnost konstantnost jejich hodnot v datovém souboru.
Výsledná komponenta tak nepřináší nové zajímavé skutečnosti.
V návaznosti na korelační analýzu provedenou nad daty Protokolu 2
o jednotlivých odpovědích testovacích vrstev, byla nad těmito daty
provedena i analýza hlavních komponent. Výsledná vlastní čísla prokázala
existenci jedné hlavní komponenty. K této komponentě přispívají téměř
všechny atributy vstupující do analýzy. Její význam je takto nemožné přesně
interpretovat.
Pro předmět byla dále provedena analýza příčin výsledků měření znalostí.
Nad kategorickými atributy proveden výpočet asociací, jehož výsledkem
bylo celkem 5 pravidel s jedinou hodnotou sukcedentu - velmi špatné
výsledky (0%). Analýza poskytla například následující výsledky:
pro velmi dobré, dobré ani částečně dobré výsledky testování
nebyly nalezeny žádné zjevné příčiny;
nulového výsledku při měření znalosti bylo dosahováno u vrstev
typu „úloha“, které studenti vynechávali. Vzhledem k převažující
většině typu vrstev „úloha“ je vhodné prozkoumat příčiny krátkého
času nad vrstvami;
u otázek s tvořenou odpovědí, nad kterými studenti trávili velmi
málo času (0-2 sekundy), bylo dosaženo nulového výsledku
při měření znalostí;
studenti s nízkou charakteristikou „úspěšnost“ při akci ve čtvrtém
sezení, kteří trávili nad vrstvami velmi krátkou dobu, dosahovali
25
výsledku 0%. Je vhodné prozkoumat příčiny krátkého času
nad vrstvou v dalších analýzách;
studenti s nízkou „úspěšností“, kteří trávili nad vrstvami 21-40
sekund v odpoledních hodinách, dosáhli výsledku 0%. Je vhodné
prozkoumat konkrétní vrstvy, které podporují pravidlo z hlediska
jejich motivační složky.
Vzhledem k zaměření předmětu na adaptivní testování, byla provedena
navíc podrobná analýza jednotlivých odpovědí testovacích vrstev
na základě záznamů Protokolu 2. Výsledky zahrnovaly následující zjištění:
příčiny správného zodpovězení otázky nebyly nalezeny v žádných
pravidlech;
studenti s nízkou hodnotou charakteristiky „úspěšnost“ odpovídali
špatně na otázky, je vhodné ověřit motivační složku otázek;
špatné odpovědi na otázky se projevily u vizuálních variant, které je
nutno prověřit z hlediska jejich srozumitelnosti a vhodnosti
zpracování;
silně vizuální studenti odpovídali špatně na otázky, je vhodné
prověřit dostupnost vizuálních variant v systému a v případě, že tyto
varianty jsou dostupné, prověřit jejich zpracování;
jednotlivé odpovědi na otázky byly studenty využity špatně
(pozn. špatné odpovědi považovány za správné a naopak správné
odpovědi považovány za špatné) v případech kdy:
o se jednalo o verbální variantu,
o verbální složka varianty byla vysoká,
o vizuální složka varianty byla nízká.
Tato tři pravidla se vzájemně potvrzují a ve výsledku je možné je
zredukovat a říci, že odpovědi byly využívány špatně u verbálních
variant. Otázky této varianty je nutné prověřit.
Analýza příčin množství času stráveného nad oporou byla provedena
s použitím metody hledání asociací nad kategorickými atributy. Výsledkem
bylo celkem 17 asociačních pravidel. Po odfiltrování pravidel, ve kterých
na obou stranách, jak v antecedentu, tak v sukcedentu, figurovaly atributy
26
týkající se délky času nad oporou (pozn. tento fakt byl zapříčiněn spojením
výpočtu do jednoho s ostatními analýzami, ve kterých je délka času
nad oporou v antecedentu považována za smysluplnou) nezůstala
k dalšímu rozboru žádná asociační pravidla.
Analýza zásahů studenta do adaptivního řízení byla provedena s použitím
metody hledání asociací nad kategorickými atributy. Výpočet asociací
neposkytl v tomto případě žádná asociační pravidla a tedy ani žádné zjevné
příčiny manuálních zásahů studenta do řízení výuky.
6.3. Využití výsledků
Zpracované přehledy o struktuře předmětu, stejně jako základní statistiky
a výsledky korelační analýzy, analýzy hlavních komponent, příčin výsledků
měření znalostí, příčin množství času stráveného nad oporou a zásahů
studenta do adaptivního řízení byly v plném rozsahu prezentovány autorům
zkoumaných opor pro předměty Business English 1 a Matematika.
Autoři tyto výsledky a formu a komplexnost jejich zpracování ocenili
a využili při ověřování částí opory nebo testových otázek, na které výsledky
upozornily. Na základě toho byly některé části opor a některé testové
otázky upraveny a doplněny některé chybějící obsahy, kde to bylo logicky
možné.
27
7. Závěr
7.1. Shrnutí výsledků práce
Hlavním požadavkem kladeným na řešený evaluační systém je při evaluaci
zohlednit veškeré elementy účastnící se vzdělávací interakce a nesčetné
aspekty ovlivňujících proces adaptace výuky. Pro dosažení komplexnosti
evaluace, tedy evaluace takové, která by postihovala kurz po všech jeho
stránkách a na základě různých úhlů pohledu, zahrnuje navrhované řešení
evaluaci ve třech fázích:
• před zahájením výuky prostřednictvím vyhodnocení posudků
studijních opor, tedy výukového obsahu daného kurzu a jeho
pedagogické kvality,
• bezprostředně po ukončení výuky v každém běhu kurzu analýzou
evaluačních dotazníků od studentů,
• po dlouhodobějším provádění výuky analýzou automaticky
pořizovaného protokolu s detailními záznamy studentské činnosti
v kurzu.
Závěrem je celková zpráva o evaluaci kurzu na základě posudků studijních
opor, studentského hodnocení výuky prostřednictvím dotazníků
i protokolu. S ohledem na cíle této disertační práce a návaznost na zmíněný
projekt adaptivního e learningu provozovaného v LMS Barborka, je práce
zvláště zaměřena na adaptivní e learningové kurzy, s evaluací všech dílčích
částí výukového obsahu a aktivit studentů nad těmito.
Byly definovány přístupy k provedení evaluace a tak i dosažení stanovených
cílů disertační práce a navržen evaluační model pro realizaci této systémové
evaluace. Byly ujasněny zdroje vstupních dat evaluace, jejich sběr, struktura
a další formování pro potřeby datových analýz, jež jsou základem pro
formulaci expertních pravidel systému. Rovněž bylo navrženo řešení
evaluace z hlediska datového, analytického i hlediska technické
implementace a struktury systému, jakožto podklad pro provedení
a naplánování samotné realizace celého evaluačního systému. Byla
provedena detailní analýza protokolu o činnosti v LMS Barborka a navrženy
28
a implementovány algoritmy pro jeho zpracování do podoby vhodné
pro další analýzy, které byly následně na datech realizovány.
Navržené řešení evaluačního systému včetně jeho funkcí předzpracování
dat, matematických statistik a analýz data-miningovými metodami bylo
implementováno jako samostatný adherentní model LMS Barborka
a ověřeno v praxi na dvou adaptivních kurzech, jež byly v LMS Barborka
realizovány. Výsledky evaluace byly vyhodnoceny a předloženy autorům
kurzů s návrhy doporučených nápravných opatření. Autoři poskytnuté
výsledky evaluace ocenili jako přínosné a srozumitelné.
Výsledkem této práce je teoretický model komplexního evaluačního
systému, který byl implementován a ověřen v praxi. Tento model umožňuje
detailní a hloubkovou evaluaci e learningových kurzů, se speciálním
zaměřením na adaptivní kurzy, která by bez plné automatizace byla
v takovém rozlišení nerealizovatelná manuálně.
7.2. Náměty na pokračování výzkumu
Evaluační systém, který je řešen v rámci této práce, poskytuje výsledky
ve formě přehledů, statistických charakteristik a asociačních pravidel
(hypotéz). Systém a jeho výstupy mohou být dále použity jako základ pro
dedikovaný expertní systém, který na základě expertních pravidel provede
automatické vyhodnocení či interpretaci získaných hypotéz, které jsou
v současnosti interpretovány autory/hodnotiteli. Vytvořením nástavby
expertního systému nad implementovaným evaluačním systémem by bylo
dosaženo ještě vyšší úrovně automatizace evaluace e-learningových kurzů
a byla by limitována možnost chyby lidského faktoru při interpretaci
výsledků evaluačního systému.
Další možností pokračování je napojení evaluačního systému
na automaticky tvořené sémantické sítě, jež byly řešeny a implementovány
v rámci jiného výzkumu v souvislosti s adaptivní výukou a projektem LMS
Barborka, jehož je evaluační systém součástí. Tyto sémantické sítě jsou
detailním vyjádřením pojmů a jejich vztahů ve výukové opoře a jejich
používání studenty při výuce je detailně protokolováno. Logickým
pokračováním této práce by bylo rozšíření působení evaluačního systému
29
rovněž nad těmito sémantickými sítěmi pojmů, jelikož práce s nimi je
součástí vzdělávacího procesu v adaptivních kurzech.
30
8. Seznam použité literatury ATTWELL, G. Evaluating e-learning : a Guide to the Evaluation of E-learning. California, USA:
Creative Commons, 2006. 46 s. Dostupné z WWW: <http://www.pontydysgu.org/wp-
content/uploads/2007/11/eva_europe_vol2_prefinal.pdf>. ISSN 1610-0875.
CELBOVÁ, I. Úvod do problematiky expertních systémů. Ikaros [online]. 1999,
roč. 3, č. 8 [cit. 2009-06-24]. Dostupný z: <http://www.ikaros.cz/node/393>.
CLARK, R. C., MAYER, R. E. E-learning and the science of instruction: Proven guidelines for
consumers and designers of multimedia learning. 3rd ed. John Wiley & Sons, 2011, ISBN
978-0-470-87430-1
DOLOG, P., HENZEL, N., NEJDL, W., SINTEK, M. (2004) Personalization in distributed e-
learning environments. International World Wide Web Conference. 13. New York, USA.
ACM Press. 170-179. Dostupný z:
<http://www.www2004.org/proceedings/docs/2p170.pdf>.
DURKIN, J. Expert systems: design and development. Macmillan Publishing Company, 1994,
800 s. ISBN 00-233-0970-9.
EGER, L. E-learning, evaluace e-learningu + případová studie z projektu Comenius. Vydání
první. Plzeň: Západočeská univerzita, 2004. 74 s. ISBN 80-7043-265-9.
EHLERS, U. D., PAWLOWSKI, J. M. (ed.). Handbook on Quality and Standardisation in E-
learning. Berlin-Heidelberg: Springer, 2006. 575 s. ISBN: 978-3-540-32787-5.
FITZPATRICK, J. L., SANDERS, J. R., WORTHEN, B. R. Program evaluation: alternative
approaches and practical guidelines. 4th ed. UpperSaddle River, N.J.: PearsonEducation,
2010. ISBN 02-055-7935-3.
GIARRATANO, J., RILEY, G. Expert systems principles and programming. [Ying yin ban]. Bei
jing: Ji xie gong ye chu ban she, 2002. ISBN 71-111-0844-2.
HUGES, G; ATWELL, J. (2003). a framework for the evaluation of e-learning [online]. London
: KnowNet,[cit. 2010-01-10].Dostupný z:
<http://www.theknownet.com/ict_smes_seminars/papers/Hughes_Attwell.html>.
CHEN, Chih-Ming; LEE, Hahn-Ming; CHEN, Ya-Hui. Personalized e-learning system using
Item Response Theory. Computers & Education. Volume 44, Issue 3, April 2005, Pages 237-
255, ISSN 0360-1315.
KALHOUS, Z., OBST, O. a kol. Školní didaktika. 1. vydání. Praha: Portál, 2002. 447s. ISBN 80-
7178-253-X.
KAPOUNOVÁ, J. Přístupy k evaluaci eLearningu. In: KAPOUNOVÁ, J. Přístupy k evaluaci
eLearningu. Vyd. 1. Ostrava: Ostravská univerzita v Ostravě, 2012, s. 17-34. ISBN 978-80-
7464-121-3.
KOSTOLÁNYOVÁ, K. Hodnocení adaptovatelnosti studijních opor. In: KAPOUNOVÁ, J.
Přístupy k evaluaci eLearningu. Vyd. 1. Ostrava: Ostravská univerzita v Ostravě, 2012, s. 35-
53. ISBN 978-80-7464-121-3.
31
KOSTOLÁNYOVÁ, K. Nová forma výuky – adaptivní e-learning. 2014 [online]. [cit. 2015-08-
04]. Dostupné z: http://cejsh.icm.edu.pl/cejsh/element/bwmeta1.element.desklight-
7c668c1d-4da9-456d-8ee7-4ee7d24dcbcf/c/041.pdf
KHAN, B. H. Managing e-learning: design, delivery, implementation, and evaluation.
Hershey, PA: Information Science Pub., c2005, 424 s. ISBN 15-914-0636-6.
KIRKPATRICK, J., KIRKPATRICK, W. K. Kirkpatrickův čtyřúrovňový model: Nový pohled po 50
letech [online]. 04/2009 [cit. 2011-09-01]. Dostupné z WWW:
<http://www.develor.cz/develorcz/develorcz_files/File/kirkpatrickovy4urovne-
novypohledpo50%20letech2.pdf>.
KOSTOLÁNYOVÁ, K., ŠARMANOVÁ, J., TAKÁCS, O. Adaptive individualized education in e
learning. Computer Based Learning in Science 2010. Warsaw, Poland: OEliZK, 2010. s. 119-
125. [2010-07-04]. ISBN 978-9963-689-85-9.
NAIDU, S. E-Learning: a Guidebook of Principles, Procedures and Practices. THE
COMMONWEALTH EDUCATIONAL MEDIA CENTER FOR ASIA. 2nd edition. New Delhi:
CEMCA, 2006. ISBN 81-88770-04-3. Dostupné z: <http://www.cemca.org/e-
learning_guidebook.pdf>.
PRŮCHA, J. Učebnice: teorie a analýzy edukačního média: příručka pro studenty, učitele,
autory učebnic a výzkumné pracovníky. Brno: Paido, 1998, 148 s. Edice pedagogické
literatury. ISBN 80-85931-49-4.
PRŮCHA, J. Přehled pedagogiky. Praha: Portál, 2000. 271 s. ISBN 80-7178-944-5.
PRŮCHA, J. Moderní pedagogika. 2., přeprac. a aktualiz. vyd. Praha: Portál, 2002, 481 s.
ISBN 80-7178-631-4.
PRŮCHA, J., WALTEROVÁ, E., MAREŠ, J. Pedagogický slovník. Praha: Portál, 2009. 395 s.
ISBN 978-80-7367-647-6
ŠARMANOVÁ, J., KOSTOLÁNYOVÁ, K. Intelligent individualization of study through E-
learning. Information and Communication Technologies in Education. Ostrava: University
of Ostrava, 2008. s. 136-142. ISBN 978-80-7368-577-5.
ŠARMANOVÁ, J. Životní cyklus evaluace eLearningového projektu. In: KAPOUNOVÁ, J.
Přístupy k evaluaci eLearningu. Vyd. 1. Ostrava: Ostravská univerzita v Ostravě, 2012a, s.
35-53. ISBN 978-80-7464-121-3.
ŠARMANOVÁ, J. Metody analýzy dat: učební text. Vyd. 1. Ostrava: Vysoká škola báňská -
Technická univerzita Ostrava, 2012b,1 CD-ROM.ISBN 978-80-248-2565-6.
WEINSTEIN, C. E.; MAYER, R. E. The Teaching of Learning Strategies. In WITROCK, M. C.
(Ed.) Handbook of Research on Teaching, 3. vyd. New York: Macmillan Publishing Company,
1986, s. 315 – 327. ISBN 0029003105.
TOLLINGEROVÁ, D., KNĚZŮ, V., KULIČ, V. Programované učení. 1. vyd. Praha: Státní
pedagogické nakladatelství, 1966. 189 s. Pedagogická teorie a praxe.
32
WINFREY, E. C. (1999). Kirkpatrick's Four Levels of Evaluation. In Hoffman, B. (Ed.),
Encyclopedia of Educational Technology. [online] [cit. 2007-02-01]. Dostupné z:
<http://coe.sdsu.edu/eet/Articles/k4levels/start.htm>.
ZLÁMALOVÁ, H. Principy distanční vzdělávací technologie a možnosti jejího využití v
pedagogické praxi na technických vysokých školách. [online]. [cit. 2011-02-20]. Dostupné z:
<http://virtual.cvut.cz/telel/zlamalova.html>.
ZLÁMALOVÁ, H. Kvalita eLearningu jako součásti distančního vzdělávání. In: KAPOUNOVÁ,
J. Přístupy k evaluaci eLearningu. Vyd. 1. Ostrava: Ostravská univerzita v Ostravě, 2012, s.
35-53. ISBN 978-80-7464-121-3.
Seznam publikací KAPOUNOVÁ, J., ŠARMANOVÁ, J., DVOŘÁČKOVÁ, M. Model of eLearning Project
Evaluation. 10th European Conference on e Learning. Brighton, UK: Brighton
Busines School, 2011. s. 37-44. [2011-11-10]. ISBN 978-1-908272-23-2
DVOŘÁČKOVÁ, Markéta a Jana ŠARMANOVÁ. Instructional Objects Evaluation in E
learning. In: E learning innovative models for the integration of education,
technology and research: 5th GUIDE International Conference Proceedings. Rome,
Italy: GUIDE ASSOCIATION, 2011. ISBN 978-88-97772-00-2. Dostupné z:
<http://www.guideassociation.org/proceedings/Guide_2011/>
DVOŘÁČKOVÁ, M., KOSTOLÁNYOVÁ, K., ŠARMANOVÁ, J. Adaptive E Learning
System. In: INTERNATIONAL COMPUTER AND INSTRUCTIONAL TECHNOLOGIES
SYMPOSIUM PROCEEDINGS. Elazig, 2011.
DVOŘÁČKOVÁ, M. Auto-evaluační algoritmy e-learningových kurzů. In: NÝDL, V., J.
KOREŠ a M. ŠERÝ, editoři. Sborník konference ICTE – Junior, Č. Budějovice 25. -26.
června 2011 [CD], Č. Budějovice: Pedagogická fakulta JU, 2011. ISBN 978-80-7394-
323-3.
DVOŘÁČKOVÁ, M. Complex model of e learning evaluation focusing on adaptive
instruction. In: Procedia-Social and Behavioral Sciences. 2012. ISSN 1877-042.
DVOŘÁČKOVÁ, M. Auto-evaluační algoritmy e-learningových kurzů. In: DITECH ´12
Hradec Králové, Mezinárodní studentská vědecká konference. Hradec Králové:
UHK, 2012. ISBN 978-80-7435-178-5.
DVOŘÁČKOVÁ, M. Auto-evaluační algoritmy e learningových kurzů . In: Information
and Communication Technologies in Education ICTE 2013. Rožnov pod Radhoštěm:
OSU, 2013. ISBN 978-80-7464-325-5.
DVOŘÁČKOVÁ, M. Evaluation model for e-learning courses. INTED2016
proceedings, 2016 – přijato k publikaci.
33
Profesní curriculum vitae Osobní údaje
Jméno: Markéta Dvořáčková
Datum/místo narození: 5.7.1983/Ostrava
Bydliště: Kyjovice 149, 747 68 Kyjovice
Email: [email protected]
Vzdělání
09/1998 – 06/2002 Management Strojírenství
ISŠ Na Jízdárně 30, Ostrava
09/2005 – 06/2010 Informační technologie ve vzdělávání, bakalářské
a navazující magisterské studium
Ostravská univerzita, Pedagogická fakulta,
Katedra informačních a komunikačních
technologií
09/2010 – dosud Informační technologie ve vzdělávání, doktorské
studium
Jazykové znalosti
Angličtina aktivní znalost, C2, v psaném i mluveném projevu
Italština aktivní znalost, C1, v psaném i mluveném projevu
Němčina pasivní znalost, B1, v psaném projevu