Datorbaserad tentamen

och säker onlinetenta

Mats Brenner, IKT-pedagog – Learning Center på

Högskolebiblioteket i Gävle.

2014-11-26

Tendens och riktning är

interaktivitet och mobilitet

OER WebinarMOOC

E-assessment & Badge

E-portfolio & e-CV

Förmedlande Dialog &

Interaktiviet

På plats

Active learning

Classroom (ALC)

Mobilt

Hyflex learning

Blended learning

Video & Podcast

Aktiva kontor

Öppen dataOpen Access

Digital Tentamen – projekt inom SUNET

Inkubator under 2015

Samverkan via SUNET Inbubator om Digital Tentamen.

Målet:

Att under 2015, skapa en grund för tekniska lösningar som kan

användas som startvärde av lärosäten som skall införa digital

tentamen.

Bakgrund:

Många lärosäten är i startgroparna med att införa eller närmare

undersöka digital tentamen t.ex. digitala salstentor. Projektet

kommer arbeta i nära samarbete med de lärosäten i Sverige som har

påbörjat ett arbete med digital tentamen, samt kommer även ta

tillvara erfarenheter som gjorts i bl.a. övriga norden.

Projektledningsuppdrag Digital tentamen:

Mats Brenner, Högskolan i Gävle

Digital Tentamen – Saker att fundera över…Salstentor med dator

Salstent i datasal

Salstenta med egen dator (BYOD)… trad. tentasalar

Vad skall funka online och offline

Programvara med USB

Programvara som måste installeras

Webbaserad programvara

Skall fungera både på Campus och Distans

Enkelt lägga in frågorna och antal frågetyper

Skall klara olika filer och representationsformer

Enkelt att göra bedömningen

Enkelt meddela prestation, feedback/återkoppling och betyg

System som kan prata med LMS, LADOK et cetera (internoperabilitet)

Lagring, rutiner

Arkivering, rutiner (e-arkivering, tentamen är myndighetsutövning)

Kursupplägg och examinationskriterier…

När gör man valideringstest, ett quiz, en dugga, en onlinetenta?

Bild: Nick8jun, Wikimedia Commons

Bedömningsmallar (Rubrics)

Rättvis och likvärdig bedömning

vid examination, anonym tenta

eller anonym kollegial bedömning

och betygsättning. Anonym

examination eller ”anonyma

tentor”

(Bologna s k kurskrav)

Använder man Bloom´s eller

SOLO-taxonomi…

Kompetens om examinationsformer

Examinationsformer vanliga och

mindre vanliga

REF: http://www.provainfact.se/publish/examination/9127-Examinationsformer___vanliga_och_mindre_vanliga/index.html#/9126

Nätbaserade

examinations-

former –kopplade till

lärverktyg

(i lärplattform)

eller

webbkonferens-

verktyg

Stöd för examination - LoA

Utöver att fastställa att någon uppfyller lärandemålen,

behöver man också diskutera hur säker man är i den bedömningen.

Level of Assurance (LoA).

De två utmaningarna:

1. Säkerställa vem som det är som examineras

2. Personen kan det som är lärandemålen för kursen

Vem det är? Kan säkerställas via identitetshandlingar och

via nätet via inloggning t ex digitala legitimationer.

Men det finns flera metoder & verktyg för detta som inte alla känner till…

Problematiken- LoA

Skilja på LoA för känna igen personen och LoA för uppfyllande av kursmål.

Level of Assurance (LoA). Idealet: Hög LoA för både individen och lärandemål.

Exempel:

Låg LoA för inlämnaren men hög LoA för uppfyllande av kursmål.

Man vet inte vem det är man examinerar, men har ett gott

underlag för ge omdöme. Problem även vid grupparbete då

t ex en wiki är bättre använda, än 2-3 sidor wordfil (utan prestationshistorik).

Hög LoA för inlämnaren med låg LoA för uppfyllande av kursmål.

Man vet vem det är, men har t ex bara underlag från ett mycket begränsat

onlinetest för lärandemålet. Bättre då om man kan jmf individen utöver

denna tentamen med andra inlämningsuppgifter, laborationer och hur

Individen kommenterat andra inlämningar.

REF: Kap 7, boken Mer om nätbaserad utbildning – fördjupning och exempel (2001)

Kombinera synkront och asynkront- för högre LoA

Representationsform Synkront (nu/online) Asynkront

Text Textdokument, wiki

eller diskussionsforum

Bild/graf/tabell Skapa ett t ex ett

fiskbensdiagram på

whiteboard med

aspekter

Skapa en Mindmap

Ljud Muntlig examination Göra en Podcast

Film/video E-möte/Webinar Skärminspelning med

ljud

Representationsformer, multimodalt, gestalningsformer…

Indentifiera individen- för högre LoA

• I Sverige är examination myndighetsutövning

• Identitetskontroll

• Identifieringsgrad

• Höga identifieringsgraden

• Kamera (t ex webbkonf.system eller anpassande verktyg)

• Inloggnings med koder

• Säkra utskick av koder

• Sociala medier kan stöda

• Lämna in även andra representationsformer

• Lämna in både synkront och asynkront

• Frågan om studenter skall övervakas

• Avgöra vem som har gjort vad, problem vid

grupp- och projektarbeten

Funktion, frågetyperna och

representationsformerna styr Hur kan Du styra onlinetestet via tid, datum, tillgänglighet vid avklarad aktivitet (nivå,

datum, poäng eller procent etc. Kan du randomisera frågorna? Förbjuda s k backtracking? Hämta ut testbanker på olika villkor, lägga metadata, svårighetsnivåer?

Lärplattform med 17 frågetyper i onlinetestfunktionen?

Finns s k objektanalys i systemet – d v s se vilka frågor som är svaga/ej får många rätt svar.

Finns peer assessment i lärplattformen?

Finns t ex wiki med prestationshistorik vem som producerat vad i grupparbete -gruppinlämningar?

Hanterar diskussionsforum bedömning/betygsättning av diskussiontrådar, diskussionsinlägg och anonyma inlägg.

Finns möjlighet till inspelning av muntliga/video-inlägg/presentationer direkt i lärplattformen för enkel bedömning.

Kan man delegera bedömning så det är flera lärare som examinerar anonymt.

Körs plagiatkontroll samtidigt med inlämnad dokumentfil/text eller är det en separat arbetsprocess

• FiftySneakers.com http://www.fiftysneakers.com (helt webbaserat, kostnadsfri) –

och ett kollaborativ verktyg

• Webbaserat system som är open source för onlinetest/quiz som heter Onyx med god

standard: https://www.bps-system.de/cms/en/products/onyx-testsuite/

• Respondus, skapa test offline och exportera samt importera

http://respondus.com/products/respondus/index.shtml

• Tao Testing, Open Source, god standard http://www.taotesting.com/

• Svenska uppstickaren: DigiExam (…ingen IMS-standard)

• Danska WISEFlow (I Danmark har man tagit bort papperstentor)

• Norska Inspera Assessment

• Flera redan etablerade finns förstås som t ex QuestionMarks…

• Du har förmodligen ett Test/Quiz-verktyg i din lärplattform (LMS)

• iSpring Solutions går integrera med LMS och ha på egen dator.

http://www.ispringsolutions.com

• Google Docs för onlinetests/quiz, så kan du använda http://www.flubaroo.com/

hanterar resultatsammanställningar m m.

• Du kan även lägga in dina frågor i YouTube-filmer/videos och med Mozilla Popcorn

Maker så kan du editera och lägga till frågor eller hänvisningar direkt i videos och

till ljudfiler.

Frågeverktyg - för onlinetest och quiz

Lock Down Browser och Monitor, www.respondus.com

Safe Exam Browser (SEB) http://www.safeexambrowser.org/about_overview_en.html

Netop , Secure Remote Control & Classroom management http://www.netop.com/ eller

Netcontrol2 http://www.netcontrol2.com/

LanSchool, Monitor student software http://www.lanschool.com/ (även Lite free softeware

licence)

SMART Sync classroom management

http://smarttech.com/Solutions/Education+Solutions/Products+for+education/Software/SMART

+Sync

DyKnow Monitor http://www.dyknow.com/educational-software-products/classroom-

management/monitor/

Nueber UserMonitor http://www.neuber.com/usermonitor/

AB Tutor http://www.abtutor.com/

Säker onlinetenta på campus och distans - verktygFrysa studentens skärm så den inte kan göra annat än testet… och

övervaka/monitor (stödja proctor)…

Jmf mellan olika system för Digital Tentamen…

Ett påbörjat arbete…

Empiriska studier (tester)

även gjorda hos GU, på Island

och många är ju även i drift

sedan flera år…

HiG använder LMS Blackboard

och har även använt

Respondus för import…

”Datorbaserad tentamen

Tidigare i rapporten (s. 74) har datorbaserad tentamen definierats

som prov där frågorna görs tillgängliga för studenterna via Internet

och studenterna redovisar sina svar via Internet eller via e-post.

Det är uppenbart att denna examinationsform är beroende av att de

tekniska förutsättningarna fungerar. I övrigt torde de

rättssäkerhetsfrågor som kan uppkomma vara desamma som för

examinationsformer som inte är datorbaserade. Myndigheten för

Sveriges nätuniversitet publicerade 2005 en rapport där

rättssäkerheten vid nätburen examination diskuterades (rapport

Nätburen examination, 2005 nr 5). En av slutsatserna i rapporten

var att ”rättssäkerheten vid nätburen examination inte skiljer sig

från examination på campus.” ” (sid 89)

Rapport 2008:36 R från HSV: Rättssäker examination

Rapport 2013 från DU - Målanpassad och säker

examination

Resultat från webbenkät, Nitus Teknikgrupp 2011 –

Framtidens tentor

Enkät: Från UU till ITHU-lärosäten - Webbenkät om

tentasystem (hur genomförs duggor/prov/onlinetentor)

Rapport från Nätuniversitetet 2005: Nätburen

examination

Rapport 2008:36 R från HSV: Rättssäker examination –

Andra omarbetade upplagan

Rapport från Linneuniversitetet Dnr: FAK 2011/632: Med

kvalitet i fokus – en rättsäker examination. En

vägledning till dig som examinator på grundnivå och

avancerad nivå

Rapporter och webbenkäter – liten översikt

Onlinetenta – problematik…• Att autenticering sker – att vi som

myndighetsutövare av examination vet att

student är den uppger sig vara vid

examinationstillfället.

• Att studenten har en ”låst” datorskärm och

inte kan surfa runt på webben eller

kommunicera t ex med mobiltelefon eller chatt

på den dator där onlinetentan skall utföras.

Det är bara onlinetentan med frågor som skall

synas/användas.

• Att tentavärd (proctor/övervakning) sker på ett

lämpligt sätt - så studenten inte kan fuska,

med information ifrån fusklappar et cetera.

Onlinetenta – problematik…

Att lokalerna är lämpliga för onlinetenta, utformning/bordsplacering och att eventuell stör-utrustning för mobil kommunikation kan ske.

Lokaler som är ”certifierade” för onlinetenta med ”rätt” utrustning.

Framförallt tänker vi IKT-pedagoger oss mer Aktiva lärosalar än ”tentasalar som är digitaliserade”. D v s högsta möjliga säkerhet, att WiFi fungerar – att studenterna kommer åt stödmaterial de får har med sig för att göra onlinetentan, e-böcker et cetera. Anpassning för funktionsnedsatta, hörslinga, lärverktyg.

Tenta med ljud – alternativ och verktyg

För den som behöver stöd för ljudrepresentation vid examinations-

processen eller tentamentillfället – finns flera alternativ. Skillnaden är

mellan att få stöd med verktyg som har koppling till t ex Internet

(online) mot att bara få stöd med verktyg som används helt offline –

det är en säkerhetsfråga som måste hanteras från fall till fall vid

examinationstillfället.

Flera av verktygen ovan är även

bra för läraren (inte bara

studenten), för att

förmedla/distribuera och

förstärka sitt budskap och sin

information –

instruktioner, läsanvisningar,

frågor, ge feedback etc. Inte bara

till studenter som har funktions-

nedsättning typ dyslexi. Om

studenterna får information och

budskapet förstärkt med flera

olika representationstyper så

minskar sannolikheten för

missförstånd, och budskapet

tydliggörs därmed (jmf lärstilar

eller ta till sig audivisuell

information etc).

Onlinetenta – problematik…

• Att rutiner finns när tekniska eller handhavande-fel sker kring hantering av onlinetentan på dator eller programvaran i lärplattformen.

• Att internutbildning sker av tentavärdar i hur onlinetenta skall gå till.

• Att beställningsrutiner för schemaläggning av lämplig lokal är anpassade för onlinetenta.

• Att information om beställd lokal och tillfället samt hur onlinetentan skall genomföras kommuniceras till IT-avdelning och Learning Center för IT-stöd.

Onlinetenta – problematik.

• Studenter med funktionshinder – skall ha likvärdig

möjlighet utföra onlinetenta.

• Att det finns möjlighet till anonym digital/t tenta och

testförfarande och till detta även anonymt examinations-

förfarande med anonym (kollegial) bedömning.

• Vad som skall arkiveras och lagras måste tydligöras –

speciellt på myndigheter

• Ofta ingen standard typ IMS QTI 2.1

• Kan testverktyg / lärplattformen leverera en Badge

Checklistor för skapa frågetyper

Behöver du snabba tips & råd hur du väljer frågetyper när du skapa ditt onlinetest eller quizfrågor, gå till Computor Assisted Assessment Centre.

10 Golden Rules for Writing Multiple Choice Questionshttp://www.carnet.hr/referalni/obrazovni/en/spzit/theory/mcqwrite

10 Rules for Writing Multiple Choice Questionshttp://theelearningcoach.com/elearning_design/rules-for-multiple-choice-questions/

Designing Multiple-choice Questions https://uwaterloo.ca/centre-for-teaching-excellence/teaching-resources/teaching-tips/developing-assignments/assignment-design/designing-multiple-choice-questions

Techniques for Writing Multiple-Choice Items that Demand CriticalThinkinghttp://tep.uoregon.edu/resources/assessment/multiplechoicequestions/sometechniques.html

Standards, e-portfolio och för

validering/reell kompetens

• Standard för test IMS QTI 2.1 – metadatastandard och interoperabilitet –import och export av data/frågor/tester (IMS Question & Test Interoperability™

Specification)IMS Question Test and Interoperability (QTI) v2.1 Spezifikation http://www.imsglobal.org/question/

• Standard för e-portfolio: IMS Portfolio Standards http://www.imsglobal.org/ep/ - innehållet och interoperabilitet)

• UNIQUE Learning Badges - diplom/prestations- och kompetenskvitto http://www.learningbadges.eu/

• Meritförteckning med EuroPass på nätet och europeiskt färdighetspass. Mer innehåll men mer svårbedömd https://europass.cedefop.europa.eu/sv/home

• YouthPass https://www.youthpass.eu/en/youthpass/ (volontärarbete)

Kontaktadresser:

Mats Brenner

Högskolan i Gävle – Learning Center

Högskolebiblioteket i Gävle

mats.brenner@hig.se

Tfn: 026-64 82 18, 070-350 02 33

TACK!