DATORISERAD TENTAMEN OCH DIGITALA PROVMats Brenner, Högskolan i Gävle – Learning

Center2016-04-27

Fördelar, planering, erfarenheter och myndigheternas kravbild…■ Vilka fördelar som finns med datoriserad tentamen och digitala prov?■ Vad behövs för planera och genomföra digitala test samt vad behöver

förändras i verksamheten för att detta skall bli framgångsrikt.■ Lesson learned från: Projekt Digital tentamen (2015) SUNET

Inkubator, gå till: http://www.korturl.com/digitaltentamen■ Info om den SOU som nu även kommit kring digitala nationella prov

för skolan. SOU 2016:25 Likvärdigt, rättssäkert och effektivt – ett nytt nationellt system för kunskapsbedömning: http://www.regeringen.se/rattsdokument/statens-offentliga-utredningar/2016/03/sou-201625/

Nationella prov - digitalisering klar om cirka sex (6) år…■ Syftet med proven är att stödja lärarnas betygsättning (börjar 2018 -

klart år 2022!)■ 500 sidor – digitaliseringen bara en del av uppdraget■ Perspektivet: Summativa test■ Lärarnas Riksförbund: ” ..för lite och för försiktigt.”■ Lärarperspektiv: Lätta på arbetsbördan■ Infört redan i ett antal länder redan■ Erfarenhetsgenerering igång redan – Skolverket testar redan■ Behandlar fördelar och nackdelar med datorbaserade prov

Skolverket och lärosätena testar och erfarenhetsgenererar…

Varför digitala prov? (OECD)

■ Huvudargumenten för att man i PISA 2015 helt har övergått till digitala prov…

■ 1:a – datormediet bättre motsvarar elevernas användning av information och kommunikation

■ 2:a – vill kunna pröva elevernas förmåga göra naturvetenskapliga undersökningar och deras förmåga till problemlösning

■ 3:dje – vill uppnå effektivitet i provgenomförandet och få bättre precision i mätningarna. Effektivtetsvinsterna handlar bl a om att slippa hantera och trycka provhäften.

Fördelar - datoriserade prov (SOU 2016:25)■ Hantering av proven underlättas och effektiviteten ökar, bl a genom papperslös

distribution samt förenklad datainsamling och resultatsammanställning.■ Nya uppgiftstyper prövar andra kunskaper och förmågor.■ Motivationshöjande för elever. ■ Ökad användbarhet och tillgänglighet för elever med funktionsnedsättning. ■ Ökad säkerhet, t ex elektronisk distribution.■ Ekonomiska vinster på sikt. ■ Automaträttning av vissa uppgifter. ■ Kan främja datoranvändningen i undervisningen och påskynda skolornas

uppgradering av utrustning.

Nackdelar - datoriserade prov (SOU 2016:25)■ Stora uppgiftsbanker kan krävas om olika elever ska förses med olika

uppgifter i ett och samma prov eller om proven ska vara adaptiva.■ Risk att elevernas förmåga att använda datorer prövas i stället för

deras egentliga kunskaper.■ Datorovana hos vissa elever och lärare.■ Bristande datortillgång, dålig prestanda och otillräckliga

uppkopplingar.■ Säkerhetsrisker, t ex fusk med hjälp av internet.■ Stora initiala utvecklingskostnader.

Börja bottom up eller top down – storskaligt summativt eller mindre formativa test ■ Återkoppling om provtagarens styrkor och svagheter (validering, diagnos) understöds –

därmed formativ bedömning■ Att proven och deras innehåll riskerar att styra tekniken■ Datorovana lärare och datorovana elever sätts på prov■ Synsätt på kunskapsmätning och vad som är kompetens kan cementeras■ Test som en lärsituation döljs■ Immanent pedagogik (kulturell diciplinering) – förut papper penna, nu bara med datorn■ Bedömningsmetoderna kan utvecklas, manuell bedömning med kriterier,

medbedömning, extern bedömning (objektivitet, likvärdighet)■ Learning Analytic■ Frågebanker kan utvecklas och hanteras via EDUPUB (interaktiva e-böcker)

DIGITAL TENTAMEN –

SUNET INKUBATOR

Projektledn: Mats Brenner, Högskolan i Gävle – Learning CenterTeknisk resurs: Helena Sandström, Umeå Universitet - ITSWebbsida: https://portal.nordu.net/display/Inkubator/Digital+Tentamen

• Målbild • Aktiviteter• Resultat• Fördelar och/eller nackdelar, vad som förändras• Anpassning infrastruktur och stöd • Erfarenhetsspridning • Samverkan

Fokus i detta projekt

Projektet har ett fokus på de tekniska bitarna, vårt huvuduppdrag. De administrativa bitarna är nedtonade. Fokus ligger därför i huvudsak på:■ Tekniskt (nät, hårdvara, programvarumässigt, prestanda, robusthet,

loggning, etc)■ Integrationer■ Säkerhet■ Användarvänlighet/Användbarhet (för roller och arbetsprocess)

Målbild

Aktiviteter / Resultat

■ Omvärldsbevakning: Konferenser t ex UNINETT, forskning, good & best practice på lärosäten och kontakt med leverantörer, systemägare vid lärosäten

■ Sprida erfarenheter: Internationella, europeiska, nordiska och svenska■ Delta i konferenser: Europeisk, Nordiska och Svenska (t ex Tentakonf Högskolan i Dalarna)■ Webbsida (Confluence wiki) som dokumentationsplattform - http://korturl.com/digitaltentamen  ■ Webbinar, 10 st även inspelade■ Rapport (170 sid med appendix) - från ax till limpa■ Frågeformulär: före – under och efter med möjliga lösningar (befintlig dator/BYOD, distans)■ Underlag för kravspecifikation, excelblad■ Jämförelse av olika systemlösningar, utifrån underlag för kravspecifikation - excelblad

Fördelar och/eller Nackdelar

Fördelar studenter

Fördelar – lärare/examinator

Fördelar – lärare/examinator

Fördelar - lärare / examinator

Förändring

Exempel: OpenExam, BMC Uppsala

Övervaka och säkerhet

Säkerhet - öka LoA

Styra & bevaka dator - övervaka och låsa

skärmSafe Exam Browser

Classroom Management System, Exam

Monitor

Övervaka studentUtbildade

tentavakter, Adobe Connect

(Online Proctoring)

Konceptmodeller - lokalutnyttjande

Skriv- och lärosal: BOYD

Datasal/ar i

kombination med BYOD i

lärosalar

Lärcentra: BOYD och lärcentras

dator

Skrivsal med

laptop eller fast dator/klie

nt

Säkerhet – Level of Assurance

Säkerhet - öka LoA

Styra & bevaka dator - övervaka och låsa

skärmSafe Exam

Browser, USB-stick,

Safe QTI Player

Classroom Management, Exam Monitor, System, *NaaS

Övervaka student

Monitor tools - Remote

Proctoring

*Native as a Service, Virtual Licensing Cloud Service, Streaming Player for native apps

Safe Exam Browser – Säker webbläsareStudenten eller personal (utbildn.arr) laddar ned en webbläsare (Secure LockDown Browser). Webbläsaren låter studenten bara se digitala tentan – du kan inte surfa fritt på Internet.

Exam Monitor – sdu.dkStudentens dator bevakas i realtid – gör loggar vilka programvaror som körs på datorn och tar skärmbilder var 20-40 sec. Accepterad kontroll.

NaaS – gör tredjepartsprogram tillgängliga (Jmf. Remote Desktop)Streama ut programvara och styra access både i tid och funktion i programvara.

Anpassa infrastruktur och stöd

Allmänna rekommendationer■ Kostnadsanalys – införandebudget (Skapa en Arbetsgrupp)■ Utbildning och digital kompetens för personal■ Kontroll av utrustning och utbildning av studenter (ta hänsyn till

funktionsvariationer)■ System för tentaadministration. Anmälningsprocessen. E-arkivering■ Frågetyper. BYOD. Service för studenter – lånedatorer och information■ Lämpliga lokaler – effektivt lokalutnyttjande. Driftsäkerhet.■ Använda Classroom Management System och Adobe Connect för övervakning.

Exam Monitor– övervakning av datorskärm och dataloggar. Juridiska aspekter. ■ Säker webbläsare vid e-test. Plagiatkontroll och andra specialprogram.

Kameraövervakning. ■ Upphandling och upphovsrättsliga aspekter (IPR). Molntjänster och PUL.■ Intresse och möjligheter för gemensam systemlösning (inom SUNET-tjänster)

Ska börjaSkapa arbetsgrupp

Nuläge för lokaler och IT-system

Testa systemlösningar/programvara

Kontakta lärsosäten och leverantörer

Arrangera inspirationsdag, konferensdag om datoriserad tentamen

Läs rapporten och ta del av inspelade webbinar

PågångHur kan verksamheten skalas upp

Skapa arbets- utvecklingsgrupp

Läs rapport och se webbinar

Föreslå anpassade loklaler, införande av säkra webbläsare, förstärkt WiFi, support/stöd för BOYD

Behövs flera och anpassade systemlösningar

Vad kan integreras

E-arkivering

UpphandlaPUL och Safe Harbor

Funktionella och icke funktionella krav

Leverantörsöversikt

Typer av programvaror

Integration

Samverkan

Vad kan redan LMS/lärplattform

SamverkaSamverkan kring systemlösning (open source, lärosäte som leverantör för flera)

Samverkan innehåll, frågebanker

Säkra webbläsare/programvaror

Kring rutiner, utbildningmodeller, support och stöd till studenter med BYOD. FUNKA-studenter

IT-referensarkitektur inom Norden

Risker och sårbarhet. Införande och systemförvaltning.

Autentisering/smart ID-kontroll

TACK!

■ Mats Brenner, projektledning Projekt Digital tentamen (2015) - SUNET Inkubator

■ Kontaktadress: mats.brenner@hig.se , tfn: 026-64 82 18, 070-350 02 33

■ Webbsidan/kontaktadresser: http://korturl.com/digitaltentamen ■ Eller: https://portal.nordu.net/display/Inkubator/Digital+Tentamen