overal toetsen - hans mulder en marcel penners - owd13
DESCRIPTION
Sessieronde 2 Zaal: Goudriaan ll Titel: Overal toetsen: de wereld van online proctoring Sprekers: Hans Mulder (EXIN), Marcel Penners (Hogeschool van Arnhem en Nijmegen)TRANSCRIPT
Overal Toetsen, de wereld van Online Proctoring
• Presentatie
– Wat is ‘Online Proctoring’?
– Wat is ‘EXIN Anywhere’?
– De uitgangspunten, voor- en nadelen en randvoorwaarden
van Online Proctoring
• Discussie
– Is online proctoring een oplossing voor de organisatorische en logistieke
uitdagingen die hogescholen / universiteiten ervaren bij het organiseren
van examens voor grote groepen studenten?
– Is er winst te behalen uit het aanbieden van examens door middel van
online proctoring t.o.v. standaard paper of online afname voor hogescholen
/ universiteiten?
Wat is ‘Online Proctoring’?
• Kryterion:
Online Proctoring – Observing test takers online using webcams and
microphones.
• ProctorU:
Take proctored exams online from anywhere using a webcam and a
high speed internet connection.
• Software Secure:
To truly offer online education without limits – it’s imperative to
provide a convenient way for learners to take tests whenever and
wherever they desire. But those exams need to be valid – taken by
the correct student and with no unauthorized assistance.
De omschrijvingen van deze 3 grote aanbieders van Online Proctoring software
richten zich puur op de test of het examen zelf, maar er is meer…..
Wat is ‘Online Proctoring’?
David Foster (Caveon Test Security) en Harry Laymen (The College Board)
omschrijven het als volgt in hun vergelijking van Online Proctoring Systems in
maart 2013:
Online proctoring, of remote proctoring, refereert aan:
• het proctoren van een examen via Internet door middel van een
webcam en
• het proces om vast te stellen dat de examenkandidaat ook die persoon is die
geacht wordt het examen te doen en
• de geautomatiseerde processen die de veiligheid van de examinering
waarborgen.
Wat is ‘Online Proctoring’?
Wat is de toegevoegde waarde van Online Proctoring t.o.v. traditionele
proctoring?
• Proctoring gebeurt altijd onafhankelijk (ISO 17024); er is geen belang in
resultaat, kosten, gemak of beschikbaarheid;
• Proctors worden betaald om te proctoren, zijn getraind en gemotiveerd;
• Technologie helpt om fraude te detecteren, fraude te voorkomen en fraude te
bewijzen!
Online Proctored Exams biedt voor bedrijven, kandidaten en exameninstituten
nog andere voordelen, zoals besparing van tijd, geld en stress.
Wat is ‘Online Proctoring’?
Er bestaan 2 gangbare vormen van Online Proctoring: Live en On Demand
Live
• Planning vereist
• Vergelijkbaar met traditioneel proctoren
• Schaalbaarheid is afhankelijk van het aantal proctors
• Proctor is vaak een studentenbaan
• Direct ingrijpen is mogelijk; Proctor beslist
• Proctor kost geld
• De proctor zet de standaard van fraude
• Het bewijs van fraude ontbreekt vaak (welles/nietes)
On demand
• Gemakkelijk en comfortabel
• Onzekerheid door ontbreken van een proctor
• Volledig schaalbaar en flexibel
• Proctor is een betaalde professional
• Constatering van fraude is altijd na afloop;
exameninstituut beslist
• Video proctoring bespaart 30-40% kosten
• Het exameninstituut bepaalt de regels. De proctor is
de arbiter.
• Het bewijs van fraude ligt vast
Wat is ‘EXIN Anywhere’?
Wat is EXIN?
EXIN is een internationaal erkende certificeringsorganisaties voor
professionals in Information Management. Meer dan 1,5 miljoen professional
in meer dan 125 landen zijn door EXIN gecertificeerd. Met meer dan 1000
geaccrediteerde partners faciliteert EXIN vanuit haar hoofdkantoor in Utrecht
en haar wereldwijde regionale kantoren overal ter wereld examinering in
meer dan 20 talen.
Wat is EXIN Anywhere
EXIN Anywhere – Exams Online is EXIN’s “one stop full service” voor
kandidaten om een examen te bestellen en dit examen binnen 21 dagen af
te leggen op elke tijd en locatie tegen door EXIN gestelde regels omtrent
ruimte, gedrag en configuratie. Het behelst het volledige proces van
registratie tot resultaat waarbij het uitgangspunt is dat kandidaten zonder
enige hulp, tussenkomst of contactmoment examen kunnen doen waar en
wanneer het ze uitkomt.
Wat is ‘EXIN Anywhere’?
Aan deze examendienst zijn uiteraard wel regels verbonden.
• Terms and conditions: Alle regels van aanmelding
tot certificering worden gecommuniceerd op de
website, bij aanmelding en in de uitnodiging.
De kandidaat dient bij aanmelding expliciet akkoord
te gaan met de regels.
• Video Declaration: De kandidaat dient bij aanmelding
expliciet akkoord te gaan met het feit dat de examensessie wordt opgenomen en dat de opname
gedurende de beroepstermijn van 3 maanden wordt bewaard.
• Privacy: De kandidaat wordt geïnformeerd over het gebruik van de gegevens door elk van de
betrokken partijen (EXIN, Software Secure en Questionmark).
• Rules and regulations: De specifieke regels met betrekking tot het examen worden gecommuniceerd
op de website, bij aanmelding, in de uitnodiging en in het proces. De kandidaat dient bij aanmelding
en in het proces expliciet akkoord te gaan met regels omtrent de ruimte, de gedragingen en de
instellingen op de examenconfiguratie.
Toetsing van de regels
De video proctors toetsen de specifieke regels met betrekking tot de afname puur arbitrair aan de hand
van de proctor policy. Elke afwijking van de regel wordt gemarkeerd in de video en voorzien van
commentaar. Uiteindelijk wordt dit als advies aan EXIN met de video aangeleverd. EXIN’s Quality
afdeling bepaalt uiteindelijk of dit al dat niet leidt tot een nietigverklaring.
Wat is ‘EXIN Anywhere’?
EXIN Anywhere is een examendienst voor kandidaten waarbij verschillende
systemen zijn gekoppeld en voorzien van 1 design.
Kandidaat
Resultaat-
verwerking
Proctor Review
van de video
Binnen 21
dagen
Zelfde dag
Software Secure
Binnen 5
werkdagen
EXIN
Logistiek
2e review
EXIN Quality Management
Violation
Ongeldig-
verklaring
Definitief
resultaat
Binnen 5 werkdagen
Systeem check
Aa
nm
eld
ing e
n
Exa
min
erin
g
Clean Clean
Violation
Aanmelding
Examinering
Wat is ‘EXIN Anywhere’?
Exam: Cloud Computing Foundation - Dutch
Link: EXIN Anywhere - Exams Online
Exam Code: 7FE5AE1C
Demo
Wat is ‘EXIN Anywhere’?
EXIN geeft level 1 support vanuit Boston, Kuala Lumpur en Utrecht op:
• Website
• Aanmelding (step 1-3)
• Einde examen, survey en resultaat proces
Software Secure geeft level 1 support op de rest van het proces inclusief het
examen in Questionmark™ Perception™.
Level 2 support wordt gedeeld door EXIN en Software Secure
EXIN (24 x 5)
SSI (24 x 7)
Kandidaat support proces
Wat is ‘EXIN Anywhere’?Mijlpalen
Eerste examen 31-03-2012
100e examen 14-05-2012
1000e examen 17-12-2012
2000e examen 29-03-2013
3000e examen 07-08-2013
4000e examen 04-11-2013
Momenteel zijn er 4054 examens verwerkt (07-11). Het aantal examens per maand ligt in
oktober voor het eerst boven de 400.
Software/proces updates
Live 01-04-2012
Release 2.7 - stabiliteit 16-04-2013• nieuwe systeem check• nieuw autenticatie proces• generieke web services
Release 2.8 - issues release 11-06-2013• issues in EXIN’s back office systeem
Release 2.9 - flexibiliteit 07-07-2013 • toevoeging nieuwe examens en update prijsstructuur
De uitgangspunten, voor- en nadelen en
randvoorwaarden van Online Proctoring
• Proctors zijn onafhankelijk
• Proctors zijn getrainde professionals
• Betere manieren om vals spel te detecteren
• Minder incidenten
• Sterker bewijs van eventuele fraude
De uitgangspunten, voor- en nadelen en
randvoorwaarden van Online Proctoring
• Doe het goed (integriteit, autenticatie en validiteit);
• Zorg voor duidelijke spelregels en laat geen ruimte voor discussie;
• Hou het simpel; niet iedere kandidaat is even technisch onderlegd;
• Zorg voor goede support; het blijft techniek…;
• Voorkom diefstal van examen content door het nemen van technische
maatregelen;
• Zorg voor een juiste vastlegging/opslag;
• Maak de juiste afweging of het examen zich daadwerkelijk leent voor deze
vorm van proctoring: Multiple-choice examens lenen zich prima, open boek
examens zijn al complexer en praktijkexamens software development zijn een
enorme uitdaging.
Kijk voor meer gedetailleerde info op: http://www.slideshare.net/caveonweb/webinar-good-and-bad-of-online-proctoring-shared
Discussie
Is online proctoring een oplossing voor de organisatorische en logistieke
uitdagingen die hogescholen / universiteiten ervaren bij het organiseren van
examens voor grote groepen studenten?
Is er winst te behalen uit het aanbieden van examens door middel van online
proctoring t.o.v. standaard paper of online afname voor hogescholen /
universiteiten?
Voor al uw vragen en opmerkingen rondom Online Proctoring en EXIN
Anywhere is een wall aangemaakt: http://padlet.com/wall/onlineproctoring.
U bent van harte uitgenodigd om de discussie op de wall voort te zetten.
Dank u voor uw aandacht.