�����

+HW�GLJLWDDO�SRUWIROLR�DOV�LQVWUXPHQW��YRRU�VXPPDWLHYH�FRPSHWHQWLHEHRRUGHOLQJ�

�����������������������������������,GD�2RVWHUKHHUW�6DELQH�YDQ�(OGLN�0DULMNH�.UDO���P�P�Y��6DQQH�6SHH�

1

,QKRXG� �9RRUZRRUG� � � � � � � � � � ����6DPHQYDWWLQJ� � � � � � � � � ��� � ��� ,QOHLGLQJ� � � � � � � � � ���1.1 Aanleiding 5 1.2 Doel 5 1.3 Onderzoeksvraag 5 �� 0HWKRGLHN� � � � � � � � � ���2.1 Analyse 7 �� %HYLQGLQJHQ�OLWHUDWXXU�HQ�H[SHUWV�� � � � � ���

Inleiding 8 Algemene bevindingen 8 Bevindingen rond thema’s 8 Conclusies 13

�� 'ULH�FDVHVWXGLHV� � � � � � � � ���

Inleiding 15 � 3DER�$PVWHUGDP�� � � � � � � ���

Korte schets 15 Standaardisatie 15 Beoordelingscriteria en de transparantie hiervan 16 Begeleiden en beoordelen 17 Verhouding digitaal portfolio tot andere toetsinstrumenten 18

� 3DER�$UQKHP� � � � � � � � � ��� Korte schets 19 Standaardisatie 19 Beoordelingscriteria en de transparantie hiervan 21 Begeleiden en beoordelen 21 Verhouding digitaal portfolio tot andere toetsinstrumenten 22

� 3DER�*URHQHZRXG� � � � � � � � ��� Korte schets 23 Standaardisatie 23 Beoordelingscriteria en de transparantie hiervan 24 Begeleiden en beoordelen 25 Verhouding digitaal portfolio tot andere toetsinstrumenten 26 4.5 Conclusies 28 4.5.1 Algemene conclusies 28 4.5.2 Conclusies met betrekking tot de onderzoeksvragen 29 �� $DQEHYHOLQJHQ� � � � � � � � ������ /LWHUDWXXU� � � � � � � � � ���

2

9RRUZRRUG�� Deze rapportage doet verslag van onderzoek naar het gebruik van het digitaal portfolio als instrument voor summatieve competentiebeoordeling in het hoger onderwijs en in lerarenopleidingen basisonderwijs in het bijzonder. Tevens biedt het handreikingen en aanbevelingen die bij kunnen dragen aan het verhogen van de kwaliteit van deze beoordelingen. In deze rapportage hebben we dus qua doelgroep vooral die opleidingen voor ogen, die momenteel bezig zijn met (voorbereidingen op) de invoering van het digitaal portfolio als instrument voor summatieve competentiebeoordeling en die in hun overwegingen de argumenten en ervaringen van anderen willen meenemen. Dit project is mede gefinancierd door de SURF Foundation als onderdeel van de activiteiten van de special interest group NL Portfolio. Aan dit onderzoek hebben daarnaast velen hun bijdrage geleverd en hen willen we op deze plaats bedanken. Onze dank gaat allereerst uit naar de medewerkers en studenten van pabo Amsterdam, pabo Arnhem en pabo Groenewoud, die bereid waren ons een kijkje te laten nemen in de werkwijze van hun opleiding. De assessoren, studieloopbaanbegeleiders, studenten en (toets)coördinatoren van deze drie opleidingen vertelden ons met veel betrokkenheid over hun manier van werken met een digitaal portfolio en over hun ervaringen daarmee. Onze dank gaat eveneens uit naar Ruud Klarus en Jan van Tartwijk die bereid waren hun kennis en ervaringen met ons te delen. Sanne Spee willen we bedanken voor haar bijdrage aan de beginfase van het onderzoek: het verzamelen en samenvatten van literatuur, het uitwerken van interviews en het kritisch meedenken bij de ontwikkeling van de instrumenten. Nijmegen, mei 2007 Ida Oosterheert Sabine van Eldik Marijke Kral

3

6DPHQYDWWLQJ��'LW�RQGHU]RHN�Het doel van dit onderzoek is om na te gaan hoe een summatieve competentiebeoordeling middels een digitaal portfolio het beste vorm kan krijgen, rekening houdend met de eisen van betrouwbaarheid en validiteit. De hoofdvraag van dit onderzoek luidt: “Op welke wijze kunnen bij het summatief beoordelen met een digitaal portfolio zowel betrouwbaarheid als validiteit maximaal gewaarborgd worden?”. Er is achtereenvolgens gebruik gemaakt van literatuuronderzoek, interviews met experts en drie casestudies (Pabo’s). Bij de selectie van de casussen is gezocht naar een vertegenwoordiging van verschillende opleidingsmodellen:

� 0RGHO��� Er is één weg naar Rome (Rome = 1): Iedereen volgt dezelfde route naar het zelfde doel.

� 0RGHO��� Er leiden vele wegen naar Rome: routes kunnen verschillen, maar iedereen gaat naar hetzelfde doel.

� 0RGHO��� Rome en Rome is twee: zowel de routes als de bestemming kunnen verschillen. De drie casussen in dit onderzoek betreffen: Pabo Amsterdam, Pabo Arnhem en Pabo Groenewoud. Pabo Amsterdam zit qua opleidingsmodel tussen 2 en 3, Pabo Arnhem zit vooral op model 1 en Pabo Groenewoud vooral op model 2. Er is op iedere pabo gesproken met een (toets)coördinator, assessoren / studieloopbaanbegeleiders en studenten. %HYLQGLQJHQ�OLWHUDWXXURQGHU]RHN�HQ�H[SHUW�LQWHUYLHZV�Er zijn nog weinig pabo’s waar het digitaal portfolio al een belangrijke rol speelt bij het summatief beoordelen en er is nog weinig empirisch onderzoek gedaan naar de praktijk van het summatief beoordelen met een digitaal portfolio. Een digitaal portfolio dat gebruikt wordt voor summatieve beoordeling moet recht doen aan de eigenheid en leercontext van de student om de validiteit te waarborgen. Dit vraagt om ruimte voor de student om het portfolio zelf in te richten én om een groeimodel waarbinnen studenten deze ruimte kunnen leren hanteren. Met het oog op met name de betrouwbaarheid van de beoordeling is transparantie ten aanzien van de beoordelingscriteria voor álle betrokkenen van cruciaal belang. Bovendien moet hen de gelegenheid worden geboden om te leren werken en denken vanuit deze beoordelingscriteria. Holistisch beoordelen van competenties heeft de voorkeur en dit stelt hoge eisen aan de professionaliteit van de assessoren. Professionalisering van assessoren moet gericht zijn op een accentverschuiving van analytisch naar (meer) holistisch beoordelen. Triangulatie, interne consistentie en congruentie lijken belangrijke kwaliteitscriteria, evenals ‘geloofwaardigheid’. Over het hanteren van deze criteria en over de cesuurbepaling is nog veel onduidelijk. Het denkniveau van de student lijkt voor beoordelaars een belangrijke factor te zijn. Het inpassen van het digitaal portfolio binnen het totale toetsbouwwerk is een lastig punt en wordt verschillend ingevuld. Een bouwwerk zonder afzonderlijke (kennis)toetsen lijkt vooralsnog niet in zicht. Het aantal ‘losse’ toetsen moet binnen de perken blijven, omdat anders de validiteit van het portfolio bedreigd wordt. Er kleven voor- en nadelen aan het scheiden van beoordeling en begeleiding. Behoorlijke consensus is er over de noodzaak van in ieder geval één onafhankelijke assessor. Vanuit de literatuurstudie en de expertinterviews werd de hoofdvraag ingeperkt tot de volgende drie subvragen:

• Wanneer is een bewijsstuk of een geheel aan bewijsstukken overtuigend? • In welke mate moeten begeleiden en summatief beoordelen uit elkaar getrokken

worden? • Hoe verhoudt het digitaal portfolio zich tot andere toetsingsvormen, waarmee

andere zaken dan competenties worden beoordeeld? Deze vragen waren leidend voor de casestudies. ��

4

5HVXOWDWHQ�FDVHVWXGLHV�LQ�UHODWLH�WRW�GH�GULH�RQGHU]RHNVYUDJHQ�Een algemene conclusie is dat het digitaal portfolio als instrument voor summatieve beoordeling een duidelijke meerwaarde heeft binnen de opleidingsmodellen 2 en 3, terwijl dit niet geldt binnen model 1. Ook blijkt dat het onderscheid tussen model 2 en 3 minder duidelijk is dan het op het eerste gezicht lijkt. * Een bewijsstuk of een geheel aan bewijsstukken is overtuigend als het in hoge mate authentiek is en bovendien voldoet aan heldere, expliciete beoordelingscriteria. De Pabo’s uit ons onderzoek benadrukken het belang van de criteria authenticiteit, relevantie (congruentie) en variatie (triangulatie) sterkter dan de criteria kwantiteit en actualiteit. Een ander criterium dat belangrijk wordt gevonden is ‘theorie-praktijkkoppeling’. In de literatuur en door beide experts wordt veel waarde gehecht aan ‘geloofwaardigheid’ (‘credibility’) als kwaliteitscriterium. De drie Pabo’s noemen dit criterium niet. Nadeel van ‘geloofwaardigheid’ als criterium is dat het studenten geen richting kan geven voor hun leerproces. Een (ervaren) assessor raakt niet zozeer overtuigd van de optelsom van afzonderlijke materialen maar van de indruk van het totaal. Visueel bewijsmateriaal kan krachtig zijn wanneer het het verhaal van de student ondersteunt. � * Bij een summatieve beoordeling moet minimaal één onafhankelijke assessor betrokken zijn en een tweede beoordelaar is wenselijk. Studenten hebben minder moeite met het betrekken van studieloopbaanbegeleiders bij het summatief assessment dan opleiders, assessoren en enkele experts. Dit geldt ook voor studenten voor wie dit niet de huidige situatie is. * Daar waar gewerkt wordt met het digitaal portfolio als summatief toetsingsinstrument, neemt het digitaal portfolio een belangrijke plaats in in het totale toetsbouwwerk. Daarnaast worden andere toetsingsvormen gehanteerd, zoals de landelijke reken- en taaltoetsen, andere (toepassingsgerichte)kennistoetsen en praktijkassessments. Binnen de drie Pabo’s verhouden kennistoetsen zich op geheel verschillende manieren tot het portfolio. Een praktijkassessment lijkt wenselijk voor onderdelen die noch met een portfolio noch met een kennistoets geborgd kunnen worden, zoals interpersoonlijke competenties. �'H�EHODQJULMNVWH�DDQEHYHOLQJHQ��* Verhoog de YDOLGLWHLW van het digitaal portfolio als summatief beoordelingsinstrument door studenten ruimte te geven voor een eigen invulling. Zorg daarnaast voor voorbeelden en suggesties en voor procesgerichte, frequente studieloopbaanbegeleiding om deze ruimte geleidelijk zelf te leren hanteren. * Verhoog de EHWURXZEDDUKHLG�van het digitaal portfolio als summatief beoordelingsinstrument door te investeren in de ontwikkeling van transparante beoordelingscriteria die gedragen worden door alle actoren, inclusief het ‘veld’. * Zorg dat helder is wanneer een portfolio beoordeelbaar is. Laat studenten hun bewijsmateriaal bijvoorbeeld toelichten en verantwoorden in het licht van de competenties die ze ermee willen aantonen. Andere criteria zijn authenticiteit, variatie en congruentie. * Zorg dat de criteria iets zeggen over de NZDOLWHLW die te zien moet zijn, gegeven een beoordeelbaar portfolio. Geef bijvoorbeeld de Dublin-descriptoren een opleidingsspecifieke invulling richting een professionele standaard per opleidingsfase. * Zorg dat de beoordelingscriteria niet alleen leidend zijn voor de assessments, maar ook voor wat er in het onderwijs en in de studieloopbaanbegeleiding gebeurt. * Zorg in het begin voor twee assessoren per assessment. Van de studenten mag de tweede assessor de eigen studieloopbaanbegeleider zijn, mits de band daarmee goed is. * Accepteer in de beginfase dat zowel assessoren als studenten nog vooral analytisch te werk gaan (competenties afvinken) en pas daarna behoefte krijgen aan een meer holistische (voorbereiding op de) beoordeling. Ondersteun dit proces met trainingen. * Hanteer - voor zover nodig -, naast of gekoppeld aan de competentiebeoordeling middels het digitaal portfolio, een EHSHUNW aantal (toepassingsgerichte)kennistoetsen en praktijkassessments voor die onderdelen die moeilijk te borgen zijn middels het digitaal portfolio of middels andere toetsvormen. �

5

�� ,QOHLGLQJ� � � ��

����� $DQOHLGLQJ�� Instellingen voor hoger onderwijs in Nederland zijn momenteel bezig een omslag te maken naar competentiegericht opleiden en beoordelen. Een instrument dat daarbij veel wordt ingezet is het digitaal portfolio. De implementatiegraad van dit instrument verschilt sterk tussen instellingen en daarbinnen soms tussen opleidingen. Er zijn nog veel vragen rond het gebruik van het digitaal portfolio als beoordelingsinstrument, met name als instrument voor summatieve competentiebeoordeling. Wat kan een digitaal portfolio zichtbaar maken en wat niet? En wanneer is dat wat de student laat zien ‘goed’? Hoe leer je studenten hun competenties zichtbaar te maken? Hoe verhoudt het digitaal portfolio zich tot de rest van het beoordelingsinstrumentarium en het curriculum? En wat is de rol van opleiders, studieloopbaanbegeleiders, medestudenten en het werkveld bij de beoordeling? Allemaal vragen die erop gericht zijn de validiteit en betrouwbaarheid van het instrument te borgen. Ofwel, vragen die erop gericht zijn tot kwalitatief aanvaardbare competentiebeoordeling te komen. Dit onderzoek komt eveneens voort uit die behoefte. ������ 'RHO� Het doel van dit onderzoek is om in kaart te brengen wat vanuit de literatuur en de praktijk geleerd kan worden over de wijze waarop een summatieve competentiebeoordeling middels een digitaal portfolio het beste vorm kan krijgen, rekening houdend met de eisen van betrouwbaarheid en validiteit. Meer concreet is het doel handreikingen en aanbevelingen te bieden die bij kunnen dragen aan de kwaliteit van deze assessments in het hoger onderwijs in het algemeen en in lerarenopleidingen in het bijzonder. ������ 2QGHU]RHNVYUDDJ�� Toetsen, zeker summatieve toetsen, behoren betrouwbaar en valide te zijn om een eerlijke beoordeling uit te kunnen spreken over de prestaties van een student. Een toets is valide wanneer deze meet wat het beoogt te meten. Zo is een kennistoets niet valide wanneer gedrag in complexe situaties moet worden gemeten. Een toets is betrouwbaar wanneer de uitslag van de toets correspondeert met de werkelijkheid en dus onafhankelijk is van toevalligheden. Dit impliceert ook dat wanneer een beoordeling meerdere malen of door andere personen gedaan wordt, er tussen de verschillende beoordelingen weinig verschil is. Een hoge betrouwbaarheid garandeert niet dat het met de validiteit van een beoordeling goed zit: je kunt op een betrouwbare manier iets meten dat je niet wilde meten. Velen zijn het eens dat begrippen als validiteit en betrouwbaarheid binnen een competentiegericht curriculum niet vanuit de traditionele, testtheoretische betekenis gehanteerd kunnen worden. Competentiebeoordeling, ook competentiebeoordeling middels een digitaal portfolio, vraagt om kwalitatieve beoordelingscriteria, die recht doen aan de beroepscontext waarin de student leert en aan de ontwikkeling van de student op dat moment. Kwantitatieve criteria (alleen) voldoen hier niet. Er is nog veel discussie gaande over welke kwalitatieve criteria gehanteerd zouden moeten worden. Een fundamenteel discussiepunt hierbij betreft de balans tussen betrouwbaarheid en validiteit. Hoe verhouden deze zich bij competentiegericht beoordelen tot elkaar en zijn ze –binnen deze context- even belangrijk? De hoofdvraag van dit onderzoek luidt dan ook: ³2S�ZHONH�ZLM]H�NXQQHQ�ELM�KHW�VXPPDWLHI�EHRRUGHOHQ�PHW�HHQ�GLJLWDDO�SRUWIROLR�]RZHO�EHWURXZEDDUKHLG�DOV�YDOLGLWHLW�PD[LPDDO�JHZDDUERUJG�ZRUGHQ"´��

6

�� 0HWKRGLHN� Bij dit onderzoek is achtereenvolgens gebruik gemaakt van literatuuronderzoek, interviews met experts en casestudies. Het accent ligt in dit onderzoek op de bevindingen vanuit de casestudies. �/LWHUDWXXURQGHU]RHN��De eerste fase in dit onderzoek betrof een literatuuronderzoek. Doel van dit onderzoek was om vanuit overzicht over de huidige discussies rond het digitaal portfolio te komen tot een zinvolle inperking van de hoofdvraag. De start van dit literatuuronderzoek vond plaats vanuit eerdere Surf-onderzoeksrapportages en enkele kernpublicaties rond het onderwerp. Via Google wetenschap en de universiteitsbibliotheek van de universiteiten van Utrecht en Nijmegen werd de zoektocht vervolgd. �,QWHUYLHZV�H[SHUWV�In de tweede fase van het onderzoek werden twee experts geraadpleegd, dr. Ruud Klarus, lector aan de Hogeschool Arnhem-Nijmegen en dr. Jan van Tartwijk, universitair hoofddocent aan de Universiteit Leiden. Beide hebben gepubliceerd over en worden algemeen erkend als deskundig op het terrein van competentiebeoordeling en digitale portfolio’s. Doel van deze expert-interviews was de visie en argumenten van deskundigen te peilen en te gebruiken voor aanscherping van het vervolg van het onderzoek. Bij de constructie van de leidraad voor deze interviews werd uiteraard gebruikt gemaakt van de bevindingen uit het literatuuronderzoek. De interviews waren semi-gestructureerd van opzet en werden gehouden op de werklocatie van de experts. De interviews werden opgenomen, uitgewerkt en samengevat. ��&DVHVWXGLHV�In de derde fase van het onderzoek werden drie pabo’s bezocht, met als doel vanuit ervaringen uit de praktijk antwoorden te vinden op onze vragen. Bij iedere pabo werd op één dag gesproken met een opleidingscoördinator/portfoliodeskundige, een kleine groep assessoren, een aantal studieloopbaanbegeleiders en een aantal studenten. Voorafgaand aan het bezoek werd een documentanalyse gedaan, om vanuit een eerste idee van de werkwijze van de opleiding de gesprekken gerichter te kunnen voeren. De gesprekken werden opgenomen en vervolgens uitgewerkt. �Drie Pabo’s werden geselecteerd voor de casestudies. Daarbij golden twee criteria:

1. Er vindt summatieve competentiebeoordeling plaats middels een digitaal portfolio. 2. De drie Pabo’s representeren samen zo mogelijk verschillende opleidingsmodellen.

Dat laatste criterium behoeft wellicht enige uitleg. Hoe opleidingen denken over validiteit en betrouwbaarheid is, zo blijkt uit de literatuur, niet contextonafhankelijk. Er zijn grofweg drie modellen voor (competentiegericht) onderwijs (Elshout-Mohr & Oostdam, 2001) en binnen deze modellen worden keuzes voor betrouwbaarheid en validiteit verschillend afgewogen:

• 0RGHO��� Er is één weg naar Rome (Rome = 1) Dit betekent dat er een strak voorgeschreven curriculum is en dat de relatie tussen dit curriculum en de toetsing groot is. Iedereen volgt dezelfde route naar het zelfde doel.

• 0RGHO��� Er leiden vele wegen naar Rome. Routes kunnen verschillen, maar iedereen gaat naar hetzelfde doel en wordt dus ook op dezelfde manier afgerekend.

• 0RGHO��� Rome en Rome is twee. Zowel de routes als de bestemming kunnen verschillen.

7

Model 1 kan onderdeel zijn van model 2 en model 3, model 2 kan onderdeel zijn van model 3. Voor dit onderzoek zou het interessant (want leerzaam) zijn op dit punt variatie in de casussen te hebben. Van de 8 Pabo’s die ad random werden benaderd wilde iedereen graag meedoen, maar slechts drie werkten al met het digitaal portfolio als summatief beoordelingsinstrument. Dat waren:

• Pabo Amsterdam, onderdeel van de Educatieve Hogeschool van Amsterdam • Pabo Arnhem, onderdeel van de Hogeschool van Arnhem en Nijmegen. • Pabo Groenewoud, onderdeel van de Hogeschool van Arnhem en Nijmegen

Deze drie pabo’s voldoen samen in hoge mate aan het tweede criterium: variatie in opleidingsmodellen. Pabo Amsterdam zit tussen weg 2 en 3, Pabo Arnhem zit vooral op weg 1 en Pabo Groenewoud zit vooral op weg 2. �In Amsterdam spraken we met de toetscoördinator, 2 assessoren (tevens studieloopbaan-begeleiders) en 4 studenten uit de deeltijd opleiding. In Arnhem spraken we met de toetscoördinator, 5 assessoren (tevens studieloopbaan-begeleiders) en 5 voltijdstudenten uit het eerste en tweede jaar van de opleiding.��In Nijmegen spraken we met de onderwijscoördinator, 2 assessoren (tevens studieloopbaanbegeleider) en 4 studenten, zowel voltijd als deeltijd (verkort). �������� $QDO\VH� Uit de literatuur is allereerst een aantal centrale thema’s gedestilleerd die relevant bleken voor de onderzoeksvraag. De belangrijkste bevindingen zijn vervolgens geordend naar deze zes thema’s. De thema’s waren tevens richtinggevend voor de expertinterviews. Voorlopige conclusies werden getrokken na de literatuurstudie en de expertinterviews, waarna een inperking van de onderzoeksvraag gemaakt kon worden. De drie nieuwe onderzoeksvragen waren leidend voor de casestudies. Ten behoeve van de casestudies is voorafgaand aan het bezoek een documentanalyse verricht om de algemene interviewleidraad opleidingsspecifiek te maken. Interviews zijn schriftelijk uitgewerkt en de uitkomsten ervan zijn ondergebracht onder zes eerder genoemde thema’s. Daarna werden de drie onderzoeksvragen beantwoord vanuit de bevindingen per casus en vanuit het geheel aan casussen. Tenslotte werden de resultaten van de literatuurstudie, de expertinterviews en de casestudies met elkaar in verband gebracht om te komen tot conclusies en aanbevelingen.

8

�� %HYLQGLQJHQ�OLWHUDWXXU�HQ�H[SHUWV� ������� ,QOHLGLQJ� Dit hoofdstuk rapporteert integraal wat de bevindingen zijn vanuit de literatuurstudie en de expertinterviews. Na een korte beschrijving van een aantal algemene bevindingen worden specifieke bevindingen gerapporteerd aan de hand van de volgende thema’s:

9 Standaardisatie van het portfolio �9 Holistisch versus analytisch beoordelen 9 Transparantie van toetsprocedures en kwaliteitscriteria 9 Krachtig bewijsmateriaal 9 Begeleiden en beoordelen 9 Verhouding digitaal portfolio tot andere toetsinstrumenten

Dit hoofdstuk sluit af met een aantal voorlopige conclusies en een toespitsing van de hoofdvraag in een drietal subvragen. Deze voorlopige conclusies en subvragen vormen de basis voor de casestudies. ������ $OJHPHQH�EHYLQGLQJHQ� � Wat allereerst opvalt in de literatuur is dat de meeste aandacht uitgaat naar het digitaal portfolio als formatief beoordelingsinstrument (begeleiding & ontwikkeling). Discussies rond het digitaal portfolio als summatief assessmentinstrument zijn gaande, maar empirisch onderzoek is nog schaars. Deze bevinding komt overeen met onze ervaringen bij het zoeken naar geschikte casussen: veel Pabo’s werken nog niet of nauwelijks summatief met een portfolio. Ten tweede, in veel opleidingen die de omslag maken naar competentiegericht opleiden vindt een verandering plaats van meer kwantitatief beoordelen naar het beoordelen met behulp van kwalitatieve criteria. De verwachting van de betrokkenen is dat een dergelijke VKLIW�meer recht doet aan de beroepscontext waarin de student leert en aan de ontwikkeling van de student op dat moment. Het digitaal portfolio vervult daarin in toenemende mate een belangrijke rol. Ten derde, er is nog geen duidelijkheid over de kwalitatieve criteria die gehanteerd zouden kunnen of moeten worden bij een summatief assessment middels een digitaal portfolio. Een fundamenteel discussiepunt betreft de balans tussen betrouwbaarheid en validiteit. Hoe verhouden deze zich bij competentiegericht beoordelen tot elkaar en zijn ze -in deze context- wel even belangrijk? In eerste instantie lijkt het er op dat een hoge betrouwbaarheid bij een portfolio-assessment ten koste gaat van de validiteit en andersom. Immers, een hoge betrouwbaarheid vraagt om standaardisatie en dit beperkt de ruimte die de student kan nemen om de eigen kwaliteiten te laten zien (validiteit). In de bespreking hieronder komt deze discussie rond validiteit en betrouwbaarheid steeds weer terug. ����� %HYLQGLQJHQ�URQG�WKHPD¶V� In deze paragraaf bespreken we aan de hand van een zestal thema’s wat uit de literatuur en de expert-interviews naar voren kwam. De thema’s zijn niet strikt te scheiden, waardoor hier en daar een beperkte overlap ontstaat in de bespreking. We koppelen de thema’s steeds aan de hoofdvraag. �

9

6WDQGDDUGLVDWLH��Door te standaardiseren verhoogt de betrouwbaarheid, maar wordt de validiteit verlaagd. Hoe kunnen beide optimaal in balans worden gebracht? Of is er misschien een derde criterium dat betrouwbaarheid en validiteit omvat en/of overstijgt? Natuurlijk begint de beantwoording van deze vragen met het kijken naar ZDW er gestandaardiseerd kan of moet worden om de beoordeling zo betrouwbaar en valide mogelijk te houden. Driessen en collega’s (2005) hechten veel waarde aan standaardisatie van EHRRUGHOLQJVFULWHULD�die assessoren hanteren. Dit verhoogt de betrouwbaarheid mits assessoren getraind worden in het gebruik ervan. Maar naarmate deze criteria weer meer betrekking hebben op de DDUG�YDQ�GH�EHZLMVVWXNNHQ die studenten moeten laten zien, wordt door deze manier van standaardisatie de validiteit weer verlaagd. Want hoe meer standaardisatie van de aard van bewijsstukken, hoe minder er recht wordt gedaan aan de authenticiteit en de specifieke leercontext van de student. Van der Vleuten en Schuwirth (2005) benadrukken dat de betrouwbaarheid van een beoordeling QLHW afhankelijk hoeft te zijn van van standaardisatie en objectiviteit. Ook meer subjectieve, ongestructureerde en ongestandaardiseerde assessments kunnen volgens hen betrouwbaar zijn. Zij pleiten voor een meer kwalitatieve benadering van de assessmentprocedures: een assessor zal door moeten gaan met beoordelen tot hij ‘verzadigd’ is, tot hij voldoende opgenomen heeft en met overtuiging achter zijn beoordeling kan staan. De beslissing wordt hierdoor, volgens hen, meer betrouwbaar en verdedigbaar. Volgens Van der Vleuten & Schuwirth is het dus niet nodig om het portfolio of bewijsstukken te standaardiseren om betrouwbaarheid te bereiken. Baume en York (2005) voegen hier aan toe dat zelfs in het geval van gestandaardiseerde bewijsstukken de betrouwbaarheid teniet worden gedaan, wanneer er sprake is van een lage LQWHUVXEMHFWLYLWHLW van assessoren. Immers, ook al zijn de bewijsstukken bij iedere student precies gelijk, als assessoren vanuit verschillende ‘brillen’ kijken, wordt de betrouwbaarheid alsnog bedreigd. Investeren in die intersubjectiviteit, dus in een hoge interbeoordelaarsbetrouwbaarheid, lijkt dus sowieso zeer gewenst. Standaardisatie raakt overigens ook aan een ander punt: beginnende studenten moeten vaak wennen aan werken met een portfolio en met de omgekeerde bewijslast. Een ‘leeg’ portfolio is voor sommigen een moeilijk te hanteren gegeven. Klarus zoekt om die reden qua standaardisatie meer naar een groeimodel: bij beginnende studenten aangeven wat voor W\SH�bewijs er (minimaal) in het portfolio moet komen en langzamerhand laten toegroeien naar steeds meer zelf invullen. Op deze manier kun je studenten toch richting geven zonder al te veel te standaardiseren. Hetzelfde geldt volgens Klarus voor de mate van standaardisatie van de structuur van het portfolio. Er moet studenten, zeker in het begin, een structuur geboden worden waarbinnen voldoende ruimte is voor specifieke contexten of leerdoelen en die tegelijkertijd de assessor voldoende informatie geeft over het functioneren van de student. Ook van Tartwijk vindt dat studenten kaders geboden moeten worden, waarbinnen studenten ruimte hebben om zelf keuzes te maken. Vooralsnog lijkt standaardisatie van het referentiekader (de beoordelingscriteria) van de beoordelaars (verhogen van de intersubjectiviteit) absoluut gewenst. ���7UDQVSDUDQWLH�In hoeverre draagt transparantie van bijvoorbeeld toetsprocedures en beoordelingscriteria bij aan een betrouwbare en valide beoordeling? Volgens Baume en York (2005) is transparantie in sterke mate van belang wanneer je een betrouwbare en valide beoordeling wilt geven. Alle actoren moeten een gezamenlijk referentiekader hebben én dit uitdragen naar elkaar en naar degene die beoordeeld moeten worden. Cluitmans & Klarus (2005) zijn het daar mee eens. Zij noemen een beoordelingsprocedrue transparant als de competentievereisten en alle stappen in de beoordelingsprocedure bekend en begrijpelijk zijn voor alle betrokkenen. Alleen dan kan de student daadwerkelijk zijn of haar competenties aantonen. Bovendien moeten de assessmentcriteria tijdig helder gecommuniceerd worden naar alle actoren binnen een opleiding (Roberts, 2002). Dus zowel assessoren als opleiders,

10

studieloopbaanbegeleiders als studenten moeten weten wat de doelstellingen en functies van het portfolio zijn, waarop beoordeeld wordt en hoe. Driessen en collega’s (2005) en Adams (1995) geven eveneens aan dat het van belang is dat het portfolio al vroeg in de opleiding geïntroduceerd wordt. Zij voegen eraan toe dat er ruimte geboden moet worden om te wennen aan het portfolio in het algemeen en aan het omgaan met de assessmentcriteria in het bijzonder. Implementatie van het digitaal portfolio als beoordelingsinstrument moet dus niet te snel gaan, ook niet voor de assessoren. Ook assessoren moeten leren omgaan met de kwaliteitscriteria en met de variatie in portfolio’s. Er moet geïnvesteerd worden in trainingen van assessoren om de intersubjectiviteit te verhogen (Baume & York, 2005). In die trainingen is het van belang dat assessoren discussiëren over beoordelingscriteria in relatie tot concrete portfoliofragmenten (Webb et al, 2003). ��+ROLVWLVFK�YHUVXV�DQDO\WLVFK�EHRRUGHOHQ�Een derde thema dat in de discussie naar voren komt is het holistisch versus analytisch beoordelen van competenties. Een holistische beoordeling komt tot stand vanuit een indruk van het geheel, een analytische beoordeling komt tot stand op basis van een systematische check op onderdelen. De vraag is ook hier: in hoeverre heeft de manier van beoordelen, holistisch of analytisch, invloed op de validiteit en betrouwbaarheid van de competentiebeoordeling? Kunnen competenties wel in losse onderdelen (analytisch) beoordeeld worden? Is holistisch beoordelen wel betrouwbaar? In de literatuur wordt vaker een voorkeur uitgesproken voor het holistisch beoordelen (o.a. door Baume & York, 2005; Van der Vleuten & Schuwirth, 2005). Als argument wordt aangevoerd dat het te simplistisch is om te denken dat je competenties kunt opbreken in kleine onderdelen, competenties dienen geïntegreerd te worden beoordeeld. Daarbij wordt wel een kanttekening gegeven: een holistische manier van beoordelen vereist meer kwaliteit en vaardigheid van de assessor. Dierick en collega’s (2001) bevestigen het standpunt rondom de voorkeur voor het holistisch beoordelen. Ook zij zijn van mening dat competenties niet in afzonderlijke delen beoordeeld kunnen worden. Een holistische benadering is meer valide (want niet fragmentarisch) en even betrouwbaar als andere manieren van beoordelen, maar de betrouwbaarheid hangt wel af van het perspectief en de training van de assessor (Gonczi, 1994, geciteerd in McMullan, et.al, 2003). Klarus is van mening dat een meer holistische manier van beoordelen duidt op groeiende professionaliteit van de assessor. Een beginnende assessor heeft nog veel houvast nodig in de vorm van gedetailleerde (competentie) checklists, terwijl de gevorderde assessor daar los van komt en behoefte krijgt aan meer holistisch beoordelen. Om assessoren te professionaliseren richting meer holistisch beoordelen is het van belang tijdens trainingen met elkaar van gedachten te wisselen over het gebruik van beoordelingscriteria. De beoordelingscriteria zijn volgens van Tartwijk nodig om de holistische beoordeling te structureren en betrouwbaarder te maken. We concluderen dat holistisch beoordelen binnen competentiegerichte opleidingen meer valide en even betrouwbaar is als analytisch beoordelen. Holistisch beoordelen is het eindstadium in een groeimodel, dat start bij analytisch beoordelen. ��.ZDOLWHLW�YDQ�EHZLMVVWXNNHQ��Wat is een krachtig bewijsstuk of een krachtig geheel aan bewijsstukken? Ten aanzien van de kwaliteit van een bewijsstuk of geheel aan bewijsstukken komen in de literatuur allereerst drie criteria naar voren: triangulatie, interne consistentie en congruentie. Triangulatie is een belangrijk criterium voor kwaliteit omdat het zowel de betrouwbaarheid als de validiteit verhoogt. Triangulatie betreft het inzetten van verschillende soorten bewijsstukken uit verschillende situaties om bepaalde competenties aan te tonen (Van Vleuten en Schuwirt, 2005). Interne consistentie is eveneens een belangrijk criterium en ligt in het verlengde van triangulatie: over verschillende bewijsstukken en contexten heen komt een beeld naar voren dat consistent en daarmee evenwichtig is. Interne consistentie komt

11

ten goede aan zowel de betrouwbaarheid (Gonczi, 1994, zoals geciteerd in McMullan et. al, 2003) als de validiteit (Wilkinson et. al 2002) van de beoordeling. Een derde criterium dat genoemd wordt is ’congruentie’. Een bewijsstuk of geheel aan bewijsstukken moet congruent zijn (overeenstemmen) met het competentieaspect dat de student wil aantonen (Klarus, 2006). Dus er moet een duidelijk verband zijn tussen wat de student wil aantonen en het daarbij gekozen bewijsstuk. Zo kan een schriftelijk zelfverslag niet overtuigend aantonen dat iemand bepaalde interpersoonlijke competenties in voldoende mate heeft ontwikkeld. Het criterium ‘congruentie’ impliceert dat de student in zijn portfolio expliciet maakt wat hij met een bepaald bewijsstuk denkt aan te tonen. Een andere, inmiddels aardig ingeburgerde, set van criteria voor bewijsstukken is de volgende: authenticiteit (het bewijsstuk komt van en zegt echt iets over deze student), actualiteit (het bewijsstuk is niet te oud), relevantie (het bewijsstuk ‘past bij’ de competentie: zie ook: congruentie), kwantiteit (niet te weinig, in relatie tot wat men wil aantonen) en variatie (diverse contexten). Het digitaal portfolio biedt de mogelijkheid gebruik te maken van visueel of audio-materiaal. Dit wordt onder andere door Deinum (2005) als een voordeel van het digitaal portfolio genoemd, maar er is nog weinig onderzoek gedaan naar de precieze waarde van visueel bewijsmateriaal. Klarus (2006) geeft aan dat visueel materiaal vaak het meest realistisch is, maar niet altijd het meest praktisch. Ook hier geldt dat de student goed moet kijken naar wat hij wil aantonen en welke bewijsstukken daarvoor geschikt zijn: visueel materiaal heeft dan ook beperkingen. Bovengenoemde criteria hebben primair betrekking op het nagaan of een portfolio, gezien wat er in zit, beoordeelbaar is. Als het portfolio voldoet aan deze criteria kan de kwaliteit van de inhoud ervan bepaald worden. In feite gaat het vanaf dat moment over de cesuur: wat is voldoende? Goed? Onvoldoende? Literatuur hierover is zeer schaars. Dierick en collega’s (2001) noemen ‘cognitieve complexiteit’ als een belangrijk criterium. Vrij geïnterpreteerd is dat de mate waarin de student diepte laat zien in zijn waarnemen en denken. In het verlengde hiervan troffen we een empirische studie aan van Overeem et al. (2005), waaruit blijkt dat beoordelaars het criterium ‘kwaliteit van reflectie’ veel gewicht geven. Dit criterium verklaart een behoorlijk deel van de variantie in de beoordelingen (64%), meer dan ieder ander criterium. Overigens hadden veel van die ‘overige’ criteria in het onderzoek weer betrekking op de hierboven genoemde (vorm)aspecten en niet op de inhoudelijke kwaliteit van de bewijsstukken. Tenslotte valt op dat zowel in de literatuur als door de beide experts veel waarde wordt gehecht aan ‘geloofwaardigheid’ (‘credibility’) als kwaliteitscriterium. Dit is een kwaliteitscriterium afkomstig uit kwalitatief onderzoek en kan volgens Driessen, Vleuten, Schuwirth, Tartwijk en Vermunt (2005) op portfoliobeoordelingen toegepast worden. Van Tartwijk ziet geloofwaardigheid zelfs als het belangrijkste criterium. Geloofwaardigheid kan onder andere bereikt worden door triangulatie (het inzetten van verschillende soorten bewijsstukken voor eenzelfde competentie), door voldoende tijd in de beoordeling te steken en door ‘member checking’ (het navragen, terugkeren met de beoordeling naar de beoordeelde). Webb, Endacott, Gray, Jasper, McMullan en Scholes (2003) noemen in dit kader ‘overtuigingskracht’. Klarus hanteert criteria als rechtvaardigheid, bruikbaarheid, ecologische validiteit en generaliseerbaarheid. Samengevat lijkt ‘geloofwaardigheid’ een belangrijk criterium: de verschillende actoren, inclusief de beoordeelde moeten het erover eens zijn dat de beoordeling juist is, want dat maakt de beoordeling geloofwaardig. Over andere criteria is nog geen consensus bereikt. ���

12

+HW�GLJLWDDO�SRUWIROLR�ELQQHQ�KHW�WRHWVERXZZHUN��Zeer actueel is de vraag wát er met behulp van het digitaal portfolio getoetst kan worden en hoe zich dat verhoudt tot het toetsen van kennis. Kan kennis getoetst worden middels het portfolio en zo ja hoe dan? Zo nee, hoe borg je dan het kennisniveau? In hoeverre kunnen bijvoorbeeld ‘oude’ kennistoetsen gehanteerd worden naast een portfoliobeoordeling en hoe werkt dat dan? De literatuur biedt diverse aanknopingspunten om met deze vragen een stuk verder te komen, maar geen kant en klare oplossingen. Een belangrijk aandachtspunt bij het denken over een toetsbouwwerk is dat de manier van beoordelen van studenten binnen een opleiding sterke invloed heeft op de manier van leren van de student (Van der Vleuten et. al., 2005). Met andere woorden, de aard van de leeractiviteiten die studenten ondernemen evenals de inhouden waarmee ze aan de slag gaan, wordt in hoge mate beïnvloed door hoe en waarop studenten worden beoordeeld. Of, om nog preciezer te zijn, de leeractiviteiten worden bepaald door hoe studenten het assessment(systeem) percipiëren. Hoe specifieker bijvoorbeeld de assessmentcriteria geformuleerd worden, hoe meer de (meeste) studenten zich vooral daarop zullen focussen. Bij een eventuele aanpassing van het assessmentsysteem, dus ook bij de invoering van een portfolio, is het van belang dit gegeven in de overwegingen mee te nemen (Challis, 2001). Van der Vleuten en Schuwirth (2005) menen dat er een ‘shift of focus’ moet plaatsvinden van de meer individuele assessment-methoden, waarbij losse onderdelen worden beoordeeld, naar een meer integraal assessment� Een integraal assessment meet op adequate wijze complexe competenties in een authentieke context en stimuleert het leren dat hiervoor gewenst is. Afzonderlijke toetsen waarin losse onderdelen worden getoetst, zouden in de geïntegreerde toetsing moeten worden ingebouwd. Van Tartwijk geeft in dit verband aan dat het gebruik van voorwaardelijke ‘losse’ kennistoetsen niet binnen het competentiegericht opleiden past, maar dat het in de realiteit vaak nog niet anders kan. Als er gekozen wordt om te werken met afzonderlijke kennistoetsen, eventueel naast of aanvullend op een meer geïntegreerde manier van toetsen, moet de student verschillende vormen aangeboden krijgen. Een student moet de mogelijkheid krijgen om op een eigen, zelf gekozen manier te laten zien dat hij bijvoorbeeld de didactiek van een bepaald vak beheerst (Van Tartwijk, 2006). Klarus vindt dat het aantal ‘losse’ voorwaardelijke toetsen binnen de perken moet blijven. Het summatieve beoordelingsmoment moet geen puur administratieve klus worden waarbij je checkt of alle onderdelen (toetsen) behaald zijn. Klarus ziet meer in het aanreiken van manieren (formatieve toetsen) waarmee studenten kunnen oefenen, vakkennis kunnen opdoen. De resultaten ervan kunnen studenten gebruiken in hun portfolio, waarbij ze vooral moeten laten zien hoe ze de kennis gebruikt hebben in de praktijk. Bij het gebruik van kennistoetsen naast het portfolioassessment moet dus rekening gehouden worden met de hoeveelheid en de manier waarop er getoetst wordt. Zowel Klarus als Van Tartwijk vinden dat je bij het gebruik van afzonderlijke (kennis)toetsen meerdere vormen aan moet bieden, zodat een student zelf kan kiezen wat bij hem/haar past. ��%HJHOHLGHQ�HQ�VXPPDWLHI�EHRRUGHOHQ�Het laatste thema betreft de relatie tussen begeleiden en summatief beoordelen. Sommigen zijn het erover eens dat je begeleiden en summatief beoordelen strikt gescheiden moet houden en dus niet door dezelfde persoon moet laten doen, anderen vinden juist dat je begeleiden en beoordelen niet los van elkaar kunt of zou hoeven te zien. Welke argumenten worden gegeven voor het juist wel of niet scheiden van deze twee rollen? Wat zijn voor- en nadelen van bepaalde keuzes op dit punt in termen van betrouwbaarheid en validiteit? Elshout-Mohr, Oostdam en Overmaat (2001) vinden dat begeleiding en summatieve beoordeling niet door dezelfde persoon moet plaatsvinden. In een begeleidingsrelatie gaat het om veiligheid en kwetsbaarheid durven tonen. De relationele verbondenheid tussen begeleider en student zou een onafhankelijke beoordeling (door de begeleider) bemoeilijken en de student belemmeren zich ten opzichte van de begeleider te laten zien als lerende.

13

Onderzoek van Mitchell (1994, zoals geciteerd in McMullan, et. al. 2003) wijst uit dat studenten die beoordeeld worden door hun begeleider niet hun ware leerproces, gedachten en gevoelens durven te laten zien tijdens het begeleidingsproces. Studenten laten dan alleen zien wat ze denken dat assessoren willen zien. De leerwaarde van het digitaal portfolio verzwakt hierdoor. Ook Klarus is van mening dat begeleiden en beoordelen gescheiden zouden moeten worden en dat er altijd een tweede opinie (beoordelaar) nodig is nodig is om zo eerlijk mogelijk te beoordelen. Van Tartwijk is juist van mening dat je de begeleider van de student wel een rol moet laten spelen bij de beoordeling. Een begeleidingsportfolio en beoordelingsportfolio zijn moeilijk los van elkaar te zien. Van Tartwijk vergelijkt de begeleiding van studenten met het ‘promotor-promovendus-model’ waarin iemand werkt aan een proefschrift onder supervisie van een promotor, terwijl de promotor uiteindelijk ook de beoordelaar is. Duidelijk is dus dat de meningen nogal verschillen. Waarschijnlijk spelen contextverschillen en praktische overwegingen hier een rol. Van Tartwijk spreekt vanuit de context van een 1-jarige universitaire lerarenopleiding waarin studenten worden opgeleid voor het onderwijzen in één schoolvak. Het promotor-promovendus-model ligt daar wellicht meer voor de hand dan in vierjarige Pabo-opleidingen waar wordt opgeleid voor het onderwijzen in zo’n 15 vakken. ������� &RQFOXVLHV��� Vanuit de literatuur en experts kan er geconcludeerd worden dat er nog veel discussie gaande is over het borgen van zowel validiteit als betrouwbaarheid bij het beoordelen van competenties middels het digitaal portfolio. Betrouwbaarheid en validiteit worden door diverse auteurs / experts ook verschillend gewaardeerd en geoperationaliseerd. Niet alleen inhoudelijke, maar ook praktische, aan de context gelieerde overwegingen spelen hierin een rol. Aan de andere kant wordt in de discussie wel een aantal contouren zichtbaar. Deze formuleren we hieronder als voorlopige conclusies.

1. Het summatief assessment middels een digitaal portfolio moet recht doen aan de eigenheid en leercontext van de student om de validiteit te waarborgen. Dit vraagt om een zekere mate van vrijheid van de student om het portfolio naar eigen wens in te richten. Aan de andere kant hebben veel studenten in het begin handvatten nodig wat betreft de invulling van hun portfolio, met name met betrekking tot de aard van de bewijsstukken. Binnen een groeimodel zouden deze handvatten geboden kunnen worden. Dit komt de betrouwbaarheid van de beoordeling in het begin dan ook ten goede. Opleidingsmodel 1 voldoet niet aan dit criterium.

2. Gedurende de gehele opleiding is transparantie ten aanzien van de beoordelingscriteria voor álle betrokkenen van cruciaal belang. Aan studenten en andere betrokkenen moet duidelijkheid geboden worden over de (verschillende) doelen van het portfolio en er moet gelegenheid gegeven worden om te wennen aan het werken met een digitaal portfolio en het denken vanuit beoordelingscriteria.

3. Holistisch beoordelen van competenties heeft de voorkeur. Dit stelt echter hoge eisen aan de professionaliteit van de assessoren; zij moeten (inhoudelijk) het niveau van puur analytisch beoordelen zijn ontstegen. Gerichte professionalisering en ondersteuning van assessoren is nodig binnen een groeimodel van analytisch naar (meer) holistisch beoordelen.

4. Bij het bepalen van de kwaliteit van (een geheel aan) bewijsstukken zijn triangulatie, interne consistentie en congruentie belangrijke kwaliteitscriteria, evenals ‘geloofwaardigheid’. Over het hanteren van deze criteria en over de cesuurbepaling is nog veel onduidelijk. Het denkniveau van de student (reflectievermogen, cognitieve complexiteit) lijkt voor beoordelaars een belangrijke factor te zijn.

5. Het inpassen van het digitaal portfolio binnen het totale toetsbouwwerk is een lastig punt en wordt verschillend ingevuld. Een assessment-systeem zonder afzonderlijke (kennis)toetsen lijkt (nog) niet in zicht en het wordt betwijfeld of het er ooit komt of zou

14

moeten komen. In ieder geval zou het aantal ‘losse’ toetsen, binnen en buiten het portfolio, binnen de perken moeten blijven, onder meer omdat anders de validiteit van het portfolio bedreigd wordt.

6. Er kleven voor- en nadelen aan het scheiden van beoordeling en begeleiding. Behoorlijke consensus is er over de noodzaak van in ieder geval één onafhankelijke assessor (die dus niet de begeleider is) bij de beoordeling.

Op basis van de voorlopige conclusies is de onderzoeksvraag toegespitst tot een aantal subvragen. Deze drie subvragen zijn richtinggevend voor het verdere onderzoek in de praktijk:

1. Wanneer is een bewijsstuk of een geheel aan bewijsstukken overtuigend? Wat betreft deze vraag zijn we vooral geïnteresseerd in de inhoudelijke beoordeling van een bewijsstuk of geheel aan bewijsstukken. Hoe hanteren de verschillende opleidingen dit? Hoe bepalen zij de cesuur? Welke richtlijnen of instrumenten hebben ze hiervoor ontwikkeld?

2. In welke mate moeten begeleiden en summatief beoordelen uit elkaar

getrokken worden? Hier zijn we vooral geïnteresseerd in de argumenten die opleidingen én studenten hebben om een voorkeur te hebben voor het een of het ander en naar hun ervaringen.

3. Hoe verhoudt het digitaal portfolio zich tot andere toetsingsvormen waarmee andere zaken dan competenties worden beoordeeld?

Wat betreft deze vraag steken we breed in: alles wat we hierover te weten kunnen komen is welkom. Uiteraard zoeken we naar een systeem dat coherent, haalbaar en rechtvaardig is.

15

�� 'ULH�FDVHVWXGLHV�� �������� ,QOHLGLQJ� Dit hoofdstuk beschrijft hoe drie Nederlandse pabo’s een digitaal portfolio inzetten als instrument voor summatieve beoordeling van studenten. We brengen de pabo’s één voor één in beeld aan de hand van 1) een korte schets, waarin ook de plaats van het digitaal portfolio in het toetsbouwwerk is opgenomen en 2) een bespreking van de eerder besproken thema’s, in een iets andere opbouw omdat dit recht doet aan hoe ze in de praktijk met elkaar verbonden blijken te zijn. Na de drie casusbeschrijvingen worden de drie onderzoeksvragen beantwoord en besproken, mede in het licht van wat uit de literatuur en de expertinterviews naar voren kwam. ������ 3DER�$PVWHUGDP�� ������ .RUWH�VFKHWV�Pabo Amsterdam positioneert zichzelf tussen opleidingsmodel 2 en 3. Studenten kunnen via verschillende wegen naar ‘Rome’ (startbekwaamheid) gaan en men er naar streeft ‘Rome’ niet al te veel dicht te timmeren. Studenten moeten zich kunnen profileren binnen hun beroepsontwikkeling en in het verlengde hiervan ervaring opdoen in uiteenlopende, bij hen passende contexten. De kwaliteiten van studenten verschillen daardoor bij het verlaten van de opleiding. Niet zozeer qua niveau, maar inhoudelijk: Rome en Rome is twee (model 3), de ene leraar is de andere niet. Competentiegericht leren staat bij Pabo Amsterdam voorop. In de deeltijdopleiding wordt sinds enkele jaren gewerkt met drie ‘bekwaamheidsproeven’, waarbinnen het digitaal portfolio een centrale plaats inneemt. De student vult voor de bekwaamheidsproeve een digitaal portfolio met bewijsmaterialen en een zelfevaluatie. Aanvullend op het digitaal portfolio bestaat de bekwaamheidsproeve uit:

� De beoordeling van een praktijkles op de stageschool � Een criteriumgericht interview � Een complexe situatie (onderdeel van het criteriumgerichte interview): De student

presenteert een oplossing/handeling voor een praktijkprobleem. De bekwaamheidproeve vindt plaats op drie momenten in de opleiding: eind propedeusejaar, eind hoofdfase (niveau lio-bekwaam) en aan het einde van de lio-fase (startbekwaam). Elk studiejaar kunnen studenten zich in november en april inschrijven voor deelname aan een bekwaamheidproeve. Streven voor de toekomst is dat studenten zelf kunnen bepalen wanneer ze het assessment aanvragen, om tegemoet te komen aan behoeften om te versnellen of te vertragen. �

Assessor: “Van studenten vereist deze manier van toetsen een grote mate van verantwoordelijkheid

en betrokkenheid bij hun studie”.

��������� 6WDQGDDUGLVDWLH��Pabo Amsterdam heeft er bewust voor gekozen om geen gestandaardiseerde verplichte bewijsstukken op te laten nemen omdat ze dat niet vindt passen bij competentiegericht opleiden. Ook in de structuur van het portfolio wordt daarom veel ruimte gelaten voor studenten. De stelregel luidt dat een portfolio nooit fout is. Toch heeft het portfolio wel enige

16

structuur om studenten houvast te bieden. In elk portfolio zitten de tabbladen: ‘cv’, ‘competentiebeschrijving’, ‘producten’, ‘presentaties’ en ‘overzicht’ (resultaten). Voor de bekwaamheidsproeve wordt het hele portfolio bekeken. De gekozen structuur is er een waar de student nog alle kanten mee op kan.

)LJXXU����9RRUEHHOG�KRPHSDJH�GLJLWDDO�SRUWIROLR�SDER�$PVWHUGDP� Vanuit de hogeschool van Amsterdam komt er binnenkort een veel meer voorgestructureerd portfolio aan. Voor pabo Amsterdam zou dit geen verbetering zijn, gezien zij hecht aan de authenticiteit van en ruimte voor de student en daarmee vooral aan de validiteit van de beoordeling. � ������ %HRRUGHOLQJVFULWHULD�HQ�GH�WUDQVSDUDQWLH�KLHUYDQ�Bij een portfoliobeoordeling wordt er door zowel de assessoren als de studenten gebruik gemaakt van competentiebeschrijvingen met gedragsindicatoren, uitgewerkt in 5 niveaus. Voor elke competentie en mogelijke deelcompetenties is er een korte beschrijving opgenomen per niveau. Hoe hoger het niveau, hoe meer de student moet laten zien dat hij kan handelen vanuit een theoretische onderbouwing. Pabo Amsterdam hanteert naast de competentiebeschrijvingen geen vaste procedures of criteria bij het beoordelen van het portfolio. In het protocol voor assessments worden enkel praktische richtlijnen gegeven. De nadruk bij het beoordelen ligt op de inhoudelijke kant, kwantiteit doet er minder toe. Het koppelen van theorie aan praktijk wordt als één van de belangrijkste aandachtspunten genoemd. Studenten krijgen geen lijstje met criteria voor bewijsmateriaal, maar worden tijdens de coachingsbijeenkomsten begeleid in het verzamelen van krachtige bewijsmaterialen.

17

Assessoren beoordelen geen ‘losse’ bewijsstukken, ze kijken naar het grotere geheel, dus holistisch. Bewijsmateriaal is krachtig als het de zelfevaluatie van de student ondersteunt: als het bewijst wat een student zegt te kunnen in de zelfevaluatie (congruentie). Daarbij speelt authenticiteit ook een rol: voor een assessor moet de student echt in beeld komen. Krachtig bewijsmateriaal is ook de combinatie van bijvoorbeeld een uitgebreid ervaringsverslag, lesvoorbereidingen, evaluaties en feedback van de mentor. Triangulatie wordt dus ook gezien als belangrijk criterium. De assessoren benadrukken dat het bewijsstuk goed moet passen bij de student in die situatie, maar assessoren bekijken ook of een bewijsstuk ook voor meerdere contexten/situaties geldig is. In het digitaal portfolio van pabo Amsterdam kan ook visueel materiaal worden opgenomen. Ook daarvoor geldt dat dit materiaal krachtig is als het de zelfevaluatie, het eigen verhaal van de student, ondersteunt. Studenten maken echter nog weinig gebruik van visueel materiaal, mede omdat de opslagcapaciteit van het portfolio beperkt is. Assessoren vinden dat jammer omdat het zowel inhoudelijk iets toe kan voegen als qua sfeer. Assessoren zijn over het algemeen tevreden over deze manier van beoordelen. Zij hebben het idee dat er een betrouwbare uitspaak gedaan kan worden over de studenten. Toch zien ze ook dat er vanuit verschillende brillen wordt gekeken.

Dit idee wordt door studenten bevestigd. Studenten vinden de niveaubeschrijvingen van de competenties, ondanks de uitgebreide uitwerking, onduidelijk en hebben daardoor het idee dat de competentiebeschrijvingen verschillend geïnterpreteerd kunnen worden door de assessoren. Toch hebben studenten wel het idee dat zij voldoende hun bekwaamheid kunnen laten zien middels het digitaal portfolio. De opleiding erkent dat er een bepaalde mate van subjectiviteit komt kijken bij deze manier van beoordelen. Studenten moeten in hun portfolio laten zien dat zij theorie aan de praktijk kunnen koppelen, maar de ene assessor heeft meer mogelijkheden om te checken of die theorie ook daadwerkelijk aanwezig is, dan de andere assessor. Om de interbeoordelaarsovereenstemming te verhogen overleggen de assessoren regelmatig en analyseren ze samen video’s van de criteriumgerichte interviews. � ������ %HJHOHLGHQ�HQ�EHRRUGHOHQ�Pabo Amsterdam heeft gekozen om te beoordelen met onafhankelijke beoordelaars omdat volgens hen dan een meer objectief en daardoor betrouwbaarder oordeel gegeven kan worden. Deze onafhankelijke assessoren zijn zelf wel altijd coach / studieloopbaan-begeleider van een groep studenten, maar beoordelen nooit eigen studenten. Assessoren

Assessor: “Het mooie is, is dat je studenten echt verantwoordelijk maakt voor de eigen

ontwikkeling, waarbij je de student niet maar wat laat doen, er zit ook een begeleidingssysteem

aan vast. De verantwoordelijkheid voor het leren ligt nu bij de student. De assessor vraagt aan

de student: ‘Wat voor niveau heb je nu eigenlijk?’. En dan is het aan de student. Dat is een heel

ander verhaal dan wanneer je werkt met tentamens”

Assessor: “Er blijft altijd een vorm van subjectiviteit in zitten, omdat het gesprekken zijn, en je een

bepaald portfolio toch anders ziet dan iemand anders dat ziet. Je stokpaardjes en voorkeuren

liggen soms ergens anders.”.

18

maken dus kennis met de student middels het digitaal portfolio en later het aanvullende gesprek. Wel hebben assessoren de mogelijkheid eerdere assessmentrapportages terug te lezen. Assessoren mogen, ten behoeve van het assessment, de studenten niet bespreken met de studieloopbaanbegeleider, om beïnvloeding te voorkomen. Een andere afspraak is dat een student nooit twee keer dezelfde assessor mag hebben. Studenten zouden het wel prettig vinden als de eigen coach ook zou beoordelen, maar begrijpen ook dat een onafhankelijke assessor een meer objectieve beoordeling kan geven.

Student: “Stel dat het niet klikt met je coach, dan baal je wel als je coach ook moet beoordelen. Dan

kan je beter helemaal niks weten van elkaar, dan is het objectief. Dan ziet iemand je voor de klas en

die ziet dan of je bekwaam bent of niet. Dan is het alleen dat moment en volgens mij is dat het

beste.”

Ook geven zij aan dat ze misschien minder hun ware leerproces durven laten zien als ze weten dat hun eigen coach uiteindelijk een beoordeling moet uitspreken. Tegelijkertijd wordt door de studenten naar voren gebracht dat het leren, dus ook het fouten maken, juist belangrijk is en dat het eigenlijk geen negatieve invloed zou moeten hebben op het assessment. Assessoren vinden de keuze om begeleiden en beoordelen te scheiden een logische beslissing. Zij vinden een meetmoment iets anders dan meegaan in een ontwikkelingsproces van een student zoals dat bij het coachen van de student het geval is. Assessoren merken dat studenten tijdens het beoordelingsgesprek soms om begeleiding vragen, maar studenten moeten leren/beseffen dat het nu echt een meetmoment, ofwel beoordelingsmoment is. Een assessor moet objectief aangeven wat hij heeft geconstateerd, zonder rekening te houden met de achtergrond en persoonlijke omstandigheden van de student. �%HJHOHLGLQJ�QDDU�KHW�DVVHVVPHQW�WRH��Studenten worden met name door hun coach begeleid richting het assessment, maar ook andere docenten spelen een rol in die begeleiding. Studenten geven aan dat ze bij een aantal docenten veel voorbeelden krijgen van activiteiten die ze kunnen ondernemen en daar hebben ze veel houvast aan, bij andere docenten is dat niet het geval. Tijdens coachingsuren wordt regelmatig aandacht besteed aan het ‘vertalen’ van de competentiebeschrijving naar begrijpelijke taal, maar de competentiebeschrijvingen worden ook door coaches soms verschillend geïnterpreteerd. Ook leren studenten tijdens de coachingsuren goede bewijsstukken te verzamelen, maar het meeste wordt op eigen kracht gedaan. Studenten verschillen van mening over de mate van houvast die er geboden moet worden. Dit heeft mogelijk te maken met de ontwikkelingsfase en/of leervoorkeur van de student. �������� 9HUKRXGLQJ�GLJLWDDO�SRUWIROLR�WRW�DQGHUH�WRHWVLQVWUXPHQWHQ�Het digitaal portfolio neemt op pabo Amsterdam een belangrijke plaats in binnen een bekwaamheidsproeve. Ook vakkennis wordt middels het digitaal portfolio getoetst. Studenten maken de vakkennis zichtbaar in het portfolio door -tijdens hun leerproces- competentiegerichte feedback van vakdocenten te vragen en die op te nemen in hun portfolio. Daarnaast geven vakdocenten studenten suggesties voor opdrachten die bewijsmaterialen kunnen opleveren voor in het portfolio. Om zoveel mogelijk ruimte te laten aan de student, zijn er dus geen afzonderlijke verplichte vaktoetsen (vastleggen wordt gezien als beperken). Alleen voor de eigen vaardigheid in rekenen en taal worden toetsen gebruikt en deze moeten binnen het eerste opleidingsjaar behaald worden.

19

Over het toetsen van vakkennis binnen het portfolio is men momenteel op Pabo Amsterdam niet tevreden, want assessoren voelen zich niet bekwaam genoeg om alle vakken te beoordelen. Zij geven ook aan dat je als assessor toch steekproefsgewijs kijkt en dus niet alles ziet. Volgens hen wordt het niveau van de vakkennis op deze manier te weinig geborgd en het meten van kennis moet volgens hen daarom beter dan het nu gebeurt. Om het niveau van de vakkennis beter te kunnen borgen is er een voortgangstoets in ontwikkeling. In deze voortgangstoets zal vakkennis worden getoetst in het kader van methodisch-praktisch en methodisch-theoretisch handelen en oordelen: dus toegepast. Deze toets zal voorwaardelijk worden voor het mogen deelnemen aan de bekwaamheidsproeve. ���� 3DER�$UQKHP��������� .RUWH�VFKHWV��Pabo Arnhem is onderdeel van de hogeschool Arnhem-Nijmegen (HAN). Momenteel worden studenten uit het eerste en tweede studiejaar summatief beoordeeld middels een digitaal portfolio. In het derde jaar loopt een pilot groep. Op Pabo Arnhem krijgen studenten credits door in hun digitale portfolio competenties aan te tonen onder vier vaste beroepstaken: ‘lesgeven’, ’begeleiden van lerenden’, ‘ontwerpen van leerarrangementen’ en ‘bijdragen aan de organisatie’. De vier beroepstaken vormen de inhoudelijke kapstok voor elk niveau (opleidingsbekwaam, afstudeerbekwaam, startbekwaam) maar uiteraard verschilt de uitwerking per niveau. De inhoud van het portfolio betreft een aantal verplichte opdrachten en toetsen. Deze verplichte onderdelen worden door studenten verbonden middels een zogenaamd ‘bindend verhaal’. In dit verhaal beschrijft de student per beroepstaak aan welke competenties hij/zij gewerkt heeft en legt hij relaties met de bewijsstukken. Een beoordeling wordt per beroepstaak gegeven op basis van het ‘bindend verhaal’ en bewijsstukken. In het eerste jaar wordt de beoordeling pas gegeven na een aanvullend assessmentgesprek met de student. In dit gesprek krijgt de student feedback van de assessoren op de inhoud van het portfolio en wordt hij in gelegenheid gesteld hierop te reageren. Doel van dit gesprek is eventuele onduidelijkheden in het portfolio helder te krijgen. Het assessment vindt twee maal per studiejaar plaats: een tussenassessment in januari en een eindniveau assessment in juni. Dit geldt ook voor de tweedejaars, maar zij hebben geen aanvullend assessmentgesprek. Gezien het sterk voorschrijvende karakter van de inhoud van het portfolio is model 1 momenteel het meest van toepassing op (de eerste twee leerjaren van) Pabo Arnhem: Rome is één. Pabo Arnhem heeft bewust gekozen voor veel externe sturing in het begin van de opleiding. Pabo Arnhem vindt dat studenten eerst op deze manier moeten wennen aan de opleiding. De intentie is om verderop in de opleiding meer ruimte te geven voor zelfsturing en eigenheid. �������� 6WDQGDDUGLVDWLH��Pabo Arnhem maakt gebruik van het digitaal portfolio van de Hogeschool van Arnhem-Nijmegen. De hoofdstructuur van dit portfolio ligt vast en daarbinnen heeft de student in principe (technisch) de ruimte voor een eigen invulling. De onderdelen van de hoofdstructuur zijn: ‘algemeen’ (o.m. autobiografie), ‘archief’ (verzamelmap waar alleen de student toegang tot heeft), ‘proces’ (ten behoeve van begeleiding en ontwikkeling), ‘presentatie’ (ten behoeve van summatieve beoordeling) en ‘persoonlijk werkconcept’ (visiedocument). Pabo Arnhem gebruikt alle onderdelen van het portfolio, maar legt de grootste nadruk op het presentatiedeel.

20

)LJXXU����'H�KRRIGVWUXFWXXU�YDQ�KHW�+$1�GLJLWDDO�SRUWIROLR��]RDOV�RRN�JHEUXLNW�RS�3DER�$UQKHP��� De bewijsmaterialen die studenten moeten opnemen in hun portfolio zijn op Pabo Arnhem volledig gestandaardiseerd. Het betreffen de opdrachten die vanuit diverse vak- en leergebieden worden gegeven. Aanvullend moeten studenten feedbackformulieren laten invullen door vakdocenten over de kwaliteit van hun uitwerkingen van de opdrachten en deze eveneens opnemen in hun portfolio. Voordeel van deze standaardisatie is volgens de studenten dat ze precies weten wanneer het portfolio voldoende bewijsmateriaal bevat: namelijk, als de opdrachten zijn uitgevoerd en goedgekeurd. Ook worden ze door de opdrachten gedwongen aan verschillende vakgebieden te werken en wordt er een duidelijke koppeling tussen theorie en praktijk gemaakt. Aan de andere kant missen de studenten bij veel opdrachten de link naar de stage, ze moeten dan iets doen waar ze in de stage helemaal niet mee bezig zijn en dan twijfelen ze wel eens aan de leerwaarde ervan. Ze hebben het gevoel dat zij voor alle afzonderlijke vakken vele opdrachtjes (en toetsen) moeten maken.

Student: “Veel suggesties zijn wel fijn, maar dan vraag je je steeds weer af: ‘doe ik wel genoeg?’ Als

je vaste opdrachten hebt en je maakt die, gebruikmakend van veel theorie en je doet je best, dan weet

je dat het genoeg is. Als je meerdere suggesties hebt, krijg ik meer twijfel omdat ik dan niet weet of ik

wel genoeg doe. Een hele vrije structuur zou daarom ook heel lastig zijn”.

Studenten vinden de voorgeschreven opdrachten ook vaak te groot, in de zin van teveel werk, en niet altijd even duidelijk. Wat betreft dat ‘teveel werk’, vragen studenten zich af wat de meerwaarde is van het digitaal portfolio bij het summatieve assessment, gezien het verplichte karakter van de opdrachten en gezien het feit dat (bijna) alle bewijsmaterialen vóór de summatieve beoordeling al van feedback zijn voorzien. De assessoren verschillen van mening over de huidige werkwijze. Sommige assessoren zien liever wat meer keuzevrijheid voor de studenten om ze meer de ruimte te geven, anderen vinden het juist prima dat er vaststaande opdrachten zijn. Zij zien het als het bieden van houvast aan studenten en vinden dat je als leraar bepaalde taken gewoon moet kunnen, en dus in de opleiding, in het portfolio, moet laten zien.

Assessor: “Ik vind dat er veel meer keuzemogelijkheden voor studenten moeten zijn. Op deze manier

komt er vrij weinig terecht van het zelfsturende karakter van een opleiding. In de praktijk doet nu

iedereen hetzelfde”.

��

21

������ %HRRUGHOLQJVFULWHULD�HQ�GH�WUDQVSDUDQWLH�KLHUYDQ���Bij het beoordelen maken de assessoren van Pabo Arnhem gebruik van beroepstaakomschrijvingen met daaronder de competenties voor het desbetreffende niveau (opleidingsbekwaam, afstudeerbekwaam, startbekwaam). Op een vast beoordelingsformulier kunnen assessoren kort hun bevindingen ten aanzien van de beroepstaken beschrijven. Pabo Arnhem heeft de kwaliteit van bewijsmateriaal getracht te waarborgen in zijn opdrachtbeschrijvingen. De criteria voor die kwaliteit zijn niet expliciet gemaakt. �De assessoren geven aan het dat het beoordelingsproces, afgezien van het lezen van het bindende verhaal, vaak een kwestie is van checken of de verplichte documenten zijn opgenomen en goedgekeurd. De assessoren zijn nog niet tevreden over deze manier van beoordelen. Ze twijfelen aan de betrouwbaarheid van de beoordeling ondanks de hoge mate van standaardisatie van bewijsmateriaal. Er is namelijk nog geen helderheid over de beoordelingscriteria en dat heeft gevolgen voor de eenduidigheid van beoordelen door de assessoren.

Studenten bevestigen dit beeld, ze weten niet goed wat er van hen verwacht wordt en ze hebben het idee dat zij niet eerlijk worden beoordeeld. De beoordeling hangt volgens hen sterk af van welke assessor je toegewezen krijgt en van wie je studieloopbaanbegeleider is. �������� %HJHOHLGHQ�HQ�EHRRUGHOHQ�Pabo Arnhem heeft ervoor gekozen begeleiden en summatief beoordelen niet helemaal uit elkaar te trekken. In het eerste jaar beoordelen de studieloopbaanbegeleider en een onafhankelijke assessor samen. Het plan ligt er om volgend jaar bij de tussentijdse beoordelingen (na een half studiejaar) de beoordeling te laten doen door de begeleider en een onafhankelijke assessor en de eindbeoordelingen alleen door een onafhankelijke assessor. Pabo Arnhem heeft voor het niet scheiden van begeleiden en summatief beoordelen in het eerste jaar een aantal redenen. Allereerst vindt pabo Arnhem het handig om de persoon die een goed beeld heeft van de student en dus de meeste informatie kan geven, de studieloopbaanbegeleider, te betrekken bij de beoordeling. Dit niet doen zou onnodig informatieverlies betekenen. Ten tweede is men op Pabo Arnhem van mening dat je in de huidige overgangsfase naar een nieuwe manier van beoordelen voorzichtig moet zijn en geen dingen moet doen die je nog niet echt onder de knie hebt. Twee onafhankelijke assessoren per assessment is daarom (nog) een brug te ver. Een derde reden om begeleiden en beoordelen niet te scheiden is voor pabo Arnhem dat het de mogelijkheid biedt ook de (studie)geschiedenis van de student, bijvoorbeeld de inzet en persoonlijke omstandigheden mee te nemen in de beoordeling. Deze factoren kunnen in de beoordeling doorslaggevend zijn. Pabo Arnhem ziet tegelijkertijd een nadeel aan het niet scheiden van begeleiden en beoordelen, namelijk dat een begeleider bij het beoordelen de ‘begeleiderspet’ moet afzetten en de ‘beoordelaarspet’ op. Dat is niet altijd even gemakkelijk. Toetscoördinator: “Je moet als assessor de pet van studieloopbaanbegeleider afzetten en die van

toetser opzetten als de competentiebeoordeling eraan komt. Je ziet bij een aantal van

oordelingsgesprekken dat assessoren toch heel erg in de begeleidende rol gaan zitten i.p.v. de

beoordelingsrol. Dat is nog heel moeilijk.”

Assessor: “Ik kijk wel naar de kwaliteit van de stukken, maar dat is wat ik kwaliteit vind, niet iets

dat we met elkaar hebben vastgesteld. Dus dat is volgens mij hartstikke subjectief.”

22

Sommige assessoren zouden de beoordeling overigens, ook in het eerste jaar, betrouwbaarder vinden wanneer er alleen door een onafhankelijke assessor zou worden beoordeeld, zoals dat in het tweede leerjaar het geval is. Volgens de assessoren geeft uiteindelijk de onafhankelijke assessor de doorslag bij de beoordeling van studenten en dus niet de studieloopbaanbegeleider. Studenten hebben juist het idee dat het de studieloopbaanbegeleider is, die de uiteindelijke beoordeling bepaalt. Studenten vinden het prettig dat de eigen begeleider bij de beoordeling betrokken is, mits de band met de begeleider goed is. Pabo Arnhem heeft een nascholingsinstituut ingeschakeld die trainingen gaat verzorgen rond het lezen van een digitaal portfolio, het filteren van de belangrijkste punten daaruit en het stellen van goede vragen in het gesprek. Assessoren geven aan dat ze tot nu toe met name de onderlinge uitwisseling en afstemming over de beoordelingscriteria hebben gemist: overlegmomenten of trainingen met als doel het verhogen van de interbeoordelaars-overeenstemming. �%HJHOHLGLQJ�QDDU�KHW�DVVHVVPHQW�WRH�Zowel assessoren als studenten geven aan dat het portfolio meestal op het laatste moment ‘gevuld’ wordt met de opdrachten en feedbackformulieren van vakdocenten. Begeleiding naar het assessment toe gebeurt voornamelijk door de vakdocenten en de studieloopbaanbegeleider tijdens het werken aan de verplichte opdrachten. De studieloopbaanbegeleider leest en becommentarieert stukken van studenten als zij daar om vragen, vakdocenten geven de feedback�en uiteindelijk een beoordeling. Studenten missen informatie over de beoordelingscriteria. Waarop zij beoordeeld worden is voor hen niet duidelijk. �������� 9HUKRXGLQJ�GLJLWDDO�SRUWIROLR�WRW�DQGHUH�WRHWVLQVWUXPHQWHQ�Pabo Arnhem probeert het niveau van de (vak)kennis van studenten te waarborgen door middel van verplichte opdrachten (waaronder kennistoetsen), grote opdrachten (waarin verschillende vakgebieden geïntegreerd zijn) en kleinere vakopdrachten. De toetsen gericht op de eigen vaardigheid in rekenen, taal en ‘oriëntatie op jezelf en de wereld’ hebben een aparte status. Deze toetsen zijn gekoppeld aan en voorwaardelijk voor verschillende beroepstaken. Dit betekent dat deze toetsen met een voldoende moeten zijn afgesloten, vóórdat studenten studiepunten kunnen krijgen voor de desbetreffende beroepstaak. De landelijke taal- en rekentoets zal als knock-out gaan gelden voor het afgeven van het definitief propedeuse-advies. De (vak)opdrachten hoeven niet persé met een voldoende te worden afgesloten, maar er moet wel bewijsmateriaal van deze onderdelen in het portfolio zijn opgenomen. Ook moet bij de meeste opdrachten feedback van vakdocenten worden opgenomen, op speciaal hiervoor bestemde feedbackformulieren. De assessoren bepalen via weging van het bewijsmateriaal of voor de beroepstaken studiepunten kunnen worden toegekend. In de praktijk vinden de assessoren het lastig om de verschillende opdrachten te beoordelen, omdat zij niet van alle vakken evenveel kennis hebben. Onderdelen die door vakdocenten zijn beoordeeld en waarvan feedback is opgenomen, worden door sommige assessoren wel en door anderen niet meer inhoudelijk bekeken: de status van de opdrachten en de feedback daarop is niet geheel duidelijk voor iedere assessor. Studenten geven aan dat ze de opdrachten niet altijd betekenisvol en duidelijk vinden. Ze ervaren de portfoliobeoordeling als dubbelop: ze hebben de afzonderlijke onderdelen eerder al laten beoordelen. De meerwaarde van het portfolio is voor hen niet duidelijk.

Student: “Alles wordt in de lessen al een keer afgetekend, of afgekeurd en dan doe je het nog een

keer over, maar dan moet je ook nog alles een keer op het portfolio zetten”.

23

����� 3DER�*URHQHZRXG�� ������� .RUWH�VFKHWV�Pabo Groenewoud is onderdeel van de hogeschool Arnhem-Nijmegen. In 2003 is Pabo Groenewoud begonnen met het werken met een digitaal portfolio als summatief beoordelingsinstrument. Momenteel werken alle studenten ermee. Studenten krijgen credits door in hun digitale portfolio competenties aan te tonen onder zes vaste beroepstaken. Vier daarvan zijn identiek aan die van pabo Arnhem en de twee aanvullende beroepstaken zijn ‘omgaan met ouders’ en ‘vieren’. Deze zes beroepstaken vormen de inhoudelijke kapstok voor elk niveau (opleidingsbekwaam, afstudeerbekwaam, startbekwaam) maar de uitwerking verschilt per niveau. Op Pabo Groenewoud staat de student als persoon en daarmee ook het leerproces van de student centraal. Daarom wordt de invulling van het digitaal portfolio aan de student overgelaten en is er, om studenten dit te leren en hen hierin te ondersteunen, veel studieloopbaanbegeleiding. Per studiejaar mag een student tweemaal een summatieve beoordeling aanvragen. In de propedeutische fase is aan de portfoliobeoordeling een assessmentgesprek verbonden om de presentatie te ondersteunen en om de beoordeling een meer persoonlijk karakter te geven. In de kernfase vinden er naast de summatieve portfoliobeoordelingen ook begeleidende beoordelingsgesprekken plaats, na elk semester. De student kan dan credits behalen wanneer hij voldoende groei laat zien. Aan de eindbeoordeling niveau 2 is geen gesprek verbonden. In de afstudeerfase is er in geval van twijfel naast de portfoliobeoordeling een criteriumgericht interview. De werkwijze van Pabo Groenewoud is het best te typeren als ‘Er zijn vele wegen naar Rome’: model 2. De ‘weg naar Rome’ ligt niet vast, maar Rome wel: op drie niveaus.��������� 6WDQGDDUGLVDWLH�Pabo Groenewoud maakt gebruik van het portfolio van de Hogeschool Arnhem en Nijmegen. De hoofdstructuur van dit portfolio ligt vast en daarbinnen heeft de student de ruimte voor een eigen invulling. De onderdelen van de hoofdstructuur zijn: ‘algemeen’ (o.m. autobiografie), ‘archief’ (verzamelmap waar alleen de student toegang tot heeft), ‘proces’ (ten behoeve van begeleiding en ontwikkeling), ‘presentatie’ (ten behoeve van summatieve beoordeling) en ‘persoonlijk werkconcept’ (visiedocument). Pabo Groenewoud heeft meegewerkt aan de ontwikkeling van het HAN-portfolio en werkt nu met alle onderdelen ervan. Een belangrijke keuze destijds was de scheiding tussen proces en presentatie. Eveneens belangrijk was de keuze voor de vaste hoofdstructuur en vrije substructuur. Door ruimte te bieden voor een eigen inhoudelijke structuur en invulling, maakt de student steeds bewust opnieuw een proces door. Hij moet bepalen welke indeling en welke materialen passen bij zijn actuele ervaringen en leerdoelen. Studenten geven aan dat zij deze vrijheid prettig vinden, omdat ze eraan hechten een eigen invulling te kunnen geven. Zij denken dat een vaste structuur wel gemakkelijker, maar niet beter zou zijn. Nu worden ze verplicht zelf na te denken over wat er toe doet. Het is wel belangrijk dat je als student vertrouwen krijgt in het werken met een portfolio. Overigens denken de studenten dat sommige van hen te weinig houvast ervaren. �Student: “Ik denk wel dat een vaste structuur makkelijker zou zijn, maar niet beter. Bij een vaste

structuur doe je allemaal hetzelfde. Nu moet je er veel meer over nadenken over waarom je er iets zet.

Het is nu echt je eigen portfolio”.

�

24

Studenten nemen in hun portfolio zelfgeselecteerde bewijsmaterialen op. Toch is er een beperkt aantal verplichte documenten die de studenten moeten opnemen. Dit zijn het stage-eindverslag inclusief beoordeling, de uitslagen van de leergebiedtoetsing (zie verderop) en, in de afstudeerfase, het afstudeerplan. De opdrachten van de leergebiedtoetsing en stagesuggesties kunnen studenten helpen bij de inrichting van hun portfolio. Een andere eis aan het portfolio is dat studenten bewijsmaterialen verantwoorden, zodat ze assessoren als het ware ‘meenemen’ in hun portfolio. Middels een korte tekst moeten ze aangeven wat ze met het bewijsmateriaal denken aan te tonen en hoe dat blijkt uit het bewijsmateriaal. Portfolio’s zonder een duidelijke begeleidende tekst worden niet beoordeeld, terwijl de kans wel telt. De gedachte hierachter is dat de student zich bewust moet zijn van zijn competentieniveau en dit expliciet en concreet moet kunnen maken. Bovendien geldt een omgekeerde bewijslast: het is niet de bedoeling dat DVVHVVRUHQ in een ‘bak met louter materialen’ speuren naar bewijslast. � )LJXXU����9RRUEHHOG�SDJLQD�GLJLWDDO�SRUWIROLR�SDER�*URHQHZRXG���������� %HRRUGHOLQJVFULWHULD�HQ�GH�WUDQVSDUDQWLH�KLHUYDQ���Pabo Groenewoud heeft de drie niveaus binnen haar opleidingen in afstemming met het werkveld vastgelegd en vertaald naar drie ‘hulpmiddelen’. Deze worden momenteel samengevoegd tot een document ‘niveaubeschrijvingen’. Allereerst is er het hulpmiddel beroepstaakomschrijving. Deze bevat per niveau een algemeen beeld van elke beroepstaak en de onderliggende competenties. Ten tweede is er de professionele standaard, eveneens per niveau, waarin onder meer de Dublindescriptoren zijn verwerkt. De vier dimensies binnen deze professionele standaard zijn 1) kennis verwerven en toepassen; 2) communiceren en presenteren; 3) meningen vormen en 4) doelgericht leren en reflecteren. De professionele standaard wordt gezien als een belangrijk instrument om te bepalen hoe goed een portfolio is, dus om de cesuur te bepalen. Ten derde hanteert Pabo Groenewoud een holistisch beeld

25

per niveau. Dit beeld schetst ‘Gijs’, een student die functioneert als leraar op niveau 1, 2 en 3. ‘Gijs’ voorziet in de groeiende behoefte aan samenhangende beelden. Leraren basisonderwijs zijn erg te spreken over de beelden. De beroepstaakbeschrijvingen worden al een aantal jaren gebruikt, de professionele standaard en het holistisch beeld sinds het studiejaar 2006-2007. Pabo Groenewoud hanteert eveneens de evidentiefactoren authenticiteit, kwantiteit, actualiteit, relevantie en variatie. Het gaat niet om de evidentiefactoren afzonderlijk, maar om een combinatie van deze. Assessoren noemen ook congruentie tussen de verantwoording van de student en de gekozen bewijsstukken als belangrijk criterium bij de beoordeling. In deze verantwoording kan de student ook laten zien hoe hij theorie en praktijk koppelt. Triangulatie en het combineren van bewijsstukken worden eveneens door hen genoemd en veel waarde wordt gehecht aan het laten zien van de professionele standaard. Visueel materiaal wordt gezien als krachtig bewijsmateriaal, mits de student daarbij een goede verantwoording geeft, met een duidelijke koppeling naar het beeldmateriaal. Voor studenten die verbaal schriftelijk minder sterk zijn, kan een sterkere nadruk op visueel bewijsmateriaal uitkomst bieden. Assessoren hebben het idee dat de studenten zicht hebben op waarop ze beoordeeld worden. De studenten bevestigen dit. Studenten hebben over het algemeen ook het idee dat zij voldoende hun bekwaamheid kunnen laten zien. Studenten noemen het ‘laten zien van groei’ een belangrijk criterium voor selectie van bewijsmaterialen. De beroepstaakomschrijving is voor hen daarbij het belangrijkste hulpmiddel. Studenten zien dat assessoren accenten verschillend leggen. Assessoren beamen dit, maar geven aan dat een student steeds een andere assessor toegewezen krijgt, waardoor die verschillende accenten niet zo problematisch zijn. Volgens speelt de schrijfvaardigheid een rol in de beoordeling. Als een student goed kan schrijven en dingen helder op papier krijgt heeft hij volgens hen al een groot voordeel. Om de interbeoordelaarsovereenstemming te vergroten, worden alle assessoren sinds twee jaar getraind. De trainingen zijn zowel gericht op procedurele informatie als op inhoudelijke afstemming en discussie over criteria, aan de hand van portfoliofragmenten. Daarnaast loopt er een ‘experttraject’ voor vertegenwoordigers uit verschillende kleinere teams in de opleiding. In dit traject ligt het accent op het brengen van expertise in de beoordeling. Expert-assessoren worden bij een beoordeling gekoppeld aan minder ervaren assessoren om informeel leren tijdens het werk een impuls te geven. Tevens fungeert de expertgroep als klankbordgroep ten behoeve van de verbetering van de beoordelingssystematiek, beoordelingscriteria en beoordelingsprocedures. ������� %HJHOHLGHQ�HQ�EHRRUGHOHQ�Pabo Groenewoud heeft ervoor gekozen begeleiden en beoordelen te scheiden, om het leerproces van de student, in contact met de studieloopbaanbegeleider, niet te belemmeren (validiteit) en om de objectiviteit (betrouwbaarheid) van de beoordeling te waarborgen. Bij het aantonen van startbekwaamheid vindt de beoordeling plaats door een opleidingsassessor en een assessor uit het werkveld. Hier is voor gekozen omdat het beoordelingsmoment in de afstudeerfase als een soort ‘overdracht’ van een student wordt beschouwd, namelijk van de opleiding naar het werkveld. �Aanvankelijk kwamen er vanuit studieloopbaanbegeleiders negatieve reacties over de beoordelingen (door anderen) van hun studenten. Nu zien veel begeleiders de beoordeling als een moment om het eigen beeld van de student eventueel aan te scherpen of bij te stellen. Zo bezien is het een vorm van constante professionalisering. De intensieve studieloopbaanbegeleiding op Pabo Groenewoud maakt het volgens sommige studieloopbaanbegeleiders moeilijk om eigen studenten nog objectief te beoordelen. Wel

26

beoordelen begeleiders studenten uit het eigen docententeam. Deze docententeams bestaan uit 6 of 8 studieloopbaanbegeleiders die in elkaars klassen lesgeven. Ook op deze manier ontstaat er een vorm van professionalisering, want studieloopbaanbegeleiders en tegelijkertijd dus assessoren spreken met elkaar over beoordelingscriteria. Zowel assessoren als studenten vinden het een goede zaak dat het begeleiden en beoordelen gescheiden is, omdat het objectiever is. Studenten plaatsen wel een kanttekening: voor studenten die wel goed zijn, maar die moeite hebben met schriftelijk verwoorden, zou het prettig zijn als de studieloopbaanbegeleider inspraak zou hebben bij de beoordeling. Studenten voelen geen belemmering om het proces te laten zien in het portfolio. Ze zijn van mening dat het juist goed is om te laten zien welk proces je (hebt) door(ge)maakt. Assessoren vinden dat het aan de ene kant een voordeel is dat het proces van de student bekend is, maar dat het aan de andere kant ook een valkuil kan zijn (inkleuring, subjectiviteit). Bij het eerste assessment, na een half jaar opleiding, gaat de voorkeur van assessoren uit naar beoordelen met de studieloopbaanbegeleider van de student, om de student samen op de goede weg te zetten. ��Het assessmentgesprek in de propedeutische fase is een punt van discussie. Het gesprek heeft namelijk niet voor alle studenten meerwaarde, terwijl de tijdsinvestering hoog is. Men speelt met de gedachte het gesprek, net als in de afstudeerfase, alleen bij twijfel te laten plaatsvinden. Assessoren geven aan dat een gesprek ook een verkeerde invloed kan hebben op de beoordeling. Je beoordeelt niet alleen de competenties, maar neemt onwillekeurig ook de houding van de student tijdens het gesprek mee. Studenten geven aan dat zij het gesprek juist als prettig ervaren vanwege het persoonlijke contact. Bovendien zien ze het gesprek als een kans om onderdelen uit het digitaal portfolio toe te lichten. %HJHOHLGLQJ�QDDU�KHW�DVVHVVPHQW�WRH�Begeleiding naar het assessment toe gebeurt onder andere tijdens de studieloopbaanbegeleidingsuren. Tijdens deze begeleidingsuren bekijken en becommentariëren studenten bijvoorbeeld elkaars portfoliofragmenten in relatie tot beroepstaken en competenties. Pabo Groenewoud hecht sterk aan deze activiteiten omdat het de student op weg helpt en omdat dit op zo’n manier gebeurt dat er variatie en eigenheid in de portfolio’s van studenten komt. Studenten bevestigen het belang en het nut van deze procesbegeleiding. Studenten geven aan sneller en vaker feedback te willen op tussentijdse producten. Ook peerfeedback mag wat hen betreft sterker aangezet worden en meer suggesties voor het verzamelen van goede bewijsstukken (bijvoorbeeld activiteiten die ze tijdens stage zouden kunnen doen) zijn ook gewenst. De studieloopbaanbegeleiders bevestigen dat studenten behoefte hebben aan meer feedback en vinden dit zelf ook belangrijk. Ze vinden dat docenten meer met elkaar in gesprek zouden moeten gaan over wat zinvolle feedback is.

Student: “ We krijgen wel genoeg feedback, maar het zou iets meer mogen. Wat wel heel fijn is dat er

tijdens studieloopbaanbegeleidingsuren ook tijd gegeven wordt waarin studenten naar elkaars

portfolio kunnen kijken en feedback kunnen geven. Toch is het denk ik ook heel belangrijk is dat

docenten er naar kijken. Juist ook de vakdocenten. ”.

��������� 9HUKRXGLQJ�GLJLWDDO�SRUWIROLR�WRW�DQGHUH�WRHWVLQVWUXPHQWHQ�Naast het portfolio-assessment, waarin een student competenties op een bepaald niveau presenteert, zijn er op Pabo Groenewoud een aantal verplichte voorwaardelijke toetsen. Deze toetsen zijn gekoppeld aan beroepstaken en moeten met een voldoende worden

27

beoordeeld om de credits voor de beroepstaken te verkrijgen. Het gaat om de volgende toetsen: � Eigenvaardigheidtoetsen: 8 traditionele kennistoetsen op het 8+ basisschool-niveau. � Basistoets per niveau: traditionele (vak)didactische kennistoets voor een bepaald niveau,

gericht op toepassing� � Leergebiedtoetsing: deze toetsing heeft tot doel voor de 5 leergebieden (taal, rekenen,

oriëntatie op jezelf en de wereld, bewegingsonderwijs en kunsten) het niveau van de vakdidactische competenties te borgen. In de eerste leerjaren krijgt de student hiervoor suggesties aangereikt. De leergebiedtoetsing wordt beoordeeld door vakdocenten.

De bewijsmaterialen die studenten aanleveren voor de leergebiedtoetsing, kunnen studenten ook inzetten bij de beoordeling van de beroepstaken. Pabo Groenewoud ziet bovengenoemde voorwaardelijke toetsen als controlemiddelen om de onderwijskwaliteit te kunnen borgen, evalueren en bijstellen en ook om studenten te helpen studeren. De opleiding acht zich nog niet in staat om de vakdidactische kennis voor alle gebieden te toetsen middels een portfoliobeoordeling door willekeurige assessoren. Wel is er het plan om studenten in de toekomst nog meer vrijheid te geven bij de invulling van de leergebiedtoetsing. Dit is pas mogelijk als de eisen strakker en eenduidiger geformuleerd zijn.

Assessor: “In authentieke ervaringen waarin je kennis toegepast moet zien, is het soms heel

moeilijk vast te stellen of de kennisbasis beheerst wordt. Voorlopig, ook omdat wij nog te weinig

in huis hebben om dat op een goede manier verweven te laten zijn in ervaringen, denk ik dat het

heel goed is dat een student op een andere manier aantoont dat hij kennis beheerst. Het is niet

altijd uit authentieke ervaringen te halen”.

Assessoren zijn tevreden over deze manier van beoordelen van competenties. Zij hebben het idee dat ze door het digitaal portfolio beter zicht krijgen op de totale ontwikkeling van de student. Assessoren vinden het een goede zaak dat de vakkennis in deze fase van het implementatieproces nog apart getoetst wordt. Studenten vinden het ook logisch dat die aanvullende toetsen er zijn. Vooral omdat daarin dingen getoetst worden die je moet beheersen als je voor de klas wilt staan en die zich niet goed lenen voor een portfolio. Daarbij geeft de leergebiedtoetsing hen richting om aan de beroepstaken te werken. Als nadeel zien zij wel dat je geen studiepunten krijgt voor deze afzonderlijke toetsen: dat kan demotiverend werken. Immers, zolang iemand alle toetsen heeft gehaald maar nog niet zijn beroepstaakcompetenties heeft kunnen aantonen in het digitaal portfolio, krijgt hij geen formele waardering: credits. �Studenten vinden dat het toetsen met behulp van het digitaal portfolio beter is dan alleen de ouderwetse kennistoetsen. Nu kunnen zij echt hun ‘eigen dingen laten zien’.

Student: “Ik vind het goed dat je echt de momenten die je hebt meegemaakt kunt beschrijven. In

een gewone toets kun je de momenten die je mee hebt gemaakt niet beschrijven. In het dpf kun je

echt de praktijk laten zien, hoe je er mee bezig bent en wat je ontwikkeling is. Bij de andere toetsen

kan dat niet”

Studenten missen wel het praktijkdeel in deze manier van toetsen. Zij geven als suggestie dat een casus/situatieschets een goede aanvulling zou zijn. Bij de casus moet dan een oplossing of actie bedacht worden tijdens een gesprek.

28

Pabo Groenewoud werkt momenteel aan de ontwikkeling van performance assessments in aanvulling op of ter vervanging van (een deel van) beroepstaken. Met name fundamentele deficiënties binnen het interpersoonlijke competentiedomein lijken moeilijk binnen een portfolio te vangen te zijn, mede omdat dit vaak een blinde vlek is voor de student en omdat mentoren dit vaak pas in de afstudeerfase echt serieus nemen en dan in hun feedback (bewijsmateriaal voor de student) duidelijk laten doorklinken. En dat terwijl dit aspect vroeg in de opleiding moet worden gesignaleerd en opgepakt, als het te wensen over laat. ������� &RQFOXVLHV���In deze paragraaf trekken we conclusies op basis van de bevindingen vanuit de drie casussen, de literatuur en de experts, voor zover van toepassing op onze onderzoeksvragen. We beginnen met enkele algemene conclusies en vervolgens richten we ons op de conclusies die betrekking hebben op de drie onderzoeksvragen. ������� $OJHPHQH�FRQFOXVLHV�We gaven eerder al aan dat er grofweg drie modellen zijn voor (competentiegericht) onderwijs (Elshout-Mohr & Oostdam, 2001) en dat binnen deze modellen keuzes voor betrouwbaarheid en validiteit verschillend worden afgewogen. Vanuit de literatuur en vanuit onze casestudies, die tezamen de drie modellen representeren, komen we tot de twee volgende conclusies: Studenten en assessoren binnen opleidingen die werken volgens de modellen 2 en 3 zijn het meest tevreden over de beoordelingen. Ondanks de grotere vrijheid en ondanks dat ze zien dat beoordelaars verschillende ‘brillen’ hanteren, ervaren de studenten over het algemeen dat ze weten waar ze aan toe zijn, waar ze mee bezig zijn, dat ze kunnen laten zien wat ze kunnen en dat ze op een betrouwbare manier worden beoordeeld. De paradox is dus dat studenten binnen model 1 niet per sé meer betrouwbaarheid in de beoordeling ervaren, terwijl de route naar de beoordeling daar het meest vastligt. Dit hangt waarschijnlijk samen met twee factoren. Allereerst zijn de beoordelingsFULWHULD op de betreffende Pabo nog niet expliciet. Ten tweede brengt model 1 per definitie beperkte authenticiteit en dus beperkte validiteit met zich mee en dit telt zwaar in de beleving van studenten. Binnen model 1 wordt, als de criteria helder zijn, op een betrouwbare manier iets gemeten wat wellicht niet of minder valide is. Het digitaal portfolio heeft als instrument voor summatieve beoordeling dus vooral binnen de modellen 2 en 3 een duidelijke meerwaarde, terwijl dit niet geldt binnen model 1. Het onderscheid tussen model 2 en 3 is bij nader inzien minder duidelijk dan het op het eerste gezicht lijkt. Over ‘de weg naar Rome’ is geen onduidelijkheid, deze kan bij beide opleidingsmodellen verschillen. Maar of de bestemming hetzelfde is voor iedereen of niet hangt erg af van hoe precies en op welk (abstractie)niveau je die bestemming formuleert. Pabo Amsterdam en Pabo Groenewoud doen dit geheel verschillend en de een wel nadrukkelijker dan de andere, maar in beide opleidingen zijn eigen contextuele en

Student: “Ik zou naast het beoordelen met het digitaal portfolio, iets willen wat iets meer

praktijkgericht is. Een casus of probleemstelling waarbij een situatie wordt geschetst en jij moet

verwoorden hoe je daarop zou reageren”.

29

inhoudelijke voorkeuren mogelijk en zelfs gewenst. Beide opleidingen leveren leraren af met een eigen profiel. ������ &RQFOXVLHV�PHW�EHWUHNNLQJ�WRW�GH�RQGHU]RHNVYUDJHQ� ���:DQQHHU�LV�HHQ�EHZLMVVWXN�RI�HHQ�JHKHHO�DDQ�EHZLMVVWXNNHQ�RYHUWXLJHQG"��Hoge authenticiteit bevordert de validiteit, maar kan de betrouwbaarheid van de beoordeling verlagen. Opleidingen die veel waarde hechten aan authenticiteit (model 2 en 3) vangen dit dilemma op door (steeds beter) expliciet te maken, ook naar studenten, hoe er naar een portfolio wordt gekeken. Dat er momenteel op dit punt (nog) verschillen zijn tussen assessoren, lijken de meeste studenten goed door te hebben en op de koop toe te nemen. Studenten die de ruimte krijgen hun eigenheid (authenticiteit) te laten zien in het portfolio, hechten namelijk sterk aan wat voor hen de belangrijkste meerwaarde is van het digitaal portfolio: jezelf, je eigen leerproces en leerresultaten, laten zien. Het is voor hen juist dit aspect dat in belangrijke mate de meerwaarde van het digitaal portfolio bepaalt. Zij hebben ook meer het idee dat ze op een betrouwbare manier worden beoordeeld dan studenten die hun eigenheid in de opleiding minder kunnen laten zien, ondanks dat studenten op elke Pabo merken dat assessoren soms niet met dezelfde ‘bril’ kijken. Deze studenten hechten blijkbaar meer waarde aan (criteria voor) validiteit dan aan (criteria voor) betrouwbaarheid. De Pabo’s uit ons onderzoek die bewust bezig zijn met het denken over beoordelingscriteria benadrukken met name het belang van de criteria authenticiteit, relevantie (congruentie) en variatie (triangulatie). Kwantiteit en actualiteit worden minder sterk benadrukt. Een ander criterium dat op de drie Pabo’s belangrijk wordt gevonden is de ‘theorie-praktijkkoppeling’: de student moet laten zien dat hij op adequate wijze theorie gebruikt bij de beroepsuitoefening en bij de reflectie daarop. Pabo Amsterdam en Pabo Groenewoud laten het aan de student over dit te laten zien, in bijvoorbeeld de verantwoording bij een bewijsstuk en/of in het bewijsstuk zelf. Pabo Arnhem heeft dit ingebouwd in de opdrachten en verder kan de student in het bindende verhaal deze koppeling laten zien. Het criterium ‘theorie-praktijk-koppeling’ raakt aan de eerder genoemde criteria ‘cognitieve complexiteit’ en ‘reflectief vermogen’: studenten moeten laten zien dat zij groeien richting een bepaald (HBO)denk- en werkniveau. Pabo Groenewoud heeft onder meer dit aspect ondergebracht binnen een professionele standaard en een holistisch beeld op drie niveaus. Op niveau 2 wordt bijvoorbeeld meer diepgang en complexiteit in het denken en werken verwacht dan op niveau 1. In de literatuur en door beide experts wordt opvallend veel waarde gehecht, soms zelfs de meeste waarde, aan ‘geloofwaardigheid’ (‘credibility’) als kwaliteitscriterium. Verschillende actoren, inclusief de beoordeelde, moeten het erover eens zijn dat de beoordeling juist is, want dat maakt de beoordeling geloofwaardig. De drie Pabo’s noemen dit criterium niet. Het is wat ons betreft de vraag of aan dit criterium zóveel waarde moet worden gehecht. Geloofwaardigheid is immers een criterium waarvan pas na de beoordeling bepaald kan worden of het is bereikt. Bovendien is ‘geloofwaardigheid’ inhoudsloos. Dit criterium kan studenten geen richting geven voor hun leerproces. Daarom is het wat ons betreft van belang dat in ieder geval ook andere criteria, zoals hierboven beschreven, gehanteerd worden. In de literatuur en op de drie Pabo’s is er de overtuiging dat ‘het geheel meer is dan de som der delen’, ook bij het beoordelen van competenties middels een digitaal portfolio. Bij summatieve competentiebeoordeling middels een digitaal portfolio raakt de (ervaren) assessor niet zozeer overtuigd van de optelsom van afzonderlijke materialen maar van de indruk van het totaal. Daarom is niet alleen procedurele maar vooral ook inhoudelijke training nodig om ook holistisch naar de inhoud van een portfolio te kunnen kijken.

30

Visueel bewijsmateriaal kan krachtig zijn als het het verhaal van de student kort en krachtig ondersteunt. Taalzwakkere studenten kunnen door gebruikmaking van meer visueel materiaal de hoeveelheid taal die zij moeten produceren beperken. We voegen hier aan toe dat het vastleggen en selecteren van passend visueel materiaal (bij film: korte fragmenten!) vaak tijdrovend is. ����,Q�ZHONH�PDWH�PRHWHQ�EHJHOHLGHQ�HQ�VXPPDWLHI�EHRRUGHOHQ�XLW�HONDDU�JHWURNNHQ�ZRUGHQ"��Er is consensus over het idee dat er bij een summatieve beoordeling minimaal één onafhankelijke assessor betrokken moet zijn, dus een assessor die niet de studieloopbaanbegeleider/coach is. Ook is er brede consensus over de wenselijkheid van een tweede beoordelaar, zeker gezien de fase van implementatie waarin de meeste opleidingen zitten. Of een tweede beoordelaar wel of niet de studieloopbaan-begeleider/coach moet zijn, verschillen de meningen. Argumenten vóór zijn 1) weinig informatieverlies en 2) rekening kunnen houden met persoonlijke omstandigheden en inzet. Argumenten tegen zijn 1) studenten durven zich niet meer als lerende op te stellen in het begeleidingsproces en 2) ongewild rekening gaan houden met persoonlijke omstandigheden en inzet. Wat argument 2 betreft, blijkt dat wat voor de ene opleiding een argument vóór is, voor de andere opleiding een argument tegen kan zijn. Een opvallende bevinding is dat studenten over het algemeen minder moeite hebben met het betrekken van studieloopbaanbegeleiders bij het summatief assessment dan opleiders, assessoren en enkele experts. Dit geldt ook voor studenten voor wie dit niet de huidige situatie is. Studenten geven aan dat ze desondanks het leerproces zichtbaar zouden maken in het begeleidingsproces voorafgaande aan het assessment. Studenten lijken dus eerder geneigd tot een voorkeur voor (een variant op) het ‘promotor-promovendus-model’. ���+RH�YHUKRXGW�KHW�GLJLWDDO�SRUWIROLR�]LFK�WRW�DQGHUH�WRHWVLQJVYRUPHQ"��Het is duidelijk dat daar waar gewerkt wordt met het digitaal portfolio als summatief toetsingsinstrument, het digitaal portfolio een belangrijke plaats inneemt in het totale toetsbouwwerk. Dit geldt ook voor de drie pabo’s die betrokken zijn in dit onderzoek. Middels het digitaal portfolio wordt minimaal het niveau ten aanzien van de (SBL-) beroepscompetenties beoordeeld. We constateren tevens dat er bij de drie Pabo’s andere toetsingsvormen gehanteerd worden, naast of in combinatie met het portfolio. Deze toetsingsvormen beogen zaken te beoordelen die middels het digitaal portfolio (vooralsnog) minder gemakkelijk te beoordelen zijn of die niet door willekeurige assessoren beoordeeld kunnen worden. Te denken valt aan vakspecifieke kennis en aan bepaalde praktijkonderdelen. Pabo Groenewoud ziet deze aanvullende toetsen tevens als controlemomenten om de onderwijskwaliteit te borgen en zo nodig bij te stellen en als middelen om studenten te helpen studeren. Behalve de landelijke reken- en taaltoetsen, worden op twee Pabo’s diverse (vak)kennisonderdelen ‘los’ getoetst. Op de andere Pabo gaat dit binnenkort gebeuren omdat het niet toetsen van kennis daar niet goed bevalt. Kennistoetsen worden door alle partijen binnen de drie opleidingen, inclusief de studenten, positief gewaardeerd. Binnen de Pabo’s verhouden kennistoetsen zich op verschillende manieren tot het portfolio. Bij Pabo Arnhem vormen de toetsen een deel van het geheel aan opdrachten dat in het portfolio, onder beroepstaken, opgenomen moet worden. Studenten ervaren de hoeveelheid toetsen (opdrachten) als veel. Pabo Groenewoud hanteert verplichte toetsen die voorwaardelijk zijn om de credits voor de beroepstaken te verkrijgen. Van deze toetsen mogen de studenten de leergebiedtoetsing (= vakdidaktische kennis toepassen) koppelen aan de beoordeling van beroepstaken, dus in het portfolio. Studenten ervaren binnen dit systeem dat ze soms erg

31

lang moeten wachten voor ze de credits (formele waardering in punten) krijgen, waarvoor ze al geruime tijd een groot deel hadden afgerond. Pabo Amsterdam gaat voortgangstoetsen gebruiken waarin het toepassen van kennis gemeten wordt. Deze toets zal voorwaardelijk worden voor het mogen deelnemen aan de bekwaamheidsproeve. Een praktijkassessment in aanvulling op het portfolio lijkt wenselijk voor onderdelen die noch met een portfolio noch met een kennistoets geborgd kunnen worden. De ervaringen hiermee in Amsterdam zijn positief en ook Pabo Groenewoud heeft goede (pilot)ervaringen. Het lijkt erop dat in ieder geval interpersoonlijke competenties beoordeeld moeten worden via directe observatie van spontaan gedrag in beroepsrelevante situaties. Geen van de Pabo’s gaat ervan uit dat er ooit een moment komt dat alle leerresultaten (kennis-sec, kennis-toegepast, kennis in competenties, attitudeaspecten, interpersoonlijke competenties) uitsluitend middels het digitaal portfolio en binnen beroepscompetenties, beoordeeld zullen worden. ��

32

�� $DQEHYHOLQJHQ� We besluiten deze rapportage met aanbevelingen. 1. Verhoog de YDOLGLWHLW van het digitaal portfolio als summatief beoordelingsinstrument door

studenten ruimte te geven voor een eigen invulling. Echter, niet iedere student kan dit vanaf het begin van de opleiding helemaal zelf. Hanteer daarom op dit punt een groeimodel. Begeleid studenten naar steeds meer een eigen invulling, bijvoorbeeld via het bieden van voorbeelden en suggesties en door te sturen op het proces. Zorg dus voor frequente studieloopbaanbegeleiding, zeker in de eerste opleidingsfase.

2. Verhoog de EHWURXZEDDUKHLG�van het digitaal portfolio als summatief beoordelingsinstrument door te investeren in de ontwikkeling van transparante beoordelingscriteria. Zorg dat deze gedragen worden door alle actoren, inclusief het ‘veld’. Naarmate studenten zich deze criteria beter eigen maken, zullen ze beter in staat zijn hun leerproces op eigen wijze richting te geven, omdat de kaders helder zijn. Daardoor wordt indirect de ook de validiteit van hun portfoliobeoordeling verhoogd.

3. Zorg dat de beoordelingscriteria iets zeggen over wanneer een portfolio beoordeelbaar is. Een belangrijk criterium hierbij is dat studenten hun bewijsmateriaal toelichten en verantwoorden in het licht van de competenties die ze ermee willen aantonen. Andere criteria zijn authenticiteit, variatie en congruentie.

4. Zorg dat de criteria ook iets zeggen over de NZDOLWHLW van een portfolio waarvan al is vastgesteld dat deze beoordeelbaar is. De criteria moeten ruimte laten voor het opdoen van ervaringen in verschillende leercontexten: studenten lopen immers stage op geheel verschillende scholen en volgen of raadplegen verschillende leerbronnen. Aanknopingspunten voor kwalitatieve criteria zitten in de Dublin-descriptoren, die een opleidingsspecifieke, concrete invulling kunnen krijgen in een professionele standaard per opleidingsfase. Maak daarin in ieder geval expliciet wat wordt verstaan onder ‘theorie-praktijk-koppeling’.

5. Zorg dat de beoordelingscriteria leidend zijn voor en regelmatig expliciet gekoppeld worden aan overige (onderwijs)activiteiten binnen de opleiding: lessen, (groeps)opdrachten, (stage)suggesties etcetera. Dit betekent ook dat docenten op dit punt in hun contact met studenten een voorbeeldfunctie vervullen.

6. Een hoge interbeoordelaarsbetrouwbaarheid bereiken in de onderhavige context is vooralsnog een lastige uitdaging. Zorg daarom voor twee assessoren per assessment. Wat de studenten betreft mag de tweede assessor ook de eigen studieloopbaanbegeleider zijn, mits de band met deze persoon goed is. Zorg verder voor frequente assessorentrainingen, waarin hardop met elkaar van gedachten wordt gewisseld over beoordelingscriteria in relatie tot portfoliofragmenten van studenten. Train een beperkte groep ervaren en gemotiveerde assessoren intensiever en match deze assessoren bij de beoordelingen met beginnende assessoren.

7. Accepteer in de beginfase van competentiebeoordeling middels een digitaal portfolio dat zowel assessoren als studenten nog vooral analytisch te werk gaan (competenties afvinken). Stimuleer in de assessorentrainingen en in de studieloopbaanbegeleiding dat er steeds wordt bewogen tussen geheel en deel, zodat er een inhoudelijke ontwikkeling plaatsvindt die een meer holistische (voorbereiding op de) beoordeling mogelijk maakt. Ontwikkel eventueel, om deze ontwikkeling een impuls te geven, holistische beelden in aanvulling op de competenties per domein en/of beroepstaak.

8. Hanteer - voor zover nodig -, naast of gekoppeld aan de competentiebeoordeling middels het digitaal portfolio, een EHSHUNW aantal kennistoetsen. Bij voorkeur verschillende toetsvormen die een appel doen op het herkennen en toepassen van kennis in beroepsrelevante situaties.

9. Ontwikkel praktijkassessments voor die onderdelen die moeilijk te borgen zijn middels het digitaal portfolio of middels andere toetsvormen. Vooralsnog lijken in ieder geval competenties in het interpersoonlijke/communicatieve domein hiervoor in aanmerking te komen.

33

�� /LWHUDWXXU��Adams, T. L. (1995). A paradigma for portfolio assessment in teacher education. (GXFDWLRQ��

YROXPH�����,VVXH��, 568-571. Baume, D., Yorke, M. (2002). The reliability of assessment bij portfolio on a course to

develop and accredit teachers in higher education. 6WXGLHV�LQ�+LJKHU�(GXFDWLRQ��YROXPH�����QR���� 7-25.

Challis, M. (2001). Portfolios and assessment: meeting the challenge. 0HGLFDO�WHDFKHU��

YROXPH����QR���, 437-440. Cluitmans, J. & Klarus, R. (2005). Competentiebeoordeling: een pleidooi voor congruentie.

7LMGVFKULIW�YRRU�KRJHU�RQGHUZLMV��MDDUJDQJ���, nr. 4, 221-238.

Deinum, J. F. (2005). Digitaal portfolio. 'LJLWDOH�GLGDFWLHN��(�MRXUQDO�YRRU�KHW�RQGHUZLMV��QXPPHU����

�Dierick, S., Dochy, F. & van de Watering, G. (2001). Assessment in het hoger onderwijs.

7LMGVFKULIW�YRRU�KRJHU�RQGHUZLMV��MDDUJDQJ����QU���, 2-18. Driessen, E. W. , van der Vleuten, C., Schuwirth, L., van tartwijk, J. & Vermunt, J. (2005). The use of qualitative research criteria for portfolio assessment as an alternative to

reliability evaluation: a case study. 0HGLFDO�HGXFDWLRQ��YROXPH���, 214-220. Elshout-Mohr, M., R. Oostdam�(2001) $VVHVVPHQW�YDQ�FRPSHWHQWLHV�LQ�HHQ�G\QDPLVFK�

FXUULFXOXP��SCO-Kohnstamm Instituut /Educatieve Faculteit Amsterdam. Elshout-Mohr, M., R. Oostdam, Overmaat, M. (2001). $VVHVVPHQW�YDQ�

EHURHSVFRPSHWHQWLHV��EHVOLVVLQJHQ�ELM�KHW�LQYRHUHQ�YDQ�LQWHJUDWLHYH�EHRRUGHOLQJHQ�LQ�GH�RSOHLGLQJ� Gevonden op 9 november 2006, op http://www.tvhoonline.nl/publish/articles/000025/article.htm

Klarus, R. (2006), persoonlijke communicatie. McMullan, M. , Endacott, R., Gray, M. A., Jasper, M., Miller, M. L., Scholes, J. & Webb, C.

(2003). Portfolios and assessment of competence: a review of the literature. -RXUQDO�RI�$GYDQFHG1XUVLQJ��9RO�����,VVXH����283-294.

Overeem, K., Driessen, E. W., Drenthe, A., van Tartwijk, J. & van der Vleuten, C. P. M.

(2005). Kwaliteitscriteria voor portfoliobeoordeling van geneeskundestudenten. 7LMGVFKULMIW�YRRU�0HGLVFK�2QGHUZLMV��YROXPH����QU�����64-71.

Roberts, C., Newble, D. I. & O’Rourke, A. J. (2002). Portfolio-based assessments in medical

education. 0HGLFDO�HGXFDWLRQ��YROXPH���, 899-900. Van Tartwijk, J. (2006), persoonlijke communicatie. Van der Vleuten, C. P. M., Schuwirth L. W. T. (2005). Assessing professional competence:

from methods to programmes. 0HGLFDO�HGXFDWLRQ��YROXPH����,VVXH��� 309-319. Webb, C., Endacott, R., Gray, M., Jasper, M., McMullan, M. & Scholes, J. (2003). Evaluating

portfolio assessments systems: what are the appropriate criteria? 1XUVH�(GXFDWLRQ��7RGD\, 9ROXPH����,VVXH��, 600-609

�

34

Wilkinson, T. J., Challis, M., Hobma, S. O., Newble, D. I., Parboosingh, J. T., Sibbald, R. G., et al. (2002). The use of portfolio for assessment of competence and performance of doctors in practice. 0HGLFDO�HGXFDWLRQ��9ROXPH���� 918-924.

���������