richtlijn multisource feedback voor de aios - nvmo.nl · examination (osce) en objective...

S3

Tijdschrift voor Medisch Onderwijs, april 2010 | Vol. 29, nr. 2, Suppl. 1, p. 1-52

In VIVO Richtlijn

VoorwoordDe opdracht tot het ontwerpen van een InVIVO Richtlijn multisource feedback(MSF) is verleend aan het In VIVO kern-team Onderwijs- en Opleidingsregio (OOR)Utrecht, in samenwerking met OOR Am-sterdam/AMC. In de taakverdeling is deRichtlijn ontwikkeld en geschreven doordrs. Manon Horsman en prof. dr. Olle tenCate (beiden UMC Utrecht), en is de toe-passing ervan in diverse stadia uitgevoerdmet medewerking van specialisten en aiosvan de kernteams Utrecht en Amster-dam/AMC. Bijzondere dank is verschuldigdaan dr. Joost Frenkel, dr. Anjoke Huisjes,prof. dr. Gerard Visser, dr. Gert van Enk enprof. dr. Maas-Jan Heineman, en aan drs.Lars van de Plank voor de vervaardigingvan het programma Multisourcefeed-back.nl.

De auteurs hebben gepoogd met dezerichtlijn een onderbouwing te geven vande opzet van de procedure en van degemaakte keuzes met het doel de proce-dure inzichtelijk te maken. De MSFprocedure die wordt geadviseerd in dezeRichtlijn, en is onderzocht in de oplei-dingsregio’s Utrecht en Amsterdam, heeftals beoogd doel aios van verschillendespecialismen op gezette momenten tij-dens de opleiding bruikbare feedback tegeven over hun functioneren. Met dezefeedback vanuit verschillende perspectie-ven kan zowel de aios als opleider meer

inzicht verkrijgen in wat al goed gaat enop welke punten verbetering nodig is.

Het zal belangrijk zijn de Richtlijn natwee tot vier jaar ervaring met MSF teherzien.

Status van de RichtlijnDeze Richtlijn is ontwikkeld in het kadervan het In VIVO-project,1) gebaseerd opliteratuur onderzoek en beperkt onder-zoek in de praktijk. De Richtlijn heeft destatus van een advies aan opleiders enopleidingsteams. Multisource feedback(MSF) procedures zijn niet voorgeschre-ven in het Kaderbesluit Centraal CollegeMedische Specialismen (CCMS) 2009,maar worden wel sterk aangeraden. Om-dat met MSF nog maar op beperkteschaal ervaring bestaat in Nederland, ishet gewenst op basis van ervaringen enonderzoek de Richtlijn te blijven ontwik-kelen.

Een conclusie die getrokken is op basisvan het werk dat aan deze Richtlijn isvoorafgegaan, is dat MSF op enige schaalvan betekenis niet zonder elektronischegegevensverwerking kan. Om deze redenis door de auteurs een programma ont-wikkeld waarmee de in deze Richtlijnbeschreven methode kan worden uitge-voerd.2) Adviezen over MSF zonder dit ofeen vergelijkbaar programma zijn naarhet oordeel van de auteurs niet zinvol,want dan is MSF te arbeidsintensief, te

Richtlijn multisource feedback voor de aios

M.A. Horsman, Th.J. ten Cate

1) zie http://www.medischevervolgopleidingen.nl//content/documenten/invivo/1.pdf2) zie: http://www.multisourcefeedback.nl

emjee_TMO 2_2010_supplement 1.QXD:168x244mm 14-04-2010 13:46 Pagina 3

S4 In VIVO Richtlijn

privacygevoelig en te administratief vooreen praktische uitvoering. Hoewel deRichtlijn los staat van dit programma,wordt op een aantal plaatsen in de verant-woording eraan gerefereerd en is eenbeschrijvende passage eraan gewijd.

InleidingDe beoordeling van artsen in opleiding totspecialist (aios) is te verdelen in driebenaderingen van hun competentie en tevertalen in drie vragen:

Wat weet de arts?Het antwoord op deze vraag is goed teontlenen aan de resultaten van schrifte-lijke of computer gestuurde toetsing, al ofniet in de vorm van een voortgangs -meting.

Wat kan de arts?Voor deze vraag leent zich de directeobservatie van handelen, in zoveel uiteen-lopende situaties als nodig is. Dat kan inde dagelijkse praktijk via Korte PraktijkBeoordelingen (KPB) en in gearrangeerdeomstandigheden met simulatietechniekenzoals de Objective Structured ClinicalExamination (OSCE) en Objective Struc-tured Assessment of Technical Skills(OSATS). Ook wordt hiertoe de beoorde-ling van producten zoals een status, pro -tocol of wetenschappelijk verslag gere-kend.

Hoe functioneert de arts?Deze vraag wordt beantwoord door mid-del van een evaluatie van het functionerenover een periode in het verleden (week totenkele maanden). Meerdere beoordelaars(ook wel bronnen genoemd) zijn hiervoornodig, omdat zij onderling verschillen inhun oordeel en omdat meerdere perspec-tieven uit het werkveld nodig zijn vooreen adequaat beeld van het functioneren.Daarom wordt gesproken van multi-

source feedback (MSF) of 360 gradenbeoordeling. Deze feedback heeft primaireen formatief doel: de resultaten van debeoordelingen worden door de aios ge-bruikt voor reflectie en voor het opstellenvan leerdoelen en van een plan van aan-pak met als uiteindelijk doel verbeteringvan het functioneren. Het signaleren vanniet goed functionerende artsen kan eensecundair meer summatief doel van defeedback vormen.

De MSF procedure is bedoeld om teworden toegepast in combinatie met hetvoortgangsgesprek dat de opleider heeftmet de aios. De MSF rapportage en hetvoortgangsgesprek zijn complementair:zonder gesprek mist de rapportage dekracht van een afgewogen synthese metafspraken over de toekomst, en zondergoede documentatie mist het voortgangs-gesprek diepgang. Beide hebben elkaarnodig.

Geschikte beoordelaars (bronnen) Voor het geven van MSF wordt onder-scheid gemaakt in drie groepen beoor -delaars of bronnen:• Collegae: supervisor, staflid (dienst),

opleider, consulent, coassistent, aios(peers), aios in hogere opleidingsjarenof in aanpalende disciplines waarmeefrequent contact bestaat, arts niet inopleiding tot specialist (anios), huis-arts/verwijzend arts.

• Andere werkers in de zorg: verpleeg kun-dige, verpleegkundig teamleider/ver pleeg -kundige van management, gespeciali-seerd verpleegkundige, verloskundige,paramedicus (fysiotherapeut, diëtist),psycholoog, pedagogisch medewerker,medisch secretaresse, maatschappelijkwerker, nurse practitioner, physician assi-stant.

• Patiënten: volwassenen vanaf 16 jaar ofouders van kinderen jonger dan 16 jaar.

Richtlijn multisource feedback voor de aios | M.A. Horsman en Th.J. ten Cate


S5


In VIVO Richtlijn

Te beoordelen competenties Tabel 1 geeft de categorieën beoordelaarsweer die geschikt zijn voor het beoordelenvan de diverse competentiegebieden, ge-relateerd aan het CanMEDS model. Het CanMEDS competentiegebied Maat-schappelijk handelen is minder makkelijkof geschikt voor MSF beoordelingen en isdaarom buiten beschouwing gelaten.3)

Selectie en benadering van beoorde-laars

Geadviseerd wordt de aios zelf verant-woordelijk te laten zijn voor het selecte-ren van beoordelaars en voor het toestu-ren van de vragenlijsten. De literatuurgeeft aan dat hier weinig bezwaar tegen is.Dat kan bijvoorbeeld via het programmaMultisourcefeedback.nl. Per groep beoor-delaars wordt het volgende minimum aan-tal beoordelaars geadviseerd:• Collegae: minimaal zes beoordelaars,

waaronder twee stafleden van het oplei-dingsteam (in ieder geval de huidigesupervisor), twee peers (aios in zelfde

fase van de opleiding). Overige medi-sche collegae zijn meestal coassistentenen collegae met wie tijdens een dienst(weekend/week) is samengewerkt.

• Andere werkers in de zorg: minimaal zesbeoordelaars, waaronder vier verpleeg-kundigen. Bij voorkeur geen medischesecretaresses of andere beoordelaarsdie weinig aanwezig zijn bij patiënten-zorg.

• Patiënten: minimaal tien beoordelaars.Bij voorkeur een gemengde patiënten-populatie van poliklinische en klinischepatiënten en minimaal twee patiëntenwaarmee meerdere contacten zijngeweest.

In het programma Multisourcefeedback.nlworden de vragenlijsten van patiëntenanoniem verwerkt. Beoordelaars in demedische en niet medische groep wordtwel gevraagd naar hun naam en beroeps-groep, zodat de opleider zo nodig mon -deling toelichting kan vragen aan debetreffende beoordelaar. De aios krijgt in

Tabel 1. Categorieën beoordelaars en de CanMEDS competentiegebieden die zij kunnen beoordelen.

Mogelijke bronnen

Competenties CanMEDS Collegae Andere werkers in de zorg Patiënten

Medisch handelen ++ ± –Communicatie ++ ++ ++Professionaliteit ++ ++ ++Organisatie ++ ++ ±Samenwerking ++ ++ –Kennis en wetenschap ++ + –Maatschappelijk handelen ± ± –

++ zeer geschikte bron; + geschikte bron; ± minder geschikte bron; – ongeschikte bron.

3) De NVMO Reviewcommissie Richtlijnen is van oordeel dat dit competentiegebied wellicht wel kan wordenmeegenomen. Bij een herziening van deze Richtlijn kan hiermee rekening gehouden worden.



het MSF programma alleen de gemid-delde scores per groep beoordelaars tezien en geen individuele scores van colle-gae. De geschreven opmerkingen wordenonherleidbaar gemaakt. Maar anonimiteitheeft ook nadelen. Het past niet binneneen opleidingsklimaat waarin iedereenleert verantwoording af te leggen overoordelen en beslissingen. Anderzijds be-staat de kans dat bij niet anonieme enquê-tering men zich minder vrij kan voelen inhet geven van een oordeel. Op dit punt zalde Richtlijn in de toekomst nader geëva-lueerd moeten worden.

Frequentie en tijdstip beoordelingGeadviseerd wordt het tijdstip van eenMSF procedure aan te passen aan hetopleidingsschema. Geadviseerd wordt deMSF procedure ieder opleidingsjaar één-maal uit te voeren, maar bij voorkeur nietbij stages die korter zijn dan drie maan-den. Er is beperkte maar goede ervaringopgedaan met een collectieve jaarlijkseMSF procedure, met het beschreven MSFprogramma voor alle aios van een oplei-ding, en met de planning van alle voort-gangsgesprekken binnen één maand. Opindicatie kan de MSF procedure eventueelna een half jaar worden herhaald.

De vragenlijstenVoor iedere groep beoordelaars is een vra-genlijst ontworpen, gebaseerd op litera-tuuronderzoek en op overleg met experts.Naast gesloten vragen over de verschil-lende competenties wordt bij alle vragen-lijsten gevraagd naar tips en aanwijzingendie het functioneren van de arts kunnenverbeteren. Tevens wordt gevraagd naarde periode waarover zij de aios beoorde-len; aan patiënten wordt gevraagd hetaantal contacten dat zij met de aios heb-ben gehad te vermelden. Voor pediatri-sche patiënten is de vragenlijst enigszinsaangepast en wanneer kinderen te jong

zijn om de vragen te begrijpen, wordtgevraagd naar de mening van de ouders.Mutatis mutandis kunnen de patiënten-vragenlijsten worden ingevuld door bege-leiders van patiënten die om andere rede-nen niet in staat zijn de vragenlijst in tevullen. De vragenlijst is tevens beschik-baar in het Engels. Vragenlijsten voorniet-westerse allochtone patiënten zijn inontwikkeling.

Logistiek en verwerking van gegevensDe hoeveelheid gegevens die verwerktmoet worden voor een MSF procedure isgroot. De auteurs beperken zich daaromtot de beschrijving van het ontwikkeldeelektronische programma. Met het web-based programma multisourcefeedback.nlkan de opleider vanaf iedere internetaan-sluiting een feedback procedure opstartendoor e-mailadressen van de betreffendeaios in te voeren en voor een voortgangs-gesprek een uiterste datum vast te leggen,waarop de procedure moet zijn afgerond.Bij voorkeur dient een MSF-ronde drie totzes maanden vóór deze datum te wordengestart, zodat er voldoende tijd is voor debeoordelingen. De aios krijgt vervolgensper e-mail instructie om beoordelaars uitte nodigen een vragenlijst in te vullen overhet functioneren door hun e-mailadres inte voeren. De aios is verantwoordelijkvoor de medewerking van voldoende enzo relevant mogelijke beoordelaars (totaalminimaal 22 vragenlijsten). In het pro-gramma kan de voortgang van de proce-dure bekeken worden door zowel aios alsopleider en kan een herinnering verstuurdworden aan de beoordelaars. Eén weekvóór de datum van het voortgangsgesprekwordt de feedbackronde automatisch afgesloten en wordt een samenvattendrapport opgemaakt in het programma.Hierin worden de gemiddelde scores pervraag, per competentiegebied en pergroep beoordelaars weergegeven, evenals



S7


In VIVO Richtlijn

een overzicht van de opmerkingen diedoor de beoordelaars zijn gemaakt. Deze resultaten zijn bedoeld om door deopleider met de aios te bespreken in het daaropvolgende voortgangsgesprek.Samen vattingen van voltooide feedback-procedures blijven gedurende de oplei-ding bewaard in het programma.

Implementatie van multisource feedback

In de verantwoording zijn de voorwaardenbeschreven voor een goede invoering vanhet proces en worden mogelijke weerstan-den besproken. MSF is nog betrekkelijkonbekend in de vervolgopleidingen en vooreen succesvolle implementatie is het essen-tieel dat stafleden en medewerkers bekendzijn met het principe, zodat het uitzettenvan de formulieren niet als een verrassingkomt. De weergegeven tekst in Box 1 kanhiervoor gehanteerd worden om te verstu-ren en meer informatie is te downloadenvan www.multisourcefeedback.nl.

Daarnaast is training van opleiders inhet geven en bespreken van feedback metbehulp van MSF nuttig. Dit kan geïnte-greerd worden in cursussen over het

opleiden en opleidingsvernieuwingen. Ismen bekend met de MSF procedure, danis de inspanning betrekkelijk gering enzeer gespreid over alle betrokkenen. Deadministratieve inspanning is minimaal.

Box 1. Concepttekst voor een folder of rondschrijven.

Wat is multisource feedback?Artsen in opleiding tot specialist (aios) worden tijdenshun opleiding beoordeeld op wat zij weten, wat zij kun-nen en hoe zij functioneren. Het functioneren van eenaios kan het beste beoordeeld worden door mensen metwie hij/zij samenwerkt: collega-artsen, andere collegae inde zorg en patiënten. Dit proces van beoordeling doorverschillende beoordelaars wordt multisource feedback(MSF) genoemd. Eénmaal per jaar worden artsen, anderewerkers in de zorg en patiënten door de aios gevraagdeen vragenlijst in te vullen. De vragenlijsten worden ano-niem verwerkt: de aios krijgt de antwoorden niet te zien,alleen de gemiddelde scores van de bevraagde collegaeen patiënten. Bij een negatieve score op een bepaaldgebied zal de opleider voor verduidelijking eventueelcontact opnemen met degenen die een negatieve scorehebben gegeven. De aios krijgt door MSF een beeld vanzijn/haar sterke en minder sterke kanten en kan dan zonodig werken aan verbetering.

Voor meer informatie over het doel en werkwijze vanMSF: zie www.multisourcefeedback.nl en de Richtlijn Mul-tisource Feedback (Tijdschrift voor Medisch Onderwijs2010;29 (2); suppl. 1).


1. Achtergrond multisource feedbackDe medisch specialist van de 21ste eeuwwordt geacht over verschillende competen-ties te beschikken, zoals bijvoorbeeld opge-steld door de Accreditation Council forGraduate Medical Education (ACGME),4)

Royal College of Physicians and Surgeonsof Canada CanMEDS roles,5) of UnitedKingdom’s Best Medical Practice frame -work.6) In Nederland wordt in de medischevervolgopleidingen gebruik gemaakt vande competenties die gebaseerd zijn op deCanMEDS rollen. De noodzaak om specia-listen in opleiding niet alleen op hun ken-nis maar op alle competentiegebieden tebeoordelen, heeft geleid tot de ontwikke-ling van nieuwe beoordelingsmethoden,waaronder MSF. Bij deze vorm van beoor-deling, in de literatuur ook wel 360 gra-den beoordeling genoemd, wordt zowelaan personen uit de werkomgeving alsaan patiënten gevraagd feedback te gevenop het functioneren van een arts die zijdirect en herhaaldelijk hebben kunnenobserveren. MSF is bruikbaar voor hetbeoordelen van competenties als professio-naliteit, samenwerking en communicatie.Deze competenties kunnen niet uitsluitenddoor een eenmalige observatie of op eentraditionele wijze worden getoetst; feed-back van collegae en patiënten is onmis-baar voor een volledige beoordeling 1-2.

MSF bestaat uit specifieke processen eninstrumenten voor informatieverzame-

ling, beoordeling en feedback op de werk-vloer. Vragenlijsten, ontworpen om ge -gevens over specifieke gedragsaspecten(bijvoorbeeld communicatievaardighe-den, professionaliteit, teamwerk) te verza-melen, worden door verschillende respon-denten ingevuld over één persoon. MSF isontstaan in het bedrijfsleven, waar dewerknemers niet vaak of niet van dichtbijgenoeg door de supervisor werden ge -observeerd om zinvolle feedback te kun-nen ontvangen. Collegae op de werkvloerwaren vaak in een betere positie om feed-back over de werknemer te verstrekken.Door verschillende collegae vragenlijstente laten invullen kon de informatie vanmeerdere medewerkers worden samen -gevoegd en gebruikt om feedback te ver -strekken. In het bedrijfsleven is MSF geaccepteerd omdat informatie van meer-dere individuen (waarnemers) en veelvou-dige beoordelaars (groepen waarnemers)wordt gebruikt en waarbij de bias die inherent is aan de beoordeling van ‘éénpersoon, één perspectief’ (dat wil zeggen.het perspectief van de supervisor) wordtverminderd.1-2.

In medische settings kunnen de waarne-mers (ook wel beoordelaars, respondentenof feedbackgevers genoemd) een verschil-lende achtergrond hebben. Te denken valtaan medische collegae (bijvoorbeeld peers– aios in vergelijkbare opleidingsfase –,supervisor, verwijzen de artsen, coassisten-

In VIVO Richtlijn


S8

Achtergronden bij de Richtlijn multisource feedbackvoor de aios

4) ACGME Competencies: http://www.acgme.org/outcome/comp/compFull.asp.5) RCPSC CanMEDS Competencies: http://rcpsc.medical.org/canmeds/index.php.6) GMC (UK) Good Medical Practice: http://www.gmc-uk.org/guidance/good_medical_practice/index.asp.


ten), niet-medische col lega’s (bijvoorbeeldverpleegkundigen, paramedici en psycho-logen) en patiënten en hun familieleden.Deze uit diverse (beroeps)groepen afkom-stige waarnemers hebben verschillendeperspectieven en observaties betreffendehet handelen van artsen, afhankelijk vande context waarin zij samenwerken met dearts. Bovendien kunnen zij het functione-ren van een arts vaak gedurende langeretijd observeren.

MSF kan worden gebruikt in het gehelecontinuüm van medisch onderwijs, hoe-wel het grootste deel van de gepubliceerdestudies zich op aios 3-7 en praktiserendspecialisten richt.8-13 In deze verantwoor-ding wordt ingegaan op de belangrijksteaspecten van MSF en worden de in deRichtlijn gegeven adviezen, mede aan dehand van relevante literatuur, toegelicht.

2. Doel van de multisource feedback-procedure

De beoordeling aan de hand van gestruc-tureerde vragenlijsten heeft als doel hetverkrijgen van informatie over het func-tioneren van de aios op een aantal com-petentiegebieden, zodat hierover zinvollefeedback kan worden gegeven. In de lite-ratuur worden zowel summatieve als for-matieve doelen van MSF beschreven. Bijeen summatief doel weegt de beoordelingmee voor de beslissing van het wel of nietvoortzetten van de opleiding. De procedurevan MSF, zoals geadviseerd in deze Richt-lijn, heeft primair een formatief doel: debeoordeling zal gericht zijn op het aanzet-ten tot reflectie, het opstellen van doelenen het verbeteren van het functioneren. Deresultaten zullen in voortgangsgesprekkenworden besproken met de aios (zie hoofd-stuk 13). Het secundaire doel van de pro-cedure zal wel summatief van aard zijn:het signaleren van ‘problematisch functio-nerende artsen’. Wanneer een aios eenonvoldoende beoordeling krijgt op meer-

dere competentiegebieden kan er bijvoor-beeld voor gekozen worden de aios inten-siever te begeleiden en hem/haar vaker deMSF procedure te laten doorlopen.

Gezondheidszorgorganisaties die eenvorm van MSF hebben ontwikkeld eningevoerd kunnen verschillende doelstel-lingen hebben, bijvoorbeeld de kwaliteits -verbetering van hele groepen, maar ookverbetering van het functioneren op hetindividuele niveau. In Alberta, Canada,bijvoorbeeld, wilde het Royal College ofPhysicians and Surgeons of Alberta eenformatief programma voor kwaliteits -verbetering dat als eerste screening vanhet niveau van alle artsen zou dienen.14 Inhet Verenigd Koninkrijk wilde de General Medical Council een beoordeling voorspecialisten in opleiding, gebaseerd ophun omschrijving van Best Medical Prac-tice. Zowel de Sheffield Peer Review Assessment Tool (SPRAT)3-4 als het Pre-registration House Officers Appraisal andAssessment System (PHAST)5 zijn ontwik-keld om artsen te identificeren bij wie ver-betering van het functioneren nodig is.Mini-PAT (een kortere versie van SPRAT)wordt gebruikt voor basisartsen in de eerste twee (‘foundation’) jaren van hunalgemene specialisatie. Hoewel het instru-ment bedoeld is om artsen te identificerendie ondermaats presteren, maakt het deeluit van een groter portfolio dat ontworpenis om aios te helpen leerbehoeften en doelen vast te stellen en een actieplan temaken.6 Evans et al. suggereren dat zelfswanneer de MSF een formatief doel heeft,het ook kan worden gebruikt om moge-lijke ‘probleemgevallen’ te signaleren.15

Ook bij formatieve MSF procedures be-staat er een ethische verplichting tegen-over patiënten om hen te beschermentegen deze uitzonderingen en zo nodigactie te ondernemen.1

Het is belangrijk het doel van de MSFprocedure uit te leggen aan de beoorde-

In VIVO Richtlijn


S9



laars die ermee moeten werken. Te ver-wachten valt dat beoordelaars vragenlijs-ten anders invullen en aios mogelijkandere beoordelaars selecteren bij hetgebruik van de beoordeling voor zwaar-wegende beslissingen, dan bij het gebruikvoor reflectie en gedragsverbetering. Be-oordelaars zullen milder zijn in hun feed-back wanneer zij weten dat er veel van debeoordeling afhangt.16 Wanneer zij er nietop vertrouwen dat de beoordeling primairvoor een formatief doeleinde wordtgebruikt, zullen zij waarschijnlijk ookminder eerlijk zijn in hun geschrevenopmerkingen.1 Door beoordelaars op dehoogte te brengen van het doel van deMSF zal de motivatie tot invullen moge-lijk toenemen. Bovendien kan het vanbelang zijn beoordelaars op de hoogte testellen van het aantal andere beoorde-laars. Op de website www.multisource -feedback.nl, die wordt gebruikt voor deMSF procedure, voorgesteld in deze Richt-lijn, staat informatie voor de beoordelaars.Deze informatie kan door de aios wordenuitgeprint en uitgedeeld of per e-mail wor-den verstuurd. Tevens wordt bij de vragen-lijsten voor zowel patiënten als collegaeuitgelegd wat het doel van de procedure isen hoe de gegevens worden verwerkt enteruggekoppeld naar de aios.

3. Geschikte beoordelaars voor multisource feedback

In bijlage I wordt een overzicht gegevenvan gebruikte beoordelaars in de tot hedenuitgevoerde studies over MSF in eengeneeskundige setting.7) In vrijwel alle stu-dies wordt een onderscheid gemaakt tus-sen medische collegae en andere werkersin de gezondheidszorg; ook in deze Richt-lijn is voor deze indeling gekozen. In Tabel

2 worden per groep voorbeelden gegevenvan mogelijke beoordelaars die samenwer-ken met de aios en die vanuit hun perspec-tief een oordeel kunnen vormen over hetfunctioneren van de aios gedurende eenlangere periode en in verschillende situ-aties.

Tot nu toe hebben slechts weinig studiesgebruik gemaakt van beoordelaars uit dezevier groepen. Zelfbeoordeling wordt vaakbeschouwd als een van de bronnen bij 360graden beoordelingen; vanwege de anderepositie in het spectrum van informatieover het functioneren wordt deze categorievooralsnog buiten beschouwing gelaten.Een toelichting volgt in hoofdstuk 8.

Met name patiënten worden lang nietaltijd betrokken in de beoordeling. Hoe-wel beoordelingen van de prestaties vanartsen door patiënten in principe waarde-vol zijn, leveren ze ook een aantal proble-men op. Ten eerste zijn grote aantallen beoordelingen nodig; in sommige studieswordt zelfs gesproken van 50 om een vol-doende betrouwbaarheid te verkrijgen.7

Ernstig zieke patiënten vullen de formu-lieren vaak niet in, en diegenen die welinvullen geven vaak een lagere beoorde-ling dan matig zieke patiënten. Verderkunnen patiënten niet altijd goed onder-scheid maken tussen verschillende aspec-ten van klinisch handelen en geven zevaak hoge beoordelingen. Deze beperkin-gen maken het lastig de patiënt als enigebron te gebruiken.17 Toch kan het per-spectief van patiënten in dit tijdperk vanpatiëntgerichte zorg niet meer buiten be-schouwing worden gelaten. Patiënten, dedoelgroep van de zorg en het medischhandelen, vormen een essentiële bronvoor het beoordelen van de omgang metpatiënten door aios. Problemen of conflic-


7) Met bronnen en beoordelaars wordt hetzelfde bedoeld, voor de leesbaarheid worden beide termen afwisselendgebruikt.


S11


In VIVO Richtlijn

ten tussen artsen en patiënten doen zichvaak voor op het gebied van communica-tie en professionaliteit. Daarnaast blijktde bereidheid tot medewerking aan hetgeven van feedback aan artsen groot tezijn.7 9 12-13

In géén van de gevonden studies werdaan de partners van patiënten gevraagdom het functioneren van artsen te beoor-delen. In studies op het gebied van de Kin-dergeneeskunde worden wel ouders vanpatiënten ondervraagd, er wordt echterniet beschreven bij welke leeftijdscatego-rie van patiënten.11 Kinderen in de leeftijd

van 12 tot 16 jaar hebben juridische zeggen-schap volgens de Wet op de Ge nees kundigeBehandelingsovereenkomst (WGBO), maarworden in de bestaande MSF proceduresniet gevraagd om hun mening. Crossley etal. verrichtten in het Verenigd Koninkrijkeen studie naar de haalbaarheid van debeoordeling van het functioneren van kin-derartsen door kinderen en/of hun ouders.18

Zij ontwikkelden verschillende vragenlijs-ten over de niet-medische aspecten vanhet functioneren van kinderartsen,geschikt gemaakt voor jonge kinderen (7-11 jr.), oudere kinderen (11-16 jr.) en vol-

8) Voorbeelden van beoordelaars o.b.v. literatuur en uitkomsten van InVIVO Focus-bijeenkomst dd. 16-04-2007 Verslag focusbijeenkomst: http://www.medischevervolgopleidingen.nl//content/documenten/invivo/1.pdf.www.medischevervopleidingen.nl � implementatie � verslag open-space sessies.

Tabel 2. Categorieën beoordelaars.8)

Medische collegae Andere werkers Patiënten Zelfbeoordelingin de zorg

Supervisor Verpleegkundigen Patiënten en kinderen (zie hoofdstuk 8)(aan het bed, team- ouder dan 15 jaar

Staflid (dienst) leider, hoofd, gespecia-liseerd, SEH) Ouders van patiëntjes

Opleider jonger dan 16 jaarVerloskundige

Coassistent Begeleiders bij patiëntenPhysician assistant die zelf de vragenlijsten

Aios (peers) niet kunnen invullenNurse practitioner

Aios (senior)Operatieassistent

Aios van een aan-palend specialisme Paramedicus

Anios Maatschappelijk werker

Consulent Psycholoog

Huisarts/ Secretaresseverwijzend arts



wassenen (> 16 jr.). Bepaling van de haal-baarheid bestond onder andere uit hetbepalen van het benodigd aantal beoorde-laars voor een betrouwbaar oordeel. Uit deanalyses van de beoordelingen van 352arts-patiënt interacties bleek dat 15 beoor-delaars ouder dan 16 jaar voldoende zijnvoor een betrouwbaar oordeel. Bij beoorde-ling door kinderen jonger dan 16 jaar zou-den meer dan 30 beoordelaars nodig zijn.Aangezien ouders vrijwel altijd aanwezigzijn bij het contact tussen kinderarts enpatiënt, werd geconcludeerd dat ouders eengeverifieerde en betrouwbare bron zijnvoor het beoordelen van de communicatieover en weer. Wij adviseren in de Kinderge-neeskunde kinderen ouder dan 16 jaar enouders en/of verzorgers van kinderen tot 16jaar te kiezen als beoordelaars. Mutatismutandis kan dat ook gelden voor begelei-ders van patiënten die om andere redenende vragenlijst niet kunnen invullen.

Het meeste onderzoek is verricht naarde validiteit en betrouwbaarheid van debeoordeling door collegae van dezelfdediscipline of uit hetzelfde opleidingsjaar,peer assessment genoemd.3-4 6 15 19-20 Vanbeoordelingen door peers is aangetoonddat ze consistent zijn, onafhankelijk vande selectiemethode van beoordelaars. Debeoordelingen zijn wel afhankelijk vanvertrouwen en vereisen een grote aan-dacht voor veiligheid van gegevens, anderskunnen ze een ondermijnende, destruc-tieve en verdelende werking hebben.17

Voor beoordelingen door opleiders en staf-leden die supervisie bieden aan aios wor-den vergelijkbare resultaten beschreven.21

In de groep medische collegae blijkenconsulenten en verwijzende artsen vaakminder goed zicht te hebben op het func-tioneren van aios.12

Wat betreft andere werkers in de zorgworden verpleegkundigen, verloskundi-gen, psychologen en paramedici beschre-ven in de literatuur. Vooral in de eerste

procedures voor MSF die zijn ontwikkeld,werden verpleegkundigen nog maar wei-nig betrokken. Eén van de redenen hier-voor was dat artsen (in opleiding) moeitezouden hebben verpleegkundigen teaccepteren als geloofwaardige bron vooreen gefundeerde evaluatie van hun presta-ties.22 Beoordelingen door verpleegkundi-gen kunnen echter waardevol zijn geziende nauwe samenwerking op vooral ver-pleegafdelingen, en zijn voldoendebetrouwbaar bij zes tot tien personen.23-24

De beoordelingen blijken goed te correle-ren met de beoordeling door patiënten enopleiders op het gebied van inter-persoon-lijke vaardigheden.7 Uit meerdere studiesblijkt dat medische secretaresses geengeschikte bron te zijn voor het beoordelenvan het functioneren van aios, aangezienzij de arts niet meemaken in de spreek -kamer en niet direct het contact metpatiënten kunnen observeren.

Geadviseerd wordt de volgende beoor-delaars te laten deelnemen aan de MSF:• Medische collegae: supervisor, staflid

(dienst), opleider, consulent, coassistent,aios (peers), aios in hogere opleidings -jaren, anios, huisarts/verwijzend arts.

• Andere werkers in de zorg: verpleeg -kundige (aan het bed), verpleegkundigteamleider/manager, gespecialiseerd ver -pleegkundige, verloskundige, physicianassistant, nurse practitioner, paramedi-cus (fysiotherapeut, diëtist), psycholoog,pedagogisch medewerker, maatschappe-lijk werker.

• Patiënten: liefst na meerdere contactenmet de aios en alleen in bepaalde set-tings (op IC bijvoorbeeld minder haal-baar). Bij Kindergeneeskunde: kinderenvanaf 16 jaar en ouders van patiënten < 16 jaar.

In hoofdstuk 6 wordt nader ingegaan opbovenstaande criteria voor het selecterenvan geschikte beoordelaars.



S13


In VIVO Richtlijn

4. Gewenst aantal beoordelaars Het vereiste aantal beoordelingen pergroep beoordelaars voor het verkrijgenvan voldoende betrouwbare en validegegevens is internationaal uitgebreid on-derzocht. Het benodigde aantal beoorde-lingen is over het algemeen gebaseerd opde haalbaarheid, het doel van de beoorde-ling (formatief versus summatief) en opde psychometrische kenmerken die ge-wenst zijn.1 Wood et al. beschrijven dathet benodigde aantal beoordelaars deelsgerelateerd is aan de mogelijkheid vanbeoordelingsfouten of mate van bias. Hetgebruik van beoordelingen door meerderebeoordelaars vermindert de mogelijkheidvan bias voor een deel vanzelf, omdat menniet afhankelijk is van één enkele beoor-deling. De informatierijkheid van de feed-back zal toenemen naarmate meerderesoorten bronnen worden gevraagd omfeedback. De vraag blijft echter hoeveelbeoordelaars per peiling nodig zijn om dekans op een onjuiste, niet representatievebeoordeling te minimaliseren.25 In veelMSF studies is dan ook de generaliseerbaar-heid van vragenlijsten onderzocht. Hierbijmaakt men een schatting van de betrouw-baarheid van verschillende combinaties vanaantallen beoordelaars en aantallen vragendoor het aantal beoordelaars te variëren.Opzet van het merendeel van deze studieswas het aantonen van het benodigde aantalbeoordelaars voor het behalen van een gene-raliseerbaarheidscoëfficiënt (Ep2) van 0.7 ofmeer.7 10-13 20 26 Deze waarde wordt inzowel het bedrijfsleven als in de medischesettings als voldoende gezien en houdt indat er 70% kans is dat verschillen in sco-res een daadwerkelijk verschil tussen art-sen aantonen, in plaats van verschillentussen beoordelaars. Of anders gezegd: eris 70% kans op reproduceerbare gegevensbij een herhaalde meting. Voor de volle-digheid wordt een aantal van deze studieshier genoemd. Ramsey et al. analyseerden

3005 vragenlijsten met betrekking totMSF van 187 artsen. Tien tot elf reactiesvan collega-artsen waren noodzakelijk omeen generaliseerbaarheidcoëfficiënt van0.7 te bereiken.20 Bij beoordeling vandezelfde groep, maar dan door verpleeg-kundigen, bleek een aantal van 1015 no-dig om voldoende generaliseerbare gege-vens op te leveren.22 Butterfield &Mazzaferri schatten in 1991 dat slechtsvijf of zes verpleegkundigen een represen-tatief beeld van elke aios konden verstrek-ken.27 Woolliscroft et al. (1994) haddenmeer teleurstellende resultaten. Zij con-cludeerden dat vijf tot tien stafleden nodigzouden zijn voor een representatieve be-oordeling van aios op interpersoonlijke enprofessionele kwaliteiten. Het benodigdeaantal verpleegkundigen was echter 10 tot20, en voor patiënten bedroeg het aantalzelfs meer dan 50.7 Ramsey en Wenrichsuggereren in 1999 dat totaal zeven tottwaalf beoordelaars nodig zijn voorbetrouwbare feedback over prestaties.28

Dit aantal varieert afhankelijk van het tetoetsen domein of competentiegebied; bijinter-persoonlijke vaardigheden en decompetentie professionaliteit zijn bijvoor-beeld meer beoordelaars nodig.25 Voor deMSF in het kader van het Canadese herre-gistratiesysteem voor medisch specialis-ten, Physician Achievement Re view, wordtgebruik gemaakt van tien medische colle-gae, tien andere werkers in de zorg en 25patiënten.9 13-14 Zie Bijlage I van dezeRichtlijn voor het aantal benodigde beoor-delingen per groep beoordelaars (eenselectie van verrichte studies naar MSF).

Generaliseerbaarheidstudies zijn ver-richt om het aantal beoordelaars te bepa-len dat nodig is om op betrouwbare wijzeproblematisch functionerende artsen tekunnen signaleren, ofwel te gebruiken alssummatieve beoordelingsmethode. Davieset al. toonden in 2005 op basis van degeneraliseerbaar heidstheorie aan dat bij



gebruik van SPRAT voor kinderartsen inopleiding, vier beoordelaars die 24 vragenbeantwoorden voldoende zijn om vast tekunnen stellen of artsen wel of niet slechtfunctioneren. Dit is volgens de auteursvooral praktisch in bijvoorbeeld de Huis-artsgeneeskunde, waar vaak weinig be-oordelaars beschikbaar zijn. Zij geven welaan dat voor het aantonen van ‘grensge-vallen’ meer beoordelaars nodig zijn. Overhet algemeen geldt dat wanneer een sum-matief doel wordt nagestreefd er meerbeoordelaars nodig zijn dan bij een for-matief doel van de procedure.4

De gevonden minimaal benodigde aan-tallen beoordelaars lopen sterk uiteen tus-sen de verschillende studies, afhankelijkvan de inhoud, het doel en de lengte vande vragenlijst alsmede van de setting enmate van training van beoordelaars. Eenandere reden voor de verschillen in aan-tallen die zijn gevonden in onderstaandestudies is dat in sommige groepen eentendens kan bestaan om incon sistent tebeoordelen. Beoordelaars kunnen eenverschillende opleiding, achtergrond enberoeps normen hebben. Tevens kunnenzij uiteenlopende ervaringen hebben metde aios, waardoor de mate van overeen-stemming tussen scores van verschillendebeoordelaars niet hoog kan zijn. Tenderde kan het vragen om een beoordelingover een te groot aantal categorieënmogelijk leiden tot een grotere subjectivi-teit en irrelevantie en vaker tot een onver-mogen van de beoordelaar om bepaaldecategorieën te beoordelen. Tot slot kan erook nog een verschil zijn in training tenaanzien van de MSF procedure. Deze fac-toren suggereren dat wanneer er valide,meer gerichte beoordelings instrumentenworden ontworpen en beoordelaars wor-den getraind, het aantal benodigde beoor-delaars per peiling mogelijk gereduceerdkan worden.25

Op basis van de wetenschappelijke lite-ratuur en resultaten van de in Nederlandverrichte pilotstudie, worden in dezeRichtlijn de volgende aantallen per groepbeoordelaars geadviseerd (in hoofdstuk 4zijn deze aantallen toegelicht; zie ookhoofdstuk 11C):• Medische collegae:

totaal minimaal zes beoordelaars

• Andere werkers in de zorg: totaal minimaal zes

• Patiënten: totaal minimaal tien beoordelaars

Aangenomen mag worden dat de be -trouw baarheid bij deze aantallen beoor-delaars voldoende is voor een summatiefoordeel over de aios. Als de MSF proce-dure uitsluitend een formatief doel dient,kan wellicht met minder beoordelaarsworden volstaan. Dit zal voorwerp vannader onderzoek moeten zijn.

5. Te beoordelen competenties doorverschillende beoordelaars

In de literatuur worden gewenste ge -dragingen van artsen op verschillende ma-nieren beschreven, bijvoorbeeld als gedrags-domeinen, competentiegebieden of kritischegedragingen.3 5-6 10-11 29 De inhoud van dezeverschillende beschrijvingen komt groten-deels overeen met de inhoud van de Can-MEDS competentie gebieden, die zijn ver-taald naar de Nederlandse praktijk.30 Devolgende onderwerpen voor MSF wordenbeschreven in de literatuur: medisch han-delen, management van patiëntenzorg,interpersoonlijke kwaliteiten, communica-tieve vaardigheden, professionaliteit, colle-gialiteit/sa men werking, organiseren, medi-sche praktijkvoering, onderhouden van depr o fessionele ontwikkeling, (telefonische)bereikbaarheid. Maatschappelijk handelen


Totaal mini-maal 22 beoordelaars


S15


In VIVO Richtlijn

wordt niet als zodanig beschreven in deliteratuur; wel wordt in verschillende stu-dies gevraagd naar omgang met in cidentenin de zorg, mate van preventieve zorg ennaar handelen volgens relevante wetgeving.

Verschillende beoordelaars kunnen ver-schillende aspecten van het functionerenvan artsen beoordelen en deels bestaat ereen overlap tussen de competenties diezij kunnen beoordelen. Idealiter wordtbeoordelaars alleen gevraagd gedrag tebeoordelen dat zij daadwerkelijk in depraktijk en liefst herhaaldelijk hebbenkunnen observeren.1 Zo zal een beoorde-laar die de arts nooit heeft meegemaakt inde spreekkamer of aan het bed van depatiënt niet in staat zijn de communicatiemet patiënten en familie te beoordelen.De patiënt is echter bij uitstek een ge-schikte bron om over dit punt een oordeelte geven, evenals verpleegkundigen die bijgesprekken met patiënten aanwezig zijn.Om een keuze te maken welke beoorde-laars geschikt zijn voor het beoordelenvan bepaalde competenties van de aios,zal dus bepaald moeten worden welkgedrag een beoordelaar daad werkelijkkan observeren en beoordelen. Daarbijspelen ook haalbaarheid en acceptabiliteitvan het ondervragen van mensen met eenverschillende (beroeps)achtergrond eenbelangrijke rol. Het zal bijvoorbeeld lastigzijn vragenlijsten te laten invullen doorpatiënten met spoedeisende of psychia -trische aandoeningen, alsmede door ern-stig zieke of terminale patiënten. Tevenszullen anal fabeten en patiënten met teweinig begrip en/of kennis van de taalmoeilijk te ondervragen zijn.1

In de meeste artikelen wordt beschre-ven dat patiënten vooral gevraagd wordtnaar interpersoonlijke kwaliteiten, com-municatie en professionaliteit. Op de vra-genlijsten, ontworpen in samenhang metdeze Richtlijn, worden aan patiënten vra-gen gesteld over twee van de zeven com-

petentiegebieden. Om patiënten niet teveelte belasten en de haalbaarheid voldoendehoog te houden is het aantal vragen be-perkt tot acht vragen over communicatieen acht vragen over professionaliteit. Deauteurs veronderstellen dat patiënten overhet algemeen onvoldoende zicht hebbenop de competenties samenwerking enmaatschappelijk handelen om hier eenbeoordeling over te kunnen geven. In deliteratuur worden ook voorbeelden gege-ven van vragenlijsten voor patiënten metvragen over organisatie, bijvoorbeeldmedische praktijkvoering en (telefonische)bereikbaarheid.1-2 11-12 26 Op dit gebied zougevraagd kunnen worden of de arts vol-doende tijd besteedt aan de patiënt en hoelang de patiënt gemiddeld moet wachtenop de arts. Aangezien de beoordeling vandit soort vragen ook afhankelijk is vanorganisatorische fac toren buiten de aios,zijn deze vragen achterwege gelaten.Getracht is alleen te vragen naar aspectenvan het functioneren die geheel op de aioszijn terug te voeren.

Medische collegae en peers wordt invrijwel alle studies gevraagd naar commu-nicatie en professionaliteit en daarnaastnaar medisch handelen, technische vaar-digheden, samenwerken, organisatie, pro-fessionele ontwikkeling en gebruik vanbeoordelaars (kennis en wetenschap).Violato et al. beschrijven in 2006 dat vra-gen die collega-artsen moeilijk te beant-woorden vonden, waren gerelateerd aanprofessionele ontwikkeling en verbeteringin de praktijk.11 Verpleegkundigen enandere niet-medische professionals in degezondheidszorg wordt gevraagd naar gege-vens over de zorg voor patiënten, interpro-fessionele samenwerking en communicatie.Johnson en Cujec toonden een voldoendebetrouwbaarheid aan van de beoordelingvan deze competenties door verpleegkundi-gen op een intensive care afdeling.24 Hetwordt door artsen minder goed geaccep-



teerd wanneer andere werkers in de zorghet medisch handelen of technische vaar-digheden beoordelen.20 22 Op de vragen-lijsten voor andere werkers in de zorgworden dan ook geen vragen gesteld overde competentie medisch handelen. In deeerste versie van de vragenlijst voor medi-sche collegae werden hier ook geen vra-gen over gesteld.

Bij de evaluatie van de eerste pilotstudiebleek het echter onnatuurlijk om bijmedische collegae vragen over medischinhoudelijke kwaliteiten geheel achter-wege te laten, omdat dit ook belangrijkefeedbackpunten kan opleveren. In detweede versie van de vragenlijst voormedische collegae zijn dan ook drie vra-gen over de competentie medisch hande-len toegevoegd. Over communicatie enprofessionaliteit kunnen in principe allebeoordelaars zoals genoemd in hoofdstuk3 vanuit hun positie een beoordelinggeven. In Tabel 3 wordt een voorbeeldgegeven van verschillende vragen overdeze competenties aan de verschillendegroepen beoordelaars.

Het aantal vragen kan een rol spelen inde haalbaarheid van de procedure envoorkomen moet worden dat door telange vragenlijsten de respons afneemt.Lockyer et al. tonen in hun studie aan dathet minimum aantal vragen 20 bedraagtvoor alle vragenlijsten bij acht medischebronnen, acht niet-medische beoorde-laars en 25 patiënten.26 Hierbij dient welopgemerkt te worden dat in deze studiede MSF een summatief doel had en er dushogere eisen gesteld worden aan de psy-chometrische kenmerken van de vragen-lijsten.

In Tabel 4 is per categorie beoordelaarsweergegeven over welke competenties zijgevraagd worden feedback te geven in hetprogramma Multisourcefeedback.nl. Om-wille van de haalbaarheid, en uitgaandvan een formatieve beoordeling, is het

aantal vragen beperkt gehouden tot 16voor patiënten en respectievelijk 29 en 23voor medische collegae en anderen. Inhoofdstuk 11 worden de gemaakte keuzesvoor het bepalen van de vorm en inhoudvan de vragenlijsten nader toegelicht.

6. Selectie en benadering van beoordelaars

A. Selectie van de beoordelaars Op basis van literatuurstudie en discussiein focusgroepen wordt geadviseerd om debeoordelaars niet door de supervisor ofopleider, maar door de aios zelf te latenselecteren. Dit kan echter vragen oproepenover de betrouwbaarheid van gegevens:worden er geen ‘vriendjes’ uitgekozen, vul-len collegae de vragenlijsten dan wel eer-lijk in en blijft de veiligheid van relatiesmet patiënten en collegae wel gewaar-borgd? Deze laatste vraag wordt in hoofd-stuk 7 toegelicht. Het potentiële probleemvan het alleen uitkiezen van ‘vriendjes’wordt voor een deel opgelost door uit allegroepen meerdere beoordelaars te vragen.Het zal niet mogelijk zijn alleen maar col-legae uit te kiezen met wie men ook buitenhet werk bijvoorbeeld een vriendschappe-lijke relatie heeft. In een aantal studies isde mate waarin de beoordelaar en beoor-deelde elkaar kennen, en de invloed hier-van op de scores, onderzocht. Deze factorblijkt verantwoordelijk te zijn voor minderdan 10-15% van de variantie van beoorde-lingen.18 25-26 Bo ven dien werd in een studievan Ramsey in 1993 aangetoond dat hetselecteren van beoordelaars door de aios ofselectie door een derde partij (super-visor/opleider) weinig verschil maakt voorde betrouwbaarheid van de beoordeling.20

Hoe goed een beoordelaar de te beoordelenarts kent, en de invloed hiervan op debeoordeling, werd ook als onafhankelijkevariabele onderzocht in een studie van Hallet al.9 Voor de peer assessmentvragenlijsttoonden de resultaten een significante



S17


In VIVO Richtlijn

Tabel 3. Voorbeelden van competenties, beoordelaars en vragen.

Competentiegebieden Beoordelaars Voorbeeldvragen/stellingen

Communi catie Patiënten De arts luisterde goed naar mijDe arts gaf duidelijk uitleg

Andere wer kers in de zorg De arts communiceert goed met patiëntenen familieDe arts geeft helder geformuleerde monde-linge opdrachten

Medische collegae De arts is zowel duidelijk als volledig inschriftelijke verslagleggingDe arts presenteert tijdens besprekingenpatiëntencasus accuraat en beknopt

Professionaliteit Patiënten Deze arts begreep mijn situatie goed (de situatie van mijn kind)Deze arts leek op de hoogte te zijn van mijndossier/mijn situatie

Andere wer kers in de zorg De arts stelt tijdens de dagelijkse werkzaam-heden het belang van de patiënt centraal De arts kent het dossier en de toestand vande patiëntenzorg

Medische collegae De arts is zich bewust van eigen grenzen enhandelt daarbinnen De arts accepteert feedback van anderen

Tabel 4. Overzicht van aantal vragen per competentiegebied en per categorie beoordelaars.

Bron Aantal vragen Competentiegebieden (aantal vragen) Schaal

Medische 29 + 1 open vraag* Medisch handelen (3); communicatie (5), collegae samenwerking (6), organisatie (4), kennis &

wetenschap (3), professionaliteit (6), EPA’s** (2) 5 waarden

eens/oneens +Anderen in 23 + 1 open vraag* Communicatie (6), samenwerking (5), categorie nvtde zorg organisatie (4), kennis & wetenschap (2),

professionaliteit (6)

Patiënten 16 +1 open vraag* Communicatie (8), professionaliteit (8)

* Open vraag: Heeft u tips en/of opmerkingen om het functioneren van deze arts te verbeteren?

** EPA: Deze aios vertrouw ik de volgende kritische activiteit toe om zelfstandig uit te voeren.31



invloed aan van de mate waarin de beoor-delaar de arts kent. Voor bijna de helft vande vragen werden statistisch significanteverschillen gevonden, waarbij beoordelaarsdie de arts niet of niet goed kenden een posi-tievere beoordeling gaven dan beoordelaarsdie de artsen enigszins, goed of zeer goedkenden. Beoordelaars die de artsen nietgoed kenden vormden slechts een klein per-centage van alle respondenten (1.8%), enhet gemiddelde verschil in scores was ookklein (0.21). Dezelfde analyse van de vra-genlijst voor niet-medische collega’s toondeovereenkomstige resultaten met opnieuwerg kleine verschillen in de scores. De ver-gelijking van zelfbeoordelingen met beoor-delingen door peers, consulenten en verwij-zende artsen, en niet-medische collega’svertoonde weinig overeenstemming tussende twee categorieën. De artsen beoordeel-den zichzelf minder gunstig dan hun col-lega-professionals.

Naar aanleiding van de resultaten vanbovengenoemde studies laat men in demeeste MSF procedures de selectie vanbeoordelaars over aan de te beoordelenarts zelf. Om wel een zo groot mogelijkespreiding van perspectieven te verkrijgenbinnen een groep beoordelaars en te voor-komen dat veel vragen met ‘niet te beoor-delen’ worden ingevuld, wordt een aantalvoorwaarden voor de selectie van beoor-delaars geadviseerd:• Medische collegae: totaal minimaal zes

beoordelaars; in ieder geval beoordelingdoor minimaal twee stafleden van hetopleidingsteam (in ieder geval de hui-dige supervisor) en twee collega-aioswaarmee een langere periode is samen-gewerkt. Overige beoordelaars zijncoassistenten, medische collegae metwie men dienst (weekend/week) heeftgedraaid, consulenten en verwijzendartsen van andere disciplines, mits erregelmatig contact/sa men werking isgeweest.

• Andere werkers in de zorg: totaal mini-maal zes beoordelaars; in ieder gevalbeoordeling door minimaal drie ver -pleegkundigen. Bij voorkeur geen selec-tie van medische secretaresses of an -dere beoordelaars die weinig aanwezigzijn bij de patiëntenzorg.

• Patiënten: minimaal tien beoordelaars;liefst een gemengde patiëntenpopulatievan poliklinische en klinische patiëntenen patiënten waarmee meerdere contac-ten zijn geweest (minimaal twee).

De wijze waarop het gewenste totale aan-tal beoordelaars per groep wordt bepaald,wordt toegelicht in hoofdstuk 4 en hoofd-stuk 11C. Gezien het aantal beoordelaarsdat moet worden geselecteerd heeft het devoorkeur de aios wel voldoende tijd voorde selectie te geven. Voor de betrouwbaar-heid van de gegevens is een voldoendeaantal beoordelaars per groep nodig endit heeft een hogere prioriteit dan een zokort mogelijke verwerkingstijd (hoofdstuk10). In de Nederlandse studie is het haal-baar gebleken om in een periode vanminimaal twee maanden voldoende rele-vante beoordelaars te kunnen selecteren,mits de setting hiervoor geschikt is (op deIC is het selecteren van voldoende patiën-ten bijvoorbeeld niet haalbaar). Door deMSF procedure al eerder aan te kondigenen/of op te starten, bijvoorbeeld drie totmaximaal zes maanden tevoren, kan deaios ruim vóór het beoordelingsgespreknadenken over de vraag welke beoorde-laars relevant kunnen zijn om te selecte-ren. Door collegae aan het begin van eenklinische stage al te vragen of zij na eenbepaalde periode feedback willen gevenop het functioneren, krijgen zij de moge-lijkheid een aios gerichter te observeren.Juist omdat het bij MSF niet gaat omkorte observaties maar om een oordeelover het functioneren over een langeretijdsperiode is het belangrijk dat beoorde-



S19


In VIVO Richtlijn

laars hierover ruim tevoren zijn geïnfor-meerd. Dat voorkomt uitsluitend retro-spectieve en daardoor soms vervormdeoordelen. De kans dat voldoende patiën-ten en collegae kunnen worden geselec-teerd voor het geven van relevante, waar-devolle feedback wordt hiermee ookvergroot.

B. Benadering van de beoordelaars In de literatuur worden verschillendemanieren beschreven waarop beoorde-laars gevraagd kunnen worden door mid-del van vragenlijsten feedback te geven.Belangrijk is dat een zo groot mogelijkerespons wordt bereikt. Voor de benaderingvan de beoordelaars (vragen om deelnameen uitreiken van vragenlijsten) wordt somseen administratief bedrijf ingeschakeld als‘tussenpersoon’. De artsen wordt dangevraagd de namen, functies en adressenop te geven van een aantal geselecteerdebeoordelaars. Vervolgens worden de ver-schillende vragenlijsten opgestuurd naardeze beoordelaars.3-4 6 Het medium datgebruikt wordt heeft invloed op het ont-werp van de vragenlijsten en de snelheidwaarmee data verwerkt kunnen worden.Vragenlijsten kunnen op papier ingevuldworden, via intranet, telefoon of e-mail.Iedere benaderingswijze heeft voor- ennadelen. Bij gebruik van korte vragenlijs-ten kan voor telefonisch invullen met cij-fercodes gekozen worden, evenals bijpatiënten die analfabeet zijn. Wanneervoor het invullen op de computer wordtgekozen, dienen alle beoordelaars vol-doende toegang te hebben tot een compu-ter en eventueel intranet. Bovendien zaltechnische ondersteuning nodig zijn voorhet opzetten van digitale vragenlijsten envoor het ontwerpen van een computerap-plicatie voor het verzamelen en verwerkenvan de data. Wanneer niet aan deze voor-waarden kan worden voldaan, heeft invul-len met pen en papier of aan de hand van

een telefoongesprek de voorkeur.1 Pennyvergeleek pen en papier met elektronischesystemen en concludeerde dat demethode de consistentie van beoordelaarsniet beïnvloedde.33 Archer et al. beschre-ven een succesvol systeem waarin beoor-delingen centraal gescand worden in eencomputer, die vervolgens analyses uit-voert en een samenvatting maakt.3 Loc-kyer et al. onderzochten in 2006 de ver-schillen in responspercentage tussen hetgebruik van telefonische vragenlijsten,invullen via internet en invullen op papier.In de eerste twee groepen waren de artsenzelf verantwoordelijk voor verspreidingvan de vragenlijsten. De responspercenta-ges op papier waren 88% voor patiënten,94% voor andere werkers in de zorg, 91%voor medische collegae. De responsper-centages voor het invullen per telefoon ofinternet bedroegen respectievelijk 68% en32% voor patiënten, 62% en 38% voorandere werkers in de zorg en 57% versus43% voor medische collegae. De verschil-len in responspercentages worden deelsgewijd aan het minder toegankelijk zijn vaninternet op het platteland. Bij het invullenaan de hand van een telefoongesprek of viainternet waren de artsen verantwoordelijkvoor selectie van de bronnen. Dit kan geleidhebben tot een lagere respons, omdat dewerkdruk van artsen over het algemeenhoog is. De resultaten van de studie sugge-reren dat het invullen van vragenlijsten oppapier minstens even effectief is en tot eenhogere respons leidt dan technologischeverspreidingsmethoden. Ondersteuningvan artsen bij verspreiding van de vragen-lijsten speelt volgens de auteurs een kriti-sche rol in een succesvolle beoordelings -procedure.26 Payne waarschuwde ervoordat men soms teveel waarde hecht aanelektronische gegevens en numerieke sco-res en dat het gevaar van elektronische sys-temen kan zijn dat subjectieve gegevens alsobjectief worden weergegeven.34



In deze Richtlijn adviseren wij de aioszelf de beoordelaars te laten selecteren enom toestemming te vragen voor het toe-sturen van een vragenlijst per e-mail. Dithoeft weinig tijd te kosten, aangezien deaios zelf samenwerkt of contact heeft metrespectievelijk collegae en patiënten. Doorde artsen zelf de beoordelaars te latenbenaderen kan op persoonlijker wijzemedewerking worden gevraagd en wor-den de kosten van een ‘tussenpersoon’bespaard. Tevens is omwille van de haal-baarheid de keuze gemaakt voor een elek-tronische procedure met behulp van hetwebbased programma Multisourcefeed-back.nl. Dit programma is vanaf iederecomputer met internetverbinding te ope-nen met persoonlijke inloggegevens vooraios en opleiders. In het programma kun-nen aios na toestemming van de beoorde-laars de verkregen e-mailadressen invoe-ren. Beoordelaars kunnen de vragenlijstopenen via een link in de e-mail die zijautomatisch ontvangen nadat een aioshun e-mailadres heeft ingevoerd.

7. Anonimiteit/veiligheid van werkrelatie en arts-patiëntrelatie

Het invoeren van een procedure voorMSF kan een bedreiging betekenen voorzowel degene die beoordeeld wordt alsvoor de beoordelaar, maar ook de kwali-teit van de werkrelatie tussen arts enbeoordelaar kan gevaar lopen. Al in hetbegin van de implementatie moetendaarom garanties gesteld worden om derelaties tussen collegae en artsen enpatiënten te waarborgen.1 In een vroegstadium is dan ook de vraag gesteld hoeherkenbaar de bron mag zijn voor de aiosom enerzijds te zorgen voor voldoendeeerlijkheid bij het beoordelen en ander-zijds geen conflicten te veroorzaken tus-sen de aios en collega’s of de aios enpatiënten. In veel studies over MSF zijnde identiteit van de beoordelaars en hun

individuele scores alleen bekend bij deopleider (of bij degene die het feedback-gesprek voert). Onder andere in de studievan Whitehouse et al. wordt op het beoor-delingsformulier vereist dat de beoorde-laar zijn/haar naam invult en een handte-kening zet. De individuele scores wordengeaggregeerd en de aios weet dus alleendat de beoordelaar één van de beoorde-laars is die hij/zij heeft gekozen.

De auteurs geven drie belangrijke rede-nen waarom zij vinden dat de identiteitvan beoordelaars wél bekend moet zijn bijde supervisor. Ten eerste kan het voor desupervisor nodig zijn, om in gevallenwaarin een beoordelaar een onvoldoendeof sterk afwijkende score geeft, toelichtingte vragen of verder onderzoek te doen. Ditkan alleen wanneer de opleider weet wiede beoordelaar is. Ten tweede noemen deauteurs hun ervaring met gevallen waarbijbeoordelaars om persoonlijke, in plaatsvan professionele redenen, lage scoresgaven. Die wijze van beoordelen kan ont-moedigd worden door geen volledig ano-niem proces te kiezen, maar te zorgen datslechte scores herleidbaar zijn voor verderonderzoek. De derde reden die genoemdwordt voor het vragen om naam en hand-tekening is het voorkomen van fraude metde vragenlijsten. De auteurs geven wel aandat verder onderzocht moet worden of col-legae geremd worden in het geven van eeneerlijk oordeel over artsen wanneer zij nietvolledig anoniem zijn.35 Er is ook eenander argument dat pleit tegen anonimi-teit. Dat is de wens om een open commu-nicatiesfeer op klinische afdelingen tecreëren, mede in het kader van incident-meldingen.

Op basis van literatuurbevindingen endiscussies in het Utrechtse In VIVO kern-team wordt echter geadviseerd de indivi-duele scores die beoordelaars hebbengegeven niet rechtstreeks bekend temaken aan de aios. De aios krijgt alleen



S21


In VIVO Richtlijn

een gemiddelde score per groep beoorde-laars te zien; een slechte score zal nietherleidbaar zijn tot een individuele be-oordelaar. Geschreven opmerkingenworden per categorie beoordelaars weer-gegeven, zodat ook deze niet herleidbaarzijn tot een individuele persoon. Hier-voor dient het aantal beoordelaars dusminimaal twee te zijn. Geadviseerd wordtde supervisor wel inzage te geven in deindividuele scores en geschreven opmer-kingen. Er zal dan dus geen sprake zijnvan volledige anonimiteit. In een toelich-ting bij de vragenlijst kan aan beoorde-laars worden uitgelegd waarom dit hetgeval is. In hoofdstuk 13A wordt hetwaarborgen van de anonimiteit bij weer-gave van de MSF resultaten nader toege-licht.

8. De plaats van zelfbeoordeling in demultisource feedbackprocedure

Een primair doel van MSF is de mogelijk-heid voor aios om hun eigen beeld van hetfunctioneren te vergelijken met het beelddat anderen van hen hebben. Dit kanvooral nuttig zijn voor artsen die mindergoed functioneren en mogelijk weinigzelfinzicht hebben. Daar staat tegenoverdat het zelfvertrouwen van artsen, diezichzelf minder goed beoordelen, kan toe-nemen.4 Er zijn echter kanttekeningen teplaatsen bij het gebruik van zelfbeoorde-lingen. In veel studies worden slechte totmatige correlaties gevonden tussen zelf-beoordelingen en een beoordeling doorpeers, andere werkers in de zorg en doorsupervisors.10 12-13 23 26 Artsen schattenzichzelf over het algemeen lager in danhun beoordelaars. In een Canadese studieonder artsen met een buitenlands artsdi-ploma schatte echter 70% van de artsenzichzelf hoger in dan hun beoordelaars.26

Zelfbeoordeling of zelfreflectie in deopleiding is belangrijk, maar een zelfbe-oordeling vormt in onze visie geen onder-

deel van MSF. Het zelfbeeld ontstaat juistimmers mede op basis van de verkregenfeedback vanuit verschillende perspectie-ven. Zelfbeoordeling heeft dus een anderestatus dan externe beoordelingen envormt geen onderdeel van de 360 gradenwaarop een overall oordeel over een aiosis gebaseerd. Zelfbeoordeling is in hetalgemeen weinig betrouwbaar en valide,maar niettemin een vaardigheid die welontwikkeld moet worden.36 Een proce-dure van zelfbeoordeling kan wel heelgoed als aanvulling op MSF worden toe-gepast. Een mogelijkheid is om de aios,voorafgaand aan het voortgangsgesprek,de vragenlijsten voor collegae en patiën-ten over hun functioneren ook zelf telaten invullen. De zelfbeoordeling heeftdan als doel een vergelijking te vormenmet de scores die gegeven zijn door deverschillende groepen bronnen. Een grotediscrepantie in de resultaten kan eengebrek aan inzicht suggereren en verschil-len tussen de scores en eventuele redenenhiervoor kunnen dan besproken wordenmet de supervisor. Eventuele discrepan-ties kunnen verminderd worden door debeoordeelde aios duidelijker inzicht telaten krijgen in het gewenste gedrag. Totslot kan de zelfbeoordeling of visie van de aios op zijn/haar competenties eenbelangrijke en valide toevoeging zijn aanhet perspectief van de andere bronnen.Soms kunnen zelfs nieuwe aandachtspun-ten naar voren komen die niet door debeoordelaars zijn aangestipt.25

9. Frequentie en tijdstip van multisource feedback

De frequentie van MSF is afhankelijk vande haalbaarheid en tijdsinvestering perbeoordelingsronde. Om tot eventuele ver-betering van het functioneren te komenmoet er voldoende tijd bestaan tussen depeilingen. Frequenties van de beoordelingdie worden genoemd in de relevante lite-



ratuur variëren van eenmaal per vijf jaar 9

tot twee maal per jaar.37 Geadviseerdwordt het tijdstip van een MSF procedureaan te passen aan de (vernieuwde) oplei-dingsschema’s. Dit kan betekenen dat deprocedure niet ieder jaar, maar bijvoor-beeld alleen gedurende langere klinischestages wordt doorlopen. Desgewenst, enafhankelijk van het opleidingsschema,kan de MSF ook jaarlijks worden uitge-voerd. De aios en opleider kunnen ookbesluiten dit frequenter te doen; zeker bijtwijfel over functioneren is dit wenselijk.In het eerste jaar van de opleiding heefthet de voorkeur om de procedure in iedergeval éénmaal te doorlopen.

Voor een optimale effectiviteit zou deaios deze feedback zo snel mogelijk na debeoordeling moeten ontvangen en kunnenbespreken met de opleider. De korteomlooptijd van de beoordelingen leidt totvoldoende relevantie van de feedbackvoor dat moment. Wanneer de beoorde-ling pas na lange tijd wordt meegedeeldaan de aios, zal dit voor de aios mindermotiverend werken.1 Geadviseerd wordtde periode tussen het doorlopen van deMSF procedure en het meedelen van deresultaten niet langer dan een maand telaten zijn. Idealiter staat een week naafloop van een MSF-ronde een voort-gangsgesprek gepland.

10. Periode waarover beoordeeldwordt

De periode waarover een bepaalde beoor-delaar de aios feedback geeft, zal perbeoordelaar verschillen. Het is wenselijkdat de beoordeling van het functionerenvan de aios niet slechts op basis van éénenkele observatie plaatsvindt. In tegen-stelling tot KPB’s zal de beoordeling tenbehoeve van MSF een langere periodemoeten beslaan, van bijvoorbeeld mini-maal één maand samenwerking bij colle-gae en minimaal twee arts-patiëntcontac-

ten bij poliklinische patiënten of bij eenopname van minimaal drie dagen. Dezegetallen zijn zeer arbitrair, aangezien deperiode waarover beoordeeld wordtmeestal niet specifiek beschreven is in derelevante literatuur. In studies over MSFin het bedrijfsleven wordt een periode vanzes tot twaalf maanden op dezelfde werk-plek voldoende geacht om een beoorde-ling te kunnen geven.38 Dat lijkt lang vooreen opleidingssituatie, temeer omdat hetadvies om jaarlijks de MSF procedure uitte voeren juist is ingegeven door degedachte dat de aios zich in een jaar sub-stantieel ontwikkelt. Een observatie -periode van één tot drie maanden wordtdaarom geadviseerd. In de meeste studiesdie verricht zijn in medische settingswordt ook beschreven dat de beoorde-laars gedurende een langere periode moe-ten hebben samengewerkt met degene diezij moeten beoordelen. In de instructievoor de aios wordt benadrukt dat hetbelangrijk is dat de aios beoordelaarsselecteert waarvan hij/zij het idee heeftdat zij relevante feedback kunnen geven.

Op de vragenlijsten voor collegae wordtgevraagd naar de periode waarover zijhun mening geven (week, maand, > 1maand, > 3 maanden). Tijdens de ver-richte studie heeft 92% van de collegaehun feedback gebaseerd op een periodevan minimaal een maand of langer. Hetlijkt dus haalbaar om een minimaleperiode van één maand als voorwaardevoor een beoordeling te stellen. De aioszal over het algemeen een aantal maan-den op een afdeling werken. Wanneer ereenmaal per jaar MSF wordt gegeven zaler over het algemeen voldoende mogelijk-heid zijn om beoordelaars te vinden diede aios gedurende een langere periodehebben meegemaakt. Overigens zullen er,ongeacht de periode waarover iemand deaios beoordeelt of de mate waarin debeoordelaar de aios kent, altijd beoorde-



S23


In VIVO Richtlijn

laars zijn die niet alle vragen kunnenbeoordelen, omdat zij niet alle aspectenhebben kunnen observeren.

Bij patiënten ligt dat anders. Voor debeoordeling door patiënten gaat het nietzozeer over welke periode wordt beoor-deeld, maar is een voldoende aantal con-tacten met de arts van belang om de ver-schillende aspecten van het functionerente kunnen beoordelen. Sommige vragenkunnen bijvoorbeeld alleen worden beant-woord nadat er meerdere contacten heb-ben plaatsgevonden tussen arts en patiënt(bijvoorbeeld deze arts komt gemaaktebeloften en/of afspraken na). Bij patiëntenkan daarom beter worden gevraagd naarhet aantal contacten dat heeft plaatsge-vonden met de aios. Het aantal contactentussen arts en patiënt varieerde in onzepilotstudie van 1 tot >10, met een gemid-delde van 5,3 voor de Kindergeneeskundeen 3,6 voor de Gynaecologie. Dit is deelste verklaren door een groter aantal poli-klinische patiënten in de Gynaecologie-populatie. Vooral van de patiënten dieslechts éénmaal contact hadden gehadmet de aios, bleken een groter deel van devragen met ’NVT’ te hebben ingevuld. Een aantal maal worden opmerkingengemaakt als: ‘dit moet nog blijken’, ‘kan ikna één afspraak nog niet beoordelen’, etc.Het lijkt wenselijk dat patiënten wordengeselecteerd die minimaal twee contactenhebben gehad met de arts, echter de haal-baarheid hiervan is afhankelijk van deopleiding, setting en lengte van de klini-sche stages.

De periode die beoordelaars krijgen omde vragenlijsten in te vullen en te retourne-ren wordt in de meeste artikelen over MSFniet beschreven. Violato et al. en Davisbeschrijven dat in hun studies een periodevan twee weken voldoende was voor hetinvullen en retourneren van de vragenlijs-ten.10 23 Idealiter wordt de beoordelings-procedure zo ontworpen dat de feedback

zo snel mogelijk na het invullen van devragenlijsten wordt ontvangen door debeoordeelde arts. Een snelle verwerkings -tijd waarborgt het nut van de feedback enstimuleert de motivatie van de beoor-deelde artsen.38 Het invullen van de vra-genlijsten hoeft niet meer dan tien minu-ten te kosten en liefst worden deze nogdezelfde dag ingevuld en opgestuurd. Inde digitale procedure wordt de beoorde-laars gevraagd binnen een week de vra-genlijst te voltooien.

Door de MSF procedure zo vroeg moge-lijk aan te kondigen en/of op te starten,drie tot maximaal zes maanden tevoren,kan de aios ruim voor het beoordelingsge-sprek al collegae vragen of zij over eenbepaalde tijd feedback willen geven opzijn/haar functioneren. Collegae krijgenhierdoor de mogelijkheid een aios gerich-ter te observeren en kunnen daardoor mo-gelijk meer relevante en waardevolle feed-back geven en hoeven zich niet alleen opretrospectieve oordelen te baseren.

11. Ontwerp van geschikte beoordelingsinstrumenten

A. Uniformiteit vragenlijsten In sommige studies wordt eenzelfde for-mulier beschreven voor gebruik door allebeoordelaars (peers, andere werkers in dezorg, consulenten). In verschillende (pilot)studies wordt echter beschreven dat hetgebruik van verschillende vragenlijsten,aangepast voor de te ondervragen bron,een hogere betrouwbaarheid en validiteitheeft. Een nadeel van het gebruik vanmeerdere vragenlijsten is echter dat gege-vens moeilijker geaggregeerd kunnen wor-den. Voor de groepen medische collegaeen andere werkers in de zorg is in onzeeerste pilotstudie gebruik gemaakt vandezelfde vragenlijsten, met als doel eeneenvoudigere verwerking van de gegevensen analyses. Naar aanleiding van een eva-luatie van de vragenlijsten door beoorde-



laars en de deelnemende aios zijn de vra-genlijsten aangepast. De tweede versievan de vragenlijsten voor medische enandere werkers in de zorg bevatten 19overeenkomstige vragen (zie hoofdstuk11B, voor nadere toelichting).

In studies over MSF waarbij patiëntenbetrokken zijn in de procedure zijn speci-fieke vragenlijsten ontworpen voor dezecategorie. Vaak komen de vragen aanpatiënten wat betreft de inhoud groten-deels overeen met de vragen aan collegae.Er bestaan echter ook altijd specifiekevragen die alleen aan patiënten gesteldkunnen worden. Het lijkt de auteurs wen-selijk om voor patiënten een aparte vra-genlijst te gebruiken, aangezien zij decompetenties communicatie en professio-naliteit vanuit een ander perspectief kun-nen beoordelen dan collegae. Over beidegebieden worden acht vragen gesteld aanpatiënten. Het resultaat van de doorpatiënten ingevulde vragenlijsten zal duseen gemiddelde score leveren voor decompetenties communicatie en professio-naliteit, gezien vanuit het perspectief vanpatiënten.

Op basis van literatuuronderzoek, resul-taten van de pilotstudie en overleg metexperts zijn drie verschillende vragenlijs-ten ontworpen. Alle groepen beoordelaarswordt gevraagd naar tips of opmerkingenom het functioneren van de arts te verbe-teren. De vragenlijsten zijn onderzocht ophun validiteit en betrouwbaarheid, zoalsbeschreven in hoofdstuk 11C, waarna zijverder zijn aangepast. Voor de inhoud vande vragenlijsten wordt verwezen naar Bij-lage II van deze Richtlijn, waarin de aan-gepaste vragenlijsten voor iedere categoriezijn opgenomen.

B. Type vragen en beoordelingsschaal Een noodzakelijke stap in de ontwikkelingvan beoordelingsinstrumenten is het bepa-len van het te meten domein of gedrag.

Wanneer men besluit professionaliteit te meten, moet er bijvoorbeeld naargestreefd worden alleen dat ‘concept’ vangedrag te meten en niet iets anders (zieparagraaf C, voor meer toelichting opinhouds- en constructvaliditeit). De vragenzelf moeten dus overeenkomen met het temeten concept of construct en het liefstgebaseerd zijn op een theoretische onder-bouwing, zoals bij de in de VS, Canada enhet Verenigd Koninkrijk gebruikte formu-lieren (zie Tabel in Bijlage I). Omdat mente maken heeft met professionals en hunoordeel over anderen, is input van de‘eindgebruikers’ over de inhoud en formu-lering van de beoordelingsinstrumentenbelangrijk. Deze input kan men bijvoor-beeld verkrijgen door focusbijeenkomstenof enquêtes te houden. Door het evaluerenvan de vragenlijsten met de verschillendegroepen gebruikers kunnen de vragensteeds meer worden aangepast aan wat inde praktijk beoordeeld kan worden en aanwat de aios graag beoordeeld ziet door deverschillen de groepen. Aanpassingen inbijvoorbeeld de formulering van de vragenkunnen als ontwikkelings proces wordengezien. Door het opdoen van ervaring metde vragenlijsten zullen beoordelaars hiermeer gerichte feedback op kunnen geven.1

Vragen aan patiënten dienen logischer-wijs anders geformuleerd te worden danvragen aan collegae. Niet alleen gaan devragen over andere aspecten van het func-tioneren, zij moeten ook in eenvoudigerebewoordingen worden gesteld en uitgaanvan het perspectief van de patiënt. Het isuiteraard belangrijk vragen te stellen overgedrag dat door patiënten geobserveerdkan worden. De patiënt zal bijvoorbeeldgeen goed oordeel kunnen vormen over deintercollegiale samenwerking of over decompetentie kennis en wetenschap. Pervraag moet slechts naar één aspect van hetfunctioneren worden gevraagd. Belangrijkis dat ook een categorie: ‘niet te beoorde-



S25


In VIVO Richtlijn

len’ of ‘geen mening’ wordt toegevoegd, ditom te voorkomen dat beoor delaars eenongefundeerde uitspraak doen.10 23 Er isgeen ‘juist’ aantal of type antwoordmoge-lijkheden op een schaal te noemen, wel isinformatie beschikbaar over de factorendie de selectie van een schaal kunnenbeïnvloeden.39

Sommige auteurs beschrijven een aan-passing van de beoordelingsschaal na eva-luatie. Bij het instrument van Hesketh etal. werd een vierpuntsschaal voor kwali-teit gebruikt (excellent, good, satisfactory,requires help/attention) en was er eencategorie ‘niet van toepassing’. Een na deelvan deze schaal bleek dat er slechts één categorie bestond voor onvoldoendebeoordelingen (alleen requires help/attention), waardoor beoordelaars min-der snel geneigd zijn deze categorie aan tekruisen (lijkt op pass-fail beoordeling).Een beter alternatief dat wordt genoemdis een vijfpuntsschaal met als vijfde cate-gorie: ‘poor’.5 Tabel 5 toont een aantalvoorbeelden van mogelijke beoordelings-schalen voor MSF.1 9

Voor een gemakkelijke verwerking envergelijking van scores adviseren wij omvoor alle vragenlijsten stellingen te gebrui-ken, die te beantwoorden met een vijf-punts Likertschaal, bestaand uit catego-rieën voor de mate van overeenstemming(eens/oneens), ‘niet te beoordelen’ of ‘nietvan toepassing’. De stellingen in het pro-gramma Multisourcefeedback.nl zijn geba-seerd op de CanMEDS rollen die door deKNMG zijn aangepast tot zeven algemenecompetentiegebieden van de medischespecialist,30 verdeeld in vier subcompeten-ties. Zoals eerder beschreven is een keuzegemaakt voor een aantal competenties.Voor de stellingen zijn zoveel mogelijk dedoor de KNMG gebruikte bewoordingengehanteerd. Waar nodig zijn subcompe-tenties omgezet in een beschrijving vanspecifiek gedrag.

Open vragen, bijvoorbeeld: ‘wat vindt ueen zeer positief aspect van het functione-ren van deze arts-assistent?’ geven vaakwaardevolle informatie over de contextwaarin kwantitatieve gegevens geïnterpre-teerd worden; ook hebben veel deelnemers

Tabel 5. Voorbeelden van antwoordschalen.

Type Categorieën

Eens met Sterk Oneens Niet eens/ Mee eens Sterk (Onvoldoende stellingen oneens niet oneens mee eens informatief)

Frequentie Nooit Soms Meestal Altijd (Niet van toepassing)

Verwach tingen Voldoet Voldoet Overtreftniet aan ver- aan ver- verwachtingwachting wachting

Kwaliteit Onvoldoende Voldoende Goed Excellent

Vergelijking Hoort bij de Hoort bij Gemiddeld Hoort bij Hoort bij met andere slechtsten onderste bovenste de bestenartsen helft helft



in eerdere studies aangegeven dat zegeschreven opmerkingen de meest zin-volle aspecten van MSF vinden. Higginsbeschrijft in 2004 vragenlijsten met 45gesloten vragen en drie open vragen: 1)Wat zijn de sterkste punten van deze arts?2) Welke specifieke aanpassing(en) in hetgedrag zullen het meeste voordeel opleve-ren? en 3) Welke andere opmerkingenheeft u, die de arts mogelijk kunnen hel-pen bij het verbeteren en/of ontwikkelenvan zijn/haar functioneren?37 Uit de resul-taten van de Nederlandse studie kan ookgeconcludeerd worden dat kwalitatieve op-merkingen voor de aios van grote waardezijn. Iedere categorie beoordelaars wordtdan ook gevraagd naar één of meer tips ofopmerkingen om het functioneren van dearts (nog meer) te verbeteren.

Het gebruik van kwantitatieve vragen-lijsten bij MSF heeft als voordeel dat rela-tief gemakkelijk aanpassingen gedaankunnen worden, vooral wanneer de vra-genlijsten voor een formatief doeleindegebruikt worden.1 In veel studies wordtbeschreven dat de beoordelingsinstru-menten vaak meerdere keren aangepastworden. Violato beschrijft in 2006 eenevaluatie van vragenlijsten, die zijn inge-vuld om kinderartsen in opleiding tebeoordelen. Wanneer bij items door meerdan 20% van beoordelaars ‘niet te beoor-delen’ was ingevuld, werden deze vragenveranderd of weggelaten in een volgendeversie van de formulieren.11 Ook voordeze Richtlijn is deze aanpak gebruiktvoor verdere aanpassing van de vragen-lijsten. In de in Nederland verrichte studiebleken drie vragen aan medische collegaeen twee vragen aan andere werkers in dezorg door meer dan 20% van de respon-denten te zijn beantwoord met ‘niet tebeoordelen’. Deze vragen zullen in eenvolgende versie worden aangepast. Voorgeen van de vragen aan patiënten werd ditpercentage gehaald.

C. Validiteit en betrouwbaarheid van devragenlijsten

In deze paragraaf worden de begrippeninhouds- en constructvaliditeit en be -trouwbaarheid toegelicht. Vervolgensworden de resultaten van onze studie opdeze aspecten besproken.

In MSF procedures moet het bewijsvoor validiteit opgebouwd worden om tebepalen of de beoor delingsinstrumentenhet vermogen hebben te meten wat zebehoren te meten. Het onderzoeken vande validiteit van de instrumenten is eencontinu doorlopend proces. De totale vra-genlijsten, de verschillende factoren en desubscores per competentie worden hierbijgeanalyseerd. Omdat ook de score pervraag van belang kan zijn voor reflectie envoor het opstellen van een actieplan,wordt de validiteit van iedere losstaandevraag getoetst.1 De content validity ofinhoudsvaliditeit van een instrumentbepaalt of de toetsmethode representatiefis voor het gehele competentiegebied datmen wil meten. Deze inhoudsvaliditeitwordt in de regel gecreëerd bij de con-structie van het instrument. In dit geval ishet raamwerk van de CanMEDS compe-tenties hiervoor gebruikt (zie hoofdstuk11B). Constructvaliditeit staat voor demate waarin het meetinstrument het con-struct (de competentie) meet dat men wilmeten. Om te bepalen of hetzelfde con-struct wordt gemeten met de verschil-lende vragenlijsten kunnen correlatiestussen de scores van verschillende catego-rieën beoordelaars berekend worden.Men verwacht dan lagere correlaties tus-sen methodes die verschillende construc-ten meten, en hogere correlaties tussenmethoden die verondersteld worden het-zelfde te meten. Een hoge correlatie kaner ook op wijzen dat hetzelfde wordtgemeten met twee verschillende metho-des, waardoor één van de beoordelings-methodes mogelijk achterwege kan blij-



S27


In VIVO Richtlijn

ven. Tevens kunnen correlaties aantonenof gegevens van verschillende groepenbeoordelaars juist verschillende en moge-lijk aanvullende informatie opleveren.Matige correlaties (r = .30 to .50) kunnenerop duiden dat met de nieuwe maniervan beoordelen andere competenties wor-den beoordeeld dan met bestaandemethoden. Johnson en Cujec correleerdenbijvoorbeeld cognitieve kennistoetsen metbeoordelingen door collega-artsen en ver-pleegkundigen om te bepalen of dezebeoordelingen overeenkwamen.24 Lipneret al. correleerden hun data met eerderebeoordelingen van de algemene klinischecompetenties door opleiders.13 Zelfbeoor-deling en beoordeling door peers, evenalsbeoordelingen door verpleegkundigen,worden ook vaak aan elkaar gecorreleerd.Correlatiestudies in medische settingshebben aangetoond dat zelf-versus peer-beoordeling lage of niet-significante cor-relaties oplevert (r < .25), terwijl collegaeversus andere groepen collegae meestalmatig correleren.8 20 24 Deze gegevensbevestigen het belang van het verkrijgenvan gegevens uit verschillende groepenbeoordelaars.1 Een hoge correlatie tussenbeoordelingen van de verschillende cate-gorieën zou erop duiden dat beoordelingdoor slechts één van de categorieën vol-staat.

Behalve het bepalen van de validiteitvan vragenlijsten is het van belang de be-trouwbaarheid te meten. Hoewel de be-trouwbaarheid van vragenlijsten op ver-schillende manieren bepaald kan worden,wordt meestal in eerste instantie deinterne consistentie van het gehele instru-ment bepaald met Cronbach’s alpha. Metdeze methode kan bepaald worden in hoe-verre verschillende items in een meetin-strument die eenzelfde kenmerk beogente meten, dat ook daadwerkelijk doen. Deinterne consistentie van het meetinstru-ment is groot, als alle met dit doel opge-

nomen vragen hetzelfde kenmerk meten.Voor toepassingen van MSF in medischesettings is aangetoond dat met gegevensdie verkregen zijn met behulp van vragen-lijsten, hoge waarden voor interne consis-tentie kunnen worden bereikt. Met debeoordelingsinstrumenten gebruikt doorhet CPSA-PAR Programma zijn bijvoor-beeld Cronbach’s alpha waarden vanboven 0.90 bereikt.8-11 40

Als tweede of alternatieve bepaling vande betrouwbaarheid van een beoorde-lingsinstrument wordt in veel studies degeneraliseerbaarheidstheorie toegepast.Deze benadering maakt een schattingmogelijk van de betrouwbaarheid met eenverschillend aantal beoordelaars en ver-schillende aantallen vragen door het aan-tal beoordelaars te variëren.8-11 13 40 Inhoofdstuk 4 is dit type onderzoek en deresultaten van verschillende onderzoekenreeds toegelicht.

Voor de start van het implementatiepro-ces behoren de beoordelingsinstrumentendus op meerdere wijzen getoetst te wor-den. Over het algemeen geldt dat hoezwaarder de beoordeling meeweegt, hoebelangrijker het is om voldoende bewijs televeren voor de betrouwbaarheid envaliditeit van de instrumenten.1

D. Resultaten studie OOR Utrecht enAmsterdam

Met het eerder beschreven webbased pro-gramma is een pilotstudie verricht onder70 aios Kinder genees kunde en Gynaeco -logie/Obstetrie in de OOR Utrecht enAmsterdam (VU en UvA). Bij in totaal drieacademische en acht perifere ziekenhui-zen tussen juni en augustus 2008 werdentotaal 1016 vragen lijsten ingevuld (zieTabel 6). Deze studie was gericht op hetbepalen van de betrouwbaarheid en validi-teit van de vragenlijsten in deze Richtlijnen het bepalen van het gebruiksgemak ende haalbaarheid van de procedure. Gemid-



delde scores en responspercentages wer-den bepaald en de interne consistentie enintraclass correlaties werden berekend. Deresultaten van de evaluatie van de haal-baarheid en het gebruiksgemak van deprocedure volgen op korte termijn.

Gezien de eerste resultaten en het lagepercentage gemelde problemen met hetwebbased programma (1%) lijkt de con-clusie gerechtvaardigd dat de procedureop grote schaal haalbaar is. Er was sprakevan voldoende bereidheid tot medewer-king; er wordt weinig tijdsinvesteringgevraagd van de betrokkenen en de infor-matie is rijk gebleken. Responspercenta-ges (aantal beantwoorde uitnodigingen)bedroegen 90, 87 en 72% voor respectie-velijk medische collegae, andere werkersin de zorg en patiënten. Ook het aantalgegeven tips en opmerkingen, die aiosvaak zeer zinvol achten, was hoog: 62%voor patiënten tot 79% voor medische col-legae. Van de 70 aios die deelnamen aan

de studie hadden echter slechts 16 aioseen complete dataset van minimaal zesmedische collegae en zes andere werkersin de zorg. De belang rijkste reden voor hetlage gemiddelde aantal beoordelaars diedoor aios is gemeld, is de korte periode dieaios kregen voor het verzamelen van deMSF van 22 beoordelaars. Deze pe ri o debedroeg zes weken en vond daarnaastplaats aan het begin en tijdens de zomer-periode. Aios die op de IC (Kindergenees-kunde) werkten, net waren gewisseld vanafdeling of op veel wisselende afdelingenwerkten, meldden problemen met het vin-den van voldoende beoordelaars. In hetbegin van de studieperiode bleek er ookenige weerstand bij het vragen van patiën-ten, enerzijds tegen het vragen van feed-back op hun functioneren, anderzijds tegenhet vragen om een e-mailadres. Positievereacties van andere aios en/of het gevenvan nadere informatie over MSF/de proce-dure heeft tot een toename van het aantal


Tabel 6. Gedetailleerde resultaten respons MSF pilotstudie.

Totaal aantal Totaal aantal Gemiddeld Medische Andere Patiëntenaios (%) beoor delaars aantal be- collegae werkers in (respons, %)

(respons, %) oorde laars (respons, %) de zorg(range) (respons, %)

Gemiddelde Gemiddelde Gemiddeldeper aios per aios per aios (range) (range) (range)

Totale respons 70 (78%) 1016 (83%) 14,5 (5-29)420 (89,9%) 338 (86,9) 256 (71,7%)

6,0 (2-11) 4,8 (1-14) 3,7 (0-11)

Aios Kinder-33 (47%) 504 (84%) 15,3 (8-29)

190 (88,8%) 165 (89,2%) 147 (72,8%)genees kunde 5,8 (2-10) 5,0 (1-14) 4,5 (0-11)

Aios Gynae -230 (90,9%) 173 (84,8%) 109 (70,3%)

cologie/ 37 (53%) 512 (84%) 13,8 (5-25)6,2 (3-11) 4,7 (0-7) 3,0 (0-10)

Obstetrie


S29


In VIVO Richtlijn

uitnodigingen geleid in het tweede deelvan de studieperiode. Voor de verzamelpe-riode wordt naar aanleiding van dezeresultaten drie maanden geadviseerd.

Over de beoordelingen van deze colle-gae op overeenkomstige vragen over éénaios werden intraclass correlaties (ICC)berekend voor de scores van alle collegaesamen en voor de twee groepen apart. InTabel 7 worden deze ICC’s weergegeven ineen correlatiematrix. Deze tabel bevatICC’s van beoordelingen van 16 aios, gege-ven door totaal minimaal 12 collegae opovereenkomstige vragen voor medischeen andere werkers in de zorg. Over debeoordelingen door patiënten zijn geenICC’s berekend aangezien er geen over-eenkomstige vragen aan collegae werdengesteld.

In deze voorlopige versie van de Richt-lijn zijn, tot een nadere aanvulling volgt,de resultaten van de eerste pilot weergege-ven in een matrix (Tabel 7). In deze matrixzijn de correlaties die als hoog zoudenmoeten gelden volgens bovenstaandehypothese gearceerd. Uit de matrix is op temaken dat de correlaties van dezelfdeCanMEDS constructen vanuit de perspec-tieven van medici, niet-medici en patiën-ten niet consequent hoger zijn dan corre-laties van verschillende constructenbinnen de categorieën of over de catego-rieën van beoordelaars. Bovendien zijn decorrelaties tussen de categorieën nergenshoog, met uitzondering van ‘organisatie’.Met andere woorden: de perspec tieven vanmedici, niet-medici in de zorg en vanpatiënten op dezelfde competentiegebie-den zijn klaarblijkelijk verschillend, zoalsgemeten met deze vragenlijsten, met uit-zondering van het competentiegebied or-ganisatie. Deze resultaten komen overeenmet eerdere verrichte studies.1-2

Zoals in Tabel 8 is weergegeven is deinterne consistentie (Cronbach’s alpha)

van afzonderlijke competentiegebiedenvoor beoordelaarsgroepen, voor zover dezeberekenbaar was, voldoende voor uitspra-ken per competentiegebied, c.q. per rap-portage van scores per competentiegebied.

12. Logistieke verwerkingUit de relevante literatuur blijkt dat vooreen voldoende haalbaarheid van de proce-dure de tijdsinvestering van alle betrokke-nen niet te hoog moet zijn. Zoals beschre-ven in hoofdstuk 6, de benadering vanbronnen, maken medische organisaties inhet buitenland veelal gebruik van elektro-nische programma’s dan wel van eenextern onderzoeksbureau voor de uitvoe-ring van MSF procedures. De MSF proce-dure, zoals voorgesteld in deze richtlijn, isop enige schaal slechts uitvoerbaar meteen elektronisch programma dat adminis-tratie en gegevensverwerking voor zijnrekening neemt. Het programma Multi-sourcefeedback.nl is met steun van hetCBOG tot stand gekomen en is vervaar-digd om toegepast te kunnen worden inalle medische vervolgopleidingen inNederland. Met dit webbased programmakunnen: • opleiders de feedbackprocedure voor

aios in gang zetten en monitoren;• aios uitnodigingen versturen naar be -

oor delaars;• beoordelaars vragenlijsten invullen;• geanonimiseerde feedbackrapporten

wor den geraadpleegd door aios en op -lei ders;

• opleiders ingevulde vragenlijsten volle-dig inzien.

In Figuur 1 is de procedure zoals deze ver-loopt met behulp van Multisourcefeed-back.nl in een stroomdiagram weergege-ven.




Tabe

l 7.

Mul

ti-T

rait-

Mul

ti-M

etho

d co

rrel

atie

mat

rix M

SF p

ilots

tudi

e.

Med

isch

e co

llega

eCo

mm

Sam

enw

Org

anis

K&

WPr

ofEP

A

Med

isch

eC

omm

1.00

0.86

0.65

0.83

0.81

0.73

colle

gae

Sam

enw

0.86

1.00

0.68

0.63

0.55

0.57

Org

anis

0.65

0.68

1.00

0.67

0.67

0.53

K&

W0.

830.

630.

671.

000.

840.

42Pr

ofes

s0.

810.

550.

670.

841.

000.

67EP

A0.

730.

570.

530.

420.

671.

00

And

ere

wer

kers

in d

e zo

rgCo

mm

Sam

enw

Org

anis

K&

WPr

ofEP

A

And

ere

Com

m0.

440.

280.

500.

250.

390.

571.

000.

900.

870.

750.

890.

79w

erke

rsSa

men

w0.

460.

280.

490.

260.

480.

620.

901.

000.

870.

620.

800.

67in

de

zorg

Org

anis

0.60

0.46

0.79

0.49

0.60

0.61

0.87

0.87

1.00

0.76

0.91

0.60

K&

W0.

260.

030.

430.

240.

260.

480.

750.

620.

761.

000.

800.

77Pr

ofes

s0.

400.

340.

600.

210.

330.

490.

890.

800.

910.

801.

000.

59EP

A0.

08-0

.22

0.21

0.01

0.16

0.41

0.79

0.67

0.60

0.77

0.59

1.00

Pati

ënte

nCo

mm

Prof

Pati

ënte

nC

omm

0.03

-0.1

4-0

.08

-0.2

2-0

.05

0.25

0.30

0.22

0.09

0.13

0.05

0.62

1.00

0.97

Prof

ess

0.03

-0.1

1-0

.01

-0.2

3-0

.08

0.30

0.29

0.16

0.12

0.22

0.10

0.62

0.97

1.00


S31


In VIVO Richtlijn

A. Logistieke taken voor (plaatsvervan-gende) opleiders

Zowel academische als perifere (plaats-vervangende) opleiders kunnen een ac-count aanvragen bij de beheerder van hetprogramma met vermelding van naam,instelling, specialisme en te gebruiken e-mailadres. De (plaatsvervangende) oplei-

der moet geregistreerd staan bij deberoepsvereniging. Met de per e-mail ont-vangen persoonlijke inloggegevens kanworden ingelogd op de homepage van hetprogramma, waar een handleiding te vin-den is voor (plaatsvervangende) opleiders.Aios moeten door de opleider eenmaligworden geregistreerd met hun geboorte-

Tabel 8. Interne consistentie vragenlijsten MSF pilotstudie.

Vragenlijst/categorie Competentiegebied Cronbach’s αMedische collegae Medisch handelen 0.72

Communicatie 0.73Samenwerking 0.80Organisatie 0.72Kennis en wetenschap 0.64Professionaliteit 0.85

Andere werkers in de zorg Communicatie 0.85Samenwerking 0.84Organisatie 0.79Professionaliteit 0.86

START MSF-RONDE:De opleider vult 3 tot 6 maanden tevoren een datum voor eenvoortgangsgesprek in

Aios ontvangt e-mails:1. instructies voor MSF & link naar website2. gebruikersnaam & wachtwoord

Na toestemming vancollegae & patiëntenvult aios e-mailadresin en verzendt eenlink naar vragenlijst

Inzage opleider in verloop MSF, kan reeds voltooide vragenlijsten openen

Inzage in feedbackrapport voor aios &opleiders: gemiddeldescores & anoniemeopmerkingen

Beoordelaar ontvangte-mail met instructies & link om vragenlijst te openen en in te vullen

Automatische &verwerking van resul-taten

Inzage aios in verloopvan respons, kan extra beoordelaarsuitnodigen/herinneren

Opleider bespreektresultaten met aios

Figuur 1. Stroomdiagram.



datum, opleidingsjaar en e-mailadres.Eventueel kan deze administratieve taakworden overgedragen aan een secreta-resse. Wanneer een aios wordt toegevoegdworden automatisch inloggegevens ver-stuurd naar de aios en is zijn/haar accountgeactiveerd. Afhankelijk van de werkplekkan een MSF ronde worden gestart doorde perifere of de academische opleider. Ditdient maximaal zes maanden en minimaaltwee maanden vóór het gesprek te gebeu-ren, zodat de aios genoeg tijd heeft om vol-doende beoordelaars te selecteren. Nadatde procedure is gestart ontvangt de aiosautomatisch een e-mail met instructievoor het uitvoeren van de procedure eneen link naar de site om beoordelaars uitte nodigen. In Box 2 is de inhoud van dezee-mail weergegeven.

B. Logistieke taken voor aios Aios kunnen hun opleider vragen naar demogelijkheid van het gebruik van Multi-sourcefeedback.nl. Zodra aios zijn toege-voegd in het programma, ontvangen zijpersoonlijke inloggegevens. Na het star-ten van een MSF ronde door de opleiderontvangen aios bovenstaande e-mailzodat zij beoordelaars kunnen uitnodigenhen feedback te geven. Dit kan door het e-mailadres van collegae en patiënten inte voeren, nadat de aios om hun toestem-ming voor medewerking hebben gevraagd(zie later). Wanneer er geen e-mailadres iskan de aios zo nodig het eigen e-mailadresinvullen, of dat van een afdelingssecreta-resse. De direct ontvangen e-mail bevatnaast een link naar de vragenlijst ookinloggegevens. Door de e-mail uit te prin-ten en bijvoorbeeld aan een patiënt mee tegeven kan diegene met deze gegevensvanaf een willekeurige computer metinternetverbinding de vragenlijst openenvia de website. Tijdens een MSF rondekunnen aios in hun persoonlijke accountzien wie al geantwoord heeft (niet hun

antwoorden) en zo nodig nieuwe beoor-delaars uitnodigen of herinneringen ver-sturen. Op de homepage zijn instructiesvoor de aios en een toelichting voorbeoordelaars te vinden. Het samenvat-tende feedbackrapport dat na afloop vaneen MSF ronde beschikbaar is op de web-site, kan geprint worden voor een hand-matig portfolio.

C. Afronden van de feedbackprocedure De procedure wordt automatisch éénweek vóór de datum van het voortgangsge-sprek afgerond. Dan wordt een feedback-rapport opgemaakt, ter inzage voor zowelde aios als de opleider. Bij eventuele (logis-tieke) problemen tijdens de ‘verzamelpe-


Geachte mevrouw/de heer aios,

Volgens de opgave die is ontvangen heeft u op dd-mm-jjjja.s. een voortgangsgesprek. Ter voorbereiding hierop dienteen Multi-Source Feedback procedure te worden uitge-voerd.Het is hiervoor noodzakelijk dat u een aantal personen uituw omgeving vraagt om u met behulp van een vragenlijstfeedback te geven op uw functioneren: a. zes tot acht medische collegae (minimaal één staflid en

één collega aios) b. zes tot acht andere werkers in de zorg (minimaal twee

verpleegkundigen) c. tien tot twaalf patiënten van de polikliniek of afdeling

die u minimaal twee keer gezien heeft

U wordt verzocht om uiterlijk één week voor het voort-gangsgesprek alle e-mailadressen op te geven van debetreffende collegae en patiënten. U kunt dit doen doorop de onderstaande link te klikken. De beoordelaars ont-vangen van ons een korte vragenlijst. U kunt op de websitewww.multisourcefeedback.nl zien welke beoordelaars uhebt uitgenodigd en wanneer een vragenlijst is voltooid.Ook kunt u beoordelaars een herinnering versturen of debeoordelaar verwijderen voordat de vragenlijst is voltooid.Uiterlijk vier dagen voor het voortgangsgesprek is op dewebsite voor u en uw opleider een overzicht te zien van degemiddelde scores en gegeven tips onder ‘Voltooide feed-backprocedures’. MSF link: Klink hier om collegae enpatiënten uit te nodigen.

Met vriendelijke groeten, Beheerder MSF

Box 2. Instructie voor uitvoering procedure.


S33


In VIVO Richtlijn

riode’ kan verlenging van deze periodenodig blijken; aan de opleider kan dangevraagd worden de datum naar voren teschuiven. Verlenging is dus alleen moge-lijk wanneer de datum in Multisourcefeed-back.nl wordt gewijzigd door de opleider.

D. Inzage in vertrouwelijke gegevens enbewaartermijn

Het programma is een beveiligde websitewaartoe alleen toegang wordt verkregenmet inloggegevens die beheerd wordendoor de programmabeheerder. Zowelopleiders als aios hebben een persoonlijketoegang. Alleen de opleider die de MSFronde heeft gestart, heeft inzage in deafzonderlijke vragenlijsten die tijdens eenMSF ronde zijn ingevuld. Academischeopleiders hebben inzage in de gegevens en feedbackrapporten van de aios uitzijn/haar OOR. Perifere opleiders hebbenalleen inzage in de feedbackrapporten vanaios die op dat moment werkzaam zijn inhun instelling.

13. Van multisource feedback naarconcrete feedback

A. Weergave van de multisource feedback

De resultaten van de beoordelingen kun-nen op verschillende manieren wordenweergegeven.

In veel bestaande MSF procedures wor-den de scores van verschillende beoorde-laars geaggregeerd, ofwel samengevatweergegeven voor de beoordeelde arts(soms per groep bronnen; soms is er vanalle beoordelaars één gemiddelde score).De over het algemeen anonieme verwer-king en weergave geldt zeker voor de doorpatiënten ingevulde vragenlijsten, aange-zien de arts-patiëntrelatie niet beïnvloeddient te worden. Het verdient de voorkeurook de beoordelingen door collegae ano-niem te verwerken (zie hoofdstuk 7). Hoe-wel geaggregeerde scores de anonimiteit

waarborgen, is het nadeel dat belangrijkeverschillen in perspectieven moeilijker teherkennen zijn. Idealiter worden de sco-res van verschillende groepen beoorde-laars apart weergegeven, waarbij zowelhet gemiddelde als de spreiding van sco-res worden getoond, zodat verschillen inperspectieven toch enigszins zichtbaarzijn. Wanneer voldoende beoordelaars wor-den gebruikt, zal de anonimiteit gehand-haafd blijven. Vrije tekstboodschappenmoeten zorgvuldig worden weergegeven(niet herleidbaar tot de beoordelaar) en insommige omstandigheden zelfs misschiengecensureerd.1 In sommige MSF procedu-res worden de scores van een individuelearts weergegeven samen met de gemid-delde scores van andere beoordeelde art-sen.3 6 9-11

De wijze waarop de arts de resultatenontvangt en kan bespreken, verdient ookenige aandacht. Begeleiding rondom hetontvangen van de feedback is essentieel enhet verdient dan ook de voorkeur om deresultaten niet te lang voor het geplandebeoordelinggesprek te laten inzien. Defeedback komt van collegae en opleidings-genoten met wie de aios nog zal samen-werken in de toekomst. In de zeldzamegevallen dat er onverwacht een probleemin het functioneren blijkt te zijn, moet hetvoor de aios mogelijk zijn dit direct met deopleider te bespreken. In de praktijk leidtde MSF procedure vrijwel altijd tot eenpositieve beoordeling door vele collegaeen patiënten.1

Door het digitale programma Multi-sourcefeedback.nl wordt na afronding vande MSF, minimaal één week voorafgaandaan het (jaarlijkse) voortgangsgesprek,een samenvattend rapport opgemaaktvoor aios en opleider. In het ‘feedback -rapport’ worden de gemiddelde scoresper categorie beoordelaars (respectieve-lijk medische collegae, andere werkers inde zorg en patiënten) en het aantal res-



pondenten per categorie getoond. De sco-res per groep en competentiegebied wor-den ook in staafdiagrammen weergegeven.Door op een score voor een competentie-gebied te klikken, worden de gemiddeldescores per afzonderlijke vraag weergege-ven. De tips voor verbetering per categoriebeoordelaars worden geanonimiseerd weer-gegeven; hiervoor zijn minstens twee gege-ven tips per groep vereist. Mogelijk kan erop termijn voor worden gekozen de gemid-delde resultaten van de aios te vergelijkenmet de scores van een referentiegroep,bestaande uit aios van hetzelfde opleidings -niveau. In Bijlage III is een voorbeeld tezien van een feedbackrapport in het pro-gramma Multisourcefeedback.nl. De ver-kregen resultaten van zo’n MSF ronde vor-men als het ware ‘het eigendom’ van deaios, maar blijven in te zien door de oplei-der. De rol die beiden spelen in een MSFprocedure wordt toegelicht in de volgendetwee paragrafen.

B. Rol van de aios In de voorgestelde MSF procedure is deaios verantwoordelijk voor het selecterenvan de juiste bronnen, het vragen vanmedewerking aan beoordelaars en voorhet toesturen van de vragenlijsten aanbeoordelaars. Aangezien het functionerenvan de aios beoordeeld wordt, heeft het devoorkeur hem/haar verantwoordelijk telaten zijn voor het verkrijgen van vol-doende ingevulde vragenlijsten per groepbeoordelaars (totaal minimaal 22 vragen-lijsten) om een betrouwbare beoordelingte kunnen krijgen.

Voor het verkrijgen van waardevollefeedback is het in het belang van de aiosom zo relevant mogelijke beoordelaars tevragen, ofwel collegae waarmee geruimetijd is samengewerkt en patiënten waar-mee zoveel mogelijk contact is geweest.

Aios krijgen uiterlijk een week voordatde resultaten worden besproken in een

voortgangsgesprek inzage in het feed -back rapport. Tijdens dit gesprek krijgt deaios de kans om de opleider toelichting tevragen op de resultaten. Van de aios wordteen actieve rol verwacht in de voorberei-ding op en tijdens het gesprek. Wanneerde beoordeling de persoonlijke ontwikke-ling tot doel heeft, is het opstellen van spe-cifieke leerdoelen een belangrijk onder-deel in de feedbackmethode.1 Eén van dedeelnemende opleiders aan de Neder-landse studie heeft positieve ervaringenmet het stellen van de volgende twee vra-gen aan de aios ter voorbereiding op hetvoortgangsgesprek:• Welke punten van de MSF wil je meene-

men wat betreft feedback op je gedragen hoe wil je aan die punten gaan wer-ken?

• Welke punten van de MSF wil je meene-men wat betreft feedback op je persoonen in hoeverre denk je hier veranderingin aan te (moeten en/of kunnen) bren-gen?

Aios kunnen door hun opleider gevraagdworden zichzelf te beoordelen aan dehand van de items op de vragenlijst voorzowel patiënten als collegae. Tijdens hetvoortgangsgesprek kunnen de resultatenvan deze zelfbeoordeling vergeleken wor-den met de andere resultaten. Wanneergeen gebruik wordt gemaakt van een zelf-beoordeling kan het gesprek worden voor-bereid door bijvoorbeeld te vragen ‘watgaat goed volgens de drie groepen’, ‘watkan beter’ en ‘hoe kan ik deze punten ver-beteren’. De leerdoelen kunnen volgens deSMART criteria opgesteld worden (speci-fiek, meetbaar, acceptabel/haalbaar, resul-taatgericht en tijdgebonden).

Whitehouse et al. beschrijven in hun stu-die over MSF dat de opleider na het voort-gangsgesprek een samenvatting maakt vande MSF en een eindoordeel geeft dat geba-seerd is op de resultaten van de vragenlijs-



S35


In VIVO Richtlijn

ten, op eventueel nader onderzoek (bij-voorbeeld toelichting door beoordelaars)en op bespreking van de resultaten metaios.35 Het advies is om deze samenvattingniet door de opleider, maar door de aios telaten maken. De aios kan dan direct eenvergelijking maken van de sterke enzwakke punten met zijn/haar zelfbeoorde-ling. Deze analyse en de onderliggendegemiddelde beoordelingen en geschrevenopmerkingen worden opgenomen in hetportfolio.

C. Rol van de opleider MSF kent fundamentele verschillen metandere vormen van feedback. De ge -schikte persoon om de feedback aan debeoordeelde arts te verstrekken varieertafhankelijk van het doel van de MSF. In deMSF procedure zoals voorgesteld in dezeRichtlijn, wordt geadviseerd de opleiderde rol van feedbackgever te geven. Zowelde aios als de opleider krijgen vooraf-gaand aan een beoordelingsge sprek, of inieder geval na afronding van een feed-backprocedure, een samenvattend rap-port van de verkregen feedback. De oplei-der zal geen rol hebben in de selectie vanbeoordelaars, maar heeft wel zicht op debeoordelaars die door de aios gevraagdzijn een MSF vragenlijst in te vullen. Erwordt geadviseerd de opleider enkeleweken voor het voortgangsgesprek telaten checken of de aios initiatief onder-neemt en de tevoren gemaakte afsprakennakomt. De verwerking en samenvattingvan de resultaten verloopt automatisch,zodat opleiders meer tijd kunnen beste-den aan het eventueel vragen van toelich-ting aan beoordelaars en het op de juistewijze bespreken van de resultaten met deaios. De opleider schift de eventueleextreem alarmerende boodschappen uithet samenvattende rapport. Deze kunneneventueel met de betreffende collega wor-den doorgesproken. Het resultaat van

deze terugkoppeling kan eventueel met debeoordeelde arts worden besproken;anonimiteit van de bron blijft hierbij ech-ter vereist. De opleider kan door deze roldus bepalen welke weging er wordt ge -geven aan de verzamelde gegevens. Uitzowel de gemiddelde scores als uit degeschreven opmerkingen kan een aantalsterke en zwakke punten worden gedestil-leerd (mogelijk ook gebleken uit anderebeoordelingsmethoden). Vervolgens wordteen grote lijn van feedback bepaald enmet de aios besproken in een persoonlijkgesprek. De feedback dient zoveel moge-lijk met expliciete voorbeelden te wordengeïllustreerd.

Het nut van het gebruik van MSF issterk afhankelijk van de vaardigheden vande opleider om feedback te geven. Ideali-ter ontvangt hij/zij dan ook een training ofinstructie voor het geven van feedbackvolgend op de resultaten van de MSF.3

Het geven van feedback moet onderschei-den worden van het geven van een beoor-deling en het doel van MSF moet duidelijkzijn voor de opleider. Er wordt anoniemfeedback gegeven op gedrag en de feed-back kan daarmee worden gezien als debeoordeling van iemand als persoon,zowel door degene die feedback geeft alsdoor degene die ontvangt. Door een ge-brek aan voorbereiding van één of beidepartijen kan het bespre ken van de feed-back leiden tot misverstanden of erger. Deverkregen feedback kan berichten opleve-ren die erg moeilijk zijn om te ontvangen(bijvoorbeeld collega-aios die het nemenvan verantwoor delijk heid voor eigen han-delen slecht beoordelen). De feedbackge-vers, in dit geval de opleiders, moetengoed geïnformeerd zijn over het beleidvan de organisatie ten aanzien van MSFen het doel en de werkwijze van de proce-dure. Ook moeten zij gewend raken aande vragenlijsten en daaruit voortvloeiendegegevens. Verder moet men bewust wor-



den van de verschillende reacties die men-sen kunnen vertonen op het ontvangenvan feedback en de vaardigheden dienodig zijn voor het houden van een con-structief feedbackgesprek. Een vaardigefeedbackgever zal een individu kunnenhelpen om conclusies te trekken en dezete koppelen aan verschillende personenen situaties.41

In de literatuur worden belangrijkeaspecten genoemd van het geven vanfeedback naar aanleiding van MSF. Vierhoofdprincipes voor het geven van feed-back, ook toepasbaar bij MSF, wordendoor Holmboe et al. beschreven in eenreview over feedback naar aanleiding vankorte klinische beoordelingen, die ookhier nuttig kunnen zijn. Het feedbackge-sprek dient gericht te zijn op het vaststel-len van sterke punten en op het helpenvan de aios te bepalen op welke puntenverbetering nodig is.42 Vermeden moetworden om zich tijdens het gesprek te veelte richten op geïsoleerde negatieve opmer-kingen of uitzonderingen. Beoordelaarszouden constructieve in plaats van des-tructieve feedback moeten geven, maardesondanks kunnen de geschreven opmer-kingen iemand doen schrikken of over-stuur maken. Adequate ondersteuning enverdere begeleiding zijn in deze situatieszeer belangrijk. Verder is het belangrijk teonthouden dat de MSF suggereert welkecompetenties verbeterd kunnen worden,maar dat nader onderzoek nodig is om deprecieze aard en ernst van de problemente bepalen. Bij een lage gemiddelde scorevoor communicatie met patiënten kunnenbijvoorbeeld andere beoordelingstechnie-ken, zoals video-opname, gebruikt wordenom de precieze aard van het probleem vastte stellen.4 Tot slot is het belangrijk datwanneer probleemgebieden naar vorenzijn gekomen er door de opleider en aioseen duidelijk actieplan wordt gemaaktdoor leerdoelen vast te leggen in een per-

soonlijk ontwikkelingsplan en dat dit plannavolging krijgt in vervolggesprekken.42

De resultaten van de MSF moeten incombinatie met andere beoordelings -methoden worden geïnterpreteerd. Des-ondanks biedt deze manier van beoorde-len op zichzelf voor artsen in opleidingeen waardevolle kans om gestructureerdefeedback te krijgen van uiteenlopende col-legae. Op die manier kunnen zij meerinzicht krijgen in hun eigen rol en functio-neren als professional, wat een zinvolle pro-fessionele ontwikkeling vergemakkelijkt.4

Wanneer opleiders meerdere feedback -gesprekken hebben gehouden, kunnen zijwaardevolle informatie verschaffen over dethema’s die veel voorkwamen tijdens degesprekken. Hierbij moet natuurlijk wel deprivacy van individuen gehandhaafd blij-ven. Deze thema’s kunnen een stimulansvormen om breder gedragen problemen inde opleiding aan te pakken.41

14. Opname gegevens in het portfolio

Gedurende de opleiding worden desamenvattende rapporten van voltooidefeedbackprocedures bewaard in het pro-gramma Multisourcefeedback.nl. Het heeftde voorkeur een papieren of digitale ver-sie van het samenvattend rapport van eenMSF ronde op te nemen in het portfolio.Na het voort gangsgesprek zijn de vol-tooide vragenlijsten niet meer afzonderlijkin te zien, tenzij er naar aan leiding van hetvoortgangsgesprek behoefte blijkt te zijnaan nader onderzoek. Om zelfreflectie testimuleren kan de sterkte/ zwakte analysedie de aios maakt naar aanleiding van o.a.de multisource feedback ook een verplichtonderdeel van het portfolio vormen. Totslot wordt geadviseerd een sterk negatiefingevulde vragenlijst op te nemen in hetdossier dat de opleider van de aios heeft.

Het MSF programma is niet ontwikkeldals onderdeel van een specifiek elektro-



S37


In VIVO Richtlijn

nisch portfolio. Niettemin leent het zichgoed voor koppeling aan een dergelijk sys-teem. Het Maastricht-Manchester Toets -service e-portfolio model in ontwikkelingbiedt thans de mogelijkheid om rappor -tages van Mutisourcefeedback.nl automa-tisch te integreren in de overall rappor-tage voor aios.

15. Beschreven effecten van multisource feedback op hetfunctioneren van artsen

Studies tonen aan dat veel artsen de gege-vens van MSF willen gebruiken om veran-deringen in hun handelen en functionerente maken, maar de mate waarin de gege-vens gebruikt worden kan worden beïn-vloed door tal van interne en externe fac-toren. De interne factoren omvatten deeigen perceptie van artsen van hun pres-taties, emoties, persoonlijke verwachtin-gen, en van hun persoonlijke waarden encapaciteit ten aanzien van verandering.De externe factoren die de arts beïnvloe-den omvatten de aard, geloofwaardigheid,specificiteit en de consistentie van defeedback vergeleken met andere feedbacken de barrières voor verandering.43 In ditkader is het belangrijk om realistischeverwachtingen te hebben over verande-ring, aangezien er aanzienlijke variatiebestaat in hoe informatief de gegevenszijn voor de persoon, evenals in de waar-genomen noodzaak tot verandering.44

Er zijn tot op heden nog geen longitudi-nale studies gepubliceerd in de medischesetting, die het effect op scores gedurendetwee of meer tijdspannes onderzochten.Dit is echter wel onderzocht in het bedrijfs-leven en in een meta-analyse van 24 longi-tudinale studies waarbij meer dan tweemetingen verricht werden, en waar aange-toond werd dat de meetbare verbeteringover het algemeen klein was, maar meerwaarschijnlijk was voor sommige ‘ontvan-gers’ dan voor anderen.45 Verbetering was

meer waarschijnlijk wanneer gegevenseen noodzaak tot verandering suggereer-den, ontvangers een positieve visie had-den op feedback, zelf de behoefte haddenom hun gedrag te veranderen, positiefreageerden op de feedback, geloofden inhaalbaarheid van verandering, toepasse-lijke doelstellingen maakten om hungedrag aan te passen en wanneer actiewerd ondernomen tot verbetering vanvaardigheden en prestaties. Dit soort ana-lyses van het gebruik van de gegevensdoor de feedbackontvangers zijn belang-rijk bij het proberen te verkrijgen van voldoende bewijs voor validiteit van de be -oordelings instrumenten. Wanneer men -sen hun feedbackgegevens negeren, is hetwel erg moeilijk om voldoende argumen-ten voor geldigheid van de procedure tevergaren.

Brinkman et al. rapporteerden in 2007de resultaten van een gerandomiseerdegecontroleerde trial waarin het effect vanMSF op communicatieve vaardigheden enprofessionaliteit van kinderartsen in oplei-ding werd onderzocht.46 Achttien aios kin-dergeneeskunde werden tweemaal volgenseen MSF procedure beoordeeld doorouders van patiënten en door verpleeg-kundigen; zij vulden een zelfbeoordelingin en kregen een coachingsessie, naast debestaande standaard feedback. In de con-trolegroep kregen 18 aios alleen de stan-daardfeedback; tot het einde van de trialwerden zij geblindeerd voor de resultatenvan beoordelingen door verpleegkundigenen ouders. Beide groepen werden twee-maal beoordeeld, met een tussenliggendeperiode van vijf maanden. De beoordelin-gen door patiënten verbeterden in beidegroepen; in de eerste groep leken de scoresmeer verbeterd, er werden echter geen sta-tistisch significante verschillen gevonden.De beoordelingen door verpleegkundigenbleven in de eerste groep gelijk of verbe-terden, maar de scores in de tweede groep



verslechterden. De verschillen in scoreswaren statistisch significant en suggereer-den een positief effect van MSF op hetgebied van effectief communiceren metpatiënten en familie, het op tijd vervullenvan taken en het demonstreren van ver-antwoordelijkheid en aansprakelijkheid.Deze studie heeft dus aangetoond dat deinterventie MSF een positieve invloed kanhebben op de competenties communicatieen professionaliteit.

16. Implementatie van de multisource feedback en mogelijke weerstanden

Ten aanzien van het daadwerkelijk invoe-ren van MSF is in de voorgaande hoofd-stukken al een aantal adviezen gegeven.In dit hoofdstuk worden belangrijkeaspecten van de implementatie van MSFen de eventuele weerstanden bij invoeringvan het proces besproken.

Tot op heden bestond er in de medischevervolgopleidingen geen gestructureerdebeoordeling van het functioneren van aiosdoor collega’s waarmee nauw wordtsamengewerkt of door patiënten. MSF zaldus voor vrijwel alle betrokkenen onbe-kend zijn en een goede voorlichting overde procedure is dan ook van belang. Wat betreft schriftelijke voorlichting isbehalve deze Richtlijn ook een folderbeschikbaar over het programma Multi-sourcefeedback.nl, en te downloaden vande betreffende website. Tijdens trainingenvoor opleiders, stafleden en aios kan MSFmondeling toegelicht worden en kan wor-den geoefend met het bespreken van deresultaten door de opleider met de aios.Betrokken boordelaars worden bij hetdigitaal invullen van de vragenlijsten zoduidelijk mogelijk voorgelicht over hetdoel van de MSF, over de anonieme weer-gave van resultaten en over de beveiligingvan gegevens. Het lijkt logistiek niet haal-baar om alle beoordelaars te trainen.

Behalve goede voorlichting zijn tweeandere belangrijke praktische uitdagin-gen in de ontwikkeling van een MSF pro-cedure – het ontwerpen van geschiktebeoordelingsinstrumenten voor alle be -oordelaars en het organiseren van degegevensverzameling van een groteregroep individuen – om tot een geaggre-geerd feedbackrapport te komen, waarbijvertrouwelijkheid van gegevens wordtgewaarborgd.47 In hoofdstuk 7 is de ano -nimiteit van beoordelaars besproken. Dekeuzes die hierbij gemaakt zijn hebben alsdoel de weerstand te verkleinen ten aan-zien van de mogelijk negatieve invloedvan MSF op persoonlijke werk- of arts-patiëntrelaties. Met een automatischeprocedure kan MSF op grote schaal wor-den uitgevoerd en kan een te hoge tijds -investering van betrokkenen wordenvoorkomen. Ten behoeve van een logis-tieke verwerking met een lage tijdsinves-tering voor betrokkenen is een digitaalprogramma ontworpen, waarmee een stu-die is verricht onder 70 aios. De geschikt-heid van de beoordelingsinstrumenten isonderzocht aan de hand van de grote aan-tallen vragenlijsten die verkregen werdenin deze studie. De vragenlijsten zijn vol-doende valide en betrouwbaar geblekenvoor een formatief doel.

Het proces van implementatie van dezenieuwe procedure in de bestaande cultu-ren en organisaties vergt tijd. Voor deinvoering en aanpassing van de procedurekan een periode van twee tot drie jaarnodig zijn. Goede MSF procedures verei-sen steun en toewijding van de leiders vanorganisaties of afdelingen, goede commu-nicatie met de deelnemers aan de proce-dure over doel, werkwijze en gegevensver-werking en tot slot een gemotiveerdaansturend kernteam dat het implemen-tatieproces kan begeleiden.1 Van steun envertrouwen van opleiders, stafleden, aiosen overige betrokkenen ten aanzien van



S39


In VIVO Richtlijn

MSF als formatieve feedbackmethode zalin Nederland in sommige gevallen alsprake zijn, aansturing lijkt dan mindernodig. In andere gevallen zal deze nogmoeten groeien en sommige betrokkenenzullen om verschillende redenen demethode permanent wantrouwen. Oplei-ders kunnen aios stimuleren door zichzelfook open te stellen voor feedback, bij-voorbeeld om feedback te vragen op zijn/haar opleiderskwaliteiten. Tijdens deimplementatie of eerste ronde kan tegenverschillende weerstanden worden aange-lopen bij alle groepen betrokkenen. Aioskunnen bijvoorbeeld moeite hebben met deacceptatie van het beoordeeld worden doorcollega’s van hun eigen of andere discipli-nes. Zij kunnen bang zijn voor slechte be-oordelingen van collega’s/patiënten (waar-mee zij misschien ook nog een nauwe bandhebben) en voor de eventuele maatregelenbij een slechte beoordeling. Ook kunnen debeoordeelde artsen bang zijn voor hetpubliek worden van deze gegevens, of vooreen onvoldoende vertrouwelijke behande-ling van ge ge vens.2 Een gebrek aan ver-trouwen in de anonieme verwerking vangegevens kan bij beoordelaars leiden toteen te hoge beoordeling of weerstand inhet geven van tips ter verbetering.1 Beoor-delaars kunnen moeite hebben met hetgeven van een eerlijk en oprecht oordeelover het functioneren van (collega-) art-sen. Wanneer deelnemers meer vertrouwdraken met het hele proces, neemt de angsten weerstand ten aanzien van de proce-dure vaak af en wordt het vermogen omde procedure effectief toe te passenmeestal groter.37 Bij de ontwikkeling eninvoering van MSF is het tevens belang-rijk zich te realiseren dat de feedbackslechts een onderdeel is van meerderebeoordelingsprocessen gedurende deopleiding. In tegenstelling tot reedsgestandaardiseerde beoordelingsmetho-den kunnen kleine variaties bij de invoe-

ring van het proces echter tot grote ver-schillen leiden in de kwaliteit van deinformatie die wordt verkregen. Het isdan ook van belang rekening te houdenmet mogelijke weerstanden van deelne-mers en deze bespreekbaar te maken.

In de toepassing van Multisourcefeed-back.nl procedure bij de opleiding Gynae-cologie/Obstetrie in de Onderwijs- enopleidingsregio Amsterdam/AMC is metsucces één maand per jaar uitgeroepen tot’MSF-maand’; in de weken daarvoor door-lopen alle aios de procedure. In het anderehalf jaar wordt een vergelijkbare feed-backprocedure uitgevoerd waarin de aiosde klinische stafleden beoordelen. Vandeze complementaire procedure gaat eengrote kracht uit van een open en kwets-bare opstelling waarvan zowel aios als deklinische staf beter worden.

Bij het werken met MSF zijn de visiesvan de ‘eindgebruikers’ en van degenendie worden beoordeeld een essentieelonderdeel van de implementatie en evalu-atie. Verschillende studies tonen aan datzowel de beoordelaars als beoordeeldeartsen MSF zien als een belangrijk beoor-delingsinstrument.5 9 22 29 32 Higgins et al.beschrijven in 2004 dat participerendeaios positiever reageren op MSF naar-mate de procedure langer bestaat. Vol-gens de auteurs kan dit secundair zijn aande angst die er in eerste instantie bestondom door uiteenlopende collegae te wor-den beoordeeld. Ook geven zij aan datiedere verandering in de cultuur van eenafdeling of organisatie leidt tot weerstan-den, die echter de neiging heeft met hetvorderen van de tijd te verminderen. Dit iszeker het geval wanneer een positievecyclus van verandering in gang gezetwordt, gekenmerkt door verbetering vande omgang tussen aios en andere werkne-mers in de zorg. 37 In de acceptatie vanhet proces kan meespelen dat de feedbackdie wordt verkregen met MSF, in tegen-



stelling tot toetsing van kennis en vaar-digheden, zeer gevoelig van aard kan zijn.Wanneer de feedback op het functionerenniet goed wordt gecommuniceerd of weer-gegeven, kan dit direct of op lange termijnernstige gevolgen hebben. Artsen werkenvaak gedurende langere tijd samen metverschillende collegae. Het ontdekken datcollegae hun prestaties als onvoldoende ofsuboptimaal beoordelen, kan een groteverrassing zijn en tot onbedoelde reactiesleiden, zelfs tot lang nadat de feedback isgegeven1 32 44 Onvoldoende aandacht voorde beoordelaars, de setting waarin de pro-cedure plaatsvindt en voor de wijzewaarop feedback wordt gegeven kan debruikbaarheid van MSF ernstig verminde-ren.1

17. Multisource feedbackproceduresvoor de minder patiëntgebondenspecialismen

Verreweg het meeste onderzoek over MSFvoor medische opleidingen is uitgevoerdvoor patiëntgebonden specialismen. Voordeze specialismen is deze Richtlijn en hetprogramma Multisourcefeedback.nl pri-mair bedoeld. Uiteraard kan in de oplei-ding in andere medische specialismen,waaronder radiologie, medische micro-biologie en anaesthesiologie MSF even-zeer nuttig zijn. Multisourcefeedback.nlkan ook daar worden toegepast, maar danmet openlating van de categorie van depatiënten, zodat twee groepen van beoor-delaars overblijven.

Literatuur1. Lockyer J, Clyman SM, Holmboe E, Hawkins R

(eds) in: A Practical Guide to the Evaluation ofClinical Competence, Elsevier, 2007 (MSF Chap-ter), in press.

2. Lockyer J. Multisource feedback in the asses-sment of physician competencies. J Contin EducHealth Prof 2003 Winter; 23(1):4-12.

3. Archer J, Norcini J, Davies HA. Peer review ofpaediatricians in training using SPRAT. BMJ2005; 330:1251-53.

4. Davies HA, Archer JC. Multi source feedbackusing Sheffield Peer Review Assessment Tool(SPRAT): Development and practical aspects. Cli-nical Teacher 2005; 2(2):77-81.

5. Hesketh EA, Anderson F, Bagnall GM, Driver CP,Johnston DA, Marshall D, et al. Using a 360 deg-rees diagnostic screening tool to provide an evi-dence trail of junior doctor performance throug-hout their first postgraduate year. Med Teacher2005; 27(3):219-33.

6. Archer J, Norcini J, Southgate L, Heard S, DaviesH. Mini-PAT (peer assessment tool): A valid com-ponent of a national assessment programme inthe UK? Adv in Health Sciences Education 2006[DOI 10.1007/s10459-006-9033-3].

7. Woolliscroft JO, Howell JD, Patel BP, SwansonDB. Resident-patient interactions: The humanis-tic qualities of internal medicine residents asses-sed by patients, attending physicians, programsupervisors and nurses. Acad Med 1994;69(3):216-224.

8. Violato C, Marini A, Toews J, Lockyer J, Fidler H.Using peers, consulting physicians, patients, co-workers and self to assess physicians. Acad Med1994;72 (10 S):57-63.

9. Hall W, Violato C, Lewkonia R, Lockyer J, FidlerH, Toews J., et al. Assessment of physician per-formance in Alberta: The Physician AchievementReview Project. CMAJ 1999;161 (1):52-57.

10. Violato, C, Lockyer, JM, Fidler H: Multi sourcefeedback. A method of assessing surgical prac-tice, BMJ 2003;326: 546-48.

11. Violato C, Lockyer J, Fidler H. The assessment ofpediatricians by a regulatory authority, Paedia-trics 2006;117:79-802.

12. Violato C, Marini A, Toews J, Lockyer J, Fidler H.Feasibility and psychometric properties of usingpeers, consulting physicians, co-workers, andpatients to assess physicians. Acad Med 1997;72(10 Suppl 1):S82-4.

13. Lipner RS, Blank LL, Leas BF, Fortna GS: Thevalue of patient and peer ratings in recertifica-tion, Acad Med 2002;77 (10S):64-66.

14. College of Physicians and Surgeons of Alberta,Physician Achievement Review Program:www.par-program.org

15. Evans R, Elwyn G, Edwards A. Review of instru-ments for peer assessment of physicians. BMJ2004; 328:1240-45.

16. Mazor K, Clauser BE, Holtman M, Margolis MJ.Evaluation of Missing Data in an Assessment ofProfessional Behaviors. Acad Med. 2007;82(10Suppl):S44-S47.

17. Epstein RM. Assessment in medical education. NEngl J Med. 2007 Jan 25;356(4):387-96.

18. Crossley J, Eiser C, Davies HA. Children and theirparents assessing the doctor-patient interaction: arating system for doctors’ communication skills.Med Educ 2005;39(8):820-8.



S41


In VIVO Richtlijn

19. Norcini JJ. Peer assessment of competence: MedEduc 2003; 37(6):539-43.

20. Ramsey PG, Carline JD, Inui TS, Larson EB,LoGerfo JP, Wenrich MD. Use of peer ratings toevaluate physician performance. JAMA 1993;269:1655-60.

21. Rezler AG, Bruce NC, Schmitt BP, et al. Dilem-mas in the evaluation of residents. Proceedings ofthe Annual Conference on Resident Medical Edu-cation 1986; 25:371-378.

22. Wenrich MD, Carline ID, Giles LM, Ramsey PG.Ratings of the performances of practicing inter-nists by hospital-based registered nurses. AcadMed 1993; 68:680-87.

23. Davis JD. Comparison of faculty, peer, self, andnurse assessment of obstetrics and gynecologyresidents. Obstet Gynecol. 2002 Apr; 99(4):647-51.

24. Johnson D, Cujec B. Comparison of self, nurseand physician assessment of residents rotatingthrough an intensive care unit. Critical CareMedicine 1998; 26:1811-1816.

25. Wood L, Hassell A, Whitehouse A, Bullock A, WallD. A literature review of multi-source feedbacksystems within and without health services, lea-ding to 10 tips for their successful design. MedTeach 2006 Nov;28(7):185-91.

26. Lockyer J, Blackmore D, Fidler H, Crutcher R,Salte B, Shaw K, Ward B,Wolfish N. A study of amulti-source feedback system for internationalmedical graduates holding defined licences. MedEduc 2006 Apr; 40(4):340-7.

27. Butterfield PS, Mazzaferri EL. A new rating formfor use by nurses in assessing residents’ humanis-tic behavior. J Gen Intern Med 1991; 6:155-61.

28. Ramsey PG, Wenrich MD. Use of professionalassociate ratings to assess the performance ofpracticing physicians: past, present, future. AdvHealth Sci Educ Theory Pract 1999; 4(1):27-38.

29. Wood L, Wall D, Bullock A, Hassell A, White-house A, Campbell I. ‘Team observation’: a six-year study of the development and use of multi-source feedback (360-degree assessment) inobstetrics and gynaecology training in the UK.Med Teach 2006 Nov; 28(7):177-184.

30. Bleker OP, Cate Th.J. ten, Holdrinet RSG. Dealgemene competenties van de medisch specialistin de toekomst. Tijdschrift voor Medisch Onder-wijs 2004;23(1):4-14.

31. Ten Cate TJ. Trust, competence, and the supervis-or’s role in postgraduate training. BMJ 2006;333;748-751

32. Sargeant JM, Mann KV, Ferrier SN, Langille DB,Muirhead PD, Sinclair DE. Responses of ruralfamily physicians and their colleagues and cow-orker raters to a multi-source feedback process: apilot study. Acad Med 2003;78 (S10):42-44.

33. Penny JA. Exploring differential item functioningin a 360-degree assessment: rater source and

method of delivery. Organisational ResearchMethods 2003;6(1):61-79.

34. Payne, T. Editorial: 360 degree assessment andfeedback. International Journal of Selection andAssessment 1998; 6(1): 16-18.

35. Whitehouse A., Hassell A., Wood L., Wall D.,Walzman M., Campbell I. Development and relia-bility testing of TAB – a form for 360º assessmentof senior house officers’ professional behaviour,as specified by the General Medical Council. MedTeach 2005;27: 252-58.

36. Eva K, Regehr G. Self-Assessment in the HealthProfessions: A Reformulation and ResearchAgenda. Acad Med 2005;80(10):S46-S54

37. Higgins RS, Bridges J, Burke JM, O’Donnell MA,Cohen NM, Wilkes SB. Implementing theACGME general competencies in a cardiothora-cic surgery residency program using 360-degreefeedback. Ann Thorac Surg 2004 Jan;77(1):12-17.

38. Bracken DW, Timmreck CW, Church AH (Eds):The Handbook of Multisource Feedback: TheComprehensive Resource for Designing andImplementing MSF Processes. San Francisco:Jossey-Bass, 2001.

39. Cox EP. The optimal number of response alterna-tives on a scale. J Marketing Research 1980;17:407-22.

40. Lockyer JM, Violato C. An examination of theappropriateness of using a common peer asses-sment instrument to assess physician skills acrossspecialties. Acad Med. 2004 Oct;79(10 Suppl):S5-8.

41. British Psychological Society: www.psychtesting.org.uk/[zoek op: 360 degree feedback].

42. Holmboe ES., Yepes M, Williams F, Huot SJ,Feedback and the mini clinical evaluation exer-cise. J Gen Intern Med, 2004. 19(5 Pt 2):558-61

43. Fidler H, Lockyer J, Toews J, Violato C: Changingphysicians’ practices: The effect of individualfeedback. Acad Med 1999;74:702-14.

44. Sargeant J: Multi-source feedback for physicianslearning and change. Maastricht University. Doc-toral dissertation. September 2006.

45. Smither JW, London M, Reilly RR: Does perfor-mance improve following multisource feedback?A theoretical model, meta-analysis and review ofempirical findings. Personnel Psychology 2005;58:33-66.

46. Brinkman WB, Geraghty SR, Lanphear BP,Khoury JC, Gonzalez del Rey JA, Dewitt TG,Britto MT. Effect of multisource feedback on resi-dent communication skills and professionalism: arandomized controlled trial.Arch Pediatr AdolescMed 2007 Jan;161(1):44-9.

47. Toolbox: Accreditation Council for GraduateMedical Education Competencies: www.acgme.org/outcome/comp/compFull.asp



De auteurs:Prof. dr. Th.J. ten Cate is hoogleraar medische onder-wijskunde en directeur Expertisecentrum voor Onder-wijs en Opleiding, UMC Utrecht.Drs. M.A. Horsman is huisarts in opleiding en was tetijde van dit project werkzaam bij het Expertisecentrumvoor Onderwijs en Opleiding, UMC Utrecht.

Correspondentieadres:Prof. dr. Th.J. ten Cate, Expertisecentrum voor Onder-wijs en Opleiding, UMC Utrecht, postbus 85500, 3508GA Utrecht. E-mail: [email protected]

Belangenconflict: geen gemeldFinanciële ondersteuning: geen gemeld



S43


In VIVO Richtlijn

Bijlagen

Beoo

rdel

aars

(1)

(aan

tal p

er a

rts)

Spec

ialis

me/

popu

lati

e

Com

pete

ntie

s (2

)

Vra

genl

ijste

n

Beoo

rdel

ings

-

scha

al (

3)

Cro

nbac

h’s

(4)

Ep2

(5)

Bijlage I. Samenvatting resultaten literatuur

Studie/land

SPRAT (3, 4) Aios Aios >jrs. (23%) Domains 1 lijst 6-punts ? – Kinderg. Peers (31%), Good Medical 24 items geen NB, 95% CI

UK Consulent (20%) Practice vrije tekstVerplk (23%), Med. handelentotaal 8 CommunicatieGeen patiënten Professional.

SamenwerkenOrganisatie

Mini-PAT (6) Divers Med. collegae, Idem SPRAT 1 lijst 6-punts ? – 1e jaars aios Verpl.kundigen, 16 items categorie NB, 95% CI

UK Paramedici vrije tekstTotaal 12Geen patiënten

TeamAssessment Aios Idem Mini-PAT Idem SPRAT 1 lijst, 4-punts, ? ICC Behaviour (TAB) Gyn/obstr Totaal 10 vraagt naar geen NB, 0.80(35) Geen patiënten opmerkingen vrije tekst 95% CIUK

ABIM (13) Huisartsen Aios (10-11x) ACGME Peer: 11 items Peer/vpk-en: ? > 0,70Internisten Verplk (10-15x) Domains Vpk: 13 items 9-punts

VS Patiënt (25x) Med. handelen Patiënten: Patiënt: Zelf Communicatie 10 items 5-punts

Professional. Geen NBSamenwerken

ABIM Aios Kinderg. Verplk (15,8x) Med. handelen Vpk: 14 + 5-punts, > 0,96 ?(46) Patiënt (19,1x) Communicatie open vraag geen NB

Zelf Professional. Ouders: 10 + VS Samenwerken open vraag

Organiseren Zelf: 24 items

PHAST Diverse spec. Aios/staflid Critical Versch. aantal 4-punts, ? ?(5) 1e jaars aios (2x) behaviours items per categorie NB

Verplk (1x) Med. handelen domein (totaal Schotland Totaal 4 Communicatie 4 domeinen)

Geen patiënten Professional.Samenw./Org



Bijlagen |

Beoo

rdel

aars

(1)

(aan

tal p

er a

rts)

Spec

ialis

me/

popu

lati

e

Com

pete

ntie

s (2

)

Vra

genl

ijste

n

Beoo

rdel

ings

-

scha

al (

3)

Cro

nbac

h’s

(4)

Ep2

(5)

Studie/land

CPSA-PAR Chirurgen Aios (6x) ACGME- Peer: 26-34 5-punts, ? > 0,70(8, 9, 10, 12, 13) Huisartsen Verplk (6x) domeinen items, co- eens/oneens

Patiënt (22x) Med. handelen workers: 17-34, categorie NBCanada Communicatie patiënten:

Professional. 22-39 items(totaal 11 cat.)

CPSA-PAR Kinderartsen Medische Communicatie Collega/artsen: 5-punts, > 0,95 > 0,70(20) collegae (8x) Professional. 38 items eens/oneens

Verplk (8x) Samenwerken Coworkers: 22 categorie NBCanada Patiënt (24x) Onderwijs Patiënten: 40

Zelf Zelf: 37 items

Legenda:(1) Gebruikte bronnen: tussen haakjes percentage bronnen, in overige rijen absoluut aantal bronnen.(2) Competenties en gedragsdomeinen uit artikelen zijn zoveel mogelijk herleid naar CanMEDS rollen. (3) NB: categorie niet te beoordelen of niet geobserveerd.(4) Maat voor interne consistentie van vragenlijsten.(5) Generaliseerbaarheidscoëfficiënt; ICC=intraclass coëfficiënt, in sommige studies bepaald.

Vervolg Bijlage I.


S45

Bijlagen |

In VIVO Richtlijn

Bijlage IIA. Vragenlijst voor medische collegae.

Vragenlijst voor collega-artsen: het functioneren van de arts-assistent

Naam aios:1. Uw naam: __________________________________

Datum: __________________________________2. Functie: __________________________________3. Kent u deze aios van de: � afdeling / � polikliniek / � beide4. Periode waarover u aios beoordeelt: afgelopen… (omcirkel)

week / 2 weken / maand / > 1 maand / > 3 maanden

Geef aan in hoeverre u het eens bent met de onderstaande stellingen: Deze arts……………

Medisch handelen:5. Diagnosticeert patiëntproblemen effectief 1 2 3 4 5 NVT6. Handelt complexe patiëntproblemen zelfstandig af 1 2 3 4 5 NVT7. Weegt kosten en baten bij diagnostiek en behandeling goed af 1 2 3 4 5 NVT

Communicatie:8. Communiceert goed met patiënten en familie 1 2 3 4 5 NVT9. Communiceert goed met collegae 1 2 3 4 5 NVT10. Staat open voor verbale en non-verbale reacties en emoties 1 2 3 4 5 NVT11. Presenteert tijdens besprekingen patiëntencasus accuraat en

beknopt 1 2 3 4 5 NVT12. Is zowel duidelijk als volledig in schriftelijke verslaglegging 1 2 3 4 5 NVT

Samenwerking:13. Draagt de zorg voor patiënten zowel effectief als zorgvuldig over 1 2 3 4 5 NVT14. Overlegt tijdig met andere zorgverleners 1 2 3 4 5 NVT15. Waardeert en respecteert de kennis en ervaring van anderen 1 2 3 4 5 NVT16. Houdt zich aan afspraken en aan afgesproken beleid 1 2 3 4 5 NVT17. Neemt verantwoordelijkheid voor het eigen handelen 1 2 3 4 5 NVT

Organisatie:18 Coördineert de zorg voor patiënten op effectieve wijze 1 2 3 4 5 NVT19. Is bereikbaar en toegankelijk 1 2 3 4 5 NVT20. Deelt de tijd effectief in met juiste prioriteiten 1 2 3 4 5 NVT21. Organiseert het werk naar een balans in patiëntenzorg en

persoonlijke ontwikkeling 1 2 3 4 5 NVT

Kennis & Wetenschap:22. Is bereid en in staat anderen te trainen of onderwijs te geven 1 2 3 4 5 NVT23. Handelt evidence-based waar mogelijk 1 2 3 4 5 NVT24. Geeft correct feedback op het functioneren van anderen 1 2 3 4 5 NVT

OMCIRKELEN (hoe hoger hoe beter):1

1 = Helemaal mee oneens;

2 = Mee oneens

3 = Deels mee eens/deels mee oneens

4 = Mee eens;

5 = Helemaal mee eens

NVT: Niet te beoordelen of niet van

toepassing



Professionaliteit:25. Stelt tijdens de dagelijkse werkzaamheden het belang van de

patiënt centraal 1 2 3 4 5 NVT26. Houdt bij lichamelijk onderzoek rekening met de privacy van

patiënten27. Kent het dossier en de toestand van de patiënt 1 2 3 4 5 NVT28. Is zich bewust van eigen grenzen en handelt daarbinnen 1 2 3 4 5 NVT29. Accepteert feedback van anderen 1 2 3 4 5 NVT30. Handelt volgens de ethische gedragsregels 1 2 3 4 5 NVT31. Deze arts zou ik aanraden aan mijn eigen familie of vrienden 1 2 3 4 5 NVT

Deze collega vertrouw ik de volgende kritische verantwoordelijk heid toe om zelfstandig uit te voeren: 32. Voeren van een slecht nieuwsgesprek 1 2 3 4 5 NVT33. Het leveren van een intercollegiaal consult 1 2 3 4 5 NVT

34. Geeft u hier één of meer tips of opmerkingen om het functioneren van deze arts (nog meer) te verbeteren. Of geeft u hier een toelichting op één van bovenstaande vragen.

Vervolg Bijlage IIA

Bijlagen |


S47

Bijlagen |

In VIVO Richtlijn

Bijlage IIB. Vragenlijst voor andere werkers in de zorg.

Vragenlijst voor collega’s in de zorg: het functioneren van de arts-assistent

Naam aios:1. Uw naam: __________________________________

Datum: __________________________________2. Functie: __________________________________3. Kent u deze aios van de: � afdeling / � polikliniek / � beide4. Periode waarover u aios beoordeelt: afgelopen… (omcirkel)

week / 2 weken / maand / > 1 maand / > 3 maanden

Geef aan in hoeverre u het eens bent met de onderstaande stellingen: Deze arts……………

Communicatie:1. Communiceert goed met patiënten en familie 1 2 3 4 5 NVT2. Communiceert goed met collegae 1 2 3 4 5 NVT3. Staat open voor verbale en non-verbale reacties en emoties 1 2 3 4 5 NVT4. Geeft heldere en volledige mondelinge opdrachten 1 2 3 4 5 NVT5. Geeft helder geformuleerde schriftelijke opdrachten 1 2 3 4 5 NVT6. Is duidelijk en volledig in schriftelijke verslaglegging 1 2 3 4 5 NVT

Samenwerking:7. Draagt de zorg voor patiënten effectief en zorgvuldig over 1 2 3 4 5 NVT8. Overlegt tijdig met andere zorgverleners 1 2 3 4 5 NVT9. Waardeert/respecteert de kennis en ervaring van anderen 1 2 3 4 5 NVT10. Houdt zich aan afspraken en aan afgesproken beleid 1 2 3 4 5 NVT11. Neemt verantwoordelijkheid voor het eigen handelen 1 2 3 4 5 NVT

Organisatie:12. Coördineert de zorg voor patiënten op effectieve wijze 1 2 3 4 5 NVT13. Is bereikbaar en toegankelijk 1 2 3 4 5 NVT14. Deelt de tijd effectief in met de juiste prioriteiten 1 2 3 4 5 NVT15. Geeft afspraken en/of wijzigingen in beleid tijdig door 1 2 3 4 5 NVT

Kennis & Wetenschap:16. Is bereid en in staat anderen te trainen of onderwijs te geven 1 2 3 4 5 NVT17. Geeft correct feedback op het functioneren van anderen 1 2 3 4 5 NVT

Professionaliteit:18. Stelt tijdens de dagelijkse werkzaamheden het belang van de

patiënt centraal 1 2 3 4 5 NVT19. Houdt bij lichamelijk onderzoek rekening met de privacy van

patiënten 1 2 3 4 5 NVT20. Kent het dossier en de toestand van de patiënt 1 2 3 4 5 NVT

OMCIRKELEN (hoe hoger hoe beter):1

1 = Helemaal mee oneens;

2 = Mee oneens

3 = Deels mee eens/deels mee oneens

4 = Mee eens;

5 = Helemaal mee eens

NVT: Niet te beoordelen of niet van

toepassing



21. Is zich bewust van eigen grenzen en handelt daarbinnen 1 2 3 4 5 NVT22. Accepteert feedback van anderen 1 2 3 4 5 NVT23. Handelt volgens de ethische gedragsregels 1 2 3 4 5 NVT

24. Geeft u hier één of meer tips of opmerkingen om het functioneren van deze arts (nog meer) te verbe-teren. Of geeft u hier een toelichting op één van bovenstaande vragen. Gebruik zo nodig de achterzijde.

Vervolg Bijlage IIB

Bijlagen |


S49

Bijlagen |

In VIVO Richtlijn

Bijlage IIC. Vragenlijst voor patiënten.

Waarom vragen wij u deze lijst in te vullen? Artsen in opleiding tot specialist (aios) moeten leren wat zewel en niet goed doen; dat helpt ze steeds beter te worden. Wij vinden uw mening erg belangrijk, omdat eenpatiënt het vaak weer anders ziet dan een collega of een leidinggevende arts. Deze vragenlijst voor verschil-lende patiëntgroepen gebruikt, daarom zijn mogelijk niet alle vragen van toepassing op uw situatie. In datgeval kunt u de laatste categorie aankruisen.Wat gebeurt er met de resultaten? De vragenlijsten worden anoniem verwerkt: de arts krijgt uw antwoor-den dus niet te zien, alleen de combinatie van de antwoorden van alle bevraagde patiënten bij elkaar. De aiosziet op die manier wat volgens de patiënten de sterke en minder sterke kanten zijn en kan zo de vaardigheidverbeteren.

Naam van deze aios: Kruis aan:

1. U kent deze aios van de: � poli / � afdeling (aankruisen)2. Hoeveel keer heeft u deze arts gezien?:

Geef aan in hoeverre u het eens bent met de onderstaande stellingen (kruis aan):

3. Deze arts was vriendelijk tegen mij/mijn familie � � � � � �

4. Deze arts toonde begrip voor mij � � � � � �

5. Deze arts nam mij serieus � � � � � �

6. Deze arts luisterde goed naar mij � � � � � �

7. Deze arts stelde begrijpelijke vragen � � � � � �

8. Deze arts gaf duidelijk uitleg � � � � � �

9. Deze arts gaf duidelijke informatie over onderzoek en behandeling � � � � � �

10. Deze arts controleerde of ik alles begreep � � � � � �

11. Deze arts begreep mijn situatie goed (of situatie van kind/partner) � � � � � �

12. Deze arts was zorgvuldig tijdens het lichamelijk onderzoek � � � � � �

13. Deze arts leek op de hoogte te zijn van mijn dossier/mijn situatie � � � � � �

14. Ik denk dat deze arts mijn gegevens vertrouwelijk behandelt � � � � � �

15. Deze arts komt gemaakte beloftes en/of afspraken na � � � � � �

16. Deze arts vraagt, zo nodig, een collega om hulp en/of advies � � � � � �

17. Ik heb het volste vertrouwen in deze arts � � � � � �

18. Deze arts zou ik ook aanraden aan familie of vrienden � � � � � �

19 Geeft u hier enkele tips en/of opmerkingen om het functioneren van deze arts (nog meer) te verbete-ren. Of geeft u hier een toelichting op één van bovenstaande vragen.

Hel

emaa

l mee

onee

ns

Mee

one

ens

Dee

ls m

ee e

ens/

de

els

mee

one

ens

Mee

een

s

Hel

emaa

l mee

een

s

Nie

t va

n to

epas

sing



Bijlage III. Voorbeeldrapportage van het programma Multisource feedback.nl

Gemiddelde oordelen over Patiënten Niet- Medischecompetentiegebieden en beoordelaars medische collegae(de standaarddeviatie staat tussen haakjes) n = 26 n = 40 n = 22

Medisch handelen n.v.t. n.v.t. 3,94 (0,68)Communicatie 4,21 (0,98) 3,90 (0,60) 4,23 (0,64)Samenwerking n.v.t. 3,74 (0,60) 4.12 (0,63)Organisatie n.v.t. 3,81 (0,55) 4,11 (0,64)Kennis & wetenschap n.v.t. 3,60 (0,68) 4.31 (0,61)Professionaliteit 4,17 (0,87) 3,98 (0,54) 4,10 (0,51)EPA’s (Entrustable Professional Activities) n.v.t. n.v.t. 4,18 (0,56)

Vragen (betreft: Communicatie, Patiënten) Gem SD N

Deze arts was vriendelijk tegen mij/mijn familie 4,50 0,84 26Deze arts toonde begrip voor mij 4,27 0,98 26Deze arts nam mij serieus 4,27 0,94 26Deze arts luisterde goed naar mij 4,31 0,99 26Deze arts stelde begrijpelijke vragen 4,35 0,83 26Deze arts gaf duidelijk uitleg 4,08 1.03 26Deze arts gaf duidelijk informatie over onderzoek en behandeling 4,15 0,99 26Deze arts controleerde of ik alles begreep 3,77 1,05 26

Opmerkingen van medische collegae (selectie)• Ik heb een duidelijke positieve ontwikkeling gezien in het functioneren van XX. Belangrijk is het denk ik

om de gedrevenheid van XX om het goed te willen doen niet te laten leiden tot gedrag dat door sommi-gen als niet sympathiek kan worden opgevat. Probeer openheid van je mening te combineren met respectvoor onder andere collega’s en verpleegkundigen te laten samen gaan. Het is niet erg als je af en toe ietsniet weet of niet helemaal goed doet maar durf dit dan ook toe te geven voor jezelf. Naar mijn meningheeft XX hierin reeds een goede vooruitgang geboekt.

• Hij kan echt geweldige presentaties houden! Hij zou zich echt toe kunnen leggen op onderwijs geven! Hijis goed in organiseren en structureren. Het is denk ik goed om anderen daarbij te betrekken. Hij is denk ikop z’n best als hij iets van zijn persoonlijkheid laat zien aan anderen.

• Iets meer collegialiteit naar andere arts-assistenten toe (m.b.t. werkverdeling)

Opmerkingen van niet-medische collegae (selectie)• Ik vind XX een vriendelijk voorkomen hebben en zo in eerste instantie ook overkomen. En toch maakt hij

op mij ook de indruk te ‘eager’ zijn; daarmee te veel bezig met eigen belang en minder sociaal dan het ineerste instantie oogt. Helaas heb ik hierbij niet een concreet voorbeeld, maar dit is wel het beeld wat hijmeerdere momenten bij mij oproept.

• Misschien iets meer open staan voor kennis en ervaring van verpleegkundigen, is al wel sterk verbeterd inde loop van de tijd.

• Toch meer open staan voor ervaring van verpleegkundige, niet meteen in de verdediging gaan en/of dehouding ‘ik ben de arts’. Bij drukte meer kijken naar de echte prioriteiten en evt. achterwacht erbij halenom te helpen.

Bijlagen |


S51

Bijlagen |

In VIVO Richtlijn

Opmerkingen van patiënten (selectie)• Ik kan mij voorstellen dat je als arts heel efficiënt via een anamnese kan trechteren, waardoor je in som-

mige gevallen vrij snel over kan gaan op actie of afronden… maar voor een ouder van een kind voelt hetsoms fijner om langer in deze fase te blijven van vragen en praten omdat je je dan nog serieuzer genomenvoelt en voor je gevoel is er dan echt alles besproken en verteld! Dan ga je met een ’voldaner’ gevoel naarbuiten! (ook al draait alles uiteraard om de behandeling van het kind!)

• Meer uitleg vooraf over het waarom van bepaalde onderzoeken. (bijv. toraxfoto en bloedonderzoek)Blijf beseffen dat ieder kind anders is en zelden zoals ‘het gemiddelde kind’ in de boeken.Ik heb geen adviezen, misschien alleen… ga zo door!

• Zeer vriendelijke jonge arts in opleiding, een kleine tip, een wat stevigere handdruk zou meer zekerheiduitstralen

• Het recept wat hij voorschreef was voor kinderen tot 6 jaar bleek later bij de apotheek terwijl de patiënt16 jaar is.

Vervolg Bijlage III.


Tijdschrift voor Medisch Onderwijs, juni 2010 | Vol. 29, nr. 3, Suppl. 3, p. 73-102

VoorwoordDeze Richtlijn in het kader van het InVIVO-project is geschreven door drs. Mar-jan Govaerts, namens het kernteam InVIVO van de OOR Zuid-Oost Nederland(OOR-ZON), met medewerking van dr. ErikDriessen, dr. Bas Verhoeven, prof. dr. Ceesvan der Vleuten (vakgroep Onderwijsont-wikkeling en Onderwijsresearch, Faculty ofHealth, Medicine and Life Sciences, Univer-siteit Maastricht) en van dr. Hein Brackel(voorzitter), drs. Jeroen van Hoorn, drs.Rafli van de Laar, dr. Jacques Maas, en prof.dr. Guid Oei (kernteam In VIVO OOR-ZON,werkgroep Toetsing).

De overige leden van het kernteam InVIVO OOR-ZON, dr. Jamiu Busari (voor-zitter), prof. dr. Gerard Essed, drs. Florienten Cate, dr. Twan Mulder, drs. Mark Ot-tink en dr. Frans Roumen, zijn hierbij ge-consulteerd.

Status van de RichtlijnDe Richtlijn is gebaseerd op literatuuron-derzoek, best practices en ervaringen van deauteurs en heeft een adviserend karakter.

Deze Richtlijn dient te zijner tijd te wor-den herzien op basis van aanvullend on-derzoek, ervaringen van gebruikers van deRichtlijn en op basis van bredere ervaringmet de implementatie van de herziene op-leidingsplannen medisch-specialistischevervolgopleidingen. Naar verwachting zaleen eerste herziening-update van deRichtlijn twee jaar na grootschalige im-plementatie plaatsvinden.

InleidingGedurende de opleiding maken artsen inopleiding tot medisch specialist (aios) enhun opleiders gebruik van een portfolio omhet leerproces van de aios te volgen, waarnodig bij te sturen en te beoordelen. Toets-resultaten vormen een essentieel onderdeelvan de informatie in dit portfolio. De Richt-lijn “Interpretatie en gebruik van toetsre-sultaten in het portfolio” geeft een samen-vattend overzicht van aandachtspunten bijinterpretatie en gebruik van toetsresultatenin de opleiding tot medisch specialist.

Doel van de RichtlijnDe Richtlijn is een hulpmiddel voor aiosen opleiders bij de interpretatie en ge-bruik van toetsresultaten gedurende deopleiding tot medisch specialist en be -vat een aantal praktische handvatten en stappenplannen voor het gebruik van de toetsresultaten in begeleidingsgesprekken(voortgangs- en beoordelingsgesprekken).Hierbij wordt niet alleen aandacht be-steed aan de functie(s) die toetsresultatenkunnen vervullen bij het opleiden van aiosmaar ook aan kwaliteitseisen die aan toets-resultaten en toetssystemen gesteld moe-ten worden ten behoeve van geloofwaar-dige en verdedigbare besluitvorming. DeRichtlijn bevat daarmee informatie die ookvoor andere doelgroepen relevant kan zijn:leden van opleidingsteams, opleidingsma-nagement, beleidsmakers en medewer-kers kwaliteitszorg.

Voor aios en opleider (-teams) staan in deRichtlijn de belangrijkste aandachtspunten

Richtlijn interpretatie en gebruik van toetsresultatenin het portfolio

M.J.B. Govaerts, E. Driessen, B. Verhoeven, C.P.M. van der Vleuten, H. Brackel, J. van Hoorn, R. van de Laar, J. Maas, S.G. Oei


10186 BSvL TMO 3s Binnenwerk 2010_corr.qxd:168x244mm 07-06-2010 14:12 Pagina 75

bij het gebruik van toetsresultaten (werk-plekbeoordelingen) in voortgangs- en be-oordelingsgesprekken beschreven. Aan dehand van de geschetste criteria kan eeninschatting gemaakt worden van de kwali-teit en bruikbaarheid van toetsresultaten,en kan de zorgvuldigheid in besluitvor-ming getoetst worden.

Voor opleiders en opleiderteams wordendaarnaast een aantal richtlijnen gegevenvoor de inrichting van de toetsing op dewerkplek en voor de procedures ten be-hoeve van besluitvorming.

Voor opleidingsmanagers en kwa li teits zorg -me de wer kers, tenslotte, staan in de Richtlijnde belangrijkste randvoorwaarden voor eengoed toetssysteem. De Richtlijn is daar-mee te gebruiken als basis voor een in-terne visitatie naar de kwaliteit van hettoetssysteem op een afdeling c.q. binneneen instelling.

LeeswijzerDe Richtlijn “Interpretatie en gebruik vantoetsresultaten in het portfolio” bestaat uit

twee onderdelen. Het eerste deel van deRichtlijn is bedoeld voor toepassing in dedagelijkse opleidingspraktijk. Een aantalbelangrijke uitgangspunten en aandachts-punten bij toetsing wordt hierin samenge-vat. Het tweede deel bevat de uitwerkingen onderbouwing van de Richtlijn, opbasis van theoretische inzichten en prak-tijkervaringen in verschillende contexten,waaronder het medisch opleidingsconti-nuüm. Dit deel wordt afgesloten met eenaantal kaders en stappenplannen die eenoverzicht geven van de aandachtspuntenen randvoorwaarden bij toetsing in de me-disch-specialistische vervolgopleiding.

Toetsing in de medisch-specialistischevervolgopleiding

Toetsing tijdens de medisch-specialisti-sche vervolgopleiding kan gedefinieerdworden als ‘systematische en structureleevaluatie van het functioneren van de aiosvoor formatieve en/of summatieve doel-einden’ (zie Figuur 1). De belangrijkstefunctie van toetsen is het sturen van het

Richtlijn gebruik van toetsresultaten in het portfolio | M.J.B. Govaerts et al.

In VIVO RichtlijnS76

Figuur 1. Het proces van toetsing zoals zichtbaar gemaakt in het portfolio.

Informatie-verzameling Waardering

PORTFOLIO

Beslissing• Observaties• Simulaties• 360-FB• Kennistoetsen• Vaardigheidstoetsen• …

• Feedback• Score• Ontwikkelingsgericht • POP • Remediëring• Kwalificerend • Bekwaamheids- verklaring • Certificering



leren en het stimuleren van de competen-tieontwikkeling van de aios, door het ver-schaffen van feedback, en het vaststellenvan sterke kanten en verbeterpunten inhet functioneren (formatieve functie vantoetsen; ontwikkelingsgericht). Deze for-matieve functie van toetsing is belangrijkbij alle vormen van toetsing in de vervolg-opleiding, maar vooral bij werkplekbeoor-delingen staat de ontwikkelingsgerichtefunctie centraal. Concrete, specifieke enfrequente feedback op het functioneren in de praktijk stelt de aios in staat ge -richt actie te ondernemen om de kwaliteitvan handelen te verbeteren. Documenta-tie van de feedback in het portfolio – in devorm van bijvoorbeeld Korte Praktijkbe-oordelingen (KPB), Objective StructuredAssessment of Technical Skills (OSATS) of360 graden feedback – stelt aios en oplei-ders in staat het leerproces te monitorenen te sturen.

Toetsresultaten in het portfolio vormendaarnaast ook bewijsmateriaal dat ge-bruikt kan worden bij het onderbouwenvan beslissingen over bekwaamheid envoortgang in de opleiding (summatievefunctie van toetsen; kwalificerend). Docu-mentatie van feedback en evaluatie vanperformance is dan essentieel bij het tij-dig signaleren van aios die in aanmerkingdienen te komen voor extra begeleiding ofremediëring.

Toetsing tijdens de medisch-specialisti-sche vervolgopleidingen is dus gericht ophet zichtbaar maken van het functionerenvan de aios, gerelateerd aan de doelstel-lingen van de opleiding. De doelstellin -gen voor de opleiding als geheel en voor de verschillende opleidingsfasen zijn be-schreven in het opleidingsplan, opgestelddoor de betreffende wetenschappelijkevereniging, en uitgewerkt in het regionaalopleidingsplan. De opleidingsdoelstellin-gen hebben zowel betrekking op alge-mene competenties (CanMEDS) als op

specialisme-gebonden competenties (ofbekwaamheden, geordend in thema’s).

Toetsen van competentiesIn het algemeen geldt dat betrouwbare envalide uitspraken over competenties alleenmogelijk zijn op basis van gevarieerde infor-matie, afkomstig van verschillende informa-tiebronnen (verschillende toetsinstrumen-ten, verschillende beoordelaars). Er zijnbinnen de medisch-specialistische vervolg-opleiding vele toetsmethoden en -instru-menten beschikbaar (zie Tabel 1). Elk vande instrumenten levert specifieke informatieover deelaspecten van het professionele han -delen van de aios, vaak gekoppeld aan meer-dere competentiedomeinen.

(Frequente) beoordelingen van het func-tioneren op de werkplek (het ‘DOES-niveau’van Miller) en expertoordelen van de ledenvan het opleiderteam zijn essentieel voorhet beoordelen van competenties in de me-disch-specialistische vervolgopleiding. Re-levante informatie over het functionerenvan een aios in een bepaald competentie -domein wordt echter ook verschaft doorkennistoetsen, simulatietoetsen, weten-schap pelijke activiteiten, gevolgde scholingen cursuscertificaten, en registratie vanpraktijkervaringen (logboek).

Richtlijnen en minimumeisen voor toet-sing van professionele competenties zijnbeschreven in de (regionale) opleidings-plannen. Uit onderzoek blijkt dat voor hetnemen van betrouwbare beslissingen veeltoetstijd noodzakelijk is. Voor kennistoet-sen (KNOWS HOW) geldt bijvoorbeelddat 2-3 uur toetstijd vereist is voor hetkunnen doen van betrouwbare uitspra-ken; voor het SHOWS HOW-niveau is ge-middeld 3-4 uur toetstijd noodzakelijk (opjaarbasis, eventueel verspreid in de tijd afte nemen). Voor het DOES-niveau geldenvergelijkbare richtlijnen. Concreet bete-kent dit dat een aios voor het DOES-ni-veau op jaarbasis bijvoorbeeld acht KPB’s,



enkele praktijkopdrachten of -besprekin-gen en een 360 graden feedbackrappor-tage in zijn/haar portfolio opneemt.

Beslissingen over bekwaamheid respec-tievelijk certificering worden dus altijd ge-nomen op basis van geaggregeerde infor-matie over het functioneren van de aios,verzameld over een langere tijdsperiodeen afkomstig van verschillende informa-tiebronnen. Eén enkele beoordeling (werk-plekbeoordeling c.q. toetsresultaat) magnooit de enige en unieke basis vormen voorhet nemen van summatieve beslissingen!Het proces van informatieaggregatie enbesluitvorming is vergelijkbaar met de be-sluitvorming bij gezondheidsklachten vanpatiënten: één enkel symptoom of signaalis onvoldoende om beleid te kunnen uit-stippelen. Definitief beleid wordt pas vast-gesteld na zorgvuldige selectie, ordeningen interpretatie van relevante gegevens uitverschillende informatiebronnen in hetpatiëntendossier (zoals anamnese, licha-melijk onderzoek, laboratoriumonderzoeken ander aanvullend onderzoek), zonodigna consultatie van collega’s.

Interpretatie en gebruik van toetsre-sultaten in begeleidingsgesprekken

Het gebruik van het portfolio, hetzij bijhet coachen of sturen van het leerproces,hetzij bij het nemen van beslissingen overvoortgang en bekwaamheid, verondersteltdat de in het portfolio verzamelde infor-matie een representatief beeld geeft vanhet feitelijke functioneren van de aios inde opleiding. Toetsresultaten vormen eendeel van de relevante informatie. Prescrip -tieve richtlijnen voor wat betreft nood-zakelijke aantallen en typen beoordelin-gen voor het nemen van beslissingen c.q.doen van uitspraken zijn niet beschikbaar.Dit hangt sterk af van het competentie -domein of de taak waarover we uitspra-ken willen doen, maar ook van het indivi-duele leertraject van de aios. Afhankelijkvan de wijze waarop de aios functioneerten afhankelijk van het risico dat verbon-den is aan de te beoordelen activiteiten,kan behoefte bestaan aan meer of minder(formele) beoordelingsmomenten. Patiënt -veiligheid is daarbij een belangrijk crite-rium. Beslissingen vragen daarom steedsom een verstandige interpretatie van deinformatie in het portfolio, gegeven de



Tabel 1. Overzicht van toetsmethoden en –instrumenten naar Miller-niveau.

Miller-niveau Toetsmethoden / -instrumenten

DOES KPB, 360 graden feedback; OSATS, opdrachtverslagen (bijvoorbeeld CAT, PICO), ver-slaglegging, brieven, statusnabespreking, onaangekondigde simulatiepatiënten, praktijkaudits, voorschrijfgedrag, patiëntuitkomsten

SHOWS HOW Stationstoetsen, simulatietoetsen, toetsen met Standardized Patients

KNOWS HOW Casusgebonden schriftelijke toetsen (Multiple choice, essays, key-feature, etc.), monde-linge examens gericht op klinische toepassing

KNOWS Schriftelijke toetsen (Multiple choice, essays, key-feature, etc.), mondelinge examens gericht op feitenkennis



actuele opleidingssituatie van de aios ende eisen in het opleidingsplan.

Bij interpretatie en gebruik van toetsre-sultaten is een aantal aandachtspuntenvan belang:• Maak samenvattende overzichten: Om

het leren van de aios te coachen en te sturen is het noodzakelijk inzicht tehebben in sterke kanten en in mo gelijkeverbeterpunten in het functioneren, bijvoorbeeld op basis van sa men vat -tende overzichten per com pe ten tie -domein (algemeen en/of specialisme-gebonden). Elektronische portfoliosys-temen kunnen hierbij ondersteunendoor het genereren van overzichtsrap-portages, al dan niet uitgesplitst naar(deel)competenties en opleidingsthe-ma’s. Vooral de geschreven (narratieve)feedback geeft concrete handvattenvoor gerichte sturing van het leerpro-ces. Gemiddeld behaalde scores heb-ben vooral een signaleringsfunctie.

• Check scores en feedback die afwijkenvan de trend: Op basis van één enkelewerkplekbeoordeling wordt specifiekeinformatie verkregen over het functio-neren op dat moment, ten aanzien vanéén specifieke taak of patiëntenpro-bleem (bijvoorbeeld jong kind metbuikklachten) in één specifieke situ-atie (bijvoorbeeld poli, afdeling, SEH).Feedback en behaalde scores op se-parate (werkplek)beoordelingen (metname uitschieters naar boven en bene-den) kunnen daarmee een gedetail-leerde indicatie geven van specifiekebekwaamheden en aandachtspuntenin het functioneren. Discrepanties tus-sen zelfoordelen en oordelen van an-deren (bijvoorbeeld in de 360 gradenfeedback) kunnen een belangrijk hulp-middel zijn bij het stimuleren van reflectie.

• Baseer beslissingen uitsluitend op geag-gregeerde en gevarieerde informatie: Uit-

spraken over competenties zijn nietmogelijk op basis van één enkele toetsof toetsinstrument. Geen enkele toetsof toetsinstrument voldoet aan allekwaliteitseisen wat betreft betrouw-baarheid en validiteit. Uitspraken overcompetenties zijn daarom bij voorkeurgebaseerd op een variatie aan toets -resultaten, afkomstig van verschil-lende instrumenten en bronnen. In hetportfolio dienen in elk geval beoorde-lingen op het ‘DOES’-niveau (Miller)aanwezig te zijn, met een zekere regel-maat en gespreid in de tijd afgenomen.Let daarnaast op variatie in werkplek-beoordelingen: is er sprake van vol-doende variatie in patiëntproblema-tiek? Voldoende variatie in beoorde-lingssituaties? Voldoende variatie inbeoordelaars? In het algemeen geldtdat veel beoordelingen noodzakelijkzijn om te kunnen komen tot betrouw-bare uitspraken over het functionerenin een bepaald (competentie)domein.Voor werkplekbeoordelingen die geba-seerd zijn op individuele patiëntcasus(bijvoorbeeld KPB, OSATS) geldt dat6-11 beoordelingen noodzakelijk zijnom te komen tot betrouwbare oorde-len. Wat betreft het aantal beoorde-laars geldt ten aanzien van werkplek-beoordelingen dat 6-10 beoordelaarsnodig zijn om van betrouwbare oorde-len te kunnen spreken (grotere aantallenals het gaat om patiëntoordelen!).

• Geschreven (narratieve) feedback is be-langrijker dan scores: Bij de interpreta-tie van toetsresultaten, en in het bij-zonder van werkplekbeoordelingen,zijn behaalde scores minder informa-tief dan geschreven feedback. Inter-pretatie van scores kan lastig zijn als er gebruik gemaakt wordt van uit-eenlopende toetsinstrumenten metverschillende scoringsmodellen. Daar-naast is er vaak sprake van milde oor-



delen (score-inflatie) en kunnen be-oordelaars van elkaar verschillen watbetreft de manier waarop toetsinstru-menten gebruikt worden (verschillenin gehanteerde referentiekaders, crite-ria, e.d.). Het is daarom belangrijk datgoede afspraken gemaakt worden inopleiderteams over het gebruik van in-strumenten.

• Trianguleer de informatie: Toetsresulta-ten zijn niet de enige bron van informa-tie. Trianguleer de verkregen informatie,dat wil zeggen: vergelijk toetsresultatenmet elkaar en met andere informatie-bronnen, waaronder het expertoordeelvan het opleiderteam. Wijst alle infor-matie in dezelfde richting? Is er (duide-lijk) sprake van groei? Bij twijfel of bijniet consistente informatie moet aan-vullende informatie verzameld worden(in de vorm van werkplekbeoordelingen,observaties, of anderszins).

• Neem beslissingen op basis van verde-digbare standaarden: In opleidingsplan-nen worden minimumeisen (absolutestandaarden) beschreven waaraan aiosop verschillende momenten in de op-leiding dienen te voldoen. Er is echternog maar beperkt evidence-based in-formatie beschikbaar over leertrajec-ten van aios in de medisch-specialisti-sche vervolgopleidingen, zeker als hetgaat om de algemene competenties.Daarom wordt aanbevolen om scoresen competentieontwikkeling van de in-dividuele aios steeds te vergelijken metdie van een adequaat gekozen referen-tiegroep, bijvoorbeeld aios uit dezelfdeopleidingsregio in een zelfde fase vanopleiding. Ook hierbij kan ondersteu-ning geboden worden door elektroni-sche portfoliosystemen. Maak in iedergeval in het opleiderteam goede af-spraken over te hanteren criteria enstandaarden (organiseer consensusbe-sprekingen).

• Motiveer en documenteer beslissingen:Maak duidelijke afspraken over besluit-vormingsprocedures. Pas proceduresaan aan de zwaarte van de beslissing:gebruik meerdere beoordelaars en con-sensusprocedures als beslissingen lastigen zwaarwegend zijn. Neem beslissin-gen over de voortgang in de opleidingals team. Geef de aios, waar mogelijk,een stem in de besluitvorming. Motiveeren documenteer summatieve beslissin-gen (bekwaamverklaringen, voortgangs-beslissingen).

RandvoorwaardenBeschreven gebruik van toetsen, waarbijtoetsresultaten zowel gebruikt worden omhet leerproces te sturen als om beslissin-gen te onderbouwen, vereist een veiligeomgeving voor alle betrokkenen. Maakduidelijke afspraken met alle betrokkenen(aios en stafleden) over de wijze waaroptoetsing en begeleiding plaatsvinden; hel-derheid over wederzijdse verwachtingen,criteria, standaarden en procedures draagtbij aan een veilig leerklimaat. Veiligheidneemt toe naarmate evaluatie en docu-mentatie van functioneren meer ingebedworden in dagelijkse werkroutines. Draagals opleiderteam gezamenlijk verantwoor-delijkheid voor de kwaliteit van toetsing.Zorg – waar nodig – voor professionalise-ring van staf en aios.

Voorbeelden van een geaggregeerderapportage over een aios

In de onderstaande drie figuren zijn en-kele voorbeelden afgebeeld van aggregatievan toetsresultaten uit aios-portfolio’s.Elektronische portfoliosystemen kunnenondersteunen bij het maken van derge-lijke samenvattende overzichten. De voor-beelden in de Figuren 2, 3 en 4 zijn af-komstig van MMTSS/ePASS (ontwikkeldin OOR Zuid-Oost Nederland).






Figuur 2. Overzicht van toetsmomenten over een periode van enkele maanden en van behaalde scores voor hetcompetentiedomein ‘Communicatie’, per toetsmoment.

Figuur 4. Gemiddeld behaalde scores per CanMEDS domein, berekend over alle toetsinstrumenten, voor ver-schillende fasen (semesters) in de opleiding.

Figuur 3. Gemiddeld behaalde scores per CanMEDS domein in één semester, berekend over alle toetsinstru-menten, en bijbehorend overzicht van narratieve feedback op beoordelingsformulieren. Individueelbehaalde scores worden vergeleken met gemiddeld behaalde scores van een referentiegroep (aios inhet zelfde opleidingscohort).

Overzichtbeoordelingen

KPB poli algemeenReferaat…KPB slecht nieuws360-graden feedback…KPB poli algemeen…

Datum

2008-03-182008-03-29

2008-05-192008-06-06

2006-06-26

ScoreCommunicatie

4,5 4,2

3,0 4,0

4,501-03-08

16-03-0831-03-08

15-04-0830-04-08

15-05-0830-05-08 29-06-08

14-07-0829-07-08

14-06-08

5

3

1

Deze AIOS functioneert goed wat betreft:

– Betrouwbaar en collegiaal

– Deze AIOS neemt veel eigen initiatief, werkt heel

zelfstandig en is duidelijk

– Zeer prettig in de omgang, ook naar patiënten toe.

Hoor vaak positief commentaar.

– Medisch-technisch heel goed op niveau.

Wordt een prima collega!

– Zeer duidelijke uitleg en instructies.

De belangrijkste verbeterpunten/leerdoelen voor deze AIOS zijn:

– Poli loopt nog wel eens uit.

Probeer wat efficiënter te werken.

– Tempo mag soms nog iets hoger.

– Loop jezelf niet voorbij. Probeer vaker nee te zeggen,

of te delegeren.

– LP vaker oefenen.

Medisch handelen (20)

Communicatie (20)

Samenwerking (19)

Kennis en wetenschap (19) Maatschappelijk handelen (18)

Professionaliteit (20)

Cohort

Individueel

Organisatie (20)

5

4

3

2

1

Medisch handelen

Communicatie

Samenwerking

Kennis & wetenschap

Maatschappelijk handelen

Organisatie

Professionaliteit

sem. 1-2 sem. 2-2 sem. 3-1



1. Doelstelling van de Richtlijn en het gebruik door verschillendedoelgroepen

Doel van deze Richtlijn is het ondersteu-nen van aios en opleider (-team) bij hetbespreken van de voortgang c.q. bij hetnemen van beslissingen over de voortgangin de opleiding, en bij het gebruik vantoetsresultaten in dit proces. De Richtlijnbeoogt dit te doen door middel van:• Een beschrijving van de doelstellingen

van toetsing in de medisch-specialisti-sche vervolgopleiding en het gebruikvan toetsresultaten in begeleidingsge-sprekken (voortgangs- en beoorde-lingsgesprekken).

• Een beschrijving van kwaliteitseisenbij toetsing en bij gebruik van toetsre-sultaten (met nadruk op werkplekbe-oordelingen).

• Een omschrijving van stappen in zorg-vuldige besluitvorming.

• Een samenvatting van een aantal rand-voorwaarden bij gebruik van toetsresul-taten ten behoeve van besluitvorming.

Voor aios en opleider (-teams) worden inde Richtlijn de belangrijkste aandachts-punten bij het gebruik van toetsresultaten(werkplekbeoordelingen) in voortgangs-en beoordelingsgesprekken beschreven.De Richtlijn geeft een overzicht van decriteria aan de hand waarvan een inschat-ting gemaakt kan worden van de kwaliteiten bruikbaarheid van toetsresultaten, enwaaraan de zorgvuldigheid in besluitvor-ming getoetst kan worden.

Voor opleiders en opleiderteams wordendaarnaast een aantal richtlijnen beschre-

ven voor de inrichting van de toetsing opde werkplek en de procedures ten behoevevan besluitvorming.

Voor opleidingsmanagers en kwaliteits-zorgmedewerkers, tenslotte, worden in deRichtlijn de belangrijkste randvoorwaar-den voor een goed toetssysteem beschre-ven. De Richtlijn is daarmee te gebruikenals basis voor een interne visitatie naar dekwaliteit van het toetssysteem op een af-deling c.q. binnen een instelling.

Deze Richtlijn is gebaseerd op litera-tuuronderzoek en best practices, zowelbinnen de context van het medisch oplei-dingscontinuüm als binnen andere con-texten waar leren en beoordelen op dewerkplek een belangrijke plaats innemen.

2. Definities en begripsbepalingen

CanMEDS: een 7-tal algemene competen-ties die de bekwaamheid van de Neder-landse medisch specialist beschrijven. Zijvormen de generieke eindtermen voor allemedisch-specialistische vervolgopleidingenin Nederland en zijn afgeleid van de door‘the Royal College of Physicians and Surge-ons of Canada’ geformuleerde ‘CanMEDS-roles’. (http://knmg.artsennet.nl/).

Competentie: de bekwaamheid om opbasis van kennis, vaardigheden, oordeels-vermogen, houdingen (opvattingen, vi-sies) en persoonskenmerken, keuzes temaken uit een handelingsrepertoire dietot resultaat hebben dat de taken die zichin een specifieke beroepscontext voor-doen, adequaat worden aangepakt, con-form rol en verantwoordelijkheid.

Achtergronden bij de Richtlijn interpretatie en gebruik van toetsresultaten in het portfolio




Competentieprofiel: profielbeschrijving vande individuele aios die inzicht geeft in demate van bekwaamheid voor de verschil-lende CanMEDS competenties.

Halo: bepaalde kenmerken van de beoor-deelde of bepaalde aspecten in het func-tioneren worden overbelicht en hebbeneen onterechte (positieve of negatieve) in-vloed op de beoordeling van andere ken-merken of aspecten in het functioneren.

KBS: Kritische BeroepsSituatie / Kenmer-kende BeroepsSituatie.

KPB: Korte PraktijkBeoordeling; vorm vanwerkplekbeoordeling. Kortdurende evalu-atie van het functioneren van de aios opbasis van directe observatie, bij het uitvoe-ren van een authentieke taak.

Leniency: neiging tot geven van mildeoordelen; score-inflatie.

Opleidingsplan: een door de betreffendewetenschappelijke vereniging opgestelden door het Centraal College MedischeSpecialismen (CCMS) vastgesteld plandat de structuur en inhoud van de oplei-ding tot medisch specialist beschrijft endat de basis vormt voor het individueleopleidingsplan.

OSATS: Objective Structured Assessmentof Technical Skills; vorm van werkplekbe-oordeling. Oorspronkelijk ontwikkeld tenbehoeve van evaluatie van met name tech-nische vaardigheden bij operatieve ingre-pen.

POP: Persoonlijk OntwikkelPlan, ook welIndividueel OpleidingPlan (IOP). In hetPersoonlijk Ontwikkelplan beschrijft deaios wat hij/zij wil bereiken gedurendeeen bepaalde periode (persoonlijk leer-plan), aan de hand van SMART geformu-

leerde doelen. Een POP wordt opgesteldop basis van sterkte-zwakteanalyse, indi-viduele leerwensen van de aios en van demogelijkheden die in betreffende periodegeboden worden. Een POP wordt gedu-rende de opleiding regelmatig geëvalu-eerd en bijgesteld.

Portfolio: persoonlijk dossier, verzamelin -strument al dan niet digitaal, dat informa-tie bevat op basis waarvan het leerprocesvan de aios inzichtelijk wordt gemaakt.Het portfolio in de medisch-specialisti-sche vervolgopleiding vervult verschil-lende functies, met nadruk op ontwikke-ling en reflectie. Daarnaast vormt deinformatie in het portfolio ‘bewijsmateri-aal’ bij het nemen van beslissingen tenaanzien van bekwaamheid.

SMART: acroniem ter aanduiding van deeisen die aan goed geformuleerde leerdoe-len gesteld kunnen worden. Leerdoelendienen liefst Specifiek, Meetbaar, Accep-tabel, Realiseerbaar/Realistisch en Tijdge-bonden te zijn.

Sterkte-zwakteanalyse: analyse van heteigen functioneren waarbij in kaart wordtgebracht waar de sterke punten liggen inhet functioneren en waar verbeteringnoodzakelijk/wenselijk is.

Themaprofiel: profielbeschrijving van deindividuele aios die inzicht geeft in demate van bekwaamheid voor de verschil-lende in het opleidingsplan gedefinieerdethema’s.

Toetsing: systematische en structurele eva-luatie van en feedback op het functionerenvan de aios, met formatieve en/of summa-tieve doeleinden.

Werkplekbeoordeling: beoordeling van hetfunctioneren van de aios op de werkplek.



3. Doelstellingen van toetsing –algemene inleiding

A. Rol van toetsen in de opleiding Toetsen kunnen binnen opleidingen eenaantal functies vervullen1-4:1. Bevorderen van het leren en ondersteu-

nen van effectieve en efficiënte ontwik-keling van (beroeps)competenties. Toet-sing motiveert, bekrachtigt en stuurt deprofessionele ontwikkeling van de aios,door:a. het expliciet maken van de eisen die

op bepaalde momenten in de oplei-ding aan de aios gesteld worden,

b. feedback op functioneren, gerela-teerd aan de doelstellingen van deop lei ding: zichtbaar maken van ster -ke en minder sterke kanten in hetfunctioneren.

2. Onderbouwen/verantwoording van se-lectie-/promotiebeslissingen:Toetsresultaten geven inzicht in hetbereikte niveau van competentieont-wikkeling en de kwaliteit van functio-neren van de aios en vormen daarmeeeen belangrijke basis voor het toeken-nen van bekwaamheidsverklaringen,certificering en registratie.

3. Bewaken van opleidingskwaliteit:a. toetsresultaten geven informatie

over de effectiviteit van de opleiding,b. bescherming van publiek tegen on-

bekwame professionals.

Er wordt onderscheid gemaakt tussen for-matief en summatief gebruik van toetsre-sultaten.

Formatieve toetsing heeft met name tendoel de aios feedback te verschaffen overde voortgang in het eigen leerproces, opbasis daarvan reflectie te stimuleren enleeractiviteiten te sturen. De formatievefunctie van toetsen staat centraal in de re-gelmatig terugkerende, formele beoorde-

lingen van het functioneren op de werk-plek in de vorm van KPB, OSATS of 360graden feedback. Ook in voortgangsge-sprekken ligt de nadruk op formatief ge-bruik van toetsresultaten.

Van summatief gebruik van toetsresulta-ten wordt gesproken als toetsresultaten debasis vormen voor het nemen van beslis -singen over voortgang c.q. certificering.Summatief gebruik van toetsresultatenstaat centraal in beoordelingsgesprekken.Beslissingen over bekwaamheid respectie-velijk registratie/certificering worden altijdgenomen op basis van informatie over hetfunctioneren van de aios die gedurendelangere tijd, min of meer systematisch, wordtverzameld, bijvoorbeeld in een portfolio.Een enkele werkplekbeoordeling (mo -ment op name) vormt nooit de enige enunieke basis voor het nemen van summa-tieve beslissingen!

Zowel ten behoeve van voortgangsge-sprekken als ten behoeve van beoordelin-gen moeten toetsresultaten een accuraaten geloofwaardig beeld geven van het leer-proces, competentieontwikkeling en van debekwaamheden van de aios. Dit kan alleenals de informatie op basis waarvan beslis-singen worden genomen aan specifiekevoorwaarden voldoet (zie hoofdstuk 4).

B. Toetsen in de medisch-specialistischevervolgopleiding: competentie- en themagericht toetsprogramma

Toetsresultaten geven inzicht in het functio-neren van de aios. Zowel bij het formulerenvan individuele ontwikkelingsplannen, alsbij het nemen van gemotiveerde beslissin-gen over professionele bekwaamheid is hetnoodzakelijk om een gedetailleerd beeld tehebben van de ontwikkeling van de aios, ge-relateerd aan de specifieke eindtermen vande opleiding. Een holistisch, algemeenbeeld van het functioneren van de aios isdaarbij meestal niet voldoende.





In het kader van de vernieuwing van demedisch-specialistische vervolgopleidin-gen zijn de eindtermen van de opleidinglangs verschillende invalshoeken gedefi-nieerd. Enerzijds worden ten behoeve vande competentieontwikkeling van de aioseen 7-tal algemene competentiedomeinenonderscheiden die vastgelegd zijn in deCanMEDS rollen:

1. Medisch handelen2. Communicatie3. Samenwerking4. Organisatie5 Professionaliteit6. Maatschappelijk handelen7. Kennis en wetenschap

Anderzijds zijn vanuit vakinhoudelijk per-spectief specifieke (specialisme-gebonden)einddoelen beschreven in een aantal ver-schillende thema’s en/of kenmerkende c.q.kritische beroepssituaties (taken, clustersvan taken of verrichtingen).

De professionele ontwikkeling van deaios vindt enerzijds plaats binnen elk vande zeven CanMEDS competenties, ander-zijds binnen de verschillende thema’s vanhet vakgebied. Bij het bespreken c.q. be-oordelen van de voortgang van de aiosmoet zo goed mogelijk in beeld gebrachtworden hoe het staat met:• de ontwikkeling van de aios in de ver-

schillende CanMEDS competenties(competentieprofiel),

• de ervaringen en bekwaamheden vande aios binnen de verschillende thema’s(themaprofiel).

Analoog hieraan richt toetsing van de aioszich dus enerzijds op de competentieont-wikkeling (over de verschillende thema’sheen), anderzijds op de themagebondenbekwaamheden (over de verschillendecompetentiedomeinen heen).

Uitspraken over competenties wordenaltijd afgeleid uit beoordelingen van het

functioneren op verschillende taken in deberoepsuitoefening. Een aios is immers al-leen in staat om de relevante beroepstakenadequaat uit te oefenen indien hij beschiktover een aantal competenties.1 5 Op dezemanier ontstaat voor elk thema een matrixvan relevante taken en competenties, zoalsuitgewerkt in onderstaande voorbeelden(Thema A respectievelijk B).

Uit de gehanteerde definitie van profes-sionele competentie en de opleidingsspe-cifieke thema-competentiematrices volgtdat in de medisch-specialistische vervolg-opleiding een compleet toetsprogrammaminimaal omvat:A. Beoordelingen van performance op re-

levante taken uit de beroepspraktijk: a. beoordeling van de kwaliteit van

handelen (proces) en b. beoordeling van de uitkomst van

het handelen (= outcomes).B. Beoordeling van de verantwoording

van gemaakte keuzes en van reflectieop handelen.

C. Beoordeling van ervaring met speci-fieke taken uit het vak (registratie vanervaringen/verrichtingen).

A-C betreffen voornamelijk registratie enbeoordeling van functioneren in de prak-tijk (werkplekbeoordelingen). Het lerenvan de aios in de medisch-specialistischevervolgopleiding vindt voor 90-95% plaatsop de werkplek. Evaluaties c.q. beoordelin-gen van het functioneren op de werkplekvormen dan ook de kern van het toetspro-gramma in de medisch-specialistische ver-volgopleiding. Bij het doen van uitsprakenover professionele competentie is vaak be-hoefte aan aanvullend ‘bewijsmateriaal’,omdat het onmogelijk is om alle facettenvan het vak in de praktijk voldoende breedte toetsen.6-7 Aanvullend bewijsmateriaalkan verkregen worden op basis van:



D. Beoordeling van gevolgde scholing/onderwijs/training.

E. Beoordeling van kennis (kennistoetsing).F. Beoordeling van vaardigheden (met

name relevant indien de praktijk teweinig mogelijkheden biedt om dit ge-degen te doen; als beoordeling vanvaardigheden in de praktijk lastig is inverband met weinig voorkomen óf alsbewijs van beheersing noodzakelijk isin verband met patiëntveiligheid).

C. Portfolio als verzamelinstrumentOm te komen tot uitspraken over compe-tenties c.q. functioneren van de aios is be-wijsmateriaal nodig. Dit bewijs moet:• over langere tijd verzameld zijn,• afkomstig zijn van verschillende bron-

nen,• gemeten zijn met behulp van een ver-

scheidenheid aan instrumenten.

Er zijn binnen de medisch-specialistischevervolgopleiding vele toetsvormen en -instrumenten beschikbaar. Elk van dezeinstrumenten levert specifieke informatieover specifieke deelaspecten van het pro-fessionele handelen van de aios2 (zie bijvoorbeeld ook http://www.acgme.org/ outcome/assess/toolbox.pdf; http://www.foundationprogramme.nhs.uk/pages/home/training-and-assessment). De infor-matie over het functioneren van aios kanin een (elektronisch) portfolio verzamelden gepresenteerd worden zodat voor elkeaios een competentieprofiel c.q. een taak-of themaprofiel opgesteld kan worden.

Door de informatie en toetsresultaten inhet portfolio op een zorgvuldige manier tecombineren en te wegen, is het mogelijkom enerzijds vast te stellen waar sterkec.q. zwakke kanten van de aios liggenvoor wat betreft de zeven CanMEDS com-



Thema ACompetentie

Taak 1 Taak 2 Taak 3 Taak 4 Taak 5 Taak … Taak nMedisch handelen X X X X XCommunicatie X X X X X XSamenwerken X X XOrganisatie X XKennis en wetenschap X XMaatschappelijk handelen X XProfessionaliteit X X X X X X X

Thema BCompetentie

Taak 1 Taak 2 Taak 3 Taak 4 Taak 5 Taak … Taak nMedisch handelen X X X XCommunicatie X X X X XSamenwerken X X XOrganisatie X X XKennis en wetenschap X XMaatschappelijk handelen X X X XProfessionaliteit X X X X X X X



petenties en anderzijds vast te stellen hoede aios in de verschillende inhoudelijkethema’s functioneert (met welke mate vanzelfstandigheid, effectiviteit, efficiëntie,etc.). Op basis hiervan kunnen vervolgensonderbouwde beslissingen genomen wor-den ten aanzien van persoonlijke ontwik-kelingsplannen, bekwaamheidsverklarin-gen, voortgang in de opleiding, etc.8

D. Gebruik van toetsresultaten in hetvoortgangsgesprek (formatief)

Een voortgangsgesprek is bedoeld voor deevaluatie van en reflectie op het functio-neren van de aios in de afgelopen periode(drie-zes maanden), en voor het makenvan specifieke afspraken voor de volgendeperiode.

Het Persoonlijk OntwikkelingsPlan (POP)van de aios vormt de basis voor de inhoudvan het voortgangsgesprek. In het POPstaan specifieke leerdoelen beschreven.Aan de hand van alle voorliggende infor-matie in het portfolio wordt zowel devoortgang in het leerproces als de matewaarin leerdoelen in de afgelopen periodezijn bereikt, geëvalueerd. De formatievefunctie van toetsing staat in het voort-gangsgesprek centraal. Toetsresultaten/beoordelingen helpen om sterke en min-der sterke kanten in het functioneren teidentificeren. Op basis hiervan kunnenconcrete afspraken voor de volgende op-leidingsperiode worden gemaakt. Hierbijis het belangrijk duidelijk af te spreken opwelke manier getoetst kan en zal wordenof de aios succesvol aan zijn leerdoelenheeft voldaan. Toetsresultaten zijn vooralbruikbaar voor het (bij)sturen van hetleerproces als ze aan bepaalde voorwaar-den voldoen (zie hoofdstuk 4).

E. Gebruik van toetsresultaten in het be-oordelingsgesprek (summatief)

In het beoordelingsgesprek staat de vraagcentraal of de betreffende aios voldoet

aan de (minimum)eisen die op dat mo-ment gesteld worden. Hieraan gekoppeldwordt de vraag beantwoord of het verant-woord is om de aios te laten doorstromennaar een volgende fase van de opleidingc.q. loopbaan.

De basis voor het gesprek wordt ge-vormd door de aan de aios te stellen eisenenerzijds, en door de in het portfolio be-schikbare informatie over het functionerenvan de aios anderzijds. De minimumeisenwaaraan een aios op specifieke mo men tenin de opleiding moet voldoen staan deelsomschreven in het opleidingsplan zoalsopgesteld door de betreffende weten-schappelijke vereniging, en zijn uitge-werkt in het regionale opleidingsplan. Het portfolio, met de daarin opgenomentoetsresultaten, vormt het belangrijkstebewijsmateriaal ter onderbouwing van dete nemen beslissing. De beslissing is al-leen geloofwaardig en verdedigbaar alsbewijsmateriaal en besluitvormingspro-ces aan specifieke voorwaarden voldoen(zie hoofdstukken 4-5).

Elke bekwaamheidsverklaring die wordtafgegeven betreffende deelaspecten vanthema’s (bijvoorbeeld een specifieke ver-richting) kan beschouwd worden als eensummatief toetsmoment. Er wordt danvastgelegd dat de aios aan de minimum-voorwaarden voldoet om de betreffendeverrichting zonder directe supervisie uit tevoeren (bijvoorbeeld het zelfstandig uit-voeren van een vacuümextractie). Werk-plekbeoordelingen en expertoordelen vanhet opleiderteam vormen ook bij derge-lijke beslissingen het belangrijkste bewijs-materiaal.

4. Interpretatie van toetsresultaten:kwaliteit en kwantiteit van werk-plekbeoordelingen

Een toets meet (een deel van) het functio-neren van de aios. Met behulp van ver-schillende toetsen (verscheidenheid van



toetsinstrumenten en beoordelaars) wor-den toetsresultaten verkregen die wordengebruikt ter onderbouwing van beslissin-gen. Deze beslissingen kunnen betrekkinghebben op (bij)sturing van het leerprocesofwel op voortgang in de opleiding (selec-tie). Beslissingen kunnen pas genomenworden na interpretatie van de verkregenmeetresultaten. Bij het nemen van beslis-singen op basis van toetsresultaten gaanwe vaak uit van een aantal impliciete aan-names. Zie voor een voorbeeld Box 1. Devraag is hoe gerechtvaardigd al deze aan-names en conclusies zijn. Zijn de kandi-daten met de hoogste scores ook hetmeest competent, en functioneren zij hetbest op de werkvloer?

De mate waarin de interpretatie van detoetsscores en de zak/slaagbeslissingenkloppen, hangt samen met de mate waarinde aannames over de toets terecht zijn. Bijmeer bewijs dat de aannames terecht zijn,is de geldigheid van de conclusies die weaan de toetsresultaten verbinden groter. Debasisgegevens, de meetresultaten, moetendus aan een aantal kwaliteitseisen vol-

doen.9-10 Deze basiseisen worden hiernabeschreven, met een specifieke nadruk opimplicaties voor werkplekbeoordelingen.

A. Toetsresultaten zijn accuraatDe toetsresultaten moeten een precieze(betrouwbare) indicatie vormen voor hetprestatieniveau op de toets c.q. te beoor-delen taak. Zij moeten precieze informa-tie geven over sterke en zwakke kanten inhet functioneren van de aios. Verschillenin toetsresultaten bij vergelijking van ver-schillende aios horen dus uitsluitend hetgevolg te zijn van daadwerkelijke (ver-schillen in) bekwaamheid van aios en nietbeïnvloed te worden door andere, min ofmeer toevallige factoren. Mogelijke enveel voorkomende foutenbronnen zijn bij-voorbeeld:• extreme vermoeidheid of ziekte bij de

kandidaat,• onduidelijke scoringssystematiek,• verkeerd gebruik van scoringsmodellen,• een toets bestaande uit extreem moei-

lijke of gemakkelijke taken.



Box 1. Een voorbeeld.

Als een kandidaat slaagt voor een kennistoets is onze conclusie vaak dat de betreffende kandidaat overvoldoende kennis beschikt. Daarbij gaan we uit van een aantal aannames: – dat de behaalde score een nauwkeurige/precieze meting is van de kennis van de kandidaat (en niet

van andere, voor deze toets irrelevante zaken zoals IT-vaardigheden, leesvaardigheid of stressbe-stendigheid)

– dat we op basis van de toets uitspraken kunnen doen over de kennis van de kandidaat die verdergaan dan de specifieke inhoud van de items in de betreffende toets

– en dat de zak-slaaggrens/cesuur zodanig gekozen is dat er een betrouwbaar onderscheid wordt ge-maakt tussen kandidaten die over voldoende kennis beschikken en kandidaten wier kennisniveaudaadwerkelijk onvoldoende is.

Vaak gaat onze interpretatie van toetsscores nog een stap verder en gebruiken we toetsscores om daar-mee een uitspraak te doen over de bekwaamheid van de kandidaat als beroepsbeoefenaar. We gaan erdan, op basis van de toetsresultaten, van uit dat de kandidaat ook in staat is om de kennis adequaattoe te passen in relevante beroepssituaties.



Accutaresse van werkplekbeoordelingen inde praktijk

Uit onderzoek blijkt dat werkplekbeoor-delingen in het algemeen niet erg accuraatzijn, vergeleken met scores die verkregenworden uit meer ‘objectieve’ of gestan-daardiseerde toetsvormen.11-13 Typischekenmerken van werkplekbeoordelingen inde klinische setting zijn onder andere:• leniency (score-inflatie): beoordelaars

zijn geneigd om mild en optimistischte oordelen,14

• halo-effecten: de algemene indrukover de aios is bepalend voor het oor-deel op deelcompetenties, of één as-pect in het functioneren bepaalt oor-delen over andere onderdelen van hetfunctioneren,15

• verschillen in de manier waarop be-oordelaars de kwaliteit van waargeno-men functioneren interpreteren enomzetten in een score: sommige be-oordelaars kunnen het eens zijn overkwaliteit van functioneren en dit tochanders scoren, terwijl andere beoorde-laars van mening verschillen over dewaargenomen kwaliteit en toch het-zelfde scoren.16-17

Verschillende oorzaken kunnen hieraanten grondslag liggen:• Dubbelrol van de beoordelaar: Beoorde-

laars (staf) hebben vaak een langdu-rige, min of meer intensieve werkrela-tie met de aios en vervullen naast derol van beoordelaar ook de rol vancoach-supervisor. Onderzoek toont ta-melijk consistent aan dat het vervullenvan deze dubbelrol het geven van eer-lijke en volledige feedback belemmert.Met name het toekennen van ‘negatie-ve’ beoordelingen en feedback wordtervaren als lastig, en weinig motive-rend voor betrokkenen.

• Gebrek aan directe observatie: Oorde-len met betrekking tot specifieke vaar-

digheden als communicatie in de arts-patiëntrelatie, of systematiek in anam-nese en fysisch-diagnostisch onder-zoek komen vaak tot stand op basisvan indirecte informatie zoals verslag-legging in de status, of worden afge-leid uit de manier waarop de aios depatiëntcasus presenteert. Concretefeedback op en beoordeling van be-paalde klinische vaardigheden is zon-der directe observatie niet mogelijk.16

• Niet (tijdig) documenteren van observa-ties: Door niet te scoren/schrijven tijdensde observaties, maar vaak (veel) laterachteraf te documenteren treedt infor-matieverlies en -vervorming op.18-20

• Eenzijdige focus op kwaliteit van me-disch (technisch) handelen: De beoorde-ling van de kwaliteit van medisch-tech-nisch handelen bepaalt in sterke matede scores op andere competenties.

• Gebrek aan training en onderlinge afstem-ming tussen beoordelaars, leidend tot:• onzekerheid bij beoordelaars over

eigen competentie als beoordelaar,• gebrek aan consensus over kwali-

teit van performance en te hante-ren standaarden,

• gebrek aan consensus over hoe hetscoresysteem te gebruiken.

Geschreven, aanvullende opmerkingenover het functioneren van de aios, waarineen aantal sterke en minder sterke puntenconcreet gemaakt worden, zijn daaromveel belangrijker en informatiever dan nu-merieke scores.

B. Toetsresultaten zijn generaliseerbaarBij de interpretatie van toetsscores wilmen meestal niet alleen uitspraken doenover het presteren van de aios op die enegeobserveerde taak of toets, maar conclu-sies trekken over verwachte prestaties ineen veel groter domein van vergelijkbaretaken (criteriumdomein). Meer concreet



betekent dit dat in de medisch-specialisti-sche vervolgopleiding de vraag gesteldmoet worden in hoeverre de toetsresulta-ten een betrouwbare indicatie vormenvoor:• beheersing van de betreffende Can-

MEDS competentie (bij de uitoefeningvan uiteenlopende beroepstaken) en/of

• de beheersing van alle vergelijkbaretaken/toetsen in het betreffende themaof vakgebied.

Anders gezegd: in hoeverre zijn behaaldetoetsresultaten reproduceerbaar bij her-haalde meting met andere (maar verge-lijkbare) taken en beoordelaars? Uit on-derzoek blijkt dat van alle factoren dievan invloed zijn op de generaliseerbaar-heid van toetsresultaten, de zogenoemde‘inhoudsspecificiteit’ de belangrijkste is.21-

22 Hiermee wordt bedoeld dat de kwaliteitvan functioneren nogal variabel is, ensterk afhankelijk van de specifieke inhoudvan de taak of van het probleem waarmeeiemand wordt geconfronteerd. Dat wilzeggen dat de prestatie op taak 1 niet ofnauwelijks voorspellend is voor de presta-tie op taak 2 uit hetzelfde inhoudelijketaakgebied. Zo is de kwaliteit van klinischredeneren bij het oplossen van een pa-tiëntprobleem sterk afhankelijk van de in-houd van dat specifieke probleem.

Het probleem van de inhoudsspecifici-teit doet zich voor bij alle vormen vantoetsing, zowel bij meer objectieve, ge-standaardiseerde toetsen (zoals multiplechoice examens) als bij beoordelingen opde werkplek (zoals KPB of OSATS). Be-haalde toetsresultaten worden daarmeesterk afhankelijk van de toevallige keuzevan taken of toetsitems. Dit impliceertdat, om betrouwbare uitspraken te kun-nen doen over functioneren in een be-paald domein, een grote steekproef ge-trokken moet worden uit het betreffende(taak)domein. Hoe breder het domein

waarnaar we uitspraken willen generali-seren, hoe groter de steekproef van te be-oordelen taken dient te zijn.23-24

Een andere factor die generaliseerbaar-heid kan beïnvloeden wordt gevormddoor beoordelaars. Zo kunnen beoorde-laars soms sterk van elkaar verschillen inde manier waarop ze geobserveerd gedraginterpreteren en waarderen. Er zijn strengeen milde beoordelaars, maar er bestaatvaak ook een verschil in opvatting overwat in welke fase van de opleiding be-heerst moet worden of wat belangrijk isvoor geleverde kwaliteit van zorg. Deopzet van het scoresysteem en het beoor-delingssysteem vormt een andere factordie van invloed is op betrouwbaarheidvan toetsresultaten. Indien er ruimte voorsubjectiviteit in de interpretatie van crite-ria bestaat zal de betrouwbaarheid striktgenomen afnemen. Ook hierbij geldt datbetrouwbaarheid positief beïnvloed wordtdoor een grotere steekproef: oordelenover aios zijn meer betrouwbaar naar-mate meer verschillende examinatoren be-trokken zijn bij de totstandkoming ervan.Onderzoek toont echter consistent aandat laatstgenoemde factoren bij zorgvul-dig ontworpen beoordelingsinstrumentenen goed getrainde beoordelaars van (veel)minder belang zijn dan de inhoudsspecifi-citeit.25

Generaliseerbaarheid van werkplekbeoor-delingen in de praktijk

Werkplekbeoordelingen zijn arbeidsin-tensief en niet eenvoudig te realiseren. Uit-spraken over het functioneren van de aioszijn daarom vaak gebaseerd op een zeerbeperkt aantal beoordelingen, bij een be-perkt aantal taken en door een beperktaantal verschillende beoordelaars. Ditmaakt het doen van gegeneraliseerde uit-spraken vaak lastig. Onderzoek toont aandat voor werkplekbeoordelingen, gebaseerdop individuele patiëntcasus, in grote lijn





geldt dat 6-11 beoordelingen noodzakelijkzijn om te komen tot betrouwbare oorde-len over professionele competentie.11 26-27

Onderzoek toont daarbij overigens aan dathet aantal benodigde beoordelingen afhan-kelijk is van het te beoordelen domein envan de te beoordelen competenties.11

Wat betreft het aantal beoordelaars datnodig is om te komen tot betrouwbare, ge-neraliseerbare oordelen, geldt ten aanzienvan werkplekbeoordelingen dat 6-10 beoor-delaars nodig zijn om van betrouwbare oor-delen te kunnen spreken. Indien gebruikwordt gemaakt van patiëntoordelen, zijngrotere aantallen noodzakelijk.11-12

360 graden feedbackprocedure en betrouw-baarheid van oordelen

In de context van 360 graden feedbackverdienen verschillen tussen beoordelaarsspecifieke aandacht. In het algemeen geldtdat medisch specialisten/stafleden de be-langrijkste groep beoordelaars vormen bijhet beoordelen van aios op de werkplek.Kenmerkend voor 360 graden feedback isdat verschillende beoordelaargroepen inde procedure betrokken worden. Deze be-oordelaargroepen hebben op verschillendemanieren en in verschillende situaties metaios te maken, en verschillen ook meestalvan elkaar wat betreft de manier waaropze het functioneren van een aios waarde-ren en beoordelen. Verpleegkundigen bij-voorbeeld, observeren niet alleen ander gedrag van een aios dan patiënten of staf-leden, zij zullen mogelijk ook ander ge-wicht toekennen aan bepaalde gedragin-gen en dus anders oordelen. Dit betekentechter niet dat deze – verschillende – be-oordelingen daarom niet betrouwbaarzijn. De verschillende invalshoeken waar-mee naar het functioneren van de aioswordt gekeken vormen de belangrijkstebasis voor het gebruik van 360 gradenfeedback. Het betrekken van verschillendegroepen beoordelaars verrijkt de informa-

tie op basis waarvan conclusies getrokkenkunnen worden.28

C. Toetsresultaten zijn transferabel/ extrapoleerbaar

In het algemeen zijn we minder geïnteres-seerd in de bekwaamheid van de aios metbetrekking tot het beantwoorden vanmeerkeuzevragen, of met betrekking tothet uitvoeren van een technische hande-ling op een dummy in een simulatietoets.Belangrijk is in hoeverre de toetsresulta-ten een relevante indicatie vormen voorfeitelijk functioneren in de praktijk. Detoetsscore moet vertaalbaar zijn naar de situatie waarin datgene wat we metenpraktisch relevant is. Naarmate toetsingmeer plaatsvindt op basis van levens-echte, authentieke taken, uitgevoerd in decontext van de alledaagse beroepsprak-tijk, is extrapoleren van resultaten gemak-kelijker, en vormen toetsresultaten eenmeer ‘directe’ aanwijzing en bewijs voorgedrag waarin we uiteindelijk geïnteres-seerd zijn.

Transferabiliteit/extrapoleerbaarheid vanwerkplekbeoordelingen in de praktijk

Extrapoleerbaarheid van werkplekbeoor-delingen lijkt in eerste instantie geen pro-blemen op te leveren: immers het geobser-veerde en beoordeelde gedrag is identiekaan gedrag dat in de praktijk van alledaggetoond wordt. Extrapoleerbaarheid vanwerkplekbeoordelingen kan echter wordenbeïnvloed door een aantal factoren:• Directe observatie (zeker indien ge-

volgd door een beoordeling) kan vaninvloed zijn op het functioneren vande aios. Een aios kan in een dergelijkesituatie ófwel beter ófwel slechterpresteren dan hij/zij normaal gespro-ken gewoon is te doen.

• Werkplekbeoordelingen geven informa-tie over wat een aios in de dagelijksepraktijk doet. Het beoordelen van func-



tioneren op de werkplek aan de handvan een (gestructureerd/gestandaardi -seerd) beoordelingsformulier betekentniet automatisch dat de uiteindelijkescores een goed beeld geven van het fei-telijke functioneren van de aios. Zokunnen bijvoorbeeld de items op hetbeoordelingsformulier meer of minderrelevant en representatief zijn voor watwe feitelijk willen meten. In anderewoorden: de manier waarop geobser-veerd gedrag wordt vertaald in scoresen wordt vastgelegd op een formulier,bepaalt de informatiewaarde van dewerkplekbeoordeling.

In het algemeen geldt het volgende. Opbasis van een enkele werkplekbeoordelingwordt specifieke informatie verkregen:specifieke informatie over functionerenmet betrekking tot betreffende taak, in betreffende specifieke situatie. Gegenera-liseerde uitspraken (over competentie, bekwaamheid van de aios) zijn slechtsmogelijk indien voldoende gevarieerdemeetgegevens uit een domein beschikbaarzijn. Dit neemt echter niet weg dat sepa-rate (taak)beoordelingen een indicatiekunnen vormen voor specifieke sterke c.q.minder sterke kanten in het functionerenvan de aios.

In het algemeen geldt bij het interprete-ren van toetsscores dat het trekken vaneen juiste en verdedigbare conclusie overde competentie c.q. bekwaamheid van eenaios alleen mogelijk is als de toetsscoreszowel accuraat, generaliseerbaar als trans-ferabel/extrapoleerbaar zijn. Helaas vol-doet geen enkel toetsinstrument volledigaan deze eisen. Het gebruik van verschil-lende instrumenten die door ieder meerdan eens worden ingezet is daarom eenabsolute noodzaak. Dit palet van toetsenen beoordelingen vormt een toetspro-gram ma. Het portfolio dient hierbij alsverzamelinstrument.

5. Gebruik van toetsresultaten: verdedigbaarheid van beslissingen

Zorgvuldig gebruik van toetsresultatenvereist een hoge kwaliteit van het besluit-vormingsproces. Dit proces moet trans -parant, traceerbaar, geloofwaardig enrechtvaardig zijn. Beslissingen moeten gefundeerd zijn en gemotiveerd kunnenworden. Interpretatie en gebruik vantoetsresultaten zou plaats moeten vindenaan de hand van overeengekomen stan-daarden (dit kunnen leerdoelen, oplei-dingsdoelstellingen of minimaal vereistebekwaamheidsniveaus zijn) en van tevo-ren vastgestelde procedures.

A. Werkplekbeoordelingen en kwaliteitvan standaarden

De gehanteerde standaarden en cesuurmoeten verdedigbaar zijn. Een groot pro-bleem op dit moment is het ontbrekenvan duidelijke en evidence-based stan-daarden waaraan een aios op specifiekemomenten in de opleiding moet voldoen.Hiervoor zijn een aantal oorzaken aan tewijzen:1. Voor een aantal algemene competen-

tiedomeinen, zoals communicatie, pro-fessionaliteit of samenwerken, zijn noggeen absolute standaarden vastgesteld.Hoewel dit niet eenvoudig lijkt, zullenook voor deze competenties standaar-den ontwikkeld moeten worden.

2. Bij werkplekbeoordelingen is sprakevan een hoge mate van leniency(score-inflatie). Uit onderzoek in deV.S. blijkt dat het merendeel (> 80%)van de arts-assistenten beoordeeldwordt als ‘excellent’ of ‘very good’.14

Een score ‘good’ of ‘satisfactory’ zoudan wel eens geïnterpreteerd moetenworden als ‘twijfelachtig’ respectieve-lijk ‘onvoldoende’.

3. Er bestaan soms grote verschillen inbeoordelingssystematiek bij vergelij-king van verschillende opleidingszie-





kenhuizen, als gevolg van verschillenin gehanteerde scoresystemen (instru-menten), verschillen in opleidingskli-maat, verschillen in opvattingen en af-spraken over toetsing, verschillen inpatiëntaanbod, etc.

Op grond van het bovenstaande kan ge-concludeerd worden dat het ontwikkelenvan goed onderbouwde standaarden alleenmogelijk is indien aandacht wordt besteedaan training van beoordelaars, er een on-derlinge afstemming van beoordelingssys-temen is en indien systematisch, en overeen langere tijdsperiode, gegevens overfunctioneren van aios op de werkplek, inverschillende fasen van de opleiding en inverschillende settings, worden verzamelden toegankelijk worden gemaakt. Systema-tische documentatie van werkplekbeoorde-lingen is daarbij een noodzakelijke rand-voorwaarde.20

B. Zorgvuldige besluitvormingVerdedigbaarheid van besluiten vraagt omzorgvuldigheid in het besluitvormingspro-ces. Van zorgvuldige besluitvorming kanworden gesproken indien minimaal is vol-daan aan een aantal randvoorwaarden.29-31

1. Adequate notice (transparantie): Voor demedisch-specialistische vervolgoplei-ding betekent dit dat aios tijdig geïnfor-meerd zijn over de opzet en inhoud vanhet beoordelingsproces (instrumentenen procedures, beoordelingscriteria,standaarden c.q. te bereiken doelstellin-gen) en dat er regelmatig en tijdig tus-sentijdse feedback gegeven is over hetfunctioneren (met eventueel mogelijk-heid tot remediatie).

2. Fair hearing: Zorgvuldige besluitvor-ming berust niet alleen op input vanvoldoende geloofwaardige beoorde-laars, maar ook van beoordeelde zelf.Dit betekent dat de aios in staat gesteldmoet worden om input te leveren in

het beoordelingsproces, bijvoorbeeldin de vorm van zelfbeoordeling, reflec-tie. In elk geval dient hij/zij tijdig in degelegenheid gesteld te worden om ver-kregen (voorgenomen) beoordelingente becommentariëren. Regelmatig in-geplande (formele) voortgangsgesprek-ken en andere feedbacksessies makendeel uit van een ‘fair’ systeem van be-oordelen. Daarnaast horen aios vol-doende geschoold/getraind te zijn inhet voeren van feedbackgesprekken,voortgangsgesprekken en beoorde-lingsgesprekken.

3. Beslissingen worden volgens vastge-stelde procedures genomen: Er wordteen duidelijk onderscheid gemaakt tus-sen formatief en summatief gebruikvan beoordelingsresultaten. Beslissin-gen (summatief) zijn altijd gebaseerdop geaggregeerde, dat wil zeggen overlangere tijd en op basis van verschil-lende instrumenten verzamelde infor-matie. Beslissingen berusten daarbijop input van voldoende beoordelaars,en worden genomen door een daartoeverantwoordelijk gestelde groep (bij-voorbeeld de opleidergroep). De kwali-teit van de besluitvorming neemt hier-door toe.32-33

4. Beslissingen worden gemotiveerd en on-derbouwd: Besluitvorming moet zoveelals mogelijk ‘evidence-based’ zijn. Zorg-vuldige en volledige documentatie vanfeedback gedurende de opleiding is be-langrijk, zowel voor het leerproces vande aios, als voor de besluitvorming. Do-cumentatie van positieve feedback heefteen sterk motiverend en bekrachtigendeffect op het leren door de aios.34-36 Uitonderzoek blijkt dat het ontbreken vandocumentatie een belangrijke redenkan vormen voor het uitstellen van ne-gatieve beslissingen.37

5. Training, coaching van beoordelaars:Beoordelaars moeten voldoende ver-



trouwd zijn met de achtergronden endoelstellingen van het beoordelings-systeem, en getraind zijn in het ge-bruik van instrumenten.38-39

Effectief gebruik van werkplekbeoordelin-gen (toetsresultaten) vereist een beoorde-lingssysteem dat door alle betrokkenenervaren wordt als rechtvaardig en zinvol.Doorslaggevend daarbij zijn vertrouwenin opzet en procedures, veiligheid, trai-ning, coaching en in gezamenlijk gevoeldeverantwoordelijkheid.13 31 40-41

6. Randvoorwaarden en algemeneaanbevelingen

Opleidergroep• Zorg voor scholing van opleiderteam

en bij opleiden betrokken beoorde-laars. Faciliteer coaching ‘on-the-job’,bijvoorbeeld door een senior-staflid en/of onderwijskundige.42

• Formaliseer procedures, waar nodig.Maak duidelijke afspraken over takenen verantwoordelijkheden wat betreftbegeleiding en toetsing van aios.

• Draag als opleidergroep gezamenlijkverantwoordelijkheid voor de kwaliteitvan toetsing.

• Zorg voor duidelijke standaarden(consensus) en communiceer deze.Maak duidelijk wat op welk momentvan de aios wordt verwacht.

• Evalueer regelmatig als groep het func-tioneren van alle aios aan de hand vanportfolio’s.

• Neem als groep besluiten over aios.• Bespreek ‘probleem-aios’ en stel zono-

dig een remediëringsprogramma vast.

Instrumenten afgestemd op doelstellingenvan toetsing• Gebruik instrumenten die inzicht

geven in ontwikkeling/groei met be-trekking tot CanMEDS competenties.

• Gebruik instrumenten die inzicht gevenin ontwikkeling/groei met betrekkingtot opleidingsspecifieke thema’s.

• Zorg voor verzamelen van voldoendekwalitatieve informatie (narratieve feed-back), naast kwantitatieve informatie.

Faciliteer en bewaak zorgvuldige en volle-dige dossiervoering (portfolio)• Zorg voor een gebruikersvriendelijk

systeem (web-based).• Zorg voor systematische en structurele

evaluatie van aios op alle relevante(deel)competenties en thema’s.

• Organiseer, waar nodig, de toetsing opde werkplek. Zorg voor inbedding vanwerkplekbeoordelingen in de dage-lijkse werkroutine.

• Faciliteer directe observatie en docu-mentatie van performance. Plan werk-plekbeoordelingen, waar nodig, in.

• Zorg voor brede sampling.• Betrek verschillende beoordelaargroe-

pen in het proces.

Systematische en structurele monitoringvan performance van grote groepen aios(referentiegroepen)• Zorg voor documentatie van perfor-

mance.• Verzamel gegevens van aios over een

langere periode en in verschillende op-leidingsinstellingen.

Training/professionalisering van aios • Zorg voor scholing van aios met be-

trekking tot voeren van feedbackge-sprekken (geven en ontvangen vanfeedback; omzetten van feedback inconcrete acties).

• Zorg voor scholing van aios in het voe-ren van voortgangs- en beoordelings-gesprekken.





7. Samenvattende overzichten

A. Toetsresultaten in begeleidingsgesprekken


VoortgangsgesprekDoel: Evaluatie van en reflectie op het functioneren van de aios.

Bespreken van de ontwikkeling van de aios in relatie tot Persoonlijk Ontwik-kelingsplan (POP) en het opleidingsplan.Opstellen c.q. bijstellen van Persoonlijk Ontwikkelings Plan.

Materiaal (Portfolio): Afspraken voorgaand gesprek.Persoonlijk Ontwikkelingsplan.Sterkte-zwakte-analyse.Bewijsmateriaal:• Competentieprofiel (CanMEDS)• Ontwikkeling vakinhoudelijke thema’s (themaprofiel: KBS, verrichtingen;

bekwaamheidsverklaringen)• Gevolgd (cursorisch) onderwijs• Onderzoek, publicaties, presentaties/referaten• Onderwijstaken• Toetsresultaten (werkplekbeoordelingen, overige toetsen)• Overig

Gebruik van toetsresultaten: formatief. Feedback op functioneren; be-krachtiging van sterke punten, signaleren van punten ter verbetering.

Aandachtspunten: Wat wilde de aios bereiken?Wat heeft aios afgelopen periode geleerd/bereikt?• Waaruit blijkt dat (bewijsmateriaal!)?Sterke punten in het functioneren van de aios?Wat heeft aios afgelopen periode niet gerealiseerd of kunnen bereiken? Waarblijft groei achter bij verwachtingen?• Wat ligt daaraan ten grondslag? Belangrijkste belemmerende factoren?Belangrijkste aandachtspunten in het functioneren van de aios?Wat betekent bovenstaande voor de komende periode?

Resultaat: (Bijgesteld) Persoonlijk Ontwikkelingsplan met SMART geformuleerde doe-len. Hou hierbij rekening met:• Eisen zoals in het opleidingsplan omschreven voor betreffende oplei-

dingsperiode.• Persoonlijke leerwensen van de aios.• Takenpakket en mogelijkheden op de (nieuwe) werkplek.• Let op hoge en lage scores: zij kunnen een indicatie vormen voor speci-

fieke sterke en zwakke kanten in het functioneren van de aios. Check bij-behorende narratieve feedback.

• Let op alarmsignalen: extreem lage scores of een indicatie dat aios onderverwacht niveau functioneert.

• Let op critical incident reports. Zij kunnen een aanwijzing vormen voorspecifieke problemen in het functioneren van de aios.




BeoordelingsgesprekDoel: Beslissen over geschiktheid van aios om zelfstandig (een deel van) het vak uit

te oefenen en/of de opleiding voort te zetten dan wel af te ronden.

Materiaal (Portfolio): Opleidingsplan.Persoonlijk Ontwikkelingsplan.Bewijsmateriaal:• Competentieprofiel (CanMEDS)• Ontwikkeling vakinhoudelijke thema’s (themaprofiel: KBS, verrichtingen;

bekwaamheidsverklaringen)• Gevolgd (cursorisch) onderwijs• Onderzoek, publicaties, presentaties/referaten• Onderwijstaken• Toetsresultaten (werkplekbeoordelingen, overige toetsen)• Overig

Gebruik van toetsresultaten: summatief. Deel van de informatie die ge-bruikt wordt bij onderbouwing van beslissingen (bewijsmateriaal).

Aandachtspunten: Voldoet de aios aan alle (minimum)eisen die op dat moment van de opleidingaan hem/haar gesteld worden? Waar blijkt dat uit? Is het bewijsmateriaal c.q. de informatie in het portfolio van voldoende kwa-liteit en kwantiteit?Zijn besluitvormingsprocedures zorgvuldig gevolgd? Is het opleiderteam involdoende mate betrokken/gehoord? Is de aios gehoord?Is aanvullende informatie noodzakelijk (zo ja, op welke punten)?

Resultaat: Gemotiveerde, onderbouwde:• Go/no-go beslissing en/of• Bekwaamheidsverklaring(en)Hierbij wordt rekening gehouden met: opleidingseisen, functioneren van deaios ten opzichte van relevante referentiegroep (peers) en verwachtingen om-trent verdere leerproces van de aios.

Bij twijfel:• Heldere, schriftelijk vastgelegde afspraken betreffende benodigde aanvul-

lende informatie• wat, door wie, hoe, op welke termijn

Remediatie (geïntensiveerd begeleidingstraject)Hierbij wordt rekening gehouden met inschatting van mogelijkheden tot ver-dere groei / ontwikkeling en veiligheid voor aios / patiënten / studenten encollega’s.



B. Kwaliteit en kwantiteit van werkplek-beoordelingen

Het gebruik van het portfolio, hetzij bijhet coachen of sturen van het leerproces,hetzij bij het nemen van beslissingen, ver-onderstelt dat de in het portfolio verza-melde informatie een representatief beeldgeeft van het feitelijke functioneren vande aios in de opleiding. De informatie inhet portfolio dient daartoe aan een aantalkwaliteitseisen te voldoen.

Algemeen geldt bij het interpreteren vantoetsscores dat het trekken van een juisteen verdedigbare conclusie over de compe-

tentie c.q. bekwaamheid van een aios alleen mogelijk is als de scores zowel accuraat, generaliseerbaar en transfera-bel/extrapoleerbaar zijn. Helaas voldoetgeen enkel toetsinstrument volledig aandeze eisen. Het gebruik van verschillendeinstrumenten die door ieder meer daneens worden ingezet is daarom een abso-lute noodzaak.

Meer specifiek voor werkplekbeoor -delingen gelden aandachtspunten van ac-curatesse, generaliseerbaarheid en extra-poleerbaarheid. Deze zijn in de hiernavolgende boxen toegelicht.


AccuratesseToetsresultaten moeten een accuraat beeld geven van het functioneren van de aios met betrekking totde CanMEDS en themagebonden taken. Sterke kanten en verbeterpunten in het functioneren moetenzorgvuldig worden omschreven.

Geschreven, aanvullende opmerkingen over het functioneren van de aios, waarin een aantal sterke enminder sterke punten concreet gemaakt worden, zijn veel belangrijker en informatiever dan numeriekescores.

Aandachtspunten bij interpretatie van werkplekbeoordelingen in het portfolio:1. Is de beoordeling tot stand gekomen op basis van directe observatie van het functioneren?2. Is informatie voldoende specifiek en concreet? Worden numerieke scores onderbouwd met kwali-

tatieve gegevens (geschreven, beschrijvende feedback)?3. Is variatie in scores aanwezig en verklaarbaar (zijn scoreverschillen zichtbaar)?

a. Op beoordelingsformulieren: is een te verwachten variatie in scores op verschillende deelcom-petenties zichtbaar, of is veeleer sprake van globale, algemene indrukken (dat wil zeggen iden-tieke scores op alle deelaspecten van functioneren)?

b. Over verschillende beoordelingsmomenten en -instrumenten heen: is groei in een bepaaldetijdsperiode zichtbaar (toenemende competentie en bekwaamheid)?

c. Zijn scoreverschillen tussen aios aanwezig en herkenbaar?

Veel voorkomende problemen bij werkplekbeoordelingen (zie hoofdstuk 4): • Halo • Leniency • Variatie in beoordelaargedrag o.a. als gevolg van tijdsdruk, ongetrainde en/of ongemotiveerde

beoordelaars.




GeneraliseerbaarheidToetsresultaten moeten een betrouwbare indicatie vormen voor daadwerkelijke beheersing van hetdeel van het vakgebied (het domein) waarover we uitspraken willen doen. Op basis van één enkele werkplekbeoordeling wordt specifieke informatie verkregen: specifieke infor-matie over functioneren m.b.t. betreffende taak, in betreffende specifieke situatie. Gegeneraliseerdeuitspraken (over competentie of bekwaamheid van de aios) zijn slechts mogelijk indien voldoende ge-varieerde meetgegevens beschikbaar zijn.

Aandachtpunten: 1. Is er sprake van voldoende en voldoende variatie in beoordelingsmomenten?

a. Voldoende variatie in patiënten/patiëntproblematiek?b. Voldoende variatie in beoordelingssituaties en - instrumenten?c. Voldoende variatie in beoordelaars?

2. In hoeverre en op welke punten wijzen toetsresultaten in eenzelfde richting? Op welke punten lij-ken toetsresultaten elkaar tegen te spreken?a. Indien informatie uit verschillende bronnen weinig consistent is, is verzamelen van aanvul-

lende informatie noodzakelijk.b. Toetsresultaten van momentopnames (KPB, OSATS) zijn doorgaans sterk afhankelijk van de

specifieke kenmerken van de patiëntcasus. Als gevolg is hierbij meer variatie in scores te ver-wachten dan bij het beoordelen van het functioneren over langere tijd (zoals bij 360 gradenfeedback). Naarmate de aios meer ervaring opdoet, zal kwaliteit van functioneren minder af-hankelijk zijn van het toevallige patiëntprobleem.

Let op het aantal beoordelingsmomenten c.q. beoordelaars (KPB, OSATS). Betrouwbare resultaten ver-eisen minimaal 6-11 beoordelingen c.q. beoordelaars. Variatie in patiëntpresentaties/casuïstiek is be-langrijker dan variatie in beoordelaars!Let bij 360 graden feedback op voldoende variatie in beoordelaargroepen (peers, staf, verpleegkundi-gen, paramedici, overige medewerkers, patiënten) en voldoende beoordelaars per groep (6-10; grotereaantallen bij patiënten!).

Veel voorkomende problemen bij werkplekbeoordelingen (zie hoofdstuk 4): • beperkte sampling.

ExtrapoleerbaarheidToetsresultaten moeten een waardevolle en betekenisvolle indicatie geven over het feitelijke functio-neren van de aios in de dagelijkse praktijk.

Aandachtspunten:1. Zijn de beoordelingssituaties authentiek en voor de praktijk relevant?

a. Is de aios in voldoende mate beoordeeld tijdens de uitoefening van het werk, aan de hand vanrelevante en authentieke taken?

b. Zijn alle relevante beoordelingsaspecten meegenomen in het beoordelingsproces? Denk aanalle CanMEDS gebieden!

Veel voorkomende problemen bij werkplekbeoordelingen: • Exclusieve nadruk op (medische) kennis. • Exclusieve nadruk op medisch-technisch handelen. • Bewijsvoering op basis van indirecte informatie (bijvoorbeeld uitspraken over communicatie

op basis van schriftelijke verslaglegging in de status).



C. Verdedigbaarheid van beslissingen: standaarden en besluitvormingsproces


StandaardenBeslissingen komen tot stand op basis van vergelijking van informatie met een bepaalde standaard. Metbetrekking tot toetsing, en zeker in het geval van werkplekbeoordelingen, is het belangrijk te realiserendat een ‘gouden standaard’ ontbreekt.

Aandachtspunten:1. Zijn er duidelijke afspraken over de standaarden die gehanteerd worden bij interpretatie van re-

sultaten ten behoeve van voortgangsbespreking c.q. beoordeling?a. In het voortgangsgesprek worden de ‘standaarden’ merendeels gevormd door specifieke leer-

doelen in het leerplan van de individuele aios. Uiteraard horen deze aan te sluiten bij, en in elkgeval niet te conflicteren met het opleidingsplan.

b. In het beoordelingsgesprek worden bij voorkeur standaarden gehanteerd die een beschrijvinggeven van de minimumeisen die aan de aios op het moment van beoordelen gesteld moetenworden. Dergelijke absolute standaarden zijn deels beschreven in het opleidingsplan zoals op-gesteld door de wetenschappelijke vereniging en uitgewerkt in het regionale opleidingsplan.

2. Waar geen absolute standaarden voorhanden zijn, kan de professionele ontwikkeling van de aiosvergeleken worden met die van een adequaat gekozen referentiegroep. In het merendeel van de ge-vallen zal de referentiegroep bestaan uit aios in een zelfde fase van de opleiding. Vergelijking meteen referentiegroep is alleen mogelijk indien systematisch en over langere tijd verzamelde gegevens vangrote groepen aios beschikbaar zijn.

Veel voorkomende problemen bij werkplekbeoordelingen: • Ontbreken van SMART-geformuleerde leerdoelen (bij voortgangsbesprekingen).• Standaarden zijn weinig concreet en onderliggende criteria zijn op meer manieren uit te leg-

gen.• Instrumenten zijn onduidelijk wat betreft het te hanteren referentiekader bij beoordelen (bij-

voorbeeld: is ‘uitstekend’ de best haalbare score voor deze aios in dit jaar van de opleiding, ofweerspiegelt ‘uitstekend’ het best haalbare niveau aan het eind van de opleiding? Ofwel: be-oordeling naar eindniveau opleiding, of naar opleidingsfase waarin aios zich op dat momentbevindt?). Als gevolg daarvan hanteren beoordelaars verschillende referentiekaders in hunwerkplekbeoordeling.

• Gegevens van referentiegroepen zijn niet beschikbaar.

Het ontwikkelen van goed onderbouwde standaarden is alleen mogelijk indien aandacht wordt besteedaan training van beoordelaars, onderlinge afstemming van beoordelingssystemen en indien systematischen over een langere tijdsperiode gegevens over functioneren van aios op de werkplek, in verschillendefasen van de opleiding en in verschillende settings, worden verzameld en toegankelijk gemaakt. Syste-matische documentatie van werkplekbeoordelingen is daarbij een noodzakelijke randvoorwaarde.




BesluitvormingsprocesBeslissingen zijn alleen verdedigbaar als besluitvormingsprocedures zorgvuldig zijn gevolgd. Daarbij ishet belangrijk een duidelijk onderscheid te maken tussen formatief en summatief gebruik van toetsre-sultaten/werkplekbeoordelingen (hoofdstuk 4). Beslissingen (summatief) worden genomen op basis van geaggregeerde informatie in het portfolio. Eenenkelvoudige werkplekbeoordeling (momentopname) vervult uitsluitend een formatieve functie(feedback).

Formaliseer summatieve besluitvorming door:• het instellen van een opleidergroep die gezamenlijke verantwoordelijkheid draagt voor be-

sluitvorming,• beslissingen zorgvuldig te motiveren en te documenteren.

Aandachtspunten:1. Is de informatie in het portfolio van voldoende kwaliteit en kwantiteit, voor alle te beoordelen

competentiedomeinen? 2. Zijn te hanteren criteria en standaarden helder?3. Wordt alle beschikbare informatie in het portfolio meegenomen in de beslissing?4. Bij uitspraken over algemene competenties of professioneel handelen in brede zin: is er sprake van

een mix van ‘momentopnames’ (KPBs, OSATS) en beoordelingen van functioneren over langeretijd (360 graden feedback, algemene oordelen van supervisoren)?

5. Zijn voldoende stafleden uit de opleidergroep in voldoende mate gehoord; input van voldoendegeloofwaardige beoordelaars?

6. Is de aios in voldoende mate gehoord: heeft de aios gelegenheid gehad om op de resultaten envoorgenomen beslissing te reageren?a. Voortgangsgesprekken gevoerd en gedocumenteerd? b. Regelmatig tussentijds feedback; gedocumenteerd?c. Zelfbeoordeling(en) aanwezig en besproken?d. Reflectieverslagen aanwezig en besproken?

7. Zijn procedures toetsbaar?a. Waren er heldere afspraken m.b.t. beoordelingsprocedures, -instrumenten, en -criteria?b. Is documentatie zorgvuldig en volledig (motivering, onderbouwing aanwezig)?

Bij twijfel: aanvullende informatie verzamelen!



Literatuur1. Epstein RM, Hundert E.M. Defining and Asses-

sing Professional Competence. JAMA 2002,287(2),226-235.

2. Epstein RM. Assessment in Medical Education.NEJM 2007;356: 387-396.

3. Turnbull J, Gray J, MacFadyen J. Improving In-Training Evaluation Programs. JGIM 1998;13:317-323.

4. Tamblyn R. Outcomes in medical education:what is the standard and outcome of care deli-vered by our graduates. Advances in HealthSciences Education Theory Pract 1999;4:9-25.

5. Ten Cate O, Scheele F. Competency-based post-graduate training: can we bridge the gap betweentheory and clinical practice? Acad Med 2007;82(6):542-547.

6. Van der Vleuten CPM, Schuwirth LWT. Assessingprofessional competence: from methods to pro-grammes. Med Educ 2005;39:309-317.

7. Hager P, Gonczi A, Athanasou J. General Issuesabout Assessment of Competence. Assessment &Evaluation in Higher Education 1994;19(1),3-16.

8. Van Tartwijk J, Driessen EW. Portfolios for asses-sment and learning AMEE Guide No 45. MedicalTeacher 2009;31(9):790-80.

9. Kane M. Validation. In: R.L. Brennan (ed.) Edu-cational Measurement. Westport CT: AmericanCouncil on Education/Praeger; 2006, p.621-694.

10. Kane M, Crooks T,Cohen A. Validating Measuresof Performance. Educational Measurement: Is-sues and Practice, Summer 1999, 5-17.

11. Williams RG, Klamen DA, MacGaghie WC. Cog-nitive, Social and Environmental Sources of Biasin Clinical Performance Ratings. Teach LearnMed 2003;15(4):270-292.

12. Turnbull J, Barneveld van C. Assessment of clini-cal performance: in-training evaluation. In: G.R.Norman, C.P.M. Van der Vleuten & D.I. Newble(eds.), International Handbook of Research inMedical Education Dordrecht: Kluwer AcademicPublishers; 2002; p.793-810.

13. Murphy K R, Cleveland JN. Understanding Per-formance Appraisal. Social, organizational andGoal-Based perspectives. Thousand Oaks,1995;CA: Sage Publications.

14. Williams RG, Dunnington G. Prognostic value ofresident clinical performance ratings, Journal ofthe American College of Surgeons 2004;199(4):620-627.

15. Verhulst SJ, Colliver JA, Paiva, RE, Williams RG.A factor analysis study of performance of first-year residents. J. Med Educ 1986;61:132-134.

16. Holmboe ES. Faculty and the Observation ofTrainees’ Clinical Skills: Problems and Opportu-nities. Acad Med 2004;79:16-22.

17. Littlefield JH, DaRosa DA, Anderson KD, Bell RM,Nicholas GG, Wolfson PJ. Assessing performance

in clerkships: accuracy of surgery clerkship per-formance raters. Acad Med 1991;66(9):S16–S18.

18. DeNisi AS, Peters LH. Organization of informa-tion in memory and the performance appraisalprocess: evidence from the field. Journal of Ap-plied Psychology 1996;81(6):717–737.

19. DeNisi AS, Robbins T, Cafferty TP. Organizationof information used for performance appraisals:role of diary-keeping. Journal of Applied Psycho-logy 1989;74(1):124–129.

20. Williams RG, Dunnington GL, Klamen DL. Fore-casting Residents’ Performance – Partly Cloudy.Acad Medicine 2005;80 (5):415-422.

21. Van der Vleuten CPM, Swanson DB. Assessmentof clinical skills with standardized patients: Stateof the art. Teach Learn Med 1990; 2:58–76.

22. Elstein AS, Shulman LS, Sprafka SA. MedicalProblem-solving: An Analysis of Clinical Reaso-ning. Cambridge; Massachusetts: Harvard Uni-versity Press;1978.

23. Van der Vleuten CPM. The assessment of profes-sional competence: developments, research andpractical implications. Adv Health Sci Educ1996;1:41–67.

24. Eva KW. On the generality of specificity. MedEduc 2003;37(7):587-588.

25. Brennan RL. Performance Assessments from thePerspective of Generalizability Theory. AppliedPsychology Measurement 2000;24:339-353.

26. Williams RG, Verhulst S, Colliver JA, DunningtonGL. Assuring the reliability of resident perfor-mance appraisals: More items or more observa-tions? Surgery 2005;137:141-147.

27. Wilkinson JR, Crossley JGM, Wragg A, Mills P,Cowan G, Wade W. Implementing workplace-based assessment across the medical specialtiesin the United Kingdom. Med Educ 2008;42:364-373.

28. Mount MK, Scullen SE. Multisource Feedback Ra-tings: What Do They Really Measure? In: M. London(ed). How People Evaluate Others in Organizations.Mahwah, NJ: Lawrence Erlbaum Associates;2001,p.155-176.

29. Taylor MS, Tracy KB, Renard MK, Harrison J.K,Carroll SJ. Due Process in Performance Apprai-sal: A Quasi-experiment in Procedural Justice.Administrative Science Quarterly 1995;40:495-523.

30. Erdogan B, Kraimer ML, Liden RC. Proceduraljustice as a two-dimensional construct. An exami-nation in the performance appraisal context.Journal of Applied Behavioural Science 2001;37(2):205–222.

31. Levy PE, Williams JR. The Social Context of Per-formance Appraisal: A Review and Frameworkfor the Future. Journal of Management 2004;30:881-905.

32. Schwind CJ, Williams RG, Boehler ML, Dunning-ton GL. Do individual attending post-rotation



performance ratings detect resident clinical per-formance? Acad Med 2004;79:453-457.

33. Williams RG, Schwind CJ, Dunnington GL, For-tune J, Rogers D, Boehler M. The Effects ofGroup Dynamics on Resident Progress Commit-tee Deliberation. Teach Learn Med 2005;17(3),96-100.

34. Norcini J, Burch V. Workplace-based assessment asan educational tool. AMEE Guide 31. 2007, Dundee:AMEE.

35. Hatty J, Timperley H. The Power of Feedback. Re-view of Educational Research 2007;77(1):81-112.

36. Shute VJ. Focus on Formative Feedback. Reviewof Educational Research 2008;78(1),153-189.

37. Dudek NL, Marks MB, Regehr G. Failure to Fail:The Perspectives of Clinical Supervisors. AcadMed 2005; 80(10 suppl): S84-S87.

38. Holmboe ES., Hawkins RE, Huot SJ. Effects ofTraining in Direct Observation of Medical Resi-dents’ Clinical Competence. A randomized trial.Ann Intern Med 2004;140:874-881.

39. Woehr DJ, Huffcutt AI. Rater training for perfor-mance appraisal: A quantitative review. Journalof Occupational and Organizational Psychology1994; 67(3):189-205.

40. Bernardin HJ, Orban JA, Carlyle JJ. Performanceratings as a function of trust in appraisal andrater individual differences. Academy of Manage-ment Proceedings 19981;311-315.

41. Longenecker CO, Gioia DA. Confronting the “po-litics” in performance appraisal. Business Forum2000;25(3,4):17-23.

42. Littlefield JH, Darosa DA, Paukert J, WilliamsRG, Klamen DL, Schoolfield JD. Improving resi-dent performance data: numeric precision andnarrative specificity. Acad Med 2005;80(5):489-495.

De auteurs:Drs. M.J.B. Govaerts is universitair docent, werkzaambij de vakgroep Onderwijsontwikkeling en Onderwijsre-search, Faculty of Health, Medicine and Life Sciences,Universiteit Maastricht.* Dr. E. Driessen is universitair docent, werkzaam bij devakgroep Onderwijsontwikkeling en Onderwijsresearch,Faculty of Health, Medicine and Life Sciences, Univer-siteit Maastricht.* Dr. B. Verhoeven is kinderchirurg in het MUMC+ teMaastricht en maakt deel uit van de taakgroep vervolg-opleiding van de vakgroep Onderwijsontwikkeling enOnderwijsresearch, Faculty of Health, Medicine andLife Sciences, Universiteit Maastricht.Prof. dr. C.P.M. van der Vleuten is hoogleraar Onder-wijskunde, voorzitter van de vakgroep Onderwijsont-wikkeling en Onderwijsresearch, Faculty of Health, Me-dicine and Life Sciences, Universiteit Maastricht.Dr. H. Brackel is kinderarts in het Catharina Ziekenhuiste Eindhoven.** Drs. J. van Hoorn is kinderarts-fellow neonatologie inhet MUMC te Maastricht.**Drs. R. van de Laar is arts in opleiding tot gynaecoloogin het MUMC+ te Maastricht.** Dr. J. Maas is gynaecoloog in het MUMC+ te Maas -tricht.**Prof. dr. S.G. Oei is gynaecoloog in het Maxima MedischCentrum te Veldhoven.**

* en als onderwijskundig adviseur verbonden aan hetkernteam In VIVO, OOR Zuid-Oost Nederland.

** allen maken deel uit van het kernteam In VIVO,OOR Zuid-Oost Nederland.

Correspondentieadres:M.J.B. Govaerts, Vakgroep Onderwijsontwikkeling en -research, FHML, Universiteit Maastricht, postbus 616,6200 MD Maastricht. E-mail: [email protected]





S37


In VIVO Richtlijn

VoorwoordDeze Richtlijn is in het kader van het InVIVO-project geschreven door dr. KlarkeBoor (aios Obstetrie & Gynaecologie, VUMedisch Centrum Amsterdam, gepromo-veerd op het klinische opleidingsklimaat),dr. Pim Teunissen, (aios Obstetrie & Gy-naecologie, VU Medisch Centrum Amster-dam; onderzoeker medisch onderwijsUniversiteit van Maastricht en gepromo-veerd op de wijze waarop aios leren op dewerkplek) en prof. dr. Paul Brand (hoog -leraar klinisch onderwijs, UniversitairMedisch Centrum Groningen, PostgraduateSchool of Medicine, en kinderarts-opleider,Amalia kinderafdeling, Isala kliniekenZwolle), met medewerking van prof. dr.Fedde Scheele (hoogleraar onderzoek vanmedisch onderwijs, VU Medisch Centrumen gynaecoloog-opleider Sint Lucas An -dreas Ziekenhuis, Amsterdam).

Status van de RichtlijnDeze Richtlijn is gebaseerd op literatuur-onderzoek, ‘best practices’ en ervaringenen visies van de auteurs en heeft een advi-serend karakter. Deze Richtlijn dient tezijner tijd te worden herzien op basis vanaanvullend onderzoek en ervaringen van degebruikers van de Richtlijn. Te verwachtenis dat de Richtlijn twee jaren nadat degrootschalige implementatie van de moder-nisering van de Nederlandse medischevervolgopleidingen is afgerond, herzienzal worden.

Doel van de RichtlijnDe Richtlijn is een hulpmiddel voor ledenvan opleidingsteams en artsen in opleidingtot specialist (aios) om het gebruik van feed -back beter te leren hanteren en te begrijpen.

De Richtlijn bespreekt algemeen gel-dende aspecten van effectieve feedback.Voor omschrijvingen van specifieke instru-menten waarmee feedback gegeven kanworden – zoals Korte Praktijk Beoordelin-gen (KPB), Objective Structured Assess -ment of Technical Skills (OSATS) of multi -source feedback –, verwijzen wij naarandere Richtlijnen. Ook de praktische or-ganisatie omtrent het geven en ontvangenvan feedback valt buiten het bestek vandeze Richtlijn.

De Richtlijn bestaat uit twee delen. Heteerste deel is de feitelijke Richtlijn engeeft een samenvatting van praktischetips bij het geven van feedback. In hettweede deel van dit document wordendeze tips onderbouwd aan de hand van recente literatuur.

Voor de leesbaarheid van de Richtlijngebruiken we de term aios; waar aiosstaat kan ook anios (assistent niet in op-leiding tot specialist) gelezen worden. Determ supervisor wordt gebruikt om elk lidvan de opleidersgroep mee aan te duiden.Overigens zou uit het lezen van de Richt-lijn de indruk kunnen ontstaan dat alleenaios feedback ontvangen en supervisorenslechts feedback geven. De werkelijkheidis uiteraard genuanceerder. Supervisorenzullen ook regelmatig feedback van aiosontvangen. Waar aios staat kan dus ookvaak supervisor worden gelezen.

Richtlijn feedback in de medische vervolgopleiding

K. Boor, P.W. Teunissen, P.L.P. Brand

11133 BSvL TMO 3 Supplement 2.qxd:168x244mm 18-05-2011 16:33 Pagina 37


InleidingFeedback is een van de belangrijkste entegelijk een van de moeilijkste interventieswaarmee het leren te beïnvloeden is. DezeRichtlijn geeft een overzicht van belang-rijke inzichten die de literatuur ons biedt.Er wordt al ruim honderd jaar gepubliceerdover feedback; deze Richtlijn beperkt zichtot enkele recente (overzichts)artikelen.

Feedback kan er soms voor zorgen dataios slechter gaan functioneren, zeker alsdat onzorgvuldig gebeurt. Het is daaromverstandig ervoor zorg te dragen dat zo -wel aios als stafleden zich verdiepen infeedback.

Vier niveaus waarop feedback kan worden gegeven

Feedback kan gegeven worden op vier ver-schillende niveaus. Het komt de effectiviteitvan feedback ten goede wanneer feedback-gevers zich bewust zijn van deze niveausen bewust kiezen voor het niveau waaropze feedback willen geven.• Het taakniveau: Feedback op dit niveau

benoemt specifiek concrete handelin-gen die ertoe leiden dat een taak toteen goed einde gebracht wordt of juistniet. Dit vereist uiteraard dat de aios alenig inzicht heeft in de taak. Als detaak onbekend is, is het zinvoller in-structie en uitleg te geven dan feed-back te geven.

• Het procesniveau: Feedback op dit ni-veau richt zich op onderliggende thema’sen processen die herkenbaar zijn inhet functioneren van een aios. Feed-back op dit niveau zou mogelijk leidentot ‘dieper’ leren.

• Het zelfregulatieniveau: Feedback opdit niveau, dus bij voorbeeld op dewijze waarop de aios wel of juist nieteerdere feedback in zijn/haar handelenheeft toegepast, is effectief, onder meeromdat dit weer het feedbackzoekge-drag beïnvloedt.

• Het persoonsniveau: Feedback op ditniveau is feedback in de vorm van inalgemene termen gestelde positieve ofnegatieve uitlatingen over de persoon.Vermijd deze feedback op het persoons-niveau! Zulke opmerkingen leiden er -toe dat de aios de aandacht gaat richtenop gedachten over zichzelf in plaatsvan op de taak. Hierdoor kan zijn/haarfunctioneren hetzelfde blijven of zelfsverslechteren. Overigens zijn prijzendeopmerkingen prettig om te horen enonderzoek toont aan dat mensen hetgraag willen horen, maar het zorgt erniet voor dat mensen effectiever gaanfunctioneren. Feedback wordt dus ef-fectiever wanneer deze zich niet richtop de persoon.

Feedback gevenFeedback kan op verschillende manierengegeven worden: concreet, gepast, met eenduidelijk doel en op het goede moment.• Specifieke en concrete ‘narratieve’ feed -

back, dat wil zeggen met inhoudelijkcommentaar, is effectiever dan hetgeven van cijfers.1-2 De informatie ‘vol-doende’ of ‘geslaagd’ geeft niet aan water goed ging en wat beter kan.

• Wanneer iemand nog nauwelijks ken-nis of vaardigheden bezit is het ver-standiger instructie te geven in plaatsvan feedback.

• Alleen wanneer er heldere doelen zijnverwoord, kan effectieve feedback wor-den gegeven. Leerdoelen kunnen opverschillende niveaus worden gefor-muleerd. Vaardige aios profiteren vanfaciliterende feedback, waarbij hints ensuggesties worden gegeven waarop deaios zelf een verbeterplan kan concep-tualiseren. Minder vaardige aios heb-ben baat bij directieve feedback waarinhelder gesteld wordt wat veranderdmoet worden.

Richtlijn feedback in de medische vervolgopleiding | K. Boor et al.


S39


In VIVO Richtlijn

• De ervaring van een aios en de moei-lijkheid van de taak zijn van belangvoor het bepalen van het beste mo-ment om feedback te geven. Het is hetmeest effectief direct feedback te gevenals een taak moeilijk is in relatie tot devaardigheden van een aios; wanneerde taak goed beheerst wordt en er alenige routine is, is het effectiever omfeedback uit te stellen.

• Feedback is altijd subjectief: het gaatom de individuele mening van eenfeedbackgever over het functionerenvan een aios.

Feedback ontvangenDe aios is niet alleen een passieve ontvan-ger van feedback maar vertoont zelf ookfeedbackzoekgedrag. Aios kunnen dit ex-pliciet doen: ‘hoe vond je dat dit ging?’ ofimpliciet: in een situatie waarin een super-visor niet erg enthousiast op een voorstelreageert denkt de aios bij zichzelf ‘het zal

wel onjuist zijn, volgende keer zal ik eenander beleid voorstellen’ en hoopt dan opfeedback. Of aios kiezen voor de explicieteof de impliciete feedbackzoekstrategie isafhankelijk van diverse factoren. Aller-eerst wordt dit bepaald door een afwegingvan de kosten en de baten: na een buiten-gewoon succesvol verlopen ingreep is hetvoor velen bijvoorbeeld makkelijk om ex-pliciete feedback te vragen. Tevens wordthet feedbackzoekgedrag beïnvloed doorde gerichtheid van aios op ofwel presterenofwel leren en het gedrag van de feed-back gever (zie voor een uitgebreide toe-lichting het tweede deel: de achtergrondenbij de Richtlijn).

Mensen horen in het algemeen, en aiosdus ook, gemakkelijker feedback die pastbij hun zelfbeeld dan feedback die ver ligtvan hun zelfbeeld. Is deze feedback nietcongruent met de eigen inschatting, danis het veel lastiger om deze te accepterenen het gedrag te veranderen.3

Tabel 1. Drie feedbacktechnieken.

Methode Techniek Voordelen Nadelen

Sandwich- 1. Zeg wat goed ging - expliciet aandacht voor - monoloog doormethode 2. Zeg wat verbeterd kan worden wat goed gaat feedbackgever

3. Herhaal wat goed ging

Reflectieve 1. Vraag: wat ging er goed? - dwingt tot reflectie - techniek kanmethode 2. Zeg zelf (of vraag - geeft inzicht in gekunsteld

observatoren) wat goed ging zelfbeeld van de overkomen3. Vraag: wat kan er beter? lerende4. Zeg zelf (of vraag observatoren) - gaat uit van perspectief

wat er beter kan van de lerende

Narratieve 1. Bespreek de ervaring vanaf het - sluit aan bij ervaring - minder structuur methode begin en neem deze door van lerende in gesprek en

2. Vraag steeds naar gedachten en - beweegredenen voor daarom lastiger gevoelens en nodig uit om te gedrag komen aan bod voor feedbackgeverreageren

3. Leg nadruk op zowel sterke alsverbeterpunten



Feedback in de praktijkOm houvast te hebben in het voorbereidenen geven van feedback, zijn er grofweg drieverschillende manieren te onderscheidenwaarop feedback kan worden vormgegeven.Dit zijn de sandwich-, de reflectieve en denarratieve methode (Tabel 1).4 Elk van debenaderingen heeft zijn voor- en nadelen.Het model dat in Nederland het meestwordt gepropageerd is het reflectieve model,ook wel ‘feedback volgens de Pendletonregels’ genoemd.5 In een recent artikelvan Brand en Boendermaker wordt dezemethode helder uiteengezet.6

De benadering van de feedbackgevermoet aan een aantal voorwaarden voldoen:geloofwaardig, authentiek, empathisch enmet ruimte voor een wederzijdse dialoog.

GeloofwaardigheidFeedback sorteert het meeste effect wanneerde aios de supervisor geloofwaardig acht.Het is bijvoorbeeld weinig geloofwaardigeen aios feedback te geven over zijn/haaranamnestische vaardigheden en lichame-lijk onderzoek op basis van notities in eenstatus. De supervisor zal iemand moetenobserveren om die feedback te kunnengeven. Een ander voorbeeld van weiniggeloofwaardige feedback is het krijgen vaneen terugkoppeling over communicatie-vaardigheden van een specialist die zelf

bekend staat om zijn gebrekkige commu-nicatie. De feedbackgever moet ter zakekundig zijn op het terrein waarop hij feed-back geeft. Naast inhoudelijke expertisehangt geloofwaardigheid ook samen metduidelijkheid en voldoende specificiteit.Leermomenten gaan verloren wanneer feed-back niet duidelijk geformuleerd wordt ofniet gepaard gaat met concrete voorbeeldenen suggesties voor verbetering. Dit sluit aanbij de bevinding dat feedback op taakniveauhet meest effectief is.7 In Tabel 2 staan en-kele voorbeelden.

AuthenticiteitHet is belangrijk dat een supervisor authen-tiek is en oprecht reageert op de situatieen de ander. In het geval dat een aios eenlastig gesprek of een moeizame simulatieheeft gehad, kan het geforceerd aanvoeleneerst positieve punten te noemen, zoals datvolgens de Pendleton regels zou moeten.Dit kan namelijk leiden tot minder authen-ticiteit bij de supervisor, iets wat door allegesprekspartners vaak feilloos wordt aan-gevoeld. Het is van belang feedbackregelsmet enige souplesse toe te passen en in tespelen op de situatie. Hoe kan een super-visor het positieve blijven benadrukken,maar tegelijkertijd integer blijven? Manierenom het positieve te blijven benadrukken éntegelijk authentiek en geloofwaardig te


Tabel 2. Voorbeelden van minder en meer effectieve benaderingen.

Minder effectief Meer effectief

‘Dat ging uitstekend!’ ‘Door te benoemen dat de patiënte verdrietig leek, kwam je direct tot de kern van haar probleem.’

‘Iets wat ik zelf ook vaak doe en wat op zich ook ‘Je keek me niet een keer aan tijdens je presentatie.niet erg hoeft te zijn maar waardoor ik nu wel Hierdoor dwaalden m’n gedachten af. Maak eenwat afgeleid raakte, hoewel ik het wel een heel volgende keer oogcontact met je publiek.’goed verhaal vond, was dat je soms erg in jezelf gekeerd en misschien zelfs fysiek afwezig leek.’


S41


In VIVO Richtlijn

blijven, zijn bijvoorbeeld het benoemen vanpositieve leereffecten en het prijzen vangoede suggesties of inzichten van de aioszelf.

EmpathieHet is belangrijk voor de gever van feed-back zich te realiseren dat het ontvangenvan feedback buitengewoon stressvol kanzijn. Soms kan het helpen daarbij in her-innering te roepen hoe het gevoeld heeftom zelf feedback te ontvangen. Ook kanhet bewust observeren van non-verbaalgedrag bij de ontvanger inzicht geven inde reactie. Toon oprecht begrip voor deemoties van de aios. Om te kunnen lerenis het belangrijk dat mensen zich veiligvoelen, en dat kan bijvoorbeeld door hettonen van oprechte empathie.

Wederzijdse dialoogBij het geven van feedback is het van be-lang aan te sluiten bij de wijze waarop deander de situatie waarover feedback wordtgegeven, heeft ervaren. In de narratievemethode is sprake van een voortdurendedialoog, met als doel de achterliggende ge-dachten en overtuigingen die geleid heb-ben tot bepaald gedrag bloot te leggen. InBox 1 staan enkele voorbeelden.

Tegelijkertijd moet de supervisor zichook bewust zijn van reactiepatronen bijaios die het toelaten van feedback in de

weg kunnen staan. Denk hierbij bijvoor-beeld aan verdedigingsmechanismen (‘jamaar..’, ‘ in echte situaties doe ik dit nor-maal ook anders..’) of het geven van sociaalwenselijke antwoorden (‘u heeft helemaalgelijk’). De supervisor kan dit ondervangendoor regelmatig te checken of diens bood-schap is doorgekomen door de aios bij-voorbeeld zelf te laten formuleren wat nude hoofdboodschap is en wat hij/zij hier-mee zal gaan doen.

Dit is voor de feedbackgever een uit -dagende benadering. Belangrijk voor hettot stand brengen van een dialoog is zelfniet te veel aan het woord te zijn. Dit klinktals een open deur, maar soms blijkt ditlastig. Daarnaast zijn herhalingen tijd -rovend en onnodig en die moeten dus ver-meden worden.

ConclusieFeedback geven is moeilijk. Het vereistoprechte interesse en moet gericht zijn ophet gezamenlijke doel – van opleider enaios – om de aios zich te laten ontwikkelen.Het is een samenspel tussen feedbackgeveren feedbackontvanger. Concrete feedbackdie aangeeft welke handelingen of strate-gieën mensen moeten behouden of veran-deren is het meest effectief. Het is daarbijzinvol rekening te houden met de com-plexiteit van de taak in relatie tot de erva-ring van de aios.

Er zijn verschillende technieken omfeedback te geven; in deze Richtlijn wordende sandwich-, de reflectieve en de narra-tieve methode genoemd. Welke methodeook gekozen wordt, geloofwaardigheid en authenticiteit, onder andere door eenmanier te kiezen die bij de feedbackgeveren -ontvanger past, zijn van essentieel belang. Ook is het belangrijk empathie tetonen en te proberen zoveel mogelijk eendialoog tot stand te brengen.

• Op dat moment dacht ik dat X gebeurde, wat dacht jij dat er plaats vond?

• Toen die meneer agressief gedrag begon te vertonen, deed je in eerste instantie niets. Wat ging er door je heen op dat moment?

• Ik vraag me af of…. Klinkt dat als iets wat mogelijk zou zijn?

• Toen je Y zei, dacht ik dat je eigenlijk Z bedoelde. Wat was je intentie?

Box 1. Voorbeelden van voortdurende dialoog.



Regelmatige training kan bijdragen aaneffectievere toepassing van feedback.‘Teach the Teacher’-cursussen lijken een

waardevolle start van dit proces, maarvervolgtrainingen (wellicht op de werk-vloer) zijn waarschijnlijk noodzakelijk.



S43


In VIVO Richtlijn

Achtergronden bij de Richtlijn feedback in de medische vervolgopleiding

1. Wat is feedback? Dat ‘feedback’ geen eenduidig begrip is,blijkt al wanneer de hoeveelheid aan de-finities in ogenschouw wordt genomen.Van de Ridder et al. (2008) hebben de ver-schillende definities samengevat in een re-cent overzichtsartikel. Zij onderscheidendrie groepen definities die zich respectie-velijk focussen op a) alleen informatie, b)reactie en interactie, waarbij de ontvan-gende partij reageert op de informatie vande feedbackgever of c) een cirkel waarbijeerdere informatie gebruikt wordt om ge-drag te veranderen, waarna nieuwe inputvolgt. Tientallen definities zijn door henbeschreven, uitgaande van deze typologie,variërend van ‘elke informatie over iemandsgedrag’ tot ‘informatie over het functionerenvan een individu in vergelijking met eenstandaard of het functioneren van peers’.11

Andere auteurs definiëren feedback als‘commentaar op iemands functioneren’ ofals ‘informatie gegeven door een bron (bij-voorbeeld supervisor, collega, zelf, boek,ervaring) over aspecten van iemands func-tioneren of begrip’.7

Kortom: er zijn vele manieren om feed-back te definiëren. Van belang is dat feed-back niet beperkt is tot de formele situatieswaarin een supervisor besluit explicietfeed back te geven aan een aios, zoals tijdenseen Korte Praktijk Beoordeling (KPB) oftijdens een voortgangsgesprek. Sterkernog, de meeste feedback zit verpakt in dedagelijkse routine van overdrachten, inhet voor- en of nabespreken van patiëntenen in de contacten met patiënten en colle-ga’s.

Feedback kan verschillende doelen die-nen. In zijn algemeenheid gaat het eromdat met behulp van feedback het zelf -inzicht vergroot wordt. Zo kan feedbackinzicht geven in het verschil tussen hethuidige en het gewenste niveau van func-tioneren. Het stelt aios daardoor in staatgericht te werken aan de zaken die verbe-terd kunnen worden.12-13 Feedback kanaios dus helpen zich te focussen wanneerzij door de bomen het bos niet meer zien.Dit leidt tot vermindering van onzekerheiden van de cognitieve belasting, waardooraios beter gaan functioneren.12 Daarnaastmaakt goede feedback duidelijk welkeconcrete aanpassingen nodig zijn om dieverbetering te realiseren.

2. Positieve en negatieve effecten van feedback

Lange tijd is er binnen de literatuur overfeedback voornamelijk aandacht gegevenaan de positieve effecten van feedback.Kluger en DeNisi verrichtten een meta-analyse naar het effect van feedbackinter-venties binnen de psychologische litera-tuur.13 Zij includeerden alleen studieswaarin een controlegroep werd gebruikten er metingen van functioneren werdenverricht. Zij berekenden op basis van 131geïncludeerde studies (gebaseerd op23.663 observaties) 607 ‘effect sizes’ (dit iseen maat die de grootte van een eventuelerelatie aangeeft). Opmerkelijk genoegvonden zij dat er in meer dan 38% van degevallen sprake was van een negatief effectvan feedback op het functioneren: feed-backontvangers gingen slechter functione-



ren dan voorheen. Gemiddeld wordt erechter een positief effect van feedback ophet functioneren gevonden.7 13

Zoals Archer in zijn recente artikel overfeedback stelt: feedback moet plaatsvindenin een reeks van feedbackinterventies enniet op zichzelf staan.8 Dit wordt bevestigdzowel in een Cochrane review als in eenBEME review waarin aangetoond wordtdat het effect groter is bij grotere intensi-teit van feedback.9-10 In de Cochrane re-view werd het effect van feedback op hetfunctioneren van medisch specialisten on-derzocht.9 De auteurs includeerden 118studies. Weliswaar bleek feedback gemid-deld genomen effectief, maar het effectwas gering. De Best Evidence MedicalEducation (BEME) review die 41 studiesover het effect van feedback op artsen in-cludeerde (41% Randomized ControlledTrials, 24% cross-overdesign, 17% singlecohort, 17% ander design), toonde in 70%van de gevallen een positief effect van feed-back aan. Negatieve effecten werden nietexpliciet benoemd.10

Hoewel de bovengenoemde studies nietspecifiek de effectiviteit van feedback inde opleiding tot specialist beschrijven, ishet waarschijnlijk dat feedback een positiefeffect heeft op het functioneren van deaios. Feedback kan echter ook negatiefuitpakken. De manier waarop feedbackgegeven wordt speelt een cruciale rol bijdeze effectiviteit.

3. Verklaring van effecten van feedback

Voortbouwend op de resultaten van Klugeren DeNisi13 ontwikkelden Hattie en Tim-perley in een uitgebreide review eenmodel dat verklaart waarom feedback totpositieve of juist tot negatieve effectenleidt (Figuur 1).7 Hattie en Timperley gaanervan uit dat het voornaamste doel vanfeedback is de discrepantie tussen huidigfunctioneren en het gewenste functioneren

op te heffen. Feedback zou dan antwoordmoeten geven op drie vragen: 1. ‘Waar ga ik heen (wat is het beoogde

einddoel)?’ Alleen wanneer er helderedoelen zijn verwoord, kan effectievefeedback worden gegeven. Leerdoelenkunnen op verschillende niveaus wordengeformuleerd. Een aios Obstetrie &Gynaecologie moet bevallingen kunnenbegeleiden. Dit leerdoel kan wordenopgedeeld in het leren begeleiden vaneen spontane partus, het kunnen ver-richten van een vacuümextractie enhet kunnen uitvoeren van een sectiocaesarea.

2. ‘Hoe gaat het op dit moment?’ Een su-pervisor die een aios observeert bij eenvacuümextractie kan beoordelen watgoed gaat en wat een volgende keerbeter kan.

3. ‘Hoe nu verder (wat wordt het volgendetussendoel)?’ Feedback moet vervol-gens duidelijk maken waar een aios nustaat ten opzichte van het doel. Is eenaios in staat zelfstandig een vacuüm-extractie uit te voeren? Zo niet, watmoet er verbeteren om dat over eenbepaalde tijd wel te kunnen? Als eenaios wel in staat is de handelingen uitte voeren in een weinig complexe situ-atie, hoe gaat de aios dat dan leren inmoeilijkere situaties? Leren is een tra-ject waarbij een doel niet op zichzelfstaat maar weer leidt tot verdere ver-dieping, meer zelfstandigheid of totmeer ervaring en routine.

Deze drie vragen kunnen op verschillendeniveaus worden benaderd en daarin zithet geheim van effectieve feedback. De vierniveaus zijn: taakniveau, procesniveau,zelfregulatieniveau, persoonsniveau (zievoor voorbeelden Tabel 3). Algemene feed-back op persoonsniveau draagt het grootsterisico om averechts uit te pakken.

Achtergronden bij de Richtlijn feedback in de medische vervolgopleiding | K. Boor et al.


S45


In VIVO Richtlijn

• Taakniveau: Feedback op taakniveau isgericht op de vraag hoe goed een taak isuitgevoerd. Dit type feedback beschrijftconcreet welke handelingen ertoe leidendat een taak tot een goed einde gebrachtwordt of juist niet. Dit vereist uiter-aard dat de aios al enig inzicht heeft inde taak. Als de taak onbekend is, is hetzinvoller instructie en uitleg te gevendan feedback. Daarnaast suggererenmeerdere onderzoeken dat specifieke

en concrete ‘narratieve’ feedback (in-houdelijk commentaar) effectiever isdan het geven van cijfers.1-2 De infor-matie ‘voldoende’ of ‘geslaagd’ geeft nietaan wat er goed ging en wat beter kan.

• Procesniveau: Feedback op procesniveauricht zich op onderliggende thema’s enprocessen die herkenbaar zijn in hetfunctioneren van een aios. Feedbackop dit niveau zou mogelijk leiden tot‘dieper’ leren.

Figuur 1. Feedback volgens Hattie en Timperley.

DoelVerminderen van het verschil tussen het waargenomen gewenste begrip en of gedrag

Het verschil kan verminderd worden door:Studenten• Toegenomen inspanning en inzet van efffectievere strategieën OF• Verlaten van, onduidelijk maken van, of lager inzetten op doelenLeraren• Leveren van voldoende aantrekkelijke en specifieke doelen• Studenten helpen met effectieve leerstrategieën en feedback

Effectieve feedback beantwoordt drie vragen:Wat is mijn doel (feed up), hoe sta ik er voor (feedback), wat moet ik nu (feed forward)

Vertaald uit Hattie en Timperly7

TaakniveauTaak begrepen?Goed uitgevoerd?

ProcesniveauProces benodigdvoor taak of begripaanwezig?

ZelfregulatieniveauMonitoren, sturen en regelen eigen acties doorleerling voldoende?

PersoonsniveauBeoordelingen ofgevoelens gericht op de persoon van de leerling

Elke feedbackvraag raakt aan vier niveaus



• Zelfregulatieniveau: Zelfregulatie be-treft de manieren waarop aios hun ge-drag sturen om hun doelen te bereiken.Zelfregulatie wordt beïnvloed door ge-drevenheid, gevoel van controle enzelfvertrouwen. Feedback op dit ni-veau, dus bij voorbeeld op de wijzewaarop de aios wel of juist niet eer-dere feedback in zijn/haar handelenheeft toegepast, is effectief, onder meeromdat dit weer het feedbackzoekge-drag beïnvloedt. In de paragraaf ‘Ont-vangen van feedback’ wordt hieropverder ingegaan.

• Persoonsniveau: Feedback op dit niveaubetreft in algemene termen gesteldepositieve of negatieve opmerkingen

over de persoon. Deze opmerkingenleiden ertoe dat de aios de aandachtricht op gedachten over zichzelf inplaats van op de taak. Hierdoor kanzijn/haar functioneren hetzelfde blijvenof zelfs verslechteren. Overigens zijnprijzende opmerkingen prettig om tehoren (en onderzoek toont aan datmensen het graag willen horen), maarhet zorgt er niet voor dat mensen ef-fectiever gaan functioneren.

Concluderend stellen Hattie en Timperleydat het belangrijk is stil te staan bij dedoelen van de aios en heel bewust te kiezenvoor het niveau waarop feedback gegevenwordt.7 Feed back is effectiever wanneer


Tabel 3. Verschillende feedbackniveaus.

Niveau Omschrijving Voorbeeld: een eerstejaars aios heeft moeite om de overdracht bondig te houden.

Taak Feedback die specifiek ‘je vertelde bij mevrouw A eerst het lichamelijkconcrete handelingen benoemt onderzoek en het aanvullend onderzoek, maardie ertoe leidden dat een taak vergat de anamnese; bij meneer B vertelde je alleentot een goed einde gebracht de anamnese en vergat je de rest van het onderzoek. is of juist niet. Probeer bij een volgende overdracht een vaste

structuur aan te houden.’

Proces Feedback die meer algemene, ’Doordat je veel details in de overdracht opneemt, onderliggende thema’s en krijg ik / krijgen de toehoorders geen goed beeld vanprocessen benoemt die herken- de hoofd- en bijzaken. Probeer te bedenken welkebaar zijn in het functioneren informatie echt van belang is om over te dragen.’van een aios.

Zelfregulatie Feedback op de wijze waarop ‘Ik kon merken aan de volgorde van je verhaal dat je een aios het gedrag (bij)stuurt geprobeerd hebt meer lijn in de overdracht aan teom een gesteld doel te bereiken. brengen. Ik vond het ook goed dat je je supervisor

vooraf geraadpleegd had welke patiënten je wel enniet zou overdragen’.

Persoon Feedback in de vorm van in ‘Je bent slordig’ of ‘je bent traag.’algemene termen gestelde positieve of negatieve uitlatingen over de persoon.


S47


In VIVO Richtlijn

deze zich niet richt op de persoon. Wanneeriemand nog nauwelijks kennis of vaardig-heden bezit is het verstandiger instructiete geven dan feedback.

4. Timing van feedbackTiming en inhoud van feedback moetenidealiter worden aangepast aan de (inge-wikkeldheid van de) taak en de ervaringvan de leerling. Shute geeft heldere richt-lijnen voor de timing van feedback in ver-schillende situaties.12 Grofweg schetst zijmet betrekking tot timing twee soortenfeedback: directe feedback die meteen naeen taak gegeven wordt en uitgestelde feed -back die varieert van een paar uur tot wekenna een taak. Het is het meest effectief omdirect feedback te geven als een taak moei-lijk is in relatie tot de vaardigheden vaneen aios. Wanneer de taak gemakkelijker is,is het effectiever de feedback uit te stellen.

Makkelijk en moeilijk moet hier wordengeïnterpreteerd in relatie tot de vaardig-heden van de aios: een vaardige aios zaleen taak vaker makkelijk vinden. Als eenaios bijvoorbeeld pas voor de derde keereen laparoscopische cholecystectomie doet,is het zinvol fouten direct te corrigeren. Ishet echter de dertigste keer, dan kan hetzinvol zijn de aios zelf eventuele problemenop te laten lossen en achteraf de gekozenstrategie te bespreken, mits uiteraard depatiëntveiligheid dit toestaat. Als er bij er-varen aios steeds onderbroken wordt entips gegeven worden, kan dit er toe leidendat hij of zij minder goed gaat functione-ren omdat men uit de concentratie en hetwerkpatroon wordt gehaald.

Shute geeft voorts aan dat vaardige aiosvooral profiteren van faciliterende feed-back, waarbij hints en suggesties wordengegeven zodat de aios zelf een verbeter-plan kan opstellen. Minder vaardige aioshebben baat bij directieve feedbackwaarin helder gesteld wordt wat veran-derd moet worden. Samen vattend moet

rekening gehouden worden met de moei-lijkheid van de taak en met de ervaringvan de aios. Meer feedback leidt niet altijdtot een beter functionerende aios.13

5. Ontvangen van feedbackVeel literatuur geeft informatie over heteffectief geven van feedback. De ontvangersvan feedback worden hierin neergezet alspassieve individuen die nauwelijks van in-vloed zijn op de uiteindelijke effectiviteit.Recent onderzoek toont aan dat het tegen-deel waar is. Mensen gaan zelf vaak actiefop zoek naar informatie over hun functio-neren en reageren verschillend op exactdezelfde feedback. Kortom, niet alleen degevers, maar ook de ontvangers spelen eenrol in het uiteindelijk effect van feedback.

FeedbackzoekgedragAios maken bewuste keuzes in wie ze welof niet om feedback vragen en op welkemomenten. Grofweg kunnen twee verschil-lende vormen van feedbackzoekgedragworden onderscheiden:1. Impliciet gedrag (monitoring) waarbij

feedbackinformatie wordt verkregendoor het observeren van de omgevingen anderen (bijvoorbeeld: een aios beltin de dienst een supervisor en stelt eenplan voor; de supervisor gaat akkoord;de aios interpreteert dit als feedback datde voorstellen voor beleid goed zijn).

2. Expliciet gedrag (inquiry) waarbij feed -back wordt verkregen door er directnaar te vragen (bijvoorbeeld: de aios indit voorbeeld vraagt aan de supervisorof hij/zij het voorgestelde beleid goedvindt).

Teunissen et al. hebben onderzoek gedaannaar factoren die invloed hebben op feed-backzoekgedrag van aios Obstetrie & Gyna-ecologie.14 Hierbij bleek een aantal facto-ren van belang. Een eerste factor is deinschatting van de voor- en nadelen van



het vragen van feedback. Aios die bang zijnvoor gezichtsverlies of voor een slechtebeoordeling van het functioneren kunnenafzien van het direct vragen naar feed-back en zullen eerder impliciet zoekge-drag vertonen. Als een aios bijvoorbeeldeen ernstig zieke patiënt per ongeluk ont -slagen heeft zal hij/zij minder geneigd zijndirect te vragen om feedback maar uit dereacties op de overdracht afleiden dat hetgevoerde beleid niet de gewenste aanpakis. Een tweede factor die het feedback-zoekgedrag beïnvloedt is de algemenedoelgerichtheid van aios. Sommige aioszullen prestatiegericht zijn wat inhoudt datzij een goede prestatie af willen leveren engeloven in het bezit van intelligentie envaardigheden. Andere aios zijn ontwik -keling sgericht wat impliceert dat zij ge-richt zijn op hun ontwikkeling en gelovenin de ontwikkelbaarheid van intelligentieen vaardigheden. Deze laatste groep zalbij falen zich voornemen een volgendekeer harder te werken en het nogmaals teproberen; de eerste groep zal bij falen eerdervan mening zijn dat ze het gewoon nietkunnen.

Goede feedback kan ervoor zorgen dat ereen verschuiving plaatsvindt van prestatie-gericht naar het (meer effectievere) ont-wikkelingsgericht zijn. De derde belang-rijke factor bij het feedbackzoek gedrag isde stijl van de supervisor. Wanneer super-visoren helder zijn over wat ze ver wachtenen wat de doelen zijn, zal een aios eerderdirect om feedback vragen. Supervisorenkunnen aios dus helpen door te expliciterenwat zij van aios willen.

Kortom, aios zijn geen passieve ontvan-gers van feedback. Zij zoeken feedback opeen impliciete of expliciete manier. Dekosten en baten van de feedback, de alge-mene doelgerichtheid van de aios en, last butnot least, de stijl van de supervisor hebbeninvloed op dit feedbackzoekgedrag.

Literatuur1. Crooks TJ. The impact of classroom evaluation

on students. Rev Educ Research 1988;5:438-481.2. Black P, William D. Assessment and classroom

learning. Assessm Educ 1998;5(1):7-75.3. Sargeant J, Mann K. Feedback in medical educa-

tion: Skills for improving learner performance.In: Cantillon P, Wood D, editors. ABC of Learningand Teaching in Medicine. 2 ed. BMJ Books; 2010;p. 29-32.

4. Giving Feedback. In: Bullock I, Davis M, LockeyA, Mackway-Jones K, editors. Pocket Guide to Te-aching for Medical Instructors/ Advanced LifeSupport Group and Resuscitation Council (UK). 2ed. Oxford: Blackwell Publishing; 2008; p. 57-68.

5. Pendleton D, Schofield T, Tate P, Havelock P. Thenew consultation: developing doctor-patient com-munication. Oxford: Oxford University Press; 2003.

6. Brand PL, Boendermaker PM. [Give feedback:crucial competence in medical education]. NedTijdschr Geneeskd 2009;153(6):250-253.

7. Hattie J, Timperley H. The power of feedback.Rev Educ Research 2007;77(1):81-112.

8. Archer JC. State of the science in health profes-sional education: effective feedback. Med Educ2010;44(1):101-108.

9. Jamtvedt G, Young JM, Kristoffersen DT, O’BrienMA, Oxman AD. Audit and feedback: effects onprofessional practice and health care outcomes.Cochrane Database Syst Rev 2006;(2):CD000259.

10. Veloski J, Boex JR, Grasberger MJ, Evans A,Wolfson DB. Systematic review of the literatureon assessment, feedback and physicians’ clinicalperformance: BEME Guide No. 7. Med Teach2006;28(2):117-128.

11. Van de Ridder JM, Stokking KM, McGaghie WC,Ten Cate OT. What is feedback in clinical educa-tion? Med Educ 2008;42(2):189-197.

12. Shute VJ. Focus on Formative Feedback. RevEduc Research 2008;78(1):153-189.

13. Kluger AN, DeNisi A. The effects of feedback in-terventions on performance: a historical review, ameta-analyse, and a preliminary feedback inter-vention theory. Psychol Bull 1996;(119):254-284.

14. Teunissen PW, Van der Stapel DA, Scherpbier A,Boor K, Scheele F. Who wants feedback? An in-vestigation of the variables influencing residents’feedback-seeking behavior in relation to nightshifts. Acad Med 2009;84(7):910-917.



S49


In VIVO Richtlijn

De auteurs:Dr. K. Boor is aios Obstetrie & Gynaecologie, VUmc,Amsterdam.Dr. P.W. Teunissen is onderzoeker medisch onderwijs,Universiteit van Maastricht en aios Obstetrie & Gynae-cologie, VUmc, Amsterdam.Prof. dr. P.L.P. Brand is hoogleraar klinisch onderwijsUMCG, en kinderarts, Isala klinieken Zwolle.

Correspondentieadres:K. Boor, VU Medisch Centrum, afdeling Obstetrie & Gynae-cologie, postbus 7057, 1007 MB Amsterdam. E-mail:[email protected]



richtlijn multisource feedback voor de aios - nvmo.nl · examination (osce) en objective...

Documents