Voor Bespeak ging ik naar de ResearchEd conferentie 2018: een conferentie die onderwijsonderzoek en -praktijk met elkaar verbindt. In dit artikel vertel ik over de sessie van Eva Hartell: waar ging het over en wat kan ik er als onderwijskundige mee?

Bij comparative judgement vergelijk je het werk van twee leerlingen en besluit je welke het beste is. Daarna neem je er weer twee en zo ga je verder. Zo krijg je twee stapeltjes met het werk van leerlingen. Om die stapeltjes goed te kunnen maken, is het cruciaal dat het einddoel helder is. Dat geldt zowel voor de docent als voor de leerlingen. Anders weet je immers niet waar je naar zoekt. Hoe meer werk je hebt beoordeeld, des te beter je zult kunnen verwoorden waarom je de één beter vindt dan de ander. Eva Hartell vergelijkt het met wijn proeven: hoe meer je oefent, hoe beter je erin wordt. De tweetallen kun je op verschillende manieren samenstellen. Je kunt dit bijvoorbeeld at random doen en daarbij (als je een digitaal instrument gebruikt) inbouwen dat niet steeds hetzelfde paar terugkomt en dat elke leerling meerdere keren wordt vergeleken met een andere. Zo krijg je uiteindelijk een ranking van de leerlingen.

Eva laat het verschil in beoordelingstijd zien tussen het beoordelen van een portfolio op basis van vastgestelde criteria en op basis van comperative judgement. Dat verschil is indrukwekkend: op basis van de criteria werd een portfolio in 12 minuten beoordeeld, met comparative judgement duurde dat nog maar 2 minuten. Daarnaast laten meerdere onderzoeken zien dat beoordelingen met comparative judgement betrouwbaarder zijn en meer zeggen over wat een leerling wel en niet kan dan cijfers geven op basis van een antwoordmodel of van tevoren vastgestelde criteria.

Voor mij was dit hét moment in de presentatie dat ik dacht: hier wil ik wat mee gaan doen. In de leermiddelen die Bespeak ontwikkeld heeft, zie je in de loop der jaren wel dat beoordelingscriteria meer naar de achtergrond verschuiven. Een docent kan bijvoorbeeld de beoordelingscriteria voor een opdracht erbij pakken als ondersteuning van zijn beoordeling en krijgt niet meer expliciet de vraag om criteria aan te vinken, zoals we eerder wel deden. Ik denk wel dat het gevaar van een lijst met criteria is dat, ook al zet je hem op de achtergrond, je er toch naar gaat kijken. En dat kost tijd. Daarnaast zitten verschillen tussen leerlingen vaak in subjectieve aspecten, die je niet altijd goed kunt vangen in criteria. Deze subjectieve aspecten maken echter wel dat de ene leerling die een ‘goed’ krijgt, beter is dan een andere leerling die een ‘goed’ krijgt. In de beoordeling doe je hier niet altijd recht aan. Door comperative judgement wordt het noodzakelijk dat docenten hun impliciete kwaliteitscriteria expliciet maken. Dit helpt ook om gerichte en gefocuste feedback te geven. Ik denk dat we bij Bespeak soms geneigd zijn om formatieve toetsing te veel op dezelfde manier te bekijken als summatieve toetsing. Dat is niet altijd nodig en zeker niet altijd gewenst, vooral omdat formatief toetsen een heel ander doel heeft. Daarom op mijn ontwikkelbucketlist voor dit jaar: kijken of we een vorm van comparative judgement in een project kunnen toepassen.

De presentatie van Eva Hartell is hier terug te vinden.