Een kijkje in de keuken van een toetsenmaker

Hoe zijn jullie betrokken bij het ontwikkelen van toetsen?

Wilma: “Bij Bureau ICE ontwikkelen we de meeste toetsen en examens zelf. Mijn team bestaat daarom uit toetsexperts die de toetsen en examens voor het mbo ontwikkelen. Onze toetsexperts waren voorheen vaak zelf docent, hebben taal- of onderwijskunde gestudeerd of hebben een andere relevante expertise.”

Jorien: “Mijn team, Onderzoek, bestaat uit psychometrici. Dit zijn vaak onderwijskundig experts met statistische kennis. We houden ons bezig met de kwaliteit van de toetsen. Zo beoordelen we of de vragen inhoudelijk goed zijn en of elke vraag goed onderscheid kan maken tussen wel en niet vaardige studenten. En of de toets in zijn geheel betrouwbaar is.”

Waar begin je mee bij het maken van een goede toets?

Wilma: “Je kijkt eerst wat je precies wilt meten: voor het mbo willen we weten of een student een bepaalde vaardigheid beheerst. Vaak zijn de doelen die je wilt meten in een toets al bekend en staan deze beschreven in een referentiekader. We zorgen er onder meer voor dat de toetsen en examens aan Europese of Nederlandse richtlijnen voldoen. Soms ontwikkelen we zelf een toetskader: wat zou de student moeten kunnen? Daar haken we experts voor aan. Denk aan docenten, die de studentenpopulatie heel goed kennen. Ook kijk je naar het doel van het meetmoment: is dat zakken of slagen, zoals bij examens? Of wil je weten waar de student zich bevindt op de ontwikkellijn, zoals bij een toets?”

Langs hoeveel toetsexperts of constructeurs gaat een toets of examen van begin tot eind?

Wilma: “Langs zo’n vijf paar ogen. Eén of meerdere constructeurs ontwikkelen de toets. Vervolgens screent een expert de toets. De constructeur verwerkt dat weer, waarna een tweede externe Toetsvirtuozen bij Bureau ICE, Wilma Loedeman en Jorien Laan expert ernaar kijkt. Daarna wordt er nog door een andere expert naar meerdere toetsen gekeken: is er vergelijkbaarheid tussen de toetsen en zien we een duidelijke verdeling? En als laatste kijkt de projectleider ernaar.”

Wat kunnen jullie zeggen over de driehoek betrouwbaarheid – validiteit – bruikbaarheid?

Jorien: “Het is belangrijk dat er een balans is tussen deze drie en dat ze zo optimaal mogelijk worden ingezet in toetsen en examens. Een toets is betrouwbaar als deze steeds hetzelfde resultaat geeft. Net zoals een weegschaal waarop je vijf keer gaat staan. Validiteit geeft aan of je ook meet wat je ilt meten. Stel dat je op een zachte ondergrond op de weegschaal gaat staan, dan meet je niet je lichaamsgewicht, terwijl je dat wel wil. Samenvattend: is de inhoud van de toets erop gericht om te meten wat je wilt meten? Ook moet de toets bruikbaar zijn in de praktijk. Bij de rekenexamens bleek bijvoorbeeld dat we een aantal vragen konden schrappen zonder dat het impact had op de betrouwbaarheid of de validiteit. Dat hebben we dan ook direct gedaan. We willen studenten niet meer belasten dan nodig is.”

Is er een verschil tussen het ontwikkelen van een toets of een examen?

Wilma: “Ja, wat echt verschilt in het proces is de cesuurbepaling. De cesuur is de grens van een minimale score die een student moet behalen om te slagen. Omdat bij een examen het resultaat een grote impact kan hebben, namelijk zakken of slagen, is het belangrijk dat we die zak/slaag-grens zo goed mogelijk vaststellen om een eerlijk resultaat te geven. Daarom worden examenvragen gepretest. Bij een pretest worden de examenvragen getest onder een grote groep studenten van verschillende niveaus en instellingen. Zij maken dan (een deel van) het examen. De data die dit ons oplevert gebruiken we als onderdeel van ons onderzoek, waarna we in samenwerking met onafhankelijke inhoudelijke experts de cesuur definitief bepalen. Een ander verschil is het aantal vragen, dat kan verschillen bij een toets of een examen. Bij een resultaat met grote impact hoort een zeer hoge betrouwbaarheid. Dit betekent dat een examen vaak uit meer vragen bestaat dan een toets. Een grotere hoeveelheid vragen zorgt ervoor dat we een betere meting kunnen doen en daarmee een betrouwbaardere uitspraak.”

Welke ontwikkelingen hebben zich in jullie vakgebied voorgedaan in de afgelopen 15 jaar?

Jorien: “Er wordt bewuster nagedacht over waarom en met welk doel we toetsen: willen we bijvoorbeeld formatieve informatie of willen we geen cijfers meer? Daarnaast is er meer behoefte om dichter bij de belevingswereld van de student aan te sluiten. Daaruit is ook TOA-connect voortgekomen.”

Wilma: “Met TOA-connect construeren we samen met mbo-instellingen examens voor de productieve vaardigheden in de beroepscontext. De scholen leveren de inhoud, wij de toetsconstructie. Door de vakexpertise van mbo’s te bundelen met onze toetsexpertise, werken we samen aan een kwalitatief hoogwaardig en breed aanbod met examens die inhoudelijk aansluiten bij de opleiding van de student. Dat is een mooie ontwikkeling die we toejuichen!”

Welke ontwikkelingen verwachten jullie de komende 15 jaar in dit vakgebied?

Wilma: “Digitalisering horen we vaak langskomen. Voor ons is dat niet nieuw, dat doen we al 15 jaar! Artificiële Intelligentie is natuurlijk een ontwikkeling die hoog op de agenda staat. We onderzoeken nu hoe we AI op een betrouwbare manier kunnen inzetten in toetsing. Het is straks niet meer weg te denken en moet een goede plek krijgen in het onderwijs.”

Wat is de kracht van Bureau ICE en van jullie werk?

Jorien: “Onze expertise én onze passie om goede en eerlijke toetsen en examens te maken. Het is heel complex om een goede toets te maken. Hiervoor hebben we zelf kennis in huis en om zo goed mogelijk aan te sluiten op het onderwijs, zoeken we samenwerking met docenten, zodat we kwaliteit kunnen leveren waar studenten en docenten mee geholpen zijn. Daarnaast zijn we heel uniek doordat we een compleet pakket bieden met content, digitaal platform en trainingen. We denken goed na over hoe we instellingen en docenten op al deze facetten het beste kunnen ontzorgen.”