Training steekproeven bij het ROCvA: ‘Een echte eye-opener’

Steekproeven. Ze vormen een goed instrument om de kwaliteit van examens te borgen en het examenproces te verbeteren. Maar we merken dat veel scholen worstelen met de vraag hoe je ze op de juiste manier inzet. Daarom hebben we de ‘training steekproeven’ ontwikkeld. Onlangs volgden 16 examencommissieleden van het ROC van Amsterdam (ROCvA) deze training. Cecilia Broodbakker, voorzitter van de examencommissie van één cluster (en secretaris voor een aantal andere clusters), deelt haar ervaring.

Waarom hebben jullie besloten deze training te volgen?
“Als examencommissie wilden we kennis ophalen over steekproeven in het algemeen. Ook hadden we specifieke vragen, zoals ‘hoe doe je een goede analyse’? Dus toen we hoorden dat Bureau ICE daar een training voor had ontwikkeld, hebben we daar meteen gebruik van gemaakt.”

Met hoeveel deelnemers hebben jullie de training gevolgd? En in welke samenstelling?
“In twee groepen van acht deelnemers; allemaal examencommissieleden die normaal ook in die samenstelling samenwerken in hun clusters. Voor beide groepen was er een aparte trainingsdag.”

“Aan het einde van de dag hadden we een concrete ‘werkwijze steekproeven’ in handen.”

                                                         Cecilia Broodbakker, ROCvA    

Hoe verliepen de trainingsdagen?
“Prettig. Het eerste dagdeel ging over steekproeven in het algemeen. Wat zijn steekproeven en waarom doe je ze? Zo’n deel theorie in de ochtend is goed voor de beeldvorming: je zit dan allemaal op één lijn, of je nu veel of weinig ervaring hebt met steekproeven.”

“In het tweede dagdeel maakte de trainer de vertaalslag naar de dagelijkse praktijk, specifiek afgestemd op hoe wij hier werken. Aan het einde van de dag hadden we een concrete ‘werkwijze steekproeven’ in handen.”

Wat heeft de training jullie verder opgeleverd? Wat hebben deelnemers ervan opgestoken?
“Heel praktisch gezien: hoe groot een steekproef moet zijn om betrouwbaar te zijn. En andersom: dat je ook weet hoe het zit met de betrouwbaarheid als je een keertje minder steekproeven doet. Daar is wel eens discussie over. Meestal gaan we uit van tien of twintig procent, maar wat betekent het nu voor de betrouwbaarheid als je daaronder zit?”

“Daarnaast hebben we ons door de training gerealiseerd dat je een steekproef ook in kleinere stapjes kunt opknippen. Als je weet wat het doel is van een steekproef, dan kun je de steekproeven kleiner maken. Want je kunt wel roepen ‘we gaan een steekproef doen’, maar wat is het doel? Dat was een echte eye-opener.”

Kun je daar een voorbeeld van geven? Een steekproef kleiner maken omdat je het doel kent?
“Bij het examen ‘spreken en gesprekken voeren’ kun je bijvoorbeeld eerst alleen kijken naar de manier waarop de opnames zijn gearchiveerd. Dat is minder omvangrijk dan een complete steekproef; iets dat je ook makkelijk van achter je bureau kunt doen. Je maakt het concreter en beter behapbaar, waardoor je veel gerichter onderzoek doet.”

Dus, een aanrader?
“Zeker. Veel is een kwestie van gezond verstand, maar het is goed als iemand je op de valkuilen wijst. Het is ook een mooie aanleiding om de oordeelsvorming en besluitvoering rond steekproeven onderling weer eens af te stemmen en aan te scherpen. Temeer omdat de leden van een examencommissie nog wel eens wisselen. Eén van de twee groepen die de training volgden, is pas een jaar in de huidige samenstelling bij elkaar. Dan is het sowieso fijn om eens een hele dag samen te komen.”

Heb je tot slot nog tips voor andere examencommissies die de training willen volgen?
“Ja, bespreek de sessie vast voor met je trainer, om de context, het doel en de verwachtingen te bepalen. Wat moeten we straks kunnen; wat willen we beter doen op het gebied van steekproeven? Onze trainer stond heel erg open voor wensen vanuit de organisatie. Mede daardoor hebben wij heel veel aan de training gehad. Dat kreeg ik ook terug van de collega’s uit de andere groep.”

Ook iets voor jouw examencommissie?

De kennis over steekproeven binnen jouw eigen team vergroten of opfrissen? Gericht aan de slag met een of meer praktische vraagstukken? Lees meer over onze training steekproeven.