‘Met de steekproef kan ik sneller mijn analyse maken’

Binnen TOA Toetsplatform is het mogelijk om een steekproef op de beoordelingen uit te voeren. Een dergelijke steekproef geeft meer inzicht in de beoordelaarsbetrouwbaarheid van de assessoren. Marlies de Groot, beleidsadviseur bij Koning Willem l College in Den Bosch, heeft deze functionaliteit ingezet: “Het scheelt mij veel tijd.”

Wat is de waarde van een steekproef?

“Het is een belangrijke taak, omdat je wilt toetsen hoe de beoordelaars ten opzichte van elkaar hebben beoordeeld. Zijn daar afwijkingen in te zien? Zo ja, hoe komt dat dan? Als de eerste beoordelaar afwijkt van de tweede, dan wil dat niet zeggen dat hij het verkeerd heeft gezien. De tweede beoordelaar kan het ook verkeerd hebben. De waarheid ligt vaak in het midden. De vraag is: hoe komen we nou achter die waarheid? Dat kan bijvoorbeeld door een intervisiebijeenkomst te organiseren, waarbij je met elkaar het gesprek voert over de wijze van beoordelen. Hoe doen wij het als assessoren en hoe kunnen we gezamenlijk het beoordelen verbeteren?”

Wat komt er tijdens zo’n intervisie aan bod?

“We bespreken opvallende zaken die ik voorleg aan een groep assessoren om te bepalen wat hun oordeel is. Ik luister dan goed naar wie wat zegt en we vergelijken dat met het beoordelingsmodel. We hebben ook een handleiding gemaakt waarin we aspecten hebben beschreven waar het beoordelingsmodel niet helemaal duidelijk over is. In de handleiding staat hoe wij daarmee omgaan. Dat is aan de ene kant fijn om te hebben, aan de andere kan is het ook een gevaar. Je probeert immers iets dicht te timmeren wat niet helemaal af te dichten is.”

“We blijven het gesprek continu voeren met elkaar om onze eigen kwaliteit te garanderen.”

Namelijk het zo objectief mogelijk beoordelen van taalproductie?

“In veruit de meeste gevallen lukt dat prima hoor. In slechts een heel klein percentage van de duizenden examens die we jaarlijks afnemen zie je meningsverschillen in de beoordeling. We proberen dan te achterhalen wat de overwegingen van een beoordelaar waren om een bepaalde beslissing te nemen. Heel vaak is dan toch het antwoord dat in een reeks van examens de beoordelingsnorm wat is verschoven, waardoor bijvoorbeeld een matig antwoord onterecht beter of juist extra streng wordt beoordeeld. We blijven dit gesprek continu voeren met elkaar om onze eigen kwaliteit te garanderen.”

Hoe voerden jullie in voorgaande jaren de steekproef uit?

“Een deel van de examens Nederlands schrijven wordt in de zomer altijd dubbel beoordeeld. We halen daarbij geen vijf procent want dat is te arbeidsintensief, maar het gaat alsnog om honderden examens die we laten herbeoordelen. Tot vorig jaar gingen er stapels papieren naar de beoordelaars toe om voor een tweede keer te worden beoordeeld. Die stapels kwamen vervolgens weer bij mij terug om ze te analyseren. Daar was ik dagen mee bezig. Ik moest de oorspronkelijke beoordelingen opzoeken, die vergelijken met de beoordelingen van de interne beoordelaars en vervolgens gaan rekenen. Waarbij er ook nog eens makkelijk een fout kan worden gemaakt doordat je handmatig gegevens verwerkt. Dus toen het mogelijk werd om de steekproef in TOA Toetsplatform uit te voeren was ik echt heel blij, omdat het zoveel tijd scheelt.”

“Met de steekproef in TOA Toetsplatform kan ik nu veel sneller mijn analyse maken.”

Je ziet sneller waar de afwijkingen zitten?

“Precies. De beoordelaars moeten uiteraard nog steeds hun werk doen, maar het verwerken van de resultaten verloopt veel vlotter. Met de steekproef in TOA Toetsplatform kan ik nu veel sneller mijn analyse maken. Er vallen snel dingen op door de filters te gebruiken in het Excel-overzicht van de steekproef. Je ziet zelfs afwijkingen op een bepaald examen. Met deze steekproef heb ik voldoende materiaal om de intervisie in te gaan. Bovendien lijkt hij me zuiverder dan de werkwijze die we hadden. Neem alleen al de kans op fouten bij het handmatig overnemen van de getallen zoals ik dat eerst deed, die is er hiermee al uit.”

Meer weten

Wil je meer weten over de steekproef? Neem dan contact met ons op via toa@bureau-ice.nl of bel 088 – 556 98 00. Bekijk in TOA Toetsplatform ook de video die we over de steekproef hebben gemaakt.