‘We helpen opleidingsteams om anders te kijken’

Als toezichthouder kijkt de examencommissie naar de risico’s binnen het examineringsproces. Bij Scalda in Zeeland is de basis van dat proces goed op orde, maar het risicogericht onderzoek kon beter vonden ze zelf. We vroegen Rebecca Boelens, beleidsadviseur examinering en kwaliteit techniekopleidingen, hoe Scalda die professionaliseringsslag heeft gemaakt.

Als het goed is evalueert elke examencommissie zichzelf regelmatig. Zo ook de commissie van mbo-instelling Scalda die een externe training- en sparringpartner vroeg om mee te kijken. Rebecca: “Uit een eerste sessie met de expert bleek dat we onze onderzoeksmethodiek nog konden verbeteren. Als examencommissie moet je onderzoek doen om iets te kunnen zeggen over de risico’s binnen het examineringsproces en wat er verbeterd moet worden.

Dat onderzoek is een heel essentieel onderdeel van het toezicht. De basis hiervan hadden we op orde. Maar hoe organiseer je dat ketengericht, zodat het niet afhangt van één persoon en hoe operationaliseer je dat vervolgens? Dat was ons voornaamste doel: organiseer het toezicht en de kwaliteitszorg in de organisatie zo slim en effectief mogelijk, waarbij we ook nog eens iedereen meekrijgen.”

Beperkt zicht

Een analyse van de sterkten en zwakten van de examencommissie toonde aan dat het dossieronderzoek, de wijze van rapportering en de examenbezoeken goed georganiseerd waren. Een risico bestond wel bij het nemen van steekproeven op ingekochte kaderexamens met een referentieopdracht. De instructies voor alle betrokken partijen waren duidelijk en de beoordelingssystematiek was helder, net zoals de criteria waarop beoordeeld wordt.

“Maar de inhoud van de opdracht was niet goed geregeld, want die is individueel per student. Er zit weliswaar een referentieopdracht bij het examen, maar als je twintig studenten bij twintig verschillende bedrijven examen laat doen, komen er ook twintig verschillende opdrachten tot stand. Die moeten allemaal valide zijn én op het juiste complexiteitsniveau worden uitgevoerd. Daar hadden we als examencommissie te beperkt zicht op. Wij willen weten hoe het staat met de kwaliteit van die opdrachten, omdat het risico groot is dat er te veel verschillen ontstaan. We hebben daar nu een standaard commissieonderzoek van gemaakt dat we elk jaar uitvoeren”, aldus Rebecca.

Risicomatrix

Een ander ontwikkelpunt was de hoeveelheid aan onderzoeksinformatie die bij de examencommissie binnenkomt en hoe dat moet leiden tot één portret per opleiding. Daarin staat de kwaliteit van de opleiding beschreven op het gebied van exameninstrumenten, de afname van examens en deskundigheid. Belangrijk punt daarbij is het organiseren van de logistiek per onderzoek. Hoe zorg je ervoor dat degene die namens de examencommissie het onderzoek uitvoert bij een opleiding ook tijdig beschikt over de juiste informatie? Rebecca: “Op basis van de sessies met de expert zijn we een eigen risicomatrix gaan ontwikkelen. Dankzij rapportages heb je als commissie per opleiding in beeld wat de risico’s zijn. Maar welke onderzoeksmethode is er nou nodig om een bepaald risico te bekijken en om te kunnen beoordelen of de kwaliteit verbetert? Dat was niet keten-georiënteerd, met andere woorden: we werkten als organisatie onvoldoende systematisch aan kwaliteitsverbetering. Betere onderlinge afstemming en nauwere samenwerking waren dus wenselijk.”

Meer zien

De risicomatrix die de examencommissie van Scalda heeft ontwikkeld, brengt dus de risico’s per opleiding in kaart en bepaalt tevens welk onderzoek er nodig is om de vinger aan de pols te houden. Het risicoprofiel van een opleiding is daarmee gekoppeld aan een bepaalde onderzoeksmethodiek. “En daar koppelen we óók een kwaliteitsdoelstelling aan. We geven dus aan waar, wanneer en op welk niveau er verbetering zichtbaar moet zijn. Want het is goed om risicogericht onderzoek te doen, maar verbind er dan ook een kwaliteitsdoel aan, zodat je kunt monitoren of een risico is afgenomen en de kwaliteit is verbeterd. Deze nieuwe onderzoeksopzet is erop gericht om meer te zien en beter te kunnen sturen. Daarmee helpen we ook de opleidingsteams om anders te kijken en zich te ontwikkelen. Onze rol is om toezicht te houden, dat goed te organiseren én om zowel medewerkers als docenten en examenleidinggevenden in dat proces mee te krijgen. Je moet een intrinsieke motivatie hebben om samen de kwaliteit te verbeteren.”

Leermoment

De examencommissie van Scalda bekijkt jaarlijks zo’n 700 dossiers van examenkandidaten om een diploma vast te stellen. Daar kunnen onregelmatigheden in voorkomen. Zo ook bij een student die bij zijn stagebedrijf een examenopdracht onbedoeld niet volgens de regels had uitgevoerd. Tijdens de examenvergadering bleek dat uit de bewijsstukken in het dossier. Het diploma is vervolgens aangehouden. “Dit is wel een worst-case scenario”, vindt Rebecca. “Je wilt het niet laten aankomen op de examenvergadering. De kandidaat denkt dat hij klaar is en is nu de dupe van een proces dat bij ons niet draait. In overleg met de examencommissie is besloten tot een herkansing op dat onderdeel, gelukkig met succes. En wij hebben hier ook van geleerd.” In een servicedocument is nu vastgelegd aan welke eisen examenopdrachten moeten voldoen en hoe de beoordelingsprocedure in elkaar zit. Hoe vervul je als praktijkbeoordelaar de rol van examinator en welke vaardigheden heb je daarvoor nodig? Het servicedocument is tijdens een bijeenkomst op school besproken met de bedrijven waar examenkandidaten hun opdrachten uitvoeren. De algemene reactie van de bedrijven: Fijn, dit geeft ons houvast!

Een expert laten meekijken met je examenproces? Bureau ICE heeft verschillende adviseurs die op alle vlakken van het toetsings- en examineringsproces kunnen inspireren en ondersteunen. Kijk voor meer informatie.