Toetsen Taalverzorging: op papier of digitaal?
De taalverzorgingstoetsen van IEP kunnen digitaal of op papier gemaakt worden. Maakt de vorm uit voor de resultaten van leerlingen? En wanneer heeft het klankentoetsenbord een meerwaarde? Dat onderzochten we voor leerjaar 3, 4 en 5. Lees hier onze bevindingen én hoe we het verschil tussen de papieren en digitale afname minimaliseren.
Bij IEP vinden we het belangrijk dat leerlingen een toets maken die aansluit bij hun belevingswereld en bij wat ze gewend zijn. Daarnaast willen we dat leerlingen zo min mogelijk belemmerd worden door externe factoren, zoals digitale vaardigheden. Daarom biedt het IEP LVS zowel papieren als digitale toetsen aan; zo kun je als school zelf kiezen wat het beste bij de leerlingen past.
Onderzoek naar verschil papier en digitaal
Verschillende scholen die beide vormen gebruikten, vroegen ons of er verschil kan zitten tussen resultaten op de papieren en de digitale toets. We zijn met die vraag aan de slag gegaan en hebben de resultaten met elkaar vergeleken. Uit het onderzoek bleek dat er inderdaad een verschil bestond: de resultaten van de papieren vorm waren over het algemeen hoger. Dit verschil was het grootst in leerjaar 3 en nam in leerjaar 4 en 5 aanzienlijk af.
Voor dit verschil zijn een aantal variabelen te bedenken die invloed kunnen hebben:
- Het handelen van de leerkracht bij een papieren afname.
- Het digitale nakijksysteem van het IEP LVS bij een digitale afname.
- De digitale vaardigheden van de leerling bij een digitale afname.
- Populatieverschillen tussen de papieren en digitale vorm; deze kans is echter zo klein dat we dit niet verder hebben onderzocht.
In vervolgonderzoeken hebben we verder gekeken naar de invloed van deze variabelen op het verschil in de resultaten op de papieren en de digitale toets. Deze onderzoeken hebben geleid tot aanpassingen in het IEP LVS, zodat de digitale toetsen nog beter laten zien wat een leerling echt beheerst. Hieronder lees je per variabele over de resultaten van ons onderzoek én de aanpassingen die we gedaan hebben in het IEP LVS.
Het effect van digitaal nakijken
De digitale toets wordt door het IEP LVS direct nagekeken. Dit bespaart veel tijd en papierwerk in een periode waarin de werkdruk voor leerkrachten al heel hoog ligt. Maar waar een leerkracht onderscheid maakt in verschillende fouten, doet het LVS dat niet. In ons onderzoek viel op dat een relatief groot deel van de fouten geen directe spelfouten bleken te zijn, maar fouten die te maken hadden met de typvaardigheid van een leerling. Deze antwoorden kwamen met name voor in leerjaar 3; in leerjaar 4 en 5 zagen we dit veel minder.
Zo werden woorden volledig of deels in hoofdletters getypt of zaten er spaties in woorden op plekken waar deze niet hoorden. Letters werden te lang ingedrukt waardoor woorden ontstaan als “vaakkkk” (vaak), of leerlingen gebruikten speciale tekens of emoticons (€, á, è, ☹). De letters “p” en “q” werden vaak verwisseld, terwijl leerlingen tot en met eind groep 4 de letter “q” in principe nog niet kennen en deze letter ook niet in het lesaanbod voorkomt.
Ook zagen we antwoorden die niet pasten bij wat gevraagd werd in de opgave, zoals woorden van de vorige opgave of een zelfbedacht woord bij de afbeelding. Soms werd de hele zin of een deel van de zin getypt. Een leerkracht zou (een deel van) deze antwoorden goed gerekend hebben of een leerling gedurende de afname kunnen corrigeren.
Zo verbeteren we onze digitale toetsen
Op basis van de onderzoeksresultaten hebben we in het IEP LVS de mogelijke antwoorden van leerlingen in de middenbouw aangepast, om het aantal typfouten te beperken zonder dat we feitelijk verkeerde antwoorden goed rekenen.
Een leerling kan nu geen speciale tekens meer invullen of emoticons als antwoord geven. Ook cijfers kunnen niet meer in het antwoordvak worden getypt. Hoofdletters worden voortaan bij open vragen altijd goed gerekend; waar in het antwoord ze ook staan. We toetsen de spellingsregels rondom hoofdletters met drop-down of meerkeuze, dus kan er geen verwarring ontstaan. In de middenbouw hebben we spaties uitgeschakeld, behalve bij antwoorden waar een spatie logisch is (‘voet bal’). In de bovenbouw rekenen we spaties aan het begin en eind van het woord we goed, maar tussen letters (bijvoorbeeld ’s keeleren’) is het fout.
De rol van de leerkracht bij de papieren afname
Tot slot hebben we de mogelijke verschillen in afname en beoordeling van de papieren versus de digitale toets onderzocht.
In de digitale toets zit een neutrale voorleesfunctie; bij de papieren afname leest de leerkracht zo neutraal mogelijk voor. Het kan echter voorkomen dat de leerkracht tijdens de afname de nadruk legt op bepaalde (delen van) woorden of rekening houdt met accenten van leerlingen, wat een voordeel kan geven bij de afname van de papieren toets.
De papieren toets wordt nagekeken en ingevoerd door de leerkracht. De leerkracht kent de leerlingen erg goed. Dit brengt voor- en nadelen met zich mee. Hij of zij kent bijvoorbeeld het handschrift van leerlingen en heeft zicht op eventuele spellingsmoeilijkheden. Zo kan het voorkomen dat een computer of een andere persoon dan de leerkracht een antwoord fout rekent, terwijl de leerkracht precies begrijpt wat de leerling bedoelt en hetzelfde antwoord daarom goed rekent. Binnen een klas is dit geen probleem, omdat de toetsen door dezelfde leerkracht nagekeken worden, maar op landelijk niveau is het lastig om een vergelijking te maken, omdat elke leerkracht op eigen wijze de toets beoordeelt. Hierdoor kan het resultaat van de papieren toets hoger uitvallen.
Wat kunnen we hieraan doen?
Om verder te onderzoeken wat de exacte invloed is van de interpretatie van een leerkracht bij het beoordelen van een toets, zouden we de papieren toets door een computer of een onafhankelijk persoon kunnen laten nakijken. Dit is echter erg tijdrovend voor zowel scholen als voor ons. Daarom hebben we besloten dit nu niet verder te onderzoeken.
Verderop in dit artikel geven we adviezen hoe je als leerkracht de afname en beoordeling neutraal kunt houden.
Onze adviezen
Wat weten we nu? Het aanscherpen van de antwoordsleutel en het toevoegen van het klankentoetsenbord heeft ervoor gezorgd dat de resultaten op de papieren en de digitale toetsen dichter bij elkaar liggen dan daarvoor het geval was. Ons advies blijft om te kiezen voor de vorm die het beste bij de leerlingen past.
Zo kies je tussen papier en digitaal
Zijn leerlingen gewend om op papier te werken? Neem de toetsen dan ook op papier af. Zijn de leerlingen al gewend om soms digitaal te werken en vinden ze het fijn als ze op hun eigen tempo kunnen werken (met audio-ondersteuning), kies dan voor digitaal. Gebruik in dat geval voor leerjaar 3 en 4 de vorm met het klankentoetsenbord.
Advies bij afname digitale toets
Geef leerlingen bij de afname van een digitale toets duidelijke instructie om onnodige fouten te voorkomen. Bijvoorbeeld:
- Kijk goed wat je getypt hebt, wilde je dat ook antwoorden?
- Lees of beluister de opgave goed; welk woord moet je typen?
- Klik niet te snel door de toets.
- Controleer of je alle vragen beantwoord hebt.
Je kan ook kladpapier gebruiken tijdens de digitale toets. Het helpt leerlingen vaak om een woord voor zichzelf uit te schrijven als ze twijfelen.
Advies afname papieren toets
Als je voor papier kiest, zorg dan voor een neutrale afname en beoordeling. Leg geen nadruk op de woorden die geschreven moeten worden, lees alles op dezelfde toon voor. Reken een vraag ook fout wanneer je denkt te weten dat de leerling wel het juiste bedoeld heeft (bijvoorbeeld b i.p.v. d).
Advies bij analyse digitale toets
Het is belangrijk dat je er bij het analyseren rekening mee houdt dat leerlingen mogelijk typfouten hebben gemaakt i.p.v. echte spellingsfouten. Trek dus geen conclusies op basis van alleen de domeinanalyse, maar kijk ook goed wat de leerlingen hebben ingevuld.
Dat vinden wij ook. Dank voor je reactie Jose. Team IEP
Fijn dat jullie spelling digitaal versus handmatig verder onderzocht hebben. Mooi dat er aanpassingen zijn gemaakt! Dankjewel.
Gr Jose