Minister Vogelaar heeft op 28 november een brief gepubliceerd met een voorstel tot aanpassing van de zak/slaag-grens voor het basisexamen inburgering. Dit examen is een soort toelatingsexamen voor buitenlanders die zich in Nederland willen gaan verstigen.
Vogelaar wil het moeilijker maken voor buitenlanders om dit examen te kunnen halen. Ze heeft onderzoek laten doen naar de huidige normering en naar mogelijkheden om die normering aan te passen. Het gaat daarbij om het onderdeel Toets Gesproken Nederlands, één van de twee onderdelen van het basisexamen.
Samengevat kan zeggen dat de verschillende onderzoekers (TNO en RCEC) niet goed weten hoe zij de huidige normering moeten beoordelen, en eventueel zouden moeten aanpassen, omdat zij geen toegang hebben tot (geheime) bedrijfsgegevens die ten grondslag liggen aan de huidige beoordeling. Voor de beoordeling van examenkandidaten wordt gebruik gemaakt van een computer en een in de computer (aan de toets gekoppeld) geprogrammeerd beoordelingsmodel. Voor een deel van de opdrachten ( zinnen moeten worden nagezegd) worden door de computer per zinnetje punten uitgedeeld. Voor andere delen van de toets wordt op een dichotome wijze geoordeeld: daar wordt gezegd goed/fout, herkenbaar/onherkenbaar, bijvoorbeeld bij het noemen van het aantal poten onder een stoel, of bij het noemen van een tegenstelling ( goed-slecht/fout). Die laatste dichotoom beoordeelde categorie items levert niet geen groot probleem op. Maar de nazegzinnen zijn voor allen die dit examen willen onderzoeken veel problematischer.
De resonansgroep, die in de aanloopperiode van het basisexamen inburgering bestond, is uiteindelijk stukgelopen, uiteengespat en opgeheven vanwege de vele vraagtekens met betrekking tot de beoordelingsmethodiek. Ook deze resonansgroep (een groep wetenschappers) kreeg geen informatie over de manier waarop punten konden worden gescoord voor de TGN. Daarnaast had de resonansgroep, net als later TGN en RCEC, kritiek op het überhaupt moeilijk meetbare A1-min niveau (zo laag dat het eigenlijk niet goed te beoordelen is) en op tal van andere punten.
Na de resonansgroep heeft het TNO zich proberen te ontfermen over de evaluatie van de TGN. Daarbij speelde opnieuw de geheime beoordelingsmethodiek een belangrijke rol.
TNO ontwikkelde zelf een alternatief model en heeft uiteindelijk ook de nazegzinnen willen beoordelen volgens een goed/fout, dan wel herkenbaar/onherkenbaar model. Op die manier komen zij tot een overzichtelijke mogelijkheid ter beoordeling: ze willen de goede/foute nazegzinnen percentueel vastleggen, net als het aantal goedgenoemde tegenstellingen en goede antwoorden op korte vragen. Dat houdt een enorme versimpeling van het examenbeoordelingsmodel in. De computer die het examen beoordeelt bekijkt niet of een zinnetje globaal goed of fout is, maar telt het aantal woorden per zin, telt het aantal goede en foute woorden per zin, geeft meer punten aan lange zinnen dan aan korte, geeft misschien hier en daar bonuspunten voor lange woorden, samengestelde woorden, en goede woordvolgorde … wie zal het zeggen… Deze nauwkeurig geprogrammeerde beoordelingsmethodiek is het geheim van de makers en huidige uitvoerders van het examen. Het bedrijfsgeheim wordt beschermd wegens grote financiële belangen: het product TGN kan de komende jaren een omzet genereren van 20 tot 30 miljoen euro per jaar. Als zou blijken dat het toelatingsexamen naar tevredenheid werkt, wordt dezelfde toets ook in Denemarken, Oostenrijk en mogelijk tal van andere Europese landen ingevoerd, zodat de financiële belangen nog vele malen groter worden.
De versimpelde beoordelingsmethodiek die is ontwikkeld door TNO, is bij blijvend gebrek aan toegang tot de geheime methodiek van CINOP/ORDINATE opnieuw gebruikt door RCEC, (onderzoeker P.F. Sanders). Ook RCEC vraagt in haar advies bovenal om het beschikbaar stellen van de nog steeds geheime data.
In de brief van Vogelaar van 28 november 2007 worden enkele zeer interessante feiten duidelijk.
In de eerste plaats blijkt dat het CINOP, dat vanuit Nederland verantwoordelijk is voor het reilen en zeilen van het basisexamen inburgering nog steeds overhoop ligt en komt te liggen met instellingen die proberen om de TGN aan een verantwoorde evaluatie te onderwerpen. Het CINOP maakt haar standpunt trouwens niet zelf publiekelijk en treedt alleen naar buiten via uitingen van de minister. Het CINOP reageert kennelijk liever niet zelfstandig in het openbaar. In de brief van Vogelaar wordt melding gemaakt van de wenselijkheid om “tot een weloverwogen en gedeelde onderzoeksopzet” te komen. Dit betekent niets anders dan dat tot op heden het CINOP niet heeft willen meewerken aan de onderzoeken die achtereenvolgens de resonansgroep, TNO en RCEC hebben proberen te doen. Het CINOP voelt zich verplicht aan het bedrijfsgeheim. Bovendien zou de betrouwbaarheid van de TGN een genadeloze deuk kunnen krijgen als de beoordelingsmethodiek echt openbaar wordt.
Voor een definitieve aanpassing van de zak/slaag-grens moeten nog heel wat bergen verzet worden. Voor het gemak heeft de minster maar weer eens een zoveelste onderzoek aangekondigd…
Omdat de minister kennelijk aan voelt komen dat het (door de hardnekkige geheimhouding van de beoordelingsmethodiek) wel eens heel moeilijk of onmogelijk kan worden om de TGN op A1-minniveau (huidige norm ligt bij 16 punten, op een schaal tussen 10-80 punten) te handhaven, stelt zij voor dit moeilijk meetbare A1-minniveau in de toekomst eigenlijk buiten de orde te verklaren. Zij suggereert dat het niveau van het basisexamen inburgering van A1-min naar A1 zou kunnen worden opgeschroefd. Als dat gebeurt, hoeft het CINOP voorlopig geen openbaarheid van data te geven, want het politieke doel ( analfabete en laagopgeleide buitenlanders aan de grens tegenhouden) lijkt dan makkelijk haalbaar: het niveau A1 vereist een TGN-score van 26 punten en zal een grotere kans opleveren om de “politiek gewenste” 25% buitenlanders tegen te houden. (Het aantal zakkers ligt momenteel op 8-9%). Alles lijkt dan een stuk makkelijker te worden. Maar als die grensverlegging zal worden doorgevoerd, zal blijken dat Vogelaar veel is gegaan zijn dan Verdonk in haar stoutste dromen had gedurfd.
Heel gek is voorts de overweging van RCEC, dat het basisexamen inburgering eigenlijk zo opgesteld zou moeten zijn dat het aantal zakkers (25%) min of meer gelijk zou moeten zijn aan het aantal zakkers bij examens in het voortgezet onderwijs (RCEC suggereert dat dit ook op 25% ligt). Heel gek: want hoezo zou je die categorieën moeten of kunnen vergelijken? En klopt die suggestie van 25% zakkers in het V.O. überhaupt?).
In de brief van Vogelaar worden de nazegzinnen en de woordvragen genoemd, maar niet de tegenstellingen. Dat is heel opmerkelijk, maar misschien is ze ze gewoon vergeten. Het zou wel erg slordig zijn, dat wel.
Uit de brief blijkt overigens overduidelijk dat het CINOP niet gaat meewerken aan de voorgestelde oplossingen om te gaan sleutelen aan de grens voor A1-min. CINOP stelt dat ook voor de voorgestelde tussenoplossing nader onderzoek nodig is en ook daaraan werken zij dus niet mee. Omdat het CINOP kennelijk ook aan een tussenoplossing niet kan en/of wil meewerken, kondigt de minister haar tussenoplossing eenzijdig af. Die houdt dan in dat meer punten moeten worden gescoord (betere antwoorden, meer goede antwoorden) door de kandidaten om aan de 16-puntengrens te komen. De reden dat CINOP niet meewerkt aan deze tussenoplossing is waarschijnlijk dat deze verandering niet wetenschappelijk onderbouwd is, en dat het CINOP liever het ordinaire, vuile, politieke nattevingerwerk in dit geval voor rekening van de minister wil laten komen.
Voor de minister is de wetenschappelijke verantwoording ondergeschikt aan haar (politieke?) belang. De ingreep van Vogelaar heeft tot gevolg dat ook de norm voor niveau A2, van belang voor het inburgeringsexamen in Nederland, op dezelfde onwetenschappelijke manier ietwat wordt opgeschroefd. Maar in de brief wordt ook duidelijk gesteld dat de minister toegeeft dat zij niet kan overzien welke consequenties haar maatregel zullen hebben: het is niet te voorspellen hoe de percentages zakkers/slagers zullen veranderen…
De vorm en de inhoud van het examen blijven ongewijzigd.
Adap, 2 december 2007
Geen opmerkingen:
Een reactie posten