Onderwijsevaluaties op de schop

Digitale vakevaluaties geven geen representatief beeld. Slechts een derde of een vierde van de studenten vult ze in. Bovendien zijn de respondenten die ze wél invullen vooral zeer enthousiaste of juist ontevreden studenten. Dit zorgt voor een scheef beeld. Onderwijsevaluaties verbeteren is daarom het belangrijkste speerpunt van de opleidingscommissie (OC) Literatuurwetenschap van de Universiteit van Amsterdam.

Ondanks de twijfel over de betrouwbaarheid en representativiteit van de bestaande digitale vakevaluaties, is bij ons UvAQ het enige ‘officiële’ evaluatiemiddel dat voor handen is. En dat is zorgelijk. De uitslagen van de evaluaties gebruikt de opleiding namelijk ook bij de beoordeling van stafleden, tijdens jaargesprekken en bij (interne) sollicitaties.

Vinger aan de pols
Het afgelopen jaar is de BA-opleiding Literatuurwetenschap overgestapt naar een volledig Engelstalig programma (Literary and Cultural Analysis). Dat resulteerde in een grote toestroom van buitenlandse studenten. De opleiding groeide van ongeveer twintig eerstejaars studenten in 2015/2016 naar negentig eerstejaars in 2016/2017. De OC vindt het van groot belang om juist tijdens deze verandering een vinger aan de pols te houden via een betrouwbare onderwijsevaluatie. Zo willen we weten of het nieuwe programma werkt, of de praktische organisatie van de opleiding de grote toestroom aankan en of de transitie naar Engels bij studenten en staf voor problemen zorgt.

Evaluatiegesprek
Om de bestaande evaluatiemethode aan te vullen, hanteert de OC sinds twee jaar een mondeling evaluatiesysteem. Hierbij gaat een studentlid van de OC tijdens het laatste college van een module praten met de studenten. Hoewel de vragen deels overlappen met die in het digitale evaluatieformulier, vraagt het studentenlid vooral door op de stof van de colleges. En sinds kort ook op mogelijke knelpunten in het nieuwe programma. Bijvoorbeeld over de uiteenlopende achtergronden van onze buitenlandse studenten en de verschillende niveaus van Engelse taalbeheersing.

De notulen van het evaluatiegesprek deelt het studentlid in de OC-vergadering, samen met de digitale evaluatie. Deze uitkomsten bespreken we en op grond hiervan adviseert de OC, indien nodig, de docent en de opleidingsdirecteur over verbeteringen in de opzet of uitvoering van de module.

Hoewel de meningen van individuele studenten soms uiteenlopen, geeft het gesprek over het algemeen een goede indruk van wat er goed en wat minder goed werkt in de module. De docent is tijdens een gedeelte van de mondelinge evaluatie aanwezig. Een ander deel vindt plaats zonder de docent, zodat ook zijn of haar rol in de module vrij besproken kan worden.

Meer deelnemers
Het voordeel van deze evaluatievorm is dat het een completer beeld oplevert van hoe studenten een module ervaren. Verder merken we dat meer studenten deelnemen aan het gesprek in de collegezaal dan aan de digitale evaluatie. Door de extra mondelinge evaluatie is de OC bovendien zichtbaar als aanspreekpunt en kwaliteitsbewaker. Studenten vinden daardoor de weg naar de OC (en de studentleden in het bijzonder) makkelijker als zich problemen voordoen in de opleiding.

Enkele voorbeelden van vragen
Een (zeer open) vraag als “What have you learned in this course?” werkt goed om het gesprek op gang te krijgen. Daarna gaan we door met bijvoorbeeld: “Is it clear to you how this course fits in with the structure and content of the study program?” en “Did your backgrounds equip you for the level of this course?”

We zoeken op dit moment naar geschikte methoden om de conclusies van de evaluatie efficiënt terug te koppelen naar de studentengemeenschap. Nu gebeurt dat soms via de Facebookpagina van de studievereniging. Verder zoekt de OC naar (digitale) methoden om de mondelinge input van een zaal vol studenten makkelijker te notuleren en categoriseren.

“Alleen uiterst positieve of juist negatieve studenten reageren op onderwijsevaluaties”