De jaarlijkse World University Rankings van Times Higher Education (THE) werden donderdagochtend weer bekend gemaakt. Hierin kregen Nederlandse universiteiten uiteenlopende scores. Deze scores moeten we echter met een flinke korrel zout nemen volgens Berend van der Kolk, auteur van De Meetmaatschappij en universitair hoofddocent prestatiemeting aan de VU Amsterdam. 

“Ranglijsten worden vaak gepresenteerd alsof ze de definitieve en objectieve rangschikking vormen van de beste universiteiten. Er gaan echter ongelooflijk veel subjectieve keuzes aan vooraf.”, begint Van der Kolk. “Om maar wat te noemen: Een van de bekendste ranglijsten meet de kwaliteit van onderwijs aan de hand van het aantal Nobelprijswinnaars onder de oud studenten. Dat is wat mij betreft een vrij bedenkelijke manier van het weergeven van onderwijskwaliteit van een instituut. Maar ook reputatievragenlijsten die gebruikt worden in de THE ranglijst creëren problemen: ze functioneren vaak als een zelfvervullende profetie.”

Volgens Van der Kolk worden er belangrijke aspecten buitenwegen gelaten die nodig zijn om een goed beeld te krijgen van een universiteit. “Onderzoekskwaliteit en impact op de maatschappij zijn ontzettend lastig te meten. Het aantal artikelen daarentegen is makkelijk te meten. Ranglijsten kijken dus sneller naar het aantal artikelen en het aantal citaties, die cijfers liggen voor het oprapen. Die cijfers zeggen echter niet zoveel over de daadwerkelijke onderzoekskwaliteit en de impact ervan.”

Doordat kwantiteit een grote rol speelt in deze ranglijsten worden er wereldwijd steeds meer onderzoeken gepubliceerd. “Rond 2010 publiceerde onderzoekers 2 miljoen onderzoeken in de Scopus database. In 2022 waren dit er zo’n 3,3 miljoen – een forste toename dus. Daarbij neemt het aantal terugtrekkingen van artikelen ook toe. We moeten ons als universiteiten en als maatschappij echt afvragen of meer publicaties echt beter is.”

Teruggetrokken

Niet alleen Van der Kolk kijkt kritisch naar universiteitsranglijsten. Sorbonne University uit Frankrijk trok zich vorige maand terug uit de lijst. “Wij zullen stoppen met het delen van informatie die benodigd is om inbegrepen te worden in de ranking. De data die wordt gebruikt is niet transparant. De reproduceerbaarheid van de resultaten kan niet worden gegarandeerd”, deelt de universiteit op hun website.

Sorbonne University is niet de eerste universiteit die deze beslissing heeft gemaakt. De Universiteit van Utrecht heeft twee jaar geleden samen met de University of Zürich besloten om afstand te doen van de THE ranglijst en die zijn nu dus ook niet terug te zien op de ranking.

Competitie

“Een van mijn grootste problemen met ranglijsten van universiteiten is dat ze doen alsof universiteiten met elkaar in een soort competitie zijn. Dat schept rare verhoudingen en bedenkelijk gedrag, gericht op het verbeteren van de ranglijstpositie, maar niet op het verbeteren van onderwijs en onderzoek”, stelt Van der Kolk.

Hoe kunnen universiteiten de kwaliteit dan beter meten? Een kwaliteitsonderzoek, waarbij onderwijsevaluaties worden ingevuld door studenten en vervolgens in gesprek wordt gegaan met de opleidingscommissie is volgens Van der Kolk veel waardevoller. “Als we dat doen worden cijfers, over onderwijskwaliteit bijvoorbeeld, een startpunt van een gesprek en kunnen ze ons helpen om te verbeteren. Dat lijkt me een zinvoller gebruik van cijfers dan ons blindstaren op ranglijstjes met appels en peren.”