L'impact de la recherche est mesuré de différentes manières. Cependant, ces indicateurs reposent souvent sur des calculs douteux, dit Ludo Waltman.

Les décideurs essaient de diverses manières d'évaluer les performances des chercheurs et des instituts de recherche. À quelle fréquence un chercheur est-il cité par des collègues du domaine ? Quel est son impact, tel que mesuré dans l'indice h? Et quelle est la performance d'une université par rapport à d'autres institutions nationales et étrangères ?

Cependant, ces indicateurs et classements sont souvent basés sur des calculs douteux, dit Ludo Waltman dans sa leçon inaugurale. Ce professeur d'études scientifiques quantitatives soutient que les classements universitaires combinent des indicateurs incompatibles. "Ces classements mesurent en partie la taille des universités et en partie leurs performances relatives par rapport à leur taille. Ces perspectives sont ensuite jetées dans une pile. Ensuite, personne ne comprend vraiment ce que les classements nous disent exactement." D'autres classements jonglent également avec les chiffres.

Selon Waltman, le danger est que des indicateurs simplistes aient un effet négatif sur la politique de recherche, par exemple si les chercheurs ou les instituts de recherche sont évalués sur la base de ces indicateurs. Il croit qu'un niveau plus élevé d'alphabétisation quantitative est nécessaire pour provoquer le changement. Une meilleure compréhension des analyses quantitatives, ainsi que des conclusions tirées de ces analyses, ferait toute la différence.

Waltman pense que la recherche quantitative accorde trop de valeur à la signification statistique, « Ce qui signifie que les résultats de la recherche sont présentés de manière non naturelle, façon binaire, donc comme significatif ou non." En outre, dans ces calculs, La corrélation est souvent confondue avec la causalité. On pourrait gagner beaucoup d'une formation qui augmente les niveaux d'alphabétisation quantitative, dit Waltman. "L'utilisation de méthodes basées sur les données dans le contexte spécifique de l'élaboration de politiques ne semble pas recevoir l'attention systématique qu'elle mérite."

"Partout où, possible, la politique de recherche devrait utiliser les résultats de la science quantitative, " dit Waltman dans sa leçon inaugurale. " Mais il est irréaliste de penser que nous pouvons fournir des informations claires, des réponses quantitatives aux nombreuses questions qui se posent. Je pense que nous devrions nous éloigner de l'idée que nous pouvons répondre à ce genre de questions complexes par un simple oui ou non."