Selon les derniers résultats de la recherche, la présence de simples tirets dans les titres des articles académiques affecte négativement les statistiques de citations, quelle que soit la qualité des articles. Le phénomène s'applique à tous les grands domaines. Ainsi, le nombre de citations et les facteurs d'impact des revues, couramment utilisé pour les évaluations professorales dans les universités du monde entier, ne sont pas fiables.

Cette découverte révolutionnaire pose un défi fondamental à la règle du jeu dans la détermination des contributions des articles, revues, et professeurs. Il est dévoilé dans un article intitulé "Metamorphic Robustness Testing:Exposing Hidden Defects in Citation Statistics and Journal Impact Factors, " par Zhi Quan Zhou, E. Tsé, et Matt Witheridge, récemment publié dans Transactions IEEE sur le génie logiciel , le meilleur journal dans le domaine.

E. Tse est professeur honoraire d'informatique à l'Université de Hong Kong (HKU). Zhi Quan Zhou a obtenu un doctorat. de HKU et est actuellement professeur agrégé en génie logiciel à l'Université de Wollongong, Australie. Matt Witheridge est titulaire d'un doctorat. étudiant à l'Université de Wollongong.

Scopus et Web of Science sont les deux principaux systèmes d'indexation des citations. Scopus fournit les statistiques de citations pour soutenir le classement mondial des universités du Times Higher Education et le classement mondial des universités QS. Web of Science fournit le facteur d'impact des revues qui prend en charge le classement des principales revues. En raison de l'importance de ces deux systèmes d'indexation, il est essentiel d'assurer leur qualité. En particulier, Les tests de robustesse font référence à la vérification de la capacité des systèmes à faire face à des entrées erronées ou à des situations inattendues. Par exemple, le système d'indexation peut-il gérer correctement une citation s'il y a une faute de frappe mineure lors de la citation du titre de l'article ?

Le professeur Tse et les membres de l'équipe ont proposé une méthode innovante appelée "test de robustesse métamorphique" pour vérifier Scopus et Web of Science. L'étude approfondie a révélé des défauts de robustesse dans les deux systèmes qui pourraient produire des nombres de citations erronés pour les articles avec des tirets dans les titres, de sorte que les facteurs d'impact des revues calculés par la suite sont problématiques.

De retour en 2015, Letchford et ses collègues ont mené une étude à grande échelle sur Scopus, et a constaté que les articles avec des titres plus courts avaient tendance à être cités plus que ceux avec des titres plus longs.

Au contraire, Le professeur Tse et l'équipe actuelle constatent que c'est en fait le nombre de traits d'union dans le titre qui est le facteur le plus dominant pour le nombre de citations. D'habitude, le nombre de tirets est corrélé à la longueur du titre d'un article, donnant ainsi l'interprétation erronée que le nombre de citations dépend de la longueur du titre.

Les pratiques de citation varient selon les domaines. Les publications dans certains domaines peuvent avoir un nombre de citations systématiquement plus élevé que dans d'autres domaines. Par exemple, on peut soutenir que les articles en chimie (où les titres des articles portent souvent des tirets dans le cadre de la nomenclature chimique) ne reçoivent qu'un nombre relativement limité de citations, donnant lieu à une fausse corrélation négative entre les traits d'union et les citations. D'où, l'équipe a mené des études ciblées sur des revues dans des domaines spécifiques. Les résultats ont indiqué que les traits d'union affectent négativement le nombre de citations des articles, même si l'étude est limitée à une discipline particulière.

Pour tirer parti des conclusions au niveau de l'article et de la discipline, l'équipe a étudié l'impact des traits d'union dans les titres d'articles au niveau des revues. Le facteur d'impact des revues (JIF) est une mesure courante pour déterminer la fréquence de citation d'une revue universitaire. Il est fréquemment utilisé pour représenter l'importance relative d'une revue dans son domaine. Une étude sur l'ensemble du domaine du génie logiciel révèle que les revues les mieux classées par JIF publient un pourcentage plus faible d'articles avec des titres coupés.

L'équipe a en outre mené une analyse de la validité de la recherche pour éviter de tomber dans le piège consistant à assimiler la corrélation à la causalité.

"Nos résultats remettent en question la croyance commune du monde universitaire, Gouvernements, et les organismes de financement que le nombre de citations est une mesure fiable des contributions et de l'importance des articles. En réalité, ils peuvent être faussés par la simple présence de tirets dans les titres d'articles, qui n'a aucune incidence sur la qualité de la recherche. De la même manière, nos résultats remettent également en question la validité des facteurs d'impact des revues, " dit le professeur Tsé.

"Ces résultats surprenants intéressent non seulement les professeurs en quête de titularisation ou de promotion, mais aussi aux cadres supérieurs tels que les présidents, doyens, et têtes. Ils sont applicables à toutes les facultés de n'importe quelle université, " il ajouta.