« Les deux dernières décennies ont vu se développer considérablement la diffusion des outils de classification et de mesure de la performance urbaine (classements, index, etc.) dans les institutions publiques et privées qui les utilisent, en réponse à différents types de pressions favorisant l'uniformité. Naturellement, tous ces outils sont utiles pour orienter et évaluer les politiques mises en œuvre par les collectivités locales dans divers domaines d'action, et sont particulièrement prolifiques dans le domaine de la durabilité. Pourtant, la méconnaissance du socle méthodologique réel qui les sous-tend et qui est censé légitimer leur utilisation, " a expliqué Lucía Sáez-Vegas, doctorat titulaire au Département d'économie financière de l'UPV/EHU II.

« Dans le but d'analyser et d'évaluer la qualité et les bonnes pratiques en matière de mesure et de surveillance urbaine, et tout en accordant une attention particulière aux aspects méthodologiques, nous avons pris des centaines d'outils de mesure et sélectionné un ensemble de 21 classements similaires, des indices et outils destinés à hiérarchiser et suivre la durabilité urbaine (entendue au sens très large) afin de pouvoir les approfondir et ainsi adapter et appliquer une méthodologie d'analyse éprouvée dans un autre domaine, celui des classements universitaires, " a ajouté le Dr Sáez.

L'importance des aspects méthodologiques

Dans chacun des classements similaires, index et outils analysés, les chercheurs ont exploré les quatre grands principes suivants :objectif et groupe cible vers lequel ils s'adressent; méthodologie et pondération utilisées dans leur conception; la transparence liée à la collecte de données et au traitement de l'information ; et enfin, la présentation des résultats. Comme l'a expliqué le Dr Saéz, "de ces quatre aspects, l'information sur le premier et le dernier est la plus accessible, en d'autres termes, les informations descriptives. Cela est précisé par toutes les classifications analysées; or cela n'arrive pas lorsqu'il s'agit d'accéder à toutes les informations sur les aspects méthodologiques, collecte de données et traitement de l'information; il en résulte ce qu'on appelle la boîte noire, un artefact dont les résultats sont étudiés et diffusés sans que son fonctionnement interne ne soit remis en cause."

C'est ainsi que les chercheurs ont confirmé diverses faiblesses méthodologiques dans tous les classements analysés. Le chercheur insiste sur le fait que « les outils de ce type ont tendance à négliger les causalités complexes et manquent de transparence en ce qui concerne la collecte de données, processus de pondération et d'agrégation dans leur conception - ils ont tendance à être biaisés et, par conséquent, ont tendance à ignorer les villes mal classées et à renforcer les stéréotypes existants."

« La possibilité de classer et de comparer des villes de différentes dimensions peut aider à repérer celles qui semblent les plus performantes dans divers aspects urbains. C'est pourquoi ces outils sont parfois utilisés par les gestionnaires urbains et les décideurs publics pour élaborer un plan d'action, même s'il faut avoir une idée claire de la manière dont le classement ou l'indice a été établi, et soyez prudent lorsque vous l'utilisez, surtout si l'information est insuffisante sur les aspects méthodologiques et la robustesse de ses résultats. Nous comprenons que ces outils doivent être davantage utilisés comme source d'information et même d'inspiration, et moins comme feuille de route pour l'action, " elle a ajouté.

« Ces classements suscitent l'intérêt du grand public car ils mesurent des concepts de nature complexe qui sont présentés au moyen d'un classement, généralement de type numérique, qui se comprend très facilement. De notre point de vue académique, le fait que les résultats soient présentés sous la forme d'un classement final avec mention des principaux constats, mais avec peu ou pas de considération pour les aspects méthodologiques qui, à la fin de la journée, sont ceux qui sous-tendent le score ou le classement, signifie une faiblesse évidente de ces outils lorsqu'ils sont utilisés pour mesurer et suivre la performance urbaine, " dit Saez.