Panorama des administrations publiques 2023

Annexe B. Méthodologie employée pour les indicateurs de gouvernance des infrastructures

Les indicateurs de gouvernance des infrastructures de l'OCDE (IGI) visent à soutenir et à suivre la mise en œuvre de la Recommandation de l'OCDE sur la gouvernance des infrastructures (ci-après « la Recommandation »), adoptée par le Conseil de l'OCDE le 17 juillet 2020 (OCDE, 2020[1]). La Recommandation repose sur dix piliers qui dépeignent la façon dont les gouvernements planifient, hiérarchisent, financent, budgétisent, réalisent, opèrent et suivent les actifs d'infrastructure. Elle présente une approche mobilisant l’intégralité de l’administration, couvrant l'ensemble du cycle de vie des projets d'infrastructure et mettant particulièrement l'accent sur les perspectives régionales, sociales, de résilience, environnementales et de genre. Le caractère global des piliers de la Recommandation permet une analyse exhaustive des multiples dimensions de la gouvernance qui entrent en jeu dans la planification, la prise de décision et la réalisation des infrastructures. Ils constituent donc un cadre conceptuel solide pour l'élaboration des IGI. Les piliers représentent à la fois des catégories conceptuelles et des domaines de travail fonctionnels. Ainsi, les piliers ne sont pas isolés et interagissent les uns avec les autres afin de donner une vue d'ensemble de la gouvernance des infrastructures.

Les IGI servent d'outil de diagnostic pour aider les pays à évaluer leur stade de développement actuel et identifier les dimensions qui pourraient nécessiter une plus grande attention. En particulier, les IGI visent à atteindre les objectifs suivants :

• recenser l'état d'avancement des pays de l'OCDE en matière de gouvernance des infrastructures, en identifiant les forces et les faiblesses

• fournir des outils permettant aux pays d'auto-évaluer leurs performances dans chacun des piliers de la gouvernance des infrastructures mis en exergue dans la Recommandation

• fournir une vue d'ensemble et une compréhension plus approfondie des différents piliers qui composent le cadre de gouvernance des infrastructures

• permettre aux pays d’appréhender l'évolution de leurs performances en matière de gouvernance des infrastructures au fil du temps

• attirer l'attention sur la quantité de données disponibles et nécessaires pour mesurer la gouvernance des infrastructures, ainsi que sur les avantages de la constitution d'une base de données complète dans ce domaine

• contribuer au débat sur la relation entre la gouvernance des infrastructures et les résultats en matière d'infrastructures.

En plus d'une évaluation générale, les IGI servent également à mettre en évidence des domaines spécifiques au sein de chaque pilier qui bénéficieraient d’un développement plus poussé de la part de chaque pays. Les résultats à un niveau plus granulaire (c'est-à-dire la performance sur les sous-composantes de chaque dimension) permettent une évaluation plus approfondie.

Comme pour les autres indicateurs composites, la méthodologie utilisée pour construire les IGI est basée sur le Manuel sur la construction d'indicateurs composites (OCDE/Union européenne/EC-JRC, 2008[2]). Elle a également été partagée et fait l’objet de discussions avec des experts et des responsables du Réseau des hauts responsables d’infrastructures et de partenariats public-privé (SIP) ainsi que du Groupe de travail des experts des marchés publics (LPP).

Structure des IGI

Les IGI sont mesurés et présentés sous forme d'indicateurs composites, un pour chacun des piliers découlant de la recommandation, plus le pilier transversal sur les infrastructures durables et résilientes au changement climatique. Chaque pilier peut être désagrégé en groupements de variables, appelés sous-piliers. Ces sous-piliers reflètent les performances des pays à un niveau plus granulaire. Cette structure emboîtée, aide les pays à comprendre les forces motrices qui sous-tendent chacun des indicateurs composites.

Mise en œuvre des IGI par phase

La mise en œuvre des IGI s’effectuera en trois phases. Trois indicateurs composites ont été élaborés au cours de la première phase. Au cours de la deuxième phase, cinq indicateurs composites ont été élaborés, mesurant les piliers suivants : 1) participation transparente, systématique et efficace des parties prenantes ; 2) cadre réglementaire cohérent, prévisible et efficace ; 3) approche pangouvernementale de la gestion des menaces à l'intégrité ; 4) prise de décision fondée sur des données probantes ; et 5) infrastructure durable sur le plan environnemental et résiliente au changement climatique. Au cours de la troisième et dernière phase, les indicateurs composites pour les piliers restants seront élaborés (voir le graphique B.1). Les résultats de l'ensemble des indicateurs fourniront une analyse globale des performances des pays dans toutes les dimensions de la recommandation et dans le pilier transversal des infrastructures durables et résilientes. Cette édition du Panorama des administrations publiques présente et analyse les résultats issus de la deuxième phase pour quatre piliers (voir le graphique B.2). Les résultats de la première phase sont disponibles dans le Guide de l'OCDE sur les infrastructures (OCDE, s.d.[3]).

Graphique ‎B.1. Mise en œuvre de la collecte de données par phase

Collecte et validation des données

Les IGI ont été élaborés à partir de données collectées via les instruments d'enquête de l'OCDE, à savoir l'enquête sur la gouvernance des infrastructures et d'autres données pertinentes collectées auprès des communautés politiques de l'OCDE. L'enquête s’est appuyée sur les contributions des divisions/directions concernées de l'OCDE, en consultation avec le SIP et le LPP. Des invitations à participer à l'enquête ont été envoyées à tous les pays membres de l'OCDE, y compris aux délégués du SIP et aux principaux points de contact dans les délégations nationales. Les fonctionnaires du SIP ont coordonné les réponses de l'ensemble de leur gouvernement, qui, dans certains cas, provenaient de secteurs spécifiques (le secteur du transport étant le plus courant) ou d'autres ministères compétents. Les répondants étaient en majorité des hauts fonctionnaires des ministères centraux/fédéraux de l'infrastructure, des travaux publics et des finances, ainsi que des agences d'infrastructure et d'autres ministères sectoriels.

Le processus a comporté plusieurs étapes afin de garantir les normes les plus élevées en matière de qualité et d'exactitude des données. Avant le lancement de l'enquête, le questionnaire et le glossaire des termes clés ont fait l’objet de discussions avec les divisions/directions concernées de l'OCDE et ont été distribués aux délégués du SIP pour commentaires. Un processus de validation des données a été déployé afin de vérifier la cohérence interne et externe des réponses à l'enquête, en comparant les réponses en question aux réponses précédentes fournies dans des questionnaires connexes, et en vérifiant que les éléments de preuve étaient systématiquement fournis avant de valider les réponses.

Sélection des variables et recodification

Les sous-piliers ont été construits à partir d'un ensemble de variables visant à mesurer l'adoption et la pertinence des pratiques de gouvernance conformément à la recommandation. Les variables ont été sélectionnées afin de mesurer la performance des pays en matière de gouvernance des infrastructures en termes d'intrants et de processus (par exemple, instruments de politiques publiques, normes d'interaction, méthodologies de prise de décision et stratégies de suivi). Les indicateurs composites proposés n ne comprenaient pas de variables liées aux produits ou aux résultats (par exemple, les niveaux d'investissement, la qualité des services d'infrastructure, ou les montants du stock de capital et la réalisation des objectifs politiques). Il est important de noter que la sélection des variables et la recodification, et donc la structure des indicateurs composites, pourraient être modifiées à l’avenir afin de tenir compte de l’évolution des contextes institutionnels, politiques et économiques des pays membres de l'OCDE. Une vue d'ensemble des sous-piliers associés à chacun des quatre piliers présentés dans cette édition de Panorama des administrations publiques est présentée ci-dessous dans le graphique B.2.

L'enquête de l'OCDE sur la gouvernance des infrastructures a été conçue pour recueillir des données qualitatives. Par conséquent, les réponses aux questions de l'enquête ont été recodées en utilisant des valeurs numériques entre 0 et 1, où 1 est la valeur maximale et indique un alignement complet sur les meilleures pratiques soulignées dans la Recommandation, et 0 est la valeur minimale indiquant l'absence de telles pratiques dans le pays.

En ce qui concerne les questions sectorielles, l'enquête a porté sur cinq secteurs : les transports, l'énergie, les affaires sociales, l'eau et les bâtiments administratifs. Toutefois, des informations complètes n'étaient disponibles que pour le secteur des transports. Afin de garantir la comparabilité des réponses à l’échelle internationale, les indicateurs composites ont été élaborés en tenant compte uniquement du secteur des transports.

Dans le cadre du pilier sur le cadre réglementaire, le sous-pilier sur la gouvernance des régulateurs économiques agrège deux variables, l'indépendance et la redevabilité des régulateurs économiques. Ces variables ont été élaborées à partir des indicateurs 2018 sur la gouvernance des régulateurs sectoriels. Ces indicateurs rendent compte des modalités de gouvernance des régulateurs économiques dans les secteurs de l’énergie, des communications électroniques, du transport ferroviaire, du transport aérien et de l’eau, et s’articulent autour de trois piliers : l’indépendance, la redevabilité et le champ d’action. Pour construire les deux variables, une simple moyenne des indicateurs sectoriels équivalents pour lesquels des données étaient disponibles a été calculée. Les indicateurs sur la gouvernance des régulateurs sectoriels prenant les valeurs 0-6, 0 indiquant les dispositions de gouvernance les plus efficaces. Pour construire les variables d'indépendance et de redevabilité des régulateurs économiques du sous-pilier de la gouvernance des régulateurs économiques ils ont donc été codés à l'envers.

L'une des questions de l'enquête dans le cadre du pilier sur les infrastructures durables et résilientes au changement climatique a utilisé les données des indicateurs de politique et de gouvernance réglementaire de l'OCDE 2021 (iREG). Les iREG présentent des données actualisées sur les pratiques actuelles en matière de politique et de gouvernance réglementaire, en mesurant trois principes clés : l’association des parties prenantes, l'analyse d'impact de la réglementation (AIR) et l'évaluation ex post. Ils sont basés sur les réponses à l'enquête sur les indicateurs réglementaires 2021 fournies par les organismes gouvernementaux responsables de la réforme réglementaire.

Pour simplifier le traitement des données, dans le cadre du pilier « approche pangouvernementale de la gestion des menaces à l’intégrité », l’enquête de collecte des données comprend des sections distinctes sur l’évaluation fondée sur les risques (dans le cadre du sous-pilier « approche fondée sur les risques ») et sur le contrôle interne (dans le cadre du sous-pilier « contrôle interne et audit »), bien que le contrôle interne (c'est-à-dire les mesures visant à atténuer les risques identifiés) fasse partie du processus de gestion des risques.1

Graphique ‎B.2. Indicateurs de gouvernance des infrastructures : piliers, sous-piliers et leurs pondérations correspondantes utilisés dans cette publication

Données manquantes

En raison de la nature transversale du concept de gouvernance des infrastructures, les enquêtes de l'OCDE sur la gouvernance des infrastructures mobilisent des répondants de différentes institutions afin de fournir des informations sur les cadres et les pratiques de gouvernance des infrastructures dans un pays. L’indicateur composite pour chaque pilier n’a pas été calculé pour les pays ayant déclaré ne pas disposer des informations nécessaires pour répondre à au moins deux questions ’’’’par sous-piliers. Par conséquent, ces pays n'ont pas été inclus dans la valeur moyenne de l'indicateur de l'OCDE pour ce pilier. Les données utilisées pour construire les indicateurs composites étant qualitatives, l'imputation des données n'a pas été utilisée pour traiter les données manquantes. Toutefois, il convient de noter que lorsque les réponses des pays n'étaient basées que sur des pratiques applicables dans un ou plusieurs secteurs, celles-ci ont été retenues et des mises en garde importantes ont été formulées à leur sujet.

Pondération et agrégation

Dans le cadre de l’élaboration des indicateurs composites, tous les sous-piliers de chaque pilier ont obtenu un facteur de pondération égal. Toutefois, les variables d'un sous-pilier ont été pondérées différemment selon les critères suivants : 1) le nombre de variables qui composent chaque sous-pilier, car plus le nombre de variables d’un sous-pilier est élevé, plus le poids de chaque variable est faible ; et 2) de la pertinence de chaque variable, un poids plus important étant accordé aux variables les plus pertinentes pour mesurer un sous-pilier spécifique. La somme des poids attribués aux variables de chaque sous-pilier est égale à 1. Les scores pondérés de toutes les variables sont additionnés pour obtenir un score de sous-pilier compris entre 0 et 1.

La méthode d’agrégation linéaire a été utilisée pour agréger d’abord les variables dans un sous-pilier (c’est-à-dire la moyenne arithmétique pondérée), puis les sous-piliers dans un indicateur composite (c’est-à-dire la moyenne arithmétique). Des experts et des fonctionnaires du SIP et du LPP ont été consultés sur l’attribution des pondérations et le type d’agrégation avant que l’ensemble final ne soit validé.

Analyse multivariée

L'analyse multivariée a été utilisée pour étudier la composition e globale des données collectées. L'analyse a permis d'orienter les choix méthodologiques en matière de regroupement et d'agrégation des variables. Les techniques utilisées dans l'analyse multivariée sont détaillées ci-dessous.

Analyse factorielle

L'analyse factorielle a été utilisée pour vérifier la structure des données le long de la dimension variable, pour aider à identifier les groupes de variables étant statistiquement similaires et qui pourraient être regroupés sous un sous-pilier lorsque ce regroupement est pertinent d'un point de vue conceptuel. L'analyse a été effectuée séparément pour chaque pilier. L'analyse factorielle en composantes principales a été utilisée pour extraire les composantes principales et les considérer comme des facteurs (groupes de variables). Les groupes de variables proposés par l'analyse factorielle ont été interprétés de concert avec le cadre conceptuel qui sous-tend l'exercice des indicateurs composites.

Les résultats ont été soigneusement examinés afin de rechercher tout ensemble de variables mesurant la même dimension et pouvant être regroupées afin d'éviter un double comptage. Les résultats ont permis d’identifier plusieurs cas où les facteurs correspondaient bien aux regroupements conceptuels (sous-piliers). Dans le cas de variables présentant des niveaux élevés de covariance mais appartenant à des regroupements conceptuels initiaux différents, les résultats ont fait l’objet de discussions avec des experts afin de déterminer si les variables devaient être regroupées. À la suite de cette consultation d'experts, certains sous-piliers du pilier sur les infrastructures durables et résilientes au changement climatique ont été réajustés. Dans ces cas, les variables initialement placées dans des sous-piliers différents, mais dont il s'est avéré qu'elles mesuraient des concepts similaires ou très proches, ont été regroupées dans le sous-pilier le plus pertinent.

Coefficient alpha de Cronbach

Le coefficient alpha de Cronbach (c-alpha) a été utilisé pour mesurer la cohérence interne et la fiabilité de l'échelle. Ce coefficient indique dans quelle mesure les variables sont liées entre elles en tant que groupe et dans quelle mesure elles mesurent le même concept sous-jacent. Un c-alpha de 0,7 est généralement recommandé comme seuil de fiabilité acceptable (Lafortune et Ubaldi, 2018[4]) Le test c-alpha a été utilisé pour mesurer la cohérence interne de chaque pilier. Les coefficients pour tous les piliers, à l'exception du pilier sur le cadre réglementaire, étaient supérieurs au seuil de 0,7. Le coefficient du pilier sur le cadre réglementaire était juste en dessous du seuil, à 0,69. Cela peut s'expliquer par un ensemble de raisons. Par exemple, deux des variables de ce pilier ont été construites à l'aide des indicateurs 2018 de l'OCDE sur la gouvernance des régulateurs sectoriels, qui comprennent eux-mêmes des indicateurs composites agrégeant différentes dimensions sous-jacentes. En revanche, les autres variables de ce pilier mesurent des dimensions spécifiques.

Analyse de sensibilité

Pour évaluer la solidité des indicateurs composites, des simulations de Monte Carlo ont été utilisées pour étudier comment l'incertitude des systèmes de pondération affecte les valeurs des indicateurs composites. Cette technique utilise 1 000 ensembles de poids simulés générés de manière aléatoire pour calculer les scores possibles des indicateurs composites pour chaque pays en fonction de différents systèmes de pondération.

Mesure de l'équilibre dans les scores des sous-piliers

La bonne gouvernance des infrastructures nécessite des améliorations dans de multiples domaines. Idéalement, les pays devraient progresser dans tous les sous-piliers, et les faibles scores dans certains ne devraient pas être compensés par des scores élevés dans d'autres (c'est-à-dire que les sous-piliers d'un pays ne devraient pas présenter de larges écarts de valeurs). Pour chaque pilier, une échelle d'évaluation basée sur le coefficient de variation sera utilisée pour classer les profils nationaux d'équilibrés (faible variabilité des scores des sous-piliers d'un pays dans le cadre d'un pilier) à déséquilibrés (forte variabilité des scores des sous-piliers d'un pays dans le cadre d'un pilier). Pour chaque pilier, cette analyse montrera à quel point les profils des pays sont équilibrés en ce qui concerne les scores des sous-piliers et aidera à identifier les pays dont les valeurs des indicateurs sont relativement élevées mais dont les scores des sous-piliers présentent de nombreuses variations. L'analyse pour chaque pays sera présentée dans la le Guide de l'OCDE sur les infrastructures (OCDE, s.d.[3]).

Références

[4] Lafortune, G. et B. Ubaldi (2018), « OECD 2017 OURdata Index: Methodology and results », Documents de travail de l’OCDE sur la gouvernance publique, n° 30, Éditions OCDE, Paris, https://doi.org/10.1787/2807d3c8-en.

[1] OCDE (2020), « Recommandation du Conseil sur la gouvernance des infrastructures », Instruments juridiques de l’OCDE, OCDE, Paris, https://legalinstruments.oecd.org/fr/instruments/OECD-LEGAL-0460.

[3] OCDE (s.d.), Infrastructure Toolkit, OCDE, Paris, https://infrastructure-toolkit.oecd.org/ (consulté le 15 janvier 2023).

[5] OCDE (à paraître), Risk Management in Public Procurement: Good Practices and Guidelines.

[2] OCDE/Union européenne/EC-JRC (2008), Handbook on Constructing Composite Indicators: Methodology and User Guide, Éditions OCDE, Paris, https://doi.org/10.1787/9789264043466-en.

Note

← 1.  Pour plus d'informations sur la gestion des risques et son application, par exemple, au stade de la passation des marchés publics, se référer à (OCDE, à paraître[5]).