Panorama des administrations publiques 2023

Annexe A. Méthodologie employée pour les indices composites relatifs à la budgétisation verte, la budgétisation sensible au genre et les communications des institutions fiscales indépendantes

Contexte général

Les indices composites étroitement définis décrits ici représentent la meilleure façon de résumer des informations discrètes et qualitatives. Les indices composites sont beaucoup plus faciles à interpréter que la recherche d'une tendance commune dans de nombreux indicateurs distincts (Nardo et al., 2005[1]). Toutefois, leur élaboration et leur utilisation peuvent être controversées. Ces indices sont facilement et souvent mal interprétés par les utilisateurs en raison d'un manque de transparence sur la manière dont ils sont générés, ce qui rend difficile l'analyse de ce qu'ils mesurent réellement.

L'OCDE a pris plusieurs mesures pour éviter ou résoudre les problèmes courants associés aux indices composites. Les indices composites présentés dans cette publication ont été élaborés en suivant les étapes présentées dans le Manuel sur la construction d'indicateurs composites (OCDE/Union Europénne/EC-JCR, 2008[2]) qui sont nécessaires à la construction pertinente d’indices composites ou synthétiques.

Chaque indice composite se base sur un cadre théorique représentant un concept conventionnel dans le domaine qu'il couvre. Les variables composant les indices sont choisies en fonction de leur pertinence par rapport au concept. Chaque indice est construit en étroite collaboration avec les groupes d'experts de l'OCDE concernés, qui ont donné leur avis sur les variables et les systèmes de pondération à utiliser pour l'indice composite.

De nombreuses analyses statistiques ont été menées afin de garantir la validité et la fiabilité des indices composites. Les questions d’enquête utilisées pour créer les indices sont identiques dans l’ensemble des pays, afin de garantir la comparabilité des indices. Afin d'éliminer les effets d'échelle, tous les indicateurs et variables ont été normalisés entre « 0 » et « 1 » à des fins de comparabilité. Pour construire les composites, tous les indicateurs ont été agrégés à l'aide d'une méthode linéaire. Les scores de l'indice ont été déterminés en additionnant les scores pondérés de chaque indicateur. Des outils statistiques (alpha de Cronbach) ont également été employés pour établir le degré de corrélation entre un ensemble de variables composant chaque indice et pour vérifier leur fiabilité interne. Ainsi, toutes les variables composant chaque indice ont une valeur intrinsèque, mais elles sont également liées entre elles et capturent donc le même concept sous-jacent. Enfin, une analyse de sensibilité utilisant des simulations de Monte Carlo a été réalisée pour établir la solidité des scores de l'indice sous différentes options de pondération.

Indice de budgétisation verte de l’OCDE, 2022

La budgétisation verte renvoie à l'intégration des considérations climatiques et environnementales dans le processus budgétaire. Elle implique l'utilisation d'initiatives, de processus et d'outils analytiques spécifiques en vue de promouvoir des politiques et des investissements qui contribuent à la réalisation des objectifs et des engagements en matière de climat et d'environnement. L'indice 2022 de l’OCDE sur la budgétisation verte est conçu autour des quatre éléments constitutifs du cadre de budgétisation verte de l'OCDE : 1) les dispositions institutionnelles ; 2) les méthodes et outils ; 3) la redevabilité et la transparence ; et 4) l’environnement propice à la budgétisation (OCDE, 2020[3]). Chaque élément est pondéré de manière égale (25 %).

Les données utilisées pour la construction de l'indice 2022 de l'OCDE sur la budgétisation verte proviennent de l'enquête 2022 de l'OCDE sur la budgétisation verte. Les répondants à l'enquête étaient principalement des responsables budgétaires au sein des autorités budgétaires centrales des pays membres de l'OCDE. Les variables et pondérations qui composent l'indice ont été sélectionnées en fonction de leur pertinence par un groupe d'experts de l'OCDE, en consultation avec les délégués du Réseau collaboratif de l’OCDE sur la budgétisation verte. Bien que l'indice 2022 de l’OCDE sur la budgétisation verte permette une comparaison entre les pays, il n'est pas spécifique à un contexte donné et ne peut rendre compte des réalités complexes de la qualité, de l'utilisation et de l'impact des démarches de budgétisation verte. Cette comparaison ne vise donc pas à être considérée comme une mesure de la qualité ou un classement. Elle montre que les pays ont adopté des approches multi-initiatives de la budgétisation verte, déployant chacun des quatre éléments constitutifs (OCDE, à paraître[4]).

Variables et pondérations

Les composantes utilisées dans la construction de cet indice, et les pondérations attribuées à chacune d'entre elles, sont indiquées dans le graphique ci-dessous.

Graphique ‎A.1. Indice de budgétisation verte de l’OCDE, 2022 : variables et pondérations

Évolution dans le temps

L'indice 2022 de l’OCDE sur la budgétisation verte est le fruit d’une mise à jour de l'indice 2021 de l’OCDE sur la budgétisation verte, reflétant l'évolution des pratiques et de nouveaux éléments introduits à la demande de pays membres. Cette mise à jour vise à renforcer la composition des quatre éléments constitutifs de l’indice. Les nouveaux éléments incluent des évolutions récentes qui affectent la manière dont les considérations climatiques et environnementales sont intégrées dans les budgets des gouvernements. Il s'agit par exemple des stratégies d'émissions nettes zéro, des outils de budgétisation à moyen terme, des mécanismes de contrôle et de la coordination entre les différents niveaux de gouvernement. Les deux versions de l'indice ne sont donc pas comparables.

Bien que l'indice composite ait été développé en coopération avec les pays de l'OCDE et qu'il soit basé sur les meilleures pratiques et/ou théories, les variables et pondérations qui le composent pourront être affinées au fil du temps afin de s'assurer qu'elles continuent à capturer les pratiques et les éléments changeants qui sous-tendent un cadre exhaustif de budgétisation verte.

Analyses statistiques

Une analyse de sensibilité a été réalisée afin d'établir la solidité des indicateurs sous différentes options de pondération par le biais de simulations de Monte Carlo. Les résultats de l'analyse de sensibilité au niveau des éléments constitutifs de l'indice 2022 de l'OCDE sur la budgétisation verte montrent que, pour la plupart des pays analysés, les scores totaux ne sont pas très sensibles au choix des valeurs attribuées aux catégories. Le coefficient alpha de Cronbach est égal à 0.75, ce qui indique que les éléments constitutifs mesurent le même concept sous-jacent (OCDE, à paraître[4]).

Indice de budgétisation sensible au genre de l'OCDE, 2022

La budgétisation sensible au genre renvoie à l'intégration d'une perspective de genre claire dans le contexte général du processus budgétaire. Elle implique l'utilisation de processus et d'outils analytiques spécifiques en vue de promouvoir des politiques et des investissements qui contribuent à la réalisation des objectifs d'égalité des genres. Pour renforcer la mise en œuvre de la budgétisation sensible au genre, l'OCDE a récemment mis à jour son cadre sur la budgétisation sensible au genre, qui comprend désormais cinq éléments constitutifs : 1) les dispositions institutionnelles et stratégiques ; 2) l'environnement propice ; 3) les méthodes et les outils ; 4) la redevabilité et la transparence ; et 5) l'impact (Gatt Rapa et Nicol, 2023, à paraître[5]). L'indice 2022 de l'OCDE sur la budgétisation sensible au genre s'articule autour de ces cinq éléments. Chaque élément est pondéré de manière égale (20 %).

Les données utilisées pour la construction de l'indice 2022 de l'OCDE sur la budgétisation sensible au genre proviennent de l'enquête 2022 de l'OCDE sur la budgétisation sensible au genre. Les répondants à l'enquête étaient principalement des hauts fonctionnaires du budget au sein des autorités budgétaires centrales des pays de l'OCDE. Les variables et pondérations composant l'indice ont été sélectionnées en fonction de leur pertinence par un groupe d'experts de l'OCDE, en consultation avec les délégués du Comité des hauts responsables du budget (Senior Budget Officials - SBO) sur la budgétisation sensible au genre. Bien que l'indice 2022 de l'OCDE sur la budgétisation sensible au genre permette une comparaison entre les pays, il n’est pas spécifique au contexte et ne peut donc saisir pleinement les réalités complexes de la qualité, de l'utilisation et de l'impact des démarches en matière de budgétisation sensible au genre. Cette comparaison vise donc pas à être considérée comme une mesure de la qualité ou un classement. Elle montre que les pays ont adopté des approches multi-initiatives de la budgétisation sensible au genre en déployant chacun des cinq éléments constitutifs (Gatt Rapa et Nicol, 2023, à paraître[5]).

Variables et pondérations

Les composantes utilisées dans la construction de cet indice, et les pondérations attribuées à chacune d'entre elles, sont indiquées dans la figure ci-dessous.

Graphique ‎A.2. Indice de budgétisation sensible au genre de l’OCDE, 2022 : variables et pondérations

Évolution dans le temps

L'Indice 2022 de l’OCDE sur a budgétisation sensible au genre est le fruit d’une mise à jour de l'Indice 2018 de l'OCDE sur la budgétisation sensible au genre (OCDE, 2019[6]), reflétant l'évolution des pratiques et de nouveaux éléments à la demande de pays membres. Par exemple, deux nouveaux piliers ont été ajoutés à l'indice : 1) la redevabilité et la transparence ; et 2) l'impact. Les deux versions de l'indice ne sont donc pas comparables.

Bien que l'indice composite ait été développé en coopération avec les pays de l'OCDE et qu'il soit basé sur les meilleures pratiques et/ou théories, les variables et pondérations qui le composent pourront être affinées au fil du temps afin de s'assurer qu'elles continuent à capturer les pratiques et les éléments changeants qui sous-tendent un cadre exhaustif de budgétisation sensible au genre.

Analyses statistiques

Une analyse de sensibilité a été réalisée pour établir la solidité des indicateurs sous différentes options de pondération au moyen de simulations de Monte Carlo. Les résultats de l'analyse de sensibilité au niveau des éléments constitutifs de l'indice 2022 de l'OCDE sur la budgétisation sensible au genre montrent que, pour la majorité des pays analysés, les scores totaux ne sont pas très sensibles au choix des valeurs données aux catégories. Le coefficient alpha de Cronbach est égal à 0.84, ce qui indique que les éléments constitutifs mesurent le même concept sous-jacent (Gatt Rapa et Nicol, 2023, à paraître[5]).

Indice de communication des institutions budgétaires indépendantes (IBI) de l’OCDE, 2021

Les Principes de l’OCDE relatifs aux institutions budgétaires indépendantes (IBI) invitent les IBI à mettre en place des canaux de communication efficaces d’emblée, car ils sont essentiels pour obtenir les résultats escomptés (OCDE, 2014[7]). L'indice de l’OCDE 2021 sur la communication 2021 des IBI permet de mesurer les pratiques de communication des IBI de l'OCDE au niveau national. L'indice prend en compte les dispositions institutionnelles relatives à trois aspects distincts en matière de communication, chacun ayant des pondérations différentes : 1) la diffusion de la recherche (52%) ; 2) la promotion de la recherche (32%) ; et 3) le suivi de l'influence (16%).

Les données utilisées pour la construction de l'indice de l’OCDE 2021 sur la communication des IBI proviennent de la base de données des institutions budgétaires indépendantes de l'OCDE (OCDE, 2021[8]). Les données ont été collectées par le biais de recherches documentaires, puis vérifiées et validées par les Hauts responsables compétents du Groupe de travail des responsables budgétaires des parlements et des institutions budgétaires indépendantes. Les variables et pondérations composant l'indice ont été sélectionnées en fonction de leur pertinence par un groupe d'experts de l'OCDE, en consultation avec les délégués du Groupe de travail des responsables budgétaires des parlements et des institutions budgétaires indépendantes. Les pondérations reflètent l'importance relative accordée aux variables contribuant aux trois dimensions.

Variables et pondérations

Les composantes utilisées dans la construction de cet indice, ainsi que les pondérations attribuées à chacune d'entre elles, sont indiquées dans le graphique ci-dessous.

Graphique ‎A.3. Indice de Communication des institutions budgétaires indépendantes de l’OCDE, 2021 : variables et pondérations

Une explication détaillée des composantes de l'indice 2021 de l’OCDE sur la communication des IBI est disponible en ligne à l'adresse www.oecd.org/fr/gov/panorama-des-administrations-publiques-22214410.htm, y compris les variables, les options de réponse, les scores et les pondérations utilisés pour construire l'indice composite, ainsi que l'analyse statistique effectuée.

Analyses statistiques

Une analyse de sensibilité a été réalisée pour établir la solidité des scores de l'indice sous différentes options de pondération par le biais de simulations de Monte Carlo. Les résultats de l'analyse de sensibilité au niveau des variables pour l'Indice 2021 de l’OCDE sur la communication des IBI montrent que, dans la majorité des pays analysés, les scores totaux ne sont pas très sensibles au choix des valeurs données aux catégories. Le coefficient alpha de Cronbach est égal à 0.79, ce qui indique que les variables mesurent le même concept sous-jacent.

Références

[5] Gatt Rapa, K. et S. Nicol (2023, à paraître), OECD Framework for Gender Budgeting, Éditions OCDE, Paris.

[1] Nardo, M. et al. (2005), Tools for Composite Indicators Building, Commission européenne, https://publications.jrc.ec.europa.eu/repository/handle/JRC31473.

[8] OCDE (2021), Independent Fiscal Institutions Database (Version 2.0), OCDE, Paris, http://www.oecd.org/gov/budgeting/OECD-Independent-Fiscal-Institutions-Database.xlsx.

[3] OCDE (2020), OECD Green Budgeting Framework: Highlights, OCDE, Paris, https://www.oecd.org/environment/green-budgeting/OECD-Green-Budgeting-Framework-Highlights.pdf.

[6] OCDE (2019), Panorama des administrations publiques 2019, Éditions OCDE, Paris, https://doi.org/10.1787/8be847c0-fr.

[7] OCDE (2014), Recommandation du Conseil sur les Principes relatifs aux institutions budgétaires indépendantes, OCDE, Paris, https://www.oecd.org/gov/budgeting/OECD-Recommendation-on-Principles-for-Independent-Fiscal-Institutions.pdf.

[4] OCDE (à paraître), Green budgeting in OECD Countries - 2022 OECD Green Budgeting Survey Results, Éditions OCDE, Paris.

[2] OCDE/Union Europénne/EC-JCR (2008), Handbook on Constructing Composite Indicators: Methodology and User Guide, Éditions OCDE, Paris, https://doi.org/10.1787/9789264043466-en.