Ce chapitre décrit plus précisément chacun des six critères. Il étudie ce que leur définition signifie en pratique, présente différents éléments d'analyse et explique comment chaque critère peut être appliqué d'une manière qui tienne décisivement compte des dimensions relatives à l'inclusion et à l'égalité. Pour chacun des critères, un tableau décrit les principales difficultés que pose leur application et formule des recommandations concrètes sur la façon dont les évaluateurs et les responsables d’évaluation peuvent surmonter ces difficultés. Le chapitre est ponctué de divers exemples qui montrent comment les critères ont été appliqués dans la pratique et favorisent la réflexion critique sur les dimensions de chaque définition.
Une application réfléchie des critères d’évaluation
4. Comprendre les six critères : définitions, éléments d'analyse et principaux défis
Abstract
Ce chapitre présente les six critères (Graphique 4.1) dans l'ordre dans lequel il est le plus logique de les examiner : la pertinence et la cohérence d'abord, puis l’efficacité et l’efficience, et enfin l'impact et la viabilité/durabilité. Il définit chaque critère et en décrit l'importance. Il explique ensuite plus précisément chaque définition en examinant leurs différents éléments d'analyse, c’est-à-dire les principales notions qui les sous-tendent. Il ne s'agit pas de sous-critères, mais d’une illustration des diverses manières dont un critère peut être appliqué en fonction du contexte et de l’objectif visé. Les liens avec les autres critères sont également examinés.
Le chapitre contient aussi un début de réflexion sur des aspects essentiels liés à l'inclusion et au principe de « ne laisser personne de côté », consacré par le Programme de développement durable à l'horizon 2030. D'autres travaux sont en cours pour étudier les moyens d'appliquer un prisme sexospécifique aux critères et aux approches d’évaluation, notamment l’élaboration d’orientations spécifiques sur l'égalité femme-homme, l'autonomisation des femmes et les droits humains.
Pour chaque critère, un tableau décrit les difficultés couramment rencontrées et propose des solutions pour aider les évaluateurs et les responsables d’évaluation à les surmonter. Ces tableaux seront actualisés au fil du temps, à mesure que seront partagées les expériences acquises dans l'application des nouvelles définitions.
Enfin, le chapitre fournit des exemples réels qui montrent comment chaque critère peut être interprété.
Graphique 4.1. Les six critères et leurs questions associées
Pertinence
Définition de la pertinence :
Pertinence : l'intervention répond-elle au problème ?
Mesure dans laquelle les objectifs et la conception de l’intervention correspondent aux besoins, aux politiques et aux priorités des bénéficiaires1, du pays, de la communauté internationale et des partenaires/institutions et demeurent pertinents même si le contexte évolue.
Remarque : l’expression « correspondent aux » signifie que les objectifs et la conception de l’intervention tiennent compte des conditions – économiques, environnementales, d’équité, sociales, liées à l’économie politique et aux capacités – dans lesquelles l’intervention est menée. Le terme « partenaires/institutions » englobe les administrations (nationales, régionales, locales), les organisations de la société civile, les entités privées et les organismes internationaux participant au financement, à la mise en œuvre et/ou à la supervision de l’intervention. L’évaluation de la pertinence consiste à examiner les différences et les arbitrages entre des priorités ou des besoins différents. Elle exige également d’analyser toute évolution du contexte pour pouvoir déterminer dans quelle mesure l’intervention peut être (ou a été) adaptée afin de conserver sa pertinence.
Qu’est-ce que la pertinence et pourquoi est-elle importante ?
L’évaluation de la pertinence aide les utilisateurs à comprendre si une intervention répond réellement au problème identifié. Elle permet aux évaluateurs de déterminer si les objectifs et la mise en œuvre d'une intervention correspondent vraiment aux besoins des bénéficiaires et des parties prenantes, de même qu'aux priorités sous-tendant l’intervention. Elle permet d’établir si les parties prenantes ciblées perçoivent l’intervention comme utile et importante.
La pertinence est une considération qui revêt un intérêt tout au long du programme ou du cycle de l’action publique, depuis la conception jusqu’à la mise en œuvre. Elle peut également être examinée sous l'angle d’objectifs mondiaux tels que les Objectifs de développement durable (ODD). Elle peut être appréhendée à travers quatre éléments d'analyse potentiels : la pertinence au regard des besoins des bénéficiaires et des parties prenantes, la pertinence au regard du contexte, la pertinence de la qualité et de la conception et la pertinence au fil du temps. Ces éléments sont examinés plus en détail dans la partie qui leur est consacrée. Ils devraient être intégrés à l'analyse en fonction de l’objectif de l’évaluation, mais ne sont pas exhaustifs.
Pour évaluer la pertinence, il faut commencer par déterminer si les objectifs de l'intervention ont été correctement définis, s’ils sont réalistes et réalisables, et si les résultats sont vérifiables et en phase avec les normes internationales applicables aux interventions de développement – une démarche qui devrait être compatible avec la notion d'évaluabilité décrite dans les Normes de qualité pour l’évaluation du développement de l’OCDE (OCDE, 2010[1]). Les résultats ou l'énoncé des objectifs peuvent être formulés de manière inintelligible ou trop vague, être difficiles à mesurer ou être axés sur les activités ou les intrants. Dans certains cas, il est nécessaire de redéfinir ou de reconstruire la théorie du changement pour que l'évaluateur identifie clairement ces objectifs. Les évaluateurs devraient veiller à effectuer leur évaluation au regard d'objectifs réalistes et de bonne qualité. Par ailleurs, les indicateurs utilisés pour mesurer la réalisation des objectifs devraient être validés sur la base de critères généralement admis comme les indicateurs SMART (spécifique, mesurable, atteignable, réaliste et défini dans le temps) (IDD and Associates, 2006[2]). Les évaluations qui prennent en compte le critère de la pertinence devraient s'attacher à déterminer si les objectifs ont été mis en œuvre d’une manière conforme aux bonnes pratiques, et comment. Elles devraient aussi analyser les capacités organisationnelles et les compétences des partenaires d'exécution, ainsi que la manière dont ils se sont adaptés aux éventuelles évolutions du contexte.
Les évaluateurs devraient également identifier clairement les parties prenantes dont les besoins et les priorités devraient être pris en compte pour l'évaluation de la pertinence – les bénéficiaires, mais aussi les partenaires et les institutions qui participent au financement, à la supervision ou à la mise en œuvre de l’intervention. Il faudrait accorder une importance particulière aux bénéficiaires. En effet, l'appropriation d'une intervention est importante, et les bénéficiaires sont considérés comme les principales parties prenantes dans la définition des priorités et des besoins. En fonction de l’intervention, il peut aussi être justifié de tenir compte des besoins nationaux et infranationaux (le cas échéant), des stratégies locales mises en œuvre pour répondre aux besoins et du degré de concordance entre l'intervention et ces besoins. Les besoins institutionnels peuvent englober les besoins des donneurs, mais ne s'y limitent pas. En conséquence, il est possible d'évaluer la pertinence dans divers contextes, y compris lorsqu'il n'existe pas de donneur proprement dit, mais un ensemble de partenaires d'intervention (par ex. dans le cas d'une politique commerciale).
Comprendre la pertinence : éléments d'analyse
La définition de la pertinence recouvre quatre grandes dimensions : la prise en compte des besoins, des politiques et des priorités ; la sensibilité et l’adaptation au contexte ; la qualité de la conception ; et la capacité d'adaptation au fil du temps.
Prise en compte des besoins, des politiques et des priorités
Pour analyser la pertinence d'une intervention, l'élément le plus important, peut-être, consiste à déterminer dans quelle mesure elle répond aux besoins et aux priorités des bénéficiaires. Une telle analyse permet de comprendre à quelles problématiques l'intervention vise à répondre, et pourquoi. Les bénéficiaires sont des parties prenantes essentielles et devraient être pris en compte tout au long de l'intervention. Il ne s'agit pas nécessairement des destinataires directs des services. Selon le type d'intervention, ils peuvent se situer (beaucoup) plus en amont dans la chaîne de résultats. Ainsi, une intervention peut avoir pour but d'accroître les capacités d’un bureau national d'audit. Ce renforcement des capacités améliorera la gestion des finances publiques et, partant, contribuera à la réalisation d’ODD, par exemple dans le domaine de la santé et de l’éducation. Toutefois, dans le cadre de l’évaluation de ce soutien au renforcement des capacités, ce sont les membres du personnel du bureau d'audit qui seront considérés comme les principaux bénéficiaires. Désigner clairement les bénéficiaires (principaux et secondaires) est une première étape indispensable de l'évaluation de la pertinence.
Analyser les besoins des bénéficiaires et examiner s'ils sont pris en compte renseigne non seulement sur l'aptitude à répondre à ces besoins, mais aussi sur le niveau d'appropriation et de participation concernant la conception et la mise en œuvre de l'intervention (ce qui peut influer sur d'autres critères). Cela permet de comprendre qui est associé à la conception d'une intervention et qui en est exclu, et, partant, quelle incidence cette situation a sur la conception et la mise en œuvre de l’intervention.
Le critère de pertinence suppose de se concentrer sur les domaines où les besoins sont les plus grands ou, pour reprendre les termes du Programme 2030, sur l'objectif d'aider en premier lieu les plus défavorisés. De fait, il est particulièrement utile pour comprendre qui participe à une intervention et qui est touché par une intervention. Il offre aux évaluateurs la possibilité d’examiner si et à quel point les publics marginalisés sont pris en compte dans les priorités stratégiques et dans celles de l’intervention. Même une intervention parfaitement en phase avec la politique en vigueur peut être en décalage avec les priorités concrètes des participants, qui peuvent ne pas avoir été associés à la définition des priorités et plans officiels.
Pour évaluer la pertinence, il faut aussi tenir compte de la manière dont l’intervention répond aux priorités des institutions ou partenaires engagés – administrations (nationales, régionales, locales), organisations de la société civile, entités privées et organismes internationaux participant au financement, à la mise en œuvre et/ou à la supervision de l’intervention. Il s'agit d'examiner le degré d'alignement sur les stratégies et les politiques de ces institutions.
Pour évaluer la pertinence d'une intervention par rapport aux politiques, aux priorités et aux besoins mondiaux, il convient d'examiner sa contribution à la réalisation d’objectifs généraux de portée mondiale (c’est-à-dire l'importance relative de l'intervention par rapport à l’ensemble des efforts déployés), ce qui suppose souvent, pour les évaluateurs, de comparer les résultats (potentiels) obtenus dans le contexte/pays donné à d'autres résultats obtenus ailleurs. Ces questions relatives à la pertinence d'un point de vue mondial ne sont pas toujours examinées au stade de la conception de l’intervention. C’est pourquoi les évaluateurs peuvent apporter des analyses utiles en la matière, qui peuvent aider les parties prenantes à appréhender l'importance stratégique d'une intervention au-delà de son contexte local.
La définition de la pertinence exige aussi des évaluateurs qu'ils examinent les éventuelles tensions ou arbitrages entre les différents publics dont les priorités et les besoins sont visés par l’intervention. Les points de vue des participants et d'autres parties prenantes peuvent diverger et l'évaluation devra donc mettre à plat ces différences et examiner les conséquences des choix effectués. À titre d’exemple, l'évaluation d'une intervention ayant pour but d'éliminer une maladie – par exemple la poliomyélite – de la surface du globe examinera la charge de morbidité relative sous l'angle mondial pour déterminer dans quel pays ou région il est prioritaire d'agir. Dans certains cas, cette priorité mondiale (par exemple, vacciner contre la poliomyélite dans la dernière région où la maladie circule au sein de la population) peut être en contradiction avec les priorités locales (les bénéficiaires accordant, par exemple, la priorité aux problèmes d'approvisionnement en eau et d'assainissement). Il peut être utile pour les évaluateurs de mettre au jour ces tensions à travers une analyse rigoureuse de la pertinence.
Sensibilité et adaptation au contexte
Les besoins des bénéficiaires et d'autres parties prenantes importantes ne peuvent pas être appréhendés en dehors du contexte dans lequel ils s'inscrivent et par lequel ils sont déterminés. Ce contexte est multidimensionnel et fonction des facteurs suivants : économique, environnemental, lié à l'équité, social, culturel, lié à l'économie politique et considérations relatives aux capacités. Les évaluateurs sont encouragés à déterminer quels facteurs contextuels sont les plus pertinents pour une intervention donnée.
La pertinence du contexte peut être analysée aussi bien au niveau de la conception que de la mise en œuvre de l'intervention. La prise en compte du contexte diffère également selon que l’évaluation se fait ex ante ou ex post. Les évaluateurs peuvent par exemple se poser des questions au sujet de la manière dont le contexte a été compris et pris en compte au stade de la conception. S'agissant des évaluations ex post, les évaluateurs devraient se poser la question de savoir si le contexte a changé entre le début et la fin de l’intervention. Les évaluations ex post disposent de davantage d'éléments contextuels sur lesquels se fonder et devraient en tenir compte dans leur analyse. La dimension contextuelle est complémentaire de la dimension temporelle dans l'analyse de la pertinence d'une intervention, puisqu'elle prend en compte les éventuelles variations de la pertinence à mesure que la situation évolue.
Le contexte historique peut également être pris en considération. Il s'agit par exemple de se demander si des interventions similaires ont déjà été mises en œuvre par le passé ou s’il existe des tensions historiques ou des antécédents législatifs ou politiques susceptibles d'avoir une incidence sur la compréhension des besoins et la définition des objectifs. Le contexte historique peut également englober les hypothèses faites par le passé au sujet de la pertinence d’une intervention. Il s'agit alors de vérifier si ces hypothèses sont toujours valables. Lorsque des évaluations ont déjà été conduites, ces hypothèses peuvent aider à retracer le contexte historique et à déterminer si les interventions tirent parti des leçons des évaluations précédentes.
Qualité de la conception
L'évaluation de la « qualité de la conception » permet d'examiner dans quelle mesure l'intervention a été conçue pour répondre à des priorités et des besoins pertinents et si les objectifs ont été définis avec précision. Cette dimension permet en outre d'évaluer si les priorités et les besoins des parties prenantes sont clairement énoncés dans les objectifs de l’intervention, dans la théorie du changement sur laquelle elle se fonde, ainsi que dans sa théorie d'action et/ou son mode opératoire. Les évaluateurs sont ainsi en mesure de comprendre quelles lacunes, dans la conception du programme, ont pu réduire la pertinence globale d’une intervention. Cet élément d'analyse influe aussi sur l'évaluabilité de l’intervention en général parce qu'il implique que l’on s’intéresse également d'emblée à la qualité de la conception de l'intervention. Il apporte en outre un éclairage sur l’adéquation de l'intervention par rapport à l'institution qui la met en œuvre. Les évaluateurs peuvent par exemple se pencher sur la question de savoir si l'intervention a été conçue en tenant compte des questions de faisabilité technique, organisationnelle et financière.
Capacité d'adaptation au fil du temps
Les évaluateurs devraient examiner la manière dont les interventions peuvent évoluer au fil du temps. L’éclatement d'un conflit ou l’évolution du contexte politique et économique, par exemple, ont une forte incidence sur la mise en œuvre. L’évaluation de la pertinence au regard de la temporalité devrait comporter une analyse de la gestion adaptative. Les évaluateurs ne devraient pas se contenter d'analyser la pertinence au début et à la fin d’un programme, mais aussi examiner la manière dont ce dernier s’est adapté aux évolutions qui ont eu lieu tout au long de son cycle de vie. Une telle démarche permet d'analyser les éventuelles variations de la pertinence d'une intervention à mesure que les conditions de sa mise en œuvre évoluent. À titre d’exemple, il peut s'agir d'analyser dans quelle mesure les adaptations ont permis de continuer de répondre aux priorités et aux besoins les plus importants et si elles ont eu une incidence sur la qualité de la conception au fil du temps.
Là encore, l’adaptation continue au contexte extérieur et aux évolutions internes (par ex. lorsqu’une modification du financement nécessite un changement dans la programmation) devrait être prise en compte, de même que peuvent être considérés les risques et les opportunités, notamment la mesure dans laquelle le programme a atténué les risques pesant sur la réalisation de son objectif ou a été adapté pour saisir une chance ou mieux répondre aux besoins. L'adaptation peut amener à opérer des arbitrages entre les groupes dont les besoins sont jugés prioritaires, ce qui soulève des questions de redevabilité – un aspect qui devrait être pleinement étudié pour déterminer la manière dont la pertinence d'un programme a pu ou non s'en trouver modifiée.
Liens avec les autres critères
Les critères étant liés les uns aux autres, la pertinence peut avoir un lien avec les autres critères mobilisés pour l'évaluation. Elle est souvent considérée comme une condition sans laquelle les autres critères ne peuvent pas être satisfaits.
L'évaluation de la pertinence fournit une base pour comprendre si les besoins sont satisfaits au regard des critères d’efficacité et d'impact. En effet, la pertinence en tant que critère est un préalable à l'efficacité, les besoins et les objectifs devant être clairement énoncés pour permettre d'évaluer cette dernière.
La pertinence est complémentaire de la cohérence. Ces deux critères nécessitent une analyse contextuelle : dans le cas de la pertinence, pour appréhender l’adéquation entre l'intervention et les priorités et les besoins des principales parties prenantes ; et dans le cas de la cohérence, pour comprendre les liens avec d'autres interventions. La pertinence met l'accent sur la manière dont une intervention s'adapte au contexte. La cohérence élargit le prisme et examine d'autres interventions mises en œuvre dans le même contexte ainsi que leur interaction avec l'intervention évaluée. Ensemble, la pertinence et la cohérence peuvent fournir une vision plus claire de l’influence que l’intervention a sur le contexte dans lequel elle est mise en œuvre – et vice-versa.
L'analyse de la pertinence a aussi un lien avec l'impact, qui a trait à l’importance qu'une intervention a in fine – y compris l’intérêt qu’elle revêt pour les personnes touchées. Les évaluateurs devraient consacrer suffisamment de temps à l’examen des besoins, des priorités et des politiques des différents acteurs (y compris les tensions potentielles existantes) pour pouvoir évaluer de manière suffisamment approfondie la pertinence globale de l’intervention et analyser plus avant son importance lors de l’évaluation de l'impact.
Bon nombre d'aspects de la pertinence sont également déterminants pour l’efficience et la viabilité/durabilité. Ainsi, une intervention pertinente a davantage de chances de susciter l’adhésion des parties prenantes, ce qui peut avoir une incidence sur le calendrier d'exécution et l’utilisation des ressources, ainsi que sur le degré d'appropriation des bénéfices de l’intervention (et, partant, leur pérennité).
Intégrer la dimension de l'inclusion
Pour appréhender la pertinence d'une intervention, il est essentiel de comprendre la nature sexuée des dynamiques de pouvoir et de réfléchir sur l’engagement pris au titre des ODD de ne « laisser personne de côté ». Les dynamiques de pouvoir fondées sur le sexe et la marginalisation de certains groupes – notamment raciaux/ethniques – sont des considérations essentielles pour appréhender la pertinence dans un contexte donné.
Comprendre qui a été associé à la conception de l'intervention et de quelle manière, en attachant une attention particulière aux dynamiques de pouvoir et aux groupes marginalisés, permet aux évaluateurs de mieux appréhender la pertinence de l’intervention telle qu’elle a été conçue ainsi que la mesure dans laquelle elle s’est adaptée à l’évolution des besoins au fil du temps.
La définition de la pertinence présentée plus haut souligne combien il est important de considérer les arbitrages entre différents besoins et priorités et, notamment, de tenir davantage compte de l’équité et des dynamiques de pouvoir entre les personnes touchées directement ou indirectement par l’intervention.
De ce point de vue, il existe un lien fort avec les droits humains et l’égalité, en particulier si l'on adopte une approche intersectionnelle, c’est-à-dire si l’on observe comment diverses formes d’identités sociales et politiques – par exemple le genre, le handicap, l'origine ethnique, l'orientation sexuelle et la classe sociale – se conjuguent pour créer discriminations et inégalités. Lorsqu'on définit, dans le cadre de l'analyse de la pertinence, les priorités à poursuivre, il est essentiel de tenir compte des groupes sous-représentés et marginalisés (qui peuvent rencontrer des difficultés d'accès aux services et/ou aux droits) ainsi que de la manière dont leurs besoins et leurs priorités sont – ou non – pris en compte dans les politiques et les documents officiels. En outre, il importe d’examiner si l'intervention intègre différents niveaux d'accès, compte tenu des obstacles auxquels se heurtent certains groupes.
Difficultés posées par l'évaluation de la pertinence et solutions proposées
Le tableau ci-après décrit plusieurs difficultés couramment rencontrées lors de l’évaluation de la pertinence – éventail des besoins et des priorités à prendre en compte ; mauvaise formulation des objectifs ; évolution du contexte — et propose à l'intention des évaluateurs comme des responsables d’évaluation des solutions pour les surmonter.
Tableau 4.1. Difficultés posées par l’évaluation de la pertinence
Exemples d’évaluation de la pertinence
Cette partie présente une sélection d’exemples d'évaluation de la pertinence tirés d’évaluations de programmes de soutien budgétaire général, de mesures d'aide aux moyens de subsistance des agriculteurs et de programmes dans le secteur de la santé.
Encadré 4.1. Évaluation de la pertinence des programmes de soutien budgétaire général
L'Approche méthodologique pour les évaluations de l'aide budgétaire élaborée par le Réseau du CAD de l’OCDE sur l'évaluation du développement (EvalNet) recommande de se concentrer sur la pertinence et l’adéquation de la conception du soutien budgétaire et des différents moyens mis en œuvre par rapport au contexte politique, économique et social du pays partenaire, au cadre d'action des pouvoirs publics et aux stratégies d’aide au développement des partenaires au développement.
Par exemple, une question essentielle qui peut être posée à cet égard est la suivante : dans quelle mesure la conception du programme de soutien budgétaire était-elle adaptée et pertinente compte tenu du contexte politique, économique et social du pays, du cadre d'action des pouvoirs publics et des stratégies d’aide au développement des partenaires extérieurs au développement ?
À titre d'illustration, dans le cadre de l’évaluation du soutien budgétaire en Tunisie (citée dans l'Approche méthodologique), les évaluateurs ont examiné dans quelle mesure le programme de soutien budgétaire avait recouru à la combinaison adéquate d'assistance technique, de dialogue sur les politiques et de financements compte tenu du contexte institutionnel de l'administration tunisienne et des priorités de celle-ci. En premier lieu, ils se sont penchés sur les réalisations au niveau de l'administration (en tant que bénéficiaire). Les réalisations au niveau des bénéficiaires finaux – les utilisateurs des services (par exemple les jeunes fréquentant l’enseignement supérieur) – ont été incluses dans une deuxième phase, consacrée à l'évaluation de l’efficacité et de l’impact.
Source : OCDE (2011[3]), Approche méthodologique pour les évaluations de l'aide budgétaire,
https://www.oecd.org/dac/evaluation/Approche%20methodologique_aide%20budgetaireFINAL.pdf
Encadré 4.2. Évaluation du projet d'amélioration des moyens de subsistance des agriculteurs dans la « zone sèche » du Myanmar
Cette intervention et son évaluation portaient sur les moyens de subsistance et la sécurité alimentaire des populations pauvres et vulnérables de la « zone sèche » du centre du Myanmar. L'évaluation fournit une bonne illustration de la manière dont le critère de pertinence peut être appliqué de façon adaptée au contexte et appropriée.
Il s'agissait notamment d'examiner dans quelle mesure l’intervention prenait en compte les besoins et les priorités des parties prenantes et comment les différents groupes de parties prenantes avaient été associés tout au long de sa conception et de sa mise en œuvre.
L’évaluation s'intéressait particulièrement au maintien de la pertinence au fil du temps et notamment à la capacité d'adaptation du programme face à des conditions évolutives pendant la mise en œuvre. Outre le maintien de la pertinence sur toute la durée du projet, l'évaluation s'est également arrêtée sur certains moments décisifs, comparant l'appréciation de la pertinence telle qu'elle ressortait de l'examen à mi-parcours avec celle de la pertinence au moment de l’évaluation.
Les évaluateurs ont conclu que l'intervention était très pertinente au regard des besoins et du contexte et qu'elle avait été particulièrement efficace dans son adaptation aux évolutions survenues au fil du temps dans les domaines de l'environnement et de l'action publique. L'évaluation a appliqué de manière adéquate le critère de pertinence en mobilisant et en examinant les besoins et le contexte à la fois au stade de la conception et pendant la mise en œuvre, ce qui permet d'avoir une compréhension complète de l'intervention et de son évolution.
Source : FAO (2020[4]), Evaluation of "Improving farmer livelihoods in the dry zone through improved livestock health, productivity and marketing", http://www.fao.org/3/ca8463en/ca8463en.pdf
Encadré 4.3. Évaluation de la pertinence des initiatives en faveur de la santé en Bolivie
Cette évaluation portait sur un programme de soutien au secteur de la santé en Bolivie mené sur la période 2009-20. Au titre de la pertinence étaient évaluées non seulement les demandes officielles approuvées du gouvernement bolivien, en particulier du ministère de la Santé, mais aussi la capacité d'adaptation à des besoins plus spécifiques des parties prenantes, dont les bénéficiaires. L'évaluation a dressé les conclusions suivantes :
Pertinence : Les projets correspondent aux initiatives et aux demandes des institutions et des autorités agréées par le ministère de la Santé, ce qui signifie que la coopération italienne apporte des réponses efficaces à ce que le gouvernement bolivien qualifie de nécessaire. Toutefois, il n'existe aucun processus approprié permettant d’identifier les besoins des projets dans leur ensemble, ce qui se traduit par des problèmes de pertinence et de cohérence. Les projets qui ont le mieux réussi parmi ceux évalués sont ceux pour lesquels un niveau au moins adéquat de connaissance des besoins spécifiques à satisfaire peut être démontré.
Source : Eurecna Spa (2020[5]), Bolivia - Evaluation of health initiatives (2009-2020), http://www.oecd.org/derec/italy/evaluation-report-of-health-initiatives-in-Bolivia-2009_2020.pdf
Cohérence
Définition de la cohérence :
Cohérence : l’intervention s’accorde-t-elle avec les autres interventions menées ?
Mesure dans laquelle l’intervention est compatible avec les autres interventions menées au sein d’un pays, d’un secteur ou d’une institution.
Remarque : le critère cherche à examiner comment d’autres interventions (en particulier des politiques) appuient ou affaiblissent l’intervention évaluée, et inversement. Sont englobées la cohérence interne et la cohérence externe. La cohérence interne concerne les synergies et les interdépendances entre l’intervention et les autres interventions menées par la même institution/administration, ainsi que la cohérence entre l’intervention et les normes et critères internationaux pertinents auxquels l’institution/administration adhère. La cohérence externe concerne la cohérence entre l’intervention considérée et celles menées par d’autres acteurs dans le même contexte. Elle englobe la complémentarité, l’harmonisation et la coordination avec les autres acteurs, et vérifie que l’intervention apporte une valeur ajoutée tout en évitant le chevauchement d’activités.
Qu’est-ce que la cohérence et pourquoi est-elle importante ?
Dans le contexte actuel, il convient d’accorder une attention accrue à la cohérence, en mettant davantage l’accent sur l’existence (ou l’absence) de synergies (ou d’arbitrages) entre les domaines de l’action publique, tout en prêtant plus d’attention à la coordination entre les différents secteurs de l’administration, en particulier lorsqu’il s’agit d’interventions humanitaires et de gestion de conflit, ou de faire face à l’urgence climatique.
Dans le droit fil du Programme 2030 et des ODD, ce nouveau critère encourage l’adoption d’une approche intégrée et offre un angle d’analyse important pour évaluer la cohérence en tenant compte des synergies, de la coordination entre administrations et de la conformité aux normes et critères internationaux. Il permet d’examiner divers arbitrages et tensions et de repérer les situations dans lesquelles les chevauchements d’activités ou les incohérences dans la mise en œuvre des politiques à l’échelle de l’administration ou de différentes institutions peuvent compromettre les avancées générales.
Ce critère encourage également les évaluateurs à comprendre quel rôle joue une intervention au sein d’un système particulier (organisation, secteur, domaine thématique, pays) au lieu de se concentrer uniquement sur l’intervention ou l’institution. Si l’analyse de la cohérence externe vise à comprendre dans quelle mesure les objectifs stratégiques des acteurs sont en adéquation avec les objectifs de développement internationaux, elle serait incomplète s’il était fait abstraction des intérêts, de l’influence et du pouvoir d’autres acteurs extérieurs. D’où l’utilité de se placer sous l’angle plus large de l’économie politique pour mieux appréhender la cohérence des interventions.
Par ailleurs, les sources de financement (internationales comme nationales) du développement durable sont de plus en plus diversifiées. La référence aux « normes et critères internationaux » dans la définition encourage l’analyse de la compatibilité de l’intervention avec les engagements souscrits par l’acteur en vertu du droit ou d’accords internationaux (lois contre la corruption, conventions sur les droits fondamentaux, etc.). Il s’agit des accords auxquels l’entité est déjà partie, donc d’une dimension qui entre dans le champ de la cohérence interne – aspect qui, jusqu’ici, faisait rarement l’objet d’une analyse suffisante. Le critère de cohérence peut également permettre d’évaluer les normes et les critères internationaux du point de vue de la prise en compte des priorités mondiales, ce qui constitue un angle d’analyse complémentaire.
Comprendre la cohérence : éléments d’analyse
La cohérence englobe la cohérence interne et la cohérence externe.
Cohérence interne
La cohérence interne des politiques recouvre deux éléments : la cohérence avec les cadres d’action plus larges des institutions et la cohérence avec d’autres interventions mises en œuvre par l’institution, y compris celles menées par d’autres services chargés de la mise en œuvre d’interventions de développement ou d’interventions susceptibles d’avoir une incidence sur le même contexte opérationnel2. Il s’agit d’examiner dans quelle mesure ces activités sont harmonisées, si les efforts sont redondants ou s’il existe des chevauchements d’activités, et si les interventions sont complémentaires.
Au sein des administrations nationales (ou, le cas échéant, d’autres niveaux de gouvernement), il peut exister des problèmes de cohérence entre différents types de politiques publiques, entre différents niveaux de gouvernement et entre différentes parties prenantes (acteurs publics et non publics, commerciaux et non commerciaux). Ces aspects devraient être dûment pris en compte lors de l’évaluation de la cohérence afin de déterminer la place de l’intervention dans cet ensemble ainsi que son degré de compatibilité avec les politiques régissant le contexte en général.
À titre d’illustration, les lignes directrices pour l’évaluation de l’aide publique au développement (APD) élaborées par le ministère japonais des affaires étrangères (Ministère des affaires étrangères du Japon, 2019[6]) aident les commanditaires d’évaluations et ceux qui sont chargés de mettre en œuvre ces évaluations à évaluer la cohérence des stratégies et des actions diplomatiques et en matière de développement menées par les différents secteurs de l’administration japonaise. Elles fournissent un cadre et des orientations qui aident les évaluateurs à prendre en compte les interconnexions, les relations de complémentarité et la cohérence entre les stratégies diplomatiques et en matière d’APD. Elles permettent ainsi d’analyser selon une approche globale l’engagement et le soutien du Japon en faveur de différents secteurs et pays.
La cohérence des politiques peut s’analyser d’un point de vue horizontal. Par exemple, dans le cadre de l’articulation entre action humanitaire, développement et recherche de la paix, le besoin de cohérence peut être particulièrement élevé, puisqu’un acteur donné peut mener des interventions relevant à la fois de la politique de développement, de la politique militaire et de la politique de sécurité. Dans le domaine de l’environnement également, il peut s’agir d’assurer la cohérence au niveau de l’articulation entre les secteurs de l’eau, de l’énergie et de l’alimentation ou entre les problématiques de l’égalité femmes-hommes et du changement climatique. Dans d’autres contextes, l’évaluation peut examiner la manière dont des domaines d’action autres que celui du développement – par exemple les échanges – influent sur l’intervention.
D’un point de vue vertical, la cohérence des politiques peut être appréhendée à des niveaux différents d’une même institution ou entre différentes composantes du système de financement du développement d’une même administration (par exemple, son organisme bilatéral, son institution de financement du développement (IFD) et son soutien multilatéral). Il peut aussi s’agir d’examiner dans quelle mesure l’intervention soutient ou au contraire compromet la réalisation des objectifs stratégiques à différents niveaux territoriaux – par exemple, d’évaluer le degré d’alignement d’une intervention locale à l’appui du développement sur les objectifs de développement nationaux et les interventions menées à l’échelle nationale, ou vice versa.
Cohérence externe
La cohérence externe recouvre deux dimensions principales : la concordance avec les engagements stratégiques extérieurs et la cohérence avec les interventions mises en œuvre par d’autres acteurs dans un contexte donné.
D’un point de vue stratégique, la cohérence externe concerne l’adéquation d’une intervention avec des engagements stratégiques extérieurs tels que les ODD et la manière dont ces engagements sont pris en compte dans la conception et la mise en œuvre de l’intervention. Il importe à ce stade de tenir compte de l’engagement d’une institution à atteindre les ODD, eu égard à la cible 14 de l’ODD 17, qui vise à « renforcer la cohérence des politiques de développement durable ». Il s’agit là d’un aspect important, qui permet de comprendre comment l’alignement stratégique et la redevabilité à l’égard des ODD sont pris en compte dans l’ensemble des activités et mis en œuvre dans la pratique.
Lorsqu’ils analysent la mise en œuvre d’une intervention dans un contexte donné, les évaluateurs devraient examiner la cohérence de l’intervention avec celles mises en œuvre par d’autres acteurs, en se posant par exemple la question de savoir comment les services sont fournis par divers acteurs et s’il existe des chevauchements ou au contraire des lacunes. La cohérence concerne la manière dont l’intervention apporte une valeur ajoutée par rapport à d’autres interventions et les mesures prises pour éviter les efforts redondants.
Toute évaluation de la cohérence externe devrait se concentrer sur l’intervention ou l’institution concernée, mais en la replaçant dans le contexte plus large des acteurs du domaine humanitaire et du développement durable. Il peut s’agir d’évaluer si les interventions sont conçues dans le cadre et en se servant des structures et des systèmes existants, par exemple les mécanismes de coordination au niveau d’un pays ou secteur.
Liens avec les autres critères
La cohérence est tout particulièrement liée à la pertinence, à l’efficacité et à l’impact.
Alors que le critère de pertinence évalue l’intervention au niveau des besoins et des priorités des parties prenantes et des bénéficiaires directement concernés, le critère de cohérence se place au niveau supérieur et s’intéresse à l’adéquation de l’intervention au sein du système en général. L’un comme l’autre critère visent à déterminer la compatibilité de l’intervention avec le contexte, mais les points de vue adoptés sont différents.
La cohérence représente souvent un angle d’approche utile pour engager un examen des effets non escomptés, qui peuvent ensuite être analysés au regard des critères d’efficacité et d’impact. Il peut arriver qu’une intervention atteigne ses objectifs (efficacité), mais que ses effets positifs soient annulés par d’autres interventions menées (en l’absence de toute cohérence) dans le même contexte.
De même, il existe un lien entre cohérence et efficience : lorsque des interventions ne sont pas cohérentes, il peut y avoir des doublons, ce qui entraîne un gaspillage de ressources.
Intégrer la dimension de l’inclusion
La cohérence interne offre un angle d’analyse utile pour examiner la dimension de l’inclusion, en particulier en ce qu’elle se rapporte aux engagements, aux normes et aux critères relatifs aux droits humains. Les évaluateurs peuvent examiner la compatibilité de l’intervention avec les normes et les critères relatifs à l’inclusion et à l’égalité au niveau national ou institutionnel pour ce qui est des institutions de mise en œuvre, et du point de vue d’organisations locales comme les organisations de défense des droits des populations autochtones ou des personnes handicapées. L’évaluation de la cohérence peut apporter des éclairages utiles sur l’intérêt et la cohérence des activités visant à réduire l’exclusion, à atteindre les publics marginalisés et vulnérables et à réduire les inégalités femmes-hommes.
Les évaluateurs qui s’interrogent sur le degré d’inclusivité de l’impact et la pertinence de l’intervention devraient envisager d’analyser l’inclusion en lien avec la cohérence, car il existe des synergies entre ces trois dimensions de l’évaluation.
Difficultés posées par l’évaluation de la cohérence et solutions proposées
Le tableau ci-après décrit plusieurs des principales difficultés rencontrées lors de l’évaluation de la cohérence – liées notamment à l’étendue du champ d’évaluation, aux mandats et à la disponibilité des données – et propose à l’intention des évaluateurs comme des responsables d’évaluation des solutions pour les surmonter.
Tableau 4.2. Difficultés posées par l’évaluation de la cohérence
Exemples d’évaluation de la cohérence
Bien que la cohérence soit un nouveau critère pour le CAD de l’OCDE, elle fait partie des dimensions évaluées dans bon nombre d’évaluations réalisées au fil du temps. Le critère de cohérence est aussi couramment utilisé dans les évaluations de l’action humanitaire. Cette partie présente une sélection d’exemples d’évaluation de la cohérence tirés d’une évaluation stratégique de la cohérence des politiques au service du développement en Norvège, d’une évaluation de l’aide à la reconstruction après une catastrophe naturelle aux Philippines et d’une évaluation d’un portefeuille pays au Monténégro.
Encadré 4.4. Évaluation des efforts déployés par la Norvège pour garantir la cohérence des politiques au service du développement
Le gouvernement norvégien s’est engagé à plusieurs reprises à garantir la cohérence des politiques au service du développement dans le cadre de ses interventions. Par « cohérence des politiques » est entendu le fait d’intervenir sur des aspects plus larges du développement, en dehors de l’aide au développement – par exemple les échanges, les migrations, les investissements, le changement climatique et la sécurité. Cette évaluation examinait les « dilemmes » entre les politiques, c’est-à-dire les situations dans lesquelles il existe une contradiction manifeste entre les politiques de différents acteurs ou les domaines d’action. Le rapport d’évaluation plaide pour des échanges plus ouverts et plus transparents sur les dilemmes et priorités existant dans la réalité, compte tenu de l’existence de véritables dilemmes à résoudre et choix à effectuer.
L’évaluation avait pour but d’appréhender ces dilemmes et les difficultés rencontrées pour garantir la cohérence des politiques au service du développement. La cohérence était examinée à l’échelle d’un pays et à l’échelle mondiale et l’analyse portait aussi bien sur sa dimension interne qu’externe, à savoir :
la cohérence interne des interventions pilotées par le ministère des Affaires étrangères et d’autres acteurs norvégiens ;
la cohérence externe, pour déterminer le degré d’alignement des objectifs stratégiques des acteurs sur les objectifs de développement internationaux.
Étudiant le cas du Myanmar, l’évaluation examinait les incohérences entre la politique de développement et les autres domaines de l’action publique. Le Myanmar avait été retenu en raison du large éventail d’acteurs du développement norvégiens, traditionnels ou non, qui y interviennent et des conflits qui peuvent apparaître entre leurs priorités stratégiques respectives au niveau local. L’évaluation adoptait une méthode intéressante pour appréhender les dilemmes : elle examinait les aspects au sujet desquels les organisations non gouvernementales (ONG), les organisations politiques ou les institutions internationales avaient signalé l’existence d’incohérences entre les priorités et interventions de la Norvège. Deux dilemmes ont ainsi été mis en relief : l’engagement des entreprises norvégiennes au Myanmar et l’engagement du pays en faveur de la paix, d’une part, et l’implication dans le développement des ressources nationales et l’engagement en faveur de la paix, d’autre part. L’analyse a aussi mis en lumière une difficulté majeure, tant en termes d’évaluation de la cohérence que d’adoption de mesures visant à la renforcer, à savoir que le ministère n’est pas mandaté pour intervenir au sujet de décisions stratégiques prises par d’autres ministères, si bien qu’il lui est plus difficile de comprendre et d’éliminer les incohérences. Dans le cadre de l’évaluation de la cohérence à l’échelle mondiale, la cohérence externe avec les engagements mondiaux de la Norvège était également examinée et l’évaluation a relevé des difficultés à aligner la politique intérieure sur les priorités internationales en matière de développement.
Cette évaluation montre ce que peut être une application réfléchie du critère de cohérence en illustrant les difficultés rencontrées pour mettre en œuvre des interventions cohérentes qui tiennent compte à la fois du contexte de mise en œuvre et des priorités institutionnelles.
Source : Norad (2018[7]), Evaluation of Norwegian Efforts to Ensure Policy Coherence for Development, https://www.norad.no/contentassets/4ac3de36fbdd4229811a423f4b00acf7/8.18-evaluation-of-norwegian-efforts-to-ensure-policy-coherence-for-development.pdf
Encadré 4.5. Évaluation de la cohérence de l’aide à la reconstruction après une catastrophe naturelle aux Philippines
Cette évaluation portait sur les programmes canadiens d’aide internationale et sur le rôle joué par le Canada en tant que donneur dans les situations de catastrophe naturelle. Elle montre comment la cohérence d’une intervention peut être considérée d’un point de vue externe comme interne. Elle examinait le programme de reconstruction de 20.5 millions de dollars canadiens mis en œuvre à la suite du typhon Haiyan ainsi que la relation bilatérale entre le Canada et les Philippines entre 2013-14 et 2018-19.
Évaluation de la cohérence
Même si elle a été réalisée avant l’adoption par le CAD de l’OCDE du nouveau critère d’évaluation de la cohérence, cette évaluation mettait clairement l’accent sur cet aspect, sans toutefois le préciser expressément. Elle en analysait les dimensions tant externe qu’interne.
Cohérence externe – l’évaluation a examiné le rôle joué par le Canada en tant que donneur, son comportement dans les différents contextes opérationnels et politiques et l’adéquation de l’intervention avec ces contextes. Elle a mis en lumière une concordance avec les priorités et le plan national de relance du gouvernement philippin et a évalué la complémentarité avec d’autres programmes en place dans la région.
Cohérence interne – l’évaluation a examiné le programme d’aide internationale du Canada et l’a replacé dans le contexte plus large d’autres programmes d’aide internationale. Elle s’est intéressée en particulier à l’alignement du programme sur la politique globale du Canada et a évalué dans quelle mesure l’intervention incarnait l’approche du pays en matière de secours en cas de catastrophe.
L’évaluation a aussi montré combien la cohérence et la pertinence se rejoignent, l’intervention étant constamment mise en lien avec les besoins et les priorités des parties prenantes et du contexte – deux éléments également pris en compte pour analyser la pertinence. Toutefois, elle est allée encore plus loin en ce qu’elle a tenté d’appréhender non seulement la capacité d’adaptation de l’intervention mais aussi le degré d’alignement et les considérations prises en compte dans le processus d’élaboration et de mise en œuvre d’une intervention claire, cohérente, qui corresponde aux intérêts plus larges du Canada aux Philippines et soit cohérente avec les autres programmes de secours en place.
Source : Affaires mondiales Canada (2019[8]), Évaluation de l’aide à la reconstruction en cas de catastrophe naturelle aux Philippines de 2013-14 à 2018-19https://www.international.gc.ca/gac-amc/publications/evaluation/2019/endra-earcn-philippines.aspx?lang=fra
Encadré 4.6. Évaluer la cohérence du programme de coopération pour le développement de la Slovénie avec le Monténégro
Cette évaluation décrivait la mise en œuvre d’activités de coopération pour le développement entre la République de Slovénie et le Monténégro au cours de la période 2013-16. Elle avait pour but de fournir des données factuelles sur les résultats obtenus (c’est-à-dire, dans quelle mesure le programme atteint les objectifs de la coopération pour le développement), d’analyser les raisons susceptibles d’expliquer les bons ou les mauvais résultats et de formuler des recommandations pour l’élaboration de politiques, programmes et projets futurs.
La cohérence était l’un des huit critères évalués (figuraient également parmi ces derniers la gestion du programme, la mise en œuvre et la valeur ajoutée pour la Slovénie) et l’évaluation visait à répondre à la question suivante :
Des contradictions avec d’autres politiques ont-elles entravé la mise en œuvre et empêché d’atteindre les objectifs de développement ou, au contraire, les politiques se renforcent-elles mutuellement ?
L’évaluation portait également sur la cohérence externe avec d’autres politiques liées à la coopération pour le développement, notamment le processus de négociation en vue de l’adhésion à l’Union européenne et les investissements dans les infrastructures environnementales. Elle a conclu que les programmes étaient en adéquation avec les autres politiques.
S’intéressant aussi à la complémentarité avec les activités d’autres donneurs, elle a constaté que le manque de systèmes de coordination des donneurs au Monténégro avait nui à la complémentarité et empêché d’éviter les doublons.
Source : Ministère des Affaires étrangères slovène (2017[9]), Evaluation of Slovenia’s Development Cooperation with Montenegro 2013‑2016 period: Final Report, https://www.gov.si/assets/ministrstva/MZZ/Dokumenti/multilaterala/razvojno-sodelovanje/Development-cooperation-with-Montenegro-evaluation-final-report.pdf
Efficacité
Définition de l'efficacité :
Efficacité : l'intervention atteint-elle ses objectifs ?
Mesure dans laquelle les objectifs et les résultats de l’intervention ont été atteints, ou sont en train de l’être, y compris les résultats différenciés entre populations.
Remarque : l’analyse de l’efficacité suppose de prendre en compte l’importance relative des objectifs ou des résultats. Le terme « efficacité » est également utilisé comme indicateur global de la mesure dans laquelle une intervention a eu ou devrait avoir un impact pertinent et durable, avec efficience et cohérence.
Qu’est-ce que l’efficacité et pourquoi est-elle importante ?
L’efficacité permet de comprendre dans quelle mesure une intervention atteint ou est en passe d'atteindre ses objectifs. Ce critère peut être un moyen de déterminer si une intervention a donné les résultats prévus, par quel processus ces résultats ont été obtenus et quels ont été les facteurs décisifs à cet égard ainsi que les éventuels effets non escomptés. L’efficacité porte sur les résultats les plus étroitement attribuables à l'intervention et doit donc être distinguée de l’impact, qui examine les effets plus généraux et les changements de portée plus vaste.
Pour évaluer la réalisation des objectifs le long de la chaîne de résultats/causalité, il faut bien comprendre les buts et objectifs de l'intervention. L'application du prisme de l'efficacité peut donc aider les évaluateurs, les responsables ou administrateurs de programmes et d'autres acteurs à définir (ou évaluer) des objectifs clairs. De même, le critère d’efficacité peut aider les évaluateurs à déterminer si l’obtention (ou l'absence) de résultats s’explique par des faiblesses dans la mise en œuvre ou la conception de l'intervention.
Au titre de ce critère, les évaluateurs devraient également déterminer les effets non escomptés. Dans l’idéal, les responsables de projet auront déjà identifié les risques au stade de la conception de l'intervention, ce dont pourront se servir les évaluateurs lorsqu'ils entament leur évaluation. Il importe d'examiner les effets non escomptés pour repérer les effets tant négatifs (par exemple, l'accentuation d'une dynamique de conflit) que positifs (par exemple, des innovations qui améliorent l’efficacité). Les institutions qui commandent des évaluations peuvent fournir aux évaluateurs des orientations concernant les normes minimales à appliquer pour identifier les effets non escomptés, en particulier quand ces derniers revêtent la forme de violations de droits humains ou d'autres conséquences non intentionnelles graves.
La définition de l’efficacité encourage les évaluateurs et les responsables à se poser des questions importantes sur la répartition des résultats entre différents groupes, que cette répartition soit intentionnelle ou non. Il s’agit d'un choix délibéré, qui vise à renforcer la prise en compte de l’équité, conformément à la priorité stratégique des ODD consistant à « ne laisser personne de côté ». Les évaluateurs sont donc encouragés à examiner les aspects relatifs à l’équité, que celle-ci constitue ou non un objectif spécifique de l’intervention. Ce type d'analyse nécessite des données et exige parfois d'investir des ressources — ce qui est souvent justifié étant donné les précieux éclairages que l'évaluation peut apporter3.
Pour tirer des conclusions sur l’efficacité d’une intervention, les évaluateurs devraient se concentrer sur les résultats les plus importants dans le contexte en question et pour les destinataires de l’évaluation. À cet égard, l’expression « importance relative » insiste sur l’idée que l'évaluateur devrait opérer un jugement évaluatif et soupeser l’importance des objectifs et des résultats atteints ou non atteints/attendus, y compris les conséquences non intentionnelles.
Comprendre l’efficacité : éléments d'analyse
La définition de l’efficacité est sous-tendue par les principales notions suivantes : réalisation des objectifs, importance variable des objectifs et des résultats, résultats différenciés selon les groupes et compréhension des facteurs qui influent sur les réalisations.
Réalisation des objectifs
L'évaluation de l’efficacité vise en premier lieu à établir si une intervention a atteint les résultats escomptés à différents niveaux de la chaîne de résultats (en général, au niveau des extrants et des réalisations, mais parfois aussi de l'impact). Cette chaîne devrait être définie au moment de la conception de l’intervention et constitue la principale référence pour la gestion, le suivi et l’évaluation.
Il est très difficile d’évaluer l’efficacité d’une activité si les objectifs énoncés ou les résultats prévus sont formulés de manière vague ou ambiguë ou ont évolué au fil de l’intervention, sans être actualisés ni restructurés. Les responsables de l’intervention devraient au minimum expliquer pourquoi les objectifs ont évolué et quels sont les nouveaux objectifs. À défaut, les évaluateurs devront consulter les documents relatifs à l’intervention ou interroger les parties prenantes pour reconstituer la logique sous-jacente aux évolutions successives de l'intervention. Sur la base de cette reconstitution, ils pourront alors déterminer le niveau de pertinence et de réalisation effective des nouveaux objectifs.
L'évaluation de l’efficacité revêt également de l’importance dans le cadre des programmes adaptatifs, auxquels des modifications sont apportées selon un processus itératif, à partir des retours d'information des parties prenantes, des premiers résultats et de l’évolution du contexte. Dans ce type de programmes, la conception et la mise en œuvre d'une intervention peuvent connaître de multiples changements progressifs survenant au fil du temps. Il importe dans ce cas que les évaluateurs examinent et analysent les théories du changement au regard des systèmes plus larges dans lesquels s’inscrit l'intervention et tiennent compte de tout document indiquant comment et pourquoi des changements ont été apportés. L’évaluation de l’efficacité devrait prendre en compte les objectifs actuels. Elle devrait s'appuyer sur un examen de la logique et de la nécessité sous-tendant les changements apportés en matière de mise en œuvre ou d'objectifs (qui sont souvent mises en évidence dans les versions actualisées de la théorie du changement ou du cadre de résultats).
L'évaluation de l’efficacité peut consister à établir quels sont les changements observables au sein du groupe cible ou du contexte tout au long de la mise en œuvre de l'intervention, ainsi que la causalité des changements observés à différents niveaux – c’est-à-dire montrer que les changements ont été induits par l’intervention ou que celle-ci y a contribué plutôt que d'autres facteurs liés à l’environnement ou, à défaut, une autre intervention. Les méthodologies devraient être conçues pour permettre à l'évaluateur de déterminer comment les résultats ont été obtenus et pourquoi (facteurs explicatifs) ils ont été atteints, insuffisants ou nuls.
L'évaluation de l’efficacité consiste également à examiner les résultats de l'intervention. Selon la définition du CAD de l’OCDE, les résultats englobent les extrants, les réalisations ou les impacts (escomptés ou non, positifs et/ou négatifs) de l'intervention (OCDE, 2002[10]). Par conséquent, l'évaluation de l’efficacité peut également impliquer d'évaluer d’éventuels effets non escomptés, positifs ou négatifs, induits par l’intervention. La mise en œuvre d’une intervention peut toujours avoir des effets sociaux, économiques ou environnementaux non escomptés ou des effets qui sont inattendus mais auraient pu être prévus. L'évaluation devrait donc veiller à prendre en compte les effets non mentionnés dans les objectifs de l'intervention, ce qui peut supposer d’aller jusqu'à examiner les avantages ou les risques qui pourraient découler de ces effets non escomptés (prévisibles ou non). L'évaluation de l'efficacité consiste également à déterminer dans quelle mesure l’intervention a contribué à la réalisation d’objectifs de développement nationaux ou d'autres objectifs de développement pertinents dans le contexte – en ce qui concerne la contribution potentielle de l'intervention, c'est un aspect qui relève de la pertinence.
Évaluer l’importance relative des résultats obtenus
Lorsqu’ils évaluent l’efficacité, les évaluateurs s'intéressent à la réalisation (ou non) des divers objectifs et résultats de l’intervention. Si certains des objectifs – mais pas tous – ont été atteints, ils examineront leur importance relative pour pouvoir tirer des conclusions sur l'efficacité de l'intervention. Cet examen peut s'appuyer sur l'analyse de la pertinence, qui devrait avoir permis d'évaluer les éventuelles différences entre les priorités et les besoins des diverses parties prenantes. Les évaluateurs peuvent ainsi en conclure que l’intervention a été efficace sur certains plans mais pas sur d'autres, ou qu'elle l'a été du point de vue de certaines parties prenantes, mais pas d'autres.
Résultats différenciés
Les évaluateurs devraient s'intéresser à la dimension de l'inclusivité et de l'équité des résultats entre les différents groupes de bénéficiaires – qu'il s'agisse de personnes ou d'institutions. L'appréhension des résultats différenciés peut nécessiter d’examiner dans quelle mesure la conception et la mise en œuvre de l'intervention étaient inclusives. À titre d'illustration, l'évaluation peut examiner le processus suivi pour formuler les objectifs de l'intervention, ce qui consiste notamment à déterminer si les objectifs ont été formulés sur la base d'une analyse des besoins et d'un processus de consultation des diverses parties prenantes (dont le principal groupe cible). Ce processus peut aussi être un moyen de comprendre si l'intervention a laissé passer des occasions d’obtenir des résultats pour la population ou les bénéficiaires ciblés, notamment des occasions de contribuer à un changement à plus long terme, par exemple un recul des inégalités. Les évaluateurs peuvent examiner les résultats non escomptés ou inattendus ainsi que les résultats escomptés en tenant compte du fait que certains changements et transformations s’opèrent de manière subtile et/ou sur le long terme et peuvent être difficiles à quantifier.
Facteurs exerçant une influence
L'analyse des facteurs qui influent sur les résultats est importante parce qu’elle aide les évaluateurs à comprendre pourquoi une intervention a ou non atteint ses objectifs, ce qui permet aux partenaires de repérer les domaines à améliorer. Les facteurs peuvent être internes ou externes à l’intervention. Ils peuvent être liés à la gestion, aux ressources humaines, aux aspects financiers ou réglementaires, à des modifications dans la mise en œuvre ou à des écarts par rapport aux plans. La qualité de la mise en œuvre (et le respect des protocoles de mise en œuvre) est souvent décisive pour l’efficacité. Elle devrait donc être décrite avant d'évaluer l’efficacité, l’efficience, l’impact et la viabilité/durabilité.
S'agissant des facteurs externes, les évaluateurs devraient examiner les effets positifs et négatifs induits par le contexte de l'intervention, ceux-ci contribuant à la réalisation (ou non) des résultats. Ce processus peut notamment consister à évaluer la capacité d'adaptation de l'intervention face aux évolutions du contexte. Les évaluations peuvent aussi examiner l’opportunité dans le temps des résultats (par exemple, l’échelonnement du soutien aux groupes ou environnements ciblés, contribuant à l’obtention des résultats).
Liens avec les autres critères
L’efficacité est liée aux autres critères, en particulier à la pertinence et à l’impact :
La définition des objectifs relève de la pertinence et la réalisation de ces objectifs dépend de l’efficacité. Une intervention non pertinente peut fort bien être mise en œuvre avec efficacité. En pareil cas, les évaluateurs devront faire preuve de jugement au moment de rédiger leurs conclusions générales, les constatations relatives à un critère ne pouvant être ignorées au profit de celles portant sur d'autres critères.
L’efficacité et l’impact sont des critères complémentaires qui mettent l'accent sur des niveaux différents de la chaîne de résultats. L’efficacité a trait à l’obtention des résultats par rapport aux objectifs d'une intervention, c'est-à-dire au niveau des extrants et des réalisations, alors que l’impact concerne les résultats de plus vaste portée, plus précisément les résultats généraux énoncés et les facteurs qui contribuent à leur obtention. D'une manière générale, les responsables de l’intervention et les évaluateurs devraient veiller à ce qu’une distinction claire soit faite entre les différents niveaux de résultats (intrants, extrants, réalisations et impact) et à ce que les aspects à évaluer dans le cadre de chaque critère soient clairement définis.
Intégrer la dimension de l’inclusion
La définition de l’efficacité encourage l'examen approfondi de la question de l’équité entre différents groupes. Les évaluateurs devraient apprécier le degré d’inclusion de différents groupes de bénéficiaires dans l’intervention et la mesure dans laquelle des principes fondamentaux comme l’équité, la non-discrimination et la redevabilité ont été pris en compte à tous les stades de l’intervention, depuis la conception jusqu'aux résultats. Conformément à l’objectif consistant à ne « laisser personne de côté », la question de savoir dans quelle mesure l’intervention répondait aux besoins des plus marginalisés devrait faire l'objet d'une attention particulière. Il importe d'examiner l’obtention et la répartition des résultats pour différents groupes de bénéficiaires et d'expliquer les écarts éventuels.
De plus, les évaluateurs devraient se pencher sur la question de savoir si, comment et pourquoi les résultats contribuent à réduire les inégalités. Au titre du critère d'efficacité, les évaluateurs devraient examiner l’effet de certaines activités sur le bien-être de groupes spécifiques et déterminer si ces activités fournissent aux participants des moyens d'autonomisation.
Difficultés posées par l'évaluation de l’efficacité et solutions proposées
Le tableau ci-après décrit les difficultés liées aux données, à la formulation des objectifs et à l’attribution des résultats et propose à l'intention des évaluateurs comme des responsables d’évaluation des solutions pour les surmonter.
Tableau 4.3. Difficultés posées par l’évaluation de l’efficacité
Exemples d’évaluation de l’efficacité
Cette partie présente une sélection d'exemples d'évaluation de l’efficacité tirés d'une évaluation d'un programme d'assistance électorale et d'une évaluation d'un programme-pays au Cabo Verde.
Encadré 4.7. Évaluation de l’efficacité et de l'inclusivité du programme australien d'assistance électorale
Depuis les années 70, l’Australie fournit une assistance électorale à divers pays en développement afin de les accompagner dans leur transition démocratique et dans l'instauration de démocraties formelles qui reposent sur des bases solides et fonctionnent. Cette évaluation portait sur l'aide apportée par l’Australie à l’organisation d'élections nationales dans huit pays de la région Asie-Pacifique entre 2006 et 2016. Elle fournit un bon exemple d'application du critère d’efficacité. Elle prend en particulier en compte l'évolution des objectifs au fil du temps et examine également l’efficacité sous l’angle de l'inclusion, de la problématique femmes-hommes et des groupes vulnérables.
L'évaluation commençait par examiner les objectifs globaux du programme australien d'assistance électorale, avant de s'intéresser plus précisément à l’efficacité et à l’inclusion dans trois grands domaines : le renforcement des systèmes de gestion électorale, la promotion de la participation et le soutien à l’organisation d'élections.
Elle soulignait également que les objectifs de l’Australie concernant l'assistance électorale avaient évolué pendant la phase de mise en œuvre, ce dont tenait compte l’analyse. Par ailleurs, l’évaluation examinait également de manière rigoureuse les risques associés à la fourniture d’une assistance électorale effective et inclusive, en tenant compte des facteurs externes susceptibles de limiter l’efficacité des interventions actuelles et futures.
Dans le cadre de l'analyse des objectifs, l’évaluation se concentrait particulièrement sur le caractère inclusif des résultats, ce qui illustre utilement la manière dont on peut examiner des résultats différenciés selon les groupes de population pour évaluer l’efficacité. L’obtention des résultats était examinée à travers un prisme sexospécifique, l’évaluation s'appuyant sur des constatations qualitatives pour montrer que les normes sociales et les obstacles juridiques et institutionnels se traduisaient par une participation électorale beaucoup plus faible pour les femmes.
L'évaluation tenait aussi compte de l’inclusion des groupes vulnérables, plus précisément des personnes handicapées, et constatait que des barrières culturelles contribuaient également à limiter l’équité des résultats entre différents groupes malgré les actions menées pour améliorer l'accessibilité physique. Forte de ces constatations, l'évaluation a formulé des recommandations pour les interventions futures, axées sur l'amélioration de l’équité des résultats en tant que moyen de favoriser la réalisation plus large des résultats de l’intervention et des objectifs de développement.
Source : Arghiros et al. (2017[11]), Making it Count: Lessons from Australian Electoral Assistance 2006-16, http://www.oecd.org/derec/australia/australia-electoral-assistance-2006-2016.pdf
Encadré 4.8. Évaluer l’efficacité de la stratégie et du programme-pays de la Banque africaine de développement (BAfD) au Cap Vert
L’évaluation du soutien apporté par la BAfD au secteur de l'électricité au Cap Vert fournit un exemple d’application du critère d’efficacité dans la pratique, en tenant compte de la pertinence de la conception et de la mise en œuvre et en accordant une attention particulière aux objectifs liés à l’égalité entre les sexes et à l'inclusion sociale. La BAfD poursuivait plusieurs objectifs généraux à travers son programme, à savoir, notamment, aider le pays à favoriser une croissance inclusive grâce au développement des infrastructures et à des réformes de la gouvernance, et – il s'agissait là d'un objectif stratégique – accompagner le pays dans sa transition vers une « croissance verte » ou un développement bas carbone et résilient face au changement climatique.
Pour évaluer l’efficacité de l’intervention et déterminer si ces objectifs avaient été atteints, l'évaluation entreprenait de déterminer si l'intervention avait débouché sur les résultats attendus prévus, soit :
l'amélioration de l’accès de la population à l’électricité ;
l'accroissement de la proportion des énergies renouvelables ;
l'augmentation de la superficie de terres arables et de l'approvisionnement en eau ;
l'amélioration de la gouvernance.
Dans ce cadre, l’évaluation analysait également les facteurs qui avaient influé sur l'intervention, qu’il s'agisse de facteurs internes, comme la solidité de la conception et les progrès dans la mise en œuvre, ou de facteurs externes. Une attention particulière était accordée à l’égalité entre les sexes et à l'inclusion sociale dans le cadre de l’analyse de l'équité des résultats.
Si l'évaluation a conclu que de solides avancées avaient été réalisées s'agissant d'aider le pays à favoriser une croissance inclusive grâce au développement des infrastructures et aux réformes de la gouvernance, elle a constaté que les ressources et les instruments disponibles étaient insuffisants pour atteindre l’objectif stratégique visant à accompagner le pays dans sa transition vers une « croissance verte » ou un développement bas carbone et résilient face au changement climatique. Il en est ressorti que l’examen de l’efficacité peut renseigner sur la réalisation ou non des résultats prévus au titre d'une intervention, ainsi que sur les facteurs qui ont influé sur cette réalisation.
Source : IDEV (2018[12]), Cabo Verde: Evaluation of the Bank’s Country Strategy and Program 2008–2017: Summary Report, https://idev.afdb.org/sites/default/files/Evaluations/2020-03/Executive%20Summary%20Cabo%20Verde%20CSPE%20%28Fr%29.pdf
Efficience
Définition de l’efficience :
Efficience : les ressources sont-elles utilisées de manière optimale ?
Mesure dans laquelle l’intervention produit, ou est susceptible de produire, des résultats de façon économique et dans les temps.
Remarque : le terme « économique » désigne la conversion des intrants (fonds, expertise, ressources naturelles, temps, etc.) en extrants, réalisations et impacts de la façon la plus économiquement avantageuse possible, par rapport aux options envisageables dans le contexte. L’expression « dans les temps » désigne le fait de respecter les délais fixés ou des délais raisonnablement adaptés aux exigences du contexte en évolution. Il peut s’agir d’évaluer l’efficience opérationnelle (mesure dans laquelle l’intervention a été bien gérée).
Qu’est-ce que l’efficience et pourquoi est-elle importante ?
Ce critère permet de vérifier si les ressources allouées à une intervention peuvent être justifiées par ses résultats, ce qui est essentiel d'un point de vue pratique comme politique. L’efficience est un critère important pour beaucoup de catégories de parties prenantes, notamment les pouvoirs publics, la société civile et les bénéficiaires. Une meilleure utilisation de ressources limitées permet d’obtenir plus de résultats dans le cadre de la coopération pour le développement, par exemple sur le plan de la réalisation des ODD, domaine dans lequel les besoins sont énormes. L’efficience intéresse particulièrement les pouvoirs publics, qui ont des comptes à rendre à leurs contribuables, lesquels remettent souvent en cause le rapport coût-efficacité de divers programmes et politiques, en particulier les décisions relatives à la coopération internationale pour le développement, qui font souvent l'objet d'une surveillance plus étroite.
L'efficience est également importante d’un point de vue opérationnel. Beaucoup d'interventions se heurtent à des problèmes de faisabilité et de mise en œuvre, en particulier en ce qui concerne la manière dont les ressources sont utilisées. Parce qu’elle rend les responsables redevables de la manière dont ils prennent les décisions et gèrent les risques, l'évaluation de l’efficience contribue à les inciter à veiller à la bonne conduite des programmes.
Plusieurs hypothèses et points importants doivent être rappelés :
La notion de ressources s’entend au sens large et recouvre l’ensemble des coûts économiques (humains, environnementaux, financiers et en termes de temps). Elle ne doit pas être confondue avec le budget du programme ou les fonds dépensés.
De même, les résultats s’entendent au sens large et recouvrent l’ensemble de la chaîne de résultats, à savoir les extrants, les réalisations et les impacts. Selon le type d'évaluation, certaines organisations associent l’efficience aux seuls extrants. Dans le présent document toutefois, ce critère est défini et conceptualisé de manière à encourager l'évaluation de l'efficience en lien également avec des effets de portée plus vaste comme l'impact, même si c'est là un exercice qui s'avère souvent difficile.
Évaluabilité : la capacité d'évaluer l’efficacité, l'impact, la cohérence et la viabilité/durabilité influe sur les conclusions relatives à l’efficience.
L’efficience renvoie à un arbitrage entre diverses solutions possibles pour parvenir aux mêmes résultats, dans les limites des ressources disponibles. Pour pouvoir comparer leur rapport coût-efficacité, il faut identifier des solutions qui peuvent réellement être mises en œuvre et soient comparables en termes de qualité et de résultats.
C'est pourquoi l'analyse de l’efficience doit résolument se faire sur fond d’analyse du contexte : en effet, dans un contexte donné, il peut être plus coûteux, mais aussi plus important et justifiable en termes d'impact sur le développement, d'atteindre les bénéficiaires cibles.
Comprendre l’efficience : éléments d'analyse
Évaluer l’efficience suppose d'analyser les dimensions principales que sont l’efficience économique, l’efficience opérationnelle et l'opportunité dans le temps.
Efficience économique
C'est le principal élément à prendre en compte dans l'analyse de l’efficience. L'efficience économique désigne ici l'absence de gaspillage et la conversion des intrants en résultats de la façon la plus économiquement avantageuse possible. Il s'agit notamment d’évaluer l’efficience des résultats à tous les niveaux de la chaîne de résultats – extrants, réalisations et impacts –, ce qui suppose d'évaluer dans quelle mesure les choix appropriés ont été faits et des arbitrages opérés au stade de la conception et durant la mise en œuvre. Ces choix concernent notamment la répartition des ressources entre les différents groupes cibles et les différentes périodes, ainsi que les options disponibles pour acquérir les intrants aux conditions du marché.
Efficience opérationnelle
L’efficience opérationnelle est également un aspect important à prendre en compte. Il s'agit de savoir dans quelle mesure les ressources sont utilisées de manière optimale pendant la mise en œuvre. Les questions qui peuvent être posées pour l’analyser sont notamment les suivantes : les ressources humaines et financières ont-elles été utilisées conformément à ce qui était prévu, pleinement et de manière appropriée (ou y a-t-il eu une mauvaise allocation des ressources, une sous-utilisation ou au contraire un dépassement du budget) ? L'affectation des ressources a-t-elle été modifiée en fonction de l’évolution des besoins ? Les risques ont-ils été gérés ? Des décisions de nature à améliorer l’efficience ont-elles été prises en réponse à de nouvelles informations ? Les décisions prises en matière de logistique et d'achats étaient-elles optimales ?
Opportunité dans le temps
Étroitement liée à l’efficience économique et à l'efficience opérationnelle, cette dimension suppose d'abord de se demander si et dans quelle mesure les résultats ont été obtenus dans les délais prévus. C'est aussi l’occasion de vérifier si le calendrier était dès le départ réaliste ou approprié, et s'il a été adapté de manière raisonnable au cours de l’intervention, étant donné la fréquence, dans de nombreuses interventions, des facteurs externes et des changements de programme. Les évaluateurs doivent apprécier si, au fil de l'évolution de la situation, des mesures ont été prises pour surmonter les obstacles et limiter les retards dans la gestion de l’intervention.
Liens avec les autres critères
Comme souligné précédemment, les différents critères sont liés les uns aux autres et devraient être considérés comme autant de prismes à travers lesquels analyser l'intervention plutôt que comme des ensembles rigides. Entre autres liens d'interdépendance entre l'efficience et d'autres critères figurent les suivants :
Pertinence et efficience : un aspect essentiel de la pertinence opérationnelle concerne le fait de savoir si la conception de l’intervention était bien adaptée au contexte, ouvrant la voie aux considérations de faisabilité et de capacités. Concrètement, la question de savoir si la conception de l’intervention était réaliste et pouvait être mise en œuvre influe également directement sur l’efficience. Ainsi, pour cet aspect particulier, l’évaluateur peut se retrouver à examiner ces deux critères simultanément.
Efficience et résultats : l’efficience supposant d'évaluer dans quelle mesure les ressources utilisées ont été converties en résultats, tous les aspects des résultats (c'est-à-dire, les questions qui émergent au fil de l’évaluation de l’efficacité, de l’impact et de la viabilité/durabilité) devraient être examinés. L’efficience opérationnelle est étroitement liée à l’efficacité et à l'impact. L'analyse du bon fonctionnement d'une intervention suppose souvent d’examiner simultanément l'efficacité et l'efficience. Ce constat vaut en particulier lorsqu'on détermine, par exemple, où se situent les goulets d'étranglement et comment y remédier, ou lorsqu'on veut s'assurer que les ressources sont affectées là où elles sont nécessaires.
Intégrer la dimension de l’inclusion
Le critère d’efficience permet aussi aux évaluateurs de comprendre comment la dimension de l’inclusion est intégrée et appréhendée dans la gestion de l’intervention et dans quelle mesure l’utilisation des ressources reflète les différences d’expérience et de résultats entre les publics. L’obtention des résultats a un coût variable selon les bénéficiaires, les « plus défavorisés » étant les plus difficiles à toucher – et ceux pour lesquels le coût est le plus élevé. L'analyse de l’efficience devrait donc reposer sur une bonne compréhension des inégalités et des dynamiques de pouvoir dans le contexte concerné, ainsi que de la manière dont l’intervention répond à la nécessité de favoriser des changements porteurs de transformation pour lutter contre les inégalités profondes. C'est une occasion essentielle d'examiner si un engagement à l'égard du programme d'action visant à « ne laisser personne de côté » (et de l’objectif du Programme 2030 consistant à opérer un changement transformateur pour les groupes marginalisés) a été dûment et effectivement mis en œuvre aux niveaux de la gestion, de la prise de décision et de l’affectation des ressources.
À cet égard, l'analyse peut notamment viser à déterminer comment et pourquoi les ressources sont réparties entre les différents groupes ciblés par une intervention, et dans quelle mesure cette répartition est fondée sur les besoins des groupes marginalisés et le dialogue engagé avec eux. Les évaluateurs peuvent se pencher sur la question de savoir si des résultats inclusifs et équitables ont été obtenus moyennant un coût raisonnable, comment la notion de « coût raisonnable » est définie et déterminée et quelles sont les variations de coût d’un groupe de bénéficiaires à l’autre. Par exemple, si l’intervention a vocation à toucher des groupes spécifiques, il conviendra de se poser la question de savoir si les ressources allouées sont suffisantes et justifiées pour atteindre ce but.
Un aspect essentiel consiste à comprendre quels sont les groupes qui parviennent à se faire entendre et dont le point de vue est pris en compte au moment de la prise de décisions sur la conception des politiques, l'affectation des fonds et les personnes chargées de contrôler et de superviser ces processus. Lorsque la logique d’une intervention et les plans y afférents visent notamment à modifier des structures et une dynamique de pouvoir inégalitaires, l'évaluation devrait examiner dans quelle mesure ce but a été atteint ou si l'intervention a sans le vouloir renforcé des structures et une dynamique inégalitaires préexistantes.
Il importe également d’évaluer si, dans le cadre des interventions, des données de suivi pertinentes et ventilées sont recueillies de manière à faciliter la prise de décisions pertinentes par les acteurs chargés de leur mise en œuvre concernant l'axe principal des activités/objectifs et les ressources à allouer au développement inclusif.
Difficultés posées par l'évaluation de l’efficience et solutions proposées
L'application adéquate du critère d’efficience dépend entièrement de la nature de l’intervention elle-même et varie selon les projets, les programmes, les programmes-pays et les politiques. L’exemple ci-dessous, qui provient du ministère des Affaires étrangères néerlandais, illustre la manière dont ce critère a été appliqué pour évaluer la politique dans le secteur de l’eau, où l’efficience est en grande partie appréhendée au regard de la coordination et d’aspects pratiques de la planification et des partenariats au sein d’un réseau complexe de relations (Encadré 4.11).
Le Tableau 4.4 décrit plusieurs des principales difficultés rencontrées lors de l'évaluation de l’efficience et propose à l'intention des évaluateurs comme des responsables d'évaluation des solutions pour les surmonter.
Une des décisions fondamentales consiste à se demander si l’efficience doit être évaluée à l'aide des indicateurs économiques et instruments connexes traditionnels (analyse coût-avantages, taux de rendement, analyse coût-efficacité, évaluation comparative, etc.) et comment utiliser ces outils4. La réponse à cette question dépend de la finalité de l’évaluation, de l’intervention et des résultats visés, de la faisabilité, des données/ressources disponibles et du public cible.
L'utilité de différents outils d'analyse dépend également de l’approche retenue aux stades de la conception/l’approbation au sein de l'institution concernée, cette approche ayant d'importantes conséquences sur la disponibilité des informations nécessaires pour entreprendre différents types d'analyse. Au sein des banques multilatérales de développement et dans le cadre de certains programmes publics d'investissement en capital, il existe des orientations très claires sur l'évaluation économique, sociale et environnementale ex ante et, de plus en plus, sur la conduite d'une analyse de ces projets et programmes en tenant compte des disparités entre les sexes. Pour évaluer l’efficience au stade de l’examen préalable ou de l’approbation du projet (en général ex ante, c’est-à-dire avant la mise en œuvre de l'intervention), il est logique de recourir aux mêmes outils que ceux utilisés pour l'évaluation elle-même. Les règles et les recommandations d'action adoptées par l'institution déterminent également en partie quelles données et quels indicateurs sont accessibles aux évaluateurs (par exemple, si les taux de rendement ont été estimés pendant l'évaluation économique, le cas échéant, et si d'autres interventions ont été recensées).
Tableau 4.4. Difficultés posées par l’évaluation de l’efficience
Exemples d’évaluation de l’efficience
Cette partie présente une sélection d’exemples d'évaluation de l’efficience en relation avec un programme d'électrification rurale, des subventions aux intrants agricoles et un vaste portefeuille d'activités portant sur la gestion de l’eau.
Encadré 4.9. Évaluation de l’efficience du soutien de la Banque mondiale en faveur de l’électrification rurale
Cette étude portait sur un programme de prêts de la Banque mondiale visant à soutenir l’électrification rurale dans un ensemble de pays entre 1980 et 2006. Elle analysait notamment un portefeuille de 120 projets, dix études de cas nationales et des données d’enquêtes disponibles (enquêtes sur l'énergie et enquêtes auprès des ménages concernant 12 pays).
Puisant dans les vastes ensembles de données de cette grande banque multilatérale de développement dotée d’une longue expérience dans le secteur concerné, l'étude examinait l’efficience sous différents angles, comparant notamment les coûts et les avantages. L'analyse du portefeuille de projets s'appuyait sur les estimations des taux de rendement des projets, qui figurent habituellement dans les rapports d'achèvement validés des projets d’infrastructure. En outre, les effets sur le bien-être étaient estimés sur la base d’estimations du surplus du consommateur, qui permettent aux évaluateurs de déterminer les bienfaits des interventions et les coûts associés. Cette évaluation offre une illustration d'une approche permettant d'évaluer l'impact, les aspects relatifs à l’équité (toucher les populations pauvres) et les arbitrages entre viabilité, efficience économique et allocative, impact global et impact par groupe cible.
Source : IEG, (2008[14]), The Welfare Impact of Rural Electrification: A Reassessment of the Costs and Benefits ; https://openknowledge.worldbank.org/handle/10986/6519.
Encadré 4.10. Évaluer l’efficience des subventions aux intrants agricoles en Afrique subsaharienne
L'étude dont il est question avait pour but d'évaluer les subventions aux intrants agricoles au Ghana, au Malawi, en Tanzanie et en Zambie, notamment les subventions dites « intelligentes », qui sont spécifiquement conçues pour obtenir un maximum d’effets à moindre coût.
Évaluation de l’efficience
Du fait de la nature du sujet, l’efficience économique – soit, dans le cas présent, la question de savoir si le coût des subventions était, à différents égards, justifié – constituait une question centrale.
L'étude reposait sur des estimations de la variation de la productivité agricole et examinait si cette variation était à la hauteur des coûts, c'est-à-dire si le rendement était satisfaisant, et quels facteurs – par exemple le ciblage – jouaient un rôle. Les observations de l'étude concernant la Zambie, par exemple, sont les suivantes :
L'utilisation accrue d’intrants agricoles semble avoir des effets substantiels sur la production de maïs, mais cette augmentation de la production a un coût très élevé. D'après les meilleures estimations disponibles, importer du maïs pour couvrir les besoins en milieu urbain coûterait moins cher qu’accroître la production en Zambie au moyen du programme pour la sécurité alimentaire (ZFSP) dans sa forme actuelle. Les subventions aux intrants pourraient néanmoins être justifiées si le manque d’efficience manifeste était compensé par des considérations d’équité ou par un développement durable à plus long terme du secteur des intrants. Or, rien n'est plus incertain.
Ainsi, tout en portant sur l’efficience, l'étude prend également spontanément en compte plusieurs autres critères, dont certaines dimensions de la durabilité/viabilité (par exemple, quelle stratégie de sortie est appliquée) et de l’impact/efficacité des subventions, ainsi que l’impact global.
Source : Baltzer et Hansen (2011[15]), Agricultural input subsidies in Sub-Saharan Africa: Evaluation Study, http://www.oecd.org/derec/49231998.pdf.
Encadré 4.11. Évaluer l’efficience au niveau des politiques : la politique néerlandaise d'aide au développement visant à améliorer la gestion de l’eau
Cet examen portait sur la politique d'aide au développement mise en œuvre par le ministère néerlandais des Affaires étrangères entre 2006 et 2016 pour améliorer la gestion intégrée des ressources en eau – une priorité d'action de plus en plus importante pour les Pays-Bas. Dans ce cadre avaient été établis divers partenariats avec des organisations multilatérales, des gouvernements nationaux, des ONG et le secteur privé. Les deux principaux critères retenus pour les besoins de l’évaluation étaient l’efficacité des politiques ainsi que leur efficience.
Évaluation de l’efficience
La question d'évaluation posée pour examiner cet aspect était libellée ainsi :
La mise en œuvre de la politique était-elle organisée et assurée de manière à contribuer à la réalisation des principaux résultats visés concernant les groupes d’usagers de l’eau, la qualité technique et l’entretien des infrastructures physiques ?
Pour répondre à cette question, les évaluateurs ont examiné dans quelle mesure la réalisation des principaux résultats s'écartait (en termes de coûts et de délais) de ce qui était prévu, et pour quelles raisons. Ils ont examiné les résultats à chaque niveau de la chaîne de résultats, notamment la qualité, les réalisations et la viabilité/durabilité. L'évaluation a par exemple constaté que la planification de la gestion participative de l’irrigation subissait parfois des retards et des dépassements de coûts parce que la complexité sociale et technique des problématiques locales exacerbait les facteurs politiques et institutionnels, ce qui contribuait à une exécution plus lente et à des dépassements de coûts.
Source : IOB (2017[16]), Tackling major water challenges: Policy review of Dutch development aid policy for improved water management, https://english.iob-evaluatie.nl/publications/policy-review/2017/12/01/418-%E2%80%93-iob-%E2%80%93-policy-review-of-dutch-development-aid-policy-for-improved-water-management-2006-2016-%E2%80%93-tackling-major-water-challenges.
Impact
Définition de l’impact :
Impact : Quelle différence l’intervention fait-elle ?
Mesure dans laquelle l’intervention a produit, ou devrait produire, des effets importants et de vaste portée, positifs ou négatifs, intentionnels ou non.
Remarque : le critère d'impact porte sur l'importance ultime et les effets potentiellement transformateurs de l’intervention. Il vise à déterminer quels sont ses effets sociaux, environnementaux et économiques à plus long terme ou à plus vaste échelle que ceux déjà évalués au titre du critère d’efficacité. Au-delà des résultats immédiats, ce critère vise à évaluer les conséquences indirectes, secondaires et potentielles de l’intervention, à travers l’examen des évolutions globales et durables des systèmes ou des normes, ainsi que des effets potentiels sur le bien-être des populations, les droits humains, l’égalité des sexes et l’environnement.
Qu’est-ce que l’impact et pourquoi est-il important ?
Le critère d'impact invite à s'interroger sur la différence que fait réellement l'intervention. C’est au titre de ce critère que les évaluateurs examinent les effets que l'intervention a, in fine, sur le plan du développement – si elle a induit des transformations qui comptent réellement pour les populations. C’est l’occasion d’adopter une perspective plus large et une vision globale. En effet, il est facile de se laisser absorber par les aspects liés aux activités courantes d'une intervention et de se contenter de suivre le cadre de référence auquel se conforment ceux qui la mettent en œuvre. Le critère d’impact incite les évaluateurs à aller plus loin et à déterminer quelles évolutions ont été opérées, au bénéfice de quelles populations. Le Manuel d’évaluation de l’Agence suédoise de coopération pour le développement international (Asdi) souligne l’importance de ce point (Molund et Schill, 2004[17]), indiquant que :
Le critère d’impact apporte un correctif important à ce qui pourrait sinon être une préoccupation excessivement étroite concernant les intentions de ceux qui planifient et gèrent les interventions de développement et à l'indifférence qui pourrait en résulter vis-à-vis des points de vue des groupes cibles et d'autres parties prenantes clés.
Même si le terme « impact » est couramment employé, il importe de noter qu'il prête souvent à confusion, ce qui peut influer sur la façon dont les parties prenantes appréhendent l’évaluation. En premier lieu, dans un contexte politique, il peut être utilisé de façon vague pour désigner les « résultats » au sens large, englobant à la fois l’efficacité et l’impact tels que définis dans le présent document, mais aussi d’autres aspects de la performance. En deuxième lieu, depuis quelques années, il est souvent confondu avec l'expression « évaluation d’impact », qui renvoie à des méthodologies spécifiques permettant d'établir des liens de causalité statistiquement significatifs entre l’intervention et les effets observés5. Dans cette acception, l’impact peut désigner des résultats à n’importe quel stade de la chaîne des résultats, y compris les produits, et renvoie presque toujours à des effets souhaités. C'est pourquoi il importe de clarifier dès le départ avec les parties prenantes la façon dont elles comprennent ce terme et d’expliquer comment il est utilisé dans le contexte de l’évaluation comme un critère permettant d'examiner les effets de vaste portée.
Parmi les questions susceptibles d’être posées au titre du critère d’impact figurent les suivantes :
L’intervention a-t-elle induit un changement significatif dans la vie des bénéficiaires visés ?
Comment l’intervention a-t-elle produit des effets de vaste portée (par exemple, des évolutions au niveau des normes ou des systèmes) ?
L'intervention a-t-elle apporté les mêmes bénéfices à tous les groupes cibles visés, y compris les plus défavorisés et les plus vulnérables ?
L’intervention est-elle porteuse de transformations : induit-elle des changements durables au niveau des normes – y compris celles régissant les relations entre les sexes – et des systèmes, intentionnellement ou non ?
L’intervention conduit-elle à d’autres changements, notamment des résultats susceptibles d'être portés à plus grande échelle ou reproduits ?
Comment l’intervention contribuera-t-elle à faire évoluer la société pour le mieux ?
Comprendre l’impact : éléments d’analyse
La définition de l’impact englobe les notions clés que sont les effets de vaste portée, l'importance, les effets différenciés, les effets non intentionnels et les changements porteurs de transformation.
Importance
Le critère d'impact permet de répondre à la question de savoir quelle différence a réellement fait l'intervention. Il examine l'importance de l’intervention et ses résultats de plus vaste portée, c’est-à-dire la mesure dans laquelle l'intervention a fait une différence pour les personnes concernées.
Cette définition vise à encourager les évaluateurs à examiner l'intervention sous différents angles, en fonction du contexte. Les évaluateurs devraient dûment prendre en compte le contexte, les besoins et les priorités des bénéficiaires ciblés par l’intervention, les objectifs stratégiques convenus par les institutions concernées et la nature de l’intervention elle-même. Cet élément d’analyse peut également être appliqué lors de l’examen des résultats non escomptés d’une intervention.
Lorsqu’ils évaluent l'importance6, les évaluateurs devraient être conscients de la nécessité d'adopter différents points de vue ainsi qu'une approche systématique fondée sur les besoins des parties prenantes. Ils devraient également prendre des mesures pour éviter que leurs préjugés (implicites) et leurs jugements de valeur n’influent sur leur évaluation de l'importance de l’intervention.
Impact différencié
Conformément à l'engagement des ODD de « ne laisser personne de côté » et de protéger les droits humains, y compris l’égalité entre les sexes, il importe d’évaluer les impacts différenciés. Les impacts positifs globaux peuvent masquer d’importants effets de répartition négatifs. Il est essentiel d’en tenir compte au stade de la conception de l’évaluation, voire au stade de la conception de l’intervention, afin de permettre le suivi, puis l'évaluation, de l’impact par groupe cible. Cet objectif suppose une planification précoce lors de la conception et de l’évaluation, afin de s’assurer que les évaluateurs disposent, dans la mesure du possible, de données désagrégées, et peut également nécessiter l’examen d’une série de paramètres relatifs à l’exclusion et à l’inclusion. Si des données désagrégées sont disponibles, une analyse granulaire sera nécessaire.
Effets non intentionnels
Les évaluateurs devraient déterminer si une intervention a des effets non intentionnels. Cette analyse devrait notamment viser à établir dans quelle mesure les impacts étaient prévus ou envisagés au moment de la conception de l’intervention. Les effets non intentionnels peuvent être positifs ou négatifs. Lorsqu'ils sont positifs, les évaluateurs devraient examiner leur importance globale et les possibilités d’innovation ou bien d'expansion ou de reproduction de cet impact positif sur d’autres interventions. Les évaluateurs devraient accorder une attention particulière aux effets négatifs, notamment ceux qui sont susceptibles d’être significatifs, y compris – mais sans s’y limiter – l’impact sur l’environnement ou les effets non intentionnels sur des groupes vulnérables.
Changements porteurs de transformation
Au sens de la définition, les changements porteurs de transformation sont des « évolutions globales et durables des systèmes ou des normes », qui peuvent être appréhendées comme s’attaquant aux causes profondes, ou aux facteurs systémiques, de la pauvreté, des inégalités, de l’exclusion et de la dégradation de l'environnement, et dont le Programme de développement durable à l’horizon 2030 jugent qu'elles sont nécessaires pour atteindre les ODD. Il est de plus en plus courant que les interventions visent à contribuer à un changement transformationnel et, lorsqu’ils évaluent l'impact, les évaluateurs sont de plus en plus appelés à répondre à des questions relatives aux effets sur les normes et les systèmes (systèmes sociaux, économiques ou politiques). Par exemple, une évaluation peut examiner dans quelle mesure les rôles traditionnels des femmes et des hommes ont été modifiés d’une manière ou d’une autre (voir Encadré 4.12).
Liens avec les autres critères
À l'instar des autres critères, celui relatif à l’impact interagit, sur le plan conceptuel, avec d'autres critères :
Impact et efficacité : l’impact comme l’efficacité ont trait aux résultats obtenus par l’intervention, aux effets sur les bénéficiaires et aux résultats non escomptés. La différence entre les deux critères dépend en grande partie de la manière dont l’intervention et ses objectifs ont été conçus. L’efficacité concerne généralement la réalisation des objectifs fixés (à n’importe quel niveau de la chaîne de résultats), tandis que l’impact concerne toujours les effets de plus vaste portée, qui ne seraient sinon pas automatiquement pris en compte (parce que n'ayant pas été inclus dans les objectifs). Une autre façon d’envisager la distinction entre les deux critères consiste à considérer le fait qu’avec le temps, de nombreuses interventions peuvent être jugées efficaces, sans toutefois « s’additionner » pour induire le changement de plus vaste portée ou porteur de transformation souhaité. Si l’impact n'est pas évalué, ces tendances ne sont pas analysées. La formulation des résultats escomptés d’une intervention sera différente selon les institutions, qui appliquent souvent des critères différents pour définir la chaîne de résultats. Ainsi, dans certaines institutions, les interventions doivent chacune être reliées à des objectifs plus généraux ; dans d’autres, les effets immédiats sont les seuls pris en compte. Pour appliquer les deux critères, les institutions devront veiller à ce que les exigences en matière de conception des interventions soient claires et cohérentes. Lorsque des interventions de moindre envergure, comme des projets, ne précisent pas systématiquement les liens existant avec des objectifs généraux, il importe que la politique d’évaluation prévoie une analyse d'impact – à défaut, les effets de vaste portée ne seront pas pris en compte (pour une illustration, voir Encadré 4.12).
Impact et cohérence : l’analyse de l'impact supposant l’adoption d’une perspective globale, ce critère s’accorde naturellement bien avec les considérations relatives à la cohérence, étant donné que les effets d'une intervention dépendent presque toujours d’autres interventions, d’objectifs stratégiques et d'arbitrages, ainsi que des systèmes dans lesquels l’intervention s'inscrit. Citons à titre d'exemple les programmes de coopération pour le développement qui soutiennent le renforcement des systèmes de santé publique dans les pays en développement, où l’impact est déterminé non seulement par le programme en question, mais aussi par les politiques nationales ou mondiales en matière de tarification et de réglementation des produits pharmaceutiques ou de recrutement des personnels de santé.
Impact et efficience : comme indiqué dans la section relative au critère d’efficience, les évaluateurs qui s'intéressent à l’efficience au sens large doivent examiner les résultats obtenus (par exemple, l’impact, la durabilité) dans leur globalité et comparer les résultats avec les ressources.
Impact et viabilité/durabilité : les deux critères s'intéressent, dans une certaine mesure, à la pérennité des résultats. L’impact met l'accent sur la dimension temporelle en examinant les changements porteurs de transformation (qui sont durables par nature). La viabilité/durabilité examine si les bénéfices de l'intervention perdureront. En tant que critère, la viabilité/durabilité couvre un champ plus large, car elle prend en compte les conditions permettant d’assurer la durabilité et les liens entre la durabilité économique, sociale et environnementale d’une intervention.
Intégrer la dimension de l’inclusion
Les notions de changements porteurs de transformation, d'impact différencié et d'importance sont toutes intrinsèquement liées à celle d'inclusion. Il importe ici de comprendre la nature de l’impact qui s’est produit et qui en a bénéficié. Cet impact a-t-il contribué de manière significative à la transformation des systèmes d’oppression et pourrait-il de ce fait conduire à un changement durable pour les groupes marginalisés et vulnérables ? Les évaluateurs devraient chercher à comprendre dans quelle mesure ces effets non intentionnels découlent des inégalités structurelles existant au sein de systèmes plus larges et de l’impact des interventions sur ces systèmes.
La définition révisée de l’impact met l’accent sur les résultats généraux d’une intervention, y compris les effets sociaux et économiques à long terme. Elle englobe les changements porteurs de transformation au niveau des systèmes et des normes, y compris « les effets potentiels sur le bien-être des populations, les droits humains, l’égalité des sexes et l’environnement ». L’analyse de l'impact permet aux évaluateurs d’avoir une vision plus globale de la manière dont une intervention contribue aux changements porteurs de transformation, à l’équité, aux droits humains et à l’autonomisation, et les renforce.
Difficultés posées par l'évaluation de l’impact et solutions proposées
Des six critères, l’impact est celui qui est souvent le plus difficile à évaluer et à appréhender. Ci-après figurent quatre des principaux obstacles à surmonter, assortis de propositions sur la manière de procéder.
En règle générale, l’évaluation de l’impact nécessite davantage de ressources et nettement plus de données primaires que celle des autres critères, et devrait uniquement être prévue au moment de la conception d’une évaluation lorsque ces ressources sont susceptibles d’être disponibles ou peuvent être obtenues à cette fin. D'un autre côté, c'est souvent le domaine qui suscite le plus d'attention de la part des utilisateurs, étant donné qu'il s’agit de déterminer si, et comment, l’intervention a changé le cours des choses. Par conséquent, l’investissement en temps et en effort nécessaire pour intégrer l'analyse de cette dimension dans l’évaluation est souvent justifié.
Une autre difficulté liée à l'évaluation de l'impact concerne les délais fixés par les institutions commanditaires. En effet, ceux-ci correspondent souvent à la date de clôture de l’intervention. Si cette exigence était assouplie, l’impact pourrait être examiné sur une plus longue période de temps, ce qui permettrait de mieux appréhender les effets dont l'existence n'apparaît qu'après l'achèvement d'une intervention.
Le tableau ci-après décrit plusieurs des principales difficultés rencontrées lors de l’évaluation de l’impact et propose à l'intention des évaluateurs comme des responsables d'évaluation des solutions pour les surmonter.
Tableau 4.5. Difficultés posées par l'évaluation de l’impact
Exemples d’évaluation de l’impact
Cette partie présente une sélection d'exemples d'évaluation de l’impact en lien avec des interventions portant sur l’autonomisation des familles, sur la consolidation de la paix, sur le soutien à la recherche, sur l’aménagement du territoire et sur la violence à l'égard des femmes et des filles.
Encadré 4.12. Évaluer l’efficacité et l’impact du programme « Plus de familles en action » en Colombie
Une évaluation de l'impact d'un point de vue opérationnel et de l'impact sur le bien-être du programme « Plus de familles en action », mis en œuvre en Colombie, offre un exemple intéressant de la façon dont des évolutions profondes et globales peuvent être appréhendées et recensées, notamment la manière dont certains aspects sont évalués au titre de l’efficacité et de l’impact, sous des angles légèrement différents. Cette évaluation examinait le rôle des Madres Lideres, des femmes qui servent de porte-parole de leur communauté et qui ont été formées pour aider à la mise en œuvre du programme.
D’un point de vue opérationnel, l'évaluation analysait le rôle joué par les Madres Lideres pour soutenir l’efficacité du programme, mettant en lumière le rôle essentiel des femmes dans sa mise en œuvre et ses résultats.
Au niveau plus général, l’évaluation a déterminé que leur participation au programme avait eu des effets positifs sur l’autonomisation des femmes, ainsi que des effets potentiellement porteurs de transformation sur les communautés dans leur ensemble en modifiant la perception du rôle des femmes dans la société. Ces évolutions générales des normes sont appréhendées au titre du critère d’impact.
Source : Economía Urbana et Ipsos (2019[18]), Evaluación de operaciones del programa "más familias en acción" y de resultados del componente de bienestar comunitário [Évaluation du programme « Plus de familles en action »], https://colaboracion.dnp.gov.co/CDT/Sinergia/Documentos/Evaluacion_MFA_Informe_Resultados.pdf
Encadré 4.13. Évaluer l’impact du soutien apporté par l’Asdi à la consolidation de la paix dans des pays touchés par un conflit ou sortant d’un conflit
Cette évaluation constitue un exemple intéressant de la prise en compte du critère d’impact pour examiner des interventions complexes menées sur une longue période dans des situations de fragilité. Elle évaluait l’impact en termes d’incidence globale des efforts déployés par l'Agence suédoise de coopération pour le développement international (Asdi) à l'appui de la consolidation de la paix et examinait les résultats directs, indirects, intentionnels et non intentionnels, positifs et négatifs.
L'évaluation appréhendait les impacts à long terme en adoptant une perspective à très long terme, couvrant les activités de consolidation de la paix menées en Somalie, au Rwanda, en Bosnie et au Guatemala du début des années 90 à la fin des années 2010. Outre l’impact global, elle s’intéressait particulièrement aux femmes et aux groupes marginalisés. La méthodologie du « changement le plus significatif » était utilisée pour évaluer la contribution apportée par l’intervention.
Source : Bryld (2019[19]), Evaluation of Sida’s Support to Peacebuilding in Conflict and Post-Conflict Contexts: Somalia Country Report, https://publikationer.sida.se/contentassets/1396a7eb4f934e6b88e491e665cf57c1/eva2019_5_62214en.pdf
Encadré 4.14. Évaluation de l’impact dans le cadre d'une évaluation stratégique de l’action publique
Dans le cadre d'une évaluation du soutien apporté et des recherches menées par 21 autorités danoises, engagées dans 40 projets dans 18 pays partenaires, une des principales conclusions dressées au titre du critère d’impact concernait l’importance des effets globaux sur l'autonomisation des institutions partenaires. L'évaluation concluait qu'une des principales réalisations de l’intervention avait été de donner des moyens d’action aux autorités partenaires au-delà des objectifs officiels du projet. Cette conclusion renvoie à la capacité du Danemark d'interagir et de nouer des liens avec les principaux acteurs du secteur public, du secteur privé, de la société civile et du développement, et d'influencer les résultats plus généraux des politiques et des programmes. Ce type de réalisations apportent des bénéfices mutuels aux deux partenaires, mais passent le plus souvent « inaperçues » dans le suivi des interventions. Or, il s’agit d’un résultat essentiel du programme, qui doit entrer en ligne de compte pour en apprécier toute la valeur ajoutée.
Source : PEM Consult (2020[20]), Evaluation of the Danish Strategic Sector Cooperation, https://um.dk/en/danida-en/results/eval/eval_reports/publicationdisplaypage/?publicationID=CBE77158-1D4D-46E3-A81F-9B918218FAFF
Encadré 4.15 Évaluation de l’impact, de la diffusion et de la montée en puissance d’une approche globale de l’aménagement du territoire aux Philippines
Examinant l’impact d’une intervention d'aménagement du territoire, cette évaluation analysait ses effets à moyen et long terme, sur la base d’indicateurs environnementaux et socioéconomiques.
Elle appliquait une approche théorique et un mélange de techniques, s’appuyant sur des données de panel issues d’une enquête à plusieurs niveaux, des entretiens qualitatifs, des groupes de discussion, une revue de la littérature, une analyse des documents d’aménagement du territoire et des données et des informations géographiques. Une reconstruction complète de la théorie du changement de l’intervention a été effectuée par les évaluateurs.
L'évaluation s'articulait autour d'une analyse d’impact rigoureuse qui mesurait et quantifiait les effets dans cinq domaines allant de l’amélioration des structures administratives et des conditions dans les administrations en charge de la planification à l’amélioration du bien-être de la population concernée, en passant par la gestion des ressources naturelles, les mesures et les activités liées à la gestion des risques de catastrophe et le fonctionnement de la gouvernance locale.
Les données de panel étaient constituées de 3 000 ménages, répartis dans 300 barangays (unités administratives locales) dans 100 municipalités, au sein de 11 provinces de la région des Visayas, et deux mesures avaient été réalisées dans le temps (2012 et 2016). Parmi ces ménages, certains avaient reçu une aide de l’agence de développement allemande, la GIZ (Deutsche Gesellschaft für Internationale Zusammenarbeit), d'autres non. La méthode d’évaluation de l’impact intégrait également un modèle quasi-expérimental fondé sur l’appariement des scores de propension afin d’identifier des « jumeaux statistiques », et se basait sur plusieurs dizaines de caractéristiques des municipalités, des barangays et des ménages.
Source : Leppert et al. (2018[21]), Impact, Diffusion and Scaling-Up of a Comprehensive Land-Use Planning Approach in the Philippines: From Development Cooperation to National Policies, https://www.deval.org/files/content/Dateien/Evaluierung/Berichte/2018/Zusammenfassung_Deutsch_%20DEval-2018_Philippinen_final_web-2.pdf
Encadré 4.16. Évaluation de l’impact du programme « Girl Empower » au Libéria
Cette évaluation, réalisée par le Comité international de secours, fournit un exemple spécifique d’évaluation de l’impact d’une intervention multidimensionnelle visant à lutter contre la violence à l’égard des femmes et des filles : le projet « Girl Empower – Mentoring and Cash Transfer Intervention to Promote Adolescent Wellbeing in Liberia ». Cette intervention a été mise en œuvre dans le comté de Limba en 2016. Cet exemple illustre bien comment les résultats spécifiques évalués au regard des critères d'efficacité et d’impact varient selon la définition des objectifs de l’intervention.
Évaluation de l’impact
L’étude avait pour objet d’évaluer spécifiquement l’impact d’un type particulier d’intervention visant à lutter contre la violence à l’égard des femmes et des filles au Libéria, qui consistait à intégrer une composante de transfert en espèces dans une intervention ayant pour but à la fois de contribuer au renforcement économique et de transformer les rapports sociaux entre les femmes et les hommes au bénéfice des très jeunes adolescentes.
L’évaluation a recueilli des informations initiales et finales détaillées sur l’étendue de la violence à l’encontre des jeunes femmes et des filles et sur les effets spécifiques de l’intervention, à la fois pendant l’intervention et un an après. Les résultats ont été mesurés au moyen d’un essai contrôlé randomisé par grappes au niveau des villages. L'étude était conçue de manière à évaluer 1) l’impact global du programme, comparé à un groupe contrefactuel (le groupe de contrôle) et 2) l’efficacité de l’intégration d’un paiement encourageant la participation (« programme GE+ »), en particulier pour mesurer si l’octroi d’incitations financières aux filles présentait des avantages en termes de protection et d’autonomisation, réduisant par là le risque de violence sexuelle, à travers une éventuelle participation accrue des filles aux sessions du programme.
Les effets sur l'autonomisation et l'évolution des normes et des attitudes sociales concernant la place des filles dans la société et la violence sont des exemples d'impacts porteurs de transformation.
Source : Hallman et al. (2018[22]), Girl Empower Impact Evaluation: Mentoring and Cash Transfer Intervention to Promote Adolescent Wellbeing in Liberia, https://www.rescue.org/sites/default/files/document/4346/girlempowerimpactevaluation-finalreport.pdf
Viabilité/durabilité
Définition de la viabilité/durabilité :
Viabilité/durabilité : Les bénéfices seront-ils durables ?
Mesure dans laquelle les bénéfices nets de l’intervention perdureront ou sont susceptibles de perdurer.
Remarque : Sont englobés l’examen des capacités financières, économiques, sociales, environnementales et institutionnelles des systèmes nécessaires à la continuité des bénéfices nets dans le temps. Cela comprend les analyses de la résilience, des risques et des arbitrages potentiels entre priorités. Selon le moment où l’évaluation est effectuée, ce processus peut consister à analyser le flux réel de bénéfices nets ou à estimer la probabilité qu'ils perdurent à moyen et long terme.
Qu’est-ce que la viabilité/durabilité et pourquoi est-elle importante ?
L’évaluation de la viabilité/durabilité permet aux évaluateurs de déterminer si les bénéfices d’une intervention perdureront sur le plan financier, économique, social et environnemental. La viabilité/durabilité pose la question « Les bénéfices se maintiendront-ils dans le temps ? » Si la notion sous-jacente de bénéfices qui perdurent demeure, le critère est à la fois plus concis et plus large dans sa portée que dans sa définition antérieure8. La viabilité/durabilité englobe plusieurs éléments d’analyse – financiers, économiques, sociaux et environnementaux – et il convient de prêter attention à l’interaction entre ces éléments.
Il peut y avoir confusion entre la viabilité/durabilité au sens de la continuation des résultats, et la durabilité environnementale ou l’utilisation des ressources pour les générations futures. Même si la durabilité environnementale est une préoccupation (et peut être examinée au titre de plusieurs critères, notamment la pertinence, la cohérence, l’impact et la viabilité/durabilité), elle ne constitue pas en tant que telle l'objet principal des critères ; lorsqu’ils décrivent la viabilité/durabilité, les évaluateurs devraient indiquer clairement la façon dont ils interprètent ce critère.
La viabilité/durabilité devrait être examinée à chaque étape de la chaîne de résultats et du cycle d’une intervention. Les évaluateurs devraient également appréhender cette notion en lien avec celles de résilience et d’adaptation dans des environnements dynamiques et complexes. Cela inclut la viabilité/pérennité des ressources (financières ou autres) une fois l’intervention achevée ainsi que la durabilité/pérennité des impacts dans le contexte plus large de l’intervention. Ainsi, une évaluation pourrait chercher à déterminer si une intervention a pris en compte les capacités des partenaires et favorisé l’appropriation au début de la période de mise en œuvre, et s'il existait une volonté et la capacité de pérenniser le financement à la fin de l’intervention. En règle générale, les évaluateurs peuvent examiner les conditions qui favorisent la viabilité/durabilité au niveau de la conception de l’intervention et de ses activités, et déterminer si des adaptations ont été effectuées, le cas échéant.
Les évaluateurs ne devraient pas considérer la viabilité/durabilité du seul point de vue des donneurs et des apports de financement extérieurs. Les commanditaires devraient également envisager d’évaluer cet aspect avant le début d’une intervention, ou pendant que le financement ou les activités sont en cours. Lorsqu’ils évaluent la viabilité/durabilité, les évaluateurs devraient : 1) tenir compte des bénéfices nets, c’est-à-dire de la valeur globale des bénéfices permanents de l’intervention, y compris les éventuels coûts récurrents, et 2) analyser tout arbitrage potentiel ainsi que la résilience des capacités/systèmes sous-tendant la continuation des bénéfices. Un arbitrage peut être nécessaire, par exemple, entre la viabilité budgétaire des bénéfices et la viabilité politique (c'est-à-dire le maintien du soutien des instances politiques).
L’évaluation de la viabilité/durabilité fournit des informations précieuses sur la continuation (probable) des bénéfices nets d’une intervention sur le moyen à long terme, ce qui se révèle très difficile dans la pratique, comme l’ont montré diverses méta-analyses. À titre d'illustration, dans certains secteurs comme l’eau et l’assainissement ou pour certains types d’intervention comme le développement d'impulsion locale, les bénéfices s’estompent souvent au bout d'un certain temps. Dans ce cas, l’évaluation peut avoir pour rôle d’examiner minutieusement les hypothèses de la théorie du changement relatives à la manière d'assurer la viabilité/durabilité des résultats (Mansuri et Rao, 2013[23] ; White, Menon et Waddington, 2018[24]).
Une évaluation qui examine attentivement ces différents aspects pourra livrer d'importants éclairages sur la manière dont les interventions peuvent planifier et mettre en œuvre un changement qui garantisse un développement durable à l’avenir. Les enseignements tirés peuvent mettre en relief la possibilité d'étendre, dans le contexte en question, les mesures de viabilité mises en place dans le cadre de l'intervention, ou de les reproduire dans d’autres contextes.
La planification de la sortie constitue un aspect essentiel de la viabilité/durabilité. Les évaluations devraient déterminer si une stratégie de sortie appropriée a été élaborée et appliquée, ce qui garantirait la continuation des effets positifs, y compris, mais sans s’y limiter, les considérations financières et en matière de capacités. Dans le cas d'une évaluation ex post, l’évaluateur peut également examiner si la stratégie de sortie prévue a été dûment mise en œuvre pour garantir la continuation des effets positifs comme anticipé, tout en s'adaptant aux évolutions du contexte, comme le montrent les exemples ci-après.
Les récentes méta-évaluation (Noltze, Euler et Verspohl, 2 018[25]) et synthèse d'évaluation (Noltze, Euler et Verspohl, 2018[26]) de l’Institut allemand pour l’évaluation du développement (DEval) constituent une ressource utile pour mieux comprendre la viabilité/durabilité et relever des défis communs. Ces deux études mettent en évidence les différents éléments d’analyse de cette notion qui peuvent être examinés dans une évaluation. La méta-évaluation plaide fortement en faveur d'une évaluation de la viabilité/durabilité qui intègre les principes des ODD, et souligne les domaines dans lesquels ce type d'évaluation peut apporter une valeur ajoutée. Il s'agit notamment d'analyser comment l’identification et l’évaluation des effets non intentionnels d’un projet ainsi que des interactions ou des arbitrages entre les différentes dimensions de la viabilité/durabilité peuvent favoriser l’apprentissage et l'exercice de la redevabilité lorsque ce critère est appliqué.
Comprendre la viabilité/durabilité : éléments d’analyse
Pour comprendre la définition de la viabilité/durabilité, il faut en comprendre les composantes que sont la création d'un environnement propice, la continuation des effets positifs, et les risques et les arbitrages.
Créer un environnement propice au développement durable
Les évaluations peuvent examiner la manière dont une intervention a contribué, de multiples façons, à améliorer l’environnement propice au développement, y compris la manière dont elle a permis de renforcer les systèmes, les institutions ou les capacités pour soutenir les activités futures en matière de développement ou d'action humanitaire. Cette approche incite les évaluateurs à prendre en compte les capacités des partenaires au développement qui ont été créées ou renforcées sous l'effet de l’intervention, ainsi que la résilience acquise face aux évolutions et aux chocs extérieurs – garantissant ainsi que les bénéfices nets perdureront (voir plus haut).
Une intervention peut, par exemple, améliorer l’environnement propice au développement à travers les contributions suivantes : renforcement des capacités (au niveau individuel, local ou institutionnel) ; renforcement de l’appropriation ou de la volonté politique ; hausse des engagements financiers ou budgétaires nationaux (et, le cas échéant, infranationaux) ; changement de politique ou de stratégie ; réforme législative ; réformes institutionnelles ; réformes de la gouvernance ; amélioration de la transparence des dépenses publiques ou amélioration des processus de consultation publique dans la planification du développement.
Continuation des effets positifs : viabilité/durabilité réelle et potentielle
La viabilité/durabilité peut être évaluée sur différentes périodes. Les évaluateurs peuvent évaluer à la fois la viabilité/durabilité réelle (c’est-à-dire la continuation des bénéfices nets découlant de l’intervention qui sont déjà manifestes) et la viabilité/durabilité potentielle (c’est-à-dire les bénéfices nets pour les principales parties prenantes qui sont susceptibles de perdurer). Les évaluateurs devraient réfléchir avec soin aux approches d’évaluation qui conviennent pour évaluer ces deux aspects de la viabilité/durabilité, en fonction du calendrier de l’évaluation et des délais prévus pour obtenir les bénéfices escomptés. Concernant les évolutions de plus vaste portée, beaucoup d'entre elles nécessiteront de longues années, voire des décennies, avant de se réaliser pleinement.
Dans le cadre de l’évaluation de la viabilité/durabilité réelle, l’évaluateur peut examiner dans quelle mesure les effets positifs générés par l’intervention ont manifestement perduré pour les parties prenantes clés, notamment les bénéficiaires ciblés, une fois l’intervention achevée. Les évaluateurs peuvent également s'attacher à déterminer si des possibilités ont été identifiées, anticipées et planifiées pour contribuer à ce que les effets positifs perdurent, et s'il a été fait de même pour d'éventuels obstacles. Ce processus peut étayer les conclusions mettant en évidence la capacité d’une intervention à s'adapter en tant que de besoin.
L’examen de la viabilité/durabilité potentielle suppose une approche légèrement différente. Il s'agit d'évaluer la probabilité que les effets positifs actuels ou prévus de l’intervention perdurent, généralement en partant du principe que les conditions du moment restent les mêmes. L’évaluation devra dans ce cas déterminer le niveau de stabilité et la permanence relative de tout effet positif obtenu, ainsi que les conditions nécessaires à sa pérennité – viabilité/durabilité institutionnelle, économique et financière, environnementale, politique, sociale et culturelle.
Risques et arbitrages potentiels
L’évaluation de la viabilité/durabilité suppose d'examiner non seulement la probabilité que les effets positifs perdurent, mais aussi les risques potentiels et les coûts récurrents associés à une intervention. Par conséquent, les responsables d’évaluation devraient tenir compte des facteurs susceptibles d’améliorer la viabilité/durabilité des bénéfices nets sur la durée, ainsi que des facteurs susceptibles d’y faire obstacle. L’examen des risques liés à la viabilité/durabilité d’une intervention peut nécessiter d'évaluer dans quelle mesure il existe des facteurs contextuels positifs ou négatifs, identifiables ou prévisibles, susceptibles d’influer sur la pérennité des résultats de l’intervention.
D'où la question des arbitrages à opérer, qui est un élément important des critères révisés. L’évaluation des arbitrages associés à une intervention incite à examiner l’arbitrage entre impact immédiat et effets ou coûts potentiels à plus long terme, ainsi que les arbitrages entre les aspects financiers, économiques, sociaux et environnementaux. À titre d'illustration, il peut ressortir d'une évaluation qu’une intervention a soutenu la croissance économique, mais que cette croissance n’est pas durable en raison de ses importants coûts environnementaux, qui peuvent avoir un impact négatif sur la croissance économique à long terme. Un tel constat s'inscrit dans le droit fil de la définition du développement durable consacrée par les ODD et élargit le champ de l'évaluation de sorte que ne soit pas simplement examinée la probabilité d'une continuation des effets positifs d’une intervention.
Liens avec les autres critères
La viabilité/durabilité est étroitement liée aux autres critères.
La viabilité/durabilité est liée à la pertinence, le niveau de pertinence pour les principales parties prenantes étant un facteur essentiel qui détermine leur appropriation et leur adhésion aux bénéfices ultimes, étapes clés pour assurer la viabilité/durabilité.
De même, la cohérence peut fournir des indications utiles sur la viabilité/durabilité, car elle examine d’autres interventions menées dans un contexte donné, qui pourraient renforcer, ou compromettre, les bénéfices de l’intervention sur la durée.
Efficacité et impact : l’évaluation de la continuation des résultats repose d’abord sur le fait que les résultats ont été atteints (efficacité) et ensuite, sur le fait que des effets de plus vaste portée ont été démontrés (impact). Par conséquent, l’efficacité et l’impact peuvent être considérés comme des critères prédominants pour examiner la viabilité/durabilité, car si leur analyse ne montre pas que l’intervention produit des réalisations, des résultats ou des impacts, il n’y aura pas de bénéfices explicites à pérenniser. L’Encadré 4.19 fournit un exemple de la manière dont l’impact et la viabilité/durabilité peuvent être examinés conjointement. Examiner les synergies entre l’impact, l’efficacité et la viabilité/durabilité en évaluant les conditions qui sont suffisantes et nécessaires pour que les résultats perdurent une fois l’intervention achevée permet aux évaluateurs d’analyser l’efficacité et l’impact à plus long terme.
Les préoccupations en matière d’efficience peuvent également compromettre la pérennité des bénéfices. La viabilité/durabilité peut être compromise, par exemple, lorsque les coûts à court terme guident la prise de décision, au détriment des effets à plus long terme.
Intégrer la dimension de l’inclusion
La définition révisée de la viabilité/durabilité et la remarque associée attirent l’attention sur les dimensions « financière, économique, environnementale et sociale » de cette notion et sur la manière dont ces dimensions contribuent à ce que les résultats de l'intervention apportent des bénéfices constants et à long terme. Les évaluateurs devraient examiner la manière dont la continuation des bénéfices a été planifiée ou, s'il s'agit d'une évaluation ex post, dont elle est manifeste pour les différents groupes de bénéficiaires. À cet égard, l’accent devrait être mis sur le principe consistant à « ne laisser personne de côté » et sur la manière dont les groupes marginalisés tirent des bénéfices positifs permanents, ainsi que sur les arbitrages éventuellement opérés entre différentes catégories de population.
Il est également pertinent que les évaluateurs examinent dans quelle mesure l’intervention a créé un environnement propice à un développement inclusif et équitable, en s’intéressant aux problèmes systémiques sous-jacents (« traiter la maladie, pas seulement les symptômes ») au titre des critères d’impact et de viabilité/durabilité. Les questions d’appropriation et d’autonomisation des femmes sont importantes à cet égard. La viabilité/durabilité des systèmes exige un renforcement des capacités. Les évaluateurs devraient donc être en mesure de déterminer quelles sont les groupes dont les capacités ont été renforcées et quels sont les liens avec les systèmes et les structures inégalitaires en place. Ils devraient se poser la question de savoir si les différentes catégories de parties prenantes possèdent les capacités et affichent l’engagement nécessaires pour créer et préserver à moyen et long terme un environnement propice à l’égalité des sexes et à l’autonomisation des femmes. Si tel n’est pas le cas, ils devraient déterminer quels sont les obstacles qui se dressent sur cette voie et si ceux-ci relèvent du champ d'action de l’intervention.
Difficultés posées par l'évaluation de la viabilité/durabilité et solutions proposées
Le tableau ci-après décrit certaines difficultés rencontrées lors de l’évaluation de la viabilité/durabilité, liées au calendrier, à l’absence d’effets positifs et à d’autres facteurs compromettant la viabilité/durabilité, et propose des solutions à l'intention des évaluateurs comme des responsables d’évaluation.
Tableau 4.6. Difficultés posées par l'évaluation de la viabilité/durabilité
Exemples d’évaluation de la viabilité/durabilité
Cette partie présente des exemples d'évaluation de la viabilité/durabilité en lien avec un projet de développement rural en Afghanistan, un programme de soutien budgétaire général et un programme relatif à la santé maternelle.
Encadré 4.17. Examen de la viabilité/durabilité dans une évaluation ex post d'un projet japonais de développement rural intercommunal en Afghanistan
Le projet de développement rural intercommunal a été mis en œuvre dans le cadre de l’initiative Ogata de l’Agence japonaise de coopération internationale (JICA). Il visait à établir un modèle de développement rural piloté au niveau local, susceptible de contribuer à la reconstruction et au développement rural dans les provinces de Balkh, Bamyan et Kandahar en Afghanistan. L'évaluation ex post a examiné la viabilité/durabilité de cette intervention en lien avec les efforts de reconstruction consécutifs à la guerre civile en Afghanistan.
Après avoir déterminé que l’intervention avait été mise en œuvre avec succès et avait atteint ses objectifs, l’évaluation a examiné la pérennité des bénéfices obtenus. Dans le cadre de l'analyse s'est posée la question de savoir si les conditions politiques, institutionnelles, techniques et financières étaient en place pour permettre aux effets positifs de perdurer. Parmi ces conditions figuraient notamment la capacité et la volonté du gouvernement afghan de poursuivre la mise en œuvre après l'achèvement du projet.
L’évaluation a conclu que l’intervention avait mis en place des systèmes de suivi en coopération avec d’autres donneurs, ainsi qu’une base budgétaire reposant sur les apports des donneurs, ce qui complétait et renforçait les capacités du système national du pays touché par le conflit. Elle a également confirmé que le gouvernement afghan était déterminé à poursuivre le développement rural piloté au niveau local en regroupant les conseils locaux de développement, avec le soutien des donneurs. Le projet a également été intégré au Programme de solidarité nationale. Par conséquent, l’évaluation a conclu que les conditions politiques, institutionnelles, techniques et financières nécessaires à la continuation des effets positifs étaient en place et qu’il n’existait aucun risque apparent.
Source : Watanabe (2016[27]), Ex-Post Evaluation of Technical Co-operation Project “Inter-Communal Rural Development Project”, https://www2.jica.go.jp/en/evaluation/pdf/2015_0603847_4.pdf
Encadré 4.18. Leçons sur la viabilité/durabilité tirées de l’évaluation du retrait du programme de soutien budgétaire général au Malawi, en Ouganda, au Rwanda et en Zambie
Cette étude, qui constitue un exemple intéressant d’utilisation réfléchie du critère de viabilité/durabilité dans une évaluation, examinait dans quelle mesure l’intervention avait dûment posé les jalons nécessaires pour que ses effets positifs perdurent après le retrait du programme de soutien budgétaire, et si elle contribuait à la création d’un environnement propice au développement. Elle été réalisée à la suite du retrait du soutien budgétaire général opéré à partir de 2010 environ en raison d'une série de scandales dans les pays bénéficiaires et de pressions dans les pays donneurs pour que la reddition de comptes soit assurée. Ce revers faisait suite au mouvement en faveur de mesures de soutien budgétaire, apparu au début des années 2000 en réaction à la Déclaration de Paris sur l’efficacité de l’aide (2005). Le soutien budgétaire était largement considéré comme un moyen efficace et durable de contribuer aux résultats en matière de développement. Plusieurs évaluations et études de synthèse montraient, données à l'appui, que le soutien budgétaire avait eu un effet positif sur des résultats importants en matière de développement, comme l’augmentation des dépenses en faveur des pauvres, l’accroissement de la scolarisation et l’amélioration de la gestion des finances publiques.
L’évaluation a pris la forme d'une étude de cas comparative au Malawi, en Ouganda, au Rwanda et en Zambie et visait à déterminer si des stratégies appropriées avaient été mises en œuvre pour garantir la continuation des effets positifs associés au soutien budgétaire général après son retrait. Elle a mis en lumière le fait que, même si le niveau global d'aide était resté constant dans la plupart des pays à la suite de la décision de supprimer le soutien budgétaire général, les structures établies avaient pour la plupart disparu. La majorité des réalisations positives avaient été négativement affectées, voire réduites à néant. Le financement indépendant de type projet s’est révélé la nouvelle modalité dominante dans les portefeuilles d’aide bilatérale, le financement conjoint étant limité à quelques secteurs et programmes. Cette situation a entraîné des externalités négatives et une forte fragmentation de l’aide. Partant, il a été difficile de favoriser une appropriation nationale ou de s'attaquer à des problèmes systémiques ou plus généraux en matière de gouvernance.
Source : Orth, Birsan et Gotz (2018[28]), The Future of Integrated Policy-Based Development Cooperation: Lessons from the Exit from General Budget Support in Malawi, Rwanda, Uganda and Zambia, http://www.deval.org/files/content/Dateien/Evaluierung/Berichte/2018/DEval_EN_The%20Future%20of%20Integrated%20Policy-Based%20Development%20Cooperation..pdf
Encadré 4.19. Évaluer l’impact et la viabilité/durabilité du programme du DFID en faveur de la santé maternelle
Menée par l’Independent Committee on Aid Impact (ICAI, commission indépendante sur l’impact de l’aide), cette évaluation des résultats obtenus par le Department for International Development (DFID) du Royaume-Uni dans le domaine de l'amélioration de la santé maternelle dans différents pays illustre comment l’impact et la viabilité/durabilité peuvent être considérés simultanément. Les examens de l’ICAI suivent une approche spécifique qui, dans le cas présent, accordait la priorité à trois grands domaines, à savoir l’impact, l’équité et la viabilité/durabilité. Les questions correspondantes étaient notamment les suivantes :
Impact : dans quelle mesure le DFID a-t-il maximisé l’impact de ses programmes relatifs à la santé maternelle ? Quelle est la solidité de ses affirmations concernant les résultats obtenus en matière de santé maternelle aux niveaux de la planète, des pays et des programmes ? Dans quelle mesure ses investissements tiennent-ils compte des données mondiales sur les éléments qui fonctionnent pour améliorer la santé maternelle, et dans quelle mesure ses programmes ont-ils produit les résultats requis pour améliorer la santé maternelle ?
Équité : avec quelle efficacité les programmes ont-ils ciblé les femmes difficiles à atteindre et marginalisées ? Dans quelle mesure le DFID contribue-t-il au renforcement des systèmes de santé et à l’amélioration de l’accès des femmes à ces systèmes ?
Viabilité/durabilité : les résultats du DFID en matière de santé maternelle sont-ils susceptibles de se révéler durables ? Dans quelle mesure le DFID a-t-il soutenu la mise en place et la mise en œuvre de politiques et d’institutions nationales pour garantir des résultats durables ?
Dans le présent contexte, l’équité englobe la prise en compte directe des effets spécifiques sur les femmes pauvres et jeunes, conformément à la nature de l’intervention. Ce type de questions, portant sur les résultats différenciés et sur des groupes de population particuliers, peuvent être abordées sous différents angles dans le cadre des nouvelles définitions de la pertinence, de l’efficacité et de l’impact. La viabilité/durabilité est considérée en termes de « probabilité » de pérennité des résultats, étant donné que la durabilité réelle (ex post) ne peut être observée que sur une période plus longue (dans le futur).
Dans ce cas, la méthodologie consiste à réaliser une évaluation indépendante (dans le respect du rôle et du mandat de l’ICAI) des affirmations du DFID concernant les résultats de ses activités d’amélioration de la santé maternelle, y compris ses travaux de modélisation. Elle s’appuie sur des documents, des entretiens et des visites sur le terrain.
Source : ICAI (2018[29]), Assessing DFID’s results in improving Maternal Health: An impact review, https://icai.independent.gov.uk/wp-content/uploads/ICAI-review-Assessing-DFIDs-results-in-improving-Maternal-Health-.pdf
Références
[36] ADE (2019), Joint Evaluation of the Integrated Solutions Model in and around Kalobeyei, Turkana, Kenya, UNHCR and Danida, https://um.dk/en/danida-en/results/eval/eval_reports/publicationdisplaypage/?publicationid=dd54bef1-1152-468c-974b-c171fbc2452d (consulté le 11 janvier 2021).
[8] Affaires mondiales Canada (2019), Évaluation de l’aide à la reconstruction en cas de catastrophe naturelle aux Philippines 2013-14 to 2018-19, Affaires mondiales Canada, https://www.international.gc.ca/gac-amc/publications/evaluation/2019/endra-earcn-philippines.aspx?lang=fra (consulté le 12 janvier 2021).
[11] Arghiros, D. et al. (2017), Making it Count: Lessons from Australian Electoral Assistance 2006-16, Gouvernement de l’Australie, Département des affaires étrangères et du commerce, http://www.oecd.org/derec/australia/australia-electoral-assistance-2006-2016.pdf (consulté le 11 janvier 2021).
[15] Baltzer, K. et H. Hansen (2011), Agricultural Input Subsidies in Sub-Saharan Africa: Evaluation Study, DANIDA, Agence danoise de développement international, ministère des affaires étrangères du Danemark,, http://www.oecd.org/derec/49231998.pdf (consulté le 11 janvier 2021).
[41] Bamberger, M., J. Vaessen et E. Raimondo (2015), Dealing With Complexity in Development Evaluation - A Practical Approach, https://www.betterevaluation.org/en/resources/dealing_with_complexity_in_development_evaluation (consulté le 11 janvier 2021).
[32] Beck, T. (2016), Evaluating Humanitarian Action using the OECD-DAC Criteria, ALNAP, https://www.alnap.org/help-library/evaluating-humanitarian-action-using-the-oecd-dac-criteria (consulté le 11 janvier 2021).
[48] Befani, B. et J. Mayne (2014), « Process Tracing and Contribution Analysis: A Combined Approach to Generative Causal Inference for Impact Evaluation », IDS Bulletin, vol. 45/6, pp. 17-36, https://doi.org/10.1111/1759-5436.12110.
[47] Belcher, B. et M. Palenberg (2018), « Outcomes and Impacts of Development Interventions », American Journal of Evaluation, vol. 39/4, pp. 478-495, https://doi.org/10.1177/1098214018765698.
[40] BMZ and DEval (2020), Evaluation Criteria for German Bilateral Development Co-operation.
[19] Bryld, E. (2019), Evaluation of Sida’s Support to Peacebuilding in Conflict and Post-Conflict Contexts: Somalia Country Report, Asdi, https://publikationer.sida.se/contentassets/1396a7eb4f934e6b88e491e665cf57c1/eva2019_5_62214en.pdf (consulté le 11 janvier 2021).
[46] Chambers, R. et al. (2009), « Méthodologie de l’évaluation d’impact : présentation de différentes approches », n° 4, 3ie, https://www.3ieimpact.org/sites/default/files/2019-05/3ie_working_paper_4_french_0.pdf (consulté le 11 janvier 2021).
[38] D’Errico, S., T. Geoghe et I. Piergallini (2020), Evaluation to connect national priorities with the SDGs | Publications Library, IIED, https://pubs.iied.org/17739IIED (consulté le 22 février 2021).
[35] Danida (2019), Evaluation of Water, Sanitation and Environment Programmes in Uganda (1990-2017), Evaluation Department, Ministry of Foreign Affairs of Denmark, http://www.oecd.org/derec/denmark/denmark-1990-2017-wash-environment-uganda.pdf (consulté le 11 janvier 2021).
[42] Davis, R. (2013), « Planning Evaluability Assessments: A Synthesis of the Literature with Recommendations », n° 40, DIFD, https://www.gov.uk/government/publications/planning-evaluability-assessments (consulté le 12 janvier 2021).
[18] Economía Urbana et IPSOS (2019), Evaluación de operaciones del programa « más familias en acción » y de resultados del componente de bienestar comunitario, [Evaluation of the "More Families in Action" programme], Departamento Nacional de Planeación, Bogotá D.C., https://colaboracion.dnp.gov.co/CDT/Sinergia/Documentos/Evaluacion_MFA_Informe_Resultados.pdf (consulté le 15 janvier 2021).
[5] Eurecna Spa (2020), Bolivia - Evaluation of Health Initiatives (2009-2020), Ministère des Affaires étrangères et de la Coopération internationale de l’Italie, http://www.oecd.org/derec/italy/evaluation-report-of-health-initiatives-in-Bolivia-2009_2020.pdf (consulté le 11 janvier 2021).
[4] FAO (2020), Evaluation of « Improving farmer livelihoods in the dry zone through improved livestock health, productivity and marketing », Organisation des Nations Unies pour l’alimentation et l’agriculture, Rome, http://www.fao.org/3/ca8463en/ca8463en.pdf (consulté le 11 janvier 2021).
[45] Gertler, P. et al. (2016), Impact Evaluation in Practice: Second Edition, Groupe de la Banque mondiale, Washington, D.C., https://publications.iadb.org/en/impact-evaluation-practice-second-edition (consulté le 12 janvier 2021).
[44] GNUE (2013), Impact Evaluation in UN Agency Evaluation Systems: Guidance on Selection, Planning and Management, http://www.uneval.org/document/detail/1433 (consulté le 12 janvier 2021).
[22] Hallman, K. et al. (2018), Girl Empower Impact Evaluation: Mentoring and Cash Transfer Intervention to Promote Adolescent Wellbeing in Liberia, International Rescue Committee, https://www.rescue.org/sites/default/files/document/4346/girlempowerimpactevaluation-finalreport.pdf (consulté le 12 janvier 2021).
[34] Helle, E. et al. (2018), From Donors to Partners? Evaluation of Norwegian Support to Strengthen Civil Society in Developing Countries through Norwegian Civil Society Organisations, Norad Norwegian Agency for Development Cooperation, https://www.norad.no/globalassets/filer-2017/evaluering/1.18-from-donor-to-partners/1.18-from-donors-to-partners_main-report.pdf (consulté le 11 janvier 2021).
[29] ICAI (2018), Assessing DFID’s Results in Improving Maternal Health: An Impact Review, The Independent Commission for Aid Impact, https://icai.independent.gov.uk/wp-content/uploads/ICAI-review-Assessing-DFIDs-results-in-improving-Maternal-Health-.pdf (consulté le 11 janvier 2021).
[2] IDD and Associates (2006), A Joint Evaluation of General Budget Support Evaluation of General Budget Support: Synthesis Report, https://www.oecd.org/development/evaluation/dcdndep/37426676.pdf (consulté le 11 janvier 2021).
[12] IDEV (2018), Cabo Verde : Évaluation de la stratégie et du programme pays de la Banque 2008–2017 : Résumé analytique, Évaluation indépendante du développement, Banque africaine de développement, https://idev.afdb.org/sites/default/files/Evaluations/2020-03/Executive%20Summary%20Cabo%20Verde%20CSPE%20%28Fr%29.pdf (consulté le 11 janvier 2021).
[14] IEG (2008), The Welfare Impact of Rural Electrification: A Reassessment of the Costs and Benefits, Banque mondiale, https://doi.org/10.1596/978-0-8213-7367-5.
[16] IOB (2017), Tackling major water challenges: Policy review of Dutch development aid policy for improved water management, Policy and Operations Evaluation Department, Ministry of Foreign Affairs, Netherlands, https://english.iob-evaluatie.nl/publications/policy-review/2017/12/01/418-%E2%80%93-iob-%E2%80%93-policy-review-of-dutch-development-aid-policy-for-improved-water-management-2006-2016-%E2%80%93-tackling-major-water-challenges (consulté le 12 janvier 2021).
[43] Leeuw, F. et J. Vaessen (2009), Impact Evaluations and Development: NoNIE Guidance on Impact Evaluation, The Networks on Impact Evaluation, Washington D.C., http://search.oecd.org/dac/evaluation/dcdndep/47466906.pdf (consulté le 12 janvier 2021).
[21] Leppert, G. et al. (2018), Impact, Diffusion and Scaling-Up of a Comprehensive Land-Use Planning Approach in the Philippines: From Development Cooperation to National Policies, German Institute for Development Evaluation (DEval), Bonn, https://www.deval.org/files/content/Dateien/Evaluierung/Berichte/2018/Zusammenfassung_Deutsch_%20DEval-2018_Philippinen_final_web-2.pdf (consulté le 12 janvier 2021).
[23] Mansuri, G. et V. Rao (2013), Localizing Development, Banque mondiale, https://doi.org/10.1596/978-0-8213-8256-1.
[9] Ministère des affaires étrangères de la Slovénie (2017), Evaluation of Slovenia’s Development Cooperation with Montenegro 2013-2016: Final Report, Slovenia’s Development Cooperation, https://www.gov.si/assets/ministrstva/MZZ/Dokumenti/multilaterala/razvojno-sodelovanje/Development-cooperation-with-Montenegro-evaluation-final-report.pdf (consulté le 12 janvier 2021).
[6] Ministère des affaires étrangères du Japon (2019), Japan ODA Evaluation Guidelines, https://www.mofa.go.jp/policy/oda/evaluation/basic_documents/pdfs/guidelines11th.pdf (consulté le 18 février 2021).
[17] Molund, S. et G. Schill (2004), Looking Back, Moving Forward Sida Evaluation Manual, Sida, https://www.oecd.org/derec/sweden/35141712.pdf (consulté le 11 janvier 2021).
[26] Noltze, M., M. Euler et I. Verspohl (2018), Evaluation Synthesis of Sustainability in German Development Cooperation, German Institute for Development Evaluation (DEval), Bonn, http://www.deval.org/files/content/Dateien/Evaluierung/Berichte/2018/DEval_Evaluierungssynthese_EN_web.pdf (consulté le 12 janvier 2021).
[25] Noltze, M., M. Euler et I. Verspohl (2 018), Meta-Evaluation of Sustainability in German Development Cooperation, German Institute for Development Evaluation (DEval), Bonn, http://www.deval.org/files/content/Dateien/Evaluierung/Berichte/2018/DEval_NH_Meta-Evaluierung_EN_web.pdf (consulté le 12 janvier 2021).
[7] Norad (2018), Evaluation of Norwegian Efforts to Ensure Policy Coherence for Development, Norad, https://www.norad.no/contentassets/4ac3de36fbdd4229811a423f4b00acf7/8.18-evaluation-of-norwegian-efforts-to-ensure-policy-coherence-for-development.pdf (consulté le 11 janvier 2021).
[3] OCDE (2011), Approche méthodologique pour les évaluations de l’aide budgétaire, Réseau du CAD sur l’évaluation du développement, Éditions OCDE, Paris, https://www.oecd.org/dac/evaluation/Approche%20methodologique_aide%20budgetaireFINAL.pdf (consulté le 12 janvier 2021).
[1] OCDE (2010), Normes de qualité pour l’évaluation du développement, Lignes directrices et ouvrages de référence du CAD, Éditions OCDE, Paris, https://doi.org/10.1787/9789264083912-fr.
[10] OCDE (2002), L’évaluation et l’efficacité de l’aide n° 6 - Glossaire des principaux termes relatifs à l’évaluation et la gestion axée sur les résultats (en anglais, français et espagnol), Éditions OCDE, Paris, https://doi.org/10.1787/9789264034921-en-fr.
[31] OECD (2019), Better Criteria for Better Evaluation: Revised Evaluation Criteria Definitions and Principles for Use, DAC Network on Development Evaluation, OECD Publishing, Paris, https://www.oecd.org/dac/evaluation/revised-evaluation-criteria-dec-2019.pdf (consulté le 11 janvier 2021).
[30] OECD (1991), Principles for Evaluation of Development Assistance, Development Assistance Committee, OECD Publishing, Paris, https://www.oecd.org/development/evaluation/2755284.pdf (consulté le 11 janvier 2021).
[39] Ofir, Z. et al. (2016), Briefing: Five considerations for national evaluation agendas informed by the SDGs, IIED, London, https://doi.org/10.3138/cjpe.30.3.02./11.
[28] Orth, M., M. Birsan et G. Gotz (2018), The Future of Integrated Policy-Based Development Cooperation: Lessons from the Exit from General Budget Support in Malawi, Rwanda, Uganda and Zambia, German Institute for Development Evaluation (DEval) , Bonn, http://www.deval.org/files/content/Dateien/Evaluierung/Berichte/2018/DEval_EN_The%20Future%20of%20Integrated%20Policy-Based%20Development%20Cooperation..pdf (consulté le 12 janvier 2021).
[13] Palenberg, M. (2011), BMZ: Tools and Methods for Evaluating the Efficiency of Development Interventions - Managing for Sustainable Development Impact, BMZ Evaluation Division – German Federal Ministry for Economic Cooperation and Development, http://www.managingforimpact.org/resource/bmz-tools-and-methods-evaluating-efficiency-development-interventions (consulté le 12 janvier 2021).
[20] PEM Consult (2020), Evaluation of the Danish Strategic Sector Cooperation, Evaluation, Learning and Quality Department, Danida (Ministère des Affaires étrangères), Danemark, https://um.dk/en/danida-en/results/eval/eval_reports/publicationdisplaypage/?publicationID=CBE77158-1D4D-46E3-A81F-9B918218FAFF (consulté le 12 janvier 2021).
[33] Schwedersky, T., L. Ahrens et H. Steckhan (2017), Evaluation of the BMZ Action Plan for the Inclusion of Persons with Disabilities, DEval, https://d-nb.info/1186644206/34 (consulté le 11 janvier 2021).
[27] Watanabe, K. (2016), Ex-Post Evaluation of Technical Cooperation Project « Inter-Communal Rural Development Project », JICA, https://www2.jica.go.jp/en/evaluation/pdf/2015_0603847_4.pdf (consulté le 12 janvier 2021).
[37] WFP (2016), Technical Note: Evaluation Methodology, DEQAS, World Food Programme, https://docs.wfp.org/api/documents/704ec01f137d43378a445c7e52dcf324/download/ (consulté le 11 janvier 2021).
[24] White, H., R. Menon et H. Waddington (2018), « Community-driven development: does it build social cohesion or infrastructure? A mixed-method evidence synthesis », n° 30, 3ie, https://www.3ieimpact.org/evidence-hub/publications/working-papers/community-driven-development-does-it-build-social-cohesion (consulté le 12 janvier 2021).
Notes
← 1. C'est-à-dire « les individus, les groupes ou les organisations qui bénéficient de l’intervention de développement, directement ou non, intentionnellement ou non. » D’autres termes peuvent être employés, comme « détenteurs de droits » ou « personnes affectées ».
← 2. Il peut arriver que deux institutions soient engagées dans une même intervention, l’une en qualité de partenaire d'exécution et l’autre en qualité de bailleur de fonds. Il est alors possible d'évaluer la cohérence interne du point de vue du bailleur de fonds mais aussi de celui du partenaire d'exécution.
← 3. Il convient toutefois de signaler que l'évaluation de l’impact a beaucoup plus de chances d’être utile si elle s'accompagne d'une analyse de la manière dont l’impact est obtenu et des moyens par lesquels il pourrait être renforcé que s'il s'agit d'un simple exercice de redevabilité.
← 4. Un examen détaillé et complet des différentes méthodologies utilisables pour définir et évaluer l’efficience est proposé par Palenberg (2011[24]) dans un document de travail du BMZ. L'auteur identifie trois niveaux différents : le niveau 0 (décrire certains aspects de l’intervention d'aide relatifs à l’efficience et émettre un avis en la matière) ; le niveau 1 (déterminer le potentiel d'amélioration de l’efficience d'une intervention d'aide), qui fournit une image partielle des processus de mise en œuvre, du coût des intrants, de la conversion des intrants en extrants ou de la conversion des extrants en réalisations ; le niveau 2 (évaluer l’efficience d'une intervention d'aide de manière à pouvoir la comparer avec d'autres interventions ou avec des points de référence). Il s'agit d'une approche globale qui inclut une estimation fiable des principaux coûts et avantages.
En pratique, l’évaluation de niveau 2 est rarement pratiquée. Même la Banque mondiale, pourtant dotée de moyens colossaux, relevait dans un rapport de 2010 que l'analyse coût-avantages était nettement moins pratiquée que par le passé au stade de l’évaluation, même dans les secteurs où elle s'appliquait particulièrement bien. Dans ce rapport, elle insistait sur l'avantage, en termes de rigueur et de liens avec les résultats ultérieurs du projet, d'une analyse aussi approfondie, tout en soulignant les difficultés qu’elle comporte (IEG, 2010 [25]). Le cas d'étude sur l’électrification en milieu rural (IEG, 2008[26]) est un exemple relativement rare d'analyse complète de niveau 2. Les évaluateurs peuvent aussi opter pour des méthodes telles que la prise de décision/modélisation à critères multiples. Il importe également de noter que ces types d'analyse sont davantage susceptibles d'être appliqués dans certains secteurs – infrastructures, santé et agriculture, par exemple. L’Encadré 4.10 cite un exemple intéressant, en l’occurrence celui des subventions aux intrants dans le secteur agricole, qui se fonde sur une étude de cas nationale et s'appuie sur diverses estimations économiques et données d’enquête.
← 5. La littérature sur ce sujet est abondante, mais on pourra consulter, par exemple : GNUE (2013[44]) ; Chambers et al. (2009[46]) ; Leeuw et Vaessen (2009[43]) ; Belcher et Palenberg (2018[47]) ; et Gertler et al. (2016[45])
← 6. Cette notion ne doit pas être confondue avec l'importance (ou significativité) statistique, qui est souvent évoquée dans le cadre de certains types d’évaluations d’impact ; voir Gertler et al. (2016[45]) sur les calculs de puissance et les concepts techniques correspondants dans les évaluations d’impact quantitatives.
← 7. Voir Befani et Mayne (2014[48]).
← 8. Dans le Glossaire de 2002 (OCDE, 2002[10]), la viabilité (pérennité, durabilité) est définie comme suit : « Continuation des bénéfices résultant d’une action de développement après la fin de l’intervention. Probabilité d’obtenir des bénéfices sur le long terme. Situation dans laquelle les avantages nets sont susceptibles de résister aux risques. »