En 2017, une évaluation externe a évalué la qualité des examens et des évaluations décentralisés dans le cadre de la coopération norvégienne pour le développement et a constaté qu’ils étaient généralement médiocres. Les examens étaient utiles et opportuns, mais les données et la méthodologie n’étaient pas suffisamment robustes. Pour améliorer la qualité, l’Agence norvégienne de coopération pour le développement (Norad) propose désormais des formations, des modèles pour les principales questions à traiter et des outils d'orientation. En plus de déclencher des changements institutionnels et de processus, l’un des principaux messages de l’examen de la qualité est la nécessité de faire preuve de réalisme quant à la portée et aux besoins en ressources des évaluations décentralisées.
Améliorer la qualité des examens et des évaluations décentralisés
Abstract
Défi
La plupart des évaluations de la coopération pour le développement effectuées par la Norvège sont décentralisées, c’est-à-dire commandées par l’unité au siège en Norvège ou à l’ambassade qui gère le programme concerné. Pour la Norvège, ces évaluations constituent un élément essentiel de la gestion de projet et de la gestion axée sur les résultats et devraient permettre d’apprendre ce qui fonctionne, comment et pourquoi. En 2017, une évaluation externe des évaluations décentralisées a confirmé que les agents les jugeaient utiles et opportunes pour leurs travaux. Toutefois, l’examen a mis en évidence plusieurs défis importants : les méthodologies d’évaluation n’étaient pas suffisamment robustes, les principales questions à traiter n’étaient pas suffisamment claires et trop ambitieuses, les rapports finaux comportaient des faiblesses, et la formation du personnel chargé d’effectuer les évaluations était insuffisante, tout comme le soutien apporté à ce dernier.
Approche
L’Agence norvégienne de coopération pour le développement (Norad) a pris un certain nombre de mesures pour améliorer la qualité de ses examens et évaluations décentralisés :
Fonction de soutien claire. La Section de la gestion des résultats de Norad a reçu un mandat plus clair de son rôle de soutien aux évaluations décentralisées.
Orientation, formation et conseils. La Section de la gestion des résultats a mis au point une formation pratique à l’intention des agents de la fonction publique, un modèle pour l’élaboration des principales questions à traiter, ainsi qu’un guide et une liste de contrôle sur la manière d’assurer la qualité des projets de rapports. Elle a également fourni des conseils techniques lorsque cela était nécessaire.
Communiquer les principes fondamentaux de l’évaluation à l’ensemble de l’organisation et au personnel chargé de la réalisation des évaluations décentralisées, notamment en indiquant qu’elles devraient être :
Adaptées : les évaluations devraient être adaptées pour obtenir des informations spécifiques plutôt que de procéder à de vastes évaluations qui couvrent tous les critères d’évaluation du Comité d’aide au développement (CAD) de l’OCDE où il suffit de « cocher la case ».
Réalisables : la portée de l'évaluation et les questions d'évaluation doivent être conçues de manière à pouvoir être traitées avec une méthodologie robuste dans les délais et le budget disponibles.
Fixer des exigences de qualité claires : il a été conseillé au personnel d’inclure des exigences claires dans les principales questions à traiter, en mettant l’accent sur la clarté de la méthodologie dans les rapports initiaux, et d’effectuer des évaluations plus critiques de la qualité des projets de rapports.
Résultats
Des examens externes de la qualité sont désormais effectués chaque année. Par exemple, une étude évaluant la qualité des évaluations décentralisées publiées entre 2018 et 2019 a été menée en 2020. L’étude a révélé que la qualité globale à la fois des principales questions à poser et des rapports d’évaluation décentralisés restait faible et que de nombreuses conclusions de l’évaluation de 2017 restaient valables.
Cependant, la plupart des mesures ayant été mises en œuvre à la fin de 2018 et en 2019, il ne fallait pas s'attendre à obtenir des résultats significatifs en 2020. Norad espère que la prochaine étude de suivi des évaluations menée en 2020 permettra de dégager des résultats plus positifs pour les principales questions à poser, la qualité des rapports et, surtout, la qualité de la méthodologie. Les examens annuels de la qualité constituent un excellent outil pour suivre les effets des mesures prises par Norad au fil du temps.
Enseignements tirés
Ne pas supposer que toutes les évaluations sont de qualité acceptable. Norad a été surprise par la qualité médiocre des évaluations décentralisées. Les conclusions des examens lui ont permis de cibler des faiblesses spécifiques et de travailler à les améliorer en élaborant des orientations, des modèles et des formations adaptés à leur finalité.
Le renforcement des capacités d’évaluation des experts de projet est un défi majeur. Les évaluations décentralisées doivent être adaptées au projet afin de fournir des informations utiles et de maintenir la portée et les besoins en ressources réalistes. Cependant, les experts de projet ne sont souvent pas familiers avec l’élaboration des principales questions d'évaluation à poser, les appels d’offres, l'évaluation des qualifications des consultants et les approches méthodologiques. Norad envisage donc d’élaborer des systèmes plus appropriés d’assurance qualité.
Un équilibre est nécessaire pour améliorer la qualité dans les limites des capacités actuelles. La pertinence et l’utilité sont plus importantes que les résultats excellents obtenus en milieu universitaire. Cependant, la méthodologie qui sous-tend les conclusions des examens réalisés doit être robuste.
Informations supplémentaires
Norad (2020), Quality Assessment of Decentralised Evaluations in Norwegian Development Cooperation, https://www.norad.no/om-bistand/publikasjon/2020/kvalitetsvurdering-av-desentraliserte-evalueringer.
Norad (2019), Supplementary Material – Guidance and checklist to quality assure draft evaluation report from Norad, https://www.slideshare.net/secret/9AJQtKvkfa1Rk5.
Norad (2017), The Quality of Reviews and Decentralised Evaluations in Norwegian Development Cooperation, https://www.norad.no/om-bistand/publikasjon/2017/the-quality-of-reviews-and-decentralised-evaluations-in-norwegian-development-cooperation.
Norad, Supplementary Material - Reviews and evaluations how to make a ToR from Norad, https://www.slideshare.net/secret/oEskCHtjSudcVJ.
Ressources de l’OCDE
OCDE, Évaluation des programmes de développement, https://www.oecd.org/fr/cad/evaluation.
OCDE (2019), OECD Development Co-operation Peer Reviews: Norway 2019, Examens de l'OCDE sur la coopération pour le développement, Éditions OCDE, Paris, https://doi.org/10.1787/75084277-en.
Pour en savoir plus sur la coopération norvégienne pour le développement , voir :
OCDE (2021), « Norvège », dans Les profils de coopération au développement, Éditions OCDE, Paris, https://doi.org/10.1787/39bf9d4a-fr.
