Améliorer la qualité des examens et des évaluations décentralisés

Défi

La plupart des évaluations de la coopération pour le développement effectuées par la Norvège sont décentralisées, c’est-à-dire commandées par l’unité au siège en Norvège ou à l’ambassade qui gère le programme concerné. Pour la Norvège, ces évaluations constituent un élément essentiel de la gestion de projet et de la gestion axée sur les résultats et devraient permettre d’apprendre ce qui fonctionne, comment et pourquoi. En 2017, une évaluation externe des évaluations décentralisées a confirmé que les agents les jugeaient utiles et opportunes pour leurs travaux. Toutefois, l’examen a mis en évidence plusieurs défis importants : les méthodologies d’évaluation n’étaient pas suffisamment robustes, les principales questions à traiter n’étaient pas suffisamment claires et trop ambitieuses, les rapports finaux comportaient des faiblesses, et la formation du personnel chargé d’effectuer les évaluations était insuffisante, tout comme le soutien apporté à ce dernier.

Approche

L’Agence norvégienne de coopération pour le développement (Norad) a pris un certain nombre de mesures pour améliorer la qualité de ses examens et évaluations décentralisés :

• Fonction de soutien claire. La Section de la gestion des résultats de Norad a reçu un mandat plus clair de son rôle de soutien aux évaluations décentralisées.

• Orientation, formation et conseils. La Section de la gestion des résultats a mis au point une formation pratique à l’intention des agents de la fonction publique, un modèle pour l’élaboration des principales questions à traiter, ainsi qu’un guide et une liste de contrôle sur la manière d’assurer la qualité des projets de rapports. Elle a également fourni des conseils techniques lorsque cela était nécessaire.

• Communiquer les principes fondamentaux de l’évaluation à l’ensemble de l’organisation et au personnel chargé de la réalisation des évaluations décentralisées, notamment en indiquant qu’elles devraient être :

  • Adaptées : les évaluations devraient être adaptées pour obtenir des informations spécifiques plutôt que de procéder à de vastes évaluations qui couvrent tous les critères d’évaluation du Comité d’aide au développement (CAD) de l’OCDE où il suffit de « cocher la case ».

  • Réalisables : la portée de l'évaluation et les questions d'évaluation doivent être conçues de manière à pouvoir être traitées avec une méthodologie robuste dans les délais et le budget disponibles.

  • Fixer des exigences de qualité claires : il a été conseillé au personnel d’inclure des exigences claires dans les principales questions à traiter, en mettant l’accent sur la clarté de la méthodologie dans les rapports initiaux, et d’effectuer des évaluations plus critiques de la qualité des projets de rapports.

Résultats

Des examens externes de la qualité sont désormais effectués chaque année. Par exemple, une étude évaluant la qualité des évaluations décentralisées publiées entre 2018 et 2019 a été menée en 2020. L’étude a révélé que la qualité globale à la fois des principales questions à poser et des rapports d’évaluation décentralisés restait faible et que de nombreuses conclusions de l’évaluation de 2017 restaient valables.

Cependant, la plupart des mesures ayant été mises en œuvre à la fin de 2018 et en 2019, il ne fallait pas s'attendre à obtenir des résultats significatifs en 2020. Norad espère que la prochaine étude de suivi des évaluations menée en 2020 permettra de dégager des résultats plus positifs pour les principales questions à poser, la qualité des rapports et, surtout, la qualité de la méthodologie. Les examens annuels de la qualité constituent un excellent outil pour suivre les effets des mesures prises par Norad au fil du temps.