Une application réfléchie des critères d’évaluation

1. Objet et utilité des Orientations : de meilleurs critères pour de meilleures évaluations

Abstract

Ce chapitre explique la finalité du document et la manière dont il peut aider les lecteurs à mieux appréhender les définitions adaptées des critères et à les appliquer dans le cadre de leurs activités. Il décrit également le processus d’élaboration des Orientations et notamment le rôle qu’ont joué les acteurs de la communauté mondiale de l’évaluation pour éclairer leur conception et leur contenu. Enfin, il se penche sur la manière d’appliquer ces critères de façon réfléchie afin d’améliorer à la fois la réalisation et la conception des évaluations.

Raison d’être des Orientations

Le Comité d'aide au développement (CAD) de l'OCDE a commencé par présenter cinq critères d’évaluation, en 1991, (OCDE, 1991[1]), avant de les définir plus précisément, en 2002 (OCDE, 2002[2]). Ces cinq critères – pertinence, efficacité, efficience, impact et viabilité – sont depuis devenus une référence commune pour les évaluateurs de la coopération pour le développement et d’autres domaines.

Dans un souci de prise en compte du Programme de développement durable à l’horizon 2030, et l’occasion se présentant de mettre à profit la vaste expérience acquise et les enseignements tirés depuis la première définition des critères, un vaste processus de consultation et d’adaptation a été lancé en 2017-19 et le CAD a adopté les définitions révisées des critères en décembre 2019 (OCDE, 2019[3])1. Au cours du processus de consultation, les utilisateurs ont relevé l’intérêt de nombreux aspects des critères d’évaluation et fait part de leur souhait de continuer à les utiliser pour évaluer leurs futures interventions. Les informations reçues en retour montrent que les critères d’évaluation sont largement utilisés et compris, ce qui favorise la cohérence et un certain niveau de comparabilité2. Ces critères ont établi une terminologie commune, simple et neutre ainsi qu’un cadre normatif pour le secteur de l’évaluation qui est adaptable et axé sur les résultats et couvre de manière exhaustive les principaux domaines requis pour l’exercice de la redevabilité et l’apprentissage. De ce fait, les critères révisés traduisent un souci de continuité et s’appuient sur les aspects des définitions d’origine qui ont prouvé leur efficacité.

Les Orientations devraient être lues en tandem avec les Normes de qualité pour l’évaluation du développement (OCDE, 2010[4]) et les Principes pour l’évaluation de l’aide au développement (OCDE, 1991[1]). Les Principes portent essentiellement sur la gestion et les dispositifs institutionnels des systèmes d’évaluation, tandis que les Normes visent à éclairer les processus et les produits d’évaluation. Les présentes Orientations ont vocation à aider les utilisateurs à appliquer les définitions des critères d’évaluation dans la pratique en en comprenant mieux les composantes, en fournissant des exemples à l’appui et en analysant les difficultés concrètes généralement rencontrées par les évaluateurs lors de leur mise en œuvre. Encadré 1.1 mentionne les publications à venir qui contribueront à une meilleure application et compréhension des critères.

Au cours des 25 dernières années, beaucoup d’enseignements ont été tirés concernant la manière d’utiliser les critères définis par le CAD, la principale difficulté mise en évidence lors des consultations de 2017-19 étant celle de leur application concrète. Les discussions ont souligné l’importance, non pas seulement de la manière dont les critères sont définis, mais de la façon dont ils devraient être utilisés. Ainsi, les critères sont parfois appliqués mécaniquement et ne sont pas adaptés au contexte. Les présentes Orientations visent par conséquent à aider différents groupes d'utilisateurs à appliquer de manière réfléchie les critères dans la pratique, ce qui contribuera à l’amélioration de la qualité et de l’utilité des évaluations.

Elles emploient donc un langage et formulent des orientations de nature à aider les lecteurs à comprendre et à appliquer les définitions des critères, y compris les deux principes destinés à en guider l’utilisation (OCDE, 2019[3]). Elles développent ces deux principes et expliquent les définitions de chaque critère, ce qui permet aux utilisateurs d’interpréter et d’appliquer les critères dans le cadre de leurs activités.

Objet des Orientations et mode d’emploi

Le présent document fournit aux utilisateurs un guide succinct sur la manière d'interpréter les critères et de les appliquer de façon réfléchie dans le cadre de leurs activités. Si les critères sont avant tout appliqués dans le domaine de l’évaluation, ils peuvent également l’être pour diverses autres activités comme le suivi et la gestion axée sur les résultats, la conception d’interventions ou la planification stratégique. Les Orientations ont vocation à aider les utilisateurs à réfléchir à certains des défis qui peuvent se poser et à rechercher des solutions. Elles aident le lecteur à appréhender les différentes composantes de chaque définition et à comprendre comment les critères sont reliés les uns aux autres, quelles sont les difficultés rencontrées dans le cadre de leur application et comment y remédier. Des exemples concrets ont été sélectionnés pour illustrer la façon dont les critères peuvent être appliqués de manière réfléchie dans des contextes réels.

Ces Orientations n’ont pas vocation à servir de manuel, de modèle ou de liste de vérification pour l’évaluation. Le présent guide constitue une source sur laquelle s’appuyer pour élaborer les plans d’évaluation et peut également venir en complément des diverses politiques, normes et orientations institutionnelles sur lesquelles se fondent les évaluateurs.

Encadré 1.1. Autres travaux et publications à venir de l’OCDE sur l’évaluation

Outre la révision des présentes Orientations au regard de l’expérience acquise dans le cadre de l’application des nouvelles définitions, EvalNet et les partenaires s’emploient également à élaborer des orientations spécifiques qui approfondiront certains thèmes, notamment des orientations sur l’utilisation des critères du point de vue de l’égalité des sexes ou sur leur application dans des contextes humanitaires. En collaboration avec EvalNet, l’ALNAP a aussi engagé un processus afin de mettre à jour ses orientations – largement utilisées – sur l’évaluation humanitaire et l’utilisation des critères (Beck, 2016[5]).

Traduction des définitions des critères et des principes d’utilisation

En collaboration avec ses partenaires clés, et conformément à sa mission consistant à favoriser l’apprentissage et le renforcement des capacités d’évaluation, l’OCDE s’emploie à traduire les définitions des critères dans plusieurs langues, outre les deux langues officielles de l'OCDE (français et anglais). Les traductions en espagnol et en chinois sont achevées et de nouvelles versions en arabe, dari, pachto, portugais, russe, thaïlandais et ourdou sont attendues en 2021.

2^e édition du Glossaire des principaux termes relatifs à l’évaluation et la gestion axée sur les résultats

Les définitions des cinq critères d’origine ont d’abord été publiées dans le Glossaire des principaux termes relatifs à l’évaluation et la gestion axée sur les résultats (OCDE, 2002[2]). Une deuxième édition du Glossaire est en cours d’élaboration, qui tiendra compte des mises à jour des critères et d’autres termes. Cette 2^e édition (à paraître) accompagnera utilement les présentes Orientations étant donné qu’elle contiendra des définitions succinctes des termes employés tout au long du texte, notamment : « résultats », « réalisations », « impacts », « théorie du changement » et « bénéficiaire ».

De même, les Orientations ne remplacent pas les lignes directrices et normes existantes en matière d’éthique définies par d’autres institutions ou proposées par le CAD de l’OCDE (OCDE, 1991[1] ; OCDE, 2010[4]). Elles complètent les normes internationales appliquées par les Nations Unies et d’autres organisations multilatérales, telles que les Normes et règles d’évaluation du Groupe des Nations Unies pour l’évaluation (GNUE), les normes de bonnes pratiques du Groupe de coopération pour l’évaluation (ECG) et les orientations du Réseau pour l'apprentissage actif sur la responsabilité et la performance au sein de l'action humanitaire (Active Learning Network for Accountability and Performance in Humanitarian Action, ALNAP). Entre autres ressources utiles figurent également les sites web des unités d’évaluation d’organismes bilatéraux, des Nations Unies et d’autres organisations multilatérales, le site web « Better Evaluation » et les sites web d’EvalPartners et de ses organisations membres, qui mettent l’accent sur des domaines précis comme l’Initiative internationale pour l’évaluation d’impact (International Initiative for Impact Evaluation, 3ie).

Dans la même veine, les Orientations, de même que les critères eux-mêmes, visent à favoriser l’introspection et la réflexion critique et n’ont pas vocation à être appliqués mécaniquement. Une telle approche serait incompatible avec les bonnes pratiques et les principes consacrés par le Programme 2030 (voir Chapitre 3 pour plus de détails). Les Orientations ne prescrivent pas d’approches méthodologiques particulières ni d’outil spécifiques, les critères ne formant pas une méthodologie. Des renvois vers d’autres sources qui développent certaines méthodes figurent dans le document à titre de point de départ.

Les Orientations peuvent être considérées comme un pont entre les documents officiels à caractère général (par exemple, les définitions des critères (OCDE, 2019[3]) et les Normes de qualité de l’OCDE (OCDE, 2010[4])), qui contiennent des définitions et une terminologie cohérentes et claires, et l’application quotidienne des critères au sein de certaines institutions, d’une manière réfléchie et appropriée, avec les multiples décisions à prendre en fonction du contexte que cela suppose.

Outre le fait qu’elles donnent des exemples de la manière dont les critères ont été appliqués dans le cadre d’évaluations réelles, les Orientations comportent des éléments d’analyse qui expliquent les notions sous-jacentes à chaque définition. Ces éléments ne se veulent pas irréfutables ni ne sont destinés à servir de critères indépendants ou secondaires ; ils visent plutôt à illustrer chaque définition et à permettre d’en appréhender les différentes composantes. Ils aideront les utilisateurs à déterminer quelle est la meilleure interprétation, au regard du contexte, de chaque critère pour telle ou telle évaluation. Au cours de la phase de conception, le dialogue entre les évaluateurs, les commanditaires et les utilisateurs cibles des conclusions de l’évaluation peut également porter sur la manière dont les différents éléments de chaque critère devraient être évalués et sur la question de savoir lesquels sont les plus importants pour tirer des conclusions de portée générale – celles-ci variant selon l’intervention, le contexte et l’utilisation envisagée de l’évaluation.

Le Chapitre 2 s’intéresse au rôle des critères d’évaluation et à leur place dans l’ensemble plus complet de normes et de critères. Le Chapitre 3 formule des orientations sur la manière d'interpréter les critères et de les appliquer de façon réfléchie, et aidera également les évaluateurs à se servir de ces critères dans leur contexte. Le Chapitre 4 présente plus en détail chaque définition, met en lumière les défis communs et fournit des exemples concrets. Eu égard à la priorité stratégique du Programme 2030 visant à « ne laisser personne de côté », ce dernier chapitre offre une vue d’ensemble des principales problématiques en matière d’inclusion qui devraient être examinées en relation avec chaque critère.

Les présentes Orientations sont considérées comme un document de travail, la plupart des exemples provenant d’évaluations effectuées en appliquant les définitions d’origine et le déploiement des nouvelles définitions ainsi que des principes d’utilisation étant toujours en cours. Les Orientations seront utilisées pendant une phase pilote de mise en œuvre initiale, puis révisées après quelques années pour intégrer les enseignements tirés et des exemples à jour. Le Secrétariat cherche tout particulièrement à recueillir d’autres exemples en dehors du cercle d’EvalNet ainsi que des enseignements supplémentaires sur l’utilisation des critères dans le cadre d’évaluations locales et nationales.

Utilisateurs cibles des Orientations

Les Orientations peuvent s’appliquer à divers contextes – local, national et international. Les critères ont une portée délibérément large et ont été conçus pour pouvoir être appliqués à tout un éventail d’interventions et de secteurs. Leur pertinence ne se limite pas à l’évaluation des interventions traditionnelles à l’appui du développement, soit l’aide publique au développement émanant d’États souverains. S’ils sont appliqués de manière réfléchie, ils peuvent également être utiles pour évaluer les interventions relatives au secteur privé, au financement mixte ou à d’autres domaines d’action comme les échanges notamment.

Les Orientations sont destinées principalement aux évaluateurs, aux responsables d’évaluation et aux commanditaires. Elles conviennent tant pour les étudiants ou les jeunes professionnels qui utilisent les critères pour la première fois que pour les professionnels chevronnés qui effectuent des évaluations complexes. Elles seront également utiles pour guider la conception des interventions, la planification stratégique et la gestion axée sur les résultats. L’amélioration des évaluations dépend en partie de l’intégration efficace des systèmes de suivi, d’évaluation et d’apprentissage dans le programme ou le cycle de l’action publique. Les Orientations aideront les évaluateurs et les partenaires opérationnels à développer dès le départ (c’est-à-dire au cours de la phase de conception) une vision et une terminologie communes de ce qui constitue une intervention réussie, ce qui favorisera l’évaluation des interventions en question, tout en améliorant les résultats globaux.

Références

[5] Beck, T. (2016), Evaluating Humanitarian Action using the OECD-DAC Criteria, ALNAP, https://www.alnap.org/help-library/evaluating-humanitarian-action-using-the-oecd-dac-criteria (consulté le 11 janvier 2021).

[3] OCDE (2019), Des meilleurs critères pour des meilleurs évaluations : Définitions adaptées et principes d’utilisation, Réseau du CAD sur l’évaluation du développement, Éditions OCDE, Paris, https://www.oecd.org/fr/cad/evaluation/criteres-adaptees-evaluation-dec-2019.pdf (consulté le 11 janvier 2021).

[4] OCDE (2010), Normes de qualité pour l’évaluation du développement, Lignes directrices et ouvrages de référence du CAD, Éditions OCDE, https://doi.org/10.1787/9789264083912-fr.

[2] OCDE (2002), L’évaluation et l’efficacité de l’aide n° 6 - Glossaire des principaux termes relatifs à l’évaluation et la gestion axée sur les résultats (en anglais, français et espagnol), Éditions OCDE, Paris, https://doi.org/10.1787/9789264034921-en-fr.

[1] OCDE (1991), DAC Principles for Evaluation of Development Assistance, Comité d’aide au développement, Éditions OCDE, Paris, https://www.oecd.org/development/evaluation/2755284.pdf (consulté le 11 janvier 2021).

Notes

← 1.  Le document « De meilleurs critères pour de meilleures évaluations» (OCDE, 2019[3]) explique dans le détail les modifications apportées aux définitions d’origine ainsi que leur justification.

← 2.  Un résumé des conclusions du processus de consultation se trouve sur le site web d’EvalNet : oe.cd/criteria