Il convient de procéder à une quantification, si cela s’avère possible et rentable, car cela permet d’effectuer une évaluation plus rigoureuse des impacts et des résultats potentiels.
Les évaluations s’appuient généralement sur des méthodes d’analyse à la fois qualitative et quantitative. Dans de nombreux cas, les aspects qualitatifs sont particulièrement importants (par exemple, l’agrément environnemental, la perception de la sécurité, etc.) Toutefois, plus la quantification des impacts est poussée, plus il est généralement facile de procéder à une évaluation globale en présence d’éléments subjectifs.
Une estimation des coûts en termes monétaires est souvent utile pour juger si les avantages qui ne peuvent pas être exprimés de cette manière « en valent la peine ». Par exemple, la valeur d’agrément associée à la conservation des caractéristiques patrimoniales de l’environnement bâti dans une zone de développement industriel potentiel l’emporterait-elle sur les gains de revenus estimés résultant d’un changement d’utilisation ? La préservation de la faune indigène compenserait-elle les coûts estimés d’une restriction du développement agricole ? Le fait d’être capable de se poser de telles questions peut éclairer les jugements de valeur nécessaires au niveau politique.
Des méthodes quantitatives plus raffinées comme les analyses multivariées ou de régression offrent aussi des techniques rigoureuses pour déterminer la causalité, c’est-à-dire pour distinguer les impacts dus à une intervention réglementaire de ceux attribuables à d’autres changements ou facteurs d’influence ; voir ; (OCDE, 2012[4]).
Il est préférable d’examiner les exigences en matière de données au moment de l’élaboration d’un règlement, dans le cadre d’une réflexion plus large visant à déterminer le type d’examen ex post le plus approprié.
Parfois, les examens ne permettent pas de formuler de conclusions et recommandations crédibles par manque d’« observations factuelles » adéquates. Les collectes de données standard au sein du gouvernement ne présentent pas toujours la précision ou la spécificité requise pour permettre une évaluation pertinente de tous les impacts d’une réglementation. Dans ce cas, il peut s’avérer utile de collecter les données nécessaires à l’évaluation des performances dans le cadre du régime réglementaire lui-même. Cela peut se faire au titre des obligations de rapport en matière de conformité et/ou au moyen d’instruments d’enquête. Dans ce dernier cas, les précautions habituelles pour éviter les réponses biaisées s’appliquent.
Les entités soumises à la réglementation sont généralement une source utile d’informations qualitatives, mais elles doivent être encouragées à fournir également des données quantitatives. Les sources de données administratives sont de plus en plus utilisées pour quantifier les impacts ; voir (Crato et Paruolo, 2019[5]).
La disponibilité croissante des données ouvertes, des données massives et de nouvelles techniques d’analyse ouvre des perspectives considérables en matière de renforcement des évaluations et de promotion de l’innovation dans les modalités de réalisation de ces évaluations. Elle permet de mettre au jour des tendances et d’étudier des mesures qui n’auraient pas été envisageables à l’aide des méthodes statistiques traditionnelles. Il s’agit d’un domaine relativement nouveau et qui présente des perspectives intéressantes en termes d’apprentissage entre les juridictions.
Dans l’idéal, il convient de comparer les impacts observés d’un règlement aux impacts d’un scénario « contrefactuel », qui décrit la façon dont les choses auraient tourné autrement.
Lorsque on effectue un examen de la réglementation, on ne cherche pas seulement à savoir si un régime réglementaire donné a, dans l’ensemble, atteint son objectif ou apporté certains avantages, mais aussi si on pourrait obtenir de meilleurs résultats à l’avenir en adoptant des modifications ou en utilisant d’autres instruments politiques, voire en renonçant à toute intervention gouvernementale. En ce sens, un examen ex post doit également comporter une analyse ex ante. La différence, c’est que des données réelles sur les impacts observés jusqu’à aujourd’hui doivent être disponibles. On dispose ainsi de références qui facilitent l’analyse des modifications qu’auraient entraînées certaines variations dans le passé.
Comme indiqué précédemment, l’une des techniques utiles pour analyser un scénario « contrefactuel » consiste à comparer, pour un problème politique donné, les dispositions réglementaires nationales à celles d’autres juridictions en utilisant différentes approches. Comme nous l’avons également souligné, les juridictions qui permettront de réaliser les comparaisons les plus pertinentes sont celles ayant des objectifs politiques et des structures institutionnelles globalement similaires aux objectifs et structures nationaux. Il s’agit donc d’une technique bien adaptée aux systèmes de gouvernement fédéral ou à l’échelon local (Encadré 5.2).
