Este capítulo ilustra la variedad de prácticas de evaluación aplicadas por organizaciones internacionales. Las OI revisan principalmente los instrumentos individuales en lugar de los subconjuntos o el inventario general, realizan una evaluación ex post en lugar de una ex ante, y evalúan la implementación más que el impacto. Existe un compromiso cada vez más generalizado para mejorar la evaluación entre las organizaciones internacionales. Esto se refleja en una serie de principios clave, cuyo propósito es institucionalizar, escalar, y guiar las actividades de evaluación, mientras se amplía su alcance y se publica y actúa de manera transparente sobre sus resultados. Llevar a cabo una evaluación puede requerir muchos recursos, puede ser metodológicamente difícil y políticamente sensible. Las OI están adoptando medidas innovadoras para superar estos obstáculos, en particular reforzando la interfaz con sus miembros y desplegando tecnologías y fuentes de información digitales.
Compendio de Prácticas de las Organizaciones Internacionales
3. Desarrollar una mayor cultura de evaluación de instrumentos internacionales
Resumen
Introducción
La evaluación de los instrumentos internacionales puede proporcionar información valiosa sobre su implementación e impacto. Adicionalmente, la evaluación mejora el proceso de elaboración de instrumentos internacionales en varios niveles. Por un lado, incrementa la calidad de los instrumentos internacionales y es una herramienta clave para garantizar que los instrumentos internacionales permanezcan aptos para su propósito; es decir, que continúen cumpliendo sus objetivos y abordando las necesidades de su circunscripción. La evaluación también puede contribuir a promover una mayor adopción de los instrumentos internacionales y a fomentar la confianza en las OI y sus prácticas.
En este contexto, "evaluación" no se refiere a la evaluación de la calidad de las disposiciones de los propios instrumentos internacionales, que considerarían si establecen reglas claras y amplias. Más bien, se refiere a la evaluación de la efectividad, el uso, la implementación o los impactos de estos instrumentos. Dicha evaluación a menudo implica la recopilación y el análisis de datos relacionados con las políticas que abordan los instrumentos; quién los está usando, por qué y cómo; los costos y beneficios del uso de los instrumentos (intencionados o no intencionados); y la medida en que logran sus objetivos en la práctica. Las OI recopilan una serie de datos en relación con sus instrumentos, y la información generada refleja la naturaleza del instrumento o instrumentos de que se trate (ver Capítulo 1).
Existe un compromiso cada vez mayor entre las OI para desarrollar una mayor cultura de evaluación de los instrumentos internacionales, a pesar del hecho de que generalmente consideran que la evaluación es una actividad desafiante y que requiere muchos recursos. Por ejemplo, aunque las OI pueden tener la experiencia técnica y los recursos para realizar la evaluación de sus instrumentos, sus miembros generalmente poseen la información detallada sobre su implementación e impactos, así como el conocimiento de su coherencia con los marcos regulatorios nacionales (OECD, 2016[1]). Las OI también pueden enfrentarse a retos metodológicos, como las dificultades asociadas a la medición y el aislamiento de los impactos.
En este contexto, esta sección del Compendio de OI tiene como objetivo informar las prácticas de evaluación de las OI estableciendo la variedad de enfoques disponibles, así como sus beneficios y desafíos asociados. Las prácticas de evaluación consideradas en esta sección son llevadas a cabo por las propias OI (es decir, no se consideran las evaluaciones de instrumentos internacionales por otras organizaciones).1 El análisis está fundamentado en las prácticas existentes de las OI, recopiladas a través del marco del Foro de OI.
Justificación
Las OI llevan a cabo evaluaciones de sus instrumentos con diversos fines. Estos incluyen fomentar la implementación y el uso de sus instrumentos, respaldar las iniciativas de promoción, medir las necesidades de asistencia de los miembros, evaluar los niveles de cumplimiento y alimentar los resultados de la evaluación en procedimientos de monitoreo (ver Capítulo 2).
La evaluación también puede contribuir a mejorar el diseño de los instrumentos internacionales destacando áreas para su actualización. En general, la evaluación puede ayudar a los responsables de las reglamentaciones internacionales a evaluar los costos y beneficios asociados con sus instrumentos (Parker and Kirkpatrick, 2012[2]). Esto puede facilitar la consideración de cómo estos impactos y beneficios se distribuyen, si existen impactos diferenciales a través de los miembros, y si los beneficios superan los costos.
Los beneficios de la evaluación se pueden magnificar cuando se aplica al stock o a un subconjunto de instrumentos, y la cooperación con otras OI activas en campos relevantes puede mejorar los resultados donde los instrumentos pueden complementarse entre sí (ver Capítulo 5).
Las evaluaciones de impacto ex ante pueden servir para aclarar los objetivos y el propósito de los instrumentos internacionales antes de que comience el proceso de elaboración, respaldando la eficiencia y la efectividad. También exhorta a los responsables de las reglamentaciones a examinar la variedad de posibles vías de acción, incluyendo la posibilidad de no realizar acciones, de forma anticipada a la adopción de los instrumentos (OECD, 2020[3]). La evaluación de impacto ex ante también facilita la consideración sistemática de los posibles efectos negativos y costos anticipados de la adopción, lo que puede respaldar su mitigación (OECD, 2020[3]).
Tipología: mecanismos de evaluación
La Figura 3.1 y la Tabla 3.1 enumeran los mecanismos existentes para evaluar los instrumentos internacionales, basándose en la tipología que se describe en el Manual (OECD, 2019[4]) y en las respuestas al Estudio de 2018. La tipología se desarrolló para representar las prácticas de evaluación adoptadas por las OI que son parte del Foro de OI. Por lo tanto, su propósito es solo ilustrativo y no necesariamente proporciona una imagen completa de todas las posibles clases de prácticas de evaluación que las OI podrían utilizar.
Figura 3.1. Prácticas actuales de evaluación de las organizaciones internacionales
Fuente: La contribución de las organizaciones internacionales a un sistema internacional basado en reglas, (OECD, 2019[4]).
Tabla 3.1. Prácticas actuales de evaluación de las organizaciones internacionales: visión general de los beneficios y desafíos
Fuente: Elaboración propia del autor a través de intercambios en el Foro de OI.
Principios clave de la evaluación
Esta sección contiene principios clave que pueden ser de apoyo para que las OI mejoren sus prácticas de evaluación. Estos principios se derivan de las experiencias de una amplia gama de OI. También se basan en Best Practice Principles for Regulatory Impact Assessment [Principios de mejores prácticas para la evaluación del impacto regulatorio] de la OCDE (OECD, 2020[3]) y la Revisión del Inventario de Regulaciones (OECD, 2020[5]), que sintetizan las experiencias nacionales en la evaluación de leyes y regulaciones. Dada la diversidad de las OI y los tipos de instrumentos normativos que desarrollan, no todos los principios que se exponen a continuación serán pertinentes o prácticos para todas las OI. No obstante, pueden proporcionar una orientación e inspiración útiles para las OI que deseen desarrollar una mayor cultura de evaluación.
1. Institucionalizar la evaluación de instrumentos
La institucionalización de la evaluación sistemática de los instrumentos normativos elaborados por las OI es un paso importante para garantizar su relevancia permanente. El nivel de formalidad de dicha institucionalización puede variar; por ejemplo, "institucionalizar" un compromiso de evaluación podría significar incluir las prácticas de evaluación en el reglamento interno de las OI, o mediante la creación de una unidad cuya tarea sea realizar evaluaciones. En cualquier caso, es una demostración del compromiso de las organizaciones internacionales con la mejora continua de sus instrumentos y con la garantía de que siguen siendo adecuados para su propósito.
Cuando los procesos de evaluación están claramente priorizados, definidos y son accesibles (incluyendo quién tiene la responsabilidad de supervisar y llevar a cabo estos procesos), esto puede ayudar a integrar la evaluación en la cultura y la práctica organizativa diaria.
2. Iniciar poco a poco e ir construyendo prácticas de evaluación con el tiempo
A las OI les resulta difícil evaluar sus instrumentos por varias razones diferentes (ver Sección 5). De hecho, es posible que ni siquiera sea posible evaluar de manera efectiva todos los tipos de instrumentos de OI. Para un tipo de instrumento que no ha sido evaluado antes y para el cual no se puede identificar fácilmente ninguna mejor práctica de evaluación, tiene sentido analizar primero la factibilidad de la evaluación del instrumento, observando sus objetivos y considerando cómo se implementa y por quién y si la evaluación será posible y/o útil. En la mayoría de los casos, la respuesta será “sí”, pero el alcance y la amplitud de la evaluación pueden diferir.
El primer nivel de evaluación para los instrumentos internacionales es evaluar su uso o implementación – quién está implementando el instrumento, por qué, dónde, cuándo y cómo (ver Capítulo 2). Esto es particularmente relevante para los instrumentos no vinculantes.
Dado que las OI no suelen supervisar la implementación de sus instrumentos, especialmente en el caso de los instrumentos no vinculantes, la evaluación de su uso no siempre es sencilla y puede resultar difícil recopilar datos completos. Sin embargo, incluso los datos incompletos pueden proporcionar información extremadamente útil que puede conducir a que se revisen instrumentos internacionales (o se retiren) y ayudar a que las OI se dirijan y diseñen mejor el apoyo que proporcionan para fomentar la implementación de sus instrumentos (ver Capítulo 2). La evaluación del uso también es posible en el caso de los instrumentos internacionales que no se desarrollaron con objetivos claramente mensurables.
El siguiente nivel de evaluación para los instrumentos internacionales es evaluar sus impactos. Esta es una tarea mucho más compleja que la evaluación del uso y las OI enfrentan desafíos mayores con relación a la disponibilidad de datos; la dificultad de establecer la causalidad (p. ej. qué tanto de los resultados observados puede atribuirse al instrumento en cuestión de la OI vs. otros factores como el ambiente facilitador y las acciones complementarias por parte de otros actores); y el hecho de que el trabajo normativo puede demorar bastante tiempo para tener un impacto.2 Debido a estos y otros retos, las OI suelen tener menos experiencia realizando evaluaciones de impacto. No obstante, muchas OI son conscientes de este hecho y están estudiando activamente cómo pueden pasar con éxito de evaluar el uso a evaluar también el impacto. Existe una amplia gama de prácticas y metodologías efectivas para evaluar el impacto, y algunas OI han elaborado documentos guía para ayudar a otras a realizar una evaluación de impacto efectiva.3 Las OI también podrían estudiar la posibilidad de colaborar con otros actores interesados como académicos o las ONG, si no disponen de los conocimientos técnicos necesarios para la evaluación del impacto (ver Capítulo 4).
Una cultura de evaluación no puede crearse de la noche a la mañana. Definir la escala y los objetivos de las evaluaciones de manera menos ambiciosa al principio podría permitir tomar resultados intermedios y utilizarlos para generar confianza en los procesos de evaluación dentro de las OI, lo que eventualmente conduciría a una mayor voluntad de ir más allá en términos de evaluación. Incluso pequeñas cantidades de datos y resultados limitados de evaluaciones a menor escala pueden demostrar un impacto valioso y ser importantes para influir en más actores en la implementación de instrumentos internacionales (ver Capítulo 2).
3. Desarrollar guías para quienes realizan la evaluación
Desarrollar documentos guía dirigidos a aquellos responsables de la planeación o la realización de evaluaciones ayudará a armonizar las prácticas y a establecer las expectativas de las OI y los actores interesados. Un enfoque común es especialmente importante si se van a llevar a cabo las evaluaciones de manera descentralizada (por ejemplo, no dirigidas por la Secretaría de la OI, sino realizadas por los miembros o consultores externos).
Las guías podrían considerar elementos tales como la forma de abordar:
Fijación de objetivos: cómo fijar objetivos que sean prácticos y viables y establecer criterios de evaluación claros y medibles.
Selección de personas para realizar la evaluación: detallar los criterios/calificaciones necesarias para realizar la evaluación en cuestión.
Costos de evaluación: asegurarse de que los costos involucrados en el proceso de evaluación son proporcionales a los impactos esperados del instrumento internacional.
Análisis comparativo: cuando sea posible, considerar un análisis comparativo entre jurisdicciones.
Participación de los actores interesados: garantizar la consulta incluyente y efectiva con actores interesados relevantes/aquellos afectados o que puedan verse afectados.
Uso de tecnología: pensar la forma en la que las tecnologías digitales pueden utilizarse para aumentar la eficiencia de los procesos de evaluación, analizar o recolectar datos.
Uso de datos: hacer uso de todas las fuentes de información disponibles, y considerar la posibilidad de incluir otras menos tradicionales, como datos de fuentes abiertas, datos satelitales, datos de teléfonos móviles, medios sociales, etc.
Confidencialidad, imparcialidad e independencia: considerar cómo reflejar estas cualidades en cada etapa del proceso de evaluación.
4. Establecer objetivos de instrumentos internacionales contra los cuales realizar la comparación
Cuando los instrumentos internacionales tienen objetivos claramente cuantificables, éstos sirven como criterios útiles para la evaluación. Sin embargo, cuando esto no es factible o conduce a una comprensión incompleta del instrumento, es importante proporcionar descripciones cualitativas de aquellos impactos que son difíciles o imposibles de cuantificar, como la equidad o la justicia. Dependiendo de la naturaleza del instrumento y del nivel de evaluación previsto, los objetivos pueden ser específicos de un instrumento o aplicarse a un conjunto de instrumentos o a un tipo/clase de instrumentos. Alternativamente, los objetivos del instrumento pueden ser fijados o modificados por el Estado o la organización que lo aplica, según las circunstancias locales.
Utilizar y documentar un proceso riguroso para establecer objetivos para instrumentos internacionales, incluyendo, por ejemplo, la recopilación de datos, la investigación y la consulta con actores interesados que se verían probablemente afectados por la implementación del resultado, puede ayudar a garantizar que los objetivos sean coherentes a través de diferentes instrumentos de la misma OI. También puede contribuir a que el proceso de fijación de objetivos sea más transparente, lo que puede aumentar la aceptación y la confianza tanto en los propios instrumentos como en las prácticas de evaluación que posteriormente se basan en estos objetivos.
El establecimiento de objetivos debe formar parte del proceso de desarrollo de los instrumentos normativos de las OI (ver Capítulo 1). En la medida de lo posible, el proceso de establecimiento de objetivos debe integrarse en la práctica más amplia de fijación de objetivos ex ante y evaluación de impacto (OECD, 2020[3]).4
Antes de desarrollar un instrumento, normalmente las OI pueden considerar el uso de opciones alternativas para abordar los objetivos establecidos, incluyendo los efectos de la inacción. Deben recopilar las pruebas disponibles y solicitar retroalimentación de expertos científicos y actores interesados para evaluar todos los costos y beneficios potenciales (tanto directos como indirectos) de la implementación del instrumento propuesto. Los resultados de esta evaluación pueden ayudar a mejorar el diseño del instrumento propuesto, y comunicar estos resultados abiertamente (cuando sea posible) para aumentar la confianza y la aceptación de los actores interesados en los instrumentos internacionales o en la cultura de evaluación de las OI en general.5
5. Promover la evaluación de subconjuntos o del inventario general de instrumentos
Las OI deberían considerar la posibilidad de evaluar sus instrumentos de forma más que individual. La evaluación de un subconjunto de instrumentos o de todo el conjunto de instrumentos internacionales puede introducir una mayor orientación estratégica en las prácticas de las OI al proporcionar una visión detallada de la gama de instrumentos aplicados y lecciones sobre qué instrumentos funcionan mejor que otros (OECD, 2020[5]).
Las OI pueden comenzar analizando conjuntos de instrumentos dentro de un sector determinado, área política o iniciativa y expandirse gradualmente para incluir gamas más amplias de instrumentos. Esto permitirá la identificación de deficiencias en los portafolios donde pueden ser necesarios nuevos instrumentos internacionales y donde pueden abordarse las superposiciones o duplicaciones entre los instrumentos existentes.
6. Ser transparente sobre los procesos y resultados de la evaluación
La disponibilidad abierta de información sobre los procesos de evaluación y la difusión transparente de los resultados de la evaluación son importantes para generar confianza y demostrar que una OI tiene una sólida cultura de evaluación y de rendición de cuentas sobre sus instrumentos.
La consulta de actores interesados clave en cada etapa del proceso de evaluación contribuye en gran medida a la transparencia y también puede aumentar la credibilidad de los resultados de la evaluación (ver Capítulo 4). Compartir el borrador de las conclusiones de los ejercicios de evaluación puede ayudar al organismo evaluador a fortalecer su base de evidencias.
Los informes de evaluación deben estar disponibles de la forma más amplia posible, incluso dentro de la OI, para los miembros de la OI y posiblemente incluso para el público en general (a menos que, por ejemplo, haya cuestiones relacionadas con la protección o la confidencialidad de los actores interesados). La creación de un depósito de resultados de evaluaciones anteriores (por ejemplo, en el sitio web de la OI) es un medio para conseguirlo. Proporcionar copias de los informes de evaluación directamente a los actores interesados que contribuyeron al proceso de evaluación también es una buena práctica (UNEG, 2014[6]).
7. Utilizar los resultados de las evaluaciones
No sólo se deben utilizar los resultados de las evaluaciones, sino que las OI debe ser capaces de mostrar la forma en la que han sido utilizados por la OI, sus respectivos órganos de gobierno, sus miembros u otros actores interesados para:
Mejorar los instrumentos internacionales y/o su implementación, incluida la eliminación de deficiencias regulatorias en el stock de instrumentos (ver Capítulo 1).
Identificar las acciones de seguimiento relacionadas con otras prácticas de las OI y los puntos que deben introducirse en el siguiente ciclo de toma de decisiones de las OI.
identificar las lecciones aprendidas durante el proceso de evaluación que puedan mejorar el propio proceso de evaluación (p. ej. mejorar los documentos guía, procesos de determinación de objetivos o comunicación de resultados).
Promover el valor de los instrumentos internacionales (ver Capítulo 2).
Estado actual de la evaluación de los instrumentos internacionales
Tendencias en las prácticas de evaluación de las OI
Adopción de prácticas de evaluación
En comparación con las demás prácticas descritas en este Compendio, la evaluación no es tan utilizada por las OI. No obstante, cada vez son más las OI que adoptan prácticas de evaluación. En el Estudio de las OI 2018 realizado por la OCDE, la gran mayoría de OI (28 de 36) informaron haber adoptado algún tipo de mecanismo de evaluación. De estas 28, 14 OI notificaron tener un requisito sistemático para realizar la evaluación. Solo 8 OI informaron no contar con prácticas de evaluación en absoluto (Figura 3.2).
Figura 3.2. Tipología y ejemplos de mecanismos de evaluación normativa
Nota: número de OI que notifican dichos mecanismos de 36 OI encuestadas.
Fuente: Estudio sobre OI 2018.
Cuando se examinan las diferentes categorías de OI,6 resulta claro que la evaluación la llevan a cabo con mayor frecuencia las OIG con afiliaciones más pequeñas y cerradas o Secretarías de Convenios. Es probable que esto se deba a la formalidad de los instrumentos utilizados (secretarías de convenios) y a la practicidad de realizar evaluaciones con afiliaciones más pequeñas (OIG “cerradas”).
Al participar en la evaluación, las OI se centran con mayor frecuencia en evaluar el uso, o la implementación de los instrumentos internacionales, en lugar de sus impactos (OECD, 2019[4]) (OECD, 2016[1]). Por ejemplo, varias OI, incluidas la OIML e ISO, notifican alguna especie de revisión periódica del uso o implementación de sus instrumentos para decidir si estas deben confirmarse, revisarse, o retirarse. Un ejemplo de una OI que sí evalúa los impactos es la Secretaría del Convenio sobre la Diversidad Biológica (CDB), que notificó realizar revisiones obligatorias de la efectividad de sus instrumentos (los protocolos). Sin embargo, a pesar de la relativamente baja adopción de la práctica, las OI y sus afiliados reconocen la necesidad de revisar los impactos de los instrumentos con el fin de evaluar su relevancia continua y/o la necesidad de su revisión. Esta fue una clara conclusión de la segunda reunión de organizaciones internacionales7 y se refleja en los resultados del Estudio de 2018.
Aunque se evalúan todas las categorías de instrumentos, los resultados del Estudio de 2018 muestran que los instrumentos calificados como “normas” por la OI son el tipo de instrumento que se revisa con más frecuencia. Las normas técnicas internacionales más específicamente (p. ej. ASTM International, IEC, ISO) se someten a una evaluación periódica con el objetivo de garantizar la calidad, la relevancia del mercado y que reflejen el estado actual de la técnica. A menudo, las evaluaciones de las normas técnicas internacionales se realizan de forma sistemática y con una frecuencia determinada (p. ej. al menos cada 5 años). Aunque no son tan frecuentes, hay varios ejemplos de otros tipos de instrumentos que se evalúan, incluidos los convenios (p. ej. la evaluación de las seis Convenciones Culturales de la UNESCO), e incluso los instrumentos voluntarios (p. ej. MOU etc.).
Institucionalización, gobernanza de la evaluación
De acuerdo con el Estudio de 2018, de las que informaron haber adoptado alguna forma de mecanismo de evaluación, la mitad informó haber hecho de la evaluación un requisito sistemático para sus instrumentos. La otra mitad no tiene un requisito tan general, es decir, solo un subconjunto de sus instrumentos está sujeto a evaluación o las evaluaciones se realizan solo de forma ad hoc. Existen diferentes maneras de incluir los requisitos de evaluación, como cláusulas de los propios instrumentos específicos, o en reglas de procedimiento más amplias, guías, o términos de referencia (ver Capítulo 1).
El hecho de que exista o no la obligación de adoptar medidas en respuesta a la evaluación de instrumentos internacionales depende del resultado de la propia evaluación. Por ejemplo, si un instrumento es "confirmado", es posible que no sea necesario actuar. En cambio, si la evaluación da lugar a una propuesta de "revisión" o "retirada" del instrumento, será necesario adoptar nuevas medidas. En algunos casos, las OI pueden limitarse a recomendar acciones en lugar de imponerlas a sus miembros.
En cuanto a la gobernanza de los procesos de evaluación, se trata generalmente de una responsabilidad compartida entre la Secretaría de la OI y los miembros. Las respuestas a la encuesta indican que esta responsabilidad compartida es sistemática para algunos, pero para otros se decide para cada instrumento de forma ad hoc.
En cuanto a la entidad a cargo de la evaluación, en algunas OI los comités técnicos responsables del desarrollo del instrumento también se encargan de la evaluación. Este es el caso, principalmente, de las organizaciones de normalización. Otras OI cuentan con un órgano permanente o una unidad dedicada a la evaluación de los instrumentos, incluida una unidad de gobernanza o de políticas globales, o el departamento que ha desarrollado el instrumento. Otras formas menos frecuentes de gobernanza de la evaluación son los grupos de trabajo ad hoc y los consejos de administración o presidenciales que asumen responsabilidades de evaluación. Sólo en muy pocos casos se contrata a un organismo externo para realizar la evaluación.
Recuadro 3.1. Ejemplos de evaluación sistemática realizada por las OI
La OCDE incorpora sistemáticamente cláusulas en sus instrumentos jurídicos en las que se solicita al órgano u órganos responsables que apoyen la implementación, difusión y pertinencia continua del instrumento, incluido un informe de cinco años a la junta directiva (“Consejo de la OCDE”). Estas frecuentemente instruyen al organismo responsable que consulte con otros organismos relevantes (dentro y fuera de la OCDE) y operan como un foro para intercambiar información y evaluar el progreso contra indicadores de parámetros. La notificación al Consejo Regulador tiene el propósito de evaluar la utilidad del instrumento en lugar del cumplimiento por parte de los adherentes individuales (OECD, 2014[7]).
El Mecanismo de examen de las normas (MEN) de la OIT (ILO, 2011[8]) se creó para garantizar que la organización disponga de un cuerpo de normas laborales internacionales claro, sólido y actualizado. El Grupo de Trabajo tripartito sobre el mecanismo de examen de las normas (GTT del MEN) evalúa y publica recomendaciones sobre a) el estatus de las normas examinadas, incluyendo normas actualizadas, normas que necesitan revisarse, normas obsoletas y otras posibles clasificaciones; b) la identificación de deficiencias en el alcance, incluyendo aquellas que requieren nuevas normas; c) acciones de seguimiento prácticas y limitadas en el tiempo.
Fuente: evaluación del autor a partir de las respuestas del Estudio sobre OI 2018.
Tipo de evaluación (evaluación ex ante y ex post; revisión de instrumentos únicos/subconjunto/existencia) y herramientas (manuales/encuestas en línea, herramientas analíticas)
Existe una notable tendencia a que las OI evalúen sus instrumentos ex post, en lugar de ex ante (Figura 3.2). En la Encuesta de 2018, solo 12 OI indicaron que llevaron a cabo una evaluación de impactos ex ante y, de ellas, la mayoría no lo hace con regularidad (solo tres OI notificaron que siempre realizan una evaluación ex ante, y dos notificaron que lo hacen con frecuencia). Cuando se lleva a cabo una evaluación ex post, generalmente es para un solo instrumento en lugar de para el stock global (OECD, 2019[4]). Muchos procesos de revisión ex post de OI son de tiempo limitado, con disposiciones que a menudo estipulan un proceso de revisión 5 años después de la implementación.
Recuadro 3.2. Ejemplos de modalidades de evaluación ex ante aplicadas por las OI
La Estructura del Acuerdo de Reconocimiento Mutuo de ILAC y el Procedimiento para la expansión del alcance del acuerdo de ILAC (ILAC – R6:05/2019) (ILAC, 2019[9]) establece un marco para la inclusión de actividades de evaluación de conformidad, documentos normativos y publicaciones sectoriales dentro del alcance del instrumento principal de las organizaciones, el ARM de ILAC. Esto incluye varios pasos clave, comenzando con una propuesta de expansión, su revisión y aprobación, su desarrollo práctico, y su lanzamiento final. La propuesta de expansión puede provenir de asociaciones de organismos de evaluación de conformidad (OEC), la industria y asociaciones profesionales; reguladores; regiones reconocidas; y organismos de acreditación individuales. La revisión implica un interrogatorio de la evidencia de antecedentes sobre la necesidad de una nueva área, una evaluación de las implicaciones de la falta de inclusión y la recopilación de puntos de vista y la realización de consultas con las partes afectadas. Esto supone un enfoque integral de la elaboración de instrumentos internacionales, que combina y capitaliza las fortalezas sobrepuestas del desarrollo del instrumento (GT1), la participación de los actores interesados (GT3), y la evaluación (W4), mientras que se fortalece la interfaz entre ILAC y sus miembros.
Recuadro 3.3. Ejemplos de modalidades de evaluación ex ante aplicadas por las OI (continuación)
Bajo el Acuerdo interinstitucional sobre la mejora de la legislación en la Unión Europea (European Commission, 2016[10]), la Comisión Europea (CE) exige que se realice una EIR para las propuestas de reglamentación que tengan repercusiones económicas, ambientales o sociales significativas en la UE. La Comisión publica una evaluación del impacto inicial (EII) que describe el problema político y una evaluación preliminar de los impactos previstos. Tras la consulta pública sobre la EII, la Comisión realiza una EIR completa que incluye la recopilación de datos y evidencia, así como consultas públicas. Las evaluaciones de impacto regulatorio (EIR) están sujetas al escrutinio del Comité de Control Reglamentario, donde puede ser necesario revisar las propuestas regulatorias. En lo que respecta a las leyes elaboradas por la UE, es mucho más probable que la EIR se exija cuando se transponen las directivas de la UE que cuando constituye la base de la posición negociadora de los distintos Estados miembros de la UE. Cuando los Estados miembros no tienen requisitos formales para llevar a cabo la EIR en la fase de negociación, se basan en las evaluaciones de impacto de la Comisión Europea, aunque no de forma sistemática.
La Organización Marítima Internacional (OMI) ocasionalmente realiza un Análisis de impacto ex ante (OECD, 2014[7]) de sus regulaciones, particularmente en casos de temas controvertidos o complejos sobre los cuales existen visiones divergentes. El análisis de los efectos probables y potenciales de las regulaciones, así como su alcance, sirve para potenciar la legitimidad de las propuestas y forjar acuerdos en áreas difíciles. Por ejemplo, la organización ha publicado diversos estudios de viabilidad y evaluaciones de impacto relacionados con los mecanismos de mercado para reducir las emisiones de gases de efecto invernadero del transporte marítimo. Las examinaciones de los índices de eficiencia energética de diseño (EEDI) y el Plan de gestión de la eficiencia energética del buque (SEEMP) antes de su adopción estimaron que, en escenarios de alta aceptación, estos instrumentos reducirían las emisiones globales por debajo del status quo en una media de 330 millones de toneladas (40%) anuales para 2030, y aumentarían el ahorro en el sector del transporte marítimo en USD$310 miles de millones anuales. Esto pone de manifiesto una intersección entre diversas áreas elaboración de instrumentos internacionales, dado que la evaluación de impacto ex ante puede funcionar de manera simultánea como un elemento central en el desarrollo de instrumentos, un mecanismo de promoción y cumplimiento y una forma de evaluación (ver Capítulos 1 y 2).
De conformidad con el Convenio que establece una Organización Internacional de Metrología Legal (OIML, 1955[11]), la OIML investiga una serie de factores críticos antes de que se envíe cualquier proyecto nuevo para su aprobación, incluyendo el desarrollo de nuevas normas internacionales. Entre los factores que se someten a examen se encuentran la justificación de una publicación de la OIML en el área propuesta, el alcance previsto de la publicación propuesta, las razones para regular esta categoría de instrumentos, una selección de detalles sobre los países que ya regulan esta categoría de instrumentos o que han expresado su intención de regularla, una descripción de los trabajos similares que se están llevando a cabo en otras organizaciones (si procede) y detalles sobre las posibles organizaciones de enlace. En los dos últimos casos, la OIML demuestra un enfoque integrado de la evaluación y coordinación (ver Capítulos 3 y 5). Estas actividades de exploración del horizonte pueden ampliar el campo de la evidencia y la experiencia contribuyendo al desarrollo de nuevos instrumentos, respaldar la asignación efectiva de recursos y minimizar la duplicación innecesaria. Estos factores y otros se revisan antes de someter el proyecto para la aprobación de Estados Miembros.
Fuente: (OECD, 2019[12]); (OECD, 2014[7]); elaboración del autor de las respuestas del Estudio sobre OI 2018 y de los datos recibidos de las OI.
Entre las organizaciones internacionales que realizan una evaluación de manera rutinaria, el análisis de instrumentos individuales representa el tipo más común. Según los resultados del Estudio de 2018, dos de tres OI evalúan el uso, la implementación o el impacto de instrumentos únicos. Dentro de este grupo, las organizaciones internacionales privadas de fijación de normas destacan por la coherencia con la que se aplica la evaluación, su alcance y formato, y su integración en el desarrollo de los instrumentos (Recuadro 3.4, ver Capítulo 1). La uniformidad de esta práctica ilustra un proceso de aprendizaje mutuo entre las OI, y abre nuevos espacios para la coordinación (ver Capítulo 5). Más allá de la OCDE, estas formas de evaluación no son replicadas por las OIG. Sin embargo, no existe una razón institucional necesaria para esto, y las OIG podrían considerar la posibilidad de integrar requisitos mínimos de revisión similares en sus instrumentos.
Recuadro 3.4. Revisión sistemática de normas técnicas internacionales: ¿un modelo replicable?
Bajo el Review of Standards Procedure [procedimiento de revisión de normas] de la ASTM (ASTM International, 2020[13]), todas las normas son revisadas en su totalidad por el subcomité responsable y sometidas a votación para su reaprobación, revisión o retirada en los cinco años siguientes a su última fecha de aprobación. Si una norma no recibe una nueva fecha de aprobación para el 31 de diciembre del octavo año desde la última fecha de aprobación, se retira la norma.
Todas las Normas Internacionales IEC están sujetas a un proceso de revisión bajo los procedimientos de Mantenimiento de entregables establecidos en las Directivas ISO/IEC Parte 1 + Suplemento IEC (ISO/IEC, 2018[14]). Estos respaldan y enmarcan la revisión de todas las publicaciones IEC para su uso aceptable, y determinan si se requieren revisiones o enmiendas. Las revisiones del Mantenimiento de entregables están reguladas por un conjunto de indicadores, que establecen la relevancia y la cobertura de la norma bajo análisis. Estos incluyen el grado de adopción o la futura adopción de la publicación como una norma nacional, su uso por los Comités Nacionales (CN) sin la adopción nacional o para los productos fabricados o utilizadas basándose en la publicación, la referencia a la publicación o su adopción nacional en la regulación y la estadísticas de ventas de IEC.
A través del proceso de Revisión sistemática (RS) (ISO, 2019[15]), ISO determina si sus normas son actuales y se utilizan a nivel internacional. Cada norma se revisa por lo menos cada 5 años; el comité responsable de la norma puede lanzar una revisión antes de 5 años, si lo considera necesario. Si el comité no toma ninguna medida, se lanza automáticamente una votación de la RS al cumplirse los 5 años. La votación se envía a todos los miembros de ISO y contiene una serie de preguntas relacionadas con el uso de la norma en su país, su adopción nacional o su uso en regulaciones y su solidez técnica. Esto requiere que organismos de normas nacionales revisen el documento para decidir si sigue siendo válido, necesita actualización o debe retirarse. La ISO ha publicado guías dedicadas para respaldar este proceso de Revisión sistemática.1 Más allá de la función básica de garantizar que el cuerpo de las normas ISO permanece relevante y apropiado para su propósito, la RS cumple una función de recopilación de datos. Parte de la información recibida de la RS se integra dentro de la “base de datos de adopciones nacionales ISO/IEC”, que proporciona información sobre cuáles normas se han adoptado a nivel nacional, si se hicieron en forma idéntica o modificada y los números de referencia nacionales. Se trata de un recurso vital para monitorear la adopción mundial de normas.
En el marco del proceso de Revisión de las recomendaciones (OECD; OIML, 2016[16]), las recomendaciones y los documentos de la OIML se revisan cada cinco años después de su publicación, para decidir si se debe confirmar, revisar o retirar. La prioridad de la revisión periódica de las publicaciones de la OIML se define por el Consejo Presidencial y la secretaría de laOIML en consulta con el Comité de Gestión con OIML-CS, y es aprobada por el Comité Internacional de Metrología Legal (CIML). Las publicaciones de alta prioridad estarán sujetas a una revisión periódica cada dos años.
Fuente: (OECD, 2021[17]); elaboración del autor de las plantillas de prácticas de las OI y en los datos posteriores de las OI.
La evaluación de los instrumentos individuales también se extiende, en ocasiones, a los instrumentos básicos y/o fundacionales de una organización internacional. La razón para llevar a cabo esta evaluación es clara. Dado que estos instrumentos enmarcan, establecen la base y abarcan una amplia gama de actividades de elaboración abordadas por la OI en cuestión, el conocimiento de que estos instrumentos sean apropiados para el propósito es vital para aumentar la credibilidad y legitimidad a la organización, demostrando la efectividad de sus esfuerzos y argumentando la adopción más amplia de sus instrumentos. Además de las prácticas incluidas en el Recuadro 3.5, esta forma de evaluación aplicaría de igual forma a la MEN de la OIT (Recuadro 3.1); la RRS de la OCDE (Recuadro 3.6), la revisión de Resoluciones de la UICN y la Evaluación de la UNESCO de sus Convenciones de Cultura (Recuadro 3.2); y los procedimientos de Revisión de normas que se señalan en el Recuadro 3.3.
Recuadro 3.5. Revisiones de los instrumentos internacionales básicos
Tras más de 15 años de operación, una Revisión del ARM del CIPM (BIPM, 2016[18]), uno de los instrumentos clave de la BIPM, estableció opiniones sobre lo que funcionaba bien y lo que debía mejorarse en relación con su implementación. El objetivo principal de la evaluación fue garantizar que el “Acuerdo de Reconocimiento Mutuo (ARM) del Comité Internacional de Pesas y Medidas (CIPM) de las normas de medición nacionales y de calibración y certificados de medición emitidos por Institutos de Metrología Nacionales (ARM de CIPM)” siguiera siendo adecuado para su propósito y garantizar su sustentabilidad en el futuro. Esto generó una serie de Recomendaciones del Grupo de Trabajo sobre la Implementación y la Operación del ARM de CIPM incluso con respecto a la gestión del nivel de participación en las comparaciones clave (KC, por sus siglas en inglés), la mejora de la visibilidad de los servicios proporcionados por las Capacidades de Calibración y Medición (CMC) en la base de datos de comparaciones clave (KCDB) de la BIPM, limitar la proliferación de CMC, mejorar la eficacia de los procesos de revisión, alentar y permitir a los Estados con sistemas de metrología en desarrollo que se conviertan en signatarios y participen plenamente en el ARM, mejorar la gobernanza de este instrumento y garantizar la implementación efectiva y oportuna de las propias Recomendaciones.
El Acuerdo de reconocimiento mutuo de la ILAC (ARM de la ILAC) (ILAC, 2015[19]) es un acuerdo multilateral que ofrece coherencia a través de acuerdos y arreglos de reconocimiento regionales, y puede percibirse como una evaluación habilitadora de decisiones sobre acreditación de la ILAC. El ARM de la ILAC relaciona los ARM/MLA regionales de los Organismos de Cooperación Regionales Reconocidos. Para los propósitos del ARM de la ILAC, y basándose en la evaluación y el reconocimiento de la ILAC de los ARM/MLA regionales, la ILAC delega autoridad a sus Organismos de Cooperación Regionales Reconocidos, para la evaluación, la vigilancia, la reevaluación y la toma de decisiones asociada a la toma de decisiones relacionada al estatus de signatarios de los organismos de acreditación que son Miembros plenos de la ILAC. Los organismos de acreditación que son signatarios del ARM de la ILAC han sido evaluados por pares de acuerdo con los requisitos de ISO/IEC 17011 – Requisitos de evaluación de conformidad para demostrar su competencia. Los signatarios del ARM de la ILAC entonces evalúan y acreditan organismos de evaluación de conformidad de acuerdo con las normas internacionales relevantes incluyendo laboratorios de calibración (usando ISO/IEC 17025), laboratorios de pruebas (usando ISO/IEC 17025), laboratorios de pruebas médicas (usando ISO 15189), organismos de inspección (usando ISO/IEC 17020), proveedores de pruebas de competencia (usando ISO/IEC 17043) y productores de materiales de referencia (usando ISO 17034). La integración de ISO/IEC 17011 en los procesos de revisión por pares de la ILAC representa una intersección entre los aspectos de evaluación (GT4) y coordinación (GT5) de elaboración de instrumentos internacionales. Se puede esperar que esto traiga mayor congruencia a los procedimientos de revisión por pares. La evaluación y la acreditación de organismos de evaluación de conformidad a través del prisma de normas internacionales especializadas en varios sectores (ISO/IEC 17025, ISO/IEC 17025, ISO 15189, ISO/IEC 17020, ISO/IEC 17043, ISO 17034) demuestran más ejemplos de este fenómeno e ilustra la complementariedad entre ISO, ILAC e IEC más ampliamente.
Fuente: elaboración del autor basándose en las plantillas de prácticas de las OI, datos subsiguientes de las OI.
Algunas OI han demostrado una ambición en toda la organización para evaluar los efectos y la relevancia de sus instrumentos y embarcarse en esfuerzos de evaluación más amplios. El Estudio sobre OI de 2015 y el Estudio sobre OI de 2018 mostraron que las revisiones de la existencia no fueron tan frecuentes como las evaluaciones ex post de instrumentos individuales. Sin embargo, en años recientes, han surgido algunas iniciativas con varias organizaciones recientemente realizando amplias revisiones de sus conjuntos de instrumentos (Recuadro 3.6).
Recuadro 3.6. Ejemplos de revisiones de la existencia general o de un subconjunto temático de instrumentos por las OI
El Grupo Directivo Ad Hoc para la Reducción de los Requisitos Administrativos (SG-RAR, por sus siglas en inglés) de la OMI (OECD, 2014[7]) se estableció en 2011 para realizar una revisión exhaustiva de los requisitos administrativos contenidos en los instrumentos obligatorios de la organización con miras a emitir recomendaciones sobre la forma en que se podrían reducir las cargas que imponen estos requisitos. Esto involucró la creación de un Inventario de requisitos administrativos que identificó 560 requisitos administrativos y la realización de un proceso de consulta pública extenso.
Desde 2013 al 2019, la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO) realizó una serie de evaluaciones de las seis Convenciones de Cultura, dentro de una Evaluación de la labor de fijación de normas del Sector de Cultura de la UNESCO (UNESCO, 2019[20]) El objetivo primordial de las evaluaciones fue generar hallazgos y recomendaciones con respecto a la relevancia y la efectividad del trabajo de fijación de normas con un enfoque sobre su impacto sobre la legislación, las políticas y las estrategias de las partes de las convenciones. Las evaluaciones de las convenciones de Cultura valoraron en específico la contribución del trabajo de fijación de normas de la UNESCO, que está diseñado para respaldar a los Estados miembros con: i) la ratificación (o accesión/ aceptación / aprobación) de las Convenciones; ii) la integración de las disposiciones de las Convenciones en legislación nacional / regional, políticas y estrategias (nivel de desarrollo político), y iii) la implementación de la legislación, políticas y estrategias a nivel nacional (nivel de implementación de políticas). Todas las evaluaciones del trabajo de fijación de normas de la UNESCO fueron solicitadas por la Administración y se incluyeron en los planes de evaluación de la Oficina de Evaluación que se publica anualmente en los Informes anuales del Servicio de Supervisión Interna. En términos de resultados, las evaluaciones han conducido al desarrollo de marcos de resultados para las Convenciones de 2003 y 2005, sistemas de notificación periódicos revisados (Convenciones de 1970, 2003, 2005) así como estrategias de movilización de recursos para los instrumentos, mejoras en los programas de desarrollo de capacidades e iniciativas de comunicación de las respectivas Convenciones, así como cambios a los métodos de trabajo de las Secretarías de las Convenciones.
En 2018, la UICN publicó una revisión del Impacto de las resoluciones de la UICN en los esfuerzos internacionales de conservación (IUCN, 2018[21]). El objetivo central de este documento fue destacar algunos de los principales impactos e influencias que un subconjunto particular de instrumentos de la UICN (sus 1305 resoluciones adoptadas) han tenido sobre la conservación. De acuerdo con el informe, estos se presentaron a través de cuatro áreas clave. Primero, las Resoluciones han servido para establecer la agenda de conservación mundial. Bajo los auspicios de la Estrategia Mundial para la Conservación, desarrollada en Christchurch, Nueva Zelanda en 1980, estos instrumentos han enmarcado los esfuerzos nacionales de conservación, promovido la cooperación entre sectores público, privado y rural y sostenido una gama de programas internacionales. Segundo, las Resoluciones han respaldado el desarrollo de la ley internacional para la conservación, en particular a través del establecimiento de instrumentos sin precedentes (y organizaciones internacionales por mérito propio) como la Convención sobre el Comercio Internacional de Especies Amenazadas de Fauna y Flora Silvestres (CITES) y el Convenio sobre la Diversidad Biológica (CDB). Tercero, estos instrumentos han facilitado la identificación de problemas emergentes en la conservación, detectando especies individuales y promoviendo la gestión del ecosistema, abordando las intersecciones entre energía y conservación y entre comercio y medio ambiente, convocando a la conservación de recursos marinos, reconociendo la creciente importancia del sector privado en la contribución y el manejo de problemas ambientales y fomentando la protección de los manglares. Cuarto, las Resoluciones han apoyado acciones específicas sobre especies y áreas protegidas. De manera primordial entre estas se encuentra la introducción de cuotas en especies afectadas por el comercio, promoviendo el uso sustentable de recursos de vida salvaje e impulsando el establecimiento de una Lista de parques nacionales y reservas equivalentes de las Naciones Unidas.
En 2016, el Secretariado General de la OCDE lanzó una Revisión de fijación de normas (SSR) a nivel organizacional C/MIN(2019)13 (OECD, 2019[22]). Durante esta primera fase, la SSR incluyó una evaluación exhaustiva por parte de los comités sustanciales de la OCDE de la existencia general de instrumentos legales de la OCDE lo que llevó a la abrogación de un primer conjunto de 32 instrumentos legales obsoletos. Ahora, en la segunda fase de la SSR, los comités sustanciales están implementando sus respectivos Planes de acción de fijación de normas (es decir la revisión, examinación o monitoreo de la implementación de 134 instrumentos legales), y considerando propuestas para abrogaciones adicionales o el desarrollo de nuevos instrumentos en algunas áreas.
Actualmente bajo el desarrollo de un grupo de trabajo especializado, el Mecanismo de medición de desempeño (PMM) de la Organización Mundial de Aduanas (WCO, 2020[23]) tiene el objetivo de proporcionar una herramienta de evaluación, que aplicará un conjunto de indicadores de desempeño clave (KPI) cuantitativos y cualitativos para examinar todas las competencias de las Aduanas (cobro de impuestos, facilitación comercial y competitividad económica, ejecución, seguridad y protección de la sociedad, etc.) para evaluar y mejorar la eficiencia y efectividad organizacional, pero también para reflejar el grado en el cual se aplican las herramientas y las Convenciones relevantes de la OMA en apoyo de la movilización de impuestos y el movimiento de personas y bienes de manera continua. El PMM también se establecerá para medir el desempeño de las administraciones aduanales, con el objetivo de fortalecer una cultura de medición a través de su afiliación y de respaldar el desarrollo de métricas para la planeación estratégica y la toma de decisiones basada en evidencias. Para facilitar el desarrollo efectivo del mecanismo, se anticiparon consultas relevantes con otros actores interesados incluyendo al Grupo Consultor del Sector Privado (PSCG, por sus siglas en inglés), académicos y organizaciones internacionales aliadas. Sacando ventaja de la participación de la OMA en el trabajo del Foro de OI, el diseño del prospecto del PPM de la OMA adopta los principios de evaluación del progreso y la proporción presentada en este Compendio y prospectivamente se dirige a construir un marco de evaluación que conecte la implementación, la concientización y el uso por parte de los miembros de las principales herramientas de la OMA para las dimensiones de desempeño organizacional relevantes de los participantes de la OMA.
Fuente: elaboración del autor de las plantillas de prácticas de las OI.
Criterios e indicadores que se utilizarán para la evaluación (cualitativa/cuantitativa)
No existe ninguna metodología común o de uso frecuente utilizada por las OI para realizar evaluaciones. Las metodologías para evaluar los impactos permanecen incipientes y específicas a cada OI, a menudo varían según los diferentes tipos de instrumentos dentro del OI (Recuadro 3.7) (OECD, 2016[1]).
Recuadro 3.7. Lecciones de las metodologías de evaluación aplicadas por las OI
CITES: la Resolución Conf. 14.8 – Examen periódico de especies (CITES, 2011[24]) establece un marco metodológico detallado para la realización de las evaluaciones periódicas. El proceso incluye el establecimiento de un programa de operación específico, la selección de un subconjunto práctico de especies de flora o fauna de la CITES para análisis, y el nombramiento de consultores calificados para ejecutar el examen. Los resultados deben incluir un resumen de los datos de Comercio, los estatus de conservación actuales del tema en cuestión – incluyendo la categoría de las especies de la UICN, el listado actual en los Apéndices de la CITES, y la distribución de especies a través de los estados. Los resultados del examen pueden servir de apoyo para la producción de Recomendaciones para cambios en el estatus de las especies.
IAF: al realizar sus evaluaciones, el Foro Internacional de Acreditación (IAF) aplica ISO/IEC 17011 – Requisitos de evaluación de conformidad (ISO/IEC, 2017[25]) e ISO 19011 – Directrices para los sistemas de gestión de auditoría (ISO, 2018[26]). Estas proporcionan una orientación especializada para abordar y acreditar organismos de evaluación de conformidad en primera instancia, y basándose en los principios, la gestión y la evaluación de competencia de sistemas de gestión de auditoría en segunda instancia.
ISO: cada junio, el Consejo de gestión técnica (TMB, por sus siglas en inglés) (ISO, 1986[27]) revisa todas las estadísticas relacionadas al proceso de desarrollo de normas, lo que incluye aquellas relacionadas a las revisiones de normas (por ejemplo, evaluar la tasa de respuesta y el porcentaje de respuestas enviadas a tiempo). Si se identifica algún problema, entonces todo el proceso o partes de él, pueden ser revisadas por el TMB o el Grupo de Mantenimiento de Directivas (DMT, por sus siglas en inglés); el DMT es el grupo que es responsable de las directivas ISO y suplementos (las reglas para el proceso de desarrollo de normas). El DMT puede proponer cambios a las reglas, los que después pueden ser aprobados por el TMB.
OTIF: el Draft Decision on the Monitoring and Assessment of Legal Instruments [Proyecto de decisión sobre el monitoreo y la evaluación de instrumentos legales] (OTIF, 2019[28]), el próximo procedimiento de evaluación de la OTIF, establece un periodo de 3 años más allá del cual los resultados y los impactos de sus instrumentos puede monitorearse y evaluarse de manera significativa, instruye a sus miembros a garantizar la integridad y actualidad de la información requerida para realizar evaluaciones efectivas, y establece las fuentes de datos que podrían incluirse dentro del alcance de una evaluación (informes, literatura académica, jurisprudencia, encuestas de Estados Miembros, organizaciones y/o actores interesados regionales). Las diversas categorías de “actores interesados relevantes” también se describe de manera explícita y se alienta a los evaluadores a buscar su experiencia, pericia y perspectivas como principal fuente de información sobre la aplicación práctica de sus regulaciones.
OMA: el futuro mecanismo de medición de desempeño (PMM) de la OMA (WCO, 2020[23]) se destacará por la aplicación de un conjunto de indicadores de desempeño clave (KPI) cuantitativos y cualitativos para examinar cuatro dimensiones de desempeño que cubren toda la gama de competencias aduanales (cobro de impuestos, facilitación del comercio y competitividad económica, ejecución, seguridad y protección de la sociedad, desarrollo organizacional) y la aplicación de los principales instrumentos y herramientas relevantes de la OMA. El PMM también se posicionará con respecto al impacto mundial, mapeando la lista de sus resultados esperados contra los Objetivos de desarrollo sostenible (SDG), con el fin de garantizar una mayor claridad respecto al papel de las aduanas para contribuir con un futuro sustentable a través de su desempeño.
De las OI que respondieron al Estudio de 2018, 13 notificaron contar con guías escritas en materia de evaluación. Algunas OI han desarrollado sus propias guías internas o políticas de evaluación, mientras que otras notificaron que utilizan el Manual del Grupo de Evaluación de las Naciones Unidas (UNEG) - un grupo interinstitucional que recopiló las unidades de evaluación del sistema de las Naciones Unidas (UNEG, 2014[6]). Otras fuentes de guías escritas sobre evaluación incluyen la librería de documentos del UNEG (que ahora incluye guías para la evaluación bajo COVID-19) y el Manual de inspección y evaluación de la Oficina de Servicios de Vigilancia Interna de las Naciones Unidas y la División de Evaluación (OIOS-IED) (UNEG, 2021[29])(UNEG, 2020[30]) (OIOS-IED, 2014[31]).
En los casos excepcionales en los que las OI llevan a cabo una evaluación ex ante antes de elaborar un instrumento internacional, ésta se lleva a cabo, por ejemplo, con una lista de preguntas y factores que se plantean sistemáticamente al organismo responsable de las reglamentaciones. Los resultados pueden someterse a la aprobación de los miembros antes de iniciar el proceso de elaboración.
Principales retos para la evaluación efectiva de los instrumentos internacionales
La evaluación de los instrumentos internacionales dista mucho de ser sistemática en todas las organizaciones internacionales, en gran medida porque se enfrentan a una serie de retos comunes a la evaluación. Por un lado, se reconoce que el tema de estudio, la evaluación de la actividad normativa en sí misma, es extremadamente difícil. Además, existen desafíos relacionados a los recursos, la cooperación con los participantes, la cultura organizacional y la capacidad de utilizar los resultados de la evaluación, así como desafíos específicos relativos a la evaluación del impacto y el tipo y la antigüedad del instrumento en cuestión.
Uno de los desafíos más frecuentes es el uso intensivo de recursos de las evaluaciones. Este desafío de recursos se aplica a todas las OI, pero puede ser particularmente desafiante para las OI con secretarías más pequeñas y recursos limitados. La proporcionalidad de recursos es un desafío en términos tanto de recursos cuantitativos (tiempo y dinero) como de recursos cualitativos (especialización). La experiencia puede ser muy costosa de obtener si no está disponible internamente y puede ser necesario un análisis de costo-beneficio para determinar si la evaluación está justificada (OECD, 2016[1]).
Otra serie de dificultades para evaluar instrumentos se deriva del papel respectivo de la OI y sus participantes. Por lo general, las OI necesitan un mandato de sus miembros para participar en actividades de evaluación, pero esto no es necesariamente sencillo. Esto se debe tanto a la dinámica entre los órganos de gobierno y los miembros, como a la heterogeneidad de los intereses de éstos. En primer lugar, los órganos de gobierno del instrumento deben tener un papel clave en la evaluación, sobre todo para garantizar el seguimiento de las recomendaciones. Sin embargo, puede ser difícil lograr un consenso entre los órganos de gobierno y los miembros de la OI sobre lo que debe evaluarse, la profundidad de la evaluación y la elaboración de recomendaciones específicas. En segundo lugar, la heterogeneidad de los miembros de las OI puede significar que tengan necesidades y capacidades muy diferentes y, en consecuencia, objetivos muy distintos. Por ejemplo, el compromiso de los distintos Estados miembros y asociados en el Acuerdo de Reconocimiento Mutuo del CIPM (Recuadro 3.5) varía significativamente debido a las diferentes necesidades de sus economías y a las capacidades científicas y técnicas altamente divergentes. Los países con sistemas de metrología avanzados prefieren centrarse en las capacidades de más alto nivel, mientras que las economías con sistemas de metrología emergentes se centran en la prestación de servicios más básicos. En ocasiones, estos retos pueden superarse llevando a cabo amplias consultas y utilizando un proceso iterativo, que conduzca a un consenso construido en torno a objetivos amplios y comunes.
La creciente evaluación de instrumentos internacionales también encara algunos desafíos de cultura organizacional. Las OI pueden mostrarse renuentes a “destapar” instrumentos, en caso de que los resultados de la evaluación no sean positivos y la subsecuente necesidad de publicar hallazgos negativos. Esto es un problema sensible pero que podría convertirse en un mensaje positivo respecto al valor de la evaluación si existe una mejor percepción de los beneficios que la evaluación puede conllevar para la OI y sus miembros, y particularmente si la OI demuestra mejoras en la calidad y efectividad de sus instrumentos tras una evaluación inicialmente decepcionante o negativa. Para ayudar a minimizar estos retos, las OI tienen mucho que ganar si se aseguran de que los mensajes en torno a la evaluación son correctos. Esto implica promover la evaluación como una valoración de la eficacia de los instrumentos, en lugar de una revisión y comparación del rendimiento de sus miembros en relación con dichos instrumentos.
Las OI también pueden enfrentarse a desafíos cuando se trata de utilizar los resultados de las evaluaciones. Incluso si la evaluación en sí misma puede llevarse a cabo, esto no significa necesariamente que sus beneficios se vayan a materializar plenamente. Por ejemplo, si se necesitan nuevas tecnologías para aplicar las recomendaciones tras una evaluación, es posible que no se disponga de la infraestructura adecuada o de los recursos necesarios.
Respecto a la evaluación del impacto, existen dificultades metodológicas significativas asociadas con la medición y la evaluación de los efectos de la actividad normativa internacional debido al alcance potencialmente difuso de la aplicación y al problema de establecer la causalidad (atribuyendo efectos específicos a los instrumentos internacionales). Los instrumentos internacionales con frecuencia carecen de medidas de evaluación que permitan la medición tanto de datos cuantitativos como cualitativos, con lo que limita la comprensión de toda la extensión y complejidad de sus logros (o las razones de su ausencia). Recopilar los datos requeridos para evaluar el impacto puede ser particularmente difícil para las Secretarías de las OI debido a que esta información la retienen principalmente sus miembros. Incluso en casos donde existe la disponibilidad de compartir esta información, pueden existir impedimentos prácticos.
Considerando los diferentes tipos de instrumentos, la evaluación puede ser más desafiante para los instrumentos voluntarios que para aquellos que son obligatorios (ver Capítulo 1). Los instrumentos voluntarios tienden a ser más flexibles y puede existir poca homogeneidad en términos de la forma en la que se implementan.
Dependiendo de la antigüedad del instrumento, también puede ser un reto para una evaluación tener en cuenta tanto la aplicación como el impacto. Esto es especialmente relevante en el caso de los instrumentos recientes, que simplemente intentan alcanzar niveles adecuados de ratificación. Para ello, las evaluaciones deben tener en cuenta la madurez del instrumento o instrumentos en cuestión y establecer objetivos realistas desde el principio.
Prácticas orientadas al futuro que pueden ayudar a superar los retos de la evaluación de los OI
Aunque la evaluación de los instrumentos internacionales sigue siendo relativamente escasa, el incremento en los esfuerzos de evaluación está contribuyendo progresivamente a mejorar el conocimiento y a comprender la implementación y los impactos de los instrumentos internacionales. Con esta creciente experiencia y la emergencia de nuevas herramientas de tecnología de información, las OI pueden abrir nuevas oportunidades para recopilar y procesar enormes cantidades de datos e información sobre los instrumentos internacionales y compartirla con más fluidez entre las partes interesadas, países y Secretarías de las OI o entre las propias OI, para aprovechar fuentes de información comunes (ver Capítulo 5).
Recuadro 3.8. Experiencia de evaluación entre las OI y el uso de herramientas digitales en apoyo a la evaluación
De acuerdo con la UNESCO, la primera de sus Evaluaciones de la labor de fijación de normas del Sector de Cultura de la UNESCO (UNESCO, 2013[32]) funcionó como una fase piloto de facto con respecto a la evaluación de instrumentos normativos. Estas evaluaciones se generaron en paralelo con, y las informó el Manual del Grupo de Evaluación de las Naciones Unidas (UNEG) para las evaluaciones del grupo normativo en el Sistema de las Naciones Unidas (UNEG, 2013[33]). Esto proporciona un marco exhaustivo para la evaluación basada en las experiencias acumuladas de los evaluadores a través de la red de agencias de las Naciones Unidas, y contiene lineamientos detallados sobre la determinación de la capacidad de evaluación del trabajo normativo, preparando la evaluación (incluyendo la identificación de actores interesados, el propósito general y los criterios e indicadores), la recopilación y el análisis de datos, la notificación y actividades de seguimiento. Más ampliamente, las lecciones que surgen de la evaluación inicial se alimentan en evaluaciones subsiguientes a través del vivo compromiso así como de la implementación de reformas a los Términos de referencia que rigen la práctica de la evaluación de la UNESCO.
La Organización de las Naciones Unidas para la Alimentación (FAO) ha desarrollado y mantiene de manera activa la Base de datos FAOLEX (FAO, 2020[34]) que incluye la legislación nacional, las políticas y los acuerdos bilaterales sobre la gestión de alimentos, agricultura y recursos naturales. Esto proporciona la base para un inventario temático bajo el alcance del mandato de la FAO y está prácticamente administrada por Servicios Jurídicos para el Desarrollo (LEGN) del Departamento Jurídico de la FAO. Los resultados clave de la FAOLEX incluyen una base de datos exhaustiva de documentos legales y políticos extraídos de más de 200 países, territorios y organizaciones de integración económica (con 8,000 nuevas entradas por año), los conjuntos de datos temáticos organizados por tema y perfiles de país contienen un panorama general de las políticas nacionales, la legislación y los acuerdos internacionales en vigor. Esto ilustra de forma práctica la relación entre el seguimiento (GT2) y la evaluación (GT4), ya que la capacidad de llevar a cabo la segunda depende de la calidad y la amplitud de la primera. Además, demuestra el potencial de las tecnologías emergentes, cuyo uso reduce las barreras administrativas, económicas y de información para llevar a cabo evaluaciones eficaces.
Fuente: (OECD, 2020[35]), elaboración del autor de plantillas de prácticas de las OI.
Los reguladores nacionales recopilan información importante a través de la evaluación nacional ex ante y ex post, lo que puede llenar las deficiencias informativas que enfrentan las Secretarías de las OI sobre los impactos de sus instrumentos. Un estudio de 2017 del Comité de Política Regulatoria (CPR) de la OCDE indica que un tercio de los países miembros revisa la implementación de los instrumentos internacionales a los que se adhieren. De ellos, seis comparten los resultados de estas evaluaciones con las OI relevantes (OECD, 2018[36]). En el Estudio sobre OI 2018, 12 OI indicaron que ocasionalmente toman en consideración los resultados de la evaluación nacional de los instrumentos internacionales transpuestos a la legislación nacional.
Referencias
[13] ASTM International (2020), ASTM Regulations Governing Technical Committees | Green Book, https://www.astm.org/Regulations.html#s10.
[18] BIPM (2016), Recommendations from the Working Group on the Implementation and Operation of the CIPM MRA, https://www.bipm.org/utils/common/documents/CIPM-MRA-review/Recommendations-from-the-WG.pdf.
[24] CITES (2011), Resolution Conf. 14.8 - Periodic Review of Species included in Appendices I and II, https://cites.org/sites/default/files/document/E-Res-14-08-R17_0.pdf.
[10] European Commission (2016), Inter-Institutional Agreement on Better Law-Making in the European Union, https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A32016Q0512%2801%29.
[34] FAO (2020), FAOLEX Database, http://www.fao.org/faolex/en/.
[9] ILAC (2019), Structure of the ILAC Mutual Recognition Arrangement and Procedure for Expansion of the Scope of the ILAC Arrangement (ILAC - R6:05/2019), https://ilac.org/?ddownload=122555.
[19] ILAC (2015), ILAC Mutual Recognition Agreement (ILAC MRA), https://ilac.org/ilac-mra-and-signatories/.
[8] ILO (2011), Standards Review Mechanism (SRM), https://www.ilo.org/global/about-the-ilo/how-the-ilo-works/departments-and-offices/jur/legal-instruments/WCMS_712639/lang--en/index.htm.
[15] ISO (2019), Guidance on the Systematic Review Process, https://www.iso.org/files/live/sites/isoorg/files/store/en/PUB100413.pdf.
[26] ISO (2018), ISO 19011:2018 Guidelines for Auditing Management Systems, https://www.iso.org/standard/70017.html.
[27] ISO (1986), ISO Technical Management Board (ISO/TMB), https://www.iso.org/committee/4882545.html/.
[14] ISO/IEC (2018), ISO/IEC Directives Part I + IECD Supplement, https://www.iec.ch/members_experts/refdocs/iec/isoiecdir1-consolidatedIECsup%7Bed14.0%7Den.pdf.
[25] ISO/IEC (2017), ISO/IEC 17011:2017 Conformity Assessment — Requirements for Accreditation Bodies Accrediting Conformity Assessment Bodies, https://www.iso.org/standard/67198.html.
[21] IUCN (2018), Impact of IUCN Resolutions on International Conservation Efforts, https://portals.iucn.org/library/node/47226.
[17] OECD (2021), International Regulatory Cooperation and International Organisations: The Case of ASTM International, OECD Publishing.
[5] OECD (2020), OECD Best Practice Principles for Reviewing the Stock of Regulation, OECD Publishing, Paris, https://www.oecd.org/gov/regulatory-policy/reviewing-the-stock-of-regulation-1a8f33bc-en.htm (accessed on 25 March 2021).
[35] OECD (2020), OECD Study on the World Organisation for Animal Health (OIE) Observatory: Strengthening the Implementation of International Standards, OECD Publishing, Paris, https://doi.org/10.1787/c88edbcd-en.
[3] OECD (2020), Regulatory Impact Assessment, OECD Best Practice Principles for Regulatory Policy, OECD Publishing, Paris, https://doi.org/10.1787/7a9638cb-en.
[12] OECD (2019), Better Regulation Practices across the European Union, OECD Publishing, Paris, https://doi.org/10.1787/9789264311732-en.
[22] OECD (2019), OECD Standard-Setting Review (SSR), OECD Publishing, Paris, https://one.oecd.org/document/C/MIN(2019)13/en.
[4] OECD (2019), The Contribution of International Organisations to a Rule-Based International System: Key Results from the Partnership of International Organisations for Effective Rulemaking, https://www.oecd.org/gov/regulatory-policy/IO-Rule-Based%20System.pdf.
[36] OECD (2018), OECD Regulatory Policy Outlook 2018, OECD Publishing, Paris, https://doi.org/10.1787/9789264303072-en.
[1] OECD (2016), International Regulatory Co-operation: The Role of International Organisations in Fostering Better Rules of Globalisation, OECD Publishing, Paris, https://doi.org/10.1787/9789264244047-en.
[7] OECD (2014), International Regulatory Co-operation and International Organisations: the Cases of the OECD and the IMO, OECD Publishing, Paris, https://doi.org/10.1787/9789264225756-en.
[16] OECD; OIML (2016), International Regulatory Co-operation and International Organisations: The Case of the International Organization of Legal Metrology (OIML).
[11] OIML (1955), Convention Establishing an International Organisation in Legal Metrology, https://www.oiml.org/en/files/pdf_b/b001-e68.pdf.
[31] OIOS-IED (2014), OIOS-IED Inspection and Evaluation Manual Inspection and Evaluation Manual, https://oios.un.org/sites/oios.un.org/files/images/oios-ied_manual.pdf (accessed on 26 March 2021).
[28] OTIF (2019), Explanatory Note on the Draft Decision on the Monitoring and Assessment of Legal Instruments, http://otif.org/fileadmin/new/2-Activities/2G-WGLE/2Ga_WorkingDocWGLE/2020/LAW-19054-GTEJ2-fde-Explanatory-Notes-on-the-Draft-Decision-text-as-endorsed.pdf.
[2] Parker, D. and C. Kirkpatrick (2012), The Economic Impact of Regulatory Policy: A Literature Review of Quantitative Evidence, OECD Publishing, Paris, http://www.oecd.org/regreform/measuringperformance (accessed on 21 October 2020).
[29] UNEG (2021), UNEG Document Library, http://uneval.org/document/library (accessed on 26 March 2021).
[30] UNEG (2020), Detail of Synthesis of Guidelines for UN Evaluation under COVID-19, http://uneval.org/document/detail/2863 (accessed on 26 March 2021).
[6] UNEG (2014), UNEG Handbook for Conducting Evaluations of Normative Work in the UN System, http://www.uneval.org/document/detail/1484 (accessed on 4 December 2020).
[33] UNEG (2013), UNEG Handbook for Conducting Evaluations of Normative Work in the UN System, http://www.uneval.org/document/detail/1484.
[20] UNESCO (2019), Evaluation of UNESCO’s Standard-Setting Work in the Culture Sector, https://unesdoc.unesco.org/ark:/48223/pf0000223095.
[32] UNESCO (2013), Evaluation of UNESCO’s Standard-setting Work of the Culture Sector, Part I: 2003 Convention for the Safeguarding of the Intangible Cultural Heritage, https://unesdoc.unesco.org/ark:/48223/pf0000223095.
[23] WCO (2020), WCO Performance Measurement Mechanism (PMM), http://www.wcoomd.org/zh-cn/wco-working-bodies/capacity_building/working-group-on-performance-measurement.aspx.
Notas
← 1. Algunas OI pueden distinguir entre “evaluaciones internas” (donde la evaluación se realiza a través de una unidad de evaluación especializada e independiente que es parte de la OI) y las “autoevaluaciones” (donde la evaluación la realiza directamente la unidad responsable del instrumento para sus propios propósitos). En ambos casos, se pueden contratar consultores/especialistas para brindar asistencia, pero la evaluación sigue siendo dirigida internamente por la OI. Este capítulo no realiza esta distinción entre “interna” y “autoevaluación”; ambas son relevantes aquí.
← 2. Manual del UNEG para realizar evaluaciones del trabajo normativo en el sistema de las Naciones Unidas (2014) www.uneval.org/document/detail/1484.
← 3. Por ejemplo, Mejores criterios para una mejor evaluación de la OCDE-CAD (2019) www.oecd.org/dac/evaluation/revised-evaluation-criteria-dec-2019.pdf, el Manual del UNEG para realizar evaluaciones del trabajo normativo en el sistema de las Naciones Unidas (2014) y las Guía para la evaluación de la Comisión Europea, https://ec.europa.eu/info/sites/info/files/better-regulation-guidelines-evaluation-fitness-checks.pdf.
← 4. De acuerdo con la Política de reglamentación: Perspectivas de la OCDE (2018), la evaluación de impacto regulatorio ex ante se refiere al “proceso sistemático de identificación y cuantificación de los beneficios y costos que probablemente fluirán de las opciones regulatorias y no regulatorias para una política bajo consideración”.
← 5. Para más información sobre mejores prácticas en evaluación de impactos ver: la publicación de la OCDE de Evaluación de Impacto Regulatorio (2020) www.oecd.org/gov/regulatory-policy/regulatory-impact-assessment-7a9638cb-en.htm y las Guías sobre impacto regulatorio de la Comisión Europea https://ec.europa.eu/info/sites/info/files/better-regulation-guidelines-impact-assessment.pdf.
← 6. Ver sección del glosario.