Medir el desempeño de los reguladores constituye un reto, empezando porque se debe definir qué se medirá, lidiar con factores confusos, atribuir resultados a las intervenciones y enfrentarse a la falta de datos e información. En este capítulo se describe la metodología desarrollada por la OCDE para ayudar a los organismos reguladores a enfrentar estos retos por medio de un Marco para la Evaluación del Desempeño de los Reguladores Económicos (Performance Assessment Framework for Economic Regulators, PAFER), que conforma este estudio. El capítulo muestra parte del trabajo realizado por la OCDE sobre medición del desempeño regulatorio. Luego describe las características clave del PAFER y ofrece una tipología de los indicadores de desempeño para medir insumos, proceso, rendimiento y resultados. Por último, presenta una perspectiva del criterio y las medidas prácticas tomadas para desarrollar este informe.
Impulsando el desempeño del Regulador de Infraestructura de Transporte de Perú
Anexo A. Metodología
Abstract
Marco analítico
El marco analítico que conforma este estudio se basa en el trabajo realizado por la OCDE al medir el desempeño regulatorio y la gobernanza de los reguladores económicos. Los países miembros de la OCDE y los reguladores han reconocido la necesidad de medir este desempeño. La información sobre este desempeño es necesaria para destinar mejor los escasos recursos y optimizar el desempeño general de las normas regulatorias y de los reguladores. Sin embargo, la medición del desempeño regulatorio puede resultar todo un desafío. Algunos de estos retos incluyen:
Qué medir: los sistemas de evaluación requieren un diagnóstico de la manera en que los insumos influyen en el rendimiento y los resultados. En el caso de la política regulatoria, los insumos pueden centrarse en: i) los programas generales diseñados para promover una mejora sistemática de la calidad regulatoria; ii) la aplicación de prácticas específicas tendientes a mejorar la regulación o iii) cambios en el diseño de reglamentos específicos.
Factores confusos: hay infinidad de problemas contingentes que influyen en los resultados en la sociedad a la que se prevé que afecte la regulación. Estos problemas pueden ser tan sencillos como un cambio en el estado del tiempo o tan complicados como la última crisis financiera. Por consiguiente, es difícil establecer una relación causal directa entre la adopción de mejores prácticas regulatorias y mejoras específicas en los resultados de bienestar buscados en la economía.
Falta de datos e información: los países suelen carecer de datos y metodologías para identificar si las prácticas regulatorias se ejecutan correctamente y qué impacto pueden tener en la economía real.
El Marco de la OCDE para la evaluación de la política regulatoria (OECD, 2014[1]) aborda estos retos con una lógica de insumos-proceso-rendimiento- resultados, la que divide el proceso regulatorio en una secuencia de pasos concretos. Dicha lógica es flexible y puede aplicarse tanto a la evaluación de las prácticas para mejorar la normativa regulatoria en general, como a la evaluación de la normativa regulatoria en sectores específicos, con base en la identificación de objetivos estratégicos pertinentes. Puede adaptarse a los reguladores económicos tomando en cuenta las condiciones que respaldan su desempeño (Recuadro A A.1).
Los Principios para la Mejores Prácticas de la OCDE en materia de Política Regulatoria: Gobernanza de Reguladores (OECD, 2014[2]) identifica algunas de las condiciones que respaldan el desempeño de los reguladores económicos. Reconocen la importancia de evaluar la manera en que un regulador se dirige, controla, financia y se responsabiliza, con el fin de aumentar la eficacia general de los reguladores y promover el crecimiento y la inversión, incluyendo el apoyo a la competencia. Más aún, confirman el efecto positivo que el propio proceso interno del órgano regulador – cómo gestiona los recursos y qué procesos implanta para regular determinado sector o mercado – tiene en los resultados (Gráfica A A.1).
Recuadro A A.1. Secuencia lógica de insumos-proceso-rendimiento-resultados
Paso I. Insumos: los indicadores incluyen, por ejemplo, el presupuesto y el personal del cuerpo de supervisión regulatoria.
Paso II. Proceso: los indicadores evalúan si hay requisitos formales para buenas prácticas regulatorias. Esto incluye los requisitos para establecer objetivos, la consulta, análisis de hechos fehacientes, simplificación administrativa, evaluaciones de riesgos y armonización internacional de cambios regulatorios.
Paso III. Rendimiento: los indicadores proporcionan información que comunica si en realidad se implementaron buenas prácticas regulatorias.
Paso IV. Impacto del diseño en los resultados (también denominados resultados intermedios): los indicadores evalúan si las buenas prácticas regulatorias contribuyeron a mejorar la calidad de los reglamentos. Por ende, intenta crear un vínculo causal entre el diseño de la política regulatoria y los resultados.
Paso V. Resultados estratégicos: los indicadores evalúan si se lograron los resultados deseados con la política regulatoria, tanto en función de la calidad regulatoria como de resultados regulatorios.
Fuente: (OECD, 2014[1]).
Gráfica A A.1. Principios de las mejores prácticas de la OCDE en materia de gobernanza de los reguladores
Fuente: Adaptado de (OECD, 2014[2]).
Los dos marcos se juntan en un Marco para la Evaluación del Desempeño de los Reguladores Económicos (Performance Assessment Framework for Economic Regulators, PAFER) que estructura los impulsores del desempeño en el marco de insumos-proceso-rendimiento-resultado (Cuadro A A.1).
Cuadro A A.1. Criterios para evaluar el propio marco de desempeño de los reguladores
Fuente: Análisis OCDE.
Indicadores de desempeño
Para los reguladores, los indicadores de desempeño necesitan ser adecuados para la evaluación del desempeño, la cual es una valoración analítica, sistemática, de las actividades del órgano regulador con el fin de buscar la confiabilidad y funcionalidad de sus actividades. La evaluación del desempeño no es una auditoría que juzga cómo llevan a cabo su misión los empleados y directores, ni un control que haga énfasis en el cumplimiento de las normas (OECD, 2004[3]).
Por consiguiente, los indicadores de desempeño necesitan evaluar el uso eficiente y eficaz de los insumos de un regulador, la calidad de los procesos regulatorios e identificar el rendimiento y algunos resultados directos que puedan atribuirse a las intervenciones del regulador. Los resultados más amplios deberán servir como “atalaya” que proporciona la información que el regulador puede utilizar para identificar las áreas problemáticas, orientar las decisiones e identificar las prioridades (Gráfica A A.2).
Gráfica A A.2. Marco de insumos-proceso-rendimiento-resultados para los indicadores de desempeño
Notas: Este marco fue propuesto en la metodología inicial para el Marco para la Evaluación del Desempeño de los Reguladores Económicos (Performance Assessment Framework for Economic Regulators, PAFER) analizado con la Red de Reguladores Económicos (Network of Economic Regulators, NER) de la OCDE. Se afinó para reflejar la retroalimentación de los miembros de la NER y la experiencia de otros reguladores en la evaluación de su propio desempeño.
Fuente: (OECD, 2015[4]), Driving Performance at Colombia’s Communications Regulator, gráfica 3.3 (actualizado en 2017), http://dx.doi.org/10.1787/9789264232945-en.
Criterio
El marco analítico presentado antes dio cuenta de la recopilación de datos y del análisis presentado en el informe. El presente informe se centró en los elementos de gobernanza interna y externa del Organismo Supervisor de la Inversión en Infraestructura de Transporte de Uso Público, OSITRAN, en las siguientes áreas:
Objetivos estratégicos: identificar objetivos, propósitos o metas claramente establecidos que estén en armonía con las funciones y facultades del regulador, lo cual puede documentar el desarrollo de los indicadores de desempeño viables.
Insumos: determinar el grado en que el financiamiento y el personal del regulador son acordes con los objetivos, propósitos o metas de éste y a la capacidad del regulador para gestionar recursos financieros y humanos de manera autónoma y eficaz.
Proceso: evaluar el grado en que los procesos y la gestión organizacional respaldan el desempeño del regulador.
Rendimiento y resultados: identificar una evaluación sistemática del desempeño de las entidades reguladas, el impacto de las decisiones y actividades del regulador y el grado en que estas mediciones se usan adecuadamente.
Los datos que conforman el análisis presentado en el informe se recabaron mediante una revisión de documentos, una misión de investigación y una misión de pares que visitó Perú:
Cuestionario y revisión de documentos: OSITRAN completó un cuestionario detallado que luego fue revisado por la Secretaría de la OCDE. La Secretaría llevó a cabo un examen preliminar de la legislación y de los documentos del OSITRAN para recabar información sobre el funcionamiento de jure del órgano e informar la base de la misión de investigación. Este cuestionario fue diseñado para OSITRAN, basado en la metodología ya aplicada por la OCDE a la Comisión de Regulación de Comunicaciones de Colombia (OECD, 2015[4]); la Comisión de Servicios Públicos de Letonia (OECD, 2016[5]); los tres reguladores de energía de México (OECD, 2017[6]); (OECD, 2017[7]); (OECD, 2017[8]); (OECD, 2017[9]); la Comisión para la Regulación de Servicios Públicos de Irlanda (OECD, 2018[10]); el Organismo Supervisor de la Inversión en Energía y Minería (OECD, 2019[11]) y el Organismo Supervisor de la Inversión Privada en Telecomunicaciones (OECD, 2019[12]).
Misión de investigación: la misión fue realizada por el personal de la Secretaría de la OCDE del 27 al 31 de mayo de 2019 en Lima y fue la herramienta clave para complementar la información de jure con la de facto. El trabajo de la misión de investigación adaptó la metodología del PAFER a las características del OSITRAN. La información recabada se completó y constató con el OSITRAN, y se identificaron aspectos para posterior discusión.
Misión de pares: la misión se llevó a cabo del 10 al 13 de septiembre de 2019 en Lima e incluyó revisores pares de Canadá, España y México, además del personal de la Secretaría de la OCDE. El equipo de la misión se reunió con actores interesados clave para el OSITRAN, tanto internos como externos. Al final de la misión, el equipo discutió los hallazgos y recomendaciones preliminares conjuntamente con la alta dirección del OSITRAN, para probar su viabilidad.
Durante las misiones de investigación y de pares, el equipo se reunió con la alta dirección de OSITRAN, así como con el personal del regulador. Además, el equipo se reunió con instituciones públicas y actores interesados externos, incluyendo:
Entidades públicas
Agencia de Promoción de la Inversión Privada, Proinversión.
Autoridad Autónoma del Sistema Eléctrico de Transporte Masivo de Lima y Callao, ATEE.
Autoridad Portuaria Nacional, APN.
Congreso de la República del Perú, Comisión de Transportes y Comunicaciones.
Contraloría General de la República.
Instituto Nacional de Defensa de la Competencia y Protección de la Propiedad Intelectual, Indecopi.
Ministerio de Transportes y Comunicaciones (MTC).
Presidencia del Consejo de Ministros (PCM).
Entidades privadas
Aeropuertos Andinos del Perú.
Aeropuertos del Perú.
APM Terminals Callao.
Asociación para el Fomento de la Infraestructura Nacional (AFIN).
Concesionaria Vial del Sol S.A. (COVISOL).
Concesionaria Vial del Perú S.A. (COVIPERÚ).
Corporación Peruana de Aeropuertos y Aviación Comercial S.A., (CORPAC).
DP WORLD CALLAO S.R.L.
Ferrocarril Trasandino S.A.
GYM Ferrovías S.A.
IIRSA Norte.
Lima Airport Partners (LAP).
Sociedad Concesionaria del Metro de Lima
Terminal Internacional del Sur (Matarani).
Consejos de usuarios
Consejo de Usuarios de Aeropuertos.
Consejo de Usuarios de Puertos.
Consejo de Usuarios de la Red Vial.
Consejo de Usuarios Ferroviarios.
Consejo de Usuarios de Arequipa.
Consejo de Usuarios de Cuzco.
Consejo de Usuarios de Loreto.
Consejo de Usuarios de Piura.
Referencias
[11] OECD (2019), Impulsando el desempeño del Organismo Supervisor de la Inversión en Energía y Minería de Perú, Gobernanza de reguladores, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264310827-es.
[12] OECD (2019), Impulsando el desempeño del Organismo Supervisor de la Inversión Privada en Telecomunicaciones de Perú, Gobernanza de reguladores, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264310612-es.
[10] OECD (2018), Driving Performance at Ireland’s Commission for Regulation of Utilities, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264190061-en.
[9] OECD (2017), Impulsando el desempeño de la Agencia de Seguridad, Energía y Ambiente de México, Gobernanza de reguladores, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264280991-es.
[8] OECD (2017), Impulsando el desempeño de la Comisión Nacional de Hidrocarburos de México, Gobernanza de reguladores, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264280908-es.
[7] OECD (2017), Impulsando el desempeño de la Comisión Reguladora de Energía de México, Gobernanza de reguladores, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264280960-es.
[6] OECD (2017), Impulsando el desempeño de los órganos reguladores en materia energética de México, Gobernanza de reguladores, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264272996-es.
[5] OECD (2016), Driving Performance at Latvia’s Public Utilities Commission, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264257962-en.
[4] OECD (2015), Driving Performance at Colombia’s Communications Regulator, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264232945-en.
[1] OECD (2014), OECD Framework for Regulatory Policy Evaluation, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264214453-en.
[2] OECD (2014), The Governance of Regulators, OECD Best Practice Principles for Regulatory Policy, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264209015-en.
[3] OECD (2004), The choice of tools for enhancing policy impact: Evaluation and review, http://www.oecd.org/officialdocuments/publicdisplaydocumentpdf/?cote=gov/pgc(2004)4&doclanguage=en.