Medir el desempeño regulatorio constituye un reto, empezando porque se debe definir qué se medirá, lidiar con factores confusos, atribuir resultados a las intervenciones y enfrentarse a la falta de datos e información. En este capítulo se describe la metodología desarrollada por la OCDE para ayudar a los organismos reguladores a enfrentar estos retos por medio de un Marco para la Evaluación del Desempeño de los Reguladores Económicos (Performance Assessment Framework for Economic Regulators, PAFER). El capítulo muestra parte del trabajo realizado por la OCDE sobre la medición del desempeño regulatorio. Luego describe las características clave del PAFER y ofrece una tipología de los indicadores de desempeño para medir insumos, proceso, rendimiento y resultados. Por último, presenta una perspectiva del criterio y las medidas prácticas tomadas para desarrollar este informe.
Impulsando el desempeño del Organismo Supervisor de la Inversión Privada en Telecomunicaciones de Perú
Anexo A. Metodología
Abstract
Marco analítico
El marco analítico que conforma este estudio se basa en el trabajo realizado por la OCDE al medir el desempeño regulatorio y la gobernanza de los reguladores económicos. Los países miembros de la OCDE y los reguladores han reconocido la necesidad de medir el desempeño regulatorio. La información sobre este desempeño es necesaria para destinar mejor los escasos recursos y optimizar el desempeño general de las normas regulatorias y de los reguladores. Sin embargo, la medición del desempeño regulatorio puede resultar todo un desafío. Algunos de estos retos incluyen:
Qué medir: los sistemas de evaluación requieren un diagnóstico de la manera en que los insumos influyen en el rendimiento y los resultados. En el caso de la política regulatoria, los insumos pueden centrarse en: i) los programas generales diseñados para promover una mejora sistemática de la calidad regulatoria; ii) la aplicación de prácticas específicas tendientes a mejorar la regulación o iii) cambios en el diseño de regulaciones específicas.
Factores confusos: hay infinidad de problemas contingentes que influyen en los resultados en la sociedad a la que se prevé que afecte la regulación. Estos problemas pueden ser tan sencillos como un cambio en el estado del tiempo o tan complicados como la última crisis financiera. Por consiguiente, es difícil establecer una relación causal directa entre la adopción de mejores prácticas regulatorias y mejoras específicas en los resultados de bienestar buscados en la economía.
Falta de datos e información: los países suelen carecer de datos y metodologías para identificar si las prácticas regulatorias se ejecutan correctamente y qué impacto pueden tener en la economía real.
El Marco de la OCDE para la evaluación de la política regulatoria (2014[1]) aborda estos retos con una lógica de insumos-proceso-rendimiento- resultados, la que divide el proceso regulatorio en una secuencia de pasos concretos. Dicha lógica es flexible y puede aplicarse tanto a la evaluación de las prácticas para mejorar la normativa regulatoria en general, como a la evaluación de la normativa regulatoria en sectores específicos, con base en la identificación de objetivos estratégicos pertinentes. Puede adaptarse a los reguladores económicos tomando en cuenta las condiciones que respaldan su desempeño (encuadro A A.1.)
Los Principios para la Mejores Prácticas de la OCDE en materia de Política Regulatoria: Gobernanza de Reguladores (OECD, 2014[13] identifica algunas de las condiciones que respaldan el desempeño de los reguladores económicos. Reconocen la importancia de evaluar la manera en que un regulador se dirige, controla, financia y se responsabiliza, con el fin de aumentar la eficacia general de los reguladores y promover el crecimiento y la inversión, incluyendo el apoyo a la competencia. Más aún, confirman el efecto positivo que el propio proceso interno del órgano regulador —cómo gestiona los recursos y qué procesos implanta para regular determinado sector o mercado— tiene en los resultados (gráfica A A.1).
Encuadro A A.1. Secuencia lógica de insumos-proceso-rendimiento-resultado
Paso I. Insumos: los indicadores incluyen, por ejemplo, el presupuesto y el personal del cuerpo de supervisión regulatoria.
Paso II. Proceso: los indicadores evalúan si hay requisitos formales para buenas prácticas regulatorias. Esto incluye los requisitos para establecer objetivos, la consulta, análisis de hechos fehacientes, simplificación administrativa, evaluaciones de riesgos y armonización internacional de cambios regulatorios.
Paso III. Rendimiento: los indicadores proporcionan información que comunica si en realidad se implementaron buenas prácticas regulatorias.
Paso IV. Impacto del diseño en los resultados (también denominados resultados intermedios): los indicadores evalúan si las buenas prácticas regulatorias contribuyeron a mejorar la calidad de las regulaciones. Por ende, intenta crear un vínculo causal entre el diseño de la política regulatoria y los resultados.
Paso V. Resultados estratégicos: los indicadores evalúan si se lograron los resultados deseados con la política regulatoria, tanto en función de la calidad regulatoria como de resultados regulatorios.
Fuente: (OECD, 2014[12]).
Gráfica A A.1. Principios de las mejores prácticas de la OCDE en materia de gobernanza de los reguladores
Fuente: Adaptado de (OECD, 2014[2]).
Los dos marcos se juntan en un Marco para la Evaluación del Desempeño de los Reguladores Económicos (Performance Assessment Framework for Economic Regulators, PAFER) que estructura los impulsores del desempeño en el marco de insumos-proceso-rendimiento-resultado (cuadro A A.1).
Cuadro A A.1. Criterios para evaluar el propio marco de desempeño de los reguladores
Fuente: Análisis OCDE.
Indicadores de desempeño
Para los reguladores, los indicadores de desempeño necesitan ser adecuados para la evaluación del desempeño, la cual es una valoración analítica, sistemática, de las actividades del órgano regulador con el fin de buscar la confiabilidad y funcionalidad de sus actividades. La evaluación del desempeño no es una auditoría que juzga cómo llevan a cabo su misión los empleados y directores, ni un control que haga énfasis en el cumplimiento de las normas (OECD, 2004[3]).
Por consiguiente, los indicadores de desempeño necesitan evaluar el uso eficiente y eficaz de los insumos de un regulador, la calidad de los procesos regulatorios e identificar el rendimiento y algunos resultados directos que puedan atribuirse a las intervenciones del regulador. Los resultados más amplios deberán servir como “atalaya” que proporciona la información que el regulador puede utilizar para identificar las áreas problemáticas, orientar las decisiones e identificar las prioridades (gráfica A A.2).
Gráfica A A.2. Marco de insumos-proceso-rendimiento-resultados para los indicadores de desempeño
Notas: Este marco fue propuesto en la metodología inicial para el Marco para la Evaluación del Desempeño de los Reguladores Económicos (Performance Assessment Framework for Economic Regulators, PAFER) analizado con la Red de Reguladores Económicos (Network of Economic Regulators, NER) de la OCDE. Se afinó para reflejar la retroalimentación de los miembros de la NER y la experiencia de otros reguladores en la evaluación de su propio desempeño.
Fuente: OECD (2015), Driving Performance at Colombia’s Communications Regulator, gráfica 3.3 (actualizado en 2017), OECD Publishing, París, http://dx.doi.org/10.1787/9789264232945-en.
Criterio
El marco analítico presentado antes dio cuenta de la recopilación de datos y del análisis presentado en el informe. El presente informe se centró en los elementos de gobernanza interna y externa del Organismos Supervisión de Inversión Privada en Telecomunicaciones, OSIPTEL, en las siguientes áreas:
Objetivos estratégicos: identificar objetivos, propósitos o metas claramente establecidos que estén en armonía con las funciones y facultades del regulador, lo cual puede documentar el desarrollo de los indicadores de desempeño viables.
Insumos: determinar el grado en que el financiamiento y el personal del regulador son acordes con los objetivos, propósitos o metas de éste y a la capacidad del regulador para gestionar recursos financieros y humanos de manera autónoma y eficaz.
Proceso: evaluar el grado en que los procesos y la gestión organizacional respaldan el desempeño del regulador.
Rendimiento y resultados: identificar una evaluación sistemática del desempeño de las entidades reguladas, el impacto de las decisiones y actividades del regulador y el grado en que estas mediciones se usan adecuadamente.
Los datos que conforman el análisis presentado en el informe se recabaron mediante una revisión de documentos, una misión de investigación y una misión de pares que visitó Perú:
Cuestionario y revisión de documentos: El OSIPTEL completó un cuestionario detallado revisado por la Secretaría de la OCDE. La Secretaría llevó a cabo un examen preliminar de la legislación y de los documentos del OSIPTEL para recabar información sobre el funcionamiento de jure del órgano e informar la base de la misión de investigación. Este cuestionario fue diseñado para OSIPTEL, basado en la metodología ya aplicada por la OCDE a la Comisión de Regulación de Comunicaciones de Colombia (OECD, 2015[4]), la Comisión de Servicios Públicos de Letonia (OECD, 2016[5]), los tres reguladores de energía de México (OECD, 2017[6]); (OECD, 2017[7]); (OECD, 2017[8]); (OECD, 2017[9]) y a la Comisión para la Regulación de Servicios Públicos de Irlanda (OECD, 2018[10]). Una serie de reuniones individuales se llevaron a cabo en Lima, del 13 al 15 de febrero del 2018, con los diversos equipos responsables de completar el cuestionario, lo que coincidió con el inicio del proceso de revisión.
Misión de investigación: la misión fue realizada por el personal de la Secretaría de la OCDE del 14 al 17 de mayo de 2018 en Lima y fue la herramienta clave para recabar y completar la información de jure con el estado de las cosas de facto. El trabajo de la misión de investigación adaptó la metodología del PAFER a las características del OSIPTEL. La información recabada se completó y constató con OSIPTEL, y aspectos para posterior discusión fueron alertados.
Misión de pares: la misión transcurrió del 11 al 14 de septiembre de 2018 en Lima e incluyó revisores pares, además del personal de la Secretaría de la OCDE. Esta misión se llevó a cabo en paralelo con la misión de pares para la revisión PAFER del Organismo Supervisor de la Inversión en Energía y Minería, Osinergmin, lo que ayudó a los equipos revisores a entender los desafíos sistemáticos que enfrentan las autoridades reguladoras en Perú. El equipo de la misión se reunió con actores interesados clave para el OSIPTEL, tanto internos como externos. Al final de la misión, el equipo discutió los hallazgos y recomendaciones preliminares conjuntamente con la alta dirección de OSIPTEL y Osinergmin, para probar su viabilidad.
Durante las misiones de investigación y de pares, el equipo se reunió con la alta dirección de OSIPTEL, así como con el personal del regulador, otras instituciones públicas y actores interesados externos, incluyendo:
Agencia de Promoción de la Inversión Privada, ProInversión
Comisión Defensa del Consumidor y Organismos Reguladores de los Servicios Públicos, CODECO)
Instituto Nacional de Defensa de la Competencia y Protección de la Propiedad Intelectual, Indecopi
Ministerio de Economía y Finanzas, MEF
Ministerio de Transportes y Comunicaciones, MTC
Centro Nacional de Planeamiento estratégico, CEPLAN
Presidencia del Consejo de Ministros, PCM
Asociación Peruana de Consumidores y Usuarios, ASPEC
Fondo de Inversión en Telecomunicaciones, FITEL
América Móvil Perú S.A. (Claro)
Entel Perú S.A.
Telefonica del Perú S.A.A
Viettel Perú S.A.C.
Referencias
[10] OECD (2018), Driving Performance at Ireland's Commission for Regulation of Utilities, The Governance of Regulators, OECD Publishing, Paris, http://dx.doi.org/10.1787/9789264190061-en.
[9] OECD (2017), Driving Performance at Mexico's Agency for Safety, Energy and Environment, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264280458-en.
[7] OECD (2017), Driving Performance at Mexico's Energy Regulatory Commission, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264280830-en.
[8] OECD (2017), Driving Performance at Mexico's National Hydrocarbons Commission, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264280748-en.
[6] OECD (2017), Driving Performance of Mexico's Energy Regulators, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264267848-en.
[5] OECD (2016), Driving Performance at Latvia's Public Utilities Commission, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264257962-en.
[4] OECD (2015), Driving Performance at Colombia's Communications Regulator, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264232945-en.
[1] OECD (2014), OECD Framework for Regulatory Policy Evaluation, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264214453-en.
[2] OECD (2014), The Governance of Regulators, OECD Best Practice Principles for Regulatory Policy, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264209015-en.
[3] OECD (2004), The choice of tools for enhancing policy impact: Evaluation and review, OECD, Paris, http://www.oecd.org/officialdocuments/publicdisplaydocumentpdf/?cote=gov/pgc(2004)4&doclanguage=en (acceso 16 de noviembre 2018).