Medir o desempenho regulatório é um desafio, começando por definir o que se vai medir, lidar com fatores confusos, atribuir resultados às intervenções e lidar com a falta de dados e informação. Este capítulo descreve a metodologia desenvolvida pela OCDE para ajudar os reguladores a responder a estes desafios, através de um Quadro de Avaliação do Desempenho para os Reguladores Económicos (QADRE), que caracteriza esta análise. O primeiro capítulo apresenta alguns dos trabalhos conduzidos pela OCDE sobre a medição do desempenho regulatório. A seguir, descreve as principais características do QADRE e apresenta uma tipologia de indicadores de desempenho para medir input, processo, output e resultados. Por último, oferece uma visão geral da abordagem e dos passos concretos empreendidos para conduzir esta análise.
Impulsionando o Desempenho da Entidade Reguladora dos Serviços Energéticos de Portugal
Anexo A. Metodologia
Resumo
Este anexo resume a metodologia desenvolvida pela OCDE para avaliar o sistema de governança das autoridades reguladoras, os motores de desempenho, assim como as suas matrizes de medição de desempenho. A metodologia foi elaborada com base na experiência dos reguladores que participam na Rede de Reguladores Económicos da OCDE, constituindo o presente relatório a sua 12ª aplicação a uma entidade reguladora. Outras estudos abrangendo vários setores e países incluem: a Comissão Reguladora das Comunicações da Colômbia (OECD, 2015[1]), a Comissão de Serviços Essenciais da Letónia (OECD, 2016[2]), os três reguladores de energia do México (OECD, 2017[3]); (OECD, 2017[4]); (OECD, 2017[5]); (OECD, 2017[6]), a Comissão para a Regulação dos Serviços Essenciais da Irlanda (OECD, 2018[7]); o Regulador de Energia e Minas do Peru (OECD, 2019[8]); o Regulador de Telecomunicações do Peru (OECD, 2019[9]),o Regulador das Infraestruturas de Transporte do Peru (OECD, 2020[10]) e a Agência de Proteção do Ambiente da Irlanda (OECD, 2020[11]). A metodologia tem sido adaptada, desde a sua primeira aplicação, em resultado das aprendizagens feitas no decurso do processo de análise e é ajustada de forma a ter em conta as necessidades específicas e características contextuais de cada regulador, setor e jurisdição.
Estrutura analítica
A estrutura analítica que caracteriza esta análise baseia-se no trabalho conduzido pela OCDE sobre a medição do desempenho regulatório e a governação dos reguladores económicos. Os países da OCDE e os reguladores reconheceram a necessidade de medir o desempenho regulatório. A informação sobre o desempenho regulatório é necessária para melhor direcionar recursos escassos e para melhorar o desempenho global das políticas de regulação e dos reguladores. No entanto, medir o desempenho regulatório pode constituir um desafio. Alguns desses desafios são os seguintes:
O que medir: os sistemas de avaliação requerem uma avaliação de como os inputs influenciaram os outputs e os resultados. No caso das políticas de regulação, os inputs podem focar-se em: i) programas globais destinados a promover uma melhoria sistémica da qualidade regulatória; ii) aplicação de práticas específicas destinadas a melhorar a regulação; ou iii) mudanças na conceção de regulamentações específicas.
Fatores confusos: existe uma miríade de questões contingentes que têm impacto nos resultados da sociedade que a regulação deve influenciar. Estas questões podem ser tão simples como uma mudança no clima ou tão complicadas quanto a última crise financeira. Por conseguinte, é difícil estabelecer uma relação causal direta entre a adoção de melhores práticas de regulação e a conquista de determinadas melhorias no bem-estar que se pretende na economia.
Falta de dados e informação: os países tendem a ter falta de dados e metodologias para identificar se as práticas regulatórias estão a ser realizadas corretamente e que impacto essas práticas podem estar a ter na economia real.
O Quadro para a Avaliação das Políticas Reguladoras da OCDE (OECD, 2014[12]) começa por abordar estes desafios, através de uma lógica de “input-processo-output-resultados” que decompõe o processo de regulação numa sequência de etapas discretas. A lógica “input-processo-output-resultados” é flexível e pode ser aplicada tanto para avaliar práticas para melhorar as políticas de regulação, como também para avaliar as políticas de regulação em setores específicos, com base na identificação de objetivos estratégicos relevantes. Pode ser adaptada aos reguladores económicos tendo em consideração as condições que suportam o desempenho dos reguladores económicos (Caixa A A.1).
Os “Princípios de Boas Práticas da OCDE para as Políticas Regulatórias: A Governação dos Reguladores” (OECD, 2014[13]) identifica algumas das condições que suportam o desempenho dos reguladores económicos. Reconhecem a importância de avaliar como um regulador é dirigido, controlado, dotado de recursos e responsabilizado, de modo a melhorar a eficácia geral dos reguladores e promover o crescimento e o investimento, incluindo o apoio à concorrência. Além disso, reconhecem o impacto positivo do próprio processo interno do regulador nos resultados (ou seja, como o regulador gere os recursos e que processos o regulador põe em prática para regular um determinado setor ou mercado) Figura A A.1).
Caixa A A.1. Sequência da lógica “input-processo-output-resultados”
1º Passo) Input: os indicadores incluem, por exemplo, o orçamento e os colaboradores da entidade reguladora.
2º Passo) Processo: os indicadores avaliam se os requisitos formais para as boas práticas regulatórias estão implementados. Isto inclui os requisitos para a definição de objetivos, consultas, análise baseada em evidências, simplificação administrativa, avaliações de riscos e alinhamento com a evolução regulamentar a nível internacional.
3º Passo) Output: os indicadores fornecem informações sobre se as boas práticas regulatórias foram efetivamente implementadas.
4º Passo) Impacto da conceção nos resultados (também referido como resultados intermédios): os indicadores avaliam se as boas práticas regulatórias contribuíram para uma melhoria na qualidade da regulação. Tenta, portanto, fazer uma ligação causal entre a conceção da política reguladora e os resultados.
5º Passo Resultados estratégicos: os indicadores avaliam se os resultados desejados da política regulatória foram alcançados, tanto em termos de qualidade regulatória como em termos de resultados regulatórios.
Fonte: (OECD, 2014[12]).
Figura A A.1. Princípios de Boas Práticas da OCDE sobre a Governação dos Reguladores
Fonte: Adaptado de (OECD, 2014[13]).
As duas estruturas estão reunidas no Quadro de Avaliação do Desempenho para os Reguladores Económicos, o qual organiza os motores do desempenho ao longo da estrutura “input-processo-output-resultados” (Tabela A A.1. ).
Tabela A A.1. Critérios para avaliar o próprio quadro de desempenho dos reguladores
Fonte: Análise da OCDE.
Indicadores de desempenho
Para os reguladores, os indicadores de desempenho precisam de se adequar ao objetivo da avaliação de desempenho, a qual é uma avaliação sistemática e analítica das atividades do regulador que procura a fiabilidade e a utilidade das suas atividades. A avaliação de desempenho não é uma auditoria que julga como os colaboradores e as chefias executam a sua função, nem um controle que se foca no cumprimento das normas (OECD, 2004[14]).
Assim, os indicadores de desempenho precisam de avaliar a utilização eficiente e eficaz dos inputs de um regulador, a qualidade dos processos regulatórios e identificar os outputs e alguns resultados diretos que podem ser atribuídos às intervenções do regulador. Resultados mais amplos devem funcionar como uma “torre de vigilância” que fornece as informações que o regulador pode usar para identificar áreas problemáticas, orientar decisões e identificar prioridades (Figura A A.2).
Figura A A.2. Input-processo-output-resultados” para os indicadores de desempenho
Notas: Esta estrutura foi proposta na metodologia inicial para o Quadro de Avaliação do Desempenho para os Reguladores Económicos (QADRE) discutido com a Rede de Reguladores Económicos da OCDE (RRE). Foi aperfeiçoada para refletir os comentários dos membros da Rede de Reguladores e a experiência de outros reguladores na avaliação do seu próprio desempenho.
Fonte (OECD, 2015[1]), Figura 3.3 (atualizada em 2017).
Abordagem
O estrutura analítica acima representada incluiu a recolha de dados e a análise apresentada no relatório. O presente relatório analisa os sistemas internos e externos de governança da Entidade Reguladora dos Serviços Energéticos (ERSE) de Portugal, nas seguintes áreas:
Papel e objetivos: identificar a existência de um conjunto de objetivos e metas claramente identificados e alinhados com as funções e poderes do regulador que possam informar o desenvolvimento de indicadores de desempenho acionáveis;
Input: determinar até que ponto o financiamento e os colaboradores do regulador estão alinhados com os objetivos e metas do regulador e com a capacidade do regulador de gerir os recursos financeiros e humanos de forma autónoma e eficaz;
Processo: avaliar até que ponto os processos e a gestão organizacional apoiam o desempenho da entidade reguladora;
Output e resultados: identificar a existência de uma avaliação sistemática do desempenho das entidades reguladas, o impacto das decisões e atividades do regulador e até que ponto é que estas medições são utilizadas de forma adequada.
Os dados que fazem parte da análise apresentada no relatório foram recolhidos através de uma análise documental, duas missões de recolha de informações e uma missão de avaliação por peritos internacionais homólogos:
Questionário e análise documental: A ERSE preencheu um questionário detalhado que fazia parte de uma análise documental conduzida pelo Secretariado da OCDE. O Secretariado analisou a legislação existente e os documentos da ERSE para recolher informações sobre o funcionamento de jure do regulador e preparar as missões de recolha de informações. Este questionário foi adaptado à ERSE, com base na metodologia já aplicada pela OCDE a outros reguladores desde 2015 e na participação da ERSE em anteriores exercícios de recolha de dados da OCDE, tais como os Indicadores de 2018 sobre a Governação dos Reguladores Setoriais.
Missões de recolha de informações: a primeira missão de recolha de informações centrou-se em conhecer as equipas internas da ERSE e foi conduzida pelo Secretariado da OCDE entre 8 e 10 de janeiro de 2020. A segunda missão de recolha de informações teve lugar entre 11 e 14 de fevereiro de 2020 e centrou-se principalmente em conhecer as partes interessadas externas. Estas missões foram a ferramenta chave para recolher e completar as informações de jure obtidas através do questionário com o ponto de situação de facto. O trabalho das missões de recolha de informação adaptou a metodologia do QADRE às características da ERSE. A informação recolhida foi completada e verificada com a ERSE para efeitos de exatidão. Ambas as missões tiveram lugar em Lisboa.
Missão de avaliação pelos pares: a missão decorreu entre 15 e 18 de junho de 2020 e incluiu revisores especializados da Austrália, Irlanda e Suécia, para além do Secretariado da OCDE. Esta missão reuniu com as principais partes interessadas na ERSE, assim como externas. No final da missão, a equipa discutiu os resultados preliminares e as recomendações com a direção da ERSE para testar a sua viabilidade. Esta missão foi realizada remotamente por videoconferência devido ao contexto pandémico da COVID-19.
Durante as missões de recolha de informações e as missões de avaliação pelos pares, a equipa reuniu-se com a equipa diretores da ERSE, assim como com vários colaboradores da instituição. Além disso, a equipa reuniu-se com instituições governamentais e partes interessadas externas, nomeadamente com:
Ministério do Ambiente e da Ação Climática (MAAC)
Direção-Geral de Energia e Geologia (DGEG)
Direção-Geral do Consumidor
Autoridade da Concorrência (AdC)
Comissão do Mercado de Valores Mobiliários (CMVM)
Autoridade Nacional de Comunicações (ANACOM)
Um deputado português
Entidade Nacional para o Setor Energético (ENSE)
Presidentes do Conselho Consultivo, Conselho Tarifário e Conselho para os Combustíveis da ERSE
Representantes dos Governos regionais dos Açores e da Madeira e das empresas regionais-
Grupo REN: ORT gás (REN Gasodutos), ORT eletricidade (REN Eléctrica), e ORD gás (REN Portgás)
Grupo EDP: Produtor e ORD de eletricidade
Plataforma grossista para o Mercado Ibérico de Energia (OMIP)
Organização de defesa do consumidor, a DECO e a DECO Proteste
Confederação Empresarial de Portugal (CIP)
Associação Portuguesa de Energias Renováveis (APREN)
Associação de Comercializadores de Energia no Mercado Liberalizado (ACEMEL)
Jorge Vasconcelos, ex-presidente da ERSE
Manuel Cabugueira, Coordenador da Unidade Técnica de Avaliação de Impacto Legislativo e membro da Delegação de Portugal no Comité de Política Regulatória.
Referências
[11] OECD (2020), Driving Performance at Ireland’s Environmental Protection Agency, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/009a0785-en.
[10] OECD (2020), Driving Performance at Peru’s Transport Infrastructure Regulator, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/d4ddab52-en.
[8] OECD (2019), Driving Performance at Peru’s Energy and Mining Regulator, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264310865-en.
[9] OECD (2019), Driving Performance at Peru’s Telecommunications Regulator, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264310506-en.
[7] OECD (2018), Driving Performance at Ireland’s Commission for Regulation of Utilities, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264190061-en.
[6] OECD (2017), Driving Performance at Mexico’s Agency for Safety, Energy and Environment, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264280458-en.
[4] OECD (2017), Driving Performance at Mexico’s Energy Regulatory Commission, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264280830-en.
[5] OECD (2017), Driving Performance at Mexico’s National Hydrocarbons Commission, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264280748-en.
[3] OECD (2017), Driving Performance of Mexico’s Energy Regulators, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264267848-en.
[2] OECD (2016), Driving Performance at Latvia’s Public Utilities Commission, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264257962-en.
[1] OECD (2015), Driving Performance at Colombia’s Communications Regulator, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264232945-en.
[12] OECD (2014), OECD Framework for Regulatory Policy Evaluation, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264214453-en.
[13] OECD (2014), The Governance of Regulators, OECD Best Practice Principles for Regulatory Policy, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264209015-en.
[14] OECD (2004), The choice of tools for enhancing policy impact: Evaluation and review, http://www.oecd.org/officialdocuments/publicdisplaydocumentpdf/?cote=gov/pgc(2004)4&doclanguage=en (acedido a 16 de novembro de 2018).