Medir o desempenho regulatório é uma tarefa desafiadora, começando por definir o que medir, abordar fatores de confusão, atribuir resultados às intervenções e lidar com a falta de dados e informações. Este anexo descreve a metodologia desenvolvida pela OCDE para ajudar os reguladores a enfrentar esses desafios através de um Quadro de Avaliação de Desempenho para Reguladores Econômicos (PAFER), que serve de base para este relatório. O anexo começa apresentando alguns dos trabalhos realizados pela OCDE sobre a medição do desempenho regulatório. Em seguida, descreve as principais características do PAFER e apresenta uma tipologia de indicadores de desempenho para medir insumos, processos, produtos e resultados. Por fim, fornece um panorama da abordagem e das medidas práticas adotadas para desenvolver este relatório.
Impulsionando o Desempenho da Agência Nacional de Energia Elétrica do Brasil
Anexo A. Metodologia
Abstract
Este anexo resume a metodologia desenvolvida pela OCDE para avaliar os arranjos de governança das autoridades reguladoras, os fatores determinantes do desempenho, assim como suas matrizes de medição de desempenho. A metodologia foi preparada com base na experiência dos reguladores que participam da Rede de Reguladores Econômicos da OCDE e o presente relatório constitui sua décima terceira aplicação a um órgão regulador. Outros relatórios que abrangem vários setores e países incluem: Comissão de Regulação de Comunicações da Colômbia (OECD, 2015[1]); Comissão de Serviços Públicos da Letônia (OECD, 2016[2]), Os três reguladores de energia do México (OECD, 2017[3]), (OECD, 2017[4]), (OECD, 2017[5]), (OECD, 2017[6]); Comissão para Regulação dos Serviços Públicos da Irlanda (OECD, 2018[7]); Regulador de Energia e Mineração do Peru (OECD, 2019[8]); Regulador de Telecomunicações do Peru (OECD, 2019[9]), Regulador de Infraestrutura de Transportes do Peru (OECD, 2020[10]) Agência de Proteção Ambiental da a Irlanda (OECD, 2020[11]), e Entidade Reguladora dos Serviços Energéticos de Portugal (OECD, 2021[12]). A metodologia foi adaptada desde sua primeira aplicação aos aprendizados adquiridos ao longo do processo de análise e está adequada para levar em consideração as necessidades específicas e características contextuais de cada regulador, setor e jurisdição.
Estrutura analítica
A estrutura analítica que constitui este relatório se baseia no trabalho realizado pela OCDE para medir o desempenho regulatório e a governança dos reguladores econômicos. Os países membros da OCDE e os reguladores reconheceram a necessidade de medir o desempenho regulatório. As informações sobre o desempenho regulatório são necessárias para melhor direcionar recursos escassos e para melhorar o desempenho geral das políticas regulatórias e dos reguladores. Entretanto, a medição do desempenho regulatório pode ser desafiadora. Alguns desses desafios incluem:
O que medir: os sistemas de avaliação exigem uma avaliação de como os insumos influenciaram os produtos e resultados. No caso da política regulatória, os insumos podem se concentrar em: i) programas gerais destinados a promover uma melhoria sistêmica da qualidade regulatória; ii) aplicação de práticas específicas destinadas a melhorar a regulação, ou iii) mudanças na concepção de regulamentações específicas.
Fatores de confusão: existe uma infinidade de questões contingentes que têm impacto sobre os resultados na sociedade que a regulação pretende afetar. Essas questões podem ser tão simples quanto uma mudança no clima, ou tão complicadas quanto a última crise financeira. Assim, é difícil estabelecer uma relação causal direta entre a adoção de melhores práticas de regulação e melhorias específicas nos resultados de bem-estar que são buscados na economia.
Falta de dados e informações: os países tendem a carecer de dados e metodologias para identificar se as práticas regulatórias estão sendo adotadas corretamente e que impacto essas práticas podem estar tendo sobre a economia real.
O Quadro para a Avaliação das Políticas Regulatórias da OCDE (2014[13]) começa enfrentando esses desafios através de uma lógica insumo-processo-produto-resultado, que divide o processo regulatório numa sequência de etapas discretas. A lógica insumo-processo-produto-resultado é flexível e pode ser aplicada tanto para avaliar práticas para melhorar a política regulatória em geral, como também para avaliar a política regulatória em setores específicos, com base na identificação de objetivos estratégicos relevantes. Ela pode ser adaptada aos reguladores econômicos, levando em consideração as condições que sustentam o desempenho dos reguladores econômicos (Quadro A A.1).
Os Princípios de Melhores Práticas da OCDE para Políticas Regulatórias: a Governança de Reguladores (OECD, 2014[14]) identifica algumas das condições que sustentam o desempenho dos reguladores econômicos. Eles reconhecem a importância de avaliar como um regulador é dirigido, controlado, dotado de recursos e responsabilizado, a fim de melhorar a efetividade geral dos reguladores e promover o crescimento e o investimento, inclusive através do incentivo à concorrência. Além disso, eles reconhecem o impacto positivo do próprio processo interno do regulador sobre os resultados (ou seja, como o regulador administra os recursos e que processos o regulador coloca em prática para regular um determinado setor ou mercado) (Figura A A.1).
Quadro A A.1. A sequência lógica insumo-processo-produto-resultado
Etapa I. Insumo: os indicadores incluem, por exemplo, o orçamento e o quadro de pessoal do órgão de supervisão regulatória.
Etapa II. Processo: os indicadores avaliam se os requisitos formais de boas práticas regulatórias foram cumpridos. Isso inclui requisitos para a definição de objetivos, consulta, análise baseada em evidências, simplificação administrativa, avaliações de risco e alinhamento de mudanças regulatórias a nível internacional.
Etapa III. Produto: os indicadores fornecem informações sobre se as boas práticas regulatórias foram realmente implementadas.
Etapa IV. Impacto da concepção no resultado (também referido como resultado intermediário): os indicadores avaliam se as boas práticas regulatórias contribuíram para uma melhoria na qualidade da regulamentação. Ela tenta, portanto, fazer uma ligação causal entre a concepção da política regulatória e os resultados.
Etapa V. Resultados estratégicos: os indicadores avaliam se os resultados desejados da política regulatória foram alcançados, tanto em termos de qualidade regulatória quanto em termos de resultados regulatórios.
Fonte: (OECD, 2014[13]).
Figura A A.1. Princípios de Melhores Práticas da OCDE para Governança de Reguladores
Fonte: adaptado a partir de (OECD, 2014[14]).
Os dois quadros são reunidos num Quadro de Avaliação de Desempenho para Reguladores Econômicos que estrutura os fatores que determinam o desempenho ao longo da matriz insumo-processo-produto-resultado (Tabela A A.1).
Tabela A A.1. Critérios para avaliar o próprio quadro de desempenho dos reguladores
Fonte: OECD Analysis.
Indicadores de desempenho
Para os reguladores, os indicadores de desempenho precisam estar adequados ao propósito da avaliação de desempenho, que é uma avaliação sistemática e analítica das atividades do regulador, com a finalidade de buscar a confiabilidade e a usabilidade das atividades do regulador. A avaliação de desempenho não é uma auditoria, que julga como colaboradores e gerentes cumprem sua missão, nem um controle, que coloca ênfase no cumprimento de normas (OECD, 2004[15]).
Assim, os indicadores de desempenho precisam avaliar o uso eficiente e efetivo dos insumos do regulador, a qualidade dos processos regulatórios, além de identificar os produtos e alguns resultados diretos que podem ser atribuídos às intervenções do regulador. Resultados mais amplos devem servir como uma “torre de vigilância”, que fornece as informações que o regulador pode usar para identificar áreas problemáticas, orientar decisões e identificar prioridades (Figura A A.2).
Figura A A.2. Matriz insumo-processo-produto-resultado para indicadores de desempenho
Observações: essa matriz foi proposta na metodologia inicial para o quadro de avaliação de desempenho para reguladores econômicos (PAFER) discutida com a Rede de Reguladores Econômicos (NER) da OCDE. Ela foi aperfeiçoada para refletir o feedback dos membros da NER e a experiência de outros reguladores na avaliação do seu próprio desempenho.
Fonte: (OECD, 2015[1]), Figura 3.3 (atualizada em 2017).
Abordagem
A estrutura analítica apresentada acima serviu de base para a coleta de dados e a análise apresentada no relatório. O presente relatório analisa os arranjos internos e externos de governança da Agência Nacional de Energia Elétrica do Brasil (ANEEL) nas seguintes áreas:
Papel e objetivos: identificar a existência de um conjunto de objetivos ou metas claramente identificados que estejam alinhados com as funções e poderes do regulador, o que pode servir de base para o desenvolvimento de indicadores de desempenho que possam ser utilizados;
Insumo: determinar até que ponto os recursos financeiros e humanos do regulador estão alinhados com os objetivos ou metas do regulador, e a capacidade do regulador de administrar os recursos financeiros e humanos de forma efetiva e autônoma;
Processo: avaliar até que ponto os processos e a gestão organizacional contribuem para o desempenho do regulador;
Produto e resultado: identificar a existência de uma avaliação sistemática do desempenho das entidades reguladas, o impacto das decisões e atividades do regulador e até que ponto essas medições são utilizadas adequadamente.
Os dados que serviram de base para a análise apresentada no relatório foram coletados através de uma análise documental, duas missões de apuração dos fatos e uma missão de revisão interpares:
Questionário e análise documental: a ANEEL respondeu a um questionário detalhado que serviu de base para uma análise documental realizada pelo Secretariado da OCDE. O Secretariado analisou a legislação vigente e os documentos da ANEEL para coletar informações sobre o funcionamento de jure do regulador e servir de base para as missões de apuração dos fatos. Esse questionário foi adaptado à ANEEL, com base na metodologia já aplicada pela OCDE a outros reguladores desde 2015 e na participação da ANEEL em antigos exercícios de coleta de dados da OCDE, tais como os Indicadores sobre Governança dos Reguladores Setoriais de 2018.
Missões de apuração dos fatos: a primeira missão de apuração dos fatos se concentrou em se reunir com as equipes internas da ANEEL, realizada pelo Secretariado da OCDE entre 27 de abril e 7 de maio de 2020. A segunda missão de apuração dos fatos foi realizada entre 19 de maio e 5 de junho de 2020 e se concentrou principalmente em se reunir com as partes interessadas externas. Essas missões foram a principal ferramenta para coletar e completar as informações de jure obtidas através do questionário com a situação atual de facto. O trabalho das missões de apuração dos fatos adaptou a metodologia PAFER às características da ANEEL. As informações coletadas foram completadas e sua exatidão foi conferida com a ANEEL. Ambas as missões foram virtuais devido ao contexto da pandemia da COVID-19.
Missão de revisão interpares: a missão ocorreu entre 30 de novembro e 4 de dezembro de 2020 e contou com a participação de revisores do Canadá, Alemanha e Suécia, além do Secretariado da OCDE. Essa missão se reuniu com as principais partes interessadas da ANEEL, tanto internas quanto externas. Ao final da missão, a equipe discutiu as descobertas e recomendações preliminares com a alta administração da ANEEL para testar sua viabilidade. Essa missão foi realizada remotamente através de videoconferência.
Durante as missões de apuração dos fatos e de revisão interpares, a equipe se reuniu com a equipe de liderança da ANEEL, bem como com uma série de colaboradores da instituição. Além disso, a equipe se reuniu com instituições governamentais e partes interessadas externas, incluindo:
Ministério de Minas e Energia (MME)
Ministério da Economia
Casa Civil
Tribunal de Contas da União (TCU)
Conselho Administrativo de Defesa Econômica (CADE)
Operador Nacional do Sistema Elétrico (ONS)
Energisa
EDP Brasil
Eletrobras
Associação Brasileira de Agências Reguladoras (ABAR)
Secretaria Nacional do Consumidor (SENACON)
Centro de Estudos em Regulação e Infraestrutura da Fundação Getúlio Vargas (FGV CERI)
PSR Energy Consulting and Analytics (PSR).
Referências
[12] OECD (2021), Driving Performance at Portugal’s Energy Services Regulatory Authority, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/05fb2fae-en.
[11] OECD (2020), Driving Performance at Ireland’s Environmental Protection Agency, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/009a0785-en.
[10] OECD (2020), Driving Performance at Peru’s Transport Infrastructure Regulator, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/d4ddab52-en.
[8] OECD (2019), Driving Performance at Peru’s Energy and Mining Regulator, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264310865-en.
[9] OECD (2019), Driving Performance at Peru’s Telecommunications Regulator, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264310506-en.
[7] OECD (2018), Driving Performance at Ireland’s Commission for Regulation of Utilities, The Governance of Regulators, OECD Publishing, Paris, http://dx.doi.org/10.1787/9789264190061-en.
[6] OECD (2017), Driving Performance at Mexico’s Agency for Safety, Energy and Environment, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264280458-en.
[4] OECD (2017), Driving Performance at Mexico’s Energy Regulatory Commission, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264280830-en.
[5] OECD (2017), Driving Performance at Mexico’s National Hydrocarbons Commission, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264280748-en.
[3] OECD (2017), Driving Performance of Mexico’s Energy Regulators, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264267848-en.
[2] OECD (2016), Driving Performance at Latvia’s Public Utilities Commission, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264257962-en.
[16] OECD (2015), Driving Performance at Colombia’s Communications Regulator, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264232945-en.
[1] OECD (2015), Driving Performance at Colombia’s Communications Regulator, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264232945-en.
[13] OECD (2014), OECD Framework for Regulatory Policy Evaluation, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264214453-en.
[14] OECD (2014), The Governance of Regulators, OECD Best Practice Principles for Regulatory Policy, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264209015-en.
[15] OECD (2004), The choice of tools for enhancing policy impact: Evaluation and review, OECD, Paris, http://www.oecd.org/officialdocuments/publicdisplaydocumentpdf/?cote=gov/pgc(2004)4&doclanguage=en (accessed on 16 November 2018).