Medir o desempenho regulatório é uma tarefa desafiadora, a começar por definir o que medir, abordar fatores de confusão, atribuir resultados a intervenções e lidar com a falta de dados e informações. Este anexo descreve a metodologia desenvolvida pela OCDE para ajudar os reguladores a enfrentar esses desafios através de um Quadro de Avaliação de Desempenho para Reguladores Econômicos (PAFER, na sigla em inglês), que serve de base para este relatório. O anexo começa apresentando alguns dos trabalhos realizados pela OCDE sobre a medição do desempenho regulatório. Em seguida, descreve os principais recursos do PAFER e apresenta uma tipologia de indicadores de desempenho para medir insumos, processos, produtos e resultados. Por fim, fornece um panorama da abordagem e das medidas práticas adotadas na elaboração deste relatório.
Impulsionando o desempenho da Agência Nacional de Águas e Saneamento Básico do Brasil
Resumo
Este anexo resume a metodologia desenvolvida pela OCDE para avaliar os mecanismos de governança das entidades reguladoras, os fatores determinantes do desempenho, assim como suas matrizes de medição do desempenho. A metodologia foi preparada com base na experiência dos reguladores que participam da Rede de Reguladores Econômicos da OCDE e o presente relatório constitui sua décima quarta aplicação a um órgão regulador. Outros relatórios que abrangem vários setores e países incluem: a Comissão de Regulação de Comunicações da Colômbia (OECD, 2015[1]); a Comissão de Serviços Públicos da Letônia (OECD, 2016[2]), os três reguladores de energia do México (OECD, 2017[3]), (OECD, 2017[4]), (OECD, 2017[5]), (OECD, 2017[6]); a Comissão para Regulação dos Serviços Públicos da Irlanda (OECD, 2018[7]); o Regulador de Energia e Mineração do Peru (OECD, 2019[8]); o Regulador de Telecomunicações do Peru (OECD, 2019[9]), o Regulador de Infraestrutura de Transportes do Peru (OECD, 2020[10]) a Agência de Proteção Ambiental da Irlanda (OECD, 2020[11]), a Entidade Reguladora dos Serviços Energéticos de Portugal (OECD, 2021[12]), a Agência Nacional de Energia Elétrica do Brasil (OECD, 2021[13]), e o Regulador de Serviços de Água e Saneamento do Peru (OECD, 2022[14]). A metodologia foi adaptada desde sua primeira aplicação aos aprendizados adquiridos ao longo do processo de análise e está adequada para levar em consideração as necessidades específicas e as características contextuais de cada regulador, setor e jurisdição.
A estrutura analítica que constitui este relatório se baseia no trabalho realizado pela OCDE para medir o desempenho regulatório e a governança dos reguladores econômicos. Os países membros da OCDE e os reguladores reconheceram a necessidade de medir o desempenho regulatório. As informações sobre o desempenho regulatório são necessárias para melhor direcionar os recursos escassos e melhorar o desempenho geral das políticas regulatórias e dos reguladores. Entretanto, a medição do desempenho regulatório pode ser uma tarefa desafiadora. Alguns desses desafios incluem:
O que medir: os sistemas de avaliação exigem uma avaliação de como os insumos influenciaram os produtos e resultados. No caso da política regulatória, os insumos podem se concentrar em: i) programas gerais destinados a promover uma melhora sistêmica da qualidade regulatória; ii) a aplicação de práticas específicas destinadas a melhorar a regulação, ou iii) mudanças na concepção de normas específicas.
Fatores de confusão: existe uma infinidade de questões contingentes que afetam os resultados da sociedade que a regulação se propõe a influenciar. Essas questões podem ser tão simples quanto uma mudança no clima ou tão complexas quanto a última crise financeira. Assim, é difícil estabelecer uma relação causal direta entre a adoção de melhores práticas de regulação e melhorias específicas nos resultados de bem-estar desejados para a economia.
Falta de dados e informações: os países tendem a carecer de dados e metodologias para identificar se as práticas regulatórias estão sendo adotadas corretamente e que impacto essas práticas podem estar tendo sobre a economia real.
O Quadro para Avaliação das Políticas Regulatórias da OCDE (2014[15]) começa enfrentando esses desafios através de um modelo insumo-processo-produto-resultado, que divide o processo regulatório numa sequência de etapas discretas. O modelo insumo-processo-produto-resultado é flexível e pode ser aplicado tanto para avaliar práticas de melhoria da política regulatória em geral quanto para avaliar a política regulatória em setores específicos, com base na identificação de objetivos estratégicos relevantes. Esse modelo pode ser adaptado aos reguladores econômicos, levando em consideração as condições que contribuem para o desempenho desses reguladores (Quadro A A.1).
Os Princípios de Melhores Práticas da OCDE para Políticas Regulatórias: a Governança de Reguladores (OECD, 2014[16]) identifica algumas das condições que contribuem para o desempenho dos reguladores econômicos. Esse princípios reconhecem a importância de avaliar como um órgão regulador é dirigido, controlado, dotado de recursos e responsabilizado, a fim de melhorar a efetividade geral dos reguladores e promover o crescimento e o investimento, inclusive através do incentivo à concorrência. Além disso, eles reconhecem o impacto positivo do próprio processo interno do regulador sobre os resultados (ou seja, como o regulador administra os recursos e que processos o regulador coloca em prática para regular um determinado setor ou mercado) (Figura A A.1).
Etapa I. Insumo: os indicadores incluem, por exemplo, o orçamento e o quadro de pessoal do órgão de supervisão regulatória.
Etapa II. Processo: os indicadores avaliam se os requisitos formais de boas práticas regulatórias foram cumpridos. Isso inclui requisitos para a definição de objetivos, consulta, análise baseada em evidências, simplificação administrativa, avaliações de risco e alinhamento de mudanças regulatórias em nível internacional.
Etapa III. Produto: os indicadores fornecem informações para saber se as boas práticas regulatórias foram realmente implementadas.
Etapa IV. Impacto da concepção no resultado (também conhecido como resultado intermediário): os indicadores avaliam se as boas práticas regulatórias contribuíram para uma melhora na qualidade dos normativos. Esta etapa tenta, portanto, fazer uma ligação causal entre a concepção da política regulatória e os resultados.
Etapa V. Resultados estratégicos: os indicadores avaliam se os resultados desejados da política regulatória foram alcançados, tanto em termos de qualidade regulatória quanto em termos de resultados regulatórios.
Fonte: (OECD, 2014[15]).
Fonte: adaptado a partir de (OECD, 2014[16]).
Os dois quadros são reunidos num Quadro de Avaliação de Desempenho para Reguladores Econômicos que estrutura os fatores que determinam o desempenho ao longo da matriz insumo-processo-produto-resultado (Tabela A A.1).
Fonte: OECD Analysis.
Para os reguladores, os indicadores de desempenho precisam estar adequados ao objetivo da avaliação de desempenho, que é uma avaliação sistemática e analítica das atividades do regulador, com a finalidade de buscar a confiabilidade e a usabilidade das atividades do regulador. A avaliação de desempenho não é uma auditoria, que julga como servidores e gestores cumprem sua missão, nem um controle, que coloca ênfase no cumprimento de normas (OECD, 2004[17]).
Assim, os indicadores de desempenho precisam avaliar o uso eficiente e efetivo dos insumos do regulador, a qualidade dos processos regulatórios, além de identificar os produtos e alguns resultados diretos que podem ser atribuídos às intervenções do regulador. Resultados mais gerais devem servir como um indicador de “observação”, que fornece as informações que o regulador pode usar para identificar áreas problemáticas, orientar decisões e identificar prioridades (Figura A A.2).
Observações: essa matriz foi proposta na metodologia inicial para o Quadro de Avaliação de Desempenho para Reguladores Econômicos (PAFER) discutida com a Rede de Reguladores Econômicos (NER) da OCDE. Ela foi aperfeiçoada para refletir o feedback dos membros da NER e a experiência de outros reguladores na avaliação do seu próprio desempenho.
Fonte: (OECD, 2015[1]), Figura 3.3 (atualizada em 2017).
A estrutura analítica apresentada acima serviu de base para a coleta de dados e a análise apresentada no relatório. O presente relatório analisa os arranjos internos e externos de governança da Agência Nacional de Águas e Saneamento Básico do Brasil (ANA) nas seguintes áreas:
Papel e objetivos: identificar a existência de um conjunto de objetivos ou metas claramente identificados que estejam alinhados com as funções e poderes do regulador, o que pode servir de base para o desenvolvimento de indicadores de desempenho úteis;
Insumo: determinar até que ponto os recursos financeiros e humanos do regulador estão alinhados com seus objetivos ou metas e a capacidade do regulador de administrar os recursos financeiros e humanos de forma efetiva e autônoma;
Processo: avaliar até que ponto os processos e a gestão institucional contribuem para o desempenho do regulador;
Produto e resultado: identificar a existência de uma avaliação sistemática do desempenho das entidades reguladas, o impacto das decisões e atividades do regulador e até que ponto essas medições são utilizadas adequadamente.
Os dados que serviram de base para a análise apresentada no relatório foram coletados através de uma análise documental, uma missão de apuração dos fatos e uma missão de revisão interpares:
Questionário e análise documental: a ANA respondeu a um questionário detalhado que serviu de base para uma análise documental realizada pelo Secretariado da OCDE. O Secretariado analisou a legislação vigente e os documentos da ANA para coletar informações sobre o funcionamento de jure do órgão regulador e subsidiar as missões de apuração dos fatos. Esse questionário foi adaptado à ANA, com base na metodologia já aplicada pela OCDE a outros reguladores desde 2015 e na participação da ANA em pesquisas anteriores da OCDE, como no caso do relatório A Promoção da Resiliência Hídrica no Brasil: Transformando estratégia em ação (OECD, 2022[18]).
Missão de apuração dos fatos: o Secretariado da OCDE conduziu uma missão de apuração dos fatos entre 19 e 23 de junho de 2023 em Brasília, com reuniões realizadas com as equipes internas da ANA e atores externos. Essa missão foi a principal ferramenta para coletar e completar as informações de jure obtidas através do questionário com a situação atual de facto. O trabalho da missão de apuração dos fatos adaptou a metodologia PAFER às características da ANA. As informações coletadas foram completadas e conferidas com a ANA para garantir sua exatidão.
Missão de revisão interpares: a missão ocorreu entre 29 de agosto e 1º de setembro de 2023 em Brasília e contou com a participação de revisores da Dinamarca, do Canadá e do Reino Unido, além do Secretariado da OCDE. Essa missão se reuniu com as principais partes interessadas da ANA, tanto internas quanto externas. Ao final da missão, a equipe discutiu as descobertas e recomendações preliminares com a Diretoria Colegiada e as Superintendências da ANA para testar sua viabilidade.
Durante as missões de apuração dos fatos e de revisão interpares, a equipe se reuniu com a equipe de liderança da ANA e com inúmeros servidos da instituição. Além disso, a equipe se reuniu com órgãos do governo e atores externos, incluindo:
Ministério da Integração e Desenvolvimento Regional (MIDR)
Ministério das Cidades (MCID)
Ministério do Planejamento e Orçamento (MPO)
Ministério do Desenvolvimento, Indústria, Comércio e Serviços (MDIC)
Tribunal de Contas da União (TCU)
Supremo Tribunal Federal (STF)
Representante da Câmara dos Deputados – Comissão de Agricultura, Pecuária, Abastecimento e Desenvolvimento Rural
Representante do Senado Federal – Comissão de Meio Ambiente
Controladoria-Geral da União (CGU)
Agência Pernambucana de Águas e Clima (APAC)
Agência Reguladora de Serviços Públicos do Estado de São Paulo (ARSESP)
Comitê da Bacia Hidrográfica do Rio Paranapanema
Associação Brasileira de Engenharia Sanitária e Ambiental (ABES)
Associação Brasileira de Recursos Hídricos (ABRHidro).
Referências
[14] OECD (2022), Driving Performance at Peru’s Water and Sanitation Services Regulator, OECD Publishing.
[18] OECD (2022), Fostering Water Resilience in Brazil - Turning Strategy into Action, OECD Publishing, Paris, https://doi.org/10.1787/85a99a7c-en.
[13] OECD (2021), Driving Performance at Brazil’s Electricity Regulatory Agency, The Governance of Regulators, OECD Publishing, Paris, https://doi.org/10.1787/11824ef6-en.
[12] OECD (2021), Driving Performance at Portugal’s Energy Services Regulatory Authority, The Governance of Regulators, OECD Publishing, Paris, https://doi.org/10.1787/05fb2fae-en.
[11] OECD (2020), Driving Performance at Ireland’s Environmental Protection Agency, The Governance of Regulators, OECD Publishing, Paris, https://doi.org/10.1787/009a0785-en.
[10] OECD (2020), Driving Performance at Peru’s Transport Infrastructure Regulator, The Governance of Regulators, OECD Publishing, Paris, https://doi.org/10.1787/d4ddab52-en.
[8] OECD (2019), Driving Performance at Peru’s Energy and Mining Regulator, The Governance of Regulators, OECD Publishing, Paris, https://doi.org/10.1787/9789264310865-en.
[9] OECD (2019), Driving Performance at Peru’s Telecommunications Regulator, The Governance of Regulators, OECD Publishing, Paris, https://doi.org/10.1787/9789264310506-en.
[7] OECD (2018), Driving Performance at Ireland’s Commission for Regulation of Utilities, The Governance of Regulators, OECD Publishing, Paris, https://doi.org/10.1787/9789264190061-en.
[6] OECD (2017), Driving Performance at Mexico’s Agency for Safety, Energy and Environment, The Governance of Regulators, OECD Publishing, Paris, https://doi.org/10.1787/9789264280458-en.
[4] OECD (2017), Driving Performance at Mexico’s Energy Regulatory Commission, The Governance of Regulators, OECD Publishing, Paris, https://doi.org/10.1787/9789264280830-en.
[5] OECD (2017), Driving Performance at Mexico’s National Hydrocarbons Commission, The Governance of Regulators, OECD Publishing, Paris, https://doi.org/10.1787/9789264280748-en.
[3] OECD (2017), Driving Performance of Mexico’s Energy Regulators, The Governance of Regulators, OECD Publishing, Paris, https://doi.org/10.1787/9789264267848-en.
[2] OECD (2016), Driving Performance at Latvia’s Public Utilities Commission, The Governance of Regulators, OECD Publishing, Paris, https://doi.org/10.1787/9789264257962-en.
[1] OECD (2015), Driving Performance at Colombia’s Communications Regulator, OECD Publishing, Paris, https://doi.org/10.1787/9789264232945-en.
[15] OECD (2014), OECD Framework for Regulatory Policy Evaluation, OECD Publishing, Paris, https://doi.org/10.1787/9789264214453-en.
[16] OECD (2014), The Governance of Regulators, OECD Best Practice Principles for Regulatory Policy, OECD Publishing, Paris, https://doi.org/10.1787/9789264209015-en.
[17] OECD (2004), The choice of tools for enhancing policy impact: Evaluation and review, OECD, Paris, http://www.oecd.org/officialdocuments/publicdisplaydocumentpdf/?cote=gov/pgc(2004)4&doclanguage=en (accessed on 16 November 2018).