Este capítulo examina as capacidades do centro de governo (CdG) em monitorar e avaliar o cumprimento das principais prioridades de políticas e programas, além de fazer uso dessas informações para melhorar a produção de políticas e a entrega de serviços. Apresenta uma avaliação profunda da estrutura institucional para monitoramento e avaliação (M&E). O capítulo também analisa a qualidade de M&E, bem como o uso dos resultados de M&E.
Revisão do Centro de Governo do Brasil
Rumo a um Centro de Governo Integrado e Estruturado
OECD Public Governance Reviews
4. Monitoramento e avaliação das prioridades do centro no Brasil
Abstract
Introdução
Este capítulo focará nas capacidades do CdG em monitorar e avaliar o desempenho das prioridades-chave de políticas e programas, coletando e usando informações e provas no processo de formulação de políticas. Para essa finalidade, o capítulo apresenta uma avaliação e recomendações sobre:
A estrutura institucional de monitoramento e avaliação (M&E) no Brasil, por meio de uma análise da prática do CdG, estruturas de política e diretrizes, os principais agentes envolvidos, com um enfoque no fortalecimento do M&E para programas transversais.
A qualidade do M&E, incluindo garantia de qualidade e mecanismos de controle, a definição dos principais indicadores nacionais, diretrizes e práticas para desenvolver competências e capacidades sobre M&E, bem como mecanismos de engajamento de partes interessadas, com um enfoque na divulgação e uso sistemático de mecanismos.
O uso dos resultados de M&E, em particular, a capacidade do CdG em integrar e gerenciar estrategicamente as informações de desempenho, com um enfoque na promoção do acesso a dados de alta qualidade.
Um sistema de M&E robusto é essencial para atingir objetivos em curto, médio e longo prazos, conforme o mencionado no Capítulo 2. Quando o M&E reporta informações alimentadas para decisores políticos e tomadores de decisão, pode fornecer dados e informações necessários para orientar o planejamento estratégico, conceber e implementar programas e projetos, além de alocar e realocar recursos de melhores maneiras (OECD, 2021[1]). Adicionalmente, o monitoramento em tempo real oferece um fluxo contínuo de dados relevantes e atuais de onde os administradores podem imediatamente identificar graves problemas e ajustar políticas em médio curso. Um M&E adequado pode ajudar a identificar barreiras na implementação de políticas e maneiras de considerá-las (OECD, 2019[2]). Além disso, o M&E permite que os agentes aprendam um da experiência do outro, fornecendo ferramentas para acompanhar o desenvolvimento das atividades de outros. Além do aprendizado de políticas (ou seja, aumento no entendimento quando decisores políticos comparam um conjunto de problemas de política a outros), o M&E também pode fomentar a transparência e a prestação de contas (accountability), fornecendo informações de desempenho para cidadãos acerca do progresso na consecução de objetivos do governo (Vági and Rimkute, 2018[3]). Apesar de interconectado, M&E são práticas distintas (conforme o delineado na Tabela 4.1) e por isso é importante distinguir entre eles (OECD, 2020[4]).
No Brasil, as definições de M&E podem ser encontradas no Guia Prático de Avaliação Ex Post e no Guia Prático de Análise Ex Ante. A avaliação também está definida no projeto de lei para a nova Lei de Finanças Públicas (atualmente Lei 4.320/1964), presente na pauta do CdG. Adotar uma definição abrangente de M&E em lei ajudaria a definir seus objetivos e ações a serem tomados para serem atingidos.
Tabela 4.1. Comparando monitoramento de políticas e avaliação de políticas
Fonte: Adaptado de McDavid, J. and L. Hawthorn (2006[5]), Program Evaluation and Performance Measurement: An Introduction to Practice, Sage Publications, Inc., in OECD (2019[2]), Open Government in Biscay, OECD Public Governance Reviews, https://doi.org/10.1787/e4e1a40c-en.
Conforme o descrito no Capítulo 1, o monitoramento é uma função-chave do CdG no Brasil e em países-membros da OCDE. Os dados da OCDE indicam que, em metade dos países pesquisados (55%), os CdGs são responsáveis por monitorar a implementação das políticas do governo (OECD, 2018[6]). A pesquisa da OCDE sobre avaliação de políticas (2018[7]) também considera que o CdG desempenha um papel crucial na integração de uma abordagem de todo o governo para a avaliação de políticas (OECD, 2020[4]). Por exemplo, em 16 países-membros da OCDE (18 países no total), a incumbência do CdG inclui a definição e atualização da avaliação, enquanto que em 15 países, inclui a oferta de incentivos para conduzir a avaliação de políticas. O CdG serve o executivo e desempenha um papel crucial na garantia de que o governo toma decisões com base em evidências, que um sistema de M&E robusto pode ajudar. O M&E é especialmente essencial para o planejamento estratégico efetivo, priorização e finalidades de sequenciamento para todo o CdG (Capítulo 2). O sucesso de qualquer programa de governo parcialmente depende da capacidade de o CdG supervisionar a qualidade do processo de formulação de políticas, de desenvolvimento de uma política ao monitoramento e avaliação de seu resultado (OECD, 2018[6]).
Segundo os entrevistados do questionário da OECD, no Brasil, os principais objetivos de monitoramento são: i) melhorar a transparência; ii) verificar se as políticas atingem os objetivos esperados e estão em linha com as necessidades e demandas do povo brasileiro; iii) promover um aprendizado organizacional; e iv) aumentar o uso da avaliação entre unidades federais e agências a fim de fornecer serviços públicos melhores para a sociedade, com mais eficiência e melhor conformidade, assim como uma melhor alocação de recursos.
No que tange à avaliação de políticas, um dos principais objetivos para conduzi-los é avaliar políticas públicas financiadas por gastos diretos ou subsídios do governo, para medir o benefício gerado para o cidadão e coletar dados para redirecionar ou melhorar a concepção de políticas públicas (Lei 13.971/2019). No Brasil, a avaliação de políticas é um princípio de administração pública (Artigo 37 da emenda constitucional).
O capítulo analisa a configuração institucional do Brasil, identifica os desafios-chave e sugere maneiras para melhorar a qualidade geral dos mecanismos de M&E no CdG.
Criando uma estrutura institucional sólida para o monitoramento e avaliação das prioridades de política
Um sistema de M&E sólido significa que ambas as práticas, monitoramento e avaliação sejam partes integrantes e parte do ciclo de política; são conduzidos de maneira sistemática e rigorosa; e os tomadores de decisão utilizam seus resultados (Lázaro, 2015[8]). Um sistema de M&E implica no seguinte:
Sólida estrutura institucional, com base em medidas corretas legais, de política e organizacionais para suportar o desempenho das políticas públicas.
Mecanismos para promover o uso de provas e M&E de política ao investir em competências do setor público, processos de formulação de políticas e suporte ao engajamento de partes interessadas.
Mecanismos para promover a qualidade de M&E de política, por exemplo, por meio do desenvolvimento de diretrizes, investimento em modelagem de capacidade, análise ex post e mecanismos de controle (OECD, 2019[2]).
Planos Plurianuais: Um sistema de relatório bem desenvolvido não utilizado para monitoramento em tempo real e tomada de decisão
O sistema de monitoramento do Brasil possui seu principal ponto de fixação institucional nos Planos Plurianuais (PPAs), que estabelecem mecanismos e práticas para a maioria das ações de monitoramento no Brasil. O PPA é um instrumento de planejamento do governo que define as diretrizes, objetivos e metas da administração pública federal. Conforme o explicado nos Capítulos 2 e 3, o PPA contém previsões macroeconômicas e objetivos fiscais por um período de quatro anos, que o governo elabora dentro de seu primeiro ano de mandato e submete ao Congresso para aprovação. O período de quatro anos do plano significa que o último ano se estende até o primeiro ano do mandato seguinte, com o objetivo de fornecer a continuidade entre os ciclos eleitorais. O PPA 2020-2023 contém 19 diretrizes, 15 temas, 70 programas, objetivos, metas e indicadores, além de 328 resultados intermediários.
O processo de monitoramento do PPA 2020-2023 é coordenado pelo Ministério da Economia, em particular, a Secretaria de Avaliação, Planejamento, Energia e Loteria (SECAP), que oferece metodologia, orientação e suporte técnico para atingir os objetivos e metas estabelecidos no plano. O plano contém o seguinte tipo de programas (Ministerio da Economia, 2020[9]):
Programas Finalísticos são os principais programas a serem monitorados no PPA. Retratam a agenda do governo, organizada por políticas públicas selecionadas que orientam a ação governamental.
Programas de Gestão, utilizados por todos os ministérios, refletem as despesas operacionais das agências, em particular despesas de pessoal e custos operacionais administrativos.
Uma Agenda Multisetorial, para promover a coordenação por todo o governo. No caso do PPA 2020-2023, o único item da pauta transversal é primeira infância, coordenado por meio de um grupo de trabalho específico.
Os órgãos responsáveis pela implementação de um programa (ministérios em exercício, agências) devem reportar duas vezes por ano na implementação das metas, resultados intermediários e Investimentos Plurianuais de Prioridade associados a seus respectivos programas. No caso de programas multisetoriais, a agência responsável coletará informações sobre os objetivos e metas de outras agências. O relatório de monitoramento sobre os programas fiscais, seus atributos e espera-se que os Investimentos Plurianuais de Prioridade sejam consolidados anualmente, encaminhados ao Congresso Nacional e disponibilizados no website do Ministério da Economia (www.economia.gov.br). Por esse motivo, o governo do Brasil estabeleceu um processo estruturado e permanente para monitorar o PPA, centrado nos objetivos prioritários do governo federal e seus ministérios (Ministerio da Economia, 2020[9]).
A definição de quais resultados intermediários estarão sujeitos ao relatório é o resultado de um trabalho conjunto pelos ministérios em exercício e pela SECAP. Segundo a Lei 13.971/2019 (artigo 22), o Plano Estratégico Institucional (PEI) deve estar alinhado com o PPA e os planos nacionais, setoriais e regionais. O ministério em exercício envia para a SECAP uma indicação de quais atributos do PEI – ou seja, o instrumento de planejamento institucional que estabelece uma visão estratégica e estabelece prioridades, objetivos, metas e requisitos de recurso de órgãos e agências do setor público – apresenta os resultados intermediários para alcançar a meta do PPA e, com a SECAP, seleciona entre eles.
Os resultados acordados devem ser compatíveis com a capacidade operacional do ministério e a disponibilidade orçamentária e financeira. Há três eventos de relatório por ano, cujos prazos, objetivos e processos constam delineados na Tabela 4.2.
Com o objetivo de orientar o processo de monitoramento do PPA, o Plano de Monitoramento funciona como um guia para a SECAP tratar das principais questões com os ministérios em exercício. Seu objetivo é registrar os principais resultados intermediários que contribuem para a consecução de meta em cada programa, as principais restrições que precisam ser superadas e as medidas necessárias para se atingir cada resultado e como a SECAP contribuirá para esse processo na coordenação com os ministérios.
O relacionamento explícito entre a Estratégia Federal de Desenvolvimento 2020-2031 (EFD 2020-2031) e o PPA ocorre por meio de cinco eixos, que são comuns a ambos os planos. Os resultados dos programas do PPA contribuem para a consecução dos objetivos da EFD, mas não há nenhuma relação sistemática entre eles. Por esse motivo, não há nenhum monitoramento da evolução dos objetivos da EFD com base no M&E dos programas do PPA. A dimensão estratégica reflete a agenda do governo que o chefe do poder executivo, por meio de seus ministérios, pretende implementar. Essas são as prioridades definidas pela cúpula do governo e representam uma tradução dos compromissos do Presidente eleito para o país. No PPA 2020-2023, a dimensão estratégica foi desdobrada em duas categorias: diretrizes e temas. Do ponto de vista conceitual, as diretrizes representam as demandas da população, assumidas pelo governo eleito e orientam a modelagem dos programas do PPA. Em contrapartida os temas, ligados à nova estrutura institucional do governo federal, correspondem às principais áreas setoriais a serem mobilizadas para se atingir os objetivos incluídos nas diretrizes. No PPA 2020-2023, as diretrizes e os temas são desdobrados em programas, que possuem objetivos e metas. Deve ser observado que a metodologia do PPA 2020-2023 não oferece a definição de metas e indicadores para as diretrizes e temas. Isso porque as diretrizes expressam trajetórias a serem buscadas, enquanto os temas expressam grandes áreas, que constituem amplos agregadores setoriais.
Tabela 4.2. Reporte de eventos
Fonte: Elaboração própria do autor com base no Ministério da Economia (2020[9]), Manual Técnico do PPA 2020-2023.
O PPA apresenta umas das mais recentes tentativas do Brasil para relacionar planejamento e orçamento, pela implementação de um planejamento de governo em médio e longo prazos, coordenando ações do governo, e estabelecendo as diretrizes, objetivos e as metas para a administração pública de forma a orientar a alocação de recursos públicos. Em relação aos investimentos plurianuais de prioridade, o PPA é a principal fonte de informação para o CdG, tornando possível acompanhar o progresso de todos os 30 investimentos prioritários. O PPA está sendo aprimorado com ferramentas para ser tornar a tomada de decisão mais útil, por exemplo, de acordo com a Emenda Constitucional 109 de 2021, artigo 165, da Constituição Federal, agora estabelece que o PPA, a Lei de Diretrizes Orçamentárias (LDO) e a Lei Orçamentária Anual (LOA) observam, quando apropriado, os resultados do M&E de políticas públicas. Adicionalmente, os boletins de monitoramento do PPA são enviados aos ministérios (secretários executivos) e contêm uma análise dos principais resultados de monitoramento, buscando incentivar uma reflexão sobre as áreas para adotar medidas que visam atingir as metas e melhorar as políticas públicas, por exemplo:
realocação dos recursos orçamentários entre as políticas
realocação de pessoal
ajustes à estrutura organizacional
mudança no acordo institucional de políticas públicas (concepção e estrutura legal)
maneiras de aperfeiçoar a implementação
revisão do plano.
Não obstante, na prática, o PPA trabalha como uma ferramenta de conformidade e relatório e não permite a discussão do desempenho e/ou como superar as barreiras de implementação. Como será analisado abaixo, não há uma ligação clara entre o monitoramento do PPA e o Gabinete Civil da Presidência (Casa Civil) das prioridades de política. Enquanto o PPA comprovou ser uma ferramenta útil para acompanhar os gastos públicos e informar sobre a consecução dos programas, um trabalho adicional pode ser realizado para relacionar o monitoramento do programa com a tomada de decisão orientada ao resultado no CdG.
Diversos agentes com a responsabilidade pelo monitoramento e nenhum alinhamento claro entre eles
Em paralelo com o sistema de monitoramento ligado ao PPA, a Casa Civil lidera o monitoramento das prioridades presidenciais. Possui dois órgãos especiais com responsabilidades pelo monitoramento das prioridades de política:
A Subchefia de Articulação e Monitoramento (SAM) monitora os programas e ações do governo consideradas uma prioridade pelo Presidente da República.
A Subchefia de Análise e Monitoramento de Políticas Governamentais (SAG) seleciona as políticas públicas para conduzir uma análise ex ante e ex post com os ministérios responsáveis a fim de revisá-las e atualizá-las.
O instrumento da Casa Civil para o monitoramento de projetos se chama Governa. O sistema Governa é o software desenvolvido pela Casa Civil com o objetivo de digitalizar a administração de projetos em nível federal. Trabalha principalmente como uma ferramenta de administração interna, apesar de alguns usuários fora da Casa Civil terem acesso a algumas das funcionalidades do sistema. No Governa, os ministérios em exercício precisam fornecer dados em projetos diferentes em implementação, o que inclui todos os projetos de prioridade do governo federal e todos os projetos do PPA. Os gerentes de alto escalão da Casa Civil validam essas informações. A cada três meses, os ministérios recebem feedback sobre o avanço de cada projeto de prioridade e onde as discussões ocorrem. Esse sistema foi afetado pela pandemia de COVID-19, de forma que o Governa seja adaptado como um resultado. Isso não foi uma surpresa para as necessidades de carteira do presidente serem constantemente revisadas, especialmente após a pandemia.
O Governa é o sistema de informações gerenciais que integra e exibe diferentes projetos federais (incluindo o PPA) em uma única plataforma. No entanto, o sistema não está ligado a nenhuma estrutura de desempenho nem afeta informações que suporta a priorização no CdG e, por esse motivo, não oferece base para um monitoramento estruturado e um diálogo de performance em torno de prioridades de política transversais. Além disso, conforme o discutido nos capítulos anteriores, as prioridades de política definidas pela Presidência e suportadas pela SAM e pela SAG não estão, em diversos casos, traduzidas no PPA. Isso é explicado, em certa extensão, pela natureza e concepção do PPA e pela rigidez orçamentária explicada nos capítulos anteriores: o governo eleito não tem a capacidade de alinhar o sistema de planejamento e estratégica a suas próprias prioridades, resultando na criação de novas estruturas de planejamento e monitoramento. Outra explicação pode ser encontrada na estrutura do PPA. Enquanto é uma ferramenta de monitoramento útil para acompanhar os gastos e alguns resultados intermediários podem ser compartilhados por diversos ministérios, por exemplo no caso do projeto Oceanos, Zona Costeira e Antártica e também no projeto Prevenção e Controle do Desmatamento e dos Incêndios nos Biomas, o plano foca principalmente em iniciativas setoriais. Esses resultados intermediários representam um exemplo interessante de metas de política integrada e relatório comum, mas não necessariamente propiciam a estrutura para a colaboração ativa e um diálogo de desempenho entre diferentes agências governamentais em um conjunto bastante limitado de prioridades transversais de política para ser conduzido ou gerenciado pelo CdG.
A complexidade do sistema de planejamento e priorização gerou uma sobreposição das unidades de monitoramento
Conforme o explicado no Capítulo 2 sobre planejamento, o Brasil possui uma cultura de planejamento de longa data. Não obstante, conforme o Capítulo 2 também destaca, isso também criou alguns desafios ligados à multiplicação de planejamento e estruturas de monitoramento no governo. Havia um consenso geral entre as partes interessadas sobre a falta de clareza de quem é responsável por monitorar as prioridades de política: para alguns, a SAM na Casa Civil, outros mencionaram a SAG e outros ainda fizeram referência ao Ministério da Economia, em particular a SECAP e a Unidade de Entrega, que foi criada para monitorar as prioridades do Ministério da Economia e, por fim, as prioridades ligadas à gestão da pandemia (descrita no Capítulo 2).
Essa sobreposição entre as funções da Casa Civil e do Ministério da Economia ocorre também em outros países. Nessas circunstâncias, os ministérios em exercício normalmente tendem a focar mais no processo do Ministério da Economia por razões econômicas. Como o Ministério da Economia – ou similar – normalmente gerencia as finanças, os ministérios em exercício tendem a focar seus esforços no alinhamento de suas ações ao planejamento e solicitações. Essa sobreposição gera uma multiplicação de sistemas de relatório, causando perda de eficiência e fragmentação. Conforme o mencionado no Capítulo 1, a coordenação é essencial para um CdG do Brasil em bom funcionamento devido a sua alta fragmentação institucional, o que pode levar, em alguns casos, a determinar sobreposições ou duplicações. O CdG do Brasil poderia considerar refinar os mecanismos de coordenação dos sistemas de monitoramento dentro do CdG, assim como entre o CdG e os agentes externos a fim de evitar sobreposições e desperdício de recursos. Mais especificamente, poderiam considerar estabelecer maior clareza na definição dos papeis e tarefas que a Casa Civil e o Ministério da Economia possuem no monitoramento, da forma mencionada no Capítulo 2. Adicionalmente, o Brasil pode considerar a coordenação de prioridades transversais. A estrutura de desempenho dos Estados Unidos (EUA) performance estrutura (liderada pelo Gabinente de Administração e Orçamento dentro do Gabinete Executivo do Presidente) inclui, entre suas Metas de Prioridade Entre Agências (CAP), metas de “suporte à missão” que representam um bom exemplo da coordenação das prioridades transversais que visam melhorar o desempenho das agências e promover a colaboração ativa entre diversas agências (Quadro 4.1).
Quadro 4.1. Estados Unidos: Metas de suporte à missão em Performance.gov
Performance.gov é uma janela para esforços das agências federais para entregar um governo mais inteligente, simples e efetivo. Esse site cumpre os requisitos estatutários para um portal de relatório de desempenho centralizado online exigido pela Lei de Modernização de Desempenho e Resultados do Governo (GPRA) de 2010. O site fornece ao público, agências, membros do Congresso e à mídia uma visão no progresso em andamento para cortar o desperdício, otimizar o governo e melhorar o desempenho.
Performance.gov comunica as metas e objetivos que o governo federal trabalha para cumprir, como busca cumprir essas metas e porque esses esforços são importantes. Todos os departamentos do gabinete e outras grandes agências possuem páginas no Performance.gov. A página de cada agência apresenta uma visão geral da agência, sua missão, metas de prioridade para serem atingidas, as autoridades públicas e os servidores civis responsáveis por sua implementação e ligações com seus planos e relatórios estratégicos e de desempenho.
O governo federal estabelece metas de prioridade – entre agências e dentro das agências – que são de curto prazo, prioridades de liderança focadas na implementação, e objetivos estratégicos que são abrangentes entre as missões das agências.
Por natureza de longo prazo, as Metas Entre Agências (CAP) constituem uma ferramenta utilizada pela liderança para acelerar o progresso em um número limitado de áreas de prioridade presidencial, em que a implementação requer colaboração ativa entre diversas agências. As CAP impulsionam a colaboração de todo o governo para tratar dos desafios administrativos governamentais que afetam a maioria das agências. Como um subconjunto de prioridades presidenciais, essas metas são utilizadas para implementar a Agenda de Administração do presidente e são complementadas por outros esforços de coordenação entre agências e estabelecimento de metas. As CAP são estabelecidas a cada quatro anos, mas podem tratar de metas que requerem prazos mais extensos. As metas de desempenho serão revistas e consideradas para fins de atualização, pelo menos, anualmente com o Orçamento do Presidente. Quando as CAP tiverem atingido um nível de maturidade e implementação que permita que as equipes demonstrem e escalem o impacto e institucionalizem essas reformas, se tornam apropriadas para reenquadrar suas atividades do planejamento rumo aos resultados demonstrados. Como tal, essas metas continuarão a serem acompanhadas em Performance.gov, mas o relatório mudará dos marcos detalhados e planejamento de ação para reportar sobre os resultados de implementação. A recategorização dessas metas será anotada na página de metas de cada CAP.
As CAP incluem metas orientadas aos resultados que abrangem um número limitado de áreas de políticas transversais assim como metas de “suporte à missão” que tratam de áreas, tais como aquelas ligadas à melhoria do desempenho da agência. As metas de suporte à missão anteriores incluíram:
Eficácia: Entregar serviço mais inteligente, melhor, mais rápido aos cidadãos (atendimento ao cliente; entrega de tecnologia da informação mais inteligente (TI)).
Eficiência: Maximizar o valor das despesas federais (administração de categoria; serviços compartilhados; benchmark e melhoria das operações de suporte à missão).
Crescimento econômico: Inovação de suporte, crescimento econômico e criação de empregos (dados abertos; do laboratório para o mercado).
Pessoas e cultura: Empregar uma força de trabalho de primeira classe e criar uma cultura de excelência.
Fonte: US Government (n.d.[10]), Performance.gov, https://www.performance.gov (acesso em 12 de maio de 2022).
A criação do Conselho de Monitoramento e Avaliação de Políticas Públicas (CMAP) representa um passo à frente na criação de um sistema de avaliação
Na área de avaliação de políticas, o sistema de avaliação do Brasil é o resultado de mais de 30 anos de reformas de governança. Foram estabelecidas no Brasil nos anos 1990 e a adoção desses procedimentos foi incorporada em dispositivos da Constituição de 1988 (Artigos 165, 74, 37), que estabelecem que os sistemas de controle interno do executivo, legislativo e judiciário devem objetivar “avaliar o cumprimento das metas previstas no plano plurianual, a implementação dos programas de governo e os orçamentos da União”. O sistema de controle interno também é responsável por conduzir as avaliações dos programas de governo (Artigo 88). Segundo o governo do Brasil, os principais desafios enfrentados na promoção de uma cultura de avaliação são:
A disponibilidade limitada dos dados ligados a algumas políticas públicas
A confusão geral entre M&Es
A cultura subdesenvolvida da avaliação dentro dos ministérios em exercício
O desalinhamento do CdG e dos ministérios em exercício sobre o processo de avaliação
A disponibilidade limitada de recursos humanos
O treinamento insuficiente em ferramentas de avaliação de políticas.
Para lidar com esses desafios, o Brasil criou em 2019 (pelo Decreto 9.834) o Conselho de Monitoramento e Avaliação de Políticas Públicas (CMAP), um órgão do governo de avaliação de políticas responsável por avaliar as políticas públicas financiadas por despesas diretas e subsídios do governo (selecionados anualmente dos Programas Finalísticos do PPA). O CMAP também monitora as recomendações resultantes dessas avaliações e é composto de secretários executivos do Ministério da Economia, que o coordena, da Casa Civil e da Controladoria Geral da União. Pelo CMAP envolver entidades centrais de governo, seu estabelecimento é um passo à frente na sistematização do M&E por todo o governo. Até o estabelecimento do CMAP, uma única entidade com responsabilidade exclusiva pelas metas transversais de avaliação não existia, mas, havia órgãos separados responsáveis por avaliar o PPA, tais como a Secretaria de Planejamento e Investimento do antigo Ministério de Planejamento e a Secretaria de Orçamento Federal. O Quadro 4.2 explica em detalhes como o CMAP funciona.
No topo do recém-criado CMAP, os principais agentes responsáveis pela avaliação são:
A Secretaria Especial do Tesouro e Orçamento (SETO) dentro do Ministério da Economia, responsável por, entre outras competências, avaliar os impactos socioeconômicos das políticas e programas do governo federal e elaborar estudos específicos para a formulação de políticas.
A Secretaria de Avaliação, Planejamento, Energia e Loteria (SECAP) do Ministério da Economia, responsável por supervisionar o processo de avaliação conduzido pelos membros ou apoiadores do CMAP, ou externamente.
A Secretaria Geral da Presidência da República (SG) é responsável por agir na formulação de propostas e na definição, avaliação e supervisão das ações dos programas de modernização do estado.
A Controladoria Geral da União (CGU), por meio de sua Secretaria Nacional de Controle Interno, órgão central do Sistema de Auditoria Interna Federal no poder executivo do governo federal. A CGU realiza serviços de avaliação e consultoria focados em políticas públicas e visa suportar a avaliação da consecução das metas estabelecidas nos Planos Plurianuais (PPA), a execução de programas de governo e o orçamento do gabinete, entre outros objetivos.
A Escola Nacional de Administração Pública (ENAP), o Instituto de Pesquisa Econômica Aplicada (IPEA) e o Instituto Brasileiro de Geografia e Estatística (IBGE) são órgãos que sustentam, dentro do escopo de suas competências, o desenvolvimento das atividades de avaliação e pesquisa do CMAS e CMAG.
Quadro 4.2. Funcionamento do CMAP
1. Esse conselho aprova os critérios para a seleção de políticas públicas a serem avaliadas, observando os aspectos de relevância, criticidade e importância, entre outros, e aprova a lista anual de políticas públicas a serem avaliadas e suas mudanças, assim como o plano anual de avaliação. Cada ciclo de avaliação ex post passa por 4 fases que duram 24 meses no geral. Ainda, o ciclo do ano de referência (t) inicia em outubro do ano anterior (t-1) e se encerra em setembro do ano seguinte (t+1) (Ministerio da Economia, 2020[9]).
2. Avaliações e análises são apresentadas a gestores que, em contrapartida, devem submeter um plano de ação. Isso significa realizar uma avaliação efetiva na transformação de políticas, mas, muitas vezes, é desconsiderado pelos gestores. Há a necessidade de criar incentivos para que os gestores implementem as recomendações.
3. O conselho se reúne ordinariamente a cada seis meses e extraordinariamente sempre que convocado pelo coordenador. A estrutura do CMAP abrange:
O Comitê de Monitoramento e Avaliação de Gastos Diretos (CMAG), com o objetivo de prestar suporte técnico às atribuições do CMAP com consideração às políticas públicas financiadas pelos gastos diretos.
O Comitê de Monitoramento e Avaliação de Subsídios da União (CMAS), com o objetivo de prestar suporte técnico aos devedores do CMAP com consideração às políticas públicas financiadas pelos subsídios da União.
4. Os comitês do CMAP elaboram e submetem ao CMAP para aprovação:
Os critérios para a seleção de políticas públicas a serem avaliadas.
A lista anual de políticas públicas a serem avaliadas, segundo critérios estabelecidos, e o cronograma de avaliação.
Benchmarks para as metodologias de avaliação de políticas públicas.
Recomendações de critérios técnicos para a elaboração de estudos de viabilidade para as propostas de políticas públicas aos órgãos da administração.
Alterações propostas às políticas públicas avaliadas.
5. Além disso, avaliam políticas públicas selecionadas, com a colaboração dos órgãos administrativos dessas políticas ou em parceria com entidades públicas ou privadas e monitoram a implementação das recomendações avaliadas (tarefa executada pela Controladoria Geral da União). Também solicitam informações sobre políticas públicas dos ministérios em exercício, em particular aqueles selecionados para avaliação pelo CMAP. Por fim, garantem a transparência ativa de suas ações e divulgam aos órgãos gestores referências metodológicas e critérios aprovados pelo conselho e editam os atos necessários para seu exercício de poder.
6. A Figura 4. 1 descreve o processo brasileiro e o prazo para a avaliação de políticas.
Figura 4. 1. Cronograma de Avaliação no Brasil
A presença de incumbências de avaliação de políticas bem definidas não implica em si o desenvolvimento de sucesso de um sistema de avaliação por todo o governo. Fatores, tais como, sistema político, culturas de administração pública e lógica para avaliação moldam o desenvolvimento e as características das culturas de avaliação (OECD, 2020[4]). Um sistema de avaliação de sucesso, no qual as avaliações são sistematicamente utilizadas para aperfeiçoar as práticas de governança pública, formulação de políticas e entrega de serviços, requer uma estrutura que promova ativamente a qualidade das avaliações e o uso de seus resultados nos processos de tomada de decisão. Isso implica em fatores mutáveis fora da esfera da avaliação, tais como a disponibilidade dos dados, instrumentos de coordenação por todo o governo e mecanismos para o engajamento de partes interessadas, entre outros (OECD, 2020[11]).
Melhoria da qualidade de M&E
Uma estrutura legal sólida para o M&E não é suficiente. Deve haver mecanismos implantados para controlar e melhorar a qualidade de práticas de M&E. M&E de alta qualidade gera resultados robustos e viáveis que podem ser utilizados com confiança, permitindo que as políticas sejam aperfeiçoadas. Um M&E de qualidade também tem o potencial de aumentar a prestação de contas (accountability) das políticas, pois oferece provas confiáveis sobre como os recursos são gastos, quais benefícios foram atingidos e quais foram os retornos. Adversamente, M&E de baixa qualidade carregam o risco de fornecer provas inapropriadas ou provas que estejam sujeitas à influência tendenciosa e indevida. M&E de baixa qualidade também implica que uma política ineficaz, ou ainda prejudicial, poderia ser implementada ou continuar sendo. Por fim, oportunidades para utilizar recursos públicos com mais eficácia podem ser perdidas (OECD, 2020[4]).
Qualidade de monitoramento: Falta de garantia de mecanismos de qualidade além do PPA e desafios na interoperabilidade dos dados
Alguns países criaram mecanismos para garantir que o monitoramento seja apropriadamente conduzido, a saber, que o processo de coletar e analisar honra certos critérios de qualidade. Para isso, os países desenvolveram mecanismos de garantia de qualidade e controle de qualidade. O Quadro 4.3 explora em maiores detalhes a diferença entre ambos.
Quadro 4.3. Garantia de qualidade e controle de qualidade no monitoramento
Mecanismos de garantia de qualidade garantem que o monitoramento seja apropriadamente conduzido. Para isso, os países desenvolveram normas de qualidade para o monitoramento. Essas normas e diretrizes servem para impor certa uniformidade no processo de monitoramento por todo o governo (Picciotto, 2007[12]).
Enquanto alguns governos podem escolher criar um padrão, outros podem considerar ser mais apropriado adotar diferentes abordagens dependendo das diferentes finalidades de uso dos dados (Van Ooijen, Ubaldi and Welby, 2019[13]). Atividades de limpeza de dados ou automação dos processos de coleta de dados também podem ser considerados mecanismos de garantia de qualidade. Alguns países investiram no uso de inteligência artificial e machine learning para ajudar a identificar dados que divergem dos níveis estabelecidos de qualidade (Van Ooijen, Ubaldi and Welby, 2019[13]).
Em diversos países, os mecanismos de controle de qualidade também forma desenvolvidos. Os mecanismos para o controle de qualidade garantem que a coleta de dados e a análise foram apropriadamente conduzidos para atender a critérios de qualidade predeterminados. Embora os mecanismos de garantia de qualidade buscam garantam credibilidade sobre como a avaliação é conduzida (o processo), as ferramentas de controle de qualidade garantem que o produto final do monitoramento (os dados de desempenho) cumpra certo padrão de qualidade. Ambos são elementos-chave na garantia de robustez de um sistema de monitoramento (HM Treasury, 2011[14]). Mecanismos de controle de qualidade podem assumir a forma de auditorias. As abordagens que buscam comunicar dados de desempenho ou torná-los disponíveis ao exame público também podem ser incluídos nos esforços de controle de qualidade de forma que diversos olhos examinem os dados e potencialmente confirmem a qualidade (Van Ooijen, Ubaldi and Welby, 2019[13]).
Fonte: OECD (2021[1]), Monitoring and Evaluating the Strategic Plan of Nuevo León 2015-2030: Using Evidence to Achieve Sustainable Development, https://dx.doi.org/10.1787/8ba79961-en ; Picciotto, S. (2007[12]), “Constructing compliance: Game playing, tax law, and the regulatory state”, https://doi.org/10.1111/j.1467-9930.2007.00243.x ; Van Ooijen, C., B. Ubaldi and B. Welby (2019[13]), “A data-driven public sector: Enabling the strategic use of data for productive, inclusive and trustworthy governance”, https://dx.doi.org/10.1787/09ab162c-en ; HM Treasury (2011[14]), Magenta Book: Central Government Guidance on Evaluation, https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/879438/HMT_Magenta_Book.pdf.
O monitoramento do PPA se beneficia de um número de mecanismos sistemáticos de garantia de qualidade e de controle. São eles:
O Manual Técnico do PPA orienta sobre a condução de processos de monitoramento de qualidade. Estabelece critérios específicos e objetivos para monitorar o PPA. Cabe observar que o Manual Técnico do PPA inclui orientação em relação ao Plano de Monitoramento e um modelo do plano no anexo, que pode ajudar a fomentar processos de monitoramento de qualidade para o PPA.
O Sistema Integrado de Orçamento e Planejamento (SIOP) é uma ferramenta que coleta informações sobre a implementação de programas do PPA, com seus respectivos objetivos, metas, indicadores e resultados intermediários. Envolve todas as entidades do governo responsáveis por esses atributos respectivos (Ministerio da Economia, 2020[9]). Isso vale para o PPA do Brasil – a base para o planejamento e orçamento do governo – que está disponível de forma transparente no formato de dados abertos. Isso inclui dados sobre sua estrutura, metas e iniciativas, assim como indicadores utilizados para suas avaliações.1
Além do escopo do PPA, não há nenhum mecanismo de garantia de qualidade implementado para monitoramento (OECD, 2017[15]), potencialmente gerando um monitoramento de baixa qualidade fora do PPA. A garantia de qualidade é essencial para garantir a robustez das avaliações, de forma que o Governo Federal considere ainda desenvolver mecanismos de garantia de qualidade para os sistemas de monitoramento fora do PPA (OECD, 2020[4]).
Um elemento que afeta a qualidade do monitoramento é a variedade dos sistemas de gerenciamento de dados dentro do Governo Federal e os desafios resultantes ligados à interoperabilidade. O compartilhamento de informações e a coleta de dados conjuntos de diferentes unidades e instituições foram reportados como desafiadores para o funcionamento do CdG. De preferência, os dados existentes fornecidos ao CdG criam “uma versão da verdade” e são efetivamente utilizados para melhorar o desempenho. As partes interessadas entrevistadas durante esse projeto sugeriram que o Brasil tivesse um grande volume de dados e registros, mas o acesso a essas plataformas para monitoramento e avaliação é desafiador, pois são largamente desenvolvidos por cada agência para uma finalidade específica. Além dos dados fornecidos por instituições públicas, diversas instituições do CdG começaram a obter dados do IPEA.
Por exemplo, o IPEA possui uma plataforma privada de compartilhamento de dados na qual os pesquisadores podem acessar uma variedade de dados. Adicionalmente, estabeleceu um sistema por meio do qual, para ter acesso aos dados, em reuniões de pré-avaliação, as entidades precisam indicar de quais dados necessitam e fazer solicitações formais a diferentes ministérios. A CGU também tentou criar uma plataforma similar internamente. Não obstante, não há nenhum mecanismo de comunicação para evitar a formação de silos de informação entre as diferentes instituições.
Isso ocorrer apesar da existência de políticas de dados abertos que tornam o acesso aberto obrigatório para processos de avaliação e tomada de decisão. O Decreto 8.777 (2016) obriga que cada órgão do governo publique um Plano de Dados Abertos, para melhorar a disponibilidade dos conjuntos de dados do governo em padrões de dados abertos. Os outros instrumentos principais que governam a Política de Dados Abertos são o Decreto 9.903/2019 e a Resolução 3 do Comitê Gestor da INDA (CGINDA).
Algumas iniciativas, não obstante, foram implementadas para integrar esses diversos sistemas de gestão de dados. Entre elas, o Sistema Integrado de Orçamento e Planejamento (SIOP) coleta informações de monitoramento e o Planejamento Estratégico Institucional será publicado no website, de forma que os dados sejam transparente para todas as partes interessadas. O SIOP é uma ferramenta que coleta informações sobre a implementação dos programas, com seu respectivo objetivo, alvo, indicador e resultados intermediários, e envolve todas as entidades do governo responsáveis por esses atributos.
Adicionalmente, ciente da necessidade de melhorar a coerência da provisão de serviços digitais por toda a administração federal, o Governo Federal lançou o Plataforma de Cidadania Digital em dezembro de 2016. A iniciativa transversal foca na transformação da entrega de serviços públicos online por meio da melhoria do Portal de Serviços, o desenvolvimento de um sistema de autenticação digital único e um aumento no número de serviços totalmente transacionais. Isso permitirá melhor a avaliação da satisfação dos cidadãos com serviços digitais e melhorar o monitoramento global da entrega de serviços digitais (OECD, 2018[16]).
As evidências da missão de coleta de dados sugerem que o CdG do Brasil poderia considerar fortalecer sua capacidade de integrar e gerenciar informações de desempenho por meio da criação de plataformas de diálogo, ou seja, mecanismos que permitem que formuladores de políticas e tomadores de decisão se dediquem regularmente entre as instituições, quando a integração entre os diferentes órgãos públicos pode acontecer, evitando o efeito dos silos existentes. Criar acesso centralizado aos data poderia ajudar a obter um mecanismo claro de M&E que trabalha entre as instituições. Criar um acesso melhor aos dados, o uso de revisões impulsionadas por dados poderia ser incrementado (Quadro 4.4).
Quadro 4.4. Revisões impulsionadas por dados
As revisões impulsionadas por dados avaliam os dados em relação ao progresso, normalmente face às metas de prioridade e podem ser uma ferramenta poderosa no CdG. Usando dados para regularmente acompanhar o progresso permite um foco continuado nas prioridades que não se dissipa após grandes anúncios de políticas. Adicionalmente, o uso de revisões impulsionadas por dados pode criar uma cultura de aprendizado que visa melhorar o conhecimento daquilo que funciona e como melhorar a implementação dos programas.
As revisões impulsionadas por dados de sucesso requerem um foco claro no progresso rumo às metas e claramente definiram metas de prioridade, assim como dados e competências analíticas sofisticadas para interpretar dados e apresentar soluções para ajustar os problemas identificados. Um dos maiores obstáculos às revisões impulsionadas por dados são os limites de acesso, disponibilidade, compartilhamento e qualidade dos dados por todos os governos. Ainda assim, é importante identificar a gama de dados existentes que poderiam ser alavancados por revisões impulsionadas por dados sem ter que criar um novo ônus. Adicionalmente, alguns ministérios em exercício poderiam perceber negativamente a análise do CdG na implementação. Por esse motivo, para que as revisões impulsionadas por dados tenham sucesso, o CdG deveria persuadir os ministérios em exercício que a meta das revisões impulsionadas por dados é assistir com melhor implementação em vez de apenas criar formas mais sólidas de prestação de contas (accountability).
Fonte: Brown, D., J. Kohli and S. Mignotte (2021[17]), “Tools at the centre of government: Research and practitioners’ insight”.
Produzir indicadores de qualidade ainda é um desafio para o Brasil
No geral, os indicadores agem como mecanismos de feedback para que os governos saibam o que está funcionando e o que precisa ser melhorado e eles conectam atividades a objetivos, metas estratégicas e, por fim, a missão (OECD, 2017[15]). Produzir indicadores de qualidade ainda é um desafio para o Brasil, principalmente devido a uma falta de interoperabilidade de dados, competências e orientação sobre a avaliação da qualidade dos indicadores, e o intervalo dos dados disponíveis (é comum que as informações disponibilizadas por meio dos indicadores estejam desatualizadas).
Especificamente, há uma falta de clareza acerca dos indicadores-chave de desempenho (KPIs) e/ou indicadores-chave nacionais (KNIs). Os KPIs são indicadores de desempenho que visam medir o progresso rumo a metas de alto nível. Os KPIs que focam em uma perspectiva ampla e equilibrada da organização podem oferecer grandes contribuições para seu funcionamento e serem uma ferramenta útil para a gestão do desempenho (EC, 2020[18]). Enquanto que, em alguns países, consideram-se KPIs, os KNIs partes do sistema de planejamento estratégico e se referindo à atividade do governo, em outros, os KNIs se baseiam em indicadores tradicionais macroeconômicos, desenvolvidos por serviços estatísticos nacionais (INTOSAI, 2013[19]).
Como parte de sua EFD, o IPEA definiu em 2020 um conjunto de KNIs com base em amplas metas socioeconômicas. Algumas delas são, por exemplo, o Índice de Desenvolvimento Humano ou Índice de Competitividade global do Fórum Econômico Mundial (WEF). Apesar de esses tipos de indicadores podem oferecerem um amplo entendimento de como o Brasil está se desempenhando em áreas socioeconômicas, eles não ajudam a mensurar o desempenho do governo ou, mais especificamente, como as políticas do governo contribuem para a melhoria dos resultados. Não há clareza sobre como esses indicadores devem ser utilizados para melhorar o desempenho de políticas no Brasil.
Além disso, as principais partes interessadas do governo do Brasil possuíam visões contrastantes sobre a existência ou não de KPIs e KNIs, o que demonstra que há propriedade limitada e socialização dos atuais KNIs e uma falta de clareza sobre seu uso potencial para avaliar o desempenho do governo. Não há nenhum consenso sobre qual seria o órgão no Brasil encarregado de desenvolver KPIs e, mais importante, quem deveria se encarregar de seu monitoramento. Enquanto que alguns agentes expressaram que os indicadores do PPA são os KPIs que o governo utiliza para mensurar o sucesso na implementação das políticas públicas, outros órgãos mencionaram que os KNIs desenvolveram na estrutura da EFD. No geral, o principal desafio identificado pelo governo do Brasil é selecionar alguns indicadores que sejam reconhecidos, possuam uma base estatística confiável e dados que podem ser comparados com os indicadores usados por outros países.
Conforme o discutido nos capítulos anteriores, o desenvolvimento de uma estrutura de desempenho no CdG facilitaria uma melhor organização dos esforços do CdG em torno de um conjunto limitado prioridades e indicadores. Sem uma clara estrutura sistemática que permite a discussão em termos de desempenho, o desenvolvimento de KPIs poderia ser um esforço fútil, pois não há nenhum mecanismo que efetivamente identifique os fatores de sucesso, barreiras de implementação e que promova o aprendizado organizacional orientado aos resultados. A Estrutura de Desempenho Nacional da Escócia (Quadro 4.5) é um bom exemplo de integração de KPIs em uma estrutura de desempenho mais ampla.
Além disso, conforme o citado no Capítulo 3, o Brasil não conduz o orçamento de desempenho como prática geral. Consequentemente, os KPIs não serão capazes de mensurar o desempenho nos gastos, nem podem ser utilizados para relacionar o desempenho nos gastos com a consecução dos objetivos de planejamento estratégico. Isso está em linha com a abordagem geral em silo nessa área, que, muitas vezes, resulta em limitações sobre a eficácia do sistema de M&E no geral. O Brasil poderia considerar desenvolver esforços integrados para relacionar, no futuro, o orçamento de desempenho para um conjunto de KPIs.
Quadro 4.5. Estrutura de Desempenho Nacional da Escócia
A Estrutura de Desempenho Nacional da Escócia oferece uma meta para que sociedade escocesa atinja. Para ajudar nesse objetivo, a estrutura estabelece Resultados Nacionais que refletem os valores e as aspirações do povo da Escócia, que estão alinhados com as Metas de Desenvolvimento Sustentável das Nações Unidas e ajudam a acompanhar o progresso na redução da igualdade. Esses resultados incluem:
“Temos uma economia globalmente competitiva, empresarial, inclusiva e sustentável”, no que tange à econômica escocesa.
“Somos saudáveis e ativos”, no que tange à saúde.
“Respeitamos, protegemos e cumprimentos os direitos humanos e vivemos livres da discriminação”, no que tange aos direitos humanos.
Cada Resultado Nacional possui um conjunto de 81 indicadores de resultado regulares que informam o governo sobre como a administração atua em relação à estrutura. Um dashboard de dados onde os cidadãos podem acessar os dados nesses indicadores está disponível no website Scottish Government Equality Evidence Finder.
Fonte: Government of Scotland (2020[20]), National Performance Framework.
Por fim, apesar de envolver um órgão técnico, como o IPEA, na definição de indicadores ser uma boa prática conforme a OECD, a falta de clareza sobre a existência ou não de KPIs entre as principais partes interessadas do CdG é uma indicação de sua falta de socialização/propriedade dentro e fora da administração. Aumentar o engajamento de partes interessadas no desenvolvimento de KPIs pode aumentar sua legitimação assim como sua qualidade, pois, algumas vezes, as partes interessadas estão melhores inseridas a fim de identificar quais dimensões de mudança poderiam constituir o foco de atenção (DG NEAR, 2016[21]).
Sobre a qualidade dos indicadores, existem algumas diretrizes sobre a produção de indicadores de qualidade no Brasil, mas elas não são sistematicamente utilizadas. São elas:
O Manual de Auditoria Operacional de 2010 do Tribunal de Contas da União – Brasil (TCU) elabora sobre os desafios que os gestores podem enfrentar na criação de informações de desempenho, incluindo sistemas de informação inadequados ou não confiáveis, assim como a dificuldade de relacionar os resultados às políticas ou ações específicas (TCU, 2010[22]). O manual oferece considerações gerais para avaliar a qualidade dos indicadores (OECD, 2017[15]).
O Guia Técnico de Gestão Estratégica, elaborado pela Secretaria Especial de Desburocratização, Gestão e Governo Digital dentro do Ministério da Economia, que apresenta recomendações para a formulação de indicadores, especialmente para os Planos Estratégicos Institucionais (PEIs).
As Diretrizes de Indicadores do PPA 2020-2023 da Secretaria de Avaliação, Planejamento, Energia e Loteria (SECAP). Essas diretrizes possuem os seguintes objetivos:
Apresentar uma revisão teórico-conceitual dos indicadores.
Assistir os ministérios em exercício e as agências na escolha dos indicadores mais apropriados para o M&E de seus programas do PPA 2020-2023.
Incentivar e induzir o uso de indicadores sobre a melhoria da governança e ações do programa, considerando os aspectos de eficiência e, acima de tudo, eficácia.
Apesar da existência dessas diretrizes, uma das principais barreiras se refere à falta de competências em instituições governamentais para a definição e análise dos KPIs. A Controladoria Geral da União (CGU), por exemplo, tem tentado estabelecer indicadores, mas enfrenta dificuldades nesse sentido. O Conselho de Monitoramento e Avaliação de Políticas Públicas (CMAP) trabalha para estabelecer um conjunto de indicadores com base nos resultados de algumas avaliações, mas ainda como forma de gerar provas que podem sustentar a tomada de decisão no ciclo de orçamento. Ainda assim, algumas vezes as instituições buscam suporte na concepção dos indicadores de instituições externas, tais como a Escola Nacional de Administração Pública (ENAP).
Por fim, algumas entidades publicam seus indicadores. O Ministério da Economia, por exemplo, logo publicará seus indicadores em seu website. Não obstante, mesmo quando os indicadores estão publicamente disponíveis, isso não garante a comunicação efetiva ao público maior.
Qualidade das avaliações: Diretrizes sobre avaliação de políticas e outros mecanismos para promover a qualidade
Assim como a maioria dos países (20 dos 31 países, dos quais 17 são membros da OECD) (OECD, 2020[4]) o Brasil desenvolveu diretrizes que buscam tratar da qualidade técnica e da boa governança das avaliações. As diretrizes desenvolvidas pelos países consideram uma ampla variedade de tópicos específicos, incluindo a concepção das abordagens de avaliação, o curso de ação para comissionar as avaliações, seu planejamento, concepção de métodos de coleta de dados, avaliação de metodologias ou conduta ética dos examinadores. A Tabela 4.3 apresenta uma visão geral dos diferentes padrões de qualidade, em termos de governança e qualidade que países membros e não membros da OECD incluíram em suas diretrizes.
As diretrizes sobre a avaliação de políticas e outros mecanismos para promover a qualidade estão disponíveis ao CdG do Brasil:
O Guia Prático de Análise Ex Ante (Ipea, 2018[23]) inclui uma orientação útil acerca das seguintes questões:
Quando uma análise ex ante tiver de ser conduzida e quem tem as competências para executá-la. Também inclui uma lista e exemplos práticos para a análise ex ante.
Informações técnicas ligadas aos modelos lógicos, criação de indicadores e análise SWOT (pontos fortes, pontos fracos, oportunidades, ameaças).
Informações sobre os objetivos de análises orçamentárias e financeiras, estratégias de implementação, estratégicas para estabelecer a confiança e suporte, estratégicas gerais sobre monitoramento, avaliação e controle, e medição de retorno econômico e social. Apesar de essas informações serem todas úteis para a concepção de uma política, incluindo sua avaliação, não oferece orientação prática sobre a execução dos processos de avaliação de qualidade ex ante.
O Guia Prático de Análise Ex Post (Ipea, 2018[24]) serve como referência para o CMAG (para políticas orçamentárias que avalia) e o CMAS (para políticas públicas financiadas por subsídios da União). Esse guia oferece:
Uma definição da avaliação de políticas públicas, políticas públicas e monitoramento. Também claramente estabelece a importância de distinguir o monitoramento das práticas de avaliação.
Exemplos de sistemas de M&E em outros países.
Um cálculo detalhando um processo de avaliação cronológico e coordenado: seleção de políticas públicas a serem avaliadas, execução da avaliação, apresentação dos resultados e proposições para melhorias, pacto para que melhorias sejam feitas nas políticas públicas, implementação das melhorias e, por fim, melhoria das políticas públicas.
Uma descrição de um sistema de dados e informações do governo federal, tais como a plataforma Govdata2 e sua estrutura legal.
Uma lista das etapas para gerenciar informações para integrar a avaliação de políticas.
Informações sobre os diferentes tipos de avaliação (avaliação dos resultados, impacto, eficiência, etc.) e seus objetivos.
Informações sobre a ligação entre avaliação e gestão orçamentária e requisitos.
Informações técnicas para conduzir avaliações, tais como manual passo a passo para realizar avaliações executivas, avaliações de concepção, implementação, governança de políticas públicas, resultados, impacto e avaliações de retorno econômico e social (com exemplos).
O Guia de Análise de Impacto Regulatório (SEAE, 2020[25]) é um exemplo de um documento útil para realizar avaliações de qualidade. Em junho de 2008, o Governo Federal emitiu suas primeiras Diretrizes de Análise de Impacto Regulatório (AIR) (publicadas como Manual de AIR). É coordenado pela Subchefia de Análise e Avaliação de Políticas Governamentais (SAG) (Guimaraes, 2020[26]). No escopo do Manual de AIR, a SAG também trabalhou com o Ministério da Fazenda e o Ministério de Planejamento (ambos sofreram fusão no Ministério da Economia em 2019).
Com relação ao engajamento de partes interessadas, as diretrizes ressaltam a importância das consultas públicas durante o processo de AIR e apresentam recomendações sobre quando elas devem ocorrer (Guimaraes, 2020[26]). O engajamento de partes interessadas tem sido umas das principais preocupações da SAG e de outros órgãos regulatórios, que recomendam sua ocorrência durante dois momentos do processo de AIR: antes de a nova regra ser minutada ou alterada e após o relatório de AIR ser acordado.
Referem-se ao Livro Magenta3 para descrever os diferentes tipos de avaliação (ou seja, processo, impacto e avaliações econômicas) e como as partes interessadas se dedicam em cada uma delas (Guimaraes, 2020[26]).
Também fazem uma distinção clara entre M&E ex ante e ex post (Guimaraes, 2020[26]).
Atentam para a Avaliação Regulatória de Resultado (ARR), que definem como “o processo de avaliação sistemático de uma intervenção para determinar se seus objetivos foram atingidos” (SEAE, 2020[25]) e descreve como uma forma de avaliação ex post. São opostos ao AIR, uma “forma de análise de política ex ante” e ressaltam que o ROE não deve ser confundido com a inspeção do AIR do processo de monitoramento. Quanto ao ROE, ou AIR ex post, as diretrizes ainda estabelecem quando um ROE deve ser conduzidos, ou seja, os casos diferentes onde devem ser conduzidos e o prazo para sua condução.
Tabela 4.3. Padrões de Qualidade incluídos nas diretrizes de avaliação
Observação: n=31 (28 países-membros da OECD). Onze países (9 países-membros da OECD) responderam que não possuem diretrizes que suportam a implementação da avaliação de políticas entre os governos. As respostas refletem à pergunta: “As diretrizes contêm orientação específica ligada a: [veja os títulos da coluna] (Assinale todas as alternativas aplicáveis)”.
Fonte: OECD (2020[4]), Improving Governance with Policy Evaluation: Lessons From Country Experiences, https://doi.org/10.1787/89b1577d-en.
O Guia Prático de Análise Ex Ante (Ipea, 2018[23]) e o Manual Prático para Análise Ex Post (Ipea, 2018[24]) são providenciados pela Casa Civil, com a colaboração do Instituto de Pesquisa Econômica Aplicada (IPEA), do Ministério da Economia, da Controladoria Geral da União (CGU) e de outros ministérios em exercício, e foram aprovados pelo Comitê Interministerial de Governança (CIG). Podem ser utilizados por outros agentes além do CMAP (CMAG/CMAS). Deve ser observado que todas as avaliações encaminhadas para a CMAP devem seguir as diretrizes do Guia Prático de Análise Ex Ante e/ou do Guia Prático de Análise Ex Post para a avaliação das políticas públicas.
A CGU executa serviços de consultoria em avaliação, dentro do escopo de seu papel de auditoria interna, de acordo com a Referência Técnica (Instrução Normativa SFC/CGU 3 de 9 de junho de 2017). A Referência Técnica, com o manual de diretrizes técnicas para a atividade de auditoria interna governamental do Poder Executivo Federal (Instrução Normativa SFC/CGU 8 de 6 de dezembro de 2017), fornecendo uma estrutura para avaliações de diversos objetivos avaliados dentro do escopo das atividades de auditoria interna, assim como servindo com um subsídio para o trabalho de avaliação conduzido por suas equipes dentro do escopo do CMAP.
Adicionalmente, durante o último ciclo, o CMAP aperfeiçoou as redes de avaliação e fortaleceu o rol de examinadores. Os examinadores possuem experiências diversas, tais como em institutos de pesquisa, universidades, organizações sem fins lucrativos e organizações internacionais.
Por fim, a CGU desenvolveu diretrizes com base nas melhores práticas internacionais para a atividade de auditoria interna para os fins de planejar e conduzir avaliações com base nos riscos, sustentados por provas, metas para aumentar seu nível de maturidade técnica segundo o modelo de capacidade de auditoria interna. A experiência e a melhoria das equipes de auditoria adquiridas ao conduzir a avaliação de políticas públicas, assim como sua presença física por todo o território nacional, permitem que obtenham provas de diferentes maneiras, seja por meio do uso de técnicas de big data ou muitas vezes coletando as provas necessárias diretamente dos benefícios da política.
As competências e capacidades para o M&E são heterogêneas por todas as instituições no Brasil
As competências e capacidades relevantes para o M&E são importantes, pois as pessoas com o conjunto correto das competências estão mais propensas a produzir avaliações e análises de alta qualidade e focadas no uso (McGuire and Zorzi, 2005[27]). As competências corretas implicam ter as competências apropriadas, conhecimento, experiência e capacidades. No Brasil, o Ministério da Economia promove treinamento para desenvolver competências, capacidades e/ou qualificações de examinadores. O governo realiza esse treinamento por meio de suas escolas de governo – como a Escola Nacional de Administração Pública (ENAP) – e possui a assistência técnica do IPEA. Está em linha com outros países-membros da OECD, em cuja maioria reconheceram o importante papel das competências ao promover avaliações de qualidade. Na verdade, os dados da pesquisa comprovam que a maioria dos países (17 entrevistados, sendo 13 países-membros da OECD) utiliza mecanismos para suportar o desenvolvimento de competências dos examinadores (OECD, 2020[4]).
Apesar da existência de capacidades bem desenvolvidas, no Brasil, há uma ausência de especialistas treinados para conduzir avaliações. O número de peritos existentes não sustenta a necessidade de avaliações, especialmente em termos de emergência. Os órgãos setoriais são incentivados a fazer avaliações em seu próprio órgão, mas isso pode ser desafiador, pois raramente possuem força de trabalho grande o suficiente para suprir suas necessidades. Por esse motivo, a construção de capacidade e treinamento poderiam ser úteis no Brasil. Além disso, criaria um efeito multiplicador e levaria a um aumento significativo no número de profissionais capazes de conduzir avaliações.
Alguns agentes intimamente ligados ao CdG, tais como a ENAP, o IPEA e o IBGE possuem as capacidades e as competências para garantir que as atividades de avaliação de qualidade sejam conduzidas. As secretarias do Ministério da Economia (Secretaria do Tesouro Nacional - STN, Secretaria de Orçamento Federal - SOF, SECAP) e a CGU também são capazes de coordenar e conduzir diferentes tipos de avaliações.
O IPEA, por exemplo, pode ele próprio conduzir avaliações e contribuiu para a coordenação e execução de avaliações, além de apoiar o CMAP em um projeto para desenvolver um inventário de políticas públicas federais. Também possui um programa para promover a pesquisa por meio de bolsas de estudo e trazer examinadores da academia para ajudar com as avaliações.
O IBGE pode ajudar na prestação de bases de dados e informações.
O ENAP pode oferecer treinamento para os decisores políticos encarregados da avaliação. A escola possui um papel cada vez mais crescente na disseminação de boas práticas ou diretrizes que promovem processos e resultados de qualidade. A ENAP oferece treinamento, especialmente cursos práticos em avaliação ex ante e ex post de políticas públicas e consultoria técnica em avaliação de políticas públicas.
A CGU pode ajudar nas atividades de avaliação oferecendo consultoria. Isso é possível em razão de sua capilaridade no território nacional e das auditorias, incluindo aquelas que visam avaliar políticas públicas, são processos conduzidos de maneira sistemática e disciplinada, incluindo com a existência de um programa de garantia de qualidade. A experiência que a CGU ganhou com o passar dos anos pode servir como uma referência para órgãos setoriais quando conduzem suas próprias avaliações de políticas públicas.
Esses órgãos podem ainda exercer a função de coordenadoria ou realizadora das avaliações conduzidas dentro do escopo do CMAP. O coordenador é responsável por elaborar o plano de trabalho, garantindo que a realização da avaliação, avaliando os riscos que podem afetar os resultados, apresentando os produtos intermediários ao comitê, o relatório de avaliação final e o relatório de recomendações.
Outra iniciativa interessante para a promoção de criação de capacidade é a colaboração entre a ENAP e a Iniciativa CLEAR, parte do Grupo de Avaliação Independente do Banco Mundial (IEG). Realizam seminários e oficinas sobre M&E para servidores civis, além da cooperação para o desenvolvimento de capacidades em avaliação por meio dos Serviços Consultivos de Avaliação da ENAP.
Apesar de a ENAP estar contribuindo para criar a capacidade de avaliação nos ministérios em exercício independentemente e ainda como uma importante apoiadora do CMAP, a maneira na qual os ministérios em exercício conduzem as avaliações é heterogênea no governo federal. Alguns ministérios possuem capacidades excelentes, mas isso não é uma realidade para os demais. Ainda, dentro dos ministérios, podem haver setores específicos mais avançados que outros em termos de capacidades e competências para M&E. O Brasil deveria se certificar de que há competências básicas analíticas para o M&E em todos os ministérios, uma massa crítica de competências de avaliação dentro de cada ministério a fim de se certificar de que podem conduzir avaliações e competências para comissionar e supervisionar avaliações no nível do serviço civil de alto escalão.
Uma primeira etapa no fortalecimento das capacidades analíticas do setor público brasileiro seria avaliar as capacidades e as necessidades do Governo Federal em termos de competências de M&E. Esse exercício poderia ser realizado pelo IPEA ou pela ENAP e inspirado pelo exemplo do Reino Unido (RU) de desenvolvimento de uma Estrutura de Profissionais Digitais (Quadro 4.6).
Quadro 4.6. Estrutura de Profissionais Digitais do Reino Unido
Em 2015, os Serviços Digitais do Governo do Reino Unido (GDS) começou a conduzir um amplo mapeamento das competências digitais no governo para avaliar as capacidades e necessidades do governo do Reino Unido, de forma a promover um serviço civil conduzido digitalmente moderno e ágil. Esse mapeamento viu os profissionais digitais assim como papeis dos gestores de produto, pesquisadores de usuários e gerente de entrega – todos indispensáveis para o bom funcionamento dos serviços digitais. Esse exercício de mapeamento demonstrou que os funcionários com competências digitais tinham diferentes cargos, funções e salários dentro do setor público britânico.
Com base nesse mapeamento, o GDS desenvolveu a Estrutura de Capacidade Digital, Dados e Tecnologia que abrange 37 cargos e identifica as competências necessárias para cada um deles, assim como as competências necessárias para avançar a um cargo de nível mais elevado dentro de cada função. Essa estrutura ajudou o serviço civil do Reino Unido a tratar de questões de recrutamento de profissionais digitais e avanço de carreira, identificar lacunas de capacidade para esquematizar treinamento e facilitou a criação de uma comunidade de prática.
Fonte: OECD (2021[28]), “The future of the public service: Preparing the workforce for change in a context of uncertainty”, https://doi.org/10.1787/1a9499ff-en.
Ainda, de acordo com as entrevistas conduzidas durante as missões de coleta de dados, a alocação de capacidades, ou seja, como as capacidades são distribuídas entre os departamentos das entidades e/ou equipes, representa uma questão. Na verdade, a alocação de capacidade dentro das entidades pode ser ditada pela inércia de alocações passadas e não adaptadas às mudanças internas nas necessidades de capacidade e, portanto, com um risco de resultar em alocação indevida das capacidades existentes e um subaproveitamento dos recursos humanos existentes. Uma possível solução para essa questão recai na coordenação, mas isso resultou em uma problemática devido à alta heterogeneidade dos agentes.
Por fim, o investimento em capacidades analíticas para M&E normalmente ocorre em nível individual. Em vez disso, seria aconselhável implementar estruturas analíticas para investimento em capacidades analíticas dentro dos ministérios em exercício no nível institucional, em vez de individual. Isso requer a elaboração de uma estratégia ampla do governo para atrair e reter efetivo analítico altamente qualificado. O setor público brasileiro poderia criar um registro analítico dentro da estrutura de serviço civil, que proporcionaria treinamento em análise de políticas e métodos de avaliação, métodos de análise, métodos quantitativos e avançados de dados e economia aplicada. Os graduados desse registro analítico seriam contratados centralmente e, então, distribuídos nas unidades analíticas dentro dos diversos ministérios. Esses analistas poderiam receber salários relativamente mais altos, trajetórias de carreira bem definidas e oportunidades de promoção, aumentando a atratividade desse fluxo de professionais. Diversos outros países-membros da OECD criaram registros dedicados de análise de política dentro do serviço civil (Quadro 4.7).
Quadro 4.7. Registro de análise de políticas na França, Irlanda e Reino Unido
Na Irlanda, o Serviço Econômico e de Avaliação do Governo da Irlanda (IGEES) possui uma função como coordenador de recursos econômicos e analíticos por todo o governo. O IGEES gerencia uma rede de pessoal analítico contratado centralmente e posteriormente adiado em departamentos de linha. O efetivo do IGEES conduz avaliações e análises econômicas e, no geral, contribuem para uma melhor formulação de políticas nos departamentos em exercício. O IGEES foi lançado em 2012 na repercussão da crise financeira global, inicialmente visando garantir a qualidade em dinheiro das políticas públicas em resposta às pressões orçamentárias.
Em média, 20 recém-graduados foram contratados por meio desse programa todos os anos, elevando o número total de analistas contratados pelo IGEES para mais de 150 em todo o governo. O IGEES também suporta a criação de rede e compartilhamento de conhecimento, oferecendo a seu pessoal incentivos para mobilidade: após um período inicial de dois anos, o efetivo será transferido dentro do próprio departamento ou para outro. Uma Estrutura de Aprendizado e Desenvolvimento também foi estabelecida, na qual o efetivo do IGEES recebe treinamento nas seguintes áreas: análise de políticas e métodos de avaliação, métodos de análise, métodos quantitativos e avançados de dados e economia aplicada.
No Reino Unido, há em torno de 15.000 “profissionais de política” que trabalham como analistas pelos diferentes departamentos do governo. O termo reagrupa diversas faixas profissionais, tais como serviço econômico do governo, serviço estatístico do governo e serviços de pesquisa social do governo. A estrutura da profissão de política abrange um programa de aprendiz de dois anos, e um curso em nível superior de três anos. Ainda, há uma estrutura comum para todos os profissionais de política, que incluem um conjunto compartilhado de competências (18 competências em 3 áreas: análise e uso de provas, política e democracia, entrega de política), 3 níveis de experiência, e uma clara estrutura de treinamento e progressão de carreira.
Na França, o Instituto Nacional de Estudos Estatísticos e Econômicos (INSEE) possui um sistema integrado de educação do terceiro setor, que treina especialistas em análise econômica, estatística e econométrica por meio da escola ENSAE, e estatísticos e cientistas de dados na escola ENSAI. Uma parcela dos alunos graduados dessas escolas é inscrita no serviço civil e recebe uma bolsa durante seus estudos em troca de trabalho no serviço civil por um período mínimo de oito anos. Dentro do serviço civil, os graduados da ENSAE/ENSAI atuam nos gabinetes analíticos em cada ministério, assim como uma variedade de instituições públicas, tais como a Stratégie da França ou o Banco Central. No nível de entrada, esse grupo de graduados é coordenado centralmente pelo INSEE, criando ainda um mercado compartilhado para competências analíticas e estatísticas no setor público. Além disso, o instituto nacional desempenha um importante papel na promoção e desenvolvimento de competências por todo o governo, fornecendo treinamento profissional visado em todos os servidores civis, organizando seminários que promovam o compartilhamento de conhecimento e incentivando a mobilidade de efetivo analítico entre os ministérios em exercício. O esquema, que funciona desde o início do INSEE em 1946, foi parte de um conjunto de reformas importantes que visaram modernizar o serviço civil na recuperação do pós-guerra para garantir que o aparelho do estado francês pudesse estar bem equipado para tratar de desafios modernos.
Fonte: OECD (2021[29]), Mobilising Evidence at the Centre of Government in Lithuania: Strengthening Decision Making and Policy Evaluation for Long-term Development, https://dx.doi.org/10.1787/323e3500-en.
Promovendo o uso de resultados de M&E
Usar um sistema para medir os resultados em termos de desempenho e entrega é a finalidade principal para criar uma configuração de M&E. Em outras palavras, produzir resultados de M&E não terá serventia alguma se essas informações não chegarem aos usuários apropriados no prazo devido, de forma que o feedback de desempenho possa ser utilizado para melhorar as políticas. O uso efetivo dos resultados de M&E é essencial para incorporá-los no processo de formulação de políticas e gerar os incentivos para a disseminação de práticas de M&E. É uma fonte crítica de feedback para gerar novas políticas e desenvolver uma lógica para as intervenções do governo. Se os resultados de M&E não forem utilizados, as lacunas permanecerão entre o que é conhecido como efetivo, conforme o sugerido por provas e políticas, e a tomada de decisão na prática. Colocando de maneira simples, os resultados de M&E não utilizados representam oportunidades perdidas de aprendizado e prestação de contas (accountability) (OECD, 2020[4]).
As informações de M&E são compartilhadas e feitas públicas por meio de diferentes canais, dependendo da instituição emissora e dos dados envolvidos
Tornar os resultados públicos é um elemento importante para garantir o impacto e, assim, aumentar o uso das avaliações. O acesso público é um importante fator no uso dos dados, pois os analistas podem não estar cientes de outra maneira dos conjuntos de dados existentes ou podem não ter acesso a eles. Os resultados das avaliações estão sendo cada vez mais disponibilizados pelos países, por meio de aumento na abertura e transparência. Conforme o apresentado na Figura 4.2, a maioria dos países fazem descobertas de avaliação e recomendações disponíveis ao público geral por padrão, por exemplo, publicando os relatórios no website da instituição em questão. Essa disponibilidade é importante para promover o uso como, se os cidadãos estão cientes dos resultados e implicações, também poderá criar uma pressão para que os decisores políticos prestem a atenção nos resultados e garantam que se alimentem na formulação de políticas (OECD, 2020[4]).
No Brasil, os mecanismos compartilhados para informações de M&E variam de acordo com a instituição emissora e os tipos de dados envolvidos. Eis alguns exemplos:
Relatório anual de monitoramento dos Planos Plurianuais (PPA), previsto no artigo 16 da Lei 13.971/2019, encaminhado ao Congresso Nacional, de 2021 a agosto de cada ano, e disponibilizado no website4 do Ministério da Economia (Ministerio da Economia, 2020[9]). Um relatório com os resultados das avaliações também é enviado ao Congresso Nacional anualmente, a partir do Ciclo de Avaliação de 2020. Os relatórios de avaliação final e relatórios de recomendação estão disponíveis ao público, gestores e autoridades públicas no website do CMAP.5
A Unidade de Entrega do Ministério da Economia é responsável por coletar informações atualizadas dos departamentos de implementação e compilá-las em relatórios que serão enviados à secretaria do executivo. Não apenas esses relatórios trazem informações atualizadas sobre os indicadores de prioridade, mas também comprovam o status dos planos de ação e identificam os riscos na implementação propondo sugestões para mitigação. Esses relatórios são utilizados pelo líder do sistema nas reuniões no Gabinete de Crise e ministério e, por fim, também servem para quaisquer atualizações com o presidente. Uma versão otimizada dos mesmos relatórios também é enviada às Unidades de Comunicação para ser compartilhada com os cidadãos em comunicações externas (imprensa, mídia social e websites).
A Secretaria Especial de Assuntos Federativos da Secretaria de Governo é responsável pelo Diagnóstico Federativo, uma solução online de TI em tempo real que indica o uso dos recursos federais de todos os 5.570 municípios brasileiros.
Via de regra, cada relatório de avaliação de impacto está disponível por lei, apesar de algumas informações poderem estar total ou parcialmente restritas devido a uma isenção legal, tais como proteção de informações fiscais ou proteção de direitos de propriedade.
Figura 4.2. Publicação de resultados das avaliações
Observação: n=42. Os dados refletem respostas à pergunta: “Os resultados da avaliação são: [possíveis respostas indicadas na figura]”. Em "Outros", a maioria dos países concordou que a disponibilidade pública dos resultados das avaliações dependeria da agência específica que comissionou a avaliação e em sua organização.
Fonte: OECD (2018[7]), “Survey on Policy Evaluation”, OECD, Paris.
Enquanto os relatórios de monitoramento são criados e publicados, o formato da publicação, algumas vezes, não promove seu uso por decisores políticos
Os resultados do monitoramento das atividades do governo federal devem ser utilizados para redirecionar as políticas públicas segundo os objetivos estratégicos do governo, revisar a pertinência desses objetivos estratégicos e reformular e eventualmente suspender ou concluir ações ou programas federais. Não obstante, enquanto o uso dos resultados de monitoramento pretende contribuir para o aprendizado de políticas no Brasil, o uso real das provas para a formulação de políticas ainda está em estágio inicial de desenvolvimento e ainda precisa ser visto. Enquanto os relatórios de monitoramento são criados, algumas vezes ainda não cumprem padrões ou procedimentos que poderiam facilitar seu uso por decisores políticos. Além disso, o relatório de monitoramento deve se adequar à finalidade e os relatórios devem ser personalizados a seus destinatários e usuários. A estratégia de monitoramento MIDE do estado mexicano de Jalisco descrita no Quadro 4.8 pode ser um exemplo de um relatório bem coordenado e transparente de informações de monitoramento.
Quadro 4.8. MIDE Jalisco: Boa prática de relatório transparente de informações de monitoramento
MIDE Jalisco é a estratégia de monitoramento abrangente do estado de Jalisco, operada por sua Secretaria de Planejamento, Administração e Finanças e que envolve 35 agências e entidades do executivo estadual. Facilita o monitoramento dinâmico e periódico dos indicadores quantitativos atinentes às metas do Plano de Governança e Desenvolvimento do estado. Esse mecanismo de monitoramento contém 27 indicadores de impacto em longo prazo no desenvolvimento do estado, 133 indicadores em médio prazo que medem o impacto direto na população, assim como 194 indicadores que capturam informações em curto e médio prazos na implementação de programas e políticas. MIDE Jalisco possui dados desde 2006 para a maioria de seus indicadores. Além de ser uma plataforma bem coordenada, interinstitucional e centralizada para monitorar o instrumento de planejamento estratégico do Jalisco, MIDE Jalisco representa uma boa prática para efetivamente comunicar os resultados de monitoramento às partes interessadas. Isso porque MIDE Jalisco é hospedado em uma plataforma online, onde os membros da academia, a imprensa, organizações da sociedade civil (CSOs) e o público podem acessar os indicadores como dados disponíveis. Além disso, uma vez que esses indicadores são atualizados pelo menos uma vez por mês (e com maior frequência se a fonte de dados permitir), as partes interessadas relevantes podem acessar os resultados de monitoramento em tempo real (ou quase real). Ainda, esse sistema promove a participação dos cidadãos e a prestação de contas (accountability). Essa participação ainda é facilitada pela existência do Conselho de Cidadãos MIDE Jalisco, que permite a colaboração entre servidores públicos, especialistas e cidadãos para melhorar a seleção dos indicadores e estabelecimento de metas.
Fonte: State of Jalisco (2020[30]), Open Government Partnership; Elmqvist, T. et al. (eds.) (2018[31]), Urban Planet: Knowledge Towards Sustainable Cities, Cambridge University Press; OECD/CAF/ECLAC (2018[32]), Latin American Economic Outlook 2018: Rethinking Institutions for Development, https://dx.doi.org/10.1787/leo-2018-en, in OECD (2021[1]), Monitoring and Evaluating the Strategic Plan of Nuevo León 2015-2030: Using Evidence to Achieve Sustainable Development, https://dx.doi.org/10.1787/8ba79961-en.
Além disso, mecanismos em pleno funcionamento para gerar e usar provas requerem interesse da liderança política e capacidades dentro de uma governo para promover análise confiável e em tempo hábil (ou seja, o suprimento de provas), assim como utilizar provas (ou seja, demanda de provas). No Brasil, a conscientização e demanda por provas do M&E ainda é insuficiente de um número de agentes dentro do governo, apesar do reconhecimento de sua importância. Além disso, a criação de novas políticas públicas ainda carece do uso recorrente de provas de qualidade. Similarmente, há uma ausência de uso pelos gestores de provas de qualidade nos estágios de concepção, escolha de intervenção e alternativas de monitoramento. Isso influencia a alocação apropriada de recursos públicos, afetando a probabilidade de solucionar o problema relacionado pela agenda política. O CdG do Brasil poderia considerar incentivar o uso de resultados de monitoramento, por exemplo, tornando-os intuitivos, incluindo um sumário executivo e tornando-os concisos e claros.
Aumentar o impacto dos resultados de monitoramento requer desenvolver uma estrutura de desempenho focada no tratamento de barreiras de implementação
É crucial que os resultados de monitoramento sejam apresentados de maneira que seja atrativa a seu público. Ligar objetivos de desempenho (consulte as recomendações nos Capítulos 1 e 2) e atividades de monitoramento é, por esse motivo, essencial. Os dashboards deveriam incluir uma narrativa sobre desempenho, interpretando e usando os resultados para compreender lacunas de implementação e propor ação corretiva de políticas de maneira que crie uma narrativa coerente e de impacto (Vági and Rimkute, 2018[3]). O governo do Brasil precisará filtrar os dados relevantes e focar nas informações apresentadas nos gargalhos mais urgentes ou reformas com o maior impacto potencial. As mensagens-chave, conclusões e cursos de ação sugeridos devem acompanhar quaisquer dados não processados (ou seja, indicadores).
Os acordos institucionais e mecanismos constituem um sólido alicerce para o uso de provas na política e tomada de decisão. Os mecanismos que permitem a criação de voltas de feedback entre monitoramento e implementação de políticas podem ser incorporados:
No processo de monitoramento em si, tais como por meio do ciclo de desempenho (no qual as provas de desempenho são discutidas no nível do ministério individual em exercício ou CdG).
Por meio da incorporação de descobertas de desempenho em outros processos, por exemplo, ciclo de formulação de políticas, avaliação de desempenho anual dos executivos de alto escalão do setor público, ciclo de orçamento ou discussões no Congresso.
A criação de um diálogo de desempenho estruturado, ou seja, rotinas de trabalho, poderia permitir que praticantes e tomadores de decisão utilizem as provas de monitoramento a fim de identificar problemas de implementação, limitações e adaptar seus esforços/recursos para solucioná-los. Em particular, relacionar objetivos estratégicos com objetivos de desempenho individuais é essencial para criar incentivos para os resultados no governo, particularmente no nível dos executivos de alto escalão do setor público e liderança. Há uma necessidade para garantir a participação de oficiais do governo, tais como encarregados de agências ou departamentos, e que sua organização contribui para o avanço dos resultados de alta prioridade de todo o governo. No Chile, por exemplo, ambos incentivos coletivos e individuais foram utilizados para promover o desempenho do setor público em linha com os objetivos estratégicos (vide o Quadro 4.9 para uma explicação mais detalhada desse sistema).
Quadro 4.9. Sistemas de monitoramento e incentivos acessórios para desempenho no Chile
O sistema de monitoramento chileno possui três participantes principais: o Ministério da Fazenda, o Ministério do Desenvolvimento Social e os ministérios em exercício. O sistema é composto de quatro subsistemas que monitoram os seguintes elementos:
O Formulário H (Formulario H), documento que acompanha o Projeto de Lei Orçamentária e reúne indicadores de desempenho que incluem informações qualitativas sobre os bens e serviços públicos. Está sob a responsabilidade do Ministério da Fazenda.
O monitoramento do programa com o objetivo de acompanhar a execução do programa e mensurar o progresso face às metas, sob a responsabilidade do Ministério da Fazenda.
O monitoramento de programas sociais, sob a responsabilidade do Ministério do Desenvolvimento Social.
Indicadores de gestão interna (Indicadores de Gestión Interna) que focam em processos e procedimentos internos.
Em paralelo, há três mecanismos principais para criar incentivos de desempenho:
Programa de Melhoria da Gestão (Programa de Mejoramiento de la Gestión) que concede bônus a servidores públicos que atingem metas específicas.
Convênios de desempenho coletivo (Convenios de desempeño colectivo) que incentivam o trabalho em equipe dentro das unidades de trabalho rumo às metas institucionais anuais.
Convênios de desempenho individual (Convenios de desempeño individual) que estabelecem metas de gestão estratégica para cada servidor civil.
Fonte: Irarrazaval, I. and B. Ríos (2014[33]), “Monitoreo y Evaluación de políticas Públicas”, http://dx.doi.org/10.13140/2.1.4072.2886; OECD (2021[1]), Monitoring and Evaluating the Strategic Plan of Nuevo León 2015-2030: Using Evidence to Achieve Sustainable Development, https://dx.doi.org/10.1787/8ba79961-en.
Mais comunicação estratégica de resultados das avaliações poderia promover seu uso
Conforme o apresentado na Figura 4.3, o uso de resultados das avaliações na formulação de políticas foi identificado como o principal desafio para promover a avaliação de políticas por todo o governo por diversos entrevistados do questionário da OECD.
No Brasil, o ambiente político e regulatório do país está se desenvolvendo para permitir o uso de provas na tomada de decisão. Dentro do escopo dos setores regulados, em 2019, a legislação foi promulgada para estender o uso compulsório do impacto regulatório da avaliação das agências regulatórias para outros órgãos reguladores na administração (Lei 13.874/2019). O uso da AIR por agências regulatórias e a publicação dos resultados das audiências e consultas públicas está se espalhando. Gradualmente, há um esforço percebido das agências para melhorar suas notas técnicas, divulgar as contribuições recebidas da sociedade e produzir relatórios comentando sobre as contribuições e apoiando as decisões tomadas. Espera-se que o uso das provas e transparência das informações aumente, pois são elementos essenciais das AIRs. Nesse sentido, se o uso da AIR se tornar normalizado, o ambiente político poderia alterar e o uso da avaliação, no geral, se tornaria uma prática comum também do Governo Federal (OECD, 2018[16]).
Conforme o mencionado anteriormente, o Conselho de Monitoramento e Avaliação de Políticas Públicas (CMAP) foi recentemente constituído e ainda não está bem adaptado à promoção do uso de resultados das avaliações. De fato, todos os anos, o CMAP seleciona, com base em critérios objetivos, um grupo de políticas para a avaliação de prioridades e gerencia sua avaliação, resume os resultados e fornece recomendações para o CdG (todas sendo publicadas no website).6 Os órgãos responsáveis pelos programas do PPA devem submeter ao CMAP, quando apropriado, um plano de implementação com base nas recomendações aprovadas para as políticas públicas avaliadas. Com base nos resultados das avaliações, um relatório com recomendações para melhorar as políticas é elaborado. Esse relatório é considerado pelo comitê respectivo (CMAG ou CMAS) e aprovado pelo CMAP. Os órgãos de CMAP do CdG consideram o relatório de recomendações. Os comitês de governança interna dos órgãos regentes das políticas avaliadas – ou, antes da implementação, os órgãos setoriais do Sistema de Planejamento e Orçamento Federal (SPOF) – serão as principais unidades de contato do CMAP e de seus comitês e isso durante o processo de avaliar e monitorar a implementação das propostas para alterar políticas públicas resultantes da avaliação. São responsáveis por mediar a comunicação com as áreas técnicas relevantes, sempre que necessário (Ministerio da Economia, 2020[9]).
Não obstante, não há clareza sobre quando e como o CdG utilizará as informações de avaliação geradas pelo CMAP. Na verdade, apesar de promover a avaliação de políticas públicas selecionadas e incentivar o uso dos resultados das avaliações para melhorar os resultados do programa e desempenho, segundo os participantes da reunião de coleta de dados, a maioria das descobertas é utilizada na discussão política acerca das políticas públicas, mas não de maneira sistemática. Conforme o explicado anteriormente, os mecanismos para a promoção do uso de resultados das avaliações se aplicam exclusivamente ao PPA, pois não há nenhum acordo para outros instrumentos de planejamento além do PPA. A Secretaria de Avaliação, Planejamento, Energia e Loteria (SECAP) elaborou o primeiro relatório anual do CMAP, que foi enviado e apresentado ao Congresso em agosto/setembro de 2021. Conforme o previsto na Lei 13.971/2019, esse relatório submente os resultados das avaliações do ciclo de 2020: oito políticas federais de subsídios e oito políticas ou programas financiados pelos subsídios da União, selecionados dos Programas Finalísticos do PPA. Cada avaliação, à exceção de uma, também apresenta propostas para a melhoria de políticas, que são incorporadas nas recomendações pelo CMAP.
Figura 4.3. Desafios para promover a avaliação de políticas em todo o governo
Observação: Para a principal instituição, n=42 (37 países-membros da OECD). Os dados refletem respostas à pergunta: “Quais os atuais desafios do governo para promover avaliações de políticas?”. Desafio percebido de 0 a 10.
Fonte: OECD (2018[7]), “Survey on Policy Evaluation”, OECD, Paris.
Para promover o uso das avaliações, os países adotaram os seguintes mecanismos:
Conduzir processos avaliativos focados na utilização
Promover o acesso às avaliações
Sustentar a adoção dos resultados das avaliações
Aumentar a demanda por avaliações por meio do desenvolvimento de competências
Incorporar o uso na configuração institucional, dentro e fora do executivo.
Os mecanismos de boas práticas para promover o uso das avaliações implementados por outros países podem ser encontrados nos Quadros 4.10 e 4.11.
Quadro 4.10. Portais de avaliação para promover o uso de provas
Banco de dados nacional de avaliação da Polônia para a avaliação de política de coesão
Todas as avaliações comissionadas na Polônia, incluindo aquelas ligadas à implementação de recursos da União Europeia, devem estar acessíveis ao público. Sobre as avaliações ligadas à política de coesão, um banco de dados nacional foi criado: todas as avaliações são publicadas no website www.ewaluacja.gov.pl. Essa plataforma compartilha os resultados de mais de mil estudos conduzidos desde 2004, assim como as ferramentas metodológicas visadas nos examinadores.
Portal de avaliação da Noruega
O portal de avaliação da Noruega (https://evalueringsportalen.no/) é um serviço web publicamente acessível que coleta todas as descobertas de avaliações conduzidas pelo governo central. Esse banco de dados é operado pela Diretoria de Gestão Financeira e pela Biblioteca Nacional da Noruega. Contém avaliações conduzidas em nome das agências governamentais de 2005 até os dias de hoje, assim como uma seleção de avaliações centrais de 1994 a 2004. Os relatórios de avaliação são registrados no banco de dados assim que disponibilizados ao público. Além disso, o portal fornece diretrizes de avaliação, calendário das atividades-chave na área de avaliação e notícias e documentos profissionais. Ao aumentar a acessibilidade aos resultados das avaliações, o portal permite o uso e reuso do conhecimento e das descobertas das avaliações em todas as áreas de política do estado, em futuras avaliações e na sociedade como um todo. Por fim, permite uma maior legitimação e transparência acerca das atividades do governo.
Fonte: OECD Survey on Policy Evaluation (2018), in OECD (2020[4]), Improving Governance with Policy Evaluation: Lessons From Country Experiences, https://doi.org/10.1787/89b1577d-en.
Quadro 4.11. Diretrizes para a interpretação de Mapas de Lacunas de Provas: Ferramenta para a tomada de decisão na Colômbia
O Departamento Nacional de Planejamento da Colômbia (DNP) criou diretrizes para a interpretação de mapas de lacunas de provas (MBEs) para fortalecer a tomada de decisão com base em provas. Os MBEs sistematizam e sintetizam os resultados das avaliações de maneira clara, conferindo aos tomadores de decisão acesso fácil e abrangente a eles e, enfim, reforçando o uso.
Essas diretrizes podem ser utilizadas por qualquer entidade pública nacional e organização internacional interessadas na melhoria de seus processos de tomada de decisão. Apresentam as medidas necessárias para a interpretação de um MBE, acompanhadas por exemplos e recomendações concretos. Também descrevem os recursos humanos necessários para criar a equipe responsável por interpretar o MBE assim como o planejamento ideal para ele.
Fonte: Ministry of Planning of Colombia (2019[34]), Guideline for the Construction of Evidence Gaps Maps: A Tool for Decision Making, in OECD (2020[4]), Improving Governance with Policy Evaluation: Lessons From Country Experiences, https://doi.org/10.1787/89b1577d-en.
O Tribunal de Contas da União (TCU) também poderia desempenhar um papel importante no aumento da conscientização dos resultados das avaliações e compartilhamento de orientação sobre como promover seu uso efetivo. Primeiro, o TCU coletou dados relevantes avaliando a maturidade do sistema de M&E do Brasil, com foco particular no uso de “conhecimento avaliativo”. Em 2013, o TCU conduziu uma auditoria de 27 agências federais para avaliar a maturidade dos sistemas de M&E por todo o governo. O índice de maturidade (iSA-Gov) quantificou o nível de institucionalização dos sistemas, observando quatro elementos:
Demandas avaliativas
Produção de conhecimento avaliativo
Capacidade de aprendizado organizacional
Utilização das informações avaliativas.
Os gestores que responderam à pesquisa consideraram eles próprios como tendo alta capacidade para a utilização dos resultados (TCU, 2013[35]). Enquanto que a ferramenta iSA-Gov revelou que a utilização do conhecimento avaliativo era, em média, “está presente e é parcialmente suficiente para atender às necessidades dos gestores”, outros auditores do TCU sugeriram margem para melhoria nessa área – particularmente no uso de informações de desempenho para fins orçamentários (OECD, 2017[15]).
Conforme o mencionado no Capítulo 3, no Brasil, aproximadamente 94% do orçamento é determinado pelas alocações que se configuram em legislação, enquanto que apenas 6% dos gastos incrementais estão disponíveis para serem alocados às prioridades do governo. A alocação obrigatória dos gastos não deixa espaço para a utilização dos resultados das avaliações e não considera inovação, qualidade nem o volume dos serviços que podem ser exigidos, pois a maioria do orçamento é concluída antes do processo orçamentário iniciar. Mesmo nos gastos obrigatórios, as avaliações, se bem personalizadas, podem promover eficiência e eficácia, potencialmente gerando uma melhor alocação de recursos. Conforme o anteriormente mencionado neste capítulo, o Brasil não conduz orçamento de desempenho como prática geral. Consequentemente, as informações de avaliação não são utilizadas para relacionar gastos de desempenho com a consecução dos objetivos de planejamento estratégico. Essa abordagem geral em silo muitas vezes resulta em limitações na eficácia do sistema de M&E no geral.
Estudo de caso sobre a reforma do ambiente de negócios no Brasil
Nos últimos anos, a reforma do ambiente de negócios surgiu como uma prioridade transversal de alto nível para o governo do Brasil. O objetivo desse esforço de reforma ou programa é simplificar a configuração e operação de um negócio, atrair investimentos estrangeiros diretos por meio de um contexto institucional aperfeiçoado, enquanto melhora sua posição nos rankings internacionais de ambiente de negócios (em particular o Índice Doing Business do Banco Mundial). No contexto desse esforço de reforma, o Brasil promulgou uma nova Lei de Ambiente de Negócios (Lei 14.195/2021), desenvolveu diversos Memorandos de Entendimento que estabelecem planos para modernizar o ambiente de negócios e implementou diversas iniciativas de política.
Três indicadores internacionais são utilizados para monitorar os objetivos da reforma do ambiente de negócios no Brasil (vide os Capítulos 1 e 2 para mais informações):
Índice Doing Business do Banco Mundial: Em setembro de 2021, o Banco Mundial suspendeu a publicação do relatório Doing Business 2021 devido à inconsistência de dados. Não obstante, o relatório executivo do Projeto “Doing Business” de 2021, elaborado pela Secretaria Especial de Modernização do Estado (SEME) com a finalidade de apresentar uma síntese do trabalho desenvolvido e dos resultados obtidos pelo Governo Federal em relação à modernização do ambiente de negócios, se baseia em temas do relatório Doing Business. O relatório executivo (Government of Brazil, 2021[36]) apresenta as principais ações desenvolvidas e uma simulação da evolução do Brasil no indicador Doing Business. Um dashboard online também foi criado para monitorar cada indicador e tema. A meta do governo foi definida como uma posição no ranking Doing Business, mas pode ser uma meta difícil de gerenciar devido ao movimento de outros países no ranking. De fato, o progresso brasileiro pode ser ofuscado pelo progresso de outros países, ou alguns países podem experimentar uma queda no ranking e a posição brasileira pode se elevar sem uma melhoria correspondente no dinamismo do ambiente de negócios. Por esse motivo, maior ênfase poderia ser colocada em metas temáticas definidas por pontos, uma métrica mais simples de planejar e controlar.
Além do ranking Doing Business, o Brasil utiliza outros índices internacionais para avaliar o ambiente de negócios, em particular o Índice Global de Competitividade do Fórum Econômico Mundial.
O Índice de Liberdade Econômica do Instituto Fraser.
Conforme o mencionado anteriormente no capítulo, produzir indicadores de qualidade ainda é um desafio para o Brasil e, enquanto os indicadores internacionais podem oferece um amplo entendimento de como o Brasil está se desenvolvendo em áreas socioeconômicas, não ajudam a mensurar como as políticas do governo estão contribuindo para melhorar os resultados.
Com a definição dos Planos de Modernização do Ambiente de Negócios (PMAs), Memorandos de Entendimento (MoUs) são acordados com as autoridades responsáveis na esfera federal para as questões estipuladas no relatório Doing Business. Os MoUs pretendem registrar o compromisso para promover a modernização do ambiente de negócios por meio do emprego de todos os esforços necessários pelos signatários a fim de aumentar a posição do Brasil no ranking Doing Business. O documento define a responsabilidade compartilhada com gestores federais para os tópicos avaliados no relatório, o estabelecimento de metas e a configuração de monitoramento das ações e atividades necessárias para o sucesso do projeto.
As metas são definidas para cada um dos dez Grupos Temáticos de Ação (GTAs) monitorando a evolução dos planos. Para atingir as metas, dez ações foram definidas e as atividades correspondentes foram desenvolvidas. Por exemplo, a primeira ação “Abrir um negócio” possui oito atividades correspondentes, dentre as quais: criar uma única forma de abrir um negócio (‘balcão único’), uma linha de atendimento para abrir um negócio, etc.
O monitoramento da reforma do ambiente de negócios beneficiaria de marcos em médio prazo e indicadores de desempenho. O monitoramento dos PMAs é conduzido por meio de reuniões trimestrais, com a presença da alta administração das agências envolvidas (Secretarias Especiais, Diretor Geral da Agência Nacional de Energia Elétrica (ANEEL), Diretor do Banco Central, Presidente da Comissão de Valores Mobiliários (CVM) e Secretaria Especial de Modernização do Estado (SEME)), responsável por conduzir o monitoramento das ações e projetos que podem gerar um impacto nos temas do relatório Doing Business. São reuniões estruturadas com uma pauta de discussão bem definida. Na verdade, em cada reunião, as atas da reunião anterior são consultadas para verificar se os compromissos foram alcançados. Novos compromissos não são criados antes que os existentes sejam considerados. Não obstante, esses compromissos não estão refletidos em nenhum indicador específico, nem são parte de uma conversa informal (por meio de WhatsApp, Google Drive, etc.). Não há clareza sobre os dados de desempenho empregados para sustentar essas discussões e avaliar se os atuais esforços gerarão as expectativas e os resultados esperados e não há nenhum indicador de desempenho. Para obter maior clareza, no topo dos indicadores de resultado existentes, poderiam ser desenvolvidos indicadores de desempenho e marcos em médio prazo para melhorar tomada de decisão e prestação de contas (accountability).
Além disso, a informalidade das reuniões de monitoramento, de um lado, as torna mais recorrentes, mas, por outro lado, menos estruturadas e difíceis de institucionalizar. O Brasil se beneficiaria da criação de ciclos regulares de feedback e discussões estruturadas em torno do desenvolvimento de ações diferentes. Em particular, seria importante melhorar a sistematização e a padronização dos procedimentos, que confirma o diagnóstico delineado anteriormente neste capítulo.
Atualmente não há nenhum planejamento de avaliação no programa. Um processo de monitoramento mais estruturado suportará não apenas a implementação de projetos, mas também eventuais avaliações ou revisões para outras edições e comunicação com a sociedade. Não apenas essas práticas se complementam, mas a avaliação de políticas também desempenha um papel distinto no fornecimento de provas críveis para os diversos esforços de administração pública, tais como monitoramento ou orçamento de desempenho (OECD, 2020[4]). Conforme o anteriormente mencionado no capítulo, a criação do CMAP sinaliza a relevância de práticas de avaliação no Brasil e a reforma do ambiente de negócios não deve ser uma exceção.
Recomendações
Nos últimos anos, o Brasil implementou diversas iniciativas para fortalecer seu sistema de M&E. O sistema de avaliação no Brasil foi recentemente reestruturado com a introdução do CMAP em 2019. Essa mudança tem o potencial de melhorar o sistema de avaliação brasileiro, mas considerando o quão recente é, os resultados ainda serão vistos.
O sistema de monitoramento está principalmente ligado ao PPA, que representa uma ferramenta de planejamento relevante em médio prazo para organizar o trabalho dos ministérios em exercício. Não obstante, a concepção do PPA, em termos de prazo e estrutura, não permite a definição e o monitoramento de prioridades transversais de política do governo. Isso resultou no desenvolvimento de práticas de monitoramento alternativo, sistemas e órgãos, tanto na Casa Civil quanto no Ministério da Economia.
Todavia, todo o sistema de M&E permanece em estágio inicial de desenvolvimento. Ainda carece de institucionalização suficiente e os agentes mobilizados para as práticas de M&E nem sempre são bem coordenados. Além disso, as provas sugerem que os mecanismos para promover a qualidade e o uso dos resultados de M&E não são difundidos nem sistematicamente utilizados. Um desafio particular para o governo é o acesso a dados de qualidade e a ausência de uso do orçamento para avaliar a busca dos objetivos de planejamento estratégico por meio de indicadores de gastos em um sistema orçamentário com base no desempenho. O governo deve continuar seus esforços para institucionalizar os processos-chave, aumentar a coordenação e promover a qualidade e o uso de M&E.
Recomendações
Criar uma estrutura institucional sólida para monitorar e avaliar prioridades de política
Adotar uma definição abrangente de monitoramento e/ou avaliação para estabelecer um entendimento compartilhamento de seus objetivos e modalidades dentro do setor público, e a diferença entre eles.
Esclarecer, por exemplo, por meio de diretrizes, as diferentes configurações – incluindo os agentes envolvidos, prazos, metodologia e ferramentas para monitoramento, para cada objetivo buscado pelas atividades de monitoramento, tais como:
Monitorar as prioridades transversais de política no CdG: intimamente ligadas às responsabilidades-chave da Casa Civil.
Monitorar o uso dos recursos, a eficiência dos processos de administração interna ou os resultados de certa iniciativa de política, sob a responsabilidade do Ministério da Economia e ligados aos Planos Plurianuais (PPA).
A adoção de uma definição de avaliação poderia ser o resultado de um exercício coletivo dentro do Conselho de Monitoramento e Avaliação de Políticas Públicas (CMAP).
Definir claramente as incumbências e responsabilidades de monitoramento de desempenho de todo o governo no Brasil.
Isso inclui atribuir responsabilidades e evitar lacunas, sobreposições e melhorar a coordenação, especialmente entre a Subchefia de Articulação e Monitoramento (SAM), a Subchefia de Análise e Avaliação de Políticas Governamentais (SAG) e o Ministério da Economia acerca da coleta de dados, análise de dados, utilização dos dados, coordenação do processo de monitoramento, promoção do monitoramento por todo o governo, criação de capacidade e concepção das diretrizes de monitoramento. A revisão funcional recomendada nos Capítulos 1 e 2 deve ser utilizada também para essa finalidade.
Considerar o desenvolvimento progressivo de uma estrutura de gestão de desempenho (vide as recomendações nos Capítulos 1 e 2), que relaciona incentivos coletivos e individuais para o desempenho. Considerar progressivamente alinhar e/ou integrar os dados-chave do PPA e as informações de monitoramento nessa estrutura de desempenho. A Casa Civil poderia iniciar esse processo com alguns programas piloto.
Desenvolver e harmonizar as ferramentas de monitoramento e rotinas de trabalho dentro da Casa Civil.
Configurar um diálogo de desempenho para melhorar a tomada de decisão no CdG.
Centrar esse diálogo de desempenho em uma clara estrutura de desempenho, com objetivos orientados aos resultados e claro impacto (longo prazo), produção e indicadores de processo (vide os Capítulos 1 e 2).
Estabelecer um procedimento claro para discutir o desempenho com os ministérios em exercício (por exemplo, uma base bianual). Tomar medidas para garantir a presença de autoridades de alto nível nas reuniões.
Focar no diálogo de desempenho em políticas e programas que requerem coordenação interministerial e criam pontos focais em cada ministério e agência.
Desenvolver, com base na plataforma Governa, um dashboard para o diálogo de desempenho que integra informações sobre a implementação de prioridades de política e sua contribuição para o PPA, assim como estrutura de desempenho abrangente/plano em longo prazo. Proporcionar uma análise intuitiva e adequada a sua finalidade nos dashboards. Os dashboards devem incluir uma narrativa sobre o desempenho, interpretando e usando os resultados para entender as lacunas de implementação e propor ação corretiva de política de maneira que crie uma narrativa coerente e impactante. O governo do Brasil precisará filtrar dados relevantes e focará nas informações apresentadas nos gargalhos mais urgentes ou reformas com o maior impacto potencial. As mensagens-chave, conclusões e cursos de ação sugeridos devem acompanhar quaisquer dados não processados (ou seja, indicadores).
Elaborar claras diretrizes por escrito para o relatório, discussões e ações de acompanhamento a serem realizadas após reuniões de diálogo de desempenho. Isso inclui como conduzir revisões de desempenho, a pauta de sessões de revisão e como as decisões devem ser tomadas e acompanhadas.
Promover a qualidade de M&E
Fortalecer a robustez dos indicadores-chave nacionais (KNIs).
Atualizar e/ou validar os indicadores por meio de um processo de engajamento de partes interessadas, para criar propriedade e promover a prestação de contas (accountability).
Explicar claramente como cada objetivo estratégico da Estratégia Federal de Desenvolvimento 2020-2031 (EFD) está ligado aos KNIs.
Continuar a investir em uma interoperabilidade única de arquitetura de dados (em linha com as recomendações da Revisão de Governo Digital de 2018 da OECD). Isso poderia contribuir para a disponibilidade e qualidade dos dados e provas necessárias para os fins de planejamento (vide o Capítulo 2).
Desenvolver um conjunto de indicadores robustos para garantir o monitoramento das prioridades de política.
Cada indicador deve estar explicitamente ligado a, pelo menos. um KNI, para o desenvolvimento dessa cadeia causal entre prioridades de política e metas em longo prazo.
Diversificar o tipo de indicadores utilizados para medir a consecução de cada prioridade de política, a fim de capturar todos os aspectos centrais da política/programa (tais como, concepção, processo, contexto, indicadores de resultado).
Desenvolver, para cada indicador a ser utilizado dentro da Casa Civil, informações-chave de sustentação, incluindo bases e metas, para facilitar o M&E.
Avaliar a robustez dos indicadores em face do modelo RACER e substituir os indicadores que não cumprem esses critérios. O modelo RACER estabelece que todos os indicadores devem ser: relevante, aceitos, viáveis, fáceis, robustos.
Desenvolver mecanismos de garantia de qualidade para o sistema de monitoramento na Casa Civil para garantir a credibilidade e a relevância do processo de monitoramento.
Conceber diretrizes específicas para o monitoramento das prioridades de política a serem aplicadas em cada ministério em exercício para fortalecer a qualidade do processo de coleta de dados. Esclarecer os critérios para escalar os problemas no nível do ministério em exercício para o nível do CdG nessas diretrizes.
Valer-se de ferramentas e da experiência já desenvolvida para monitorar o PPA. O governo poderia considerar incluir o monitoramento das prioridades definidas pelo CdG na dinâmica do PPA e aproximá-lo da Casa Civil. A plataforma Governa e um painel público também poderiam ser operados pelo SIOP, o mesmo sistema utilizado na gestão do PPA e ainda no processo orçamentário.
Aumentar as capacidades para monitorar prioridades de política:
Desenvolver, ainda mais, as competências na Casa Civil, incluindo competências analíticas e competências de comunicação.
Dedicar recursos específicos para monitorar, para se ter uma massa crítica de efetivo e gestores tecnicamente treinados, e ferramentas apropriadas de TI.
Investir no desenvolvimento de capacidades analíticas de M&E dentro dos ministérios em exercício, em nível institucional, em vez de individual. Para essa finalidade:
Mapear as competências analíticas em cada ministério e por todo o governo, avaliar as necessidades e as oportunidades. Esse exercício exigiria estabelecer um entendimento compartilhado sobre quais implicam essas competências.
Elaborar uma estratégia de todo o governo para atrair e reter efetivo analíticos altamente qualificados, que podem incluir a criação de um registro analítico de M&E dentro da estrutura de serviço civil. Os graduados desse registro analítico seriam contratados centralmente e, então, distribuídos nas unidades analíticas dentro dos diversos ministérios. Esses analistas poderiam receber salários relativamente mais altos, ter trajetórias de carreira bem definidas e oportunidades de promoção, para aumentar a atratividade desse influxo professional.
Desenvolver mecanismos explícitos e sistemáticos de garantia de qualidade e controle dentro do CMAP para garantir a credibilidade do processo de avaliação, tais como:
Desenvolver competências de avaliação apropriadas:
Fortalecer (ou promover o desenvolvimento) das sociedades e redes de avaliação.
Desenvolver alianças estratégicas com redes de avaliação para promover o treinamento de autoridades públicas.
Mapear capacidades de avaliação por todo o governo e criar um quadro público e atualizado de examinadores.
Desenvolver capacidades para as avaliações de comissão por todo o governo.
Desenvolver procedimentos de controle de qualidade explícitos e sistemáticos para que as avaliações garantam que a concepção da avaliação, planejamento e relatório sejam apropriadamente conduzidas. Isso inclui implementar procedimentos para:
Conceber uma lista de autoavaliação para que os examinadores controlem a qualidade de seu trabalho.
Efetuar revisões por pares (processo e conteúdo) por peritos antes que sejam publicadas.
Conduzir meta-avaliações.
Promover o uso dos resultados de M&E
Fazer com que as instituições publiquem relatórios de monitoramento de modo intuitivo, nos níveis do governo e ministério.
Garantir que todos os relatórios de avaliação (produzidos por todos os ministérios, mas também por algumas partes externas, como associações comerciais, etc.) e descobertas estejam facilmente disponíveis para a Casa Civil e a outros órgãos do CdG.
Desenvolver um dashboard público para informar aos cidadãos e partes interessadas sobre o progresso feito pelo governo na implementação de prioridades de política e seu resultado esperado.
Produzir um plano de comunicação que inclua um progresso publicamente apresentando, uma vez por ano, o progresso do governo na implementação de suas prioridades de política (vide o Capítulo 5 sobre comunicação pública).
Elaborar uma estratégia de comunicação para adaptar a forma na qual as descobertas de pesquisa do CMAP são apresentadas a seus usuários em potencial, incluindo:
Desenvolver ainda mais o website do CMAP para torná-lo mais intuitivo. O website poderia incluir sumários executivos e números-chave para cada avaliação, que são especialmente úteis aos tomadores de decisão.
Sistematizar o uso de infográficos, sínteses personalizadas de provas de pesquisa, linguagem mais simples e disseminação visual por meio das mídias sociais.
Referências
[17] Brown, D., J. Kohli and S. Mignotte (2021), “Tools at the centre of government: Research and practitioners’ insight”.
[21] DG NEAR (2016), “Guidelines on linking planning/programming, monitorning and evaluation”.
[18] EC (2020), A Starting Guide on Creating KPIs and Measuring Success for PES, European Commission.
[31] Elmqvist, T. et al. (eds.) (2018), Urban Planet: Knowledge Towards Sustainable Cities, Cambridge University Press.
[36] Government of Brazil (2021), Executive report.
[20] Government of Scotland (2020), National Performance Framework.
[26] Guimaraes, D. (2020), “Antitrust in new regulatory proceedings”, in Gonçalves, P. and E. Farina (eds.), The Future of Antitrust, IBRAC/Editora Singular, Sao Paulo.
[14] HM Treasury (2011), Magenta Book: Central Government Guidance on Evaluation, HM Treasury, London, https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/879438/HMT_Magenta_Book.pdf.
[19] INTOSAI (2013), “White paper on key national indicators”, INTOSAI Working Group on Key National Indicators.
[23] Ipea (2018), Guia Prático de Análise Ex Ante.
[24] Ipea (2018), Guia Prático de Análise Ex Post.
[33] Irarrazaval, I. and B. Ríos (2014), “Monitoreo y Evaluación de políticas Públicas”, https://doi.org/10.13140/2.1.4072.2886.
[8] Lázaro, B. (2015), Comparative Study on the Institutionalisation of Evaluation in Europe and Latin America, Eurosocial Programme, http://sia.eurosocial-ii.eu/files/docs/1456851768-E_15_ENfin.pdf.
[5] McDavid, J. and L. Hawthorn (2006), Program Evaluation and Performance Measurement: An Introduction to Practice, Sage Publications, Inc.
[27] McGuire, M. and R. Zorzi (2005), “Evaluator competences and performance development”, Canadian Journal of Program Evaluation, Vol. 20/2, pp. 73-99.
[9] Ministerio da Economia (2020), Manual Técnico do PPA 2020-2023.
[34] Ministry of Planning of Colombia (2019), Guideline for the Construction of Evidence Gaps Maps: A Tool for Decision Making.
[29] OECD (2021), Mobilising Evidence at the Centre of Government in Lithuania: Strengthening Decision Making and Policy Evaluation for Long-term Development, OECD Public Governance Reviews, OECD Publishing, Paris, https://doi.org/10.1787/323e3500-en.
[1] OECD (2021), Monitoring and Evaluating the Strategic Plan of Nuevo León 2015-2030: Using Evidence to Achieve Sustainable Development, OECD Public Governance Reviews, OECD Publishing, Paris, https://doi.org/10.1787/8ba79961-en.
[28] OECD (2021), “The future of the public service: Preparing the workforce for change in a context of uncertainty”, in Public Employment and Management 2021: The Future of the Public Service, OECD Publishing, Paris, https://doi.org/10.1787/1a9499ff-en.
[11] OECD (2020), How Can Governments Leverage Policy Evaluation to Improve Evidence Informed Policy Making? Highlights from an OECD Comparative Study, OECD, Paris, https://www.oecd.org/gov/policy-evaluation-comparative-study-highlights.pdf.
[4] OECD (2020), Improving Governance with Policy Evaluation: Lessons From Country Experiences, OECD Public Governance Reviews, OECD Publishing, Paris, https://doi.org/10.1787/89b1577d-en.
[2] OECD (2019), Open Government in Biscay, OECD Public Governance Reviews, OECD Public Governance Reviews, OECD Publishing, Paris, https://doi.org/10.1787/e4e1a40c-en.
[6] OECD (2018), Centre Stage 2 - The Organisation and Functions of the Centre of Government in OECD Countries, OECD, Paris.
[16] OECD (2018), Digital Government Review of Brazil: Towards the Digital Transformation of the Public Sector, OECD Digital Government Studies, OECD Publishing, Paris, https://doi.org/10.1787/9789264307636-en.
[7] OECD (2018), “Survey on Policy Evaluation”, OECD, Paris.
[15] OECD (2017), Brazil’s Federal Court of Accounts: Insight and Foresight for Better Governance, OECD Public Governance Reviews, OECD Publishing, Paris, https://doi.org/10.1787/9789264279247-en.
[32] OECD/CAF/ECLAC (2018), Latin American Economic Outlook 2018:Rethinking Institutions for Development, OECD Publishing, Paris, https://doi.org/10.1787/leo-2018-en.
[12] Picciotto, S. (2007), “Constructing compliance: Game playing, tax law, and the regulatory state”, Law and Policy, Vol. 29/1, pp. 11-30, https://doi.org/10.1111/j.1467-9930.2007.00243.x.
[25] SEAE (2020), Guia de Análise de Impacto Regulatório.
[30] State of Jalisco (2020), Open Government Partnership.
[35] TCU (2013), “Avaliação do perfil e do índice de maturidade dos sistemas de avaliação de programas governamentais dos órgãos da administração direta do poder executivo federal”, Tribunal de Contas da União, http://portal.tcu.gov.br/lumis/portal/file/fileDownload.jsp?inline=1&fileId=8A8182A14D92792C014D92800B323307.
[22] TCU (2010), Performance Audit Manual, Tribunal de Contas da União, Brazil.
[10] US Government (n.d.), Performance.gov, General Services Administration/Office of Management and Budget, https://www.performance.gov/ (accessed on 12 May 2022).
[3] Vági, P. and E. Rimkute (2018), “Toolkit for the preparation, implementation, monitoring, reporting and evaluation of public administration reform and sector strategies: Guidance for SIGMA partners”, SIGMA Papers, No. 57, OECD Publishing, Paris, https://doi.org/10.1787/37e212e6-en.
[13] Van Ooijen, C., B. Ubaldi and B. Welby (2019), “A data-driven public sector: Enabling the strategic use of data for productive, inclusive and trustworthy governance”, OECD Working Papers on Public Governance, No. 33, OECD Publishing, Paris, https://doi.org/10.1787/09ab162c-en.
Observações
← 1. Vide http://dados.gov.br/dataset/plano-plurianual-2016-2019-programacao-qualitativa e http://dados.gov.br/dataset/plano-plurianual-2016-2019-avaliacao.
← 3. O Livro Magenta apresenta uma orientação sobre a avaliação no governo do Reino Unido: seu escopo, formulação, condução, utilização e disseminação, assim como as capacidades exigidas dos avaliadores do governo.
← 5. Vide https://www.gov.br/economia/pt-br/acesso-a-informacao/participacao-social/conselhos-e-orgaos-colegiados/cmap.
← 6. Idem.