O presente capítulo se inicia com observações a respeito da aplicação da avaliação de risco na seleção de auditorias em geral e a necessidade de sólidas evidências para tanto. Em seguida, trata-se da situação no Brasil e na educação, descrevendo a complexidade das auditorias de políticas públicas descentralizadas. O capítulo evidencia a riqueza dos dados educacionais de alta qualidade disponíveis no Brasil, e mostra como um modelo lógico pode ser aplicado ao setor na seleção de indicadores significativos visando a identificação de potenciais problemas na implementação de políticas públicas. Os cenários de risco são então descritos, assim como sua aplicação em um processo de seis etapas de seleção de auditoria baseado em risco. O capítulo conclui observando como a tecnologia da informação pode ser uma ferramenta útil no suporte à seleção de auditorias no Brasil.
Auditoria de Políticas Públicas Descentralizadas no Brasil
2. Rumo à seleção de auditorias baseada em evidências em setores de políticas públicas descentralizadas no Brasil
Abstract
Introdução
O universo de auditoria, ou seja, o número de entidades e tópicos auditáveis, das entidades fiscalizadoras superiores (EFS) é extenso. Este universo é composto por diferentes setores de políticas públicas, todos com diferentes objetivos políticos, e uma infinidade de entidades e procedimentos. Em relação às políticas públicas descentralizadas, os diferentes aspectos de governança multinível da execução das políticas, em alguns casos combinados com um sistema descentralizado de auditoria externa, aumentam a complexidade, conforme discutido no Capítulo 1.
INTOSAI-P - 20 - Princípios de Transparência e Responsabilidade - prevê que "as EFSs devem adotar normas, processos e métodos de auditoria objetivos e transparentes" (INTOSAI, 2019[1]). Além do trabalho de auditoria propriamente dito, esta exigência pode ser estendida à fase de seleção da auditoria. Quando há uma seleção colaborativa de auditorias por vários órgãos de auditoria, uma abordagem uniforme baseada em risco é útil para garantir objetividade e – ao mesmo tempo – simplificar o complexo ambiente no qual a seleção ocorre. Uma abordagem comum adotada pelos diversos órgãos de auditoria também pode auxiliar o desenvolvimento de uma linguagem compartilhada que facilita a comunicação, a transparência e o aprendizado entre os diferentes atores do sistema de auditoria.
Levar em conta as variações regionais das condições socioeconômicas e os resultados das políticas públicas é extremamente importante na seleção de auditorias nos setores de políticas públicas descentralizadas. Quando disponíveis, os dados e evidências em nível local podem fornecer informações sobre as diferenças entre as regiões. Como instituições de auditoria, os Tribunais de Contas do Estado (TCEs) e os Tribunais de Contas dos Municípios (TCMs) no Brasil estão em excelente posição para coletar e analisar sistematicamente as evidências que podem esclarecer as disparidades no desempenho das políticas regionais, ajudar a identificar riscos e, em última instância, levar a uma melhor seleção das auditorias. Para que seu trabalho seja eficaz, porém, é fundamental a colaboração sistemática e estratégica entre os tribunais de contas, incluindo o Tribunal de Contas da União, na seleção de auditorias nos setores de políticas públicas descentralizadas.
Uma abordagem baseada em riscos para a seleção de auditoria
A avaliação de riscos auxilia a aplicação dos recursos nos principais pontos de interesse
O processo de seleção de auditoria é uma forma de restringir o universo auditável de forma estruturada, a fim de selecionar auditorias que terão o maior impacto, dentro da capacidade existente. "Ter impacto" refere-se à capacidade das auditorias de melhorarem significativamente a condução dos programas governamentais, por exemplo, a partir da redução de custos e simplificação da gestão, melhorando a qualidade e o volume dos serviços, ou melhorando sua eficácia ou os benefícios para a sociedade (INTOSAI, 2016[2]).
A seleção de auditoria pode ser implementada por meio de um processo robusto, baseado em risco, que considera questões de interesse fundamentais para a sociedade, bem como sua materialidade (OCDE, 2016[3]). As normas internacionais de seleção de auditorias envolvem, de uma ou outra forma, algum tipo de avaliação de risco ou de problema (ver Quadro 2.1).
Quadro 2.1. Normas internacionais de seleção de auditoria de desempenho
Requisitos para a seleção de auditoria de acordo com a ISSAI 3000
"O auditor deverá selecionar tópicos de auditoria através do processo de planejamento estratégico da EFS, analisando tópicos potenciais e conduzindo pesquisas para identificar riscos e problemas" (ISSAI -3000/89).
"O auditor deverá selecionar tópicos que sejam significativos e auditáveis, e consistentes com o mandato da EFS" (ISSAI -3000/90).
"O auditor deverá conduzir o processo de seleção de tópicos de auditoria com o objetivo de maximizar o impacto esperado da auditoria, levando em consideração as capacidades da auditoria" (ISSAI - 3000/91).
Orientação sobre seleção de auditoria, ISSAI - GUID - 3920: Avaliação de potenciais tópicos de auditoria em termos de riscos, materialidade e problemas identificados
"A seleção de tópicos de auditoria pode resultar da avaliação de risco, análise de problemas e consideração da materialidade. Riscos devem considerar a probabilidade e o impacto de um evento com potencial para afetar a realização dos objetivos de uma organização".
A materialidade está relacionada não apenas aos aspectos financeiros, mas também aos sociais e/ou políticos, como, por exemplo, o número de pessoas afetadas por uma lei ou reforma, a transparência e a boa governança.
"Na auditoria de desempenho, os riscos podem envolver áreas de desempenho potencialmente baixo que preocupam os cidadãos ou que terão um grande impacto sobre grupos específicos de cidadãos. Um acúmulo de tais indicadores ou fatores ligados a uma entidade ou a um programa governamental pode ser um importante sinal para o auditor, levando-o a planejar auditorias com base nos riscos ou problemas detectados".
A análise de tópicos potenciais deve considerar a maximização do impacto esperado de uma auditoria".
Fonte: (INTOSAI, 2019[4]; INTOSAI, 2016[2]).
A seleção de auditoria baseada em risco permite direcionar a capacidade da auditoria e os esforços para áreas de risco, otimizando assim a alocação de recursos e abordando as principais questões. Para entidades de auditoria com recursos limitados, a abordagem baseada em risco é altamente valiosa para alcançar o maior impacto. Um mapa de risco com riscos identificados e classificações de risco pode fornecer uma boa visão geral dos riscos no universo de auditoria e assim facilitar a seleção de auditorias (OCDE, 2018[5]) (ver Quadro 2.2 para mais definições).
Quadro 2.2. Risco e avaliação de risco
O conceito de risco
Risco é um efeito de incerteza sobre os objetivos. Um efeito é um desvio em relação ao esperado. O desvio pode ser positivo, negativo ou ambos, e pode resultar em oportunidades e ameaças.
Um risco é formulado como um evento que pode acontecer (probabilidade) e suas consequências (impacto).
Avaliação de risco
De acordo com as Diretrizes de Gerenciamento de Risco da ISO, a avaliação de risco é um processo de três etapas que começa com a identificação do risco e é seguido pela análise de risco, que envolve o desenvolvimento de uma compreensão de cada risco, a probabilidade da ocorrência desses riscos e a gravidade do mesmo. A terceira etapa é a avaliação de risco, que inclui a priorização de cada risco.
A avaliação de risco pode ser qualitativa e descritiva, como um relatório, ou quantitativa, como a análise de dados com valores numéricos para a probabilidade e o impacto do risco. A maneira pela qual os riscos são avaliados e a forma do resultado deve ser compatível com os critérios de risco definidos pela entidade. Há diversas técnicas de análise de risco que podem ser aplicadas, tais como as descritas no Gestão de risco do IEC/ISO: Técnicas de avaliação de risco:
análise bow-tie
análise de risco e pontos críticos de controle (para avaliação dos riscos à saúde)
pontos fortes-pontos fracos- análise de oportunidades e ameaças (Strengths-Weaknesses-Opportunities-and-Threat analyses, SWOT)
modos de falha e análise de efeitos (failure modes and effects analysis, FMEA)
estudos de risco e operabilidade (hazard and operability, HAZOP) que envolvem a identificação de potenciais desvios da intenção do projeto
análise de cenários
técnica estrutura do "e se" (structured what if technique, SWIFT)
camadas de análise de proteção (layers of protection analysis, LOPA) que avaliam se um risco está controlado em um nível aceitável.
Todas essas técnicas de avaliação de risco envolvem os princípios básicos de identificação, análise e avaliação de risco.
Fonte: (OCDE, 2018[5]; ISO, 2018[6]; IEC/ISO, 2009[7]).
Uma sólida avaliação de risco requer evidências sólidas
As EFSs geralmente aplicam algum tipo de avaliação de risco ou problema para orientar o processo de seleção da auditoria, aproveitando seu conhecimento acumulado. A avaliação é geralmente baseada no conhecimento de campo do auditor e em seu julgamento profissional. Como resultado, haverá certos elementos subjetivos envolvidos na seleção (Put and Turksema, 2011[8]). A objetividade é um dos valores éticos centrais das EFSs e um dos princípios fundamentais da auditoria profissional (INTOSAI, 2016[9]). As EFSs devem reduzir a subjetividade do processo de seleção da auditoria a fim de selecionar os tópicos que maximizem seu impacto para os cidadãos e mantenham a confiança da sociedade.
Ao explicar às partes interessadas porquê e como os tópicos de auditoria foram selecionados, as EFS emitem sinais de accountability e responsabilidade. Para tanto, um processo de identificação de risco bem documentado e repetível, cuja interpretação tenha sido validada e que não seja dependente do auditor individual, pode ser especialmente útil. As EFSs também poderiam tentar aumentar a objetividade da análise de risco realizada para a seleção da auditoria ao tornar sua seleção baseada em evidências. Tal processo pode incluir o uso de informações quantitativas e qualitativas para auxiliar a identificação de quais programas ou entidades auditáveis representam o maior risco para a realização dos objetivos (ver Quadro 2.3 para as abordagens de seleção de auditoria no Canadá).
Quadro 2.3. Exemplo de utilização de evidências na seleção de auditoria: O caso do Canadá
O Escritório do Auditor-Geral (OAG) - a EFS no Canadá - é responsável pela auditoria de uma vasta gama de atividades conduzidas pelo governo federal e pelos três territórios canadenses. Essas atividades abrangem temas como saúde, cultura, meio ambiente, finanças, agricultura, transporte e pesquisa científica.
Para auxiliar na determinação dos setores a serem auditadas, a OAG realiza uma análise chamada de "processo de planejamento estratégico de auditoria", composto por três aspectos. Primeiramente, analisam-se os relatórios e planos de desempenho da entidade, levando-se em conta análises de risco, estratégias de desenvolvimento sustentável e as principais auditorias internas e avaliações de programas, assim como relatórios legislativos e outros relatórios. Outro aspecto é a realização de entrevistas com a administração da entidade auditável, as principais partes interessadas externas, especialistas não-governamentais e funcionários da entidade para entender o que estes consideram ser as áreas de maior risco. Por fim, a OAG adota uma abordagem estratégica e baseada em risco para selecionar tópicos de auditoria de desempenho.
Os planos estratégicos de auditoria, incluindo os tópicos de auditoria propostos, são discutidos com o Auditor Geral e o Comitê de Supervisão da Prática de Auditoria de Desempenho, o órgão responsável, em última instância, pela aprovação de um cronograma de auditoria de desempenho de dois anos. O plano é reavaliado a cada ano para garantir que as auditorias sejam devidamente planejadas.
As informações geralmente necessárias para validar um plano estratégico de auditoria ou identificar novos riscos e áreas de auditoria podem incluir, conforme necessário:
revisão de reportagens da mídia
discussões com especialistas internos
revisão dos relatórios de auditoria interna
reuniões com os principais executivos
entrevistas com os membros do comitê de auditoria do respectivo departamento
revisão dos sistemas de rastreamento das entidades auditáveis, para avaliar se as recomendações de auditoria, e os compromissos das entidades foram devidamente implementados
revisão das atas e relatórios do comitê legislativo
revisão dos relatórios de auditoria relevantes de outras jurisdições (nacional e internacional)
participação em conferências relevantes
visitas ao local.
No GUID 3920 da ISSAI encontram-se orientações, incluindo a previsão de que "Na auditoria de desempenho, os riscos podem envolver áreas de potencial mau desempenho que preocupam os cidadãos ou tenham um grande impacto sobre grupos específicos de cidadãos". Ao considerar as áreas que poderiam ter um baixo desempenho, o escopo dos riscos é substancialmente reduzido e o direcionamento de áreas de alto risco para auditoria se torna gerenciável. Dados que podem fornecer evidências para a identificação desses riscos de desempenho são frequentemente coletados pelo governo e disponibilizados como indicadores a serem usados para monitorar o progresso em direção aos objetivos da política. O processo de seleção de auditoria baseado em evidências produziria, em última instância, um quadro consolidado e objetivo dos principais resultados de riscos para políticas descentralizadas, orientando os auditores externos na seleção e alinhamento de auditorias.
Seleção de auditoria baseada em risco é uma prática crescente no Brasil
A OCDE realizou uma pesquisa com os tribunais de contas brasileiros (TCs) a fim de coletar informações sobre os processos de seleção de auditoria e 28 respostas foram recebidos. Os insumos mais comuns relatados por parte dos TCs para informar seu processo de seleção de auditorias são leis e regulamentos que especificam o que os TCs devem auditar e a frequência dessas auditorias. O segundo fator mais comum considerado é o orçamento interno, bem como os recursos dos auditados, o que pode refletir a adoção de processos de seleção de auditoria baseados em risco, focado em insumos, em vez de em produtos ou resultados.
Como "indicadores de materialidade”, alguns TCs também consideram em seus processos as informações sobre a porcentagem das despesas de um auditado em relação ao orçamento do município ou do estado, ou em relação às maiores despesas do município ou do estado. ". Apenas 10 dos 28 TCs respondentes relatam utilizarem relatórios de auditoria ou resultados de outros TCs para informar a seleção da auditoria, indicando um nível limitado de colaboração ou compartilhamento de conhecimentos entre os TCs ao selecionarem auditorias.
Figura 2.1. Principais insumos utilizados para informar a seleção de auditorias dos Tribunais de Contas brasileiros
Nota: N=28. Mais de uma escolha permitida por respondente; nesta pergunta, "planejamento de auditorias" refere-se ao processo de seleção de auditoria, diferenciando-se do planejamento de auditorias individuais.
Fonte: Pesquisa da OCDE (2020).
Diversos TCs aplicam indicadores externos ao longo do ciclo de auditoria (inclusive para a seleção da auditoria), tais como o Índice de Efetividade da Gestão Municipal, o Índice de Desenvolvimento Humano e informações demográficas. Alguns TCs também consideram informações como o número de irregularidades encontradas em relatórios de auditoria anteriores, e a avaliação do controle interno dos auditados.
A maioria dos TCs no Brasil tem uma política escrita para priorizar e selecionar auditorias com base na avaliação de riscos (ver Figura 2.2), mas alguns TCs não aplicam essa política regularmente. Alguns dos fatores que os impedem de aplicar regularmente a política incluem:
obstáculos institucionais e internos (por exemplo, organização interna que impede a aplicação da política nos níveis estadual e municipal; falta de um sistema de avaliação de risco, recursos limitados)
pressão externa (como mídia, população, legislatura, outros órgãos de controle), que pode prevalecer sobre a política
questões relacionadas à política em si (por exemplo, política defasada, aplicabilidade limitada, qualidade da política).
Figura 2.2. Política de seleção de auditoria baseada em risco no Brasil
Nota: N=29.
Fonte: Pesquisa da OCDE (2020).
Alguns TCs também mantêm um registro de riscos para rastrear os riscos relacionados a auditorias ou outros riscos relacionados a políticas em setores específicos. Por exemplo, o TCE-Rio Grande do Norte utiliza software desenvolvido pelo Ministério do Planejamento para apoiar o monitoramento de riscos: o Sistema Ágatha -- Sistema de Gerenciamento de Integridade, Risco e Controles. As unidades de controle interno dos auditados são responsáveis por atualizar esta ferramenta com informações sobre os auditados, e o TC utiliza relatórios gerados pelo sistema para a programação de suas auditorias.
As abordagens dos TCs para a aplicação da análise de risco na seleção de auditorias variam consideravelmente. O uso de indicadores não é universal entre os TCs. Alguns aplicam métodos avançados, tais como análise de dados orçamentários, como descrito acima, e outros não fazem qualquer uso de indicadores. A coordenação e colaboração na seleção de auditorias ocorre de forma ad-hoc, quando ocorre, e são apenas prática dos TCs com capacidade para isso. O desenvolvimento de uma abordagem comum e compartilhada para a seleção de auditorias baseada em risco oferece uma oportunidade para os TCs, particularmente aqueles com pouca ou nenhuma experiência em coordenação ou avaliações de risco, para modernizarem suas práticas no sentido de um maior alinhamento com os padrões internacionais. Uma abordagem harmonizada da seleção de auditoria baseada em risco, com base em um melhor intercâmbio de ideias e evidências, pode levar a uma auditoria mais coerente e orientada para resultados das políticas públicas descentralizadas. Cada setor de política governamental tem seu próprio contexto e conjunto de desafios. Para estreitar o escopo, os TCs decidiram experimentar novas abordagens para a seleção e coordenação de auditorias baseadas em risco no campo da educação.
Educação: Um setor chave de política pública descentralizada no Brasil
A educação representa um campo crítico de políticas públicas e uma área na qual a elaboração e implementação de políticas são descentralizadas – em maior ou menor grau – em quase todos os países da OCDE e parceiros. Uma educação acessível e de alta qualidade prepara os cidadãos para a vida em sociedades com um nível cada vez maior de conhecimento e, ao fazê-lo, apoia a igualdade de oportunidades e a equidade social (OCDE, 2018[11]). Em muitos países, a responsabilidade pela educação é compartilhada entre governos centrais, estaduais ou regionais – que normalmente desempenham um papel na formulação de políticas educacionais, coordenação e financiamento – e autoridades municipais e escolas individuais – que organizam e prestam serviços educacionais locais aos cidadãos.
A educação é um dos setores mais importantes de política pública descentralizada no Brasil. Sucessivos governos brasileiros adotaram estratégias nacionais ambiciosas – e comprometeram recursos públicos substanciais – para melhorar a acessibilidade e a qualidade da educação em todo o país. Na última década, o gasto público total com educação, desde a educação infantil até o ensino médio, não-superior, subiu para 4% do produto interno bruto (PIB) (OCDE, 2019[12]). O Brasil é, portanto, um dos países membros e parceiros da OCDE que mais gasta em educação em termos de proporção da riqueza nacional1, embora o PIB per capita comparativamente baixo do país comparado à população jovem indique gastos comparativamente baixos por estudante. Os gastos com educação representam mais de 10% dos gastos públicos totais no Brasil (OCDE, 2019[12]) e mais de 20% dos gastos dos governos subnacionais (OCDE/UCLG, 2019[13]). O foco estratégico do governo federal na educação está refletido no Plano Nacional de Educação (PNE), adotado em 2014, que estabelece metas educacionais específicas para o período até 2024 (Government of Brazil, 2014[14]).
Dados os consideráveis desafios que o Brasil continua a enfrentar no campo da educação, a necessidade de avaliações cuidadosas das políticas públicas e da prática na educação é premente. O país proporcionou grandes avanços na última década no aumento do acesso à educação de seus cidadãos. Por exemplo, a proporção de crianças de 3 a 5 anos matriculadas na educação e cuidados na primeira infância aumentou de 60% em 2012 para 84% em 2017 e agora está próxima da média de 87% da OCDE (OCDE, 2019[12]). As taxas de matrícula no ensino médio também aumentaram notavelmente. Entretanto, persistem grandes preocupações sobre a capacidade do sistema escolar público de oferecer educação de alta qualidade de forma consistente em todo o país. Os salários dos professores permanecem baixos em comparação com os ganhos de outros graduados do ensino superior, tornando mais difícil atrair pessoas talentosas para a profissão (OCDE, 2019[12]). Além disso, estudantes de 15 anos de idade no Brasil continuaram a pontuar bem abaixo da média da OCDE em leitura, matemática e ciências nos últimos resultados (2018) do Programa da OCDE para Avaliação Internacional de Estudantes (Programme for International Student Assessment, PISA). Apenas 2% dos estudantes tiveram os mais altos níveis de proficiência (nível 5 ou 6) em pelo menos uma disciplina (média da OCDE: 16%), e 43% dos estudantes tiveram notas abaixo do nível mínimo de proficiência (nível 2) nas três disciplinas (média da OCDE: 13%) (OCDE, 2019[15]).
A responsabilidade pela provisão e supervisão de creches públicas e educação básica2 é compartilhada dentro do sistema federal de governança multinível do país. Enquanto a responsabilidade de prover direção estratégica e uma porcentagem3 do financiamento público cabe ao governo federal, a responsabilidade constitucional de prover educação e cuidado infantil na primeira infância , a educação primária e secundária cabe principalmente aos estados e municípios (ensino fundamental 1 e 2). Além disso, os estados e municípios podem estabelecer seus próprios objetivos e estratégias políticas para a educação. Contudo, o Brasil carece de inspetorias escolares externas para a educação básica, prática adotada em muitos países da OCDE. Esta lacuna de supervisão destaca o papel crítico que os TCs desempenham, e podem melhorar, para avaliar o progresso do país em direção às metas das políticas nacionais de educação.
A educação é um setor de políticas públicas complexo para os TCs monitorarem e auditarem
Apesar da realização de auditorias de desempenho para avaliar os produtos e os resultados de políticas públicas ser um desafio, independentemente do setor auditado, o desafio é ainda maior com a educação. A multiplicidade e diversidade de atores governamentais envolvidos na prestação de serviços educacionais aos cidadãos no Brasil exacerbam este desafio para os TCs. Como mostrado na Tabela 2.1, os 5.570 municípios no Brasil são responsáveis por fornecer serviços de creche, educação pré-escolar e ensino fundamental 1 (anos iniciais de educação fundamental) à maioria das crianças matriculadas nestes níveis de educação. Ao mesmo tempo, os municípios variam drasticamente em tamanho, organização interna, recursos e capacidade administrativa. No ensino fundamental 2 (últimos anos do ensino fundamental), a matrícula nas escolas públicas é distribuída igualmente entre as redes escolares municipais e estaduais, que operam com coordenação limitada entre elas – acrescentando outra dimensão de complexidade.
Tabela 2.1. Matrícula por nível de instrução e tipo de escola (categoria administrativa) em 2019
Fonte: INEP Sinopse Estatística da Educação Básica - 2019 (INEP, 2019[16]).
Neste cenário, a responsabilidade por auditar o uso dos recursos públicos na educação – e por avaliação o grau de realização dos objetivos das políticas públicas – é compartilhada entre o TCU e os Tribunais de Contas Estaduais e Municipais em cada entidade federal. O grau em que os diferentes TCs realizam ativamente auditorias no campo da educação depende, em parte, de suas prioridades e capacidades internas. A multiplicidade de atores envolvidos na tomada de decisões, na entrega de políticas e na supervisão pode dificultar ainda mais a identificação dos riscos e da raiz de suas causas.
Em relação às políticas de saúde, a mensuração dos resultados de pacientes é, em geral, atividade de baixa controvérsia, e muitos aspectos da prática médica têm padrões internacionalmente reconhecidos de melhores práticas. O mesmo não pode ser dito da medição dos resultados de aprendizagem de estudantes. Não há um conjunto rígido de padrões de prática de ensino e aprendizagem. Por esta razão, muitos modelos de garantia de qualidade na educação dependem principalmente de avaliações qualitativas das atividades e do desempenho escolar. No entanto, os formuladores de políticas no Brasil e no mundo utilizam rotineiramente uma série de indicadores quantitativos para avaliar o desempenho dos sistemas escolares pelos quais são responsáveis.
O Brasil tem dados de alta qualidade sobre educação
O Brasil possui um sistema nacional bem estabelecido para coletar dados harmonizados sobre aspectos-chave do sistema educacional. O Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), órgão sob a responsabilidade do Ministério da Educação (MEC), coleta dados sobre matrículas de estudantes, docentes e sobre outras variáveis escolares em seu "censo escolar" (INEP, 2019[17]). Os dados estão disponíveis de forma agregadas para as redes de escolas municipais e estaduais de cada município, e há ainda microdados de cada escola pública.
Além disso, o Brasil possui um sistema altamente desenvolvido para avaliar os resultados de aprendizagem dos alunos das escolas através do Sistema de Avaliação da Educação Básica, SAEB, também coordenado pelo INEP. Como parte do SAEB, o INEP projeta e supervisiona a implementação de testes nacionais padronizados dos alunos em três pontos de seu percurso educacional: nos últimos anos do ensino fundamental 1, ensino fundamental 2 e ensino médio4. As avaliações do SAEB (conhecidas como Prova Brasil) em cada nível avaliam a competência dos alunos em português e matemática. Além dos resultados dos testes de aprendizagem, as avaliações SAEB também geram informações contextuais sobre alunos e escolas, coletadas através de questionários realizados ao mesmo tempo que os próprios testes. Os dados para os resultados do SAEB são publicados para cada município e microdados são utilizados pelo INEP e pesquisadores externos para analisar os resultados educacionais.
Devido, em grande parte, ao seu papel de agência de estatística e avaliação para a educação, o INEP também foi encarregado de desenvolver indicadores para monitorar o progresso em direção ao cumprimento das metas do Plano Nacional de Educação (PNE) do país e de realizar exercícios regulares de monitoramento do progresso (INEP, 2018[18]). Os indicadores utilizados pelo INEP para monitorar o PNE são o conjunto mais completo de indicadores nacionais de desempenho educacional no Brasil.
Os TCs podem usar esses dados para desenvolver uma metodologia de seleção de auditoria baseada em risco compartilhado
Esta riqueza de dados estatísticos sobre educação no Brasil fornece uma base sólida para obter uma ampla visão das características gerais e de certos aspectos do desempenho da educação básica no Brasil. Os dados nacionais existentes sobre o sistema educacional poderiam ser explorados para identificar pontos fortes e fracos no desempenho da política educacional no Brasil e para informar o planejamento, seleção e implementação de auditorias na área. Atualmente, no entanto, os dados disponíveis não são utilizados sistematicamente para este fim na comunidade de auditoria externa do país.
Como recomendado no Capítulo 1, os TCs estão em posição de alavancar a capacidade de auditoria de cada órgão de auditoria externa individual e coletivamente, compartilhando insights e analisando indicadores para adotar uma abordagem mais estratégica e sistemática na seleção de auditorias. Para isso, os TCs podem desenvolver uma metodologia comum de avaliação de risco estruturada em torno das ricas fontes de dados no Brasil e um modelo lógico que considera os resultados das políticas, conforme descrito abaixo. Esta avaliação pode ajudar os TCs a desenvolverem uma linguagem harmonizada e a mapear os riscos relacionados às metas políticas compartilhadas e às prioridades nacionais no campo da educação (ou seja, o PNE), ao mesmo tempo considerando o contexto e o mandato de cada tribunal de contas. À medida que o processo se desenvolve, os TCs poderiam também considerar a aplicação da metodologia a outros setores de políticas públicas que apresentem desafios similares de contexto descentralizado, como saúde e infraestrutura.
Desenvolvendo modelos lógicos para identificação dos principais fatores de uma política
Como discutido na seção anterior, a consideração de indicadores individuais dentro de uma compreensão conceitual mais ampla do processo educacional é um pré-requisito para garantir o melhor uso dos dados existentes na identificação de potenciais problemas na implementação de políticas públicas. Esta compreensão mais ampla pode ser apoiada por um modelo lógico contendo as relações entre insumos, processos, produtos e resultados.
Na elaboração e avaliação de políticas públicas, modelos lógicos embasam a teoria de como uma determinada política de intervenção age para produzir resultados. Assim, modelos lógicos são utilizados no planejamento e na elaboração de políticas para identificar intervenções relevantes e avaliar sua provável eficácia, e no monitoramento e avaliação de políticas como ferramentas para ajudar a entender porque as políticas alcançam ou não alcançam os resultados pretendidos.
Os três E's de economia, eficácia e eficiência são centrais para a auditoria de desempenho. O uso de um modelo lógico pode ajudar a equipe de auditoria a orientar a auditoria a um ou mais dos três E's. O modelo ajuda a identificar e estabelecer a relação entre as necessidades a serem atendidas pela política de intervenção e seus objetivos, insumos, processos, produtos e resultados, que incluem resultados e impactos (INTOSAI, 2016[19]) (European Court of Auditors, 2017[20]).
Quadro 2.4. Modelos lógicos
Uma ferramenta para entender políticas públicas
Há muitas maneiras diferentes de estruturar modelos lógicos, mas, conforme ilustrado na Figura 2.3, em geral, busca-se mapear e explicar as ligações entre os seguintes elementos-chave, que podem, em teoria, ser ligados a indicadores:
Os insumos destinados à política, programa ou projeto. Geralmente insumos compreendem os recursos financeiros, humanos e físicos (edifícios, equipamentos etc.) alocados para a implementação da política em questão, embora algumas abordagens de modelos lógicos incluam uma ampla gama de fatores contextuais relacionados ao ambiente, nos quais a política é implementada sob o título de "insumos".
Os processos ou atividades empreendidas na entrega ou implementação da política, programa ou projeto.
Os produtos dos processos e atividades empreendidos (por exemplo, extensão da rodovia construída, volume de águas residuais tratadas, número de pacientes que recebem assistência médica, número de crianças que se formam na escola).
Os resultados que a política, programa ou projeto procura alcançar (por exemplo, melhor acessibilidade de determinadas regiões; rios mais limpos; uma população mais saudável; ou uma população qualificada e engajada socialmente). Os resultados pretendidos de uma determinada política, programa ou projeto podem ser formulados como objetivos políticos. As avaliações de políticas geralmente procuram comparar os resultados pretendidos (objetivos) com os resultados observados no local.
Figura 2.3. Modelo lógico genérico
Os modelos lógicos são uma ferramenta valiosa para conceituar e compreender as prováveis relações causais entre a forma como as políticas são projetadas e seus resultados, e podem auxiliar a elaboração de políticas públicas baseadas em produtos ou resultados. No entanto, tais modelos têm suas limitações. Primeiro, há um risco de simplificação excessiva, pois os modelos lógicos criam um quadro linear de causa e efeito entre uma intervenção e os resultados, quando na verdade uma ampla gama de fatores exógenos, previsíveis e imprevisíveis, pode influenciar os resultados alcançados na prática. Além disso, as linhas de causalidade entre ação e resultado são frequentemente complexas e impossíveis de prever ou provar com absoluta certeza. Da mesma forma, nem sempre é fácil incorporar fatores contextuais – tais como o contexto econômico, social, cultural ou geográfico no qual uma política é implementada – ao modelo lógico de maneira satisfatória. Isto às vezes é tratado incorporando o "contexto" como um elemento específico nos modelos (ETS/OCDE, 2019[21]; Onderwijsinspectie, 2019[22]). Por fim, pode haver uma falta de clareza conceitual e consenso sobre como classificar as variáveis em modelos lógicos. Por exemplo, nem sempre é claro como os beneficiários de serviços públicos ou intervenções políticas direcionadas (usuários, estudantes, pacientes, etc.) devem ser tratados em modelos que mapeiam os insumos, processos e resultados das políticas. Um paciente pode conceitualmente ser visto como um "insumo" no sistema de saúde (enquanto pacientes tratados são resultados), mas os indivíduos são claramente um tipo diferente de "insumo" comparado aos recursos financeiros e humanos utilizados para a gestão do sistema de saúde, que também são insumos. Estes tipos de questões precisam ser cuidadosamente avaliados quando da aplicação de modelos lógicos.
Um modelo lógico de educação
A OCDE desenvolveu um modelo lógico básico para as atividades educacionais que a política educacional procura conduzir. O objetivo é identificar os elementos-chave (insumos, processos, produtos e resultados) no processo educacional e ilustrar suposições básicas sobre as relações entre esses elementos, com base em uma ampla revisão da teoria educacional e da literatura de pesquisa relevante.
Figura 2.4. Um modelo lógico para o setor da educação
O modelo lógico mostrado na Figura 2.4 pode, em princípio, ser aplicado a qualquer nível de educação básica. Ele adota uma abordagem orientada para resultados e assume que o objetivo final da educação é equipar a população-alvo, estudantes, com um nível satisfatório de conhecimento, habilidades e atitudes (resultados da aprendizagem). Os produtos estão implícitos nos resultados do modelo lógico. Os insumos e processos levam estudantes a receber a educação (produto), a partir da qual adquiriram conhecimento e habilidades (resultados da aprendizagem), que são relevantes na vida cotidiana/trabalho (resultado). Esta abordagem está alinhada com a abordagem de políticas públicas e práticas educacionais centradas no estudante, utilizada nas avaliações internacionais de aprendizagem como o PISA (ETS/OCDE, 2019[21]) e nos sistemas nacionais de avaliação educacional, incluindo o sistema no Brasil (INEP, 2019[23]). Estes sistemas de avaliação buscam medir os resultados de aprendizagem dos estudantes de forma objetiva. Embora a avaliação de crianças pequenas na pré-escola e no ensino básico seja teoricamente possível, tais avaliações em tal idade são raras nos países da OCDE. Como resultado, medidas mais indiretas de "resultados" precisam ser usadas para medir a eficácia das políticas educacionais neste nível.
Para a educação e cuidados na primeira infância e educação básica, a "população alvo" de estudantes engloba todas as crianças das coortes etárias relevantes na jurisdição em questão. O resultado pretendido da política educacional para esses níveis de educação é, portanto, que todas as crianças adquiram um nível satisfatório de resultados de aprendizagem. O acesso ao ensino fundamental 1 e 2 tem sido universal na maioria dos países da OCDE há várias décadas, embora avaliações internacionais como o PISA mostrem uma variação considerável nos resultados de aprendizado alcançados pelos estudantes. Os governos de muitos países da OCDE também têm como objetivo "universalizar" a educação e os cuidados na primeira infância e no ensino fundamental 2, embora as taxas de participação continuem a variar entre os países membros e parceiros da OCDE. A medição dos resultados educacionais em diferentes níveis de educação e em diferentes jurisdições deve levar em conta a proporção da população alvo que é realmente alcançada pelo sistema educacional (a "cobertura" do sistema). Informações sobre os "produtos" educacionais, tais como taxas de matrícula e conclusão para as coortes de idade alvo, devem ser consideradas juntamente com quaisquer medidas disponíveis de resultados de aprendizagem dos estudantes.
O modelo lógico pressupõe que os resultados alcançados pelo sistema educacional (tanto em termos de cobertura quanto de aprendizagem) são alcançados através da interação entre alunos e professores no ambiente escolar. As escolas (e, notadamente, seus professores) e os alunos estão no centro do processo educacional. Uma ampla gama de fatores contextuais influencia as características e o comportamento de todos os três grupos. Estes fatores são moldados por uma combinação de insumos (por exemplo, características e condições dos alunos e professores, ou da infraestrutura escolar) e processos de nível escolar (por exemplo, currículo e metodologias de ensino, serviços de apoio e orientação).
A capacidade dos estudantes de adquirir os resultados de aprendizagem pretendidos é particularmente afetada pela própria formação e habilidades dos estudantes e pela capacidade de seus professores de apoiar eficazmente sua aprendizagem. familiares condição familiar dos estudantes demonstra ter uma grande influência em seu desenvolvimento cognitivo e socioemocional inicial (OCDE, 2015[24]) e em seu desempenho posterior na escola. O treinamento inicial e contínuo que os professores recebem, juntamente com sua própria aptidão para o trabalho, desempenha um papel fundamental em sua capacidade de dar suporte à aprendizagem de estudantes de diferentes origens (OCDE, 2018[25]).
O ambiente mais amplo no qual ocorre o processo de ensino-aprendizagem condiciona ainda mais a capacidade de professores trabalharem de forma eficaz e a capacidade de os alunos aprenderem e se desenvolverem. Dentro de cada escola, este ambiente inclui a qualidade e relevância do conteúdo educacional (currículo) especificado para alunos de diferentes níveis, a eficácia da liderança escolar e a qualidade da infraestrutura física e dos recursos disponíveis para o ensino e atividades relacionadas. Serviços auxiliares não diretamente relacionados ao processo educacional, tais como serviços sociais e de suporte e transporte escolar, também têm impacto sobre os alunos e sua capacidade de aprender.
Muitos dos insumos e processos que envolvem as escolas e os alunos identificados no modelo lógico exigem recursos financeiros. Os professores precisam de salários, a infraestrutura escolar e equipamentos precisam ser pagos, são necessários recursos para garantir o treinamento de professores, programas de apoio financeiro para estudantes e suas famílias, e para serviços de suporte e orientação. Quando estes recursos financeiros provêm de fontes públicas, eles precisam ser mobilizados e alocados através de decisões políticas e desenho de políticas. Como ilustrado na Figura 2.4, a governança e a política pública afetam a educação não apenas fornecendo recursos através de transferências financeiras diretas e programas de financiamento público, mas também por meio de regulamentação, diretrizes e estabelecimento de metas, todas as quais podem influenciar o desempenho das escolas (e, até certo ponto, dos alunos). Para os TCs, os elementos-chave ao analisar o ambiente governamental e de governança para a educação incluem:
1. Acordos de governança: a arquitetura geral de governança, incluindo as entidades responsáveis pela elaboração e implementação da política educacional e a distribuição de responsabilidades entre elas. Esta dimensão abrange o grau de controle centralizado ou a autonomia em nível escolar dentro de um sistema.
2. Política e programas educacionais: a formulação e implementação de políticas específicas que orientam e afetam a forma como as escolas fazem seu trabalho, o que pode incluir políticas sobre treinamento de professores, pessoal escolar, diretrizes curriculares, regras de admissão para alunos e testes e exames externos, bem como políticas que determinam o nível de recursos que as escolas (e professores) recebem. Alguns serviços auxiliares, tais como transporte escolar, podem se enquadrar na categoria de políticas e programas educacionais.
3. Outras políticas e programas relevantes: a formulação e implementação de políticas e programas não diretamente relacionados ao fornecimento de educação, mas que dão suporte diretamente aos objetivos do sistema educacional.
4. Metas, avaliação e monitoramento: a definição de metas e um conjunto mais amplo de exercícios de avaliação e monitoramento – incluindo revisões por órgãos de auditoria – que informam a formulação e a implementação da educação e outras políticas e programas relevantes. É útil destacar estas atividades ao analisar a governança e as políticas, uma vez que elas normalmente ocorrem de forma independente da formulação e implementação de políticas detalhadas – seja no nível político estratégico (como no estabelecimento de metas) quer através de órgãos independentes ou semi-independentes (como no monitoramento e avaliação).
Aplicação do modelo lógico na educação no Brasil
O modelo lógico para educação discutido acima é elaborado para ser suficientemente genérico para permitir a aplicação a qualquer nível de educação básica em qualquer jurisdição. Entretanto, quando o modelo é aplicado no Brasil para mapear a relação entre a política pública e o contexto de governança, os insumos financeiros, as características das escolas e dos estudantes, e os resultados, as seguintes considerações são particularmente importantes:
1. Alguns dos elementos mapeados no modelo genérico serão mais importantes em alguns países do que em outros. Por exemplo, as taxas de matrícula e conclusão do ensino médio serão mais preocupantes no Brasil, onde o acesso a este nível de educação ainda não é universal, do que em países onde o acesso e a participação universais são considerados como garantidos.
2. O papel dos programas sociais na promoção da frequência escolar, ou do transporte escolar organizado, será mais importante no Brasil, onde a baixa renda familiar e as opções limitadas de transporte são barreiras frequentes à frequência escolar. Por exemplo, o programa Bolsa Família, que condiciona o pagamento de assistência social à frequentação das crianças à escola, tem sido fundamental para aumentar as taxas de matrícula na educação – um pré-requisito para alcançar bons resultados de aprendizagem. Da mesma forma, o fornecimento de transporte escolar para estudantes em regiões rurais e remotas para aumentar a frequência escolar tem sido uma política prioritária para o governo federal.
3. Como discutido mais adiante, a disponibilidade de informações e dados relevantes relacionados aos diferentes componentes do modelo lógico afetará a extensão na qual o modelo pode ser aplicado na prática. Embora o modelo descreva quais elementos seriam relevantes para a análise da política educacional, alguns desses elementos são de difícil aferição – e, mesmo aqueles que seriam mensuráveis podem não ser medidos de forma alguma. Particularmente no Brasil, dada a significativa variação social e regional nos níveis de renda e resultados educacionais, informações e dados desagregados por localidade e grupo social são importantes para obter um quadro variado do desempenho da política educacional em diferentes partes do país e para diferentes populações.
Como mencionado, o Brasil possui um sistema nacional bem desenvolvido de avaliação de resultados de aprendizagem no setor escolar – o Sistema de Avaliação do Ensino Básico SAEB) (INEP, 2019[23]) – o que significa que dados comparáveis estão disponíveis sobre os principais resultados alcançados pelas escolas públicas e redes escolares em todo o país. Isto facilita muito a aplicação prática do modelo lógico. Por outro lado, os dados sobre outros fatores, alguns dos quais podem ser relevantes no Brasil, tais como taxas de matrícula para coortes de idade específicas e acesso a serviços de transporte escolar, não são prontamente disponibilizados.
Uso do modelo lógico na identificação e seleção de indicadores
Indicadores bem projetados, sustentados por dados atualizados e confiáveis, são um meio valioso para obter informações objetivas sobre a implementação e os efeitos das políticas públicas, incluindo informações sobre seu progresso em relação aos objetivos estabelecidos. Bons indicadores fornecem uma visão geral, facilmente compreensível e baseada em evidências, dos principais aspectos da política pública e do ambiente no qual a política opera; ao tornar possível identificar padrões e tendências relevantes, tais indicadores fornecem uma base sólida para decisões informadas.
Quadro 2.5. Indicadores
Em geral, indicadores são medidas quantitativas, expressas numericamente – por exemplo, o número de X, a porcentagem de Y. Os indicadores podem ser baseados em informações quantitativas ou qualitativas. O número de escolas, por exemplo, é um indicador básico que utiliza informações quantitativas simples.
Indicadores mais complexos também podem se basear em informações qualitativas. Para estes indicadores, a informação qualitativa é expressa como um valor categórico – ou seja, um de vários valores possíveis fixos, geralmente em uma escala. Por exemplo, o número ou porcentagem de escolas classificadas como "excelentes" por uma inspeção escolar é baseado em informações qualitativas complexas, reduzidas a uma escala de classificações escolares.
Como ilustrado na Figura 2.5, os indicadores podem se referir a insumos, produtos e resultados de uma política e assim espelhar o modelo lógico básico relacionado à elaboração daquela política. Isto os torna extremamente úteis para o monitoramento de políticas e na auditoria do desempenho das políticas.
Figura 2.5. Tipos de indicadores
Os indicadores de insumo são usados para medir a quantidade de recursos alocados a uma política; como tal, eles fornecem uma medida do esforço dedicado a uma política ou a intensidade com que sua implementação é perseguida. Tais indicadores não fornecem informações sobre se os recursos são gastos de forma eficiente, ou se uma política é eficaz na consecução de seus objetivos.
Os indicadores de produtos fornecem uma medida quantitativa dos resultados produzidos por uma política. Combinados com indicadores de insumos, podem ser usados para avaliar a eficiência com que as políticas são executadas, mas não fornecem nenhuma informação sobre se os produtos de uma política são eficazes na consecução dos objetivos finais da política em questão – os resultados desejados.
Os indicadores de resultados são usados para monitorar a eficácia das políticas na realização de seus objetivos. A lógica de intervenção para uma determinada política – resumida em um modelo lógico – deve mapear a relação esperada entre os produtos resultantes diretamente da política (como, por exemplo, os quilômetros de estradas construídos ou o número de professores treinados) e os resultados desejados da política (como a melhoria da conectividade entre cidades ou a melhoria dos resultados de aprendizagem dos estudantes). Os resultados não podem ser alterados diretamente: as políticas devem gerar produtos, que, por sua vez, influenciam o resultado da maneira desejada. Um indicador de resultados tem sempre um componente normativo, no sentido de que (dentro de uma faixa razoável), um movimento em uma direção é considerado um desenvolvimento positivo e em outra um desenvolvimento negativo.
Um elemento do modelo lógico simples da seção anterior, o processo, é predominantemente qualitativo e, portanto, sua inclusão em um sistema de indicadores quantitativos é mais complexa. Para simplificar, seria mais adequado que os indicadores de processo fossem um insumo ou produto para o processo específico considerado, dependendo dos dados quantitativos disponíveis para processos específicos.
Fonte: (Schumann, 2016[26]).
Os indicadores quantitativos permitem que aspectos quantificáveis de insumos, processos, produtos e resultados sejam julgados em relação a metas ou padrões de referência estabelecidos. No campo da educação, por exemplo, as notas dos estudantes nas avaliações de resultados de aprendizagem (um indicador de resultados) podem ser comparadas com os níveis esperados ou com notas medianas. Da mesma forma, os índices de professor-por-aluno em uma escola, rede escolar ou município (um indicador de insumo) podem ser comparados com metas ou valores medianos.
Dois dos objetivos mais comuns dos sistemas de indicadores nas políticas públicas são: aferir o desempenho governamental (em relação a metas ou comparadores estabelecidos); e medir a eficiência dos gastos (os resultados alcançados para os recursos investidos). Estes dois objetivos estão alinhados aos objetivos da auditoria externa e da seleção de auditoria. Em todos os casos, a confiabilidade e a utilidade dos sistemas de indicadores dependerão da seleção criteriosa e definição dos próprios indicadores e da qualidade dos dados disponíveis.
Principais considerações para a seleção de indicadores
O modelo lógico serve como uma ferramenta para que os TCs possam identificar as principais variáveis que influenciam os resultados de uma determinada política. Este modelo fornece, então, uma base sobre a qual os TCs podem identificar os indicadores mais relevantes para o monitoramento de políticas e seleção de auditorias no contexto brasileiro. Uma vez que o modelo conceitual esteja em vigor, o próximo passo será a identificação de quais variáveis do modelo podem ser medidas de forma confiável usando indicadores, levando em conta as evidências sobre os pontos fortes e limitações desses indicadores.
O Anexo 2.A deste capítulo contém uma análise da relevância teórica de cada variável no modelo lógico para o setor educacional apresentado acima, bem como uma breve avaliação dos principais pontos fortes e limitações dos indicadores comumente utilizados nos países da OCDE. Com base em uma lista de indicadores potenciais, os TCs devem reduzir o conjunto de indicadores utilizáveis para evitar a criação de um processo que se torne oneroso na tentativa de medir em excesso.
Ao selecionar indicadores que podem ser utilizados para o monitoramento de políticas e seleção de auditorias, os seguintes critérios-chave podem ser considerados (Schumann, 2016[26]):
1. Relevância: os dados disponíveis (e indicadores que os definem) fornecem informações que ajudam a medir o desempenho dos sistemas de políticas e a identificar problemas nas políticas?
2. Disponibilidade e atualização: os dados estão disponíveis para as unidades de análise relevantes (por exemplo, na educação, em relação às redes escolares, municípios, estados) para todo o país (ou uma grande parte dele)? Com que frequência os dados são coletados e atualizados? Esta frequência é adequada em relação à finalidade?
3. Confiabilidade: os dados disponíveis são de fonte confiável que usa métodos robustos de coleta e gerenciamento de dados?
Além destes, existem outros fatores que os TCs podem levar em consideração ao definir indicadores. Algumas questões são comuns, independentemente do contexto, e são típicas das avaliações baseadas em indicadores. Por exemplo, em geral, é mais provável que os dados sobre os produtos estejam disponíveis do que os dados sobre os resultados. O monitoramento da conformidade básica pode ser feito com indicadores de produto (por exemplo, "O número de escolas construídas estava de acordo com os planos acordados?"), enquanto o monitoramento do desempenho ou da eficácia requer indicadores de resultados, mesmo que sejam imperfeitos (por exemplo, "Que proporção de alunos não teria concluído o ensino médio se as novas escolas não tivessem sido construídas?").
Quando se trata de auditar a seleção de políticas descentralizadas, os TCs também devem levar em conta indicadores que representam a realidade dos níveis nacional e subnacional. Dependendo das condições existentes, as mesmas políticas podem causar resultados diferentes em regiões diferentes e, nestes casos, os indicadores nacionais podem ser de valor limitado. A escolha do nível subnacional deve ser determinada pelo grau de variação regional sobre os efeitos de uma política. Se, por exemplo, houver grandes diferenças nos resultados entre municípios ou mesmo entre redes escolares, um indicador que mostre os dados a tal nível deve ser considerado antes de um indicador nacional. Por outro lado, se a variação local for pequena, um indicador nacional pode ser suficiente, mas não terá muito valor agregado como instrumento para avaliar a variação regional nos resultados. As lacunas de coordenação que ocorrem em níveis subnacionais – uma fraqueza da governança multinível comum no Brasil e em outros lugares – poderiam ser capturadas por indicadores de resultados que medem objetivos em níveis intermediários, e não em níveis locais ou nacionais.
Os TCs também podem considerar indicadores de painel de avaliação para monitorar os resultados em níveis subnacionais, já que estes têm a vantagem de não generalizar os resultados. Os indicadores de painel de avaliação são o nível mais alto de indicadores de resultados, usados principalmente para dar uma visão geral de toda uma área de políticas. Quanto menor a unidade subnacional à qual um indicador se refere – por exemplo, um indicador em nível escolar – mais forte ele é afetado por flutuações aleatórias. Cada unidade subnacional deve ser suficientemente grande para ser representativa de todo o país no que diz respeito ao resultado em questão. (Schumann, 2016[26])
Finalmente, ao interpretar as informações quantitativas em qualquer campo de políticas, dois fatores são vitais para a consideração dos TCs:
1. Muitos fatores importantes não podem ser – ou não são – medidas. Por definição, os indicadores quantitativos não podem capturar variáveis e fatores que não podem ser quantificados – ou para os quais os dados quantitativos não são coletados e computados porque seria muito oneroso ou metodologicamente complexo fazê-lo.
2. O exame apenas dos dados quantitativos não explicará a razão pela qual os valores observados são como são. Embora a análise de regressão e outras técnicas estatísticas possam ser utilizadas para identificar relações entre os valores de diferentes variáveis e apontar linhas de causalidade, a avaliação de políticas e a auditoria de desempenho sempre precisam complementar a análise dos indicadores quantitativos com a investigação qualitativa dos fatores explicativos.
Uma abordagem em dois níveis de seleção de indicadores para o planejamento de auditorias no Brasil
O modelo lógico e as considerações para a seleção de indicadores descritos acima fornecem um roteiro para que os TCs selecionem indicadores educacionais para a seleção de auditorias. Há essencialmente dois níveis de indicadores que os TCs podem considerar. O primeiro são indicadores que medem os resultados desejados para diferentes níveis de educação. Estes indicadores podem ser capturados da política educacional adotada nacionalmente (PNE); incluem fatores de "cobertura" (a proporção da população alvo na educação) e de resultados de aprendizagem (as habilidades e competências adquiridas).
Os principais indicadores de primeiro nível incluem taxas de matrícula por coortes de idade e, para níveis educacionais onde estes existem, dados sobre os resultados de aprendizagem dos estudantes obtidos do sistema de avaliações nacionais padronizadas (SAEB). O exame dos dados para estes indicadores em conjunto com valores de referência estabelecidos torna possível identificar escolas, redes escolares, municípios ou grupos de municípios em cada estado onde os resultados estão abaixo dos padrões esperados. Dada a ampla gama de desempenho educacional existente no Brasil, os valores de referência utilizados podem precisar ser adaptados às circunstâncias de cada estado.
Os indicadores de segundo nível representam dados sobre insumos e processos selecionados que provavelmente afetam os resultados observados. Os TCs podem utilizar estes indicadores para identificar padrões que podem ajudar a explicar os maus resultados observados e potencialmente identificar questões mais específicas que poderiam justificar auditoria. Se, por exemplo, os dados sobre o nível de qualificação dos professores em um determinado estado forem inferiores aos de outros estados no Brasil – e os resultados de aprendizagem também forem inferiores aos padrões de referência relevantes – pode haver um caso prima facie para examinar o sistema de treinamento inicial de professores desse estado ou da educação continuada para professores. Se o nível de qualificação dos professores for baixo e combinado com maus resultados de aprendizagem somente em municípios selecionados, pode ser relevante investigar porque isto ocorre e se há ligação com as práticas de recrutamento ou as condições dos que trabalham nas redes escolares em questão.
Para garantir cobertura nacional, comparabilidade e confiabilidade, os TCs podem selecionar indicadores de fontes de dados oficiais nacionais, incluindo a agência nacional de avaliação da educação INEP e o escritório nacional de estatísticas (IBGE). Em colaboração com os TCs, a OCDE desenvolveu um painel inicial de indicadores que inclui:
Para resultados de aprendizagem – Dados desagregados do SAEB dos resultados de aprendizagem em português e matemática disponíveis para alunos do 5º e 9º ano e para o último ano do ensino médio.
Para cobertura – Os dados sobre o número e as características e condições básicas de crianças e estudantes matriculados no Censo Escolar do INEP, combinados com a estimativa das populações por coorte de idade. É necessário utilizar estimativas de população baseadas em uma metodologia de projeção estabelecida, pois o Brasil carece de registros populacionais confiáveis e depende de censos decenais, que rapidamente se tornam defasados.
Para insumos e processos selecionados – Dados básicos sobre as redes escolares municipais e estaduais; sobre o número de aulas; e sobre a quantidade, idade, nível de qualificação e tipo de contrato dos professores, extraídos do Censo Escolar do INEP. Alguns dados mais qualitativos sobre as percepções dos dirigentes escolares, professores e alunos são coletados através dos questionários que são preenchidos ao mesmo tempo que os testes SAEB, enquanto dados limitados sobre insumos financeiros em nível de escola e rede escolar são obtidos do SIOPE (Sistema de Informações sobre Orçamentos Públicos em Educação) e do FNDE (Fundo Nacional de Desenvolvimento da Educação) do Ministério da Educação.
Estes indicadores não são estáticos. Como os objetivos das políticas, os desafios e a disponibilidade ou qualidade dos dados mudam, assim também mudam as oportunidades, limitações ou fundamentos para o uso de um conjunto específico de indicadores. Esses indicadores oferecem um ponto de partida para que os TCs possam basear análises e avaliações de risco futuras no modelo lógico e nos critérios discutidos acima.
Desenvolvendo "cenários de risco" para orientar a avaliação de risco
O objetivo da utilização de indicadores no processo de seleção de auditoria é possibilitar a identificação, de forma sistemática, das políticas públicas que não estão atingindo os objetivos e que podem, portanto, justificar uma investigação, particularmente através de auditoria de desempenho. A interpretação dos indicadores deve, idealmente, permitir aos auditores formular uma narrativa explicativa coerente a partir da qual seja possível basear a seleção das auditorias. A narrativa ideal explicaria quais eventos ou circunstâncias, conforme sinalizado pelo modelo de indicadores, poderiam levar a um mau desempenho em indicadores-chave de resultados. Tais narrativas podem ser capturadas em "cenários de risco", conforme descrito no Quadro 2.6. O desenvolvimento destes cenários envolve passos concretos, descritos na próxima seção, que em última instância ajudarão os TCs a priorizar e selecionar temas auditáveis.
Quadro 2.6. Cenários de risco
O que é um cenário de risco?
Os cenários de risco são narrativas hipotéticas de possíveis eventos, de como eles podem se materializar e levar a resultados indesejados. Estas narrativas são descrições realistas do desdobramento de um evento e são fundamentadas em conhecimentos validados e experiências passadas. A própria avaliação de risco analisa o risco real do evento em termos de probabilidade e impacto. Os cenários de risco são comumente usados para avaliar os riscos de proteção e segurança, conforme descrito abaixo.
Exemplo de utilização da análise de cenários de risco na política de segurança nacional holandesa
A Estratégia Nacional de Segurança e Proteção na Holanda é baseada na elaboração de cenários que poderiam ser uma ameaça ao país a médio prazo (até cinco anos). Os cenários oferecem uma forma de comunicação para formar um conjunto de incertezas futuras, fatores que influenciam os objetivos políticos e as decisões que devem ser tomadas.
Um cenário de risco é descrito considerando-se:
o incidente: (a natureza e a escala de) um ou mais eventos inter-relacionados com consequências para a segurança e proteção nacional e que, portanto, têm um impacto a nível nacional
a condução até o incidente: a causa (subjacente) e qualquer processo insidioso subjacente, e o gatilho que cria o incidente ou que o evidencia
o contexto dos eventos: as circunstâncias gerais e o grau de vulnerabilidade e resistência das pessoas, objetos e sociedade, na medida em que seja relevante para o incidente descrito
as consequências do incidente: a natureza e a escala projetadas com uma descrição geral da resposta e das medidas de controle
os efeitos do incidente na continuidade da infraestrutura vital.
Um grupo de trabalho multidisciplinar desenvolve cada cenário. Representantes dos vários departamentos (especializados) têm um lugar no grupo de trabalho. A liderança do grupo é geralmente atribuída ao departamento especializado mais afetado. Quando necessário, especialistas de outros ministérios e de autoridades, particulares, centros de conhecimento e escritórios de planejamento participam do trabalho.
Os próximos passos são, portanto:
1. Avaliação de risco – A avaliação de cada cenário em termos de probabilidade e impacto, realizada por um grupo equilibrado de especialistas.
2. Análise de capacidade – A análise de capacidade é realizada em um grupo de trabalho que inclui todos os especialistas e interesses relevantes.
O departamento especializado com a principal responsabilidade pelo cenário cria o grupo de trabalho. O relatório da análise de capacidade de vários estudos aprofundados temáticos forma a base para o relatório de resultados.
Cenários de risco bem elaborados fornecem uma narrativa construída em torno de causa e efeito, e fundamentada em experiência e evidências de pesquisa. Os cenários podem ser revisados regularmente, dependendo do ambiente e contexto em mudança. Técnicas analíticas, tais como a árvore de análise de falhas (fault tree analysis) ou árvore de análise de problemas (problem tree analysis), descritas abaixo, podem ajudar no desenvolvimento dos cenários. O desenvolvimento da árvore de problemas se inicia a partir da detecção de um problema, enquanto uma árvore de falhas se inicia com a descrição de um evento futuro indesejado. No entanto, no contexto do desenvolvimento de um cenário de risco, esta diferença é principalmente semântica. Uma árvore de problemas também pode servir como uma árvore de risco quando a questão central for orientada para o futuro: o que pode dar errado?
Quadro 2.7. Técnicas analíticas
Árvore de Análise de Falhas
A Árvore de Análise de Falhas (fault tree analysis, FTA) é uma conhecida técnica de análise de falha dedutiva. A análise se concentra em um evento particular indesejável, a "falha", e visa a descrever as causas de tal evento antes que este se materialize. As conexões lógicas entre a falha e suas causas são apresentadas graficamente em uma "árvore de falhas". A árvore traça todos os ramos do evento que poderiam contribuir para a falha, até as raízes das causas. O método utiliza conjuntos de símbolos, rótulos e identificadores booleanos. O método também pode ser usado para avaliar a probabilidade do evento principal usando métodos estatísticos. A FTA é comum em muitas indústrias, incluindo os setores aeroespacial, automotivo, médico e energético.
Figura 2.6. Exemplo de diagrama de Árvore de Falhas
Árvore de análise de Problemas
Uma árvore de problemas visa analisar a relação entre problemas. A partir deste método, analisam-se os diferentes problemas e suas conexões hierárquicas a partir da maneira como se influenciam. Qualquer caixa na árvore pode ser identificada como um problema. As raízes desse problema devem ser encontradas ao se mover para baixo na árvore, perguntando "por quê" e as consequências serão encontradas ao se mover para cima perguntando "então o quê". A análise da árvore de problemas permanece próxima à elaboração de políticas, pois também pode ser usada para mapear opções de políticas que possam resolver um problema específico da sociedade. O Manual de Auditoria de Resultados da organização sub-regional de instituições superiores de auditoria nos países africanos de língua inglesa (AFROSAI-E) recomenda a aplicação da técnica da árvore de problemas como uma forma de direcionar o foco para uma auditoria.
Figura 2.7. Exemplo de diagrama de Árvore de Problemas
Os TCs podem construir um cenário de risco para cada um dos indicadores de resultado no modelo lógico. As etapas essenciais na construção desses cenários de risco incluem:
1. Selecionar um indicador de resultados de primeiro nível, como discutido acima, a partir do modelo lógico. Uma pontuação baixa neste indicador será o 'evento indesejável' ou 'problema futuro' que está na base do cenário.
2. Identificar indicadores de produto de segundo nível do modelo lógico, certificando-se de que as ligações entre estes ilustram uma explicação realista de como e porque esses fatores podem contribuir para o indicador de primeiro nível e o evento indesejável. As técnicas acima mencionadas, ou seja, a árvore de problema ou a árvore de falhas, podem ser úteis nesta fase.
3. Considerar se há elementos no modelo lógico sem indicadores, que possam contribuir para o problema no resultado.
4. Acrescentar elementos que não estão no modelo, mas que parecem relevantes, com base na experiência ou na opinião de especialistas. Os passos 3 e 4 dão um contexto adicional e conhecimento "local" para ajudar a descobrir possíveis raízes dos problemas.
5. Validar o cenário com as partes interessadas e outros especialistas do setor em questão. Como boa prática, a construção de cenários de risco poderia ocorrer em grupos de trabalho, envolvendo analistas de risco e especialistas.
Os cenários de risco podem ser simples, e não precisam capturar todos os elementos possíveis. Os TCs devem se concentrar nos elementos mais relevantes para a auditoria. Ao desenvolver apenas um conjunto limitado de cenários, torna-se relativamente simples compartilhá-los entre auditores externos, discutir resultados e desenvolver um mapa de risco compartilhado. O Quadro 2.8 mostra um exemplo fictício do desenvolvimento de cenários de risco no setor de educação.
Quadro 2.8. Exemplo de cenário de risco no setor da educação
A falta de ônibus escolares limita o acesso de crianças pequenas à pré-escola
O evento indesejável que desencadeia o cenário é a baixa matrícula na pré-escola entre as crianças pequenas. Este é um exemplo típico de um resultado que tem alta variação regional no Brasil. Uma causa hipotética de tal evento pode estar relacionada aos pais não poderem ou não enviarem seus filhos para a pré-escola por não terem acesso a transporte escolar. Seguindo esta linha de raciocínio, os problemas hipotéticos subjacentes ao transporte escolar talvez incluam o fato do transporte ser inexistente em certas regiões; ou ser mal organizado; muito caro; ou talvez não haja estradas em uma área rural. Uma causa possível relacionada a tais problemas pode ser a corrupção na aquisição de ônibus escolares. Outros cenários podem ser desenvolvidos com base na disparidade socioeconômica ou elementos relacionados ao ensino.
Figura 2.8. Árvore de análise de falhas do indicador de resultados de matrícula na pré-escola
Para construir os cenários de risco, os TCs poderiam estabelecer grupos de trabalho temporários para cada indicador de resultado no modelo lógico, assegurando que haja um bom equilíbrio entre especialistas e conhecimento local. Estes grupos de trabalho poderiam fazer parte de um mecanismo de colaboração sustentável entre os TCs (ver Capítulo 4 sobre colaboração). Como esta é uma abordagem nova e inovadora, os TCs podem trabalhar juntos de forma interativa, construindo um cenário de risco e testando-o na fase de seleção da auditoria (ver próxima seção).
De acordo com o objetivo do projeto - avaliar políticas descentralizadas de forma coordenada e destacando questões de governança em vários níveis - os TCs poderiam iniciar este trabalho com indicadores de resultados que mostrem a maior variação regional. Como visto na seção sobre indicadores, nesses casos é provável que as questões de governança multinível desempenhem um papel relevante. Além disso, o valor agregado do trabalho em conjunto dos TCs é maior.
Os TCs podem seguir os passos descritos na seção anterior, mas, além disso, devem focar seu cenário para explicaras variações regionais. Se ainda não incluídos no modelo lógico, elementos de governança multinível (ver também capítulo 3) poderiam ser considerados como parte da etapa 4.
Além de desenvolver uma narrativa, os TCs também poderiam considerar a visualização dos cenários, para que possam ser facilmente comunicados com outros TCs e partes interessadas externas.
A fim de facilitar o aprendizado e garantir que os cenários permaneçam realistas e relevantes, os TCs devem atualizar anualmente os cenários de risco, de acordo com seus ciclos de planejamento de auditoria, com base na evolução das políticas públicas, do contexto e dos conhecimentos coletados em auditorias recentes.
A aplicação de cenários de risco na seleção de auditoria
Os cenários de risco ajudam a organização e a priorização do universo de risco de uma forma analítica para orientar a identificação e a análise de risco. Tais cenários servem como hipóteses que podem ser verificadas e analisadas usando dados de indicadores e o conhecimento de campo dos auditores, identificando assim os cenários com maior probabilidade e impacto negativo nos resultados das políticas. Isto é o que acontece na fase de análise de risco e seleção de auditoria.
Seis etapas analíticas consecutivas conectam todas as recomendações anteriores deste capítulo em um processo de seleção de auditoria baseada em risco (Figura 2.9). Cada etapa é guiada por uma questão-chave. A suposição é que todos os indicadores de resultados do modelo lógico têm cenários de risco subjacentes que hipoteticamente podem explicar possíveis baixos resultados, mas as etapas também podem ser aplicadas para um único indicador de resultados.
Figura 2.9. Etapas da seleção de auditoria baseada em risco
Etapa 1: Encontrar baixo desempenho
Os auditores devem primeiro analisar os indicadores de resultados do modelo de indicadores, idealmente com a ajuda de uma ferramenta tecnológica (ver Quadro 2.9). O objetivo do primeiro passo é selecionar resultados que estejam abaixo de uma determinada meta ou referência (por exemplo, estabelecida em uma política, ou destacada pelo centro de governo) e, portanto, levantar preocupações. A análise pode ser feita em nível nacional, regional e/ou municipal. Desta forma, a análise também destacará disparidades regionais entre resultados que possam apontar para questões de governança local ou regional.
Pergunta-chave a ser respondida: Em que os resultados observados divergem dos objetivos e metas das políticas?
Resultado esperado: Redução do universo de auditoria por baixo desempenho das políticas, em relação ao nível de análise (por exemplo, municípios, regiões).
Etapa 2: Associação de indicadores de entrada e de processo
Nesta etapa, os auditores devem procurar os indicadores de insumo, produto e processo dos cenários de risco associados às áreas de baixo desempenho identificadas na etapa 1. O objetivo é selecionar os cenários que melhor explicam os baixos resultados observados.
Pergunta-chave a ser respondida: Os indicadores de insumo e de processo do cenário associado divergem das metas estabelecidas ou destacam problemas específicos que podem influenciar os baixos resultados?
Resultado esperado: redução do universo auditável, com investigação da probabilidade de possíveis cenários de risco que possam contribuir para explicar o baixo desempenho observado.
Etapa 3: Observar outros fatores de risco contextuais
Os fatores de risco principais associados ao baixo desempenho devem ser incluídos nos cenários de risco, mas outros fatores, fora dos cenários, também podem ajudar a explicar os resultados observados. Esta etapa concentra-se nestes “outros fatores” que podem ajudar a explicar as variações nos resultados observados na Etapa 1. O conhecimento local é necessário para esta etapa, que requer que os auditores considerem, por exemplo, indicadores de contexto socioeconômico, fatores afetados por políticas complementares (por exemplo, políticas sociais) e outras evidências locais, tais como relatórios e conclusões de auditorias anteriores, fatores conhecidos, etc. O conhecimento de campo dos auditores é fundamental para esta etapa, mas, se necessário, a equipe também pode consultar especialistas (locais).
Pergunta-chave a ser respondida: Que “outros fatores” de risco contextuais locais podem contribuir para os resultados observados? Existem outros fatores de risco fora dos cenários que poderiam explicar melhor os resultados observados? As questões de governança multinível podem desempenhar um papel?
Resultado esperado: identificação de um número limitado de cenários que explicam os baixos resultados observados e levam em conta as variações locais dos fatores de risco.
Etapa 4: Considerar os fatores de risco a serem auditados
As etapas anteriores levam a uma análise do problema. Nesta etapa, os fatores nos cenários que podem contribuir para o baixo desempenho da política pública são identificados. Entretanto, estes fatores não levarão imediatamente à definição dos tópicos de auditoria. Tais fatores devem, ainda, ser reduzidos a riscos (impacto e probabilidade), e conectados a entidades auditáveis.
Esta etapa 4 analisa os possíveis fatores a serem auditados. Alguns podem ser locais, outros gerais. Alguns podem estar influenciando o desempenho de várias maneiras, enquanto outros podem ter um impacto muito limitado. Nesta etapa, a equipe avalia qualitativamente o impacto e a probabilidade dos cenários e dos fatores que os explicam. A equipe normalmente teria de chegar a um acordo sobre o provável peso de todos os diferentes fatores em um cenário que influenciam os baixos resultados observados.
Pergunta-chave a ser respondida: Quais fatores do cenário identificados nas Etapas 2 e 3 poderiam precisar de um exame aprofundado como parte de uma auditoria?
Resultado esperado: identificação de uma lista ordenada ou "mapa de calor" (heat map) de fatores de risco, ligados a cenários, que possam ser considerados para auditoria.
Etapa 5: Identificação de políticas relevantes e atores responsáveis
Esta etapa estabelece as políticas e os atores específicos ligados aos fatores de risco em exame. Nesta etapa, é importante considerar possíveis aspectos de governança multinível dos fatores em consideração e identificar as responsabilidades em questão. As possíveis políticas complementares que têm um impacto sobre os fatores de risco em exame também poderiam ser consideradas.
Questões-chave a serem respondidas: Que políticas públicas influenciam os fatores identificados na etapa 4? Quais órgãos públicos (e em quais níveis de governo) são responsáveis por essas políticas?
Resultado esperado: uma lista de objetos auditáveis em relação aos fatores de risco identificados e uma indicação da relevância de questões de governança multinível.
Etapa 6: Identificação de tópicos para seleção de auditoria
Esta etapa combina questões e entidades auditáveis em tópicos para seleção de auditoria; procura agrupamentos ou tópicos sobrepostos. Os auditores ou a equipe responsável podem optar por aplicar técnicas visuais, como mapeamento mental. Para concluir a etapa, a equipe pode buscar a validação das partes interessadas, para garantir que estes tópicos selecionados sejam de fato os mais relevantes.
Perguntas-chave a serem respondidas: Com o objetivo de compreender melhor os fracos resultados e permitir a formulação de recomendações eficazes, quais intervenções de política pública (coordenadas por quais órgãos públicos) devem ser auditadas?
Resultados esperados: uma proposta de tópicos de auditoria opcionais que podem ser levados para a fase de seleção da auditoria.
Esta proposta será, então, um insumo para deliberação colaborativa; especificando a viabilidade e a necessidade de auditorias coordenadas que possam alimentar a programação de auditoria de cada entidade de auditoria externa (ver Capítulo 4 para maiores informações sobre o trabalho colaborativo entre as instituições de auditoria).
A tecnologia da informação pode facilitar a avaliação de risco
Para que os auditores possam basear a seleção de auditoria em risco (conforme descrito na seção anterior), é necessário que tenham acesso aos dados dos indicadores relevantes e aos cenários de risco que foram desenvolvidos. Para que haja colaboração entre TCs para estes fins, seria útil que os auditores pudessem documentar e compartilhar os resultados de sua própria avaliação de risco com outros TCs para criarem uma base de conhecimento comum, tal como um mapa de risco compartilhado.
O objetivo principal de tal ferramenta de TI seria facilitar a coleta e intercâmbio de dados e a execução das etapas analíticas ligadas à avaliação dos indicadores. Ao combinar os cenários de risco, a ferramenta pode permitir que os TCs realizem avaliações de risco tanto individualmente quanto coletivamente.
Através de um Sistema de Informação Geográfica (SIG) que permita visualização ao usuário, os auditores poderiam aplicar a ferramenta para identificar os principais desafios de desempenho e cenários de risco por setor de política pública e por área geográfica.
Ademais, tal ferramenta pode ser um instrumento valioso na harmonização dos procedimentos de avaliação e garantir a qualidade e a comparabilidade entre os diferentes TCs colaboradores. A ferramenta também pode apoiar o compartilhamento de relatórios de auditoria e facilitar o mapeamento da cobertura e dos resultados da auditoria, contribuindo, assim, ainda mais para promover a colaboração entre tribunais (veja Quadro 2.9 para exemplos de ferramentas de avaliação de risco baseadas em TI).
Quadro 2.9. Ferramentas de avaliação de risco desenvolvidas a partir da tecnologia da informação
Ferramenta de monitoramento municipal do Tribunal de Contas da Áustria
Desde 1929, o Tribunal de Contas da Áustria (ACA) tem o direito de auditar municípios com mais de 20.000 habitantes. Entretanto, nos últimos anos, os municípios na Áustria têm se tornado progressivamente responsáveis por mais serviços públicos em áreas tais como assuntos sociais, educação e saúde. Isto resultou em um aumento da importância financeira e econômica dos municípios e, portanto, desde 2011 o ACA tem o direito de auditar os municípios com mais de 10.000 habitantes. Essa ampliação de responsabilidade e cobertura de auditoria levou o ACA a desenvolver uma ferramenta para monitorar a saúde financeira dos municípios austríacos.
A ferramenta opera principalmente através do software estatístico "R" e permite a comparação entre municípios através de diferentes critérios, assim como o acompanhamento de mudanças destes critérios e a seleção de municípios que apresentem maior risco financeiro. O ACA obtém os dados brutos do órgão estatístico do país. Os dados incluem informações detalhadas sobre as contas dos municípios, demonstrativos de dívidas e passivos, e dados sociodemográficos.
Ao classificar os municípios de acordo com seu risco financeiro com base em determinados indicadores, a ferramenta permite ao ACA traçar o perfil de cada um dos 2.356 municípios na Áustria e avaliá-los com relação à sua relevância para as atividades de auditoria. A ferramenta é utilizada para o planejamento de auditorias e para a preparação de auditorias no nível operacional (por exemplo, para a seleção de pares a serem envolvidos nos trabalhos). Mediante solicitação, o ACA também fornece as folhas informativas relevantes para os respectivos municípios.
Atlas Nacional de Risco do México
O Centro Nacional de Prevenção de Desastres no México criou o Atlas Nacional de Risco (ANR), uma ferramenta inovadora que integra informações sobre exposição e vulnerabilidade dos três níveis de governo. O ANR dá uma visão nacional e local abrangente de todos os riscos de desastres, naturais ou causados pelo homem, e sua arquitetura baseada em Sistema de Informação Geográfica fornece uma visão privilegiada da relação espacial entre os perigos e a população, e os bens em risco.
Embora seja utilizado principalmente para fortalecer o planejamento de resposta a emergências, o ANR está disponível publicamente em seu site http://www.atlasnacionalderiesgos.gob.mx/, permitindo a crescente conscientização dos riscos entre a população mexicana.
Com relação à avaliação de indicadores para facilitar a seleção de auditorias, a funcionalidade básica da ferramenta seria permitir a análise dos resultados da Etapa 1 e, posteriormente, a análise dos fatores que constituem os cenários de risco da Etapa 2. A ferramenta também poderia ter funcionalidades adicionais, tais como acesso a dados sobre a cobertura de auditoria, acesso a informações analíticas qualitativas associadas aos cenários de risco, possibilitar a análise de relatórios de auditoria e documentação, uma interface de mapa de risco, etc.
Esta abordagem baseada em indicadores e orientada por cenários para a seleção de auditoria requer uma forte liderança para a implementação, não só porque é inovadora, mas também porque requer vários TCs colaborando intensamente. A governança, organização e métodos de trabalho necessários compõem o mecanismo de colaboração proposto no Capítulo 4. Dentro deste mecanismo, os TCs devem estabelecer um grupo de trabalho permanente que prepare, supervisione e execute as etapas da avaliação de risco, conforme descrito na seção anterior. Este grupo deve trabalhar de forma interativa, desenvolvendo as etapas práticas do procedimento e fazendo avaliações continuamente.
O grupo de trabalho também deve considerar o desenvolvimento de uma solução de tecnologia da informação que dê suporte à análise e o compartilhamento de informações, como descrito acima. O Quadro 2.10 sugere a funcionalidade básica desta ferramenta. Uma ferramenta de TI pode não fornecer aos TCs resultados automatizados (ou seja, a definição exata do ente a ser auditado, ou as questões específicas de uma política pública que deva ser auditada), mas prover uma base inicial para a identificação de possíveis riscos por tópico, setor e localização geográfica.
Quadro 2.10. Funcionalidade básica necessária de uma ferramenta de TI para apoiar a seleção de auditoria no Brasil
Etapa 1 - Onde se observam resultados divergentes dos objetivos e metas das políticas?
Para responder a esta pergunta, a ferramenta poderia fornecer uma avaliação automática de todos os indicadores de resultados no menor nível possível, utilizando uma simples árvore de decisão; seriam necessárias mais árvores de decisão para calcular o resultado agregado. A interface de Sistema de Informação Geográfica então permitiria aos auditores contemplar combinações geográficas e os objetivos das políticas públicas, estabelecendo não apenas os principais fatores em risco, mas também variações geográficas. Será possível, então, concentrar a próxima etapa analítica não apenas nos indicadores de resultados mais críticos, mas também naqueles municípios com as pontuações mais baixas nos indicadores, diminuindo o universo da auditoria.
Figura 2.10. Exemplo de uma árvore de decisão simples na educação
Etapa 2 – Os indicadores de insumos e de processo associados ao cenário divergem das metas estabelecidas ou destacam problemas específicos que podem levar a baixos resultados?
Para responder a esta pergunta, a ferramenta poderia fornecer uma avaliação automatizada de todos os indicadores pertencentes aos cenários de risco associados ao objetivo da política selecionada, fornecendo aos auditores uma visão dos elementos do cenário a partir de indicadores críticos. Além disso, os auditores poderiam avaliar a variação geográfica, estabelecendo assim se este é um problema local ou generalizado.
A seleção da auditoria em si não faz parte da avaliação de risco, pois esta requer critérios diferentes, tais como critérios estratégicos, técnicos ou mesmo a análise de recursos e capacidade disponíveis. A seleção de auditoria em colaboração com outras entidades de auditoria será discutida no Capítulo 4.
Seleção de auditoria baseada em evidências no Brasil: Principais conclusões e recomendações
Para a seleção de auditorias em setores de políticas públicas descentralizadas no Brasil é extremamente importante levar-se em conta as variações regionais nas condições socioeconômicas e os resultados das políticas. Dados e evidências em nível local estão amplamente disponíveis no Brasil e podem fornecer informações e entendimento sobre as diferenças entre as regiões.
Os TCs estão em excelente posição para coletar e analisar sistematicamente as evidências que podem esclarecer as disparidades no desempenho das políticas, ajudar a identificar riscos e, em última instância, levar à seleção estratégica de auditorias.
Os TCs já desenvolvem práticas de seleção de auditoria baseada em risco, mas poderiam torná-las mais sistemáticas, compartilhando informações e conhecimentos, o que lhes permitiria construir um mapa de risco compartilhado. Os tribunais de contas poderiam desenvolver uma metodologia comum, que pode iniciar com o setor da educação.
Com base em um modelo lógico orientado para resultados no setor da educação, os TCs poderiam descrever as relações entre os insumos, processos e produtos/resultados reais das políticas públicas de educação no Brasil. Os TCs deveriam, então, selecionar um conjunto limitado de bons indicadores com dados disponíveis que estejam relacionados aos elementos do modelo lógico.
Para cada indicador de resultado selecionado, os TCs poderiam desenvolver cenários de risco que conectassem o indicador de resultado com os indicadores de insumo e processos, bem como o contexto local. Tais cenários podem auxiliar na compreensão do que pode estar causando o baixo desempenho naquele indicador de resultado.
Em seis etapas analíticas, usando os dados e indicadores, os TCs poderiam testar a probabilidade e o impacto dos cenários de risco, levando a uma proposta de tópicos de auditoria opcionais.
Os TCs poderiam desenvolver uma ferramenta de TI para facilitar a análise e compartilhar os resultados. Um grupo de trabalho permanente poderia preparar, supervisionar e executar as etapas da avaliação de risco e, ao mesmo tempo, desenvolver ainda mais as etapas da abordagem na prática. Uma vez que a abordagem seja uma prática estabelecida, os TCs poderiam estender o método a outras áreas de políticas descentralizadas.
Anexo 2.A. Indicadores no modelo
O modelo conceitual simples do processo educacional utilizado no projeto Integrar, apresentado na Anexo Figura 2.A.1, faz distinção entre:
A. O contexto de governança e de política pública em que se desenvolve a educação;
B. Os insumos gerais aplicados no processo educacional;
C. A interação entre fatores de nível escolar e dos alunos no processo de aprendizagem (escolas e alunos) e
D. Os resultados pretendidos do processo educacional: que a população alvo de estudantes (por exemplo, uma coorte de idade específica) adquira bons resultados de aprendizagem de forma adequada.
Anexo Figura 2.A.1. Modelo conceitual do processo educacional
Após um processo de iterações e discussões com auditores e especialistas em educação no Brasil, o projeto concentrou-se na montagem de um conjunto limitado de indicadores que permitirão aos auditores monitorar variáveis-chave de desempenho no sistema de educação básica no Brasil e identificar questões onde a auditoria de desempenho possa ser conveniente e adequada. O presente anexo dá uma visão geral dos principais tipos de indicadores que podem ser utilizados para medir as variáveis-chave relacionadas ao processo educacional e aos resultados educacionais incluídos (partes C. e D. do modelo conceitual). As tabelas nas páginas seguintes apresentam, primeiramente, as variáveis e indicadores-chave de resultados e, em segundo lugar, variáveis e indicadores relacionados ao processo educacional que lidera esses resultados.
As tabelas fornecem uma breve explicação da relevância teórica de cada variável, bem como uma breve avaliação dos principais pontos fortes e fracos dos indicadores comumente utilizados pelos países da a OCDE para capturar e medir as variáveis em questão.
Anexo Tabela 2.A.1. Indicadores de nível 1
Todos os indicadores aqui incluídos são teoricamente relevantes para todos os níveis de educação básica e escolas de todos os tipos de governança
Anexo Tabela 2.A.2. Indicadores de nível 2
Todos os indicadores aqui incluídos são teoricamente relevantes para todos os níveis de educação básica e escolas de todos os tipos de governança
Referências
[30] AFROSAI-E (2016), Performance Audit Handbook, https://afrosai-e.org.za/wp-content/uploads/2019/07/AFROSAI-E-Performance-Audit-Handbook-2016.pdf.
[34] CENAPRED (n.d.), CENAPRED website (Centro Nacional de Prevención de Desastres), http://www.atlasnacionalderiesgos.gob.mx/ (acesso em 13 de maio 2020).
[27] Center for Security Studies, ETH Zurich (2011), Using Scenarios to Assess Risks: Examining Trends in the Public Sector, https://www.files.ethz.ch/isn/164303/Focal-Report-5-Scenarios-to-Assess-Risks.pdf.
[21] ETS/OCDE (2019), PISA 2021 Context Questionnaires Framework, https://www.oecd.org/pisa/publications/ (acesso em 13 de maio 2020).
[20] European Court of Auditors (2017), Performance Audit Manual, https://www.eca.europa.eu/Lists/ECADocuments/PERF_AUDIT_MANUAL/PERF_AUDIT_MANUAL_EN.PDF.
[32] EUROSAI (2018), Overview of External Audit Systems in Local Governments, http://www.eurosaiop.org/docs/upload/documents/TFMA_Overview_external_audit_systems_2018_1555656170.pdf.
[31] EUROSAI (2014), EUROSAI Innovations: Volume II, https://www.eurosai.org/handle404?exporturi=/export/sites/eurosai/.content/documents/strategic-plan/goal-team-1/Eurosai-Innovations-II_en.pdf.
[14] Government of Brazil (2014), Lei No.13005 - Aprova o Plano Nacional de Educação (PNE) (Law No.13005 - Approves the National Education Plan (PNE)), http://www.planalto.gov.br/CCIVIL_03/_Ato2011-2014/2014/Lei/L13005.htm (acesso em 4 de setembro 2018).
[7] IEC/ISO (2009), 31010:2009 Risk management, Risk Assessment Techniques, https://www.iso.org/obp/ui/#iso:std:iec:31010:ed-1:en.
[17] INEP (2019), Censo Escolar, http://inep.gov.br/censo-escolar (acesso em 9 de julho 2019).
[16] INEP (2019), Sinopse Estatística da Educação Básica - 2018, http://inep.gov.br/sinopses-estatisticas-da-educacao-basica (acesso em 15 de junho 2020).
[23] INEP (2019), Testes e Questionários - SAEB, SAEB, http://portal.inep.gov.br/educacao-basica/saeb/instrumentos-de-avaliacao (acesso em 29 de outubro 2019).
[18] INEP (2018), Relatório do 2º Ciclo de Monitoramento das Metas do Plano Nacional de Educação – 2018, Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), Brasília, http://portal.inep.gov.br/informacao-da-publicacao/-/asset_publisher/6JYIsGMAMkW1/document/id/1476034 (acesso em 24 de abril 2019).
[1] INTOSAI (2019), GUID-9000 Cooperative audits between SAIs, https://www.issai.org/wp-content/uploads/2019/08/GUID-9000-Cooperative-Audits-between-SAIs.pdf.
[4] INTOSAI (2019), ISSAI 3000, Performance Audit Standard, https://www.issai.org/pronouncements/issai-3000-performance-audit-standard/.
[2] INTOSAI (2016), GUID - 3920 - The Performance Auditing Process, https://www.issai.org/wp-content/uploads/2019/08/GUID-3920-The-Performance-Auditing-Process.pdf.
[19] INTOSAI (2016), GUID 3910, Central Concepts for performance Auditing, https://www.issai.org/pronouncements/guid-3910-central-concepts-for-performance-auditing/.
[9] INTOSAI (2016), ISSAI 130 Code of Ethics, https://www.issai.org/pronouncements/issai-130-code-of-ethics/.
[6] ISO (2018), 3100, Risk management Guidelines, https://www.iso.org/obp/ui/#iso:std:iso:31000:ed-2:v1:en.
[29] Kabir, S. (2017), “An overview of fault tree analysis and its application in model based dependability analysis”, Expert Systems with Applications, Vol. 77, pp. 114-135, http://dx.doi.org/10.1016/j.eswa.2017.01.058.
[28] Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (2009), Working with scenarios, risk assessment and capabilities, https://www.preventionweb.net/files/26422_guidancemethodologynationalsafetyan.pdf.
[12] OCDE (2019), Education at a Glance 2019: OECD Indicators, OECD Publishing, Paris, https://dx.doi.org/10.1787/f8d7880d-en.
[15] OCDE (2019), Results from PISA 2018 - Brazil, OCDE, Paris, https://www.oecd.org/pisa/publications/PISA2018_CN_BRA.pdf (acesso em 27 de janeiro 2020).
[25] OCDE (2018), Effective Teacher Policies: Insights from PISA, PISA, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264301603-en.
[11] OCDE (2018), The Future of Education and Skills: Education 2030, OCDE, Paris, https://www.oecd.org/education/2030/E2030%20Position%20Paper%20(05.04.2018).pdf (acesso em 24 de setembro 2018).
[5] OCDE (2018), Using Risk Assessment in Multi-years Performance Audit Planning, OCDE, Paris, https://www.oecd.org/gov/ethics/using-risk-assessment.pdf.
[3] OCDE (2016), Supreme Audit Institutions and Good Governance: Oversight, Insight and Foresight, OECD Public Governance Reviews, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264263871-en.
[24] OCDE (2015), Skills for Social Progress: The Power of Social and Emotional Skills, OECD Skills Studies, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264226159-en.
[33] OCDE (2013), OECD Reviews of Risk Management Policies: Mexico 2013: Review of the Mexican National Civil Protection System, OECD Reviews of Risk Management Policies, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264192294-en.
[13] OCDE/UCLG (2019), Report of the World Observatory on Subnational Government Finance and Investment – Country Profiles, OCDE, Paris, http://www.sng-wofi.org/publications/SNGWOFI_2019_report_country_profiles.pdf (acesso em 15 de junho 2020).
[10] Office of the Auditor General of Canada (2019), Selection of Performance Audit Topics, https://www.oag-bvg.gc.ca/internet/methodology/performance-audit/manual/1510.shtm (acesso em 24 de julho 2020).
[22] Onderwijsinspectie (2019), Het referentiekader voor onderwijskwaliteit (OK), Flemish Government - Education Inspectorate, https://www.onderwijsinspectie.be/nl/het-referentiekader-voor-onderwijskwaliteit-ok (acesso em 29 de outubro 2019).
[8] Put, V. and R. Turksema (2011), Selection of topics, Performance Auditing, Edward Elgar Publishing Limited.
[26] Schumann, A. (2016), “Using Outcome Indicators to Improve Policies: Methods, Design Strategies and Implementation”, OECD Regional Development Working Papers, No. 2016/2, OECD Publishing, Paris, https://dx.doi.org/10.1787/5jm5cgr8j532-en.
Observações
← 1. Dados de 2016 mostram que, dos 33 países membros e parceiros para os quais existem dados disponíveis, os gastos públicos como proporção do PIB no ensino primário e secundário são os mesmos ou superiores apenas na Noruega, Bélgica e Islândia. (OCDE, 2019[12]).
← 2. Educação básica no Brasil refere-se a todas as formas de educação escolar, desde a pré-escola até o último ano do ensino médio. São três etapas: pré-escola ou educação infantil, ensino fundamental – que combina a educação primária (fundamental 1) e os primeiros anos da educação secundária (fundamental 2) e o ensino médio.
← 3. Para a educação básica, o governo federal financia programas específicos e oferece uma contribuição ao fundo de redistribuição do FUNDEB em cada estado e ao DF (Fundo de Manutenção e Desenvolvimento da Educação Básica). Isto é no total equivalente a cerca de 10% de todos os gastos com educação básica no Brasil, mas a proporção varia consideravelmente por estado.
← 4. O 5º e o 9º ano do ensino fundamental e o último ano do ensino médio.