Quem acompanha os relatórios do Tribunal de Contas da União ou os resultados das avaliações da educação básica dificilmente pode dizer que o Estado brasileiro não avalia. O TCU produz auditorias cuidadosas, aponta falhas de desenho e execução, identifica desperdícios, problemas de gestão e riscos que muitas vezes poderiam ser corrigidos antes de produzir danos maiores. Na educação, acumulamos décadas de avaliações, com indicadores e informações que permitem saber, com razoável precisão, quanto os alunos aprendem, onde estão as maiores dificuldades, como essas dificuldades se distribuem entre regiões, redes de ensino e grupos sociais e como evoluem ao longo do tempo.
Não é pouca coisa, sobretudo para um país em desenvolvimento. Mas quem acompanha as políticas públicas sabe que, a despeito de sabermos cada vez mais, continuamos convivendo com muitos dos mesmos problemas. As avaliações educacionais se sucedem e voltam a mostrar deficiências conhecidas; auditorias identificam falhas que reaparecem mais adiante, em outros programas ou até nos mesmos; estudos são discutidos, recomendações são feitas e, passado algum tempo, uma nova avaliação encontra boa parte dos problemas ainda por resolver.
Seria injusto e falso concluir que as avaliações não servem para nada ou que muitas políticas não tenham melhorado. No entanto, é difícil negar que informações tecnicamente sólidas, muitas vezes produzidas pelo próprio Estado, encontram dificuldade para se traduzir em mudanças nas políticas avaliadas. Por que isso ocorre?
Nas duas conversas anteriores discutimos alguns limites do processo de avaliação que ajudam a entender essa dificuldade. Nesta última, quero examinar mais de perto se o próprio Estado dispõe das condições necessárias para usar os resultados das avaliações na revisão e correção das políticas.
O Estado aprendeu a avaliar …
No Brasil, avaliar políticas públicas deixou de ser uma atividade ocasional, realizada por pesquisadores externos ao governo ou por imposição de organismos internacionais, e passou a fazer parte da rotina de várias organizações do Estado. O progresso foi desigual, como quase tudo em um país federativo marcado por profundas e abrangentes diferenças.
Nas últimas décadas, o Tribunal de Contas da União tem sido o exemplo mais visível. Ao lado da fiscalização tradicional da legalidade e do uso dos recursos públicos, o TCU ampliou o espaço dedicado a auditorias que examinam o funcionamento dos programas, seus resultados, riscos e problemas de gestão. O Ipea, por sua vez, acumulou uma longa experiência de análise das políticas públicas e reúne quadros com conhecimento dos programas e capacidade para trabalhar com bases de dados cada vez mais amplas e sofisticadas. O Inep e a Capes consolidaram experiências particularmente importantes na produção de dados e na avaliação educacional, criando bases de informação que hoje permitem acompanhar com muito mais precisão o desempenho e as desigualdades em diferentes níveis do sistema de ensino. A Enap vem contribuindo para a formação de servidores e para a difusão de conhecimentos e instrumentos de monitoramento e avaliação dentro da administração pública.
Esses exemplos estão longe de esgotar o quadro. Ministérios e órgãos federais criaram equipes e unidades voltadas ao acompanhamento de programas; universidades ampliaram fortemente sua participação nas avaliações; estados e municípios desenvolveram experiências próprias, algumas bastante avançadas. Em certas áreas, como no caso da educação, a avaliação deixou de ser um evento extraordinário para integrar o próprio funcionamento da política.
Também melhoraram muito as condições materiais para avaliar. Hoje o Estado dispõe de bases administrativas, registros individualizados, séries históricas e capacidade de processamento de informações que simplesmente não existiam algumas décadas atrás. O desenvolvimento dos métodos e dos programas de análise ampliou ainda mais essas possibilidades. Para muitas políticas, hoje dispomos de condições técnicas para produzir informações razoavelmente confiáveis sobre o que está acontecendo.
Há muitas lacunas a preencher, mas as capacidades acumuladas são suficientes para concluir que a falta de conhecimento ou de competência técnica não explica o uso ainda limitado das avaliações. É preciso procurar a explicação em outro lugar.
… mas aprender não foi suficiente
As políticas públicas não existem fora da política. É por meio dela que se formam apoios, se definem prioridades, se aprovam recursos, se coordenam interesses e se sustentam programas ao longo do tempo. E, depois que a avaliação mostra a necessidade de mudar alguma coisa, é novamente por meio da política que essa mudança terá de ser feita. Ou não, como diria Caetano.
Uma boa avaliação pode identificar problemas, mostrar que determinados objetivos não foram alcançados e recomendar mudanças, mas, como vimos na primeira conversa, a evidência não decide por si mesma. O avaliador raramente tem autoridade para implementar as mudanças que recomenda. Essa tarefa cabe aos responsáveis pela política pública, que precisam lidar com orçamento, regras administrativas, compromissos assumidos, demandas dos beneficiários, pressões de grupos organizados e prioridades do governo. Reconhecer o diagnóstico não significa, portanto, que existam condições para agir sobre ele.
Além disso, quando a avaliação chega, essa política pública já tem uma história. Existem estruturas administrativas, equipes, contratos, recursos comprometidos e grupos que dela se beneficiam direta ou indiretamente. Programas são anunciados, apresentados como resposta a problemas relevantes e associados a governos e dirigentes. Rever, reduzir ou encerrar uma política pública não raramente significa contrariar interesses, e nessa hora a política eleitoral-partidária costuma pesar mais do que os argumentos técnicos.
A própria organização do Estado brasileiro contribui para aumentar as dificuldades. Uma avaliação pode ser produzida pelo TCU, pelo Ipea, por uma universidade ou por uma equipe especializada de um ministério, enquanto as providências dependem de outros setores e, não raramente, de mais de um nível de governo. Uma secretaria pode reconhecer o problema, mas não ter orçamento para enfrentá-lo; o gestor pode depender de mudanças legais que dependem dos políticos; a União pode identificar uma deficiência cuja correção está nas mãos de estados ou municípios. Em políticas complexas, todos podem concordar com o diagnóstico e ainda assim pouco acontecer, porque responsabilidades, recursos e instrumentos para agir estão distribuídos entre várias organizações.
Há também uma tensão entre avaliação, controle e gestão que não pode ser ignorada. Parte importante do avanço da avaliação no Brasil ocorreu junto com o fortalecimento dos mecanismos de controle. Mas, quando a avaliação é percebida principalmente como instrumento para apontar falhas e responsabilizar gestores, cresce o incentivo para justificar decisões, demonstrar conformidade e evitar riscos. O administrador público precisa prestar contas do que faz, mas também precisa ter espaço para reconhecer que uma política não está funcionando como previsto e modificá-la antes que o problema se torne maior. É difícil exigir inovação, experimentação e capacidade de correção em um ambiente no qual qualquer desvio pode ser tratado apenas como falha.
Alterar uma política pública mexe com recursos, oportunidades, benefícios e, muitas vezes, poder. Os interesses envolvidos nem sempre são ilegítimos e têm capacidade muito desigual de se fazer ouvir. Beneficiários de uma política existente sabem o que podem perder e tendem a reagir; os ganhos de uma mudança são frequentemente incertos, dispersos e futuros. A avaliação pode esclarecer as consequências das escolhas e tornar alguns problemas mais difíceis de ignorar, mas não resolve os conflitos nem retira dos políticos a responsabilidade pela decisão.
Por isso, ampliar a capacidade técnica de avaliação não assegurou o aproveitamento dos seus resultados. É preciso criar condições para que eles entrem no planejamento, no orçamento e na gestão e possam influenciar decisões enquanto ainda é possível corrigir rumos. Caso contrário, continuaremos produzindo boas avaliações, conhecendo cada vez melhor os problemas e nos surpreendendo quando uma nova rodada de estudos voltar a encontrar os mesmos problemas, no mesmo lugar.
Esse texto não reflete necessariamente a opinião da Unicamp.
Foto de capa:
