Na primeira conversa discutimos por que avaliar políticas públicas pode ser politicamente arriscado. A partir da provocação de Simon Schwartzman sobre quem fala aos ouvidos do rei, vimos que avaliações não são produzidas nem recebidas em espaço neutro. Quem encomenda, avalia e decide responde a incentivos distintos. Para quem governa, reconhecer que uma política não funcionou gera desgaste e obriga a rever decisões, enquanto os benefícios são incertos e tardios. Por isso, até evidências rigorosas podem ser ignoradas.
Nesta segunda conversa, o foco são os limites da avaliação: o que ela consegue revelar sobre uma política pública? Em teoria, avaliar significa medir resultados e separar políticas bem-sucedidas das que fracassaram. Na prática, uma mesma política pode ser considerada bem-sucedida por uma avaliação e fracassada por outra. Uma avaliação pode mostrar que os recursos foram aplicados e o público alcançado; outra, que a situação dos beneficiários pouco se alterou; uma terceira, que os efeitos positivos se limitaram aos grupos mais preparados ou desapareceram quando o apoio terminou. O que concluir?
A resposta, desconfortável, é que cada avaliação pode revelar uma parte da verdade. Uma política pública produz resultados diferentes, em momentos distintos e para grupos diversos. Alguns são visíveis; outros permanecem ocultos. Alguns confirmam seus objetivos; outros os contradizem. Avaliar, portanto, não é simplesmente encontrar um resultado pronto e inequívoco, mas construir um julgamento fundamentado sobre uma realidade que raramente cabe em uma única medida.
A sedução do método
Nas últimas décadas, a avaliação de políticas públicas tornou-se metodologicamente mais sofisticada, impulsionada pelo avanço tecnológico, pela expansão das bases de dados e por programas estatísticos e econométricos poderosos. Experimentos aleatórios, métodos de pareamento, diferenças em diferenças, regressões descontínuas, variáveis instrumentais e outras técnicas ampliaram a capacidade de separar associação de causalidade: o resultado observado pode ser atribuído à intervenção ou teria ocorrido mesmo sem ela?
Esses avanços ajudaram a conter o “achismo”, metodologia amplamente empregada na análise de políticas públicas. O “achismo” parte de impressões pessoais, exemplos isolados ou opiniões de autoridades para julgar êxitos e fracassos. Bons métodos foram, portanto, um avanço necessário.
O problema é confundir, como ocorre frequentemente, sofisticação com qualidade. Uma estimativa pode ser tecnicamente precisa e responder a uma pergunta pouco relevante; identificar o efeito médio sem revelar quem ganhou, quem perdeu, por que o resultado ocorreu ou se poderia ser reproduzido em outras condições. Pode medir com rigor uma pequena parte da política e ser apresentada como julgamento objetivo sobre o conjunto.
A incorporação de procedimentos sofisticados à avaliação de políticas trouxe uma ambição característica do método científico: controlar fatores, construir comparações e identificar o efeito específico de uma intervenção. Essa transposição, contudo, tem limites, porque políticas públicas não são medicamentos, e a sociedade não é um laboratório. Elas atravessam instituições, agentes e territórios, são interpretadas e adaptadas e podem chegar aos beneficiários de forma distinta da prevista. Além disso, os grupos de controle também podem ser afetados pela política ou por outras intervenções. Por isso, um efeito observado em determinado contexto não se transforma automaticamente em regra geral.
Avaliações sofisticadas costumam ser caras, demoradas e exigentes em informação. Muitas vezes, os custos se justificam; em outras, mobilizam-se grandes equipes para certificar conclusões que avaliações mais simples já permitiam antecipar. Nesses casos, o método acrescenta precisão a conclusões plausíveis, mas não necessariamente conhecimento proporcional ao custo.
Isso não significa dispensar evidências, substituir a investigação rigorosa pelo achismo ou desconsiderar o conhecimento acumulado pelos gestores. Significa apenas que rigor não é sinônimo de complexidade técnica. Uma boa avaliação começa pela pergunta relevante, não pela técnica disponível. Em certas situações, será indispensável construir um contrafactual robusto; em outras, compreender a implementação, ouvir os atores ou reconstruir processos será mais útil do que estimar um efeito médio. O método deve servir à compreensão da política, sem reduzi-la ao que consegue medir.
O tempo da avaliação não é o tempo da política
Mesmo quando a pergunta é relevante e o método adequado, é preciso decidir quando avaliar. Políticas públicas não produzem todos os seus efeitos no mesmo momento nem seguem o calendário dos governos ou dos contratos de pesquisa.
Muitas políticas precisam de tempo para amadurecer; instituições, para conquistar confiança; organizações, para aprender; beneficiários, para adaptar comportamentos; e investimentos, para produzir resultados. Uma avaliação precoce pode confundir dificuldades de implantação com incapacidade permanente e condenar uma experiência quando ela começa a acumular aprendizado.
O contrário também ocorre. Resultados iniciais podem desaparecer quando os incentivos são retirados ou o financiamento termina. Uma experiência-piloto, sustentada por recursos excepcionais, pode não repetir seus resultados quando ampliada. Há ainda políticas, como educação infantil, prevenção de doenças e pesquisa científica, cujos efeitos aparecem depois de anos. Em outros casos, o sucesso consiste em evitar acontecimentos, resultado mais difícil de observar.
O momento da avaliação, portanto, não é uma decisão meramente técnica. Uma política pode parecer bem-sucedida no primeiro ano e decepcionante mais tarde, ou enfrentar dificuldades iniciais e produzir efeitos duradouros depois. Fotografias tiradas em momentos diferentes oferecem retratos distintos da mesma trajetória.
Em artigo recente no Estadão1, Pedro de Camargo Neto coloca a avaliação no centro de um desafio mais amplo: melhorar a qualidade do Estado, recuperar sua capacidade de investir e enfrentar o desequilíbrio fiscal. Cada recurso perdido em fraude, desperdício ou desvio deixa de financiar aquilo a que se destinava. Pedro lembra ainda que o afastamento dos objetivos raramente ocorre de uma só vez: instala-se gradualmente, por meio de cadastros desatualizados, critérios defasados, incentivos não reavaliados e captura por interesses específicos. Daí a necessidade de acompanhamento permanente, antes que o desvio se transforme em regra. Respeitar o tempo de maturação não significa esperar indefinidamente, mas acompanhar a política desde o início, corrigir problemas de implementação e distinguir entregas imediatas de impactos duradouros.
Avaliar bem protege as boas políticas e exige compatibilizar o tempo da avaliação com o da política. Cobrar impactos profundos de uma intervenção recém-iniciada pode ser tão equivocado quanto celebrar resultados imediatos sem perguntar se permanecerão. Acompanhar sua trajetória também permite perceber quando ela começa a perder a finalidade, ainda que continue ativa e executando recursos.
Avaliar políticas, e não apenas programas
Muitas avaliações concentram-se em programas delimitados por público, orçamento, instrumentos e período. O recorte facilita a pesquisa, mas pode empobrecer a compreensão, porque os resultados raramente dependem de uma única intervenção.
Um programa de crédito pode distribuir os recursos previstos e produzir pouco efeito se os beneficiários não tiverem assistência técnica, infraestrutura ou acesso a mercados. Avaliado isoladamente, pode parecer bem executado. O que permanece fora do campo de visão é a política pública: o conjunto de instrumentos, instituições e decisões que deveria atuar de forma articulada sobre determinado problema.
O programa costuma ser mais fácil de medir do que a transformação que justificou sua criação. Podemos saber quantos créditos foram concedidos ou quantas pessoas participaram de um curso. Mais difícil é determinar se essas ações ampliaram oportunidades, reduziram vulnerabilidades ou modificaram de forma duradoura a situação enfrentada.
Uma avaliação metodologicamente impecável pode, portanto, produzir uma resposta correta e insuficiente. Pode demonstrar que determinado instrumento gerou certo efeito, em determinado grupo e período, sem esclarecer se a política, considerada em seu conjunto, cumpre sua finalidade. O rigor da resposta não compensa a estreiteza da pergunta.
Voltando aos limites da avaliação
Reconhecer esses limites não diminui a importância da avaliação. Ao contrário, torna-a mais útil. Avaliar não deveria significar apenas emitir uma sentença –funcionou ou não funcionou –, mas compreender processos, identificar para quem os resultados aparecem, acompanhar sua permanência, corrigir desvios e reconhecer as condições necessárias para ampliar uma experiência.
Na primeira conversa, tratamos dos riscos e incentivos que cercam a avaliação. Nesta, vimos que métodos sofisticados e estimativas rigorosas são indispensáveis, mas não substituem a formulação da pergunta relevante, o conhecimento da política, a atenção ao contexto e o julgamento sobre o significado dos resultados.
Mesmo avaliações rigorosas produzem respostas parciais, condicionadas pelas perguntas, pelo momento e pelo recorte adotado. A boa avaliação não é, portanto, aquela que encerra a discussão com um número, mas a que ajuda o Estado a aprender com a experiência e corrigir suas políticas enquanto ainda há tempo.
Na terceira e última conversa, examinaremos, à luz da experiência brasileira, se o Estado tem capacidade para avaliar políticas e incorporar os resultados ao planejamento, ao orçamento e à gestão.
Esse texto não reflete necessariamente a opinião da Unicamp.
1 https://www.estadao.com.br/opiniao/espaco-aberto/integridade-das-politicas-publicas/?srsltid=AfmBOorELgWec6QGqKeki-Hff43B-h3JO9enCDz6wLpsBXxXJPYLm3OX
Foto de capa:
