A atual avaliação quadrienal da pós-graduação (2021-2024) vai trazer informações sobre os impactos sociais de todos os programas do país. Essa quadrienal se junta à anterior, que já começou a captar essa informação dos programas.
Como virou consenso atribuir mais de 90% da produção científica brasileira à pós-graduação[1], convém examinar o que vem por aí em termos de impactos da pesquisa brasileira.
As 50 fichas de avaliação, uma de cada área de conhecimento criada pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) – e pelos pesquisadores que trabalham nos comitês da Capes –, trazem três conjuntos de indicadores que os programas devem atender, colocando seus números e textos a fim de que possam ser avaliados pelas respectivas comissões.
Esses três conjuntos de indicadores, com pesos iguais nas notas finais, são: programa, formação e impacto na sociedade. Os dois primeiros têm a ver com indicadores diretamente relacionados às funções que a própria Capes atribuiu historicamente à pós-graduação: produção científica, formação de pessoas e coerência e consistência dos programas.
O que nos interessa aqui é o terceiro grupo – o dos impactos na sociedade.
Examinando as 50 fichas de avaliação das áreas de conhecimento do quadriênio que será avaliado agora em 2025, vemos que esse terceiro grupo de indicadores é dividido em três subitens:
3.1 – Impacto e caráter inovador da produção intelectual em função da natureza do programa;
3.2 – Impacto econômico, social e cultural do programa;
3.3 – Internacionalização, inserção (local, regional, nacional) e visibilidade do programa.
Desses três subitens definidos para medir os impactos na sociedade, apenas o segundo (item 3.2) realmente pede indicadores de impactos social e econômico e é justamente esse que tem os menores pesos nas fichas de avaliação – ficam em média pouco abaixo de 30% desse grupo, o que representaria cerca de 10% do total dos indicadores de avaliação deste quadriênio.
Já os itens 3.1 e 3.3 raramente têm indicadores de impacto social e econômico. O primeiro (3.1) está relacionado ao impacto científico de publicações e o terceiro (3.3), com o alcance internacional, regional ou nacional da pesquisa.
Mesmo no item 3.2, algumas áreas detalham indicadores que, em qualquer manual ou guia metodológico de ciência, tecnologia e inovação (CT&I), não poderiam ser considerados de impacto econômico e social, como a “realização de conferências, escolas avançadas e workshops nacionais e regionais”. Tudo bem. Também considero que esse é um indicador importante, mas ele já tem lugar garantido em outros itens das fichas de avaliação.
É interessante notar que as áreas entendem impacto socioeconômico de formas muito particulares e distribuem os pesos desses indicadores também de forma particular. Áreas como as de filosofia, história e ciências da religião e teologia, por exemplo, dão pesos maiores para o item 3.2 que as de astronomia e física e de matemática.
Todas as áreas do conhecimento, sem exceção, poderiam desenvolver mais e melhores indicadores de impacto socioeconômico. Há exemplos no mundo. É o que vem ocorrendo em vários países há alguns anos.
Um artigo publicado neste ano de 2025 na revista Research Evaluation faz uma análise de como três países estão avaliando sua pesquisa de forma sistemática e com indicadores de impacto social e econômico, às vezes também ambiental e cultural e de outras dimensões. São eles: Reino Unido, com o Research Excellence Framework (REF de 2014 e 2021); Austrália, com o Engagement and Impact Assessment (EI de 2018); e Hong Kong, com o Research Assessment Exercise (RAE, de 2020). Esses indicadores são analisados para entender o que está sendo descoberto como impactos da pesquisa científica e tecnológica daqueles países.
É bem interessante. Vejamos.
Os três países têm modelos semelhantes de avaliação, condicionando ou não performance com financiamento. O estudo feito pelos autores do artigo acima analisou 7.275 estudos de impacto dos três sistemas de avaliação dos respectivos países.
A pergunta de pesquisa por eles proposta foi: “Como a valorização da pesquisa é expressada nos três países que possuem modelos similares de avaliação de impacto?”.
Por meio de uma ferramenta de inteligência artificial (IA), os autores categorizaram quatro temas de impacto socioeconômico: a) em políticas, b) na mídia, c) em aplicações e d) em impactos econômicos. O Quadro 1 a seguir apresenta a frequência com que esses temas aparecem nas avaliações.
Quadro 1 – Frequência dos temas de impacto nos países estudados
Como se pode notar, o espectro é amplo e revela como a pesquisa desses países vem endereçando impactos além do acadêmico.
Quando analisam a frequência relativa desses indicadores (ou tópicos) de impacto, o resultado mostra prevalência do tema Application (aplicações). O Quadro 2 detalha os indicadores de cada tema de avaliação.
Quadro 2 – Indicadores de impacto dos quatro temas de impacto
Como se vê no Quadro 2, Application é de longe o tema que os pesquisadores e suas instituições mais endereçam os impactos de suas pesquisas. Talvez porque seja um tema genérico que comporta uma ampla variedade de outcomes. Como se vê no Quadro 3, Application é de longe o tema que os pesquisadores e suas instituições mais endereçam os impactos de suas pesquisas.
Quadro 3 – Distribuição dos impactos por subtemas do tema Application
Informar procedimentos, práticas e protocolos; informar diretrizes e estratégias; e mudar atitudes e comportamentos são os indicadores mais endereçados. Em seguida, vem contar com serviços ou produtos em uso pela sociedade. O item menos frequente é o uso de resultados de pesquisa para finalizar/terminar procedimentos, práticas ou protocolos.
Se juntarmos indicadores que têm sobreposição, podemos dizer que os efeitos mais frequentes dos resultados de pesquisas relatados nos três casos têm sido “criar evidências e informação que entram em uso pela sociedade”.
Embora com menor frequência detectada no estudo, os demais temas, de impactos em políticas, econômicos e na mídia, como se vê no Quadro 2, também se destacam e são usados com intensidades diferentes nos países, revelando, segundo o estudo, características e preferências culturais dos países.
As práticas vêm monstrando que é perfeitamente possível medir impactos além dos acadêmicos com indicadores relativamente convincentes validados do ponto de vista científico e do contexto no qual ocorrem.
Mudar os rumos de uma avaliação tão estruturada, rigorosa e consolidada como é a da Capes toma tempo. Por razões óbvias, mas principalmente porque envolve aprender e aceitar coisas novas e abandonar coisas cristalizadas, especialmente aquelas que criaram hierarquias no mundo da ciência.
Quase todos concordam que vale conhecer os impactos da pesquisa na sociedade, até porque impactos não faltam. Mas, na hora de fazer, poucos levam adiante. Há uma questão de poder nessa estória, que funciona como um freio à mudança.
As duas últimas avaliações quadrienais, sobretudo a atual (2021-2024), permitirão entender se e o que está sendo mudado no modelo de avaliação da Capes. Para tanto, precisaremos de uma avaliação da avaliação.
Tenho certeza de que não é a intenção, mas é preciso tomar cuidado para que alguns indicadores das fichas de avaliação não venham a ser interpretados como “impactwashing”.
Este texto não reflete, necessariamente, a opinião da Unicamp.
[1] Esse número, mencionado no artigo McManus et al. (2021), precisaria ser revisitado. É sabido que os programas de pós-graduação relatam como sendo seus toda possível publicação que exista dos docentes, pesquisadores e até mesmo estudantes. Por hipótese, ainda a comprovar, é possível que os números apareçam inflados.
