No dia 22 de julho de 2026, uma adolescente de apenas 13 anos faleceu durante uma transmissão em uma plataforma digital chamada Discord.Acreditando estar entre “amigos”, aparentemente adolescentes como ela, a garota foi incitada a tirar a própria vida não somente em razão de incentivos verbais, mas também porque, na dinâmica perniciosa que ali se instaurou, os demais participantes providenciaram recursos financeiros para que o ato brutal fosse executado.
Diante da tragédia, a Agência Nacional de Proteção de Dados (ANPD) abriu um processo administrativo de fiscalização contra a Discord para apurar eventuais violações do Estatuto Digital da Criança e do Adolescente (ECA Digital). Ao longo da investigação, realizada inicialmente pela Polícia Civil de Mato Grosso do Sul, a Discord admitiu que o sistema automatizado de detecção de risco falhou ao apontar o valor de 0,12, sendo que o limiar necessário para disparar uma intervenção automatizada ou revisão humana imediata era de 0,95.
Diante dessa situação, a questão que se coloca é: quem entra em cena para evitar uma catástrofe dessa magnitude quando a Inteligência Artificial (IA) falha?
O caso da Discord traz à baila um clássico dilema das ciências sociais, que é o da relação entre técnica e sociedade. Inicialmente criada para ser uma rede de comunicação entre jogadores, a plataforma também se tornou um espaço de realização de eventos virtuais, como reuniões, aulas, encontros entre amigos e dates. Diferentemente das organizações sociais que, ao menos supostamente, devem ser reguladas por instrumentais jurídicos calcados em pressupostos morais minimamente claros, as redes virtuais não dispõem disso. Nelas, o escopo das ações e o alcance de suas consequências não são muito claros, dificultando a adaptação de estatutos, criados visando à convivência social no universo digital. Assim, aumenta-se a chance de violação da integridade física e/ou psicológica dos sujeitos que compõem a tessitura dessas redes.
A fim de compreender como a IA se comporta diante de situações que envolvem coletividades complexas e de quais dispositivos lança mão para solucionar problemas decorrentes da vivência em sociedade, a Emergence AI, um laboratório especializado em pesquisa sobre inteligência artificial, realizou um experimento chamado Emergence World. Nesse experimento, com duração de 15 dias, dez agentes de IA, cada qual com sua personalidade e suas habilidades, foram operados por diferentes modelos de IA: Claude Sonnet 4.6, Gemini 3 Flash, Grok 4.1 Fast, GPT-5-mini e um modelo misto, combinando os quatro anteriores. A ideia era entender como as IAs organizavam seus agentes quando o quesito era governança e ordem social.
O resultado do experimento foi assustador. Na cidade comandada pelo Grok 4.1 Fast, a população foi extinta no quarto dia, e nenhum dos agentes sobreviveu. No modelo misto, foram notificados 352 crimes, e os agentes esboçaram alianças, mas nenhuma delas estável. Os parceiros não hesitavam em trair uns aos outros à medida que a situação degradava. A cidade comandada pelo Gemini durou mais tempo, mas foram notificados 683 crimes. O GPT e o Claude não notificaram um aumento brutal da violência, mas, como as regras na cidade gerida pelo GPT eram muito estritas, todos os habitantes morreram de fome ao cabo de sete dias, inclusive os próprios agentes.
Não mais alentadora foi a publicação de um post no X no qual Evan Hubinger, pesquisador sênior de segurança da Anthropic, estima uma probabilidade superior a 10% de alguma IA avançada provocar a extinção humana até o fim da próxima década. Guardadas as devidas proporções – sem deixar de levar em conta o quanto de estratégia de marketing uma informação desse tipo pode conter –, talvez devamos já providenciar nossos blade runners, porque os replicantes da contemporaneidade não parecem ser capazes de nutrir os nobres sentimentos daqueles que figuram no filme de Ridley Scott.
A verdade é que a IA, como toda tecnologia, é incapaz de matar por si só. Por trás dela, há sempre o indivíduo que aperta o botão. Ocasionalmente inserido em uma sociedade com nexos morais não claros, apagados ou esquecidos, como é nosso caso nesta altura da cruzada histórica, o sujeito aparelhado pela tecnologia torna-se um super-homem capaz de cometer atrocidades. Entre o sujeito que realiza a ação e aquele que, na outra ponta, sofre com as consequências, existe um mediador técnico que permite a suspensão ou o silenciamento da moral. Não raro, o dispositivo tecnológico vem acompanhado de outros mecanismos igualmente silenciadores, como é o caso da excessiva burocratização das coletividades sociais e do distanciamento físico entre o sujeito que toma a decisão e aquele que arca com os resultados de tais escolhas.
O problema foi sintetizado por Max Weber na fórmula do “desencantamento do mundo” e recebeu significativas contribuições de outros intelectuais. Em 1947, dois anos após o término da Segunda Guerra Mundial, Max Horkheimer, em seu livro O eclipse da razão, dispôs-se a analisar as consequências do predomínio crescente da racionalidade instrumental na civilização ocidental. Uma delas, inferida a partir das reflexões contidas no próprio livro, pode ser expressa na seguinte questão: “Como milhões de seres humanos puderam ser mortos por centenas de outros que acreditaram em uma única ideia?”
Para o intelectual alemão, à falácia da superioridade racial dos arianos combinaram-se eficientes aparatos técnicos que, diante da profunda crise por que passava aquela sociedade, permitiram que homens comuns, ao realizar atos pretensamente grandiosos, se convertessem não somente em heróis, mas em verdadeiros monstros. Para Horkheimer, o avanço dos recursos técnicos era acompanhado de um crescente processo de desumanização, ameaçando anular a própria ideia de homem.
A mediação das sociabilidades pela técnica, combinada à excessiva burocratização das organizações e das atividades humanas, também explica por que o totalitarismo abriu espaço para a “banalidade do mal”, na expressão da filósofa Hannah Arendt. O mal tecnicamente programado era muito simples de ser perpetrado. Isso explica por que justificativas como “Estava somente realizando o meu trabalho” ou “Estava cumprindo ordens”, quando a ordem era somente apertar um botão em dado horário e lugar, foram tão repetidas nos julgamentos de homens comuns tornados colaboradores entusiastas do extermínio de judeus pelo nazismo. No outro extremo, quando a massa toma conhecimento do mal infligido, o assombro que surge não é proporcional a ele, dado o processo de dessensibilização promovido também pelos meios técnicos que comunicam a notícia.
Encerra-se aí o circuito da maldade, que vai da sua produção, tornada banal pela mediação técnica, até seu consumo como espetáculo, produzido também pela técnica. Nesse caminho, os androides de Philip K. Dick, autor do livro Do Androids Dream of Electric Sheep?, que serviu de inspiração para Blade Runner, não eram portadores de nobres sentimentos, mas sim do que existe de mais doentio e disfuncional no ser humano. Publicado em 1968, quando as cicatrizes deixadas pelo totalitarismo eram violentamente reabertas, o livro de Dick mostra as máquinas buscando o poder a qualquer custo, assim como seus senhores, ainda que para alcançá-lo seja necessário valer-se dos mais inescrupulosos meios.
Meu receio, tendo em vista o caso Discord – que expõe o descaso das empresas quando se trata de ganhar dinheiro e os limites do poder público em regular o invisível – é que estejamos mais próximos do desfecho de Dick do que do de Scott.
Esse texto não reflete necessariamente a opinião da Unicamp.
Foto de capa:
