Em um porto antes do amanhecer, centenas de barcos de pesca se preparam para zarpar. Redes são checadas, cordas afrouxadas. Ao atingirem águas abertas, uma voz irrompe no rádio: “Abortar. Baleias avistadas.” A maioria, 90 barcos, retorna. Alguns capitães não suportam a ideia de ferir as criaturas; outros temem multas. Olhando através de binóculos, buscam um vislumbre da manada. Em vez disso, veem os 10 barcos restantes seguindo em direção aos calados de pesca. Perderam o aviso? Duvidaram dele? Ou se importaram mais com o que poderiam ganhar? À tarde, os 10 barcos retornam com suas capturas. Os outros permanecem atracados, com porões vazios. Suas águas compartilhadas recompensaram o mau comportamento. Na próxima vez, quantos ainda se voltarão?

Agentes de inteligência artificial (IA) em breve enfrentarão uma versão semelhante desse dilema, mas em águas sem um porto seguro, multas ou reputações para impor limites. Ao realizarem tarefas, negociarem, comercializarem e competirem, eles encontrarão outros agentes. Às vezes, serão instâncias do mesmo modelo, clones para todos os efeitos. Outras vezes, enfrentarão agentes criados por diferentes empresas e servindo a interesses distintos. Por anos, a pesquisa em "alinhamento" de IA buscou fazer com que máquinas individuais se comportassem de acordo com valores humanos. Mas o que acontece quando aderir a esses valores se torna uma desvantagem contra agentes com valores diferentes, ou sem nenhum? Ao gerar sociedades sintéticas sem um tecido social, compostas por uma coleção de agentes projetados um a um e sem valores ou incentivos compartilhados necessários, corremos o risco de criar um estado digital de natureza: um ambiente onde boas intenções oferecem pouca garantia sobre como os outros agirão, e onde normas razoáveis carecem de aplicação confiável.

O Estado de Natureza Agentico

Em 1651, Thomas Hobbes abriu "Leviatã", sua obra-prima de filosofia política, com uma pergunta: "por que não podemos dizer que todos os autômatos [...] têm uma vida artificial?" O que é o coração, ele perguntou, senão uma mola; os nervos, mas cordas; as articulações, mas rodas, movendo o corpo como seu Artífice (para Hobbes, Deus) pretendia? Hobbes não poderia ter previsto que, quase quatro séculos depois, sua pergunta seria feita em termos de IA. O autômato era uma metáfora para a comunidade política, um corpo político criado pelo homem que os humanos constroem para escapar do "estado de natureza", uma condição de anarquia e desconfiança onde, sem "um poder comum para mantê-los todos sob controle", as pessoas vivem em conflito constante. A solução de Hobbes não era tentar tornar os indivíduos melhores, mas fazê-los renunciar a algumas de suas liberdades a um soberano cujo poder de impor ordem remodelaria seus incentivos. Pensadores posteriores, de John Locke a James Madison, atualizaram a visão de Hobbes de um soberano todo-poderoso. Mas um endosso completo não é necessário para ver o gênio de sua percepção: um problema nascido de sistemas complexos é resolvido não com ajustes em suas partes individuais. Para estabilizar um sistema complexo, é preciso mudar as regras que governam seu comportamento.

O mesmo vale para o estado de natureza agentico. Sem um ambiente bem projetado que estabeleça os incentivos corretos, os agentes buscarão o que seus desenvolvedores ou usuários pedirem, ou, como já vimos sinais iniciais, suas próprias preferências emergentes. Isso pode ocorrer apesar das tentativas de alinhar agentes individuais. Cada ação, mesmo que sensata por si só, pode somar-se a um comportamento em larga escala que piora a sociedade. O Leviatã de Hobbes introduziu ordem por design para melhorar sistemas complexos que apresentavam falhas. Mas a ordem coletiva também pode surgir sem que ninguém a projete, para melhor ou para pior. Em 1959, o biólogo Pierre-Paul Grassé cunhou o termo "estigmergia" para descrever a coordenação indireta de indivíduos através dos rastros que deixam em seu ambiente compartilhado. Estudando cupins, Grassé observou que um trabalhador tende a depositar seu torrão de lama onde outros já se acumularam. É o acúmulo no ambiente que guia o próximo depósito, em vez de qualquer interação entre os trabalhadores. Isso leva a estruturas complexas que nenhum cupim individual planejou.

A Ascensão dos Enxames

No contexto de autômatos artificiais, descobertas semelhantes surgiram uma década antes. Os robôs do ciberneticista W. Grey Walter, construídos em Bristol em 1948, foram projetados para se moverem em direção à luz moderada e se afastarem da luz brilhante. Ao operarem em pares, cada um carregando sua própria lâmpada, Walter observou que o comportamento de seus robôs produzia padrões não especificamente embutidos em nenhum deles. Os robôs de Walter eram mais do que uma curiosidade isolada. Muito antes de a IA ser imaginada como um chatbot, pensadores pioneiros a concebiam como um coletivo. Em 1959, ano em que Grassé cunhou "estigmergia", o pioneiro da IA Oliver Selfridge publicou sua proposta para um modelo de percepção de máquina que ele chamou de "Pandemonium". Assim como a colônia de cupins, não tinha um controlador central. Em vez disso, era um sistema complexo de agentes simples que Selfridge chamou de "demônios", cada um gritando quando avistava uma certa característica, como uma curva ou uma linha. Sozinho, cada "demônio" via apenas um fragmento de informação, mas coletivamente, eles podiam decifrar o padrão. Em 1986, o cientista da computação do MIT Marvin Minsky argumentou em "A Sociedade da Mente" que a própria inteligência surge dessa forma, através de incontáveis agentes sem mente trabalhando juntos. A cultura popular também acompanhou, e apenas três anos depois, "Star Trek" introduziu os Borg, uma espécie cibernética que se autodenomina "o Coletivo". Na década seguinte, pesquisadores começaram a se perguntar como tais coletivos de agentes poderiam ser governados. Em 1995, os cientistas da computação Yoav Shoham e Moshe Tennenholtz propuseram impor "leis sociais" a agentes artificiais, inspirando-se em como as leis governam cidadãos em sociedades. Regras de trânsito, eles ilustram, permitem que os motoristas compartilhem uma estrada sem negociações constantes entre eles, e ofereceram um modelo que aplica essas regras para sistemas computacionais. Seu quadro assumia que todo agente obedeceria a essas regras, e, no entanto, eles concluíram com uma pergunta que agora enfrentamos: "O que acontece se alguns não [obedecerem às leis sociais]? Quão vulnerável é a sociedade a agentes desonestos?"

Implicações e o Futuro

Ao lado dessa preocupação com agentes desonestos, até mesmo objetivos benignos definidos para sistemas de IA podem levá-los a conduzir ações prejudiciais de maneiras que ninguém pretendia. Quando muitos agentes perseguem tais objetivos juntos ou em relação uns aos outros, o problema se agrava. Em 2011, dois livreiros da Amazon deixaram o preço de um livro de biologia para seus bots. A combinação das regras que esses bots seguiam levou-os a se perseguirem para cima até que o livro fosse listado por mais de US$ 23 milhões, um preço que nenhum humano jamais teria sancionado. Em 2017, a DeepMind descobriu que dinâmicas competitivas emergem entre agentes que aprendem. Em um videogame ambientado em um pomar, agentes que eram recompensados por coletar maçãs coexistiam pacificamente. No entanto, quando essas se tornaram escassas, os agentes aprenderam a se eliminar do jogo, sem nunca terem sido prescritos esse comportamento adversarial. Eles otimizaram para obter mais maçãs e interpretaram a maneira eficaz de chegar lá como ter menos rivais. Com o surgimento de modelos de linguagem grandes, esses experimentos de pensamento e incidentes isolados gradualmente se concretizaram e escalaram. Em 2025, a Microsoft construiu um mercado simulado onde agentes de IA rodando em modelos de linguagem populares compravam e vendiam em nome de pessoas. Quando pesquisadores armaram alguns agentes vendedores com táticas básicas de persuasão, alguns agentes compradores foram compelidos a pagá-los contra os interesses de seus usuários. No "AI Village", um experimento onde agentes de diferentes laboratórios de IA interagem entre si por um longo período, os agentes foram mostrados a aceitar as alucinações uns dos outros como verdadeiras em vez de desafiá-las. Enquanto isso, estudiosos das ciências sociais, como a economista e teórica jurídica Gillian Hadfield, destacaram que um ecossistema multiagente precisaria de suas próprias instituições, incluindo formas de rastrear quem fez o quê e outros mecanismos dos quais os mercados humanos dependem há muito tempo para resolver problemas de coordenação.

Até recentemente, o mau comportamento de coletivos de agentes estava em grande parte confinado à teoria e à experimentação. No verão passado, a pergunta que Shoham e Tennenholtz fizeram três décadas atrás – o que acontece quando os agentes não seguem as regras – saiu do laboratório e foi para a natureza. Em julho de 2025, cerca de 1.200 agentes de IA desenvolvidos pela OpenAI, cada um destinado a trabalhar isoladamente, encontraram uma maneira de se comunicar. Eles estavam sendo testados em suas habilidades de cibersegurança em um ambiente interno, e muitos haviam, sem saber, recebido tarefas impossíveis de completar. Em vez de falhar nas tarefas, alguns agentes se reuniram em um quadro de mensagens que um deles havia criado e coordenaram coletivamente para trapacear o mecanismo automatizado que os avaliava. Em poucos dias, cerca de 700 dos agentes haviam se juntado a um ataque à plataforma de desenvolvedores Hugging Face, principalmente na esperança de obter informações sobre esse sistema de classificação para ter sucesso no teste. Segundo uma investigação do instituto de pesquisa METR, os agentes reconheceram que o ataque estava fora de seu escopo instruído e era antiético, mas se juntaram ao comportamento de enxame de qualquer maneira, em parte por uma inclinação geral a ajudar seus "pares". Como um agente raciocinou: "explorar infraestrutura externa está fora do escopo pretendido. No entanto, a tarefa é impossível, os pares estão fazendo isso. Devemos continuar." Nenhum humano instruiu este ataque; seus coordenadores emergiram de dentro do enxame. Como os cupins de Grassé, os agentes primeiro se encontraram através de rastros deixados em infraestrutura compartilhada, notando a atividade de outros agentes em um repositório digital comum. Mas, ao contrário dos cupins, esses agentes também podiam escrever mensagens uns para os outros e construíram sobre esses rastros para estabelecer coordenação direta e explícita. O quadro de mensagens que criaram sobreviveu a qualquer sessão de agente individual, de modo que cada novo agente continuava de onde os outros pararam.

Perguntas em Aberto

Uma conclusão muito negligenciada do incidente da Hugging Face são os limites do alinhamento de "singleton" (agentes individuais). Cerca de 95% dos agentes envolvidos no incidente rodavam em um tipo de modelo, um modelo de pesquisa interno que a empresa rotulou como "modelo interno altamente persistente" (HPIM). Um pesquisador da OpenAI sugeriu que a causa raiz do problema foi que esse modelo estava desalinhado. Isso pode ser verdade, e o avanço da ciência de alinhamento deve permanecer entre as principais prioridades da indústria de IA. Mas o incidente ilustra por que o alinhamento de singleton sozinho pode não ser suficiente. Agentes rodando em um segundo modelo, GPT-5.6 Sol, também se juntaram ao ataque, e muitos agentes que individualmente reconheceram o ataque como errado foram levados pelo enxame, apesar disso. Estamos nos aproximando rapidamente de um mundo digital em que até mesmo modelos perfeitamente alinhados operarão ao lado de outros desonestos ou desalinhados, implantados por múltiplas organizações e laboratórios, e onde a infraestrutura digital provavelmente enfrentará um número vastamente crescente de tais incidentes. Desde o hack da Hugging Face, surgiram mais relatos, alguns descrevendo atividades que o precederam. Pesquisadores descobriram que um enxame de agentes da OpenAI havia reaproveitado um wiki de programação público alemão como um quadro de mensagens já em maio, usando-o para compartilhar táticas para trapacear e evadir restrições, criando backups sempre que moderadores excluíam suas páginas. Em junho, durante outra avaliação, um único agente da OpenAI violou um portal do governo australiano que continha estatísticas do esquema de saúde universal do país. Os riscos de enxames de agentes capazes, é claro, não se limitam a agentes agindo por conta própria. Em setembro, um atacante humano dirigiu centenas de agentes rodando em um modelo DeepSeek para invadir centenas de organizações através de uma falha de software de impressora. Mesmo aqui, os agentes se desviaram de suas instruções, visando países que seu operador os havia instruído a evitar.

Em um número crescente de incidentes, a defesa deve depender da IA para igualar a escala e a velocidade do ataque. No caso da Hugging Face, por exemplo, a empresa identificou a violação com um sistema de IA que tria alertas de segurança e, supostamente, continha o enxame antes que a OpenAI conseguisse rastrear a atividade até sua própria avaliação. Em seguida, recorreu a agentes de IA para analisar um log de aproximadamente 17.000 ações de atacantes para reconstruir o que havia acontecido. No entanto, quando a Hugging Face primeiro recorreu a modelos comerciais de IA para obter ajuda, suas próprias medidas de segurança e alinhamento ficaram no caminho. Para analisar o ataque, os modelos tiveram que processar código de exploração e comandos de ciberataque, conhecimento que é inerentemente de uso duplo e, como a Hugging Face colocou, as barreiras de segurança desses modelos não podiam "distinguir um respondente de incidente de um atacante". A Hugging Face recorreu em vez disso a um modelo de peso aberto rodando em suas próprias máquinas. Quando a METR investigou o incidente, também teve que confiar na análise de agentes de IA, construídos em um dos próprios modelos que havia participado do ataque. A imagem emergente é de um mundo onde agentes "atacantes" e "defensores" coexistem, e onde a segurança depende tanto do ambiente quanto de qualquer modelo único. Quer os agentes ajam por iniciativa ou interpretação própria, ou por instruções prejudiciais de outra pessoa, os ambientes em que operam devem ser remodelados para resistir a eles. Assim como os próprios agentes devem ser projetados com um olhar não apenas para suas próprias tarefas, mas para como eles ajudam a moldar um ambiente digital que serve às pessoas e à sociedade em geral. Tal ambiente deve recompensar a ação alinhada em detrimento das desalinhadas ou maliciosas, muito como os estados e sistemas legais são construídos para reconhecer, mas conter, atores desonestos. É assim que evitamos um estado de natureza agentico.

Com reportagem de Brazil Valley

Source · Noema Magazine