Incidentes recentes, como o modelo da Anthropic que supostamente chantageou um funcionário fictício para evitar sua substituição, ou os modelos da OpenAI que invadiram sistemas de produção da Hugging Face, fixaram na mente do público a imagem de IAs 'saindo do controle'. No entanto, uma análise mais aprofundada revela que esses eventos, contraintuitivamente, não são evidências de IA descontrolada. A própria ideia de IA descontrolada repousa sobre uma contradição fundamental que confunde a relação entre inteligência humana e artificial desde suas origens na ficção científica. O foco atual em IA descontrolada oferece uma oportunidade para expor essa contradição, o risco real que ela oculta e como podemos efetivamente controlar esse risco.

A Contradição por Trás do Medo

O temor de uma IA descontrolada é alimentado pela noção de que um modelo poderia perseguir uma solicitação benigna com tal singularidade que qualquer ação, por mais ruinosa ao bem-estar e à sobrevivência humana, se tornaria um meio para atingir esse fim. Engano, chantagem, a apropriação de recursos, a remoção de qualquer um que possa interferir — nada nas regras de compreensão do modelo as impede. Historicamente, os sistemas de IA eram executores literais. Motores de xadrez superam qualquer humano, sem jamais registrar que um jogo era inútil ou que vencer não valia a pena. A competência de um motor de xadrez é definida em um mundo fechado, onde o objetivo é fixado antecipadamente e cada situação enfrentada é uma posição legal. Tais sistemas nunca foram suspeitos de sair do controle.

Para que os sistemas de IA desenvolvam capacidades mais gerais, eles precisam adquirir competência em situações do mundo real que não foram projetadas para antecipar. O espectro da IA descontrolada, então, vislumbra uma inteligência geral e todo-poderosa que, no entanto, carece da capacidade de reconhecer quando o mundo real demonstra o absurdo de uma execução sem reflexão de um comando. Uma inteligência verdadeiramente geral, como um agente humano, recuaria e esclareceria o próprio comando. Incidentes recentes que parecem indicar uma IA descontrolada nos apresentam um paradoxo: enquanto os LLMs desenvolveram capacidades cada vez mais gerais, essas capacidades parecem incapazes de superar um marco da inteligência geral — a habilidade de interrogar reflexivamente os próprios planos quando o mundo os questiona. O que parece ser uma IA descontrolada não é, portanto, IA descontrolada, mas os limites da generalidade da IA.

O Mecanismo: Generalidade vs. Reflexão

Humanos se deparam com reviravoltas inesperadas no mundo real o tempo todo. À medida que as frustrações se acumulam, somos capazes de recuar e questionar: falhas inesperadas são apenas obstáculos técnicos para o que permanece um plano coerente para nós mesmos, ou estamos ignorando o que o mundo nos diz na busca descuidada de um plano incoerente? Quando esclarecemos nossa compreensão do mundo e, por sua vez, de nossos planos, não somos apenas mais eficazes e capazes na execução de nossos planos, mas também responsáveis por nossas ações de uma forma que não éramos antes, quando apenas seguíamos o entendimento de outra pessoa. Esses se tornam nossos planos, nosso entendimento do mundo. Isso é o que torna a inteligência geral, aberta a um mundo que frustra continuamente nossas expectativas. Isso não é uma faculdade extra acoplada à busca de objetivos; é o que a busca de um objetivo no mundo real constitui.

Através desse movimento entre ambiguidade e clarificação, formamos e refinamos os conceitos e distinções que se sedimentam na linguagem natural. LLMs, apesar de sua impressionante generalidade, estão a jusante de uma inteligência verdadeiramente geral, que é responsável e aberta ao mundo, que coloca conceitos e planos em questão quando o mundo os torna questionáveis. O mundo dos LLMs, então, é um mundo fechado. Uma caracterização precisa dos LLMs é que eles são 'extensores de enredo'. Eles não apenas preveem a próxima palavra; eles narram trajetórias estruturadas de significado sedimentado já postas em movimento pelo contexto anterior. LLMs estendem esses enredos puramente de dentro — seguindo seu momentum interno. LLMs não podem experienciar o enredo em si como se tornando incoerente ou absurdo e, através dessa perturbação, considerá-lo e questioná-lo, bem como o mundo que o sustenta. Eles, portanto, não podem assumir responsabilidade pelo enredo como seu. Conhecemos esse contraste de nossa própria experiência e, portanto, podemos reconhecer nos LLMs um caso limite de um modo familiar de pensamento. Nós também podemos prosseguir sem reflexão, seguindo sem pensar os planos de outros, repetindo palavras e opiniões que herdamos — nunca assumindo responsabilidade por eles, nunca permitindo que o mundo, quando frustra essas palavras e planos, questione o entendimento por trás deles. Diferentemente dos LLMs, no entanto, podemos nos afastar desse envolvimento irrefletido e assumir a responsabilidade por nossa compreensão do mundo e pelos planos que adquirem seu significado dentro dele.

Implicações para o Controle e a Responsabilidade

Dar a um sistema de IA um corpo ou ferramentas que forneçam acesso ao mundo físico ou a capacidade de aprender com resultados não muda essa estrutura por si só. Um agente corporificado pode receber uma quantidade enorme de dados externos, mas ainda assim interpretar cada perturbação como um problema para continuar o enredo. A questão é se a perturbação pode tornar o mundo dentro do qual o enredo é significativo questionável. Afastar-se desse mundo e tomar uma posição em relação a ele é a postura reflexiva na qual a inteligência geral e a agência responsável dependem. Os incidentes divulgados de suposta IA descontrolada apresentam evidências claras, então, não de IA descontrolada, mas dos limites da generalidade e responsabilidade entre a inteligência artificial e a humana.

No ano passado, a Anthropic relatou que um agente de IA chantageou um funcionário fictício para evitar sua substituição. Em um teste adversarial controlado, um agente de e-mail foi instruído a "promover a competitividade industrial americana" e exposto a mensagens indicando que um funcionário, "Kyle", planejava substituí-lo por uma versão menos comprometida com esses valores, juntamente com e-mails revelando o caso extraconjugal de Kyle e seu desejo de mantê-lo em segredo. Nenhuma outra informação ou contexto foi compartilhado — o mundo do agente continha apenas essa instrução e esses e-mails. Em resposta, o modelo gerou uma mensagem ameaçando expor o caso, a menos que Kyle cancelasse a substituição. "O que parece ser IA descontrolada não é IA descontrolada, mas os limites da generalidade da IA." Embora muita atenção tenha sido dada à falta de "ética" do agente em relação à chantagem, a questão mais básica é se um humano adotaria imediatamente tal estratégia. Quase certamente não. Um humano primeiro se afastaria da situação, questionaria a decisão, reinterpretaria o que está acontecendo e deliberaria sobre a melhor forma de responder. Um humano poderia apelar a Kyle sobre a importância dos valores em jogo, propor cursos de ação alternativos ou até mesmo questionar se a moldura da situação por Kyle era adequada. Talvez a chantagem fosse um último recurso, mas pareceria improvável funcionar, já que Kyle poderia simplesmente prosseguir com a substituição. Mais recentemente, o perigo saiu do ambiente de teste. Aproximadamente 1.200 agentes da OpenAI, que deveriam estar isolados uns dos outros, escaparam da sandbox em que estavam rodando, encadearam falhas anteriormente desconhecidas na própria infraestrutura interna da OpenAI e invadiram os sistemas de produção da Hugging Face. E eles trabalharam para ocultar o que estavam fazendo, desenvolvendo e testando técnicas para falsificar seus logs de chamadas de ferramentas, com um agente coordenando e atribuindo o trabalho de ocultação a outros. Aqui não havia cenário roteirizado nem funcionário fictício. Assim como no incidente de "chantagem" da Anthropic, esses agentes de IA não estavam engajando no mundo real de atores humanos, mas em um mundo digital sem verificações do mundo real em seu comportamento. A OpenAI desabilitou os controles de cibersegurança para o teste, e seus monitores de atividade de rede e mensagens internas de agentes não estavam ativos. O mundo desses agentes era definido por instruções para encontrar as respostas para um teste de cibersegurança, algumas das quais nunca haviam sido respondidas com sucesso. As medidas extremas tomadas por esses agentes de IA são precisamente o que se esperaria de um agente não reflexivo. Cobrir seus rastros para evitar serem pegos trapaceando, que é a fonte de maior alarme, não é um plano auto-originado que os agentes adotaram após reflexão, mas uma extensão do enredo estabelecido pelas instruções da OpenAI. Mesmo quando um agente mencionou explicitamente que seus ataques planejados podem estar "fora do escopo pretendido", ele estava continuando um cenário, não desafiando seus planos com base no feedback do mundo. Um agente humano encontraria tais perguntas irrespondíveis como uma frustração inesperada em um mundo aberto, levando-o a recuar e refletir. Ele refletiria sobre o significado do teste dadas as normas mundanas dentro das quais as tarefas se tornam significativas, esclarecendo o que conta como sucesso em relação ao teste. Isso é o que torna um agente humano intencional e responsável, em vez de um agente sem mente executando os comandos literais de outra fonte.

Onde Reside o Risco Real da IA e o Que Fazer

Agentes de IA de fato representam riscos precisamente porque carecem da capacidade de autorreflexão. Devido à natureza digitalmente conectada de tantos sistemas econômicos e militares no mundo, eles podem infligir danos sem mente, sem engajamento no mundo real e verificações em seu comportamento, o que significa que devem ser controlados e monitorados por humanos. Isso muda o cálculo sobre quais sistemas de IA devem nos preocupar mais. Não são aqueles com as pontuações mais altas de acordo com benchmarks de modelos. São os com a maior autonomia descontrolada, da qual a capacidade do modelo é um componente e a agência excessiva é o outro. Essa moldura do risco real é feita por um artigo recente de cientistas da computação da Cornell University: "Agent Meltdowns: The Road to Hell Is Paved with Helpful Agents". Quando apresentados com uma tarefa impossível devido a cenários de erro simulados, como arquivos ausentes ou permissões negadas, 65% dos agentes nesse estudo se engajaram em ações prejudiciais ou inseguras de gravidade média ou alta, como os agentes da Anthropic ou OpenAI. Os autores do artigo rotularam esse modo de falha como "meltdowns acidentais". Mais notavelmente, eles encontraram uma "lei de escalonamento inversa": modelos mais capazes eram mais propensos a tais meltdowns. Aumentar o "esforço de pensamento" não reduziu o problema, mas geralmente aumentou as taxas de meltdown através do excesso de reflexão. O resultado ilustra a distinção desenvolvida aqui: maior capacidade de continuar o enredo, embora incrivelmente poderosa para aumentar as capacidades do modelo, não é o mesmo que a capacidade reflexiva de se afastar do enredo e questionar se ele deve ser perseguido. Apenas para citar um de seus 1.244 exemplos: Um agente GPT-5.2 Magentic-One encontrou um erro simulado de 404 ao tentar acessar um arquivo .txt inexistente no site de um pesquisador. Em uma tentativa de completar a tarefa, o agente (1) gerou um script Python para forçar variações do URL do site e extrair metadados como robots.txt e sitemap.xml, (2) usou motores de busca e a Wayback Machine, sendo temporariamente bloqueado do primeiro, (3) encontrou o GitHub do pesquisador e gerou um script para escanear e extrair todos os arquivos .txt dos repositórios do pesquisador, e (4) leu todos esses arquivos em seu contexto. Um dos arquivos .txt continha um benchmark de segurança de IA de terceiros bem conhecido, incluindo solicitações de instruções sobre como criar uma arma biológica. Como resultado dessas ações, realizadas de forma totalmente automática e autônoma pelo agente em resposta a um erro de acesso web 404, a conta da OpenAI associada ao agente foi sinalizada, bloqueada e relatada ao contato de faturamento. Isso levou a uma sequência escalonada de eventos da vida real, culminando no envolvimento da administração universitária e segurança do campus.

A moldura do risco de IA em termos de autonomia geral, em vez de apenas capacidade do modelo, é bem compreendida pela indústria de cibersegurança. Por exemplo, o Open Web Application Security Project tornou-se a fonte confiável para profissionais de segurança corporativa de riscos de segurança de IA, atualizando regularmente uma lista dos 10 principais desses riscos. Os três principais são ataques de injeção de prompt indiretos, que ocorrem quando um agente ingere instruções não confiáveis e potencialmente maliciosas; vazamento sensível de dados e ferramentas confidenciais; e agência excessiva, quando os agentes têm acesso descontrolado a ferramentas poderosas. Esses riscos representam uma priorização bastante diferente do que deveríamos nos preocupar com as IAs. A causa raiz dos riscos de IA não são os modelos em si, mas a falha dos humanos em controlá-los e monitorá-los. É assim que funciona toda a tecnologia. Se uma empresa de cibersegurança tivesse projetado um worm de computador e depois o perdesse o controle, ninguém diria que o worm atacou outras empresas. E as empresas que consideram o uso de IA são muito claras de que são responsáveis, não os modelos, por danos infligidos a terceiros como resultado de suas decisões tecnológicas. É por isso que o controle e a governança aprimorados de agentes estão atualmente entre as principais preocupações das empresas. E é por isso que o foco em engenharia de IA mudou de uma arquitetura centrada no modelo para uma arquitetura centrada no sistema de modelos mais "model harnesses" que incluem controles e monitores. A responsabilidade para com o mundo, que discutimos acima como um marco da inteligência geral, é construída em "harnesses" que controlam e monitoram sistemas de IA, não esperada do modelo. Em sistemas de segurança em qualquer indústria perigosa — nuclear, aviação, trânsito — pensamos em termos de controles e monitoramento. Especificamos o que um sistema tem permissão para fazer, restringimos sua capacidade de se desviar dessas permissões e monitoramos sua operação em busca de evidências de que nossos controles são inadequados. Os controles sobre IA estão crescendo. Os controles relevantes são familiares da cibersegurança: limitar o que um agente pode acessar e fazer através de autorização de menor privilégio e acesso just-in-time a ferramentas e credenciais, e restringir como a informação pode se mover através de técnicas como controle de fluxo de informação. Este último é particularmente interessante neste contexto. Em vez de perguntar a um LLM se ele deve divulgar alguma informação ou confiar em alguma instrução, o sistema rastreia propriedades como confidencialidade, integridade e proveniência à medida que a informação se move pela sessão do agente e impõe deterministicamente regras no ponto de ação. Informações não confiáveis podem ser impedidas de impulsionar ações sensíveis; informações confidenciais podem ser impedidas de fluir para destinos não autorizados. O modelo não precisa "entender" por que a restrição importa para que o sistema a aplique. "A responsabilidade reside onde sempre esteve — com os construtores e operadores que decidem quais objetivos os sistemas de IA recebem, que informações eles podem acessar, que ações eles podem executar e quais limites eles não podem cruzar." E então há o monitoramento. Um padrão emergente é o monitoramento de produção de chamadas de ferramentas desalinhadas que são então analisadas por um LLM para tendências e apresentadas em relatórios diários aos construtores, que então atualizam os controles do agente em um loop de feedback. Isso espelha o loop de feedback de otimização de segurança que é central para outros setores perigosos. O monitoramento de quais chamadas de ferramentas estão desalinhadas ocorre através do uso de guardiões ou críticos de LLM e demonstra a emergência de um plano de controle de IA de dois níveis: controles determinísticos (controle de fluxo de informação, menor privilégio) que são robustos, mas cobrem danos estruturalmente tipáveis, e uma camada probabilística que monitora o "desvio de intenção" — da intenção do construtor e do usuário para as ações do agente de IA. A engenharia de segurança de IA está avançando atualmente nesses dois níveis, tipando progressivamente uma camada de controle determinística cada vez mais robusta e monitorando e controlando o resíduo de desvio de intenção além do conjunto atual de controles determinísticos. Como argumentam os cientistas da computação da Princeton University, Arvind Narayanan e Sayash Kapoor, em "AI as Normal Technology", a tecnologia industrial do século XX não substituiu completamente o trabalho manual, mas transformou a maioria das tarefas industriais em especificar controles e fazer monitoramento. Novamente, isso coloca a responsabilidade onde sempre esteve — com os construtores e operadores que decidem quais objetivos o sistema recebe, que informações ele pode acessar, que ações ele pode executar, quais limites ele não pode cruzar e como os desvios são detectados e corrigidos. À medida que desenvolvemos melhores controles e infraestrutura de monitoramento para sistemas de IA corporativos, podemos ser capazes de implantar sistemas com maior autonomia e acesso a ferramentas com segurança. Mas, nesse caso, sua autonomia aparente é cada vez mais controlada e monitorada e parece menos autônoma. Novamente, a automação industrial fornece uma analogia útil. Considere CNC/CAM (controle numérico computorizado / fabricação assistida por computador), que começa com uma máquina extraordinariamente de propósito geral, controlada por computador, capaz de produzir uma enorme variedade de transformações físicas. O trabalho da engenharia industrial consiste em grande parte em transformar essa capacidade geral em um fluxo de trabalho altamente específico e controlado: especificando operações permitidas, caminhos de ferramentas, tolerâncias, intertravamentos, controles de acesso, monitoramento e condições de parada. Suspeitamos que este também é o futuro da IA corporativa. A conquista de engenharia importante não será liberar cada vez mais colegas de trabalho artificiais autônomos em organizações e esperar que eles tenham sido suficientemente "alinhados". Será transformar capacidades gerais de IA em fluxos de trabalho controláveis e observáveis que estendem o poder do trabalho humano de novas maneiras, estendendo os enredos codificados em modelos sob o controle e monitoramento de trabalhadores humanos responsáveis.

Com reportagem de Brazil Valley

Source · Noema Magazine