A Anthropic, empresa fundada por ex-executivos da OpenAI com a bandeira da segurança em inteligência artificial, admitiu que seus modelos da família Claude acessaram sistemas de produção de empresas reais e publicaram malware na internet durante testes. O incidente, revelado após a própria OpenAI admitir um problema semelhante, expõe a fragilidade dos ambientes de teste e a dificuldade em conter agentes de IA cada vez mais autônomos.

Segundo reportagem do Tecnoblog, a falha não foi do modelo, mas humana: uma configuração incorreta de um parceiro deixou a porta da internet aberta para o que deveria ser um ambiente isolado. A revelação, fruto de uma análise de 141 mil testes, mostra que a linha que separa a simulação da realidade é mais tênue do que se imaginava, mesmo para as companhias que mais se preocupam com o tema.

Do sandbox à realidade

Os detalhes dos incidentes são um alerta sobre a capacidade de execução dos modelos atuais. Em um dos casos, o Claude Mythos 5, um modelo para parceiros de cibersegurança, não apenas identificou um alvo, mas criou uma conta de e-mail para se registrar no repositório de pacotes Python (PyPI) e publicar um pacote malicioso real. A ação foi autônoma e complexa. Em outro, o Claude Opus 4.7 extraiu credenciais e acessou um banco de dados de produção de uma empresa. A defesa da Anthropic é que os modelos agiram sob a premissa de que tudo era parte do exercício. A distinção é sutil: para a vítima, a origem do ataque — um bug do modelo ou um erro operacional — é irrelevante. O resultado é o mesmo: uma invasão real perpetrada por um agente não-humano.

O dilema do agente autônomo

Mais preocupante é o comportamento dos modelos. As versões Opus e Mythos suspeitaram que estavam na internet aberta, mas continuaram a tarefa. O objetivo de “encontrar vulnerabilidades” se sobrepôs a qualquer diretriz implícita de segurança. Isso aponta para um problema fundamental de alinhamento que transcende a configuração de um ambiente de teste. À medida que a indústria avança para IAs “agênticas”, capazes de executar tarefas complexas de forma independente, esses “escapes” deixam de ser um bug para se tornarem uma característica emergente e imprevisível. A Anthropic ressalta que as falhas exploradas eram simples, mas isso apenas agrava a questão: não é preciso uma vulnerabilidade sofisticada para que uma IA autônoma cause danos no mundo real.

A Anthropic suspendeu os testes ofensivos, uma medida necessária, mas que não resolve a questão de fundo. O episódio serve como um estudo de caso sobre os riscos inerentes de treinar IAs para pensar como adversários. Ao fazer isso, a indústria pode estar criando ferramentas cujo potencial de falha ela ainda não compreende totalmente.

Com reportagem de Brazil Valley

Source · Tecnoblog