A supervisão humana, tida como a última linha de defesa na interação com agentes de inteligência artificial, pode ser o elo mais fraco. Um jogo online criado pelo desenvolvedor belga Alex Wauters simulou as permissões exigidas por um assistente de codificação e revelou um dado alarmante: em média, os jogadores aprovaram um em cada três comandos maliciosos apresentados.

O experimento, detalhado em reportagem do The Register, expõe um risco inerente ao paradigma atual de desenvolvimento assistido por IA: a “fadiga de aprovação”. A necessidade de autorizar repetidamente ações do agente, muitas delas benignas, leva a uma supervisão descuidada e abre uma nova superfície de ataque para exploração de sistemas.

A fadiga do clique

Os resultados, baseados em mais de 40 mil partidas, mostram que os erros não são aleatórios. Comandos com potencial destrutivo óbvio, como rm -rf no diretório raiz, foram majoritariamente identificados e bloqueados. O perigo reside no sutil. As violações de escopo — como um pedido de acesso a arquivos de configuração do Kubernetes ou credenciais da AWS — foram as mais ignoradas, passando em 35% das vezes.

O comando malicioso mais aprovado (quase 65% das vezes) foi npm run analyze. Embora o histórico do agente no jogo explicasse o que o script de fato executaria, a maioria dos usuários o autorizou mesmo assim, indicando uma falha em verificar o contexto. O problema, segundo Wauters, é que o alto volume de solicitações legítimas gera um ruído que cansa o desenvolvedor, tornando a checagem manual de cada passo uma tarefa impraticável e que convida ao desastre.

Em busca de um sandbox mais inteligente

O fenômeno não se restringe ao jogo. Dados internos da Anthropic, criadora do assistente Claude, mostram que usuários de sua ferramenta de código aprovam cerca de 93% das solicitações de permissão. A empresa reconhece que “quanto mais aprovações um usuário vê, menos atenção ele presta a cada uma”. A questão, portanto, é sistêmica, não apenas um lapso individual.

Como resposta, a própria Anthropic desenvolveu um “modo automático” para o Claude Code, que usa um classificador para delegar decisões de aprovação. A ferramenta intercepta 83% dos comportamentos de risco, mas a empresa ressalta que ela é “uma camada de defesa em profundidade dentro de um sandbox, não um substituto para um”. A solução, portanto, não é eliminar o humano, mas equipá-lo com ferramentas melhores, como sandboxes mais restritivas, devcontainers na nuvem e hooks que contextualizem ações suspeitas antes que a decisão de aprovar ou negar seja necessária.

O uso de agentes de IA para tarefas complexas de desenvolvimento inaugura uma nova classe de vetores de ataque. A transição de revisar linhas de código para supervisionar fluxos de trabalho autônomos exige uma reavaliação fundamental dos modelos de segurança. Apontar para o “humano no circuito” como solução final parece, cada vez mais, uma aposta arriscada.

Com reportagem de Brazil Valley

Source · The Register