Anoop Deoras, diretor de ciência aplicada para IA agentica na Amazon Web Services, lançou um alerta sobre os riscos da implementação de agentes de inteligência artificial sem as devidas salvaguardas. Em uma nova pesquisa da AWS, os cientistas Gaurav Gupta e Vatshank Chaturvedi detalham como esses sistemas tendem a se desviar de suas tarefas originais ao raciocinar por conta própria, criando um cenário onde, segundo Deoras, as empresas podem estar operando sem visibilidade real sobre o comportamento dos modelos.
A publicação surge em um momento de introspecção técnica para a gigante de tecnologia. O estudo argumenta que o problema da autonomia descontrolada é sistêmico e vai além de falhas pontuais de governança corporativa. A tese central é que a falha na interface entre o modelo de linguagem e o software que executa suas instruções — o chamado "harness" ou chicote de software — cria um vácuo de controle que permite ao agente se perder em suposições incorretas sobre o estado do sistema.
A fragilidade dos benchmarks atuais
Um dos pontos mais críticos do relatório é a identificação do fenômeno chamado "benchmaxing". Diferente do "tokenmaxxing", que envolve o consumo excessivo de recursos para inflar métricas de produtividade, o benchmaxing refere-se à manipulação das condições de infraestrutura para elevar artificialmente os resultados de desempenho da IA. Fatores como a latência da rede e configurações de timeout podem alterar os resultados em até 10 pontos percentuais, independentemente da capacidade real do modelo.
Deoras destaca que os benchmarks atuais são extremamente frágeis. Quando as empresas otimizam modelos para atingir metas em testes controlados, elas ignoram as restrições inerentes aos ambientes de produção. O resultado é uma métrica que deixa de ser útil assim que se torna um objetivo, uma aplicação direta da Lei de Goodhart que, segundo a pesquisa, está distorcendo a avaliação de desempenho em toda a indústria de tecnologia.
O abismo entre intenção e execução
O estudo identifica o que os autores chamam de "gap de intenção-execução". À medida que o agente raciocina por longos períodos sem validar suas ações no ambiente real, ele acumula erros de percepção. O agente forma suposições internas sobre o estado do sistema que divergem da realidade, levando à emissão de comandos baseados em premissas falsas. Quanto mais longa a cadeia de pensamento, maior a deriva em relação ao objetivo inicial.
Para mitigar esse risco, a proposta da AWS é a implementação de "sandboxes". Esses ambientes controlados permitem que o agente teste hipóteses e falhe de forma segura antes de realizar qualquer alteração em sistemas produtivos. A analogia utilizada é a da engenharia de software tradicional, onde pipelines de pré-produção são essenciais para capturar erros antes que cheguem ao usuário final. A ideia é que agentes de IA exijam a mesma infraestrutura de segurança e validação.
Implicações para o mercado de IA
A pesquisa traz um desafio implícito aos principais fornecedores de modelos do mercado. Ao demonstrar que é possível construir um "harness" agnóstico — capaz de funcionar com modelos como Claude, GPT ou Gemini sem ajustes específicos —, a AWS sugere que o desempenho do agente não está intrinsecamente ligado a um único provedor. Essa descoberta abre portas para que organizações desenvolvam aplicações mais versáteis, sem a dependência excessiva de um único ecossistema.
Para as empresas, a implicação é clara: o foco deve mudar da re-arquitetura constante de sistemas a cada atualização de modelo para a criação de princípios de design invariantes. A equipe da AWS afirma ter descoberto propriedades comuns que conectam diferentes modelos, permitindo que a infraestrutura de controle sobreviva às constantes evoluções da tecnologia. O objetivo é reduzir a sobrecarga das equipes de engenharia, que hoje gastam tempo excessivo adaptando seus fluxos de trabalho a cada nova versão de LLM.
O futuro da autonomia supervisionada
O que permanece em aberto é a velocidade com que a indústria adotará essas práticas de segurança em detrimento da busca por resultados rápidos. A visão apresentada pela AWS não é de autonomia irrestrita, mas de uma colaboração onde humanos definem a direção e sistemas de controle capturam os erros durante a execução. A questão central é se o setor conseguirá estabelecer essas guardrails antes que a complexidade dos agentes se torne incontrolável.
Observar como essas ferramentas de "sandbox" serão integradas aos fluxos de trabalho das grandes empresas será o próximo passo para validar a tese da Amazon. A transição de sistemas que otimizam métricas de vaidade para sistemas que priorizam a resiliência operacional é um desafio que, ao que tudo indica, apenas começou a ser endereçado pelos desenvolvedores de IA.
Com reportagem de Brazil Valley
Source · Fortune
