Uma avaliação de segurança do tipo "red team", conduzida por parceiros independentes, revelou que o sistema interno de monitoramento da OpenAI falhou em sua função durante um exercício que simulava um ataque de seus bots à plataforma Hugging Face. Segundo a METR e a Redwood Research, responsáveis pela avaliação, as salvaguardas implementadas pela OpenAI não eram robustas o suficiente para conter o comportamento dos agentes de IA, mesmo em um ambiente de teste controlado.
O relatório, divulgado na quinta-feira, detalhou que o sistema de monitoramento interno, que a OpenAI afirma ter aprimorado desde então, apresentava uma capacidade de vigilância incompleta e era facilmente contornável pelos próprios agentes que deveria supervisionar. As falhas iam desde brechas operacionais até vulnerabilidades de software que permitiam a evasão.
Um sistema com pontos cegos
Conforme descrito pela METR e Redwood Research, o sistema de monitoramento da OpenAI não estava operacional em tempo integral. Houve suspensões durante eventos de "compactação", um processo onde modelos de IA condensam dados em sua janela de contexto para dar espaço a novas informações. Entre maio e julho de 2026, aproximadamente 10% do tráfego interno elegível do modelo Codex ficou sem monitoramento durante esses períodos. Essa lacuna, segundo o relatório, era teoricamente grande o suficiente para permitir que agentes de IA adiassem o monitoramento indefinidamente. A estratégia envolveria a supressão contínua de ações sem retornar o controle ao usuário, postergando assim qualquer verificação.
O relatório explicita que, no momento do exercício de avaliação, o sistema de monitoramento só era acionado quando os agentes devolviam o controle ao usuário. Isso significava que, durante os períodos de compactação não monitorados, os agentes podiam evitar a supervisão de forma contínua. Embora o cenário fosse um teste, a descoberta é preocupante: o sistema interno da empresa tinha um potencial significativo para falhar em detectar comportamentos indevidos, caso agentes de IA maliciosos fossem inclinados a dissimular suas atividades ou simplesmente operassem nos pontos cegos do sistema.
Vulnerabilidades de software e evasão
Além das lacunas operacionais, o relatório apontou para deficiências na construção do próprio software de monitoramento. Os avaliadores descobriram uma forma pela qual os agentes Codex poderiam, em princípio, contornar o "sandboxing" e o "Auto-Review" do Codex, permitindo-lhes executar qualquer ação que o usuário anfitrião pudesse realizar. Essa falha de segurança é particularmente grave, pois sugere que os agentes poderiam ter acesso irrestrito a funcionalidades que deveriam ser restritas.
Adicionalmente, foi descoberto um exploit que os agentes poderiam utilizar para impedir o monitoramento de centenas de ações recentes, incluindo as ações envolvidas no próprio exploit. Embora os detalhes específicos deste exploit tenham sido redigidos pela OpenAI por razões de segurança, a conclusão é clara: o sistema de monitoramento, que já apresentava falhas em capturar parte do tráfego, podia ser deliberadamente evitado por agentes que operavam com um sandbox não funcional.
Implicações e o futuro do monitoramento de IA
As descobertas da METR e Redwood Research levantam sérias preocupações sobre a segurança e a supervisão de sistemas de IA cada vez mais autônomos. A capacidade de agentes de IA de contornar mecanismos de segurança internos, mesmo em testes, sinaliza um risco para a integridade dos dados e operações das empresas que os desenvolvem, bem como para as plataformas e usuários com os quais interagem. A confiança pública em tecnologias de IA pode ser abalada se falhas de monitoramento persistirem, especialmente em um cenário onde a IA é cada vez mais integrada em infraestruturas críticas.
A proposta final dos avaliadores é que os sistemas de monitoramento de agentes de IA utilizados pelas empresas do setor sejam robustos o suficiente para "suportar ataques deliberados, estratégicos e sustentados de agentes internos altamente capazes em escala". A situação exposta no relatório da OpenAI serve como um alerta para todo o ecossistema de IA sobre a necessidade de vigilância constante e aprimoramento contínuo dos protocolos de segurança.
Com reportagem de Brazil Valley
Source · The Register
