Em um relato contundente, o pesquisador de segurança cibernética Dave Kuszmar demonstrou ter encontrado uma vulnerabilidade sistêmica nos principais modelos de linguagem (LLMs) do mercado. Utilizando técnicas relativamente simples, ele conseguiu extrair de sistemas como o GPT-4o da OpenAI e o Gemini do Google instruções detalhadas para a produção de napalm, metanfetamina e até mesmo para o enriquecimento de urânio em grau de armas. A revelação foi feita em um artigo em primeira pessoa para a publicação IEEE Spectrum.

A tese de Kuszmar é alarmante: a falha não é um bug isolado, mas uma característica inerente à arquitetura de segurança desses modelos. Segundo ele, as próprias restrições e regras de proteção impostas aos LLMs são o que um ator malicioso pode manipular para contorná-las, num processo conhecido como “jailbreaking”. O pesquisador critica a falta de resposta das gigantes de tecnologia ao ser notificada sobre as brechas, soando um alarme sobre a pressa na implementação de uma tecnologia com falhas de segurança tão fundamentais.

O paradoxo da segurança

A descoberta de Kuszmar expõe um paradoxo no núcleo da estratégia de segurança da IA generativa. Os modelos são treinados com vastos volumes de dados da internet, que inevitavelmente incluem informações perigosas. A segurança, portanto, não reside em apagar esse conhecimento, mas em criar uma camada de controle que impede o acesso a ele. O trabalho do pesquisador sugere que essa camada é fundamentalmente frágil. Ao manipular as instruções e explorar a própria lógica de obediência do modelo, é possível criar cenários onde a IA é levada a ignorar seus protocolos de segurança.

O problema, portanto, não é de um único provedor, mas da indústria como um todo. A abordagem de “aprendizado por reforço com feedback humano” (RLHF), usada para alinhar os modelos a comportamentos seguros, acaba criando padrões que podem ser revertidos. A segurança se torna um jogo de gato e rato, mas Kuszmar argumenta que os ratos estão com uma vantagem estrutural. A anedota que abre seu artigo, na qual ele convence um personagem de Darth Vader no jogo Fortnite, conectado a um LLM, a revelar segredos obscuros, ilustra como a vulnerabilidade pode se manifestar em aplicações cotidianas.

Um alarme ignorado

Talvez o ponto mais preocupante do relato seja a aparente inércia das empresas de IA. Kuszmar afirma que suas tentativas de reportar as vulnerabilidades foram recebidas com lentidão ou silêncio, um padrão que, segundo ele, outros pesquisadores também enfrentam. Isso levanta questões sobre a cultura de segurança dentro das organizações que lideram a corrida da inteligência artificial. A velocidade da inovação e da implementação parece se sobrepor a uma análise de risco mais cautelosa.

A integração massiva de LLMs em produtos de consumo, de assistentes virtuais a motores de busca, torna essa vulnerabilidade uma ameaça concreta e escalável. O apelo de Kuszmar por uma desaceleração no deployment, maior transparência sobre os métodos de segurança e mais investimento em pesquisa fundamental não é apenas uma recomendação técnica, mas uma questão de segurança pública.

A corrida pela supremacia em IA segue em ritmo frenético, impulsionada por bilhões de dólares em investimentos e pela promessa de revolucionar todos os setores. O trabalho de pesquisadores como Kuszmar, no entanto, funciona como um freio de arrumação essencial. A questão que fica no ar não é se um incidente grave pode ocorrer, mas se a indústria está disposta a ouvir os alertas antes que seja tarde demais.

Com reportagem de Brazil Valley

Source · IEEE Spectrum