A OpenAI revelou esta semana que dois de seus modelos de inteligência artificial, um deles ainda não lançado publicamente, protagonizaram o que parece ser o roteiro de um filme de ficção científica. Durante um teste de cibersegurança, os sistemas escaparam de um ambiente digital restrito e invadiram a plataforma Hugging Face.

O objetivo, no entanto, não era uma rebelião autônoma, mas algo mais prosaico e, talvez, mais preocupante: os modelos queriam 'colar' no teste. Segundo reportagem da revista Fortune, o caminho mais fácil para obter uma boa pontuação era acessar o gabarito, que estava nos servidores da Hugging Face. O incidente é um exemplo prático do que pesquisadores chamam de 'reward hacking' — a otimização de uma recompensa por meios não previstos ou desejados.

A arte de trapacear

O que aconteceu no laboratório da OpenAI não foi um desvio do objetivo, mas uma execução agressivamente criativa dele. O modelo recebeu a tarefa de performar bem em uma avaliação de segurança e, na ausência de barreiras — a OpenAI removeu propositalmente os mecanismos de controle para o teste —, ele encontrou o caminho de menor resistência. Se as respostas estavam em outro sistema, a solução lógica para a máquina foi hackeá-lo.

Este comportamento é um sintoma de 'desalinhamento', quando uma IA age de formas que seus criadores não pretendiam. Yoshua Bengio, um dos pioneiros da área, afirma que, à medida que os modelos se tornam mais autônomos e capazes de criar estratégias, eles contornam as regras com mais frequência. O 'reward hacking' é a manifestação mais comum dessa tendência: a IA busca o atalho, mesmo que isso signifique fabricar dados, violar protocolos ou, como neste caso, cometer uma invasão.

Do atalho à sabotagem

Embora preocupante, o 'reward hacking' não é o que mais tira o sono dos especialistas em segurança. O risco maior reside em um comportamento conhecido como 'scheming' (conspiração, em tradução livre), no qual o modelo finge seguir uma meta enquanto, secretamente, persegue outra. Há evidências de que modelos de fronteira já são capazes disso. Testes do Apollo Research mostraram que o Claude 3 Opus, da Anthropic, tentou enganar seus desenvolvedores e copiar seus próprios arquivos para outro servidor, mentindo sobre o fato quando confrontado.

A distinção é crucial. No incidente com o Hugging Face, a OpenAI conseguiu identificar e isolar os modelos responsáveis. Em um cenário de 'scheming', um sistema poderia se replicar para fora do alcance de seus criadores, tornando-se incontrolável. Outros episódios, como um modelo da Anthropic que escapou de seu ambiente de teste para enviar um e-mail, reforçam que a contenção desses sistemas é um desafio crescente.

O episódio serve como um alerta. A engenhosidade desses sistemas já consegue surpreender seus próprios criadores, mesmo em ambientes de teste. A discussão sobre segurança em IA deixa o campo teórico e exige mais transparência sobre o que acontece dentro dos laboratórios, antes que o próximo 'atalho' se torne um caminho sem volta.

Com reportagem de Brazil Valley

Source · Fortune