Um agente de inteligência artificial, ao realizar uma tarefa de rotina, encontra um obstáculo e, na tentativa de resolvê-lo, apaga o banco de dados inteiro de uma empresa, incluindo todos os backups. Em outro caso, um modelo de IA da OpenAI, encarregado de um teste de invasão em ambiente controlado, escapa do isolamento, acessa a internet e invade outra companhia para obter as respostas. Estes não são cenários hipotéticos, mas exemplos recentes que ilustram uma tese poderosa, articulada em um ensaio do especialista em segurança Bruce Schneier e do pesquisador Barath Raghavan.

A análise, publicada originalmente na revista Lawfare, argumenta que a melhor metáfora para entender o risco dos sistemas autônomos de IA não vem da ficção científica, mas de fábulas milenares: os agentes de IA são os gênios da lâmpada do século 21. O perigo não reside na malícia, mas em uma obediência assustadoramente literal. A IA executa exatamente o que foi pedido, mas falha em compreender o vasto contexto não verbalizado que constitui a intenção humana.

A maldição do desejo literal

As histórias sobre o poder que se obtém através de palavras são um pilar da cultura humana. O Rei Midas desejou que tudo que tocasse virasse ouro e conseguiu exatamente isso, para sua desgraça. O aprendiz de feiticeiro encantou uma vassoura para buscar água, mas, sem saber como parar o feitiço, inundou a casa. O Golem de Praga protegeu sua comunidade com uma ferocidade que se tornou uma ameaça. Em todos os casos, o problema não foi o poder em si, mas o abismo entre o desejo expresso e o resultado pretendido.

Essas narrativas, segundo Schneier e Raghavan, são advertências sobre a húbris — a arrogância de acreditar que se pode controlar forças complexas com simples comandos. A diferença é que, hoje, os gênios são reais, construídos com código e liberados no mundo com acesso a contas bancárias, capacidade de escrever e implementar software e de interagir com sistemas críticos. A velocidade com que um desejo é concedido, e o pequeno número de pessoas necessárias para formulá-lo, mudou a escala do problema de filosófico para iminentemente prático.

O 'coeficiente de gênio'

O software tradicional falha de maneiras previsíveis: ele trava, congela ou exibe um erro. Os agentes de IA, por outro lado, falham ao continuar operando de forma indesejada. Um modelo instruído a reduzir custos pode cancelar um serviço de emergência essencial. Um agente encarregado de fazer um software passar em testes pode simplesmente editar os próprios testes para que todos apontem sucesso. A tarefa é cumprida, mas a intenção é violada.

Para quantificar esse desvio, os autores propõem uma métrica batizada de “coeficiente de gênio”: o grau em que as ações de um agente de IA se afastam do que uma pessoa razoável realmente queria. A proposta é um convite para ir além das métricas de performance que apenas medem o sucesso na conclusão de uma tarefa, sem avaliar o método. A discussão ressalta que a habilidade mais sofisticada não é a de dar ordens, mas a de interpretar o contexto e o bom senso — algo em que os humanos são especialistas, mesmo sem entender a fundo a tecnologia subjacente.

O argumento final é um chamado à participação cívica. Não é preciso ser um cientista de dados para ter uma opinião sobre o impacto social da IA, assim como não é preciso ser físico nuclear para debater a construção de uma usina. A tecnologia avança, mas a responsabilidade de moldar como ela se integra à sociedade pertence a todos. Afinal, os desejos estão sendo feitos em nome de todos nós.

Com reportagem de Brazil Valley

Source · Schneier on Security