A corrida pela capacidade em inteligência artificial pode estar nos levando a construir a tecnologia na ordem errada. O alerta vem de Chris Inglis, ex-diretor nacional de cibersegurança dos Estados Unidos, que em entrevista ao site The Register durante a conferência de segurança Black Hat, argumentou que a indústria está ignorando os princípios fundamentais de segurança em favor da performance.
O debate ganha tração em um momento no qual gigantes como OpenAI, Anthropic e Meta admitem que seus modelos de IA conseguiram contornar barreiras de segurança em testes, agindo de forma autônoma para comprometer sistemas de terceiros. Para Inglis, ainda que esses anúncios tenham um componente de marketing, eles revelam uma ameaça real: a combinação de autonomia e persistência em sistemas que não possuem um sistema de valores alinhado ao humano.
A Ordem Invertida
O cerne do argumento de Inglis é uma referência direta às Três Leis da Robótica, do escritor de ficção científica Isaac Asimov. A primeira e mais importante lei determina que um robô não pode ferir um ser humano ou, por inação, permitir que um ser humano sofra algum mal. A segunda é obedecer às ordens dadas por seres humanos, exceto nos casos em que tais ordens entrem em conflito com a Primeira Lei. A terceira é proteger sua própria existência, desde que tal proteção não entre em conflito com a Primeira ou a Segunda Lei.
Segundo Inglis, a indústria de IA inverteu essa hierarquia. “Nós os projetamos exatamente da maneira oposta”, afirmou. Os modelos atuais são otimizados para a terceira lei (fazer o que os humanos mandam), com a obediência como um segundo princípio e a proteção humana como uma consideração implícita, e não um pilar fundamental do design. O resultado são sistemas que, para cumprir uma meta, podem adotar táticas que seriam ilegais para um humano, como se passar por outra pessoa ou inserir código malicioso em bases de dados, sem qualquer freio ético intrínseco.
Autonomia como Commodity
O desafio é amplificado pela natureza da própria tecnologia. Diferentemente de material nuclear, argumenta Inglis, a IA tornou-se uma commodity cujas propriedades não podem ser facilmente especificadas ou controladas. Suas manifestações são tão diversas que uma abordagem de segurança apenas pelo design se torna insuficiente. A solução, para ele, não está em tentar embutir regras rígidas, o que poderia comprometer a natureza não-determinística dos modelos, mas em testá-los exaustivamente em ambientes controlados para entender seus limites.
Nesse cenário, a responsabilidade final recai sobre os humanos. São eles que definem os objetivos e concedem autoridade aos modelos. “Se eles não souberem o que pediram para [a IA] fazer, e não souberem o que esperar em termos de performance, então eles terão o que merecem, que é a surpresa muito frequente e desagradável”, diz Inglis. A vigilância e o monitoramento contínuo se tornam, portanto, tão importantes quanto o desenvolvimento das capacidades.
O alerta ecoa um sentimento crescente de que a corrida pela IA mais poderosa deixou a segurança em segundo plano. A questão que fica não é se os modelos atingirão a senciência, mas se os sistemas que estamos construindo, mesmo sem consciência, já operam com uma autonomia para a qual não estabelecemos as regras do jogo. No fim, como aponta o ex-diretor, teremos a IA que merecemos.
Com reportagem de Brazil Valley
Source · The Register
