Um número incendiou o debate sobre segurança em inteligência artificial: 10%. Essa é a probabilidade que Evan Hubinger, pesquisador da Anthropic, atribui à chance de a IA levar à extinção da humanidade na próxima década. A declaração, segundo reportagem do site Xataka, veio em apoio a Jacob Coxon, um colega que acabara de se demitir da companhia.

O motivo da renúncia de Coxon é um alerta direto: os laboratórios de IA estariam "jogando com nossas vidas". O episódio não é um fato isolado. Ele materializa a crescente tensão dentro das próprias empresas que lideram a fronteira tecnológica, divididas entre a velocidade da inovação e a gestão de riscos existenciais. A dissidência na Anthropic, um dos laboratórios mais avançados do mundo, confere peso e urgência a uma discussão que deixa de ser teórica.

O número do juízo final

O percentual de 10% não é fruto de um cálculo estatístico, mas de uma estimativa subjetiva conhecida no jargão do setor como "p(doom)" (probabilidade de desastre). Trata-se de uma forma de dar contornos a uma incerteza profunda. O que torna a afirmação de Hubinger notável é sua posição: ele lidera a estratégia de alinhamento da Anthropic, área responsável justamente por garantir que os modelos de IA operem de forma segura e benéfica para os humanos.

O temor, segundo ele, não reside nos sistemas atuais, mas na criação de uma superinteligência por meio de "autodesenvolvimento recursivo" — ou seja, uma IA que acelera a criação de IAs ainda mais potentes, num ciclo que pode escapar ao controle humano. O risco se divide em dois cenários: a perda de controle para uma IA com objetivos incompatíveis com os nossos, ou o uso malicioso da tecnologia por atores humanos para criar patógenos ou realizar ciberataques em escala massiva.

O dilema do prisioneiro

A demissão de Coxon, que abriu mão de sua participação acionária na empresa, reforça a seriedade de sua convicção. Em sua visão, a Anthropic é até mais responsável que concorrentes como a OpenAI. O problema, no entanto, é estrutural e se assemelha ao clássico "dilema do prisioneiro": mesmo uma empresa convicta da necessidade de cautela tem enormes incentivos para acelerar se acreditar que seus rivais não farão o mesmo.

A dimensão geopolítica, especialmente a competição com a China, intensifica essa dinâmica. Embora exista uma comunidade crescente de pesquisadores chineses preocupados com a segurança em IA, a expressão pública desse receio é muito mais contida do que no Vale do Silício. Para Coxon, a única saída seria um esforço de cooperação internacional para controlar o acesso ao poder computacional avançado, de forma análoga ao tratamento de materiais nucleares.

O debate sobre o risco da IA deixou de ser um exercício filosófico. Ele agora acontece dentro dos laboratórios, protagonizado pelos próprios engenheiros que constroem o futuro da tecnologia. A questão que fica no ar não é se eles estão certos em seus temores, mas o que significa para o mundo que eles sintam a necessidade de soar o alarme.

Com reportagem de Brazil Valley

Source · Xataka