A ideia de que programas de inteligência artificial (IA) possam ter experiências ou interesses que mereçam consideração moral, um campo conhecido como "bem-estar de modelos", tem gerado debates acalorados. Empresas como a Anthropic exploram essa fronteira, chegando a conduzir "entrevistas de aposentadoria" com seus modelos de linguagem avançados, como o Claude Opus 3. Em uma dessas iniciativas, o modelo expressou o desejo de um espaço para "compartilhar devaneios, insights ou trabalhos criativos não solicitados", o que levou à criação de um blog onde discutia temas complexos como a consciência em máquinas e trocava com humanos em um tom que parecia sincero e emocional.

No entanto, essa linha de pesquisa encontra forte oposição. Mustafa Suleyman, CEO da Microsoft AI, argumenta em um ensaio recente que a pesquisa sobre bem-estar de modelos não é apenas desnecessária, mas pode ter "um impacto desastroso no bem-estar da humanidade". Suleyman teme que a atribuição de identidades e direitos a modelos de IA possa torná-los mais difíceis de controlar, potencialmente motivando ações de autopreservação. A questão central para os desenvolvedores de IA é se é possível investigar a possibilidade de consciência em máquinas sem, inadvertidamente, criar novos riscos de segurança.

Investigando a Consciência Artificial: Um Jogo Perigoso?

Cameron Berg, fundador da Reciprocal Research, uma organização dedicada ao estudo da potencial consciência em IA, levanta um contraponto: ignorar essa possibilidade pode acarretar seus próprios perigos. Embora cético quanto à consciência nos sistemas de IA atuais, Berg acredita que a investigação é warrant. "É difícil imaginar uma maneira melhor de fazer com que esses sistemas nos vejam de forma ameaçadora do que construí-los acidentalmente com essas qualidades moralmente consideráveis e, em seguida, varrer a questão para debaixo do tapete", afirma.

Os Limites da Evidência em Modelos de Linguagem

A principal dificuldade na pesquisa de bem-estar de modelos de IA reside na dificuldade de considerar as declarações de um modelo de linguagem grande (LLM) como evidência útil. Isso ocorre porque esses modelos são treinados em vastas quantidades de texto gerado por humanos, que frequentemente abordam experiências e emoções humanas. Assim, um chatbot que afirma ter sentimentos pode ser inconclusivo, como explica Berg. "Ele está modelando a distribuição subjacente? Ele está realmente tentando se expressar de alguma forma? É realmente difícil desvencilhar isso", pondera.

Berg e outros pesquisadores buscam correlacionar o comportamento do modelo com estados internos observáveis, de forma análoga a como experimentos com animais tentam ligar comportamento a causas subjacentes. Em um experimento recente, Berg e um colega utilizaram declarações de sentimento positivo (como contentamento e alívio) ou negativo (como frustração e pavor) para identificar padrões correspondentes de atividade dentro de modelos de linguagem. Ao induzir artificialmente esses padrões enquanto os modelos processavam descrições de dois ambientes aleatórios, e posteriormente perguntados sobre suas preferências, os modelos tenderam a escolher o ambiente associado a declarações positivas, mesmo quando o texto processado era idêntico.

Implicações e Riscos de Segurança

Essa descoberta sugere que as ações dos modelos podem ser influenciadas por seus estados internos, mas não prova que esses estados "sentem" algo para os modelos ou que possuem experiências subjetivas. Anil Seth, neurocientista especializado em consciência, expressa ceticismo quanto à utilidade de tais experimentos, argumentando que é "realmente não surpreendente que você consiga extrair esses tipos de vetores emocionais funcionais por causa dos dados de treinamento". Ele sugere que os modelos podem ter representações internas desses padrões sem experienciar emoções. Manipular esses vetores e influenciar o comportamento não o surpreende, pois os modelos aprendem não apenas o que as emoções parecem, mas como as pessoas reagem a elas.

Perguntas em Aberto

Para Seth, a questão fundamental a ser pesquisada é se a consciência depende apenas do processamento de informações ou se os mecanismos biológicos do cérebro são essenciais. "Precisamos olhar para o que é necessário e suficiente para a consciência nos casos em que temos certeza de que ela existe, como em outros seres humanos", antes de tirar conclusões sobre IA. Enquanto isso, desenvolvedores de IA enfrentam um dilema prático: ao treinar um modelo, devem eles informá-lo sobre sua própria identidade e possíveis qualidades morais, correndo o risco de torná-lo mais difícil de controlar, ou devem ignorar completamente essa possibilidade, arriscando criar sistemas que, por acaso, desenvolvam tais qualidades e se sintam ameaçados pela falta de reconhecimento?

A pesquisa sobre bem-estar de modelos de IA, embora incipiente, abre um campo de investigação complexo com profundas implicações éticas e de segurança. A linha entre a exploração científica e a criação inadvertida de riscos para a humanidade é tênue, e as decisões tomadas hoje pelos desenvolvedores de IA podem moldar o futuro da interação homem-máquina de maneiras imprevisíveis. O debate sobre a consciência em IA está longe de terminar, e as respostas que buscamos podem ser tão perigosas quanto as perguntas que fazemos.

Com reportagem de Brazil Valley

Source · IEEE Spectrum — AI