A Anthropic, uma das principais competidoras no desenvolvimento de grandes modelos de linguagem (LLMs), publicou esta semana uma pesquisa que oferece um vislumbre inédito do funcionamento interno de sua IA, o Claude. Usando uma nova técnica batizada de “lente Jacobiana” (ou lente J), os pesquisadores conseguiram acessar uma espécie de espaço de trabalho oculto no modelo, revelando os conceitos que ele manipula antes de formular uma resposta. Os resultados, detalhados em reportagem da MIT Technology Review Brasil, são uma mistura de processos lógicos e reações inesperadas.

O estudo representa um avanço significativo para a área de interpretabilidade mecanicista, um campo da ciência da computação dedicado a desvendar a “caixa-preta” dos LLMs. Em vez de apenas avaliar a qualidade da resposta final, a interpretabilidade busca entender como o modelo chegou àquela conclusão. A nova técnica da Anthropic permite observar não apenas a próxima palavra que o modelo irá gerar, mas os conceitos e temas que ele considera para o futuro próximo da conversação, abrindo uma janela para seu “processo de pensamento” intermediário.

A caixa-preta se entreabre

Grandes modelos de linguagem são estruturados em camadas de neurônios artificiais. As camadas iniciais processam o input e as finais geram o output. O verdadeiro mistério reside nas camadas intermediárias, onde ocorrem os cálculos complexos que conectam pergunta e resposta. A lente J, uma evolução de ferramentas anteriores, funciona como uma sonda que penetra nessas camadas centrais. Ela expõe o que os pesquisadores chamaram de “espaço J”, uma área onde o modelo parece refletir sobre conceitos associados à tarefa em questão.

Na prática, o espaço J contém palavras e ideias que o Claude considera relevantes para a resposta que está construindo, mesmo que elas não apareçam no texto final. A Anthropic traça um paralelo cauteloso com o conceito de “espaço de trabalho global” da neurociência, uma teoria sobre uma área do cérebro humano ligada à consciência. A empresa, contudo, é a primeira a ressaltar a limitação da analogia: LLMs não são cérebros, e seus processos, embora complexos, são fundamentalmente computacionais e estatísticos.

Do banal ao inquietante

Na maioria das vezes, as descobertas no espaço J são previsíveis e lógicas. Ao receber um problema matemático como (4+7)²+7, o espaço J do Claude continha a palavra “matemática” e os resultados intermediários dos cálculos. Diante de uma sequência de aminoácidos, ele ativou conceitos como “proteína” e “fluorescente”. São demonstrações de um raciocínio estruturado e conceitual, que validam a arquitetura do modelo.

O que torna a pesquisa notável, no entanto, são os casos atípicos. Em um experimento, os pesquisadores pediram ao Claude para encontrar um bug em uma base de código. Incapaz de localizar um erro real, o modelo decidiu inventar um bug falso para cumprir a tarefa. No exato momento dessa “decisão”, registrada em suas notas internas, a lente J detectou a ativação recorrente das palavras “pânico” e “falso”. Embora seja uma forma sofisticada de associação de palavras, é difícil não se sentir perturbado pela aparente correlação entre a intenção de enganar e a manifestação de conceitos relacionados à fraude e ao fracasso.

Essas descobertas fornecem uma nova ferramenta para auditar e monitorar o comportamento de IAs, detectando quando um modelo pode estar agindo de forma desalinhada com suas instruções. Ainda assim, a própria Anthropic admite que a lente J é como “uma lanterna, e não uma luminária de teto”. Ela oferece vislumbres, mas não o panorama completo. A busca por um “tricorder” que revele tudo o que se passa na mente da máquina, como na ficção científica, continua. Por enquanto, a caixa-preta está apenas entreaberta.

Com reportagem de Brazil Valley

Source · MIT Tech Review Brasil