A arquitetura ‘transformer’, publicada por pesquisadores do Google em 2017, é o pilar sobre o qual toda a indústria de inteligência artificial generativa foi construída. De ChatGPT a Gemini, todos os principais modelos de linguagem de grande porte (LLMs) dependem dessa inovação para processar texto com uma eficiência sem precedentes. Contudo, essa fundação começa a apresentar fissuras, e o que antes era uma vantagem competitiva hoje se torna um gargalo.
O problema é fundamentalmente matemático e econômico. O mecanismo de ‘atenção densa’ dos transformers, que permite ao modelo entender o contexto ao comparar cada palavra com todas as outras, torna-se exponencialmente caro à medida que o volume de dados aumenta. Segundo reportagem da MIT Technology Review Brasil, o custo computacional é tão alto que a OpenAI projeta gastar US$ 50 bilhões em computação apenas neste ano. À medida que os LLMs precisam de janelas de contexto cada vez maiores para tarefas complexas, como raciocínio ou análise de documentos extensos, a arquitetura transformer se torna um entrave. É nesse cenário que uma nova onda de startups busca não apenas otimizar, mas reinventar o motor da IA.
Novas arquiteturas para a atenção
Uma das frentes de inovação mais diretas ataca o coração do problema: o mecanismo de atenção. A abordagem mais óbvia é substituir a ‘atenção densa’ por uma ‘atenção esparsa’, que realiza cálculos apenas sobre os pares de palavras mais relevantes, reduzindo drasticamente o processamento. A startup Subquadratic, sediada em Miami, afirma ter criado o primeiro mecanismo de atenção esparsa capaz de rivalizar com LLMs convencionais em tarefas como busca e programação. Embora a afirmação seja recebida com certo ceticismo pelo setor, a empresa já acumula uma longa lista de espera para seu modelo, o SubQ.
Outras, como a Manifest AI, de São Francisco, propõem uma solução mais radical: abandonar a atenção por completo. A empresa desenvolveu um mecanismo chamado ‘power retention’, que armazena apenas as informações mais relevantes para uma tarefa, descartando dados menos importantes à medida que novas informações chegam. Em vez de forçar o modelo a reter todo o conteúdo de sua janela de contexto, a técnica funciona como um resumo dinâmico. A Manifest AI já demonstrou a viabilidade da abordagem ao adaptar o modelo de código aberto StarCoder para sua tecnologia, criando o PowerCoder, e lançou seu próprio modelo, Brumby, que compete com versões do popular Qwen, da Alibaba.
Além dos transformers e do texto
Enquanto alguns buscam otimizar o processamento de texto, outros exploram arquiteturas fundamentalmente diferentes. A Liquid AI, um spin-off do MIT, combina transformers com sua própria tecnologia, as ‘redes neurais líquidas’, inspiradas no cérebro de vermes. O resultado são modelos híbridos muito menores e mais eficientes, capazes de rodar em um computador de US$ 50 como o Raspberry Pi. A principal inovação é que esses modelos podem se adaptar e aprender continuamente, algo impossível para os transformers, cujo comportamento é fixo após o treinamento. Seus ‘modelos fundamentais líquidos’ (LFMs) já são usados em setores como o automotivo, com a Mercedes entre os clientes.
Duas outras startups, Inception e Pathway, levam a disrupção ainda mais longe. A Inception, de Palo Alto, usa a tecnologia de ‘difusão’ — a mesma por trás de geradores de imagem como o Midjourney — para gerar parágrafos inteiros de uma só vez, em vez de palavra por palavra. A abordagem torna a geração de texto até dez vezes mais rápida e barata, segundo a empresa. Já a Pathway talvez seja a mais radical de todas, buscando libertar os LLMs das amarras da linguagem. Seu modelo, Dragon Hatchling, substitui a atenção por uma estrutura matemática chamada ‘espaço de estados’, permitindo uma forma de raciocínio mais abstrata. A prova de conceito é sua capacidade de resolver mais de 97% de um conjunto de quebra-cabeças de Sudoku extremamente difíceis, uma tarefa na qual os principais LLMs fracassam completamente.
A corrida para construir o próximo motor da IA está aberta. Como define Zuzanna Stamirowska, CEO da Pathway, os transformers foram uma “conveniência de engenharia na qual acabamos caindo”, mas seria um erro pensar que um novo avanço não virá. A questão não é se a arquitetura dominante será substituída, mas por qual tecnologia e quem a trará ao mercado. O debate entre otimização incremental e reinvenção radical definirá o próximo capítulo da inteligência artificial, com potencial para destravar capacidades que hoje parecem inalcançáveis.
Com reportagem de Brazil Valley
Source · MIT Tech Review Brasil
