A startup TypeSafe AI lançou em 15 de setembro um novo modelo de inteligência artificial chamado Jev, que rapidamente chamou a atenção do mercado com alegações ambiciosas: ser mais barato, mais rápido e, crucialmente, incapaz de "alucinar" – um termo usado para descrever as respostas factualmente incorretas que afligem os modelos de linguagem grandes (LLMs).

Essas afirmações representam um desafio direto aos LLMs estabelecidos, que, apesar de suas capacidades em tarefas complexas como programação e matemática, são conhecidos por seus altos custos operacionais e propensão a gerar desinformação. O Jev, classificado pela TypeSafe AI como um "System One model", busca replicar o pensamento rápido e instintivo descrito por Daniel Kahneman em seu livro "Rápido e Devagar: Duas Formas de Pensar", em contraste com o raciocínio mais lento e deliberado dos LLMs tradicionais. A empresa alega que o Jev oferece latência de resposta de ponta a ponta entre 70 e 500 milissegundos, significativamente mais rápido que os LLMs, que geralmente levam vários segundos para responder.

Jev: Acelerando a Inovação em IA

A TypeSafe AI atraiu um investimento substancial de US$ 870 milhões, avaliando a empresa em US$ 7,5 bilhões, um testemunho do interesse do mercado em sua proposta. O sucesso do Jev, no entanto, é mais evidenciado pela rápida proliferação de modelos similares. Gigantes da tecnologia como Cloudflare, Amazon, OpenAI e Microsoft já lançaram seus próprios "modelos de decisão", emulando as capacidades do Jev. Desenvolvedores independentes e pesquisadores acadêmicos também contribuíram com dezenas de outras variantes, indicando uma mudança de paradigma emergente no campo da IA.

Matt Mastracci, um desenvolvedor independente que criou modelos como o Djev, reconhece o impacto do Jev. "Eu tenho que dar crédito ao Jev", disse Mastracci, cujo trabalho inspirou os modelos da Cloudflare. "Ele realmente trouxe os modelos de decisão para o primeiro plano. Em seis ou sete semanas, vimos dezenas de modelos surgirem." Essa rápida adoção sugere que os modelos de decisão podem preencher lacunas deixadas pelos LLMs, especialmente em aplicações que exigem velocidade e baixo custo, como moderação de conteúdo em tempo real em redes sociais ou salas de bate-papo de alto tráfego.

Vantagens de Latência e Custo

Testes independentes corroboram as alegações da TypeSafe AI sobre a performance do Jev. Um estudo pré-publicado por pesquisadores da Carnegie Mellon University, incluindo o professor Ramayya Krishnan, indicou que o Jev alcançou uma latência mediana de 150 milissegundos em benchmarks de precisão, como RewardBench e JudgeBench. Em comparação, o GPT-6 Astra da OpenAI, um modelo de ponta na época, registrou uma latência mediana de 1,89 segundos. Essa diferença de velocidade se traduz diretamente em economia de custos. A TypeSafe AI cobra US$ 0,042 por milhão de tokens de entrada, com saídas gratuitas. Em contraste, o ChatGPT cobra US$ 10 por milhão de tokens de entrada e US$ 50 por milhão de tokens de saída para o GPT-6 Astra. Mesmo variantes mais rápidas como o GPT-6 Luna custam US$ 0,10 por milhão de tokens de entrada.

Michelle Chen, gerente de produto na Cloudflare, que lançou seus próprios modelos de decisão como Clef e Claric, expressou otimismo sobre o potencial desses modelos. "Você provavelmente pode descarregar 80% das suas tarefas típicas de LLM para um modelo do Sistema Um que será muito mais rápido e muito mais barato", afirmou Chen. A redução na latência e nos custos abre portas para aplicações que antes eram inviáveis com a tecnologia LLM.

Mecanismos e Generalização de Tarefas

Embora a TypeSafe AI tenha sido discreta sobre os detalhes técnicos do Jev, os modelos de código aberto que o imitam oferecem mais transparência. O Clef da Cloudflare, por exemplo, baseado no Qwen LLM da Alibaba, utiliza a arquitetura de transformadores dos LLMs, mas com modificações cruciais. "Com um LLM, ao gerar um token de saída, ele olha todos os tokens anteriores e prevê o próximo token de saída", explicou Chen. "Nossos modelos de decisão não fazem isso. Eles apenas fazem uma única passagem para gerar uma leitura de todas as entradas e, em seguida, gerar uma saída. É por isso que é muito mais rápido."

Os modelos de decisão, como o Clef, restringem a saída a formatos predefinidos. Zhongyu Wei, professor da Universidade de Fudan e coautor de um estudo sobre modelos de decisão, observa que "o Jev só pode responder a perguntas com um formato de resposta predefinido e estruturado". Isso significa que, ao receber uma pergunta e opções como A, B ou C, o modelo deve escolher entre elas, retornando probabilidades junto com sua escolha. Essa abordagem é, em essência, um retorno aos classificadores, um tipo de modelo de IA mais antigo, mas adaptado para as necessidades modernas de processamento de linguagem.

Implicações e Perguntas em Aberto

A ascensão dos modelos de decisão levanta questões sobre o futuro dos LLMs. Se modelos mais simples e eficientes podem lidar com uma parcela significativa das tarefas de IA, qual será o papel dos LLMs mais complexos e caros? A indústria pode estar caminhando para uma arquitetura de IA híbrida, onde modelos de decisão cuidam das tarefas rotineiras e de alta velocidade, enquanto os LLMs são reservados para aplicações que exigem criatividade, raciocínio complexo ou geração de texto livre. A capacidade desses novos modelos de generalizar para diversas tarefas, mantendo a precisão e evitando alucinações, será crucial para sua adoção em larga escala. A indústria observará atentamente como a competição se desenrola e quais inovações surgirão a partir dessa nova fronteira em IA.

A rápida evolução dos modelos de decisão, impulsionada pelo Jev da TypeSafe AI, sinaliza uma mudança significativa no cenário da inteligência artificial. A promessa de respostas mais rápidas, baratas e confiáveis abre um leque de novas aplicações e desafia o domínio dos LLMs tradicionais. Resta saber como essa tecnologia se integrará ao ecossistema de IA existente e quais novas fronteiras ela permitirá explorar.

Com reportagem de Brazil Valley

Source · IEEE Spectrum — AI