A performance de modelos de inteligência artificial (IA) chineses, especialmente os de código aberto, parece ter caído consideravelmente em relação aos seus rivais americanos, segundo uma nova análise da Artificial Analysis. A firma, conhecida por suas avaliações independentes do setor, revisou recentemente seus métodos de teste para refletir com mais precisão o uso real da tecnologia. Uma das mudanças mais significativas foi a adoção de testes privados, o que dificulta que as empresas de IA treinem seus modelos especificamente para se destacarem em benchmarks conhecidos — uma prática apelidada de "benchmark hacking" por executivos como Satya Nadella, CEO da Microsoft.
Sob o sistema anterior, a diferença entre os melhores modelos de código aberto e o líder geral era de apenas três pontos. Com a nova metodologia, essa lacuna se ampliou para 12 pontos: modelos com pesos publicamente disponíveis atingiram pontuação de apenas 32, enquanto os principais modelos fechados da Anthropic chegaram a 58, segundo a Artificial Analysis. Modelos chineses de código aberto, incluindo ofertas da Moonshot AI, também ficaram abaixo dos líderes nessa nova classificação. Essa disparidade levanta questões sobre a real competitividade da IA chinesa e o valor de mercado dos modelos ocidentais proprietários.
O Mecanismo por Trás da Mudança
A nova classificação da Artificial Analysis visa combater o "benchmark hacking", prática em que modelos de IA são otimizados para ter desempenho excepcional em testes específicos, sem necessariamente refletir capacidade geral superior. Ao tornar muitos dos testes privados, a firma impede que as empresas antecipem e manipulem os resultados. Essa mudança revela uma diferença mais substancial na capacidade dos modelos de IA americanos, especialmente em tarefas complexas como as científicas. Até mesmo modelos menores da Anthropic superaram todos os modelos com pesos abertos em desempenho, segundo a análise.
Nathan Lambert, cofundador da Trillium Labs, que pesquisa modelos de linguagem grandes, admitiu que o índice anterior "flertava demais com os modelos de peso aberto". A nova abordagem, ao focar em cenários de uso mais realistas e menos previsíveis, parece ter exposto uma fragilidade na performance comparativa dos modelos chineses.
A Questão do Uso e o Hype
Além da performance em testes, a utilidade prática e a demanda por modelos de IA de código aberto também são questionadas. Dax Raad, cofundador da OpenCode, analisou o tráfego na OpenRouter, um serviço que agrega acesso a diversos modelos de IA. Ele estima que o tráfego diário de modelos como o DeepSeek, um dos principais players chineses, poderia ser atendido por um único conjunto de computadores Nvidia de alto desempenho, com custo estimado entre US$ 6 e US$ 7 milhões. Essa demanda computacional relativamente baixa contrasta com a atenção midiática e o investimento que esses modelos atraíram.
Embora a OpenRouter represente apenas uma fração do mercado, a análise sugere que a infraestrutura massiva de IA está sendo impulsionada principalmente por grandes provedores de modelos fechados, como a OpenAI, que atende centenas de milhões de usuários com o ChatGPT. Essa discrepância na escala de uso levanta dúvidas sobre se a ameaça representada pelos modelos de código aberto e chineses ao modelo de negócios das empresas ocidentais foi, de fato, superestimada.
Implicações para Investidores e o Mercado
As novas descobertas da Artificial Analysis têm implicações diretas para os investidores que avaliam as altas valorizações de empresas como OpenAI e Anthropic. Se a ameaça da concorrência chinesa e de modelos de código aberto é menos iminente do que se supunha, o caso de investimento para ofertas públicas iniciais (IPOs) planejadas pode se fortalecer. A capacidade de empresas como OpenAI e Anthropic de manterem preços premium por suas tecnologias proprietárias parece mais segura do que se acreditava anteriormente.
A distinção entre performance real e hype é crucial. Embora modelos de código aberto, incluindo os chineses, ainda possam oferecer vantagens em nichos como desenvolvimento de software e controle de custos, a evidência sugere que a liderança tecnológica americana em IA geral permanece robusta.
Perspectivas
As novas métricas e os dados de uso levantam questões centrais para o futuro da IA: qual é a real paridade de performance entre os modelos de código aberto e a tecnologia americana de ponta, e se a demanda por esses modelos é tão substancial quanto o discurso público sugere. Os modelos de código aberto continuam a evoluir e a encontrar nichos de aplicação onde podem prosperar, oferecendo maior flexibilidade e menor custo para empresas que buscam personalizar suas soluções de IA.
A narrativa sobre a ascensão imparável da IA chinesa pode precisar de uma reavaliação à luz dessas novas evidências. O foco agora se volta para a capacidade contínua de inovação das empresas ocidentais e a sustentabilidade de seus modelos de negócios em um cenário competitivo e em rápida evolução. A verdadeira capacidade e demanda por IA aberta, em contrapartida aos modelos proprietários, permanecem um campo de observação essencial para investidores e para o próprio ecossistema de IA.
Com reportagem de Brazil Valley
Source · Business Insider
