A Aiven, empresa finlandesa conhecida por seus serviços de banco de dados open source, está propondo uma solução inovadora para mitigar os altos custos associados ao uso de Modelos de Linguagem Grandes (LLMs). Internamente, a companhia afirma ter conseguido uma redução de 80% em suas despesas com tokens de IA, migrando para modelos abertos (open-weight) e desenvolvendo um gateway que permite alternar entre diferentes modelos conforme a necessidade.
O movimento da Aiven reflete uma tendência crescente no mercado de IA, onde desenvolvedores buscam otimizar gastos. A estratégia da empresa europeia é clara: gerenciar seus próprios custos de token e ter maior controle sobre o uso de inteligência artificial. Essa abordagem se alinha com o debate sobre o chamado "token-maxxing", que explora maneiras de reduzir despesas, incluindo o uso de modelos chineses mais acessíveis e os modelos de peso aberto, que, por terem seus parâmetros publicamente disponíveis, oferecem um custo operacional significativamente menor em comparação com os modelos de ponta de empresas como OpenAI e Anthropic. Exemplos notáveis de modelos abertos incluem a família Llama da Meta, Qwen da Alibaba Cloud, DeepSeek da China, Mistral AI e Gemma do Google.
Ville Lehto, VP de estratégia da Aiven, destacou que uma fração de usuários consome a maior parte dos recursos de token, e que a adoção de modelos abertos pode gerar economias substanciais. Diante da escolha entre impor orçamentos rigorosos para tokens ou encontrar métodos mais eficientes de utilização, a Aiven optou pela segunda via. O gateway interno desenvolvido pela empresa visa tornar a transição e o uso de modelos abertos o mais simples possível, permitindo que os funcionários alternem entre modelos ocidentais e asiáticos, além dos modelos de fronteira, com foco especial nos usuários de alto consumo. O resultado, segundo Lehto, é uma redução de aproximadamente 80% nos gastos.
Além da economia, a Aiven ressalta a importância de métricas como custo por tarefa para avaliar o desempenho, já que a eficiência entre modelos abertos e de ponta pode variar. O gateway foi construído sobre o framework open source LiteLLM, com funcionalidades adicionais como orçamentação e gerenciamento de acesso. A empresa utiliza GPUs alugadas e auto-hospeda os modelos. Atualmente, a Aiven emprega modelos de ponta principalmente para o planejamento de tarefas críticas, enquanto a execução da maior parte do trabalho é realizada com modelos abertos, uma estratégia que tem se mostrado bem-sucedida.
Com a experiência adquirida, a Aiven planeja oferecer esse gateway como um serviço aos seus clientes. A iniciativa visa auxiliar outras organizações a gerenciar seus custos de IA, facilitando a integração e a troca de modelos abertos em seus fluxos de trabalho. Dada a sua origem em software de código aberto, a empresa vê essa oferta como uma extensão natural de seus negócios, perfeitamente alinhada às necessidades corporativas. A Aiven já atende clientes de peso como Conrad, Dojo, Sophos e Avaya, e se posiciona como uma das empresas a auxiliar outras na redução de custos com IA.
Com reportagem de Brazil Valley
Source · The Register
