A inteligência artificial está se tornando radicalmente mais barata em termos de capacidade por unidade, mas as contas de IA nas empresas continuam a subir. Esse paradoxo central foi abordado por Tanguy Catlin e Lari Hämäläinen, sócios seniores da McKinsey, durante uma sessão virtual. Eles destacaram que, embora modelos de IA com desempenho comparável ao GPT-4 tenham visto seus custos despencarem de dezenas de dólares para menos de um dólar por milhão de tokens de saída, o volume de consumo por parte das empresas está explodindo.
O motivo principal é a crescente adoção de agentes autônomos de IA. Essas ferramentas são capazes de realizar tarefas complexas, como inspecionar, modificar e reescrever bases de código inteiras, gerando um volume de trabalho muito superior ao que um desenvolvedor humano faria. A McKinsey aponta que, ao contrário do software tradicional, onde o custo de execução de uma tarefa é previsível, os agentes de IA podem seguir caminhos distintos para atingir o mesmo resultado, tornando os custos altamente variáveis. Uma mesma tarefa pode custar até 30 vezes mais dependendo da execução.
O custo real da autonomia
A complexidade dos agentes de IA reside em seu raciocínio e refinamento contínuos para chegar a um resultado final. A forma como o sistema é projetado, como o uso de um único agente versus múltiplos, pode impactar dramaticamente o custo total de uma tarefa. A gestão de custos de IA, portanto, tem se deslocado da métrica de custo por token para a engenharia de sistemas que minimizam o desperdício de tokens. A recomendação é avaliar os agentes pelo custo de execução da tarefa, sua taxa de sucesso e o tempo humano necessário para verificar o trabalho realizado. Um agente pode começar a gerar valor se o tempo de verificação for uma fração pequena do tempo necessário para completar a tarefa do zero e sua taxa de sucesso for superior a 10%. O desafio maior, contudo, reside em redesenhar os fluxos de trabalho circundantes para aproveitar a capacidade liberada pelos agentes.
Gerenciando o gasto em IA
Segundo Catlin, não existe uma única alavanca para controlar os gastos com IA. Ele identificou três áreas cruciais para as empresas gerenciarem seus investimentos: visibilidade, otimização e disciplina de sourcing. Primeiramente, é essencial ter clareza sobre quais casos de uso, unidades de negócio, agentes, modelos e usuários estão impulsionando os custos. Sem essa transparência, torna-se impossível identificar onde os recursos estão sendo alocados e onde há potencial para otimização. A ausência de dados consolidados sobre o consumo de IA impede uma gestão estratégica eficaz, deixando as empresas à mercê de um crescimento de despesas descontrolado.
Em segundo lugar, a otimização de fluxos de trabalho é fundamental. Isso envolve o pareamento da complexidade do modelo com a tarefa específica, direcionando requisições para os modelos mais adequados, utilizando cache para contextos reutilizáveis e limitando chamadas desnecessárias a ferramentas e loops de agentes. A ideia é garantir que a ferramenta certa seja usada para o trabalho certo, evitando o uso de modelos superdimensionados para tarefas simples ou, inversamente, modelos subdimensionados para tarefas complexas. Essa abordagem granular permite não apenas reduzir custos, mas também melhorar a eficiência e a precisão dos resultados gerados pela IA.
Sourcing e o futuro da IA corporativa
A terceira área de foco é a disciplina de sourcing. Isso inclui a remoção de licenças não utilizadas, o gerenciamento de cotas e a negociação cuidadosa dos termos com os provedores. Evitar a dependência excessiva de um único modelo ou fornecedor também é crucial para manter a flexibilidade e o poder de negociação. A consolidação de contratos e a busca por alternativas podem gerar economias significativas, além de mitigar riscos associados à dependência de um único ecossistema tecnológico. No entanto, Catlin adverte que o objetivo não deve ser o corte indiscriminado de custos, mas sim a identificação e otimização dos gastos que geram os maiores retornos.
As empresas precisam definir onde o investimento em IA entrega o maior valor e direcionar seus esforços para maximizar esses retornos. A gestão eficaz de custos de IA não se trata apenas de reduzir despesas, mas de investir de forma inteligente em soluções que impulsionem o crescimento e a eficiência. A adoção de métricas adequadas, como o custo por tarefa, e a otimização contínua dos fluxos de trabalho são passos essenciais para navegar nesse cenário complexo e garantir que os benefícios da IA superem seus custos crescentes.
O caminho a seguir para as empresas que buscam gerenciar seus gastos com IA envolve uma combinação de visibilidade aprofundada, otimização técnica e estratégica de seus fluxos de trabalho, e uma abordagem disciplinada na contratação de serviços. A complexidade inerente aos agentes autônomos e o consumo em larga escala de recursos computacionais significam que a economia por token, por si só, é uma métrica insuficiente. A gestão eficaz exigirá uma compreensão holística dos custos e benefícios em cada etapa da operação de IA, garantindo que o investimento em inteligência artificial se traduza em valor de negócio tangível e sustentável.
Com reportagem de Brazil Valley
Source · Fortune
