A corrida pela supremacia em inteligência artificial não é medida apenas pelo tamanho dos modelos ou pela sua capacidade de gerar código, texto e imagens. Cada vez mais, a batalha se desloca para o campo da eficiência operacional. Em uma rara e detalhada publicação em seu blog, o GitHub, da Microsoft, abriu a caixa-preta de como está tornando seu popular assistente de programação, o Copilot, mais barato de operar sem sacrificar a qualidade do resultado final.

A tese central é contraintuitiva e serve de lição para todo o ecossistema de tecnologia que hoje constrói sobre LLMs: otimizar para o menor número de tokens por interação é uma “armadilha de métrica local”. A verdadeira economia não está em forçar respostas mais curtas, mas em eliminar etapas desnecessárias em toda a cadeia de uma tarefa, garantindo que o agente de IA não precise refazer trabalho ou pedir informações que já deveria ter. É a diferença entre otimizar a peça e otimizar a máquina.

A armadilha da otimização local

O ponto de partida do GitHub foi a constatação de um paradoxo: encurtar a resposta de uma ferramenta de IA pode, no final, tornar a tarefa mais longa e cara. A equipe testou um utilitário chamado RTK (Rust Token Killer), projetado para encurtar respostas de terminal antes que o agente de IA as leia. A hipótese era simples: menos texto para processar, menos custo. O resultado foi o oposto.

Quando o texto omitido continha detalhes importantes, o modelo do Copilot era forçado a executar passos de recuperação — como reabrir a saída original do comando ou executá-lo novamente para obter o que precisava. Cada um desses passos adicionais consumia mais tokens e tempo. A economia local gerou um prejuízo global. A lição, segundo o GitHub, é que o objetivo não deve ser usar menos tokens por chamada, mas sim usar a quantidade certa de contexto para que a tarefa avance. A eficiência deve ser medida na conclusão da tarefa, do início ao fim, não em interações isoladas.

Quatro cortes cirúrgicos

Com essa filosofia em mente, a equipe do Copilot implementou quatro mudanças principais, cada uma focada em remover trabalho que o modelo nunca precisou fazer. A primeira foi uma compressão seletiva de ruído. Em vez de cortar tudo, o sistema agora diferencia o que é informação útil (como código-fonte ou o resultado de um comando git diff) do que é repetitivo (como logs de instalação ou build). O conteúdo essencial é preservado integralmente, enquanto o ruído é comprimido, com uma “rota de fuga” para o agente acessar o original completo se necessário — um evento que, segundo os testes, raramente ocorre.

A segunda mudança foi a remoção de formatação sem valor. Agentes do Copilot costumavam prefixar cada linha de um arquivo com um número, um resquício de ferramentas de edição antigas. Individualmente, um custo pequeno. Somado ao longo de milhões de interações, um desperdício significativo. A remoção desses prefixos reduziu o custo de inferência em cerca de 3% nos experimentos online, sem impacto na qualidade. A terceira otimização foi nos prompts, as instruções que guiam o agente. Usando o próprio Copilot em um processo de “meta-prompting”, a equipe conseguiu reduzir o tamanho das instruções em cerca de 50%, economizando 2,9% no custo por hora ativa. Por fim, o sistema passou a entregar resultados de tarefas em segundo plano diretamente ao agente, eliminando um turno de interação em que o modelo precisava perguntar por um resultado que o sistema já possuía, o que cortou o uso de tokens em mais 2,3%.

Nenhuma dessas mudanças tornou o modelo fundamentalmente mais inteligente. Elas simplesmente tornaram o sistema que o orquestra mais eficiente. A busca por economia em IA generativa não passa por tornar os modelos menos capazes, mas por construir um andaime mais sofisticado ao redor deles. O foco está saindo da força bruta computacional para a elegância da engenharia, um sinal claro de amadurecimento do setor.

Com reportagem de Brazil Valley

Source · The GitHub Blog