A Google Cloud anunciou uma mudança significativa na arquitetura de seu hardware de inteligência artificial. A oitava geração de Tensor Processing Units (TPUs) foi dividida em duas variantes especializadas: o TPU 8t, focado em treinamento de modelos, e o TPU 8i, dedicado à inferência. Essa decisão, que se alinha com as tendências observadas por parceiros como a Cloudfresh, reflete um esforço para adequar a economia do hardware às demandas específicas das cargas de trabalho de IA, especialmente com o advento de agentes de IA.
Tradicionalmente, os aceleradores de IA, como as GPUs, eram projetados para executar tanto o treinamento de modelos quanto a inferência – a aplicação desses modelos para gerar resultados. Essa abordagem de chip único permitia um planejamento de capacidade e de orçamento mais simplificado, com um único pool de hardware dimensionado para ambas as tarefas. No entanto, o surgimento de agentes de IA, que realizam tarefas complexas em múltiplos passos e aprendem continuamente, está forçando uma reavaliação dessa arquitetura unificada.
O Impacto dos Agentes de IA no Hardware
O treinamento de modelos de IA é uma tarefa que recompensa a taxa de transferência (throughput), ou seja, a quantidade de dados que um chip pode processar por unidade de tempo. Quanto maior o throughput, mais rápido o modelo fica pronto. Os agentes de IA, por outro lado, operam de maneira distinta. Eles raciocinam, executam fluxos de trabalho em várias etapas e aprendem com suas próprias ações em ciclos contínuos. Isso significa que cada etapa do processo de um agente depende da anterior, tornando a latência e o acesso à memória tão cruciais quanto o poder de processamento bruto.
O TPU 8i foi projetado especificamente para atender a essas necessidades de inferência. Ele incorpora 288 GB de memória de alta largura de banda (HBM) e 384 MB de SRAM on-chip – um aumento triplo em relação à geração anterior. Essa configuração visa manter o conjunto de dados ativo do modelo diretamente no chip, minimizando a necessidade de acessos externos e reduzindo as ineficiências que, em escala, podem se tornar significativas. Embora ambos os chips ainda possam executar as duas cargas de trabalho, a especialização promete ganhos de eficiência consideráveis, forçando as equipes a decidir o quanto de eficiência abrem mão ao manter um parque de hardware compartilhado.
Uma Nova Economia de Custos para IA
A especialização dos chips de TPU traz consigo uma promessa de otimização de custos. O Google afirma que o TPU 8i oferece um desempenho 80% superior por dólar em comparação com a geração anterior, permitindo atender a quase o dobro de volume de clientes pelo mesmo custo. Além disso, ambos os novos chips alcançam até o dobro do desempenho por watt em relação ao Ironwood, a geração anterior. Essa eficiência energética é cada vez mais relevante, pois a energia se tornou um gargalo, assim como o fornecimento de chips, nos data centers modernos.
Para as equipes de FinOps (gerenciamento financeiro de operações em nuvem), a mudança prática reside na unidade de medição. Quando treinamento e inferência rodam em hardware com curvas de preço distintas, uma única linha de custo para horas de acelerador pode mascarar as diferenças. O gasto com treinamento se assemelha a um projeto com início e fim definidos, enquanto o gasto com inferência cresce a cada requisição atendida por um agente. A separação em dois orçamentos e o rastreamento do custo por tarefa concluída permitem identificar quais agentes justificam seu consumo de recursos computacionais.
Reconfiguração de Plataformas e Ferramentas
A eficiência de um agente de IA não depende apenas do hardware, mas também do software que o gerencia. O Google reestruturou sua plataforma Vertex AI, transformando-a na Gemini Enterprise Agent Platform. Esta nova plataforma inclui um Agent Runtime que suporta agentes de longa duração, mantendo estado por dias, além de ferramentas de Avaliação e Observabilidade de Agentes, que rastreiam o raciocínio do agente passo a passo em produção. Esses rastreamentos podem identificar loops, tentativas repetidas ou chamadas a modelos maiores do que o necessário, pontos onde o custo de inferência pode se acumular.
A escolha do modelo também é um fator crucial. A plataforma oferece mais de 200 modelos através do Model Garden, incluindo o Gemini 3.1 Pro, o open-source Gemma 4 e modelos da Anthropic. Isso permite que cada etapa de um pipeline de agente seja executada com um modelo dimensionado adequadamente para a tarefa. Oleh Maksymovych, Co-Fundador e General Manager de Especialista em Google Cloud & Análise de Dados na Cloudfresh, destaca a importância dessa abordagem: "Uma vez que um agente está em produção, a questão muda de como treinar um modelo para quanto custa cada resposta. É por isso que começamos com a carga de trabalho: quais tarefas precisam de um modelo grande, quais rodam bem em um menor, e com que frequência cada uma é chamada. A decisão do hardware vem depois disso."
Preparando-se para a Nova Era de Hardware de IA
Para as equipes que gerenciam pipelines de raciocínio de IA, a adaptação começa com a categorização de suas cargas de trabalho. Marcar cada carga de trabalho de acelerador como treinamento ou serviço, associar o custo de serviço ao agente e à tarefa que o gerou, e identificar tarefas que chamam modelos maiores do que o necessário são passos iniciais. Com esse mapeamento, a migração de cargas de trabalho de serviço para hardware específico de inferência se torna um cálculo por agente, baseado nos próprios números da equipe. O Google garante suporte nativo para frameworks populares como JAX, MaxText, PyTorch, SGLang e vLLM em ambas as plataformas TPU 8, facilitando a avaliação do TPU 8i para equipes que já utilizam essas ferramentas.
Com reportagem de Brazil Valley
Source · Designboom





