O Google deu um passo significativo na democratização do acesso aos seus Tensor Processing Units (TPUs) ao liberar o TorchTPU como código aberto. A iniciativa, anunciada durante a PyTorch Conference 2026, permite que desenvolvedores executem aplicações criadas em PyTorch diretamente em TPUs, os aceleradores de hardware proprietários do Google. Essa abertura visa reduzir barreiras técnicas e expandir as opções de infraestrutura para empresas que trabalham com inteligência artificial (IA), competindo diretamente com o domínio das GPUs.
Mecanismos de Adoção e Flexibilidade Operacional
O TorchTPU foi desenvolvido em colaboração com a equipe do PyTorch, da Meta, e foi projetado para exigir alterações mínimas no código existente. Isso significa que desenvolvedores familiarizados com as interfaces de programação do PyTorch podem migrar suas cargas de trabalho para as TPUs com relativa facilidade, integrando-as ao conjunto de opções nativas que já incluem CPUs e GPUs. A disponibilidade no GitHub reforça a estratégia do Google Cloud de promover a interoperabilidade em seu ecossistema de IA, permitindo que organizações escolham os recursos computacionais mais adequados sem ficarem presas a uma única arquitetura de hardware.
A plataforma suporta o modo de execução imediata (eager mode) do PyTorch, facilitando a depuração e a experimentação. Além disso, o recurso torch.compile otimiza a execução dos modelos, melhora o aproveitamento dos aceleradores e reduz o consumo de memória. Ferramentas de diagnóstico e recursos nativos para processamento distribuído também foram incorporados, essenciais para o treinamento de modelos de grande porte e a gestão de ambientes de IA escaláveis.
Integrações Estratégicas para o Ecossistema de IA
A compatibilidade do TorchTPU com ferramentas populares do ecossistema de código aberto, como Hugging Face, vLLM, SGLang, TorchTitan e Ray, é um diferencial importante. Essas integrações permitem que equipes de engenharia e ciência de dados utilizem estruturas já consolidadas para desenvolver, treinar e implantar modelos. Por exemplo, modelos compatíveis com a biblioteca Transformers da Hugging Face podem ser direcionados às TPUs com uma configuração simples, e a biblioteca Diffusers, para modelos generativos, também se beneficia da distribuição de processamento entre múltiplos aceleradores.
Foco na Inferência e Treinamento em Larga Escala
Um dos pilares da estratégia do Google com o TorchTPU é a inferência, etapa crítica onde modelos treinados processam requisições e geram respostas. A integração com o vLLM possibilita a execução de modelos de pesos abertos nas TPUs com recursos avançados como continuous batching, quantização e paralelismo entre chips, visando melhorar a relação custo-desempenho sem grandes refatorações nas infraestruturas existentes. A colaboração com o SGLang, que emprega reutilização de cache, promete reduzir a latência em interações complexas. Adicionalmente, o projeto llm-d 1.0, em parceria com Red Hat e IBM, conecta mecanismos de execução de modelos ao Kubernetes, otimizando a distribuição de inferência no Google Kubernetes Engine (GKE).
No treinamento em larga escala, a integração com o TorchTitan demonstra um potencial notável. Testes com modelos como o Qwen 3 de 8 bilhões de parâmetros alcançaram até 52% de utilização da capacidade computacional teórica (MFU) em configurações de até 8.192 TPUs Ironwood, evidenciando escalabilidade e estabilidade. O suporte a TPUs no Ray também amplia a orquestração de dados, treinamento, aprendizado por reforço e inferência em ambientes distribuídos, permitindo o direcionamento inteligente de cargas de trabalho para diferentes tipos de hardware.
Com reportagem de Brazil Valley
Source · TIInside
