Marvell Technology e Penguin Solutions anunciaram uma colaboração para desenvolver um "tecido de memória fotônica", uma arquitetura inovadora que promete resolver o que a indústria chama de "RAMpocalypse" – a crescente escassez e o alto custo da memória RAM em sistemas de computação de alta performance.

A tecnologia subjacente, adquirida pela Marvell da Celestial AI por US$ 3,5 bilhões em fevereiro, utiliza interposers fotônicos de silício para criar um módulo de expansão de memória. Este módulo é capaz de empilhar até 72 GB de HBM3e e suportar oito canais de DDR5, oferecendo uma largura de banda bidirecional de 7,2 Tbps (900 GB/s). A proposta é que esses módulos sejam integrados em appliances construídos pela Penguin Solutions, que gerenciarão a energia, o software e a camada de controle.

Arquitetura e Capacidade de Compartilhamento

Os primeiros appliances baseados nesta tecnologia suportarão 16 desses módulos de memória, totalizando até 16 TB de DDR5 e 1 TB de HBM. Futuramente, a capacidade de DDR5 poderá dobrar. Essa expansão de memória é distribuída através de fibra óptica, com uma largura de banda total de 57,6 Tbps, permitindo que cada appliance atenda até 16 servidores. A conexão com os servidores pode ser feita via placas de rede (NICs) ou módulos ópticos co-empacotados (CPO) e próximos ao empacotamento (NPO). O NPO, em particular, é visto como um componente chave para a próxima geração de sistemas em escala de rack, oferecendo melhor manutenibilidade e menor risco em comparação com a integração direta de chiplets fotônicos em CPUs ou GPUs.

Gerenciamento de Memória e Aplicações

Através de uma camada de software desenvolvida pela Penguin, cada servidor conectado ao appliance pode acessar o espaço de memória compartilhado de forma unificada, similar ao acesso a um storage em rede. Embora tecnologias como CXL 3.1 permitam funcionalidades semelhantes, a nova arquitetura fotônica pode contornar o CXL em configurações baseadas em NPO e CPO. O software também possibilita diferentes modos de tiering de memória, incluindo um modo de cache HBM "write-through" que permite extrair a performance do HBM com a capacidade do DDR5, tratando o HBM como um cache de leitura/escrita para dados frequentemente acessados.

Implicações para IA e Computação de Alto Desempenho

A capacidade de compartilhar e agrupar memória entre múltiplos servidores tem implicações significativas. Servidores individuais podem necessitar de menos DRAM própria, reduzindo custos. A tecnologia também se posiciona como uma alternativa para offload de caches de chave-valor (KV) em inferência de IA. Esses caches, que rastreiam o estado de modelos em sessões de chat, podem se tornar computacionalmente caros e volumosos. Ao descarregar caches KV inativos para esses appliances de memória, em vez de DRAM ou flash, os clientes podem obter melhor performance e utilização de memória. Além de cargas de trabalho de IA, a tecnologia tem potencial para reduzir a quantidade de DRAM necessária por sistema, um conceito que já tem sido explorado por empresas como a Meta em seus data centers.

Perspectivas Futuras

A Marvell e a Penguin Solutions esperam que a primeira geração de sistemas de expansão de memória Photonic Fabric chegue ao mercado no segundo semestre do próximo ano. A iniciativa representa um passo audacioso em direção a uma arquitetura de computação mais flexível e eficiente, onde a memória pode ser tratada como um recurso compartilhado e escalável, liberando o potencial de cargas de trabalho cada vez mais exigentes.

Com reportagem de Brazil Valley

Source · The Register