Google Apresenta Ironwood TPU com Recorde de 1,77 PB de Memória Compartilhada
Pontos principais
- O Ironwood é a sétima geração de TPU da Google, com uma arquitetura de dois dies.
- Cada chip entrega 4.614 TFLOPs de desempenho FP8 e 192 GB de memória HBM3e.
- Um pod completo de 9.216 chips fornece um recorde de 1,77 PB de memória compartilhada diretamente endereçável.
- O sistema atinge 42,5 exaflops de desempenho enquanto melhora a eficiência de energia duas vezes em relação à geração anterior.
- Funcionalidades de RAS avançadas incluem raiz de confiança no chip, funções de auto-teste e mitigação de corrupção silenciosa de dados.
- Refrigeração líquida com tecnologia de placa fria suporta o design de alta densidade.
- Design assistido por IA otimiza o ALU e o plano de layout do chip, e um SparseCore de quarta geração acelera cargas de trabalho de recomendação.
- O Ironwood já está sendo implantado em data centers da Google Cloud para inferência em larga escala.
Google introduziu sua sétima geração de Unidade de Processamento de Tensor, chamada Ironwood, em um recente evento Hot Chips. O chip de dois dies entrega 4.614 TFLOPs de desempenho FP8 e combina cada die com oito pilhas de HBM3e, fornecendo 192 GB de memória por chip. Quando dimensionado para um pod de 9.216 chips, o sistema atinge 1,77 PB de memória compartilhada diretamente endereçável - a maior configuração de memória compartilhada já registrada para um supercomputador.
Arquitetura do Ironwood TPU da Google
A Google revelou sua mais recente Unidade de Processamento de Tensor, nomeada Ironwood, como a primeira TPU construída principalmente para cargas de trabalho de inferência em massa em vez de treinamento. O chip integra dois dies de computação, cada um entregando 4.614 TFLOPs de desempenho FP8. Oito pilhas de memória HBM3e fornecem 192 GB por chip, entregando 7,3 TB/s de largura de banda. O design de dois dies permite que o sistema seja dimensionado sem lógica de cola, suportando até 9.216 chips por pod.
Memória Compartilhada Recorde
Quando totalmente montado, o pod Ironwood oferece 1,77 PB de memória HBM diretamente endereçável, estabelecendo um novo recorde mundial para supercomputadores de memória compartilhada. O grande pool de memória é vinculado por switches de circuito óptico que conectam as prateleiras, permitindo que o sistema mantenha alta largura de banda enquanto é dimensionado.
Desempenho e Eficiência
Ao longo do pod completo, a configuração atinge 42,5 exaflops de desempenho. A Google afirma uma melhoria de duas vezes no desempenho por watt em comparação com sua geração anterior, Trillium, graças à escala de tensão-frequência dinâmica e a uma solução de refrigeração líquida com placa fria que aproveita a infraestrutura de refrigeração de terceira geração da empresa.
Confiabilidade, Disponibilidade e Manutenção (RAS)
O Ironwood incorpora várias funcionalidades de confiabilidade no chip, incluindo uma raiz de confiança, funções de auto-teste e mecanismos para mitigar a corrupção silenciosa de dados. Funções de reparo de lógica melhoram o rendimento de fabricação, e o sistema pode ser reconfigurado em torno de nós com falha, restaurando cargas de trabalho de pontos de verificação.
Design Assistido por IA e SparseCore
A Google utilizou técnicas de IA para otimizar os circuitos ALU e o plano de layout do chip Ironwood. Um SparseCore de quarta geração é adicionado para acelerar embeddings e operações coletivas, visando cargas de trabalho como motores de recomendação.
Implantação e Disponibilidade
A Google começou a implantar o Ironwood em seus data centers de nuvem em larga escala, embora a TPU permaneça como uma plataforma interna não oferecida diretamente a clientes externos. O design reflete a estratégia de longo prazo da Google para construir computação de alto nível de IA em camadas de chip, interconexão e infraestrutura física.