A Meta projetou e está construindo o que acredita ser o supercomputador de IA mais rápido do mundo. O AI Research SuperCluster (RSC) já está entre os supercomputadores de IA mais rápidos em execução e espera-se que seja incomparável quando estiver totalmente concluído em meados de 2022.
Como está hoje, o sistema é composto por 760 sistemas Nvidia DGX A100 (6.080 GPUs) vinculados usando a malha Clos de dois níveis Nvidia Quantum 1600 Gb/s InfiniBand que não tem excesso de assinatura.
Além disso, o sistema possui “175 petabytes de Pure Storage FlashArray, 46 petabytes de armazenamento em cache nos sistemas Penguin Computing Altus e 10 petabytes de Pure Storage FlashBlade”. Os primeiros testes mostram que o sistema é até 20 vezes mais rápido em fluxos de trabalho de visão computacional, nove vezes mais rápido na Nvidia Collective Communication Library (NCCL) e pode treinar modelos de PNL em larga escala três vezes mais rápido do que a infraestrutura de pesquisa e produção legada da Meta.
Isso é apenas o começo. Depois de concluído, o supercomputador da Meta conectará 16.000 GPUs. Eles também projetaram um sistema de armazenamento em cache que pode atender a 16 TB/s de dados de treinamento, com planos de escaloná-lo até um exabyte.
Meta disse que o trabalho feito com a RSC a ajudará a construir tecnologias para a próxima grande plataforma de computação, o metaverso. É aqui que a Meta acredita que aplicativos e produtos orientados por IA se tornarão ainda mais importantes.
De fato, se a visão do metaverso da Meta se desenrolar como a empresa espera, sem dúvida exigirá uma quantidade colossal de poder de processamento. Um supercomputador dessa escala poderia percorrer um longo caminho para trazer o conceito à realidade.
