Le groupe Facebook Meta a construit depuis 2020 un nouveau centre de calcul pour l’ordinateur de recherche en IA AI Research SuperCluster (RSC) avec, dans un premier temps, une puissance de calcul en virgule flottante de 1,895 exaflops à précision simple (FP32).
Le RSC se compose essentiellement de 760 systèmes Nvidia DGX-A100, qui contiennent chacun huit accélérateurs A100, soit un total de 6080 modules A100. Meta prévoit toutefois d’étendre le RSC à environ 16 000 accélérateurs A100 au cours de l’année 2022. Le système devrait alors fournir une puissance de calcul d’intelligence artificielle d’environ 5 exaflops pour le traitement de données à précision mixte.
Les systèmes de stockage flash d’une capacité totale de 175 pétaoctets sont achetés par Meta à Pure Storage. L’entreprise Pengiun Computing fournit un système de cache (Altus) de 46 PByte, un FlashBlade de Pure Storage contient 10 PByte supplémentaires.
(Image : Meta)
Pour la mise en réseau, c’est à nouveau la technologie Nvidia qui est utilisée, à savoir Infiniband avec 200 Gbit/s. Dans le système Nividia, les accélérateurs A100 sont directement connectés, donc pas indirectement via les processeurs (Epyc) AMD respectifs.
Il est intéressant de noter que Meta ne mise pas sur une construction du système avec du matériel conforme aux spécifications de l’Open Compute Project (OCP), que Facebook a lui-même lancé en 2011. Au lieu de cela, c’est essentiellement la technologie propriétaire de Nvidia qui est utilisée.
Modèles d’IA géants
Meta veut surtout utiliser le RSC pour entraîner des modèles d’IA encore plus grands. Comme l’entreprise l’explique dans une note de blog, il est prévu de traiter des modèles comportant jusqu’à 1 billion de paramètres et des ensembles de données d’une taille pouvant atteindre 1 exabyte. L’un des objectifs de Meta est de détecter en temps réel les publications dangereuses sur les médias sociaux. Pour ce faire, les modèles d’IA devraient par exemple être en mesure d’évaluer beaucoup plus de langues différentes.