Une nouvelle classe de systèmes d’IA accélérés et efficaces marque la prochaine ère du calcul intensif

NVIDIA a dévoilé aujourd’hui au SC23 la prochaine vague de technologies qui élèveront les centres de recherche scientifique et industrielle du monde entier vers de nouveaux niveaux de performances et d’efficacité énergétique.

« Les innovations matérielles et logicielles de NVIDIA créent une nouvelle classe de supercalculateurs IA », a déclaré Ian Buck, vice-président de l’activité calcul haute performance et centres de données hyperscale de la société, dans un discours spécial lors de la conférence.

Certains systèmes intégreront des accélérateurs NVIDIA Hopper à mémoire améliorée, d’autres une nouvelle architecture système NVIDIA Grace Hopper. Tous utiliseront le parallélisme étendu pour exécuter une pile complète de logiciels accélérés pour l’IA générative, le HPC et l’informatique quantique hybride.

Buck a décrit le nouveau NVIDIA HGX H200 comme « la première plate-forme informatique d’IA au monde ».

Il contient jusqu’à 141 Go de HBM3e, le premier accélérateur d’IA à utiliser la technologie ultrarapide. Exécutant des modèles tels que GPT-3, les GPU NVIDIA H200 Tensor Core offrent des performances 18 fois supérieures à celles des accélérateurs de la génération précédente.

Parmi d’autres benchmarks d’IA générativeils parcourent 12 000 jetons par seconde sur un grand modèle de langage Llama2-13B (LLM).

Buck a également révélé une plate-forme serveur qui relie quatre superpuces NVIDIA GH200 Grace Hopper sur une interconnexion NVIDIA NVLink. La configuration quadruple intègre dans un seul nœud de calcul 288 cœurs Arm Neoverse et 16 pétaflops de performances d’IA avec jusqu’à 2,3 téraoctets de mémoire haute vitesse.

Démontrant son efficacité, une superpuce GH200 utilisant la bibliothèque open source NVIDIA TensorRT-LLM est 100 fois plus rapide qu’un système CPU x86 à double socket et près de 2 fois plus économe en énergie qu’un serveur GPU X86 + H100.

“L’informatique accélérée est une informatique durable”, a déclaré Buck. « En exploitant la puissance du calcul accéléré et de l’IA générative, nous pouvons ensemble stimuler l’innovation dans tous les secteurs tout en réduisant notre impact sur l’environnement. »

NVIDIA alimente 38 des 49 nouveaux systèmes TOP500

La dernière liste TOP500 des supercalculateurs les plus rapides au monde reflète la transition vers un supercalcul accéléré et économe en énergie.

Grâce aux nouveaux systèmes alimentés par les GPU NVIDIA H100 Tensor Core, NVIDIA offre désormais plus de 2,5 exaflops de performances HPC sur ces systèmes de pointe, contre 1,6 exaflops dans le classement de mai. La contribution de NVIDIA au top 10 atteint à elle seule près d’un exaflops de HPC et 72 exaflops de performances d’IA.

La nouvelle liste contient le plus grand nombre de systèmes jamais utilisant les technologies NVIDIA, 379 contre 372 en mai, dont 38 des 49 nouveaux supercalculateurs de la liste.

Microsoft Azure mène les nouveaux arrivants avec son système Eagle utilisant des GPU H100 dans des instances NDv5 pour atteindre la troisième place avec 561 pétaflops. Mare Nostrum5 à Barcelone s’est classé n°8, et NVIDIA Eos – qui a récemment établi de nouveaux records de formation en IA sur les benchmarks MLPerf – est arrivé au n°9.

Montrant leur efficacité énergétique, les GPU NVIDIA alimentent 23 des 30 meilleurs systèmes du Green500. Et ils ont conservé la première place avec le système Henri basé sur GPU H100, qui fournit 65,09 gigaflops par watt pour le Flatiron Institute de New York.

La génération AI explore le COVID

Montrer ce qui est possible, le Laboratoire national d’Argonne a utilisé NVIDIA BioNeMo, une plateforme d’IA générative pour les LLM biomoléculaires, pour développer des GenSLM, un modèle capable de générer des séquences génétiques qui ressemblent étroitement aux variantes réelles du coronavirus. Grâce aux GPU NVIDIA et aux données de 1,5 million de séquences génomiques du COVID, il peut également identifier rapidement de nouvelles variantes de virus.

Le travail a remporté le prix spécial Gordon Bell l’année dernière et a été réalisé sur des superordinateurs, notamment le système Polaris d’Argonne, Perlmutter du ministère américain de l’Énergie et Selene de NVIDIA.

Ce n’est « que la pointe de l’iceberg : l’avenir regorge de possibilités, alors que l’IA générative continue de redéfinir le paysage de l’exploration scientifique », a déclaré Kimberly Powell, vice-présidente des soins de santé chez NVIDIA, dans le discours spécial.

Économiser du temps, de l’argent et de l’énergie

Grâce aux dernières technologies, les charges de travail accélérées peuvent entraîner une réduction d’un ordre de grandeur du coût du système et de l’énergie utilisée, a déclaré Buck.

Par exemple, Siemens s’est associé à Mercedes pour analyser l’aérodynamique et l’acoustique associée de ses nouveaux véhicules électriques EQE. Les simulations qui ont pris des semaines sur les clusters de processeurs se sont déroulées beaucoup plus rapidement avec les derniers GPU NVIDIA H100. De plus, les GPU Hopper leur permettent de réduire les coûts par 3 et la consommation d’énergie par 4 (ci-dessous).

Allumer 200 exaflops à partir de l’année prochaine

Les avancées scientifiques et industrielles viendront de tous les coins du globe où les systèmes les plus récents sont déployés.

“Nous prévoyons déjà qu’un total de 200 exaflops d’IA sur les supercalculateurs Grace Hopper entreront en production en 2024”, a déclaré Buck.

Ils incluent l’énorme supercalculateur JUPITER du centre allemand de Jülich. Il peut fournir 93 exaflops de performances pour la formation en IA et 1 exaflop pour les applications HPC, tout en consommant seulement 18,2 mégawatts d’énergie.

Basé sur le système à refroidissement liquide BullSequana XH3000 d’Eviden, JUPITER utilisera l’architecture système NVIDIA quad GH200 et le réseau NVIDIA Quantum-2 InfiniBand pour les prévisions climatiques et météorologiques, la découverte de médicaments, l’informatique quantique hybride et les jumeaux numériques. Les nœuds JUPITER quad GH200 seront configurés avec 864 Go de mémoire haute vitesse.

Il s’agit de l’un des nombreux nouveaux supercalculateurs utilisant Grace Hopper annoncés par NVIDIA au SC23.

Le système HPE Cray EX2500 de Hewlett Packard Enterprise utilisera le quad GH200 pour alimenter de nombreux supercalculateurs d’IA qui seront mis en ligne l’année prochaine.

Par exemple, HPE utilise le quad GH200 pour alimenter OFP-II, un système HPC avancé au Japon partagé par l’Université de Tsukuba et l’Université de Tokyo, ainsi que le système DeltaAI, qui triplera la capacité de calcul du Centre national américain de recherche. Applications de calcul intensif.

HPE construit également le système Venado pour le laboratoire national de Los Alamos, le premier GH200 à être déployé aux États-Unis. De plus, HPE construit des supercalculateurs GH200 au Moyen-Orient, en Suisse et au Royaume-Uni.

Grace Hopper au Texas et au-delà

Au Texas Advanced Computing Center (TACC), Dell Technologies construit le supercalculateur Vista avec les superpuces NVIDIA Grace Hopper et Grace CPU.

Plus de 100 entreprises et organisations mondiales, dont le centre de recherche Ames de la NASA et Total Energies, ont déjà acheté les systèmes d’accès anticipé Grace Hopper, a déclaré Buck.

Ils rejoignent les utilisateurs du GH200 précédemment annoncés, tels que SoftBank et l’Université de Bristol, ainsi que l’énorme système Leonardo doté de 14 000 GPU NVIDIA A100 qui fournit 10 exaflops de performances d’IA pour le consortium italien Cineca.

La vue depuis les centres de calcul intensif

Les dirigeants des centres de calcul intensif du monde entier ont partagé leurs plans et leurs travaux en cours avec les derniers systèmes.

«Nous collaborons avec MétéoSuisse ECMWP ainsi qu’avec les scientifiques de l’ETH EXCLAIM et du projet Earth-2 de NVIDIA pour créer une infrastructure qui repoussera les limites dans toutes les dimensions de l’analyse des mégadonnées et du calcul à grande échelle», a déclaré Thomas Schultess, directeur de le Centre national suisse de calcul scientifique qui travaille sur le supercalculateur des Alpes.

« Il y a des gains d’efficacité énergétique vraiment impressionnants dans nos cheminées », a déclaré Dan Stanzione, directeur exécutif de TACC, à propos de Vista.

C’est « vraiment un tremplin pour faire passer les utilisateurs des types de systèmes que nous avons créés dans le passé à cette nouvelle combinaison étroitement couplée de processeur Grace Arm et de GPU Hopper et… nous cherchons à évoluer probablement d’un facteur 10. » ou 15 de ce que nous déployons avec Vista lorsque nous déploierons Horizon dans quelques années », a-t-il déclaré.

Accélérer le voyage quantique

Les chercheurs utilisent également les systèmes accélérés d’aujourd’hui pour ouvrir la voie aux supercalculateurs de demain.

En Allemagne, JUPITER « va révolutionner la recherche scientifique dans les domaines du climat, des matériaux, de la découverte de médicaments et de l’informatique quantique », a déclaré Kristel Michelson, qui dirige le groupe de recherche de Julich sur le traitement de l’information quantique.

« L’architecture de JUPITER permet également l’intégration transparente d’algorithmes quantiques avec des algorithmes HPC parallèles, ce qui est obligatoire pour des simulations hybrides HPC quantiques efficaces », a-t-elle déclaré.

CUDA Quantum stimule le progrès

Le discours spécial a également montré comment NVIDIA CUDA Quantum – une plate-forme de programmation de processeurs, de GPU et d’ordinateurs quantiques également connus sous le nom de QPU – fait progresser la recherche en informatique quantique.

Par exemple, des chercheurs de BASF, la plus grande entreprise chimique au monde, ont mis au point une nouvelle méthode hybride quantique-classique pour simuler des produits chimiques capables de protéger les humains contre les métaux nocifs. Ils rejoignent les chercheurs du Brookhaven National Laboratory et de HPE qui repoussent séparément les frontières de la science avec CUDA Quantum.

NVIDIA a également annoncé une collaboration avec Classiq, un développeur d’outils de programmation quantique, pour créer un centre de recherche en sciences de la vie au centre médical Sourasky de Tel Aviv, le plus grand hôpital universitaire d’Israël. Le centre utilisera le logiciel Classiq et CUDA Quantum fonctionnant sur un système NVIDIA DGX H100.

Par ailleurs, Quantum Machines déploiera le premier NVIDIA DGX Quantum, un système utilisant les superpuces Grace Hopper, au Centre national quantique d’Israël, qui vise à faire progresser les domaines scientifiques. Le système DGX sera connecté à un QPU supraconducteur de Quantware et à un QPU photonique d’ORCA Computing, tous deux alimentés par CUDA Quantum.

« En seulement deux ans, notre plateforme d’informatique quantique NVIDIA a rassemblé plus de 120 partenaires [above]un témoignage de sa plateforme ouverte et innovante », a déclaré Buck.

Dans l’ensemble, les travaux dans de nombreux domaines de découverte révèlent une nouvelle tendance qui combine le calcul accéléré à l’échelle du centre de données avec l’innovation full-stack de NVIDIA.

« L’informatique accélérée ouvre la voie à une informatique durable avec des progrès qui offrent non seulement une technologie étonnante, mais aussi un avenir plus durable et plus impactant », a-t-il conclu.

Regardez l’adresse spéciale SC23 de NVIDIA ci-dessous.