Les GPU H100 établissent la norme pour Gen AI dans le premier benchmark MLPerf | Blogs NVIDIA

Les GPU H100 établissent la norme pour Gen AI dans le premier benchmark MLPerf |  Blogs NVIDIA

Les principaux utilisateurs et les références standard de l’industrie sont d’accord : les GPU NVIDIA H100 Tensor Core offrent les meilleures performances d’IA, en particulier sur les grands modèles de langage (LLM) qui alimentent l’IA générative.

Les GPU H100 ont établi de nouveaux records sur les huit tests dans les derniers benchmarks de formation MLPerf publiés aujourd’hui, excellant sur un nouveau test MLPerf pour l’IA générative. Cette excellence est fournie à la fois par accélérateur et à grande échelle dans des serveurs massifs.

Par exemple, sur un cluster disponible dans le commerce de 3 584 GPU H100 co-développés par la startup Inflection AI et exploités par CoreWeave, un fournisseur de services cloud spécialisé dans les charges de travail accélérées par GPU, le système a terminé l’énorme référence de formation basée sur GPT-3 en moins de onze minutes.

“Nos clients construisent aujourd’hui des IA génératives et des LLM de pointe à grande échelle, grâce à nos milliers de GPU H100 sur des réseaux InfiniBand rapides et à faible latence”, a déclaré Brian Venturo, co-fondateur et CTO de CoreWeave. “Notre soumission MLPerf conjointe avec NVIDIA démontre clairement les excellentes performances dont bénéficient nos clients.”

Meilleures performances disponibles aujourd’hui

Inflection AI a exploité ces performances pour créer le LLM avancé derrière sa première IA personnelle, Pi, qui signifie intelligence personnelle. La société agira comme un studio d’IA, créant des IA personnelles avec lesquelles les utilisateurs pourront interagir de manière simple et naturelle.

« Aujourd’hui, tout le monde peut découvrir la puissance d’une IA personnelle basée sur notre grand modèle de langage à la pointe de la technologie qui a été formé sur le puissant réseau de GPU H100 de CoreWeave », a déclaré Mustafa Suleyman, PDG d’Inflection AI.

Co-fondée début 2022 par Mustafa et Karén Simonyan de DeepMind et Reid Hoffman, Inflection AI vise à travailler avec CoreWeave pour construire l’un des plus grands clusters informatiques au monde utilisant des GPU NVIDIA.

Conte de la bande

Ces expériences utilisateur reflètent les performances démontrées dans les benchmarks MLPerf annoncés aujourd’hui.

Les GPU H100 ont fourni les performances les plus élevées sur chaque référence, y compris les grands modèles de langage, les recommandateurs, la vision par ordinateur, l’imagerie médicale et la reconnaissance vocale. Ce sont les seules puces à exécuter les huit tests, démontrant la polyvalence de la plate-forme NVIDIA AI.

L’excellence à grande échelle

La formation est généralement une tâche exécutée à grande échelle par de nombreux GPU travaillant en tandem. À chaque test MLPerf, les GPU H100 établissent de nouveaux records de performances à grande échelle pour la formation à l’IA.

Les optimisations sur l’ensemble de la pile technologique ont permis une mise à l’échelle des performances quasi linéaire sur le test LLM exigeant, les soumissions passant de centaines à des milliers de GPU H100.

NVIDIA démontre son efficacité à grande échelle dans MLPerf Training v3.0

De plus, CoreWeave a fourni à partir du cloud des performances similaires à celles obtenues par NVIDIA à partir d’un supercalculateur IA fonctionnant dans un centre de données local. Cela témoigne de la mise en réseau à faible latence du réseau NVIDIA Quantum-2 InfiniBand que CoreWeave utilise.

Dans ce cycle, MLPerf a également mis à jour son benchmark pour les systèmes de recommandation.

Le nouveau test utilise un ensemble de données plus important et un modèle d’IA plus moderne pour mieux refléter les défis auxquels sont confrontés les fournisseurs de services cloud. NVIDIA a été la seule entreprise à soumettre des résultats sur le benchmark amélioré.

Un écosystème d’IA NVIDIA en pleine expansion

Près d’une douzaine d’entreprises ont soumis des résultats sur la plate-forme NVIDIA lors de ce tour. Leurs travaux montrent que NVIDIA AI est soutenu par le plus vaste écosystème du secteur en matière d’apprentissage automatique.

Les soumissions provenaient des principaux fabricants de systèmes, notamment ASUS, Dell Technologies, GIGABYTE, Lenovo et QCT. Plus de 30 soumissions ont été exécutées sur des GPU H100.

Ce niveau de participation permet aux utilisateurs de savoir qu’ils peuvent obtenir d’excellentes performances avec NVIDIA AI à la fois dans le cloud et sur des serveurs exécutés dans leurs propres centres de données.

Performances sur toutes les charges de travail

Les partenaires de l’écosystème NVIDIA participent à MLPerf car ils savent qu’il s’agit d’un outil précieux pour les clients qui évaluent les plates-formes et les fournisseurs d’IA.

Les références couvrent les charges de travail qui intéressent les utilisateurs : vision par ordinateur, traduction et apprentissage par renforcement, en plus de l’IA générative et des systèmes de recommandation.

Les utilisateurs peuvent se fier aux résultats de MLPerf pour prendre des décisions d’achat éclairées, car les tests sont transparents et objectifs. Les références bénéficient du soutien d’un large groupe comprenant Arm, Baidu, Facebook AI, Google, Harvard, Intel, Microsoft, Stanford et l’Université de Toronto.

Les résultats MLPerf sont disponibles dès aujourd’hui sur les plateformes H100, L4 et NVIDIA Jetson pour la formation IA, l’inférence et les benchmarks HPC. Nous ferons également des soumissions sur les systèmes NVIDIA Grace Hopper dans les prochains cycles MLPerf.

L’importance de l’efficacité énergétique

À mesure que les exigences de performance de l’IA augmentent, il est essentiel d’accroître l’efficacité de la manière dont ces performances sont atteintes. C’est ce que fait l’informatique accélérée.

Les centres de données accélérés avec les GPU NVIDIA utilisent moins de nœuds de serveur, ils utilisent donc moins d’espace de rack et d’énergie. De plus, la mise en réseau accélérée améliore l’efficacité et les performances, et les optimisations logicielles continues apportent des gains de facteur x sur le même matériel.

Les performances écoénergétiques sont également bonnes pour la planète et pour les entreprises. Des performances accrues peuvent accélérer la mise sur le marché et permettre aux entreprises de créer des applications plus avancées.

L’efficacité énergétique réduit également les coûts car les centres de données accélérés avec les GPU NVIDIA utilisent moins de nœuds de serveur. En effet, NVIDIA alimente 22 des 30 meilleurs supercalculateurs de la dernière liste Green500.

Logiciel accessible à tous

NVIDIA AI Enterprise, la couche logicielle de la plate-forme NVIDIA AI, permet d’optimiser les performances sur les principales infrastructures de calcul accéléré. Le logiciel est livré avec le support, la sécurité et la fiabilité de niveau entreprise nécessaires pour exécuter l’IA dans le centre de données de l’entreprise.

Tous les logiciels utilisés pour ces tests sont disponibles dans le référentiel MLPerf, de sorte que pratiquement tout le monde peut obtenir ces résultats de classe mondiale.

Les optimisations sont continuellement repliées dans des conteneurs disponibles sur NGC, le catalogue de NVIDIA pour les logiciels accélérés par GPU.

Lisez ce blog technique pour une plongée plus approfondie dans les optimisations qui alimentent les performances et l’efficacité MLPerf de NVIDIA.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

*