2020/07/NVIDIA-GA102-Feature-2-1480×748.jpg”>
Une image en vedette de la puce NVIDIA GA100.
Meta révèle aujourd’hui qu’ils ont non seulement conçu mais construit le nouveau AI Research SuperCluster (RSC)—probablement les supercalculateurs IA les plus efficaces actuellement dans l’industrie et dans le monde et alimentés par les derniers GPU Ampere A100 de NVIDIA. Gardez à l’esprit que la société déclare qu’elle est construite mais déclare également qu’elle n’est pas entièrement construite mais prévoit une production complète au milieu de 2022.
Le métaverse commence aujourd’hui avec le développement du SuperCluster de recherche en IA , un supercalculateur avec les GPU A100 de NVIDIA se concentrant sur l’IA pour aider à l’avenir de Meta dans la technologie et la réalité virtuelle
Meta a actuellement des chercheurs qui utilisent le RSC pour exécuter des calculs pour former des modèles au traitement du langage naturel (NLP), ainsi que vision par ordinateur à des fins de recherche, dans le but de former l’IA avec des billions de paramètres.
NVIDIA, AMD et Intel annoncent la prise en charge des pilotes du premier jour pour l’API Vulkan 1.3 sur les plates-formes Windows et Linux
Le développement de la prochaine génération d’IA avancée nécessitera de nouveaux ordinateurs puissants capables d’effectuer des quintillions d’opérations par seconde.
— Kevin Lee et Shubho Sengupta, responsable du programme technique et ingénieur logiciel, respectivement
Le nouveau R esearch SuperCluster aidera les chercheurs en intelligence artificielle de Meta à développer des modèles d’IA améliorés qui seront plus intelligents et capables d’apprendre à partir de milliards d’instances ; traiter les informations de plusieurs langues simultanément; analyser simultanément du texte, des images et des vidéos ; créer des dispositifs de réalité augmentée uniques et des outils mis en œuvre ; ainsi que plusieurs autres projets en cours de conception.
Meta veut voir les applications et les développements basés sur l’IA prendre les devants dans la création de l’univers virtuel que la société intègre comme un simple mot à la mode. Un exemple du nouveau supercalculateur IA est la capacité de contrôler la traduction vocale d’un grand groupe de personnes en temps réel au lieu d’utiliser des traducteurs humains pour ralentir la conversation, permettant à de nombreuses personnes de collaborer sur un projet ou de jouer à un jeu multijoueur à la fois. Mais l’utilisation sous-jacente du nouveau Research SuperCluster est d’aider à créer de nouvelles technologies pour le métaverse.
Facebook a initialement créé le laboratoire de recherche sur l’IA en 2013 lorsque l’entreprise a réalisé un investissement à long terme dans l’intelligence artificielle. Plusieurs avancées de l’IA ont été intégrées à notre monde, et Meta explique comment leur progression est incluse dans les transformateurs qui aident les modèles d’IA à traiter les informations plus haut qu’auparavant en identifiant des domaines spécifiques et un apprentissage auto-supervisé, aidant les formules à comprendre un grand nombre de chiffres de exemples inconnus.
Pour tirer pleinement parti des avantages de l’apprentissage auto-supervisé et des modèles basés sur les transformateurs, divers domaines, qu’il s’agisse de la vision, de la parole, du langage, ou pour des cas d’utilisation critiques tels que l’identification de contenu préjudiciable, nécessitent une formation de modèles de plus en plus volumineux, complexes et adaptables. La vision par ordinateur, par exemple, doit traiter des vidéos plus grandes et plus longues avec des taux d’échantillonnage de données plus élevés. La reconnaissance vocale doit bien fonctionner même dans des scénarios difficiles avec beaucoup de bruit de fond, comme des fêtes ou des concerts. La PNL doit comprendre plus de langues, de dialectes et d’accents. Et les progrès dans d’autres domaines, y compris la robotique, l’IA incarnée et l’IA multimodale , aideront les gens à accomplir des tâches utiles dans le monde réel.
Étant donné que des infrastructures informatiques hautement performantes sont essentielles à la formation à l’intelligence artificielle, Meta divulgue qu’ils ont recherché et construit des systèmes pour répondre à ces besoins pendant de nombreuses années. Leur première version a été initialement conçue en 2017, utilisant 22 000 processeurs graphiques NVIDIA V100 Tensor Core situés sur un seul groupe pour effectuer 35 000 missions de formation en une seule journée. Cet élément de conception a permis aux équipes de recherche de Meta d’atteindre des niveaux élevés de productivité, de performances et de fiabilité.
Avec Metaverse qui devrait créer un marché adressable de 8 000 milliards de dollars, la communauté Shiba Inu (SHIB) s’intéresse à Son initiative Shibaverse
Il y a deux ans, l’entreprise s’est rendu compte que pour avancer dans ses développements, elle devait développer une nouvelle plate-forme pour les niveaux de calcul en cours d’achèvement. Ils ont conçu l’infrastructure pour utiliser les nouvelles cartes graphiques et la technologie de matrice de réseau à partir de zéro. Leur objectif? Les méta-chercheurs voulaient former l’IA en utilisant des billions de paramètres sur des ensembles de données de la taille d’un exaoctet, comparables à 36 000 ans de vidéo de haute qualité.
Les méta incluent également la nécessité d’identifier les contenus nuisibles trouvés sur toutes les plateformes de médias sociaux. , y compris les leurs. Grâce aux capacités de recherche de l’IA incarnée et de l’IA multimodale, l’entreprise prévoit d’améliorer l’expérience utilisateur à plus grande échelle avec sa série d’applications.
Meta explique ce qui alimente actuellement le superordinateur de recherche sur l’IA en 2022 :
RSC comprend aujourd’hui un total de 760 systèmes NVIDIA DGX A100 comme nœuds de calcul, pour un total de 6 080 GPU — chaque GPU A100 étant plus puissant que le V100 utilisé dans notre système précédent. Chaque DGX communique via une structure Clos à deux niveaux NVIDIA Quantum 1600 Gb/s InfiniBand sans surabonnement. Le niveau de stockage du RSC comprend 175 pétaoctets de Pure Storage FlashArray, 46 pétaoctets de stockage de cache dans les systèmes Penguin Computing Altus et 10 pétaoctets de Pure Storage FlashBlade.
Plusieurs tests de performance ont été testés, montrant le RSC traite les flux de travail de vision par ordinateur jusqu’à 20 fois plus efficacement, exécute la bibliothèque de communication collective NVIDIA, ou NCCL, jusqu’à neuf fois plus rapidement, et met en œuvre l’apprentissage pour les modèles NLP à grande échelle jusqu’à trois fois plus rapidement que leurs systèmes de recherche précédents. L’équivalence du supercalculateur est égale à”des dizaines de milliards de paramètres [qui] terminent leur formation en trois semaines, contre neuf semaines auparavant.”
Une fois le RSC terminé, sa structure réseau InfiniBand reliera 16 000 GPU en tant que points de terminaison, informations d’exploitation avec 4 000 processeurs AMD EPYC, ce qui en fait l’un des réseaux les plus étendus déployés. De plus, Meta a développé un système de mise en cache et de stockage capable de conformer 16 To/s de données pour la formation, avec des plans pour augmenter la taille à un exaoctet.
Les partenaires qui ont travaillé sur le projet RSC avec Meta sont Penguin Computing-une société SGH qui a travaillé en étroite collaboration avec l’équipe des opérations pour intégrer le matériel afin de déployer des clusters et a aidé avec le plan de contrôle du supercalculateur. Un autre partenaire était Pure Storage, qui proposait une solution de stockage unique mais personnalisable. Enfin, NVIDIA a proposé l’utilisation de ses technologies d’intelligence artificielle, qui couvrent les cartes graphiques, les systèmes de nouvelle génération et la structure InfiniBand, ainsi que le NCCL, pour travailler en tandem avec le cluster.
Les méta-détails qui le supercalculateur RSC fonctionne actuellement même s’il est encore en développement. La société déclare également qu’elle est actuellement dans la phase deux du projet et rappelle aux lecteurs que ce nouveau développement commencera la base de ce qu’ils envisagent au rez-de-chaussée du métaverse.
Source : Meta AI
