Cette semaine, SIGGRAPHE 2024 se déroule à Denver, Colorado. L’événement, qui fête désormais ses 50 ansème année, a commencé comme une conférence industrielle pour la recherche graphique, mais s’est maintenant élargie pour inclure d’autres sujets, tels que l’IA et la simulation. Cela fait le parallèle NVIDIA d’une entreprise qui fabriquait des cartes graphiques jusqu’au plus grand fournisseur mondial de calcul accéléré. Comme toujours, NVIDIA a annoncé un large éventail d’innovations soulignant comment sa plate-forme permet toutes les charges de travail informatiques accélérées, du virtuel au physique.
Des modèles d’IA avancés pour créer des objets 3D, des humains numériques et des robots simulés font partie de ces innovations. Un aperçu détaillé de l’actualité est ci-dessous.
Développements NIM et Omniverse
Microservices d’inférence NVIDIA (NIM) est un framework conçu pour simplifier le déploiement de l’IA générative (gen AI). Il fournit des modèles et des conteneurs d’IA prédéfinis qui peuvent être intégrés aux applications via des interfaces de programmation d’applications (API).
En partenariat avec WPP Ouvrez X, le Société Coca-Cola utilise NVIDIA Omnivers et NIM pour créer des publicités 3D personnalisées pour plus de 100 marchés. Au SIGGRAPH, WPP, l’une des principales sociétés de services de marketing et de communication, a annoncé que Coca-Cola avait intégré NIM pour Universal Scene Description (OpenUSD) dans son studio de production Prod X. Cela permet à Coca-Cola de personnaliser et d’assembler ses actifs et de créer des publicités culturellement pertinentes à l’échelle mondiale.
Faire des câlins au visage l’inférence en tant que service est désormais alimentée par NIM et fonctionne sur DGX Cloud. Cela donne aux 4 millions de développeurs de Hugging Face des performances plus rapides et un accès facile à l’inférence sans serveur à l’aide des unités de traitement graphique (GPU) H100 de NVIDIA. Le DGX Cloud, conçu avec les meilleurs fournisseurs de cloud, offre une configuration entièrement optimisée.
« L’inférence de Hugging Face en tant que service avec NIM NVIDIA offre un débit jusqu’à 5 fois supérieur à celui sans NIM et la possibilité d’expérimenter rapidement un déploiement au niveau de la production avec la stabilité des API, la sécurité, les correctifs et une prise en charge de niveau entreprise », a déclaré Kari Briski, vice-président de la gestion des produits logiciels d’IA générative chez NVIDIA. , lors d’un point de presse SIGGRAPH.
Cadre fVDB pour les représentations virtuelles
NVIDIA a présenté fVDB, un nouveau framework d’apprentissage en profondeur permettant de créer des représentations virtuelles du monde réel prêtes pour l’IA. Construit sur OpenVDB, fVDB est conçu pour simuler et restituer des données volumétriques telles que l’eau, le feu, la fumée et les nuages. Il convertit les données brutes provenant de techniques telles que les champs de radiance neuronale (NeRF) et le lidar en environnements virtuels que l’IA peut utiliser.
fVDB peut gérer des environnements quatre fois plus grands que les frameworks précédents et fonctionne 3,5 fois plus rapidement. Il est également interopérable avec d’énormes ensembles de données du monde réel. Le framework sera bientôt disponible dans le cadre des microservices d’inférence NIM de NVIDIA, simplifiant ainsi l’intégration pour les développeurs. En transformant des données détaillées du monde réel en environnements virtuels prêts pour l’IA, fVDB peut aider à former l’IA dans les véhicules autonomes, les robots et l’apprentissage profond 3D haute performance.
Modèles d’IA de nouvelle génération pour OpenUSD
NVIDIA a introduit l’IA générative dans OpenUSD, élargissant ainsi son utilisation dans la robotique, le design industriel et l’ingénierie. Les modèles d’IA générative de NVIDIA pour OpenUSD sont disponibles sous forme de microservices NIM. À l’aide des modèles, les développeurs peuvent intégrer des copilotes et des agents IA dans les flux de travail USD, élargissant ainsi les possibilités des mondes 3D.
«Nous avons construit les premiers modèles d’IA de génération au monde capables de comprendre le langage, la géométrie, les matériaux, la physique et les espaces basés sur OpenUSD. Trois NIM sont désormais disponibles en avant-première sur le catalogue des API NVIDIA : USD Code, qui peut répondre aux questions de connaissances OpenUSD et générer du code Python OpenUSD ; USD Search, qui permet aux développeurs de rechercher dans d’énormes bibliothèques de données d’images 3D OpenUSD ; et USD Validate, qui vérifie la compatibilité des fichiers téléchargés avec les versions d’OpenUSD », a déclaré Rev Lebaredian, vice-président d’Omniverse et de la technologie de simulation chez NVIDIA.
Selon Lebaredian, des microservices NIM supplémentaires seront bientôt disponibles. Ils incluent USD Layout pour assembler des scènes à partir d’invites de texte ; USD SmartMaterial pour appliquer des matériaux réalistes à des objets 3D, fVDB Mesh Generation pour créer des maillages basés sur des données de nuages de points ; fVDB Physics Super-Res pour réaliser des simulations physiques à haute résolution et fVDB NeRF-XL pour générer des NeRF à grande échelle.
De plus, NVIDIA étend OpenUSD avec de nouveaux connecteurs pour les simulations au format de description robotique unifié (URDF) et à la dynamique des fluides computationnelle (CFD). Ces avancées permettront aux experts non-3D de créer plus facilement des mondes virtuels, élargissant ainsi les capacités d’OpenUSD et d’Omniverse à de nouvelles industries.
Améliorations de Getty Images et Shutterstock
NVIDIA a annoncé la disponibilité générale du Getty Images API de génération d’images 4K et Shutterstock Service de génération d’actifs 3D, optimisé par les NIM Edify de NVIDIA. Ces outils permettent aux créateurs de contenu de concevoir des images 4K de haute qualité et des ressources 3D détaillées à l’aide d’invites de texte ou d’images. Les deux sont construits à l’aide de la fonderie d’IA visuelle de NVIDIA avec l’architecture Edify, un système d’IA de génération multimodale.
« Le service Shutterstock 3D propulsé par Edify entre en disponibilité commerciale. De nombreuses entreprises l’ont demandé. Ces ressources 3D peuvent être intégrées directement dans les outils populaires de création de contenu numérique (DCC), peaufinées et utilisées pour le prototypage et l’habillage de décors », a déclaré Briski. En plus de générer des ressources 3D pour peupler une scène, NVIDIA et Shutterstock offrent également la possibilité de générer de l’éclairage et des arrière-plans pour ces scènes avec Edify.
Programme de développement pour la robotique
NVIDIA a déployé de nouveaux outils et services pour aider les développeurs à créer la prochaine génération de robots humanoïdes. Il s’agit notamment des microservices NIM pour la simulation et l’apprentissage des robots, de la plateforme OSMO pour la gestion de tâches robotiques complexes et d’un flux de travail de téléopération qui utilise l’IA et la simulation pour former des robots. Deux exemples de microservices NIM pour la simulation de robots sont MimicGen et Robocasa. MimicGen entraîne les robots à imiter les mouvements humains capturés par des appareils comme Apple Vision Pro, tandis que Robocasa génère des tâches et des environnements réalistes dans lesquels les robots peuvent s’entraîner.
« Nous mettons ces nouvelles technologies de téléopération NIMS et OSMO à la disposition des développeurs de robots humanoïdes dans le cadre d’un nouveau programme de développement. Des entreprises comme 1x, Boston Dynamics, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra et Skild AI se joignent toutes », a déclaré Lebaredian.
Grâce au programme, les développeurs peuvent accéder en avant-première à de nouveaux outils et mises à jour, tels que les dernières versions des modèles humanoïdes à usage général Isaac Sim, Isaac Lab, Jetson Thor et Project GR00T.
Au SIGGRAPH, NVIDIA présente un flux de travail de téléopération basé sur l’IA qui utilise un minimum de données humaines pour créer un mouvement synthétique. Ce processus implique de capturer des démonstrations avec Apple Vision Pro, de les simuler dans Isaac Sim et d’utiliser le MimicGen NIM pour créer des ensembles de données synthétiques. Ces ensembles de données entraînent le modèle humanoïde du projet GR00T.
Avancées de l’IA physique
« Comment pouvons-nous construire une IA générative pour le monde physique ? Nous avons besoin de modèles capables de comprendre et d’exécuter des tâches complexes dans le monde physique. Trois plates-formes informatiques sont requises : les supercalculateurs NVIDIA AI et DGX, les supercalculateurs Omniverse et OVX et les ordinateurs robotiques NVIDIA Jetson », a déclaré Lebaredian.
Ces technologies aident les robots à comprendre et à naviguer dans le monde physique. En plus du lancement de nouveaux microservices NIM au SIGGRAPH, NVIDIA a également introduit un workflow de référence Metropolis pour aider les développeurs à former les robots. Microservices NIM et le flux de travail de référence Metropolis aide les développeurs à créer des espaces intelligents avec des systèmes avancés de robotique et d’IA pour les hôpitaux, les usines, les entrepôts, etc. Ils transforment l’IA physique en aidant les robots à percevoir, raisonner et naviguer dans leur environnement.
En fournissant ces outils et flux de travail avancés, NVIDIA améliore les capacités des systèmes d’IA et les rend plus accessibles aux développeurs pour créer des applications réelles dans différents secteurs.
Résumé
Lors du SIGGRAPH 2024, NVIDIA a souligné l’importance du calcul accéléré en présentant une gamme d’innovations mettant l’accent sur l’IA, les modèles génératifs et les simulations virtuelles. Les développements clés comprenaient le cadre de microservices d’inférence NVIDIA (NIM), fVDB pour les environnements virtuels, de nouveaux modèles d’IA générative pour OpenUSD et des outils avancés pour la robotique. Ces technologies démontrent l’engagement de NVIDIA à améliorer les capacités et l’accessibilité de l’IA et de la simulation dans tous les secteurs, renforçant ainsi sa position de leader du calcul accéléré.
Zeus Kerravala est le fondateur et analyste principal de ZK Research.
Lisez ses autres articles sur l’informatique en réseau ici.
