À mesure que la demande de charges de travail d’IA augmente, les entreprises ont augmenté leurs offres en matière d’infrastructure d’IA. Le PDG de NVIDIA, Jensen Huang, a déclaré qu’un nouveau type de centre de données appelé Usines d’IA est en train d’émerger. Ces usines d’IA constituent l’infrastructure de calcul, de stockage et de réseau permettant aux entreprises de rendre l’IA opérationnelle.
Huang a créé le terme d’usine d’IA lorsqu’il voulait que l’entreprise soit connue pour bien plus que les GPU, mais aussi comme une « usine pour l’IA », selon Rohit Tandon, directeur général d’IA et d’Insights, ainsi que responsable des pratiques chez Deloitte.
Huang a fait référence aux usines d’IA lors d’un événement d’ouverture dès celui de NVIDIA. Événement GTC 2022. “Les centres de données d’IA traitent des montagnes de données continues pour former et affiner les modèles d’IA”, avait alors déclaré Huang. « Les données brutes arrivent, sont affinées et l’intelligence sort – les entreprises fabriquent de l’intelligence et exploitent des usines géantes d’IA. »
Tandon compare une usine d’IA au moteur d’une voiture de course, avec les pneus et le châssis équivalents aux logiciels et aux tableaux de bord qui maintiennent le moteur en marche à pleine capacité.
«L’usine, en gros [means] tout ce dont vous avez besoin pour traiter, exécuter vos données, vos charges de travail d’IA dans un environnement sont disponibles, comme une boîte, si vous voulez l’appeler, ou une usine », explique Tandon.
Lors de la conférence Dell Technologies World 2024 à Las Vegas, Michael Dell a expliqué comment les usines utilisent une roue hydraulique ou l’énergie éolienne pour produire de l’énergie. Les ouvriers accrochaient une roue, écrit Patrick Moorhead, fondateur et PDG de Moor Insights & Strategy.
“Quand l’électricité est arrivée, les usines l’utilisaient simplement pour faire tourner une grande roue, comme le vent et l’eau le faisaient auparavant. Mais finalement, les gens ont compris qu’ils pouvaient acheminer l’électricité directement vers les machines qui produisaient des choses”, écrit Moorhead. “Dell a déclaré qu’il souhaitait que les personnes utilisant l’IA sautent la partie “roue” du développement et passent directement à la partie directement en production.”
Les fournisseurs facturent des frais d’abonnement à AI Factory as a Service pour le calcul et l’utilisation des données selon les besoins, ainsi que des frais de consultation intégrés, explique Tandon.
Les nouveaux serveurs Dell renforcent l’infrastructure de l’IA
Le mois dernier, Dell Technologies a étendu son AI Factory pour les environnements AMD et introduit le nouveau serveur PowerEdge XE7745, qui prend en charge l’inférence IA et le réglage des modèles. Les PowerEdge R6725a et R7725 permettront également aux organisations d’effectuer des analyses de données robustes et des charges de travail d’IA et de faire évoluer leurs configurations.
Pendant ce temps, également dans le cadre de son AI Factory, le 15 octobre, Dell déployé sa plate-forme PowerEdge XE9712, qui intègre les GPU NVIDIA Grace et Blackwell. Les hautes performances conviennent à la formation LLM et à l’inférence en temps réel des déploiements d’IA. La nouvelle infrastructure est conçue pour fournir un moyen flexible de répondre aux besoins croissants Exigences de la charge de travail de l’IA.
« Les centres de données d’aujourd’hui ne peuvent pas répondre aux exigences de l’IA, nécessitant des innovations en matière de calcul haute densité et de refroidissement liquide avec des conceptions modulaires, flexibles et efficaces », a déclaré Arthur Lewis, président du groupe Infrastructure Solutions chez Dell Technologies, dans un communiqué. déclaration. « Ces nouveaux systèmes offrent les performances nécessaires aux organisations pour rester compétitives dans le paysage de l’IA en évolution rapide. »
Pendant ce temps, Hewlett Packard Enterprise (HPE) propose également une usine d’IA alimentée par NVIDIA appelée IA dans le cloud privé. Il donne accès aux microservices d’IA de NVIDIA.
Deloitte et NVIDIA présentent AI Factory en tant que service
En septembre, Deloitte a déployé une solution clé en main d’IA générative appelée Usine IA en tant que service.
Tandon a conçu le service, en collaboration avec Nitin Mittal, responsable des offres de croissance stratégique de l’intelligence artificielle (IA) aux États-Unis chez Deloitte US.
Dans le cadre de son AI Factory as a Service, Deloitte gère l’infrastructure de l’IA, qui comprend le matériel NVIDIA et les logiciels Oracle. Les services gérés de Deloitte aident les organisations à déployer une infrastructure d’IA et offrent des services d’orchestration et une couche de conseil, explique Tandon.
Deloitte travaillera avec des OEM tels que Dell et HPE pour gérer les offres AI Factory as a Service.
Le service Deloitte intègre les plans AI Enterprise et NIM Agent de NVIDIA ainsi que la technologie IA d’Oracle.
AI Factory as a Service permettra à Deloitte d’intégrer sa science des données et sa conception de modèles à la plateforme NVIDIA AI. Deloitte intégrera également la gouvernance des données et des modèles dans le cadre de son Cadre d’IA digne de confiance.
L’AI Factory as a Service de Deloitte permet aux entreprises d’utiliser les plans d’agent NIM de NVIDIA pour alimenter leurs flux de travail d’IA, ainsi que les microservices NIM de NVIDIA et le framework NeMo pour accélérer les applications d’IA générative.
La contribution d’Oracle à Deloitte AI Factory as a Service comprend une solution complète de services IaaS, PaaS et de bases de données. En proposant plusieurs services dans le cadre de Deloitte AI Factory as a Service, Oracle offre aux clients la flexibilité de développer des applications personnalisées ou d’utiliser des logiciels existants.
Avec AI Factory as a Service, Deloitte vise à rendre l’infrastructure d’IA plus rentable et plus plug-and-play, ainsi qu’à fournir les ressources techniques nécessaires pour aider les organisations à résoudre les problèmes et à évoluer avec l’IA, selon Tandon.
Aujourd’hui, la configuration de l’accès au GPU peut prendre trois mois, mais avec AI Factory as a Service, cela peut prendre quatre semaines, explique Tandon.
Deloitte peut surveiller Charges de travail d’IA et planifiez-les au bon moment pour garantir que les entreprises configurent leurs environnements pour le bon type d’accès GPU en fonction des différents cas d’utilisation et des exigences de charge de travail, explique Tandon.
“Il s’agit d’un modèle flexible dans lequel nous pouvons augmenter et diminuer en termes d’utilisation et permettre à nos clients d’être plus rentables et de fournir ces solutions d’IA”, explique Tandon.
Les organisations peuvent déployer le cloud IA sur site, dans une configuration de colocation ou dans un cloud privé, ajoute-t-il.
Deloitte propose également des « architectes IA » dans le cadre de l’usine IA.
“L’architecture de ces environnements est l’une des choses les plus importantes, car vous devez déterminer la quantité de calcul dont vous aurez besoin, la quantité de données, la quantité de réseau, et ensuite tout cela doit être mis en place avec le bon type de garde-fous. et c’est ce que font les architectes d’IA », explique Tandon.
NVIDIA offre une base aux usines d’IA
En juin, lors de la conférence Computex à Taipei, Taiwan, NVIDIA a annoncé qu’elle travaillerait avec des sociétés telles qu’Asus, Inventec et Supermicro pour développer l’infrastructure nécessaire à la construction d’usines d’IA dans le cadre de ce que Huang a appelé le «prochaine révolution industrielle.»
L’architecture Blackwell de NVIDIA comprend des processeurs Grace et Réseau NVIDIA et une architecture qui aideront les organisations à construire des usines d’IA.
Le mois dernier, NVIDIA a présenté Architectures de référence d’entreprise (Enterprise RA), qui sont des modèles destinés à aider les organisations à créer des usines d’IA hautes performances, évolutives et sécurisées pour gérer l’intelligence manufacturière.
« Les RA NVIDIA Enterprise aident les organisations à éviter les pièges lors de la conception d’usines d’IA en fournissant des recommandations matérielles et logicielles complètes et des conseils détaillés sur les configurations optimales de serveur, de cluster et de réseau pour les charges de travail d’IA modernes », a écrit Bob Pette, vice-président et directeur général des entreprises. plates-formes chez NVIDIA, dans un Article de blog du 29 octobre.
En proposant des Enterprise RA, NVIDIA espère accélérer le temps nécessaire au déploiement de l’infrastructure d’IA et réduire le coût de déploiement. Dell Technologies, HPE, Lenovo et Supermicro proposent des solutions basées sur les Enterprise RA de NVIDIA.
En avril, NVIDIA a annoncé l’acquisition de la startup israélienne d’IA Run:ai, qui permet aux développeurs d’accélérer le développement de l’IA et de gagner en visibilité sur leur stratégie. Infrastructure d’IA et les charges de travail. NVIDIA exigera l’approbation de l’UE pour l’accord, a annoncé la Commission européenne le 31 octobre. selon Reuters.
