Vous êtes à genoux dans la planification de votre prochaine solution IA/ML. Avez-vous pris votre décision sur toutes vos décisions liées au stockage ? Sur site ou dans le cloud ? Objet contre fichier ? Où exécuterez-vous vos solutions IA/ML ?
Au fait, avant de commencer, je dois me débarrasser de quelque chose. je déteste le terme intelligence artificielle. Sérieusement, l’IA est moins intelligente qu’une poignée de porte ! Ce ne sont que des mathématiques, des statistiques avec des volumes tout simplement énormes de données exécutées, sur une base horaire, sur plus d'unités de traitement qu'il n'en existait dans le monde entier il y a quelques décennies à peine.
Voici un excellent article sur ce qui se passe VRAIMENT dans les coulisses de ChatGPT. Je déteste tellement le terme IA que je vais utiliser ML pour cet article.
OK, je retire ma caisse à savon. Parlons des raisons pour lesquelles le stockage est si important pour l'IA – je veux dire le ML…
Le ML est avant tout une question de données. Tu dois juste le trouver!
Les données qui alimentent les charges de travail ML sont partout. Il en va de même pour le besoin de solutions ML. Quelques exemples (tous dérivés des flux de travail réels de nos clients) :
- Des usines. Des caméras placées partout capturent toutes sortes d’informations lors des opérations de fabrication automatisées en temps réel. Tout cela est agrégé en permanence sur le stockage local.
Les données de chaque ligne de fabrication sont centralisées (dans le cloud ou sur site) et deviennent la source de modèles de formation pour automatiser la détection des pannes. Solutions ML dans chaque usine, puis modèles d'inférence qui en résultent pour améliorer les rendements.
À propos, nous avons des clients qui utilisent Qumulo dans ce flux de travail précis !
- Véhicules autonomes. Des vidéos multispectres haute définition du monde réel sont capturées en permanence, d'abord par des centaines de véhicules d'essai, puis par des milliers de véhicules expérimentaux et enfin par des millions de véhicules ordinaires.
La voiture renvoie ces vidéos au vaisseau mère via votre Wi-Fi (Tesla, je vous regarde !). Les données ci-dessus constituent les données sources permettant de former les modèles pour assister les conducteurs, activer le pilote automatique et faire des voitures autonomes une réalité.
Les modèles d'inférence dérivés de ce qui précède sont exécutés par des moteurs d'inférence sur les voitures pour traiter les données en temps réel.
Et oui, nous avons également des clients qui utilisent Qumulo dans ce flux de travail !
- Sécurité assistée par ML : Des centaines de milliers de périphériques réseau génèrent des journaux d'activité qui sont consolidés localement et agrégés (soit dans le cloud, sur site, ou les deux). Cela constitue l’ensemble de données de formation permettant aux modèles de détecter les intrusions non autorisées sur le réseau.
Les appareils réseau modernes utilisent ces modèles d'inférence pour analyser les événements observés en temps réel, afin de détecter les intrusions non autorisées.
Vous l'aurez deviné, nous avons des clients qui le font aujourd'hui !
Pouvez-vous repérer le fil conducteur ? Il s’agit d’un workflow « partout », de la périphérie du réseau jusqu’au cœur et dans les cloud publics.
Choix, Choix, Choix
Qu'en est-il de la solution ML you travaillez-vous? Comme ces cas d’utilisation, vous devrez faire une série de choix importants quant à l’endroit et à la manière dont vous construisez vos modèles. Laisse-moi expliquer …
- Edge, Core ou Cloud ? Où vivront vos données ? Où vivra le modèle ? Où vivra la solution ? Les gens du cloud insistent sur le fait qu’il s’agit (et sera toujours) du cloud. Et, oui, ils sont partiaux, mais ils font aussi valoir un bon argument.
Après tout, quelle organisation peut éventuellement suivre le rythme de l'infrastructure nécessaire pour opérationnaliser les LLM de formation alors que la quasi-totalité de la pile change chaque semaine ? J'ai parlé à de nombreuses organisations qui affirment que le ML était la goutte d'eau qui faisait déborder le vase dans leur débat cloud interne versus sur site.
Mais avant de dire « game over », voici une tendance intéressante. Je parle à beaucoup de clients qui dépensent des centaines de millions de dollars chaque trimestre sur le cloud et qui rapatrient leurs charges de travail stables sur site. Pourquoi? Ils pensent que pendant un mature La solution ML, sur site, offre une solution plus stable et optimisée en termes de coûts.
En d’autres termes, une expérimentation rapide et une opérationnalisation précoce se déroulent dans le cloud, tandis que les solutions ML matures bénéficient de plus de stabilité et d’une meilleure rentabilité dans les centres de données détenus et exploités. Mais ce n'est qu'un choix…
- Objet ou fichier ? Avant de répondre, réfléchissez à ceci. Le cloud gère extrêmement bien le stockage d'objets, mais il aspire les données de fichiers. Et sur site, il gère très bien les données de fichiers, mais il est nul en matière d'objet. Et nous venons de discuter que vous aurez probablement besoin à la fois d’un cloud et d’un système sur site. Quel est le meilleur pour le ML ? Eh bien c'est compliqué.
D'une part, la plupart des LLM sont open source et s'attendent à accéder aux données via une interface de stockage locale. C'est un problème pour le Cloud, où vous devez créer des chargeurs de données sur mesure copiant les données d'un objet vers un disque local (instance NVMe attachée ou EBS/disques gérés) avant que ces GPU gourmands en données puissent être alimentés. Regardez ce que Google GCP dit à ce sujet :
"Mais lorsque vient le temps pour une charge de travail d'IA d'accéder réellement aux données [IA], ce n'est pas toujours simple, car la plupart des charges de travail d'IA nécessitent la sémantique du système de fichiers, plutôt que la sémantique des objets fournie par Cloud Storage."
Que faire?
Tant de questions! Sur site ou cloud pour vos charges de travail IA/ML ? Fichier ou objet comme référentiel des données qui alimentent votre LLM ? Comment allez-vous regrouper les données provenant de différents emplacements et les gérer tout au long du cycle de vie ? Les décisions que vous prenez ont un impact sur la solution de stockage qui vous convient le mieux : Dell, VAST, NetApp.
Ou … ont-ils?
Présentation de Scale Anywhere™ de Qumulo, une solution de stockage et de gestion de données non structurées 100 % logicielle. Besoin d'une solution de centre de données de base ? Cloud public ? Vérifier. Déposer? Vérifier. Objet? Vérifier. Prenez les décisions de ML que vous souhaitez – nous s'en moque. Qumulo fonctionne partout où vous en avez besoin.
Nous avons des clients qui couvrent plusieurs plates-formes matérielles de serveurs de stockage sur site et plusieurs cloud publics. La beauté est que leurs charges de travail de données non structurées basées sur Qumulo sont unifiées entre elles.
Je suis tout le temps devant les clients et je reçois beaucoup de retours positifs à ce sujet. C'est une nouveauté pour moi par rapport à d'autres entreprises dans lesquelles j'ai travaillé, mais je m'y suis vite habitué !
Faites vos choix en matière de ML en toute simplicité avec Scale Anywhere™ de Qumulo.
La mise en œuvre du ML nécessite de nombreuses décisions difficiles. Mais la plate-forme de stockage à utiliser n’en fait pas partie. Essayez Scale Anywhere™ avec Qumulo et vous pourrez gérer toutes vos charges de travail de ML quelles que soient les décisions que vous prenez…
- Edge, Core ou Cloud
- Fichier ou objet
- Pour la collecte, l'agrégation et la conservation des données de formation
- Ou… pour vous permettre de déployer vos modèles d'inférence vers votre périphérie distribuée
Qumulo est votre choix ML le plus simple.
