Introduction
À l'ère de l'intelligence artificielle (IA) et de l'apprentissage automatique (ML), le traitement efficace de quantités massives de données non structurées est un enjeu de taille. Les entreprises et les agences gouvernementales exploitent de plus en plus l'IA pour obtenir des informations, améliorer les opérations et stimuler l'innovation. Cependant, les défis liés à la gestion des données peuvent entraver les initiatives d'IA, en particulier dans les environnements hybrides et multi-cloud. Qumulo Cloud Data Platform relève ces défis en fournissant une solution transparente et performante pour l'accélération des données d'IA dans le cloud public.
Présentation de Qumulo Cloud Data Platform
La Qumulo Cloud Data Platform est une solution complète qui unifie le stockage et la gestion des données dans les environnements sur site et dans les nuages publics, privés et hybrides. Elle comprend trois composants principaux :
Clusters Qumulo sur site : Ils sont déployés dans les centres de données, les campus de recherche, les hôpitaux et d'autres sites importants, hébergeant des exaoctets de données non structurées sous forme de fichiers et d'objets. Ils offrent un stockage haute performance optimisé pour les charges de travail à grande échelle à tous les niveaux de la courbe prix/performance.
Instances Qumulo natives dans le nuage : Déployées chez les principaux fournisseurs de cloud tels que AWS, Azure, Google Cloud Platform (GCP) et Oracle Cloud Infrastructure (OCI), ces instances étendent les capacités de Qumulo au cloud, permettant des solutions de stockage de données évolutives et flexibles à des taux de performance comparables aux systèmes de fichiers parallèles, mais à des coûts comparables aux offres de stockage sur site.
La structure mondiale des données : Il s'agit de l'épine dorsale des données qui intègre les instances sur site et multi-cloud en un système cohérent. Cela permet l'adoption de n'importe quel modèle et/ou service d'IA pour accéder simultanément aux mêmes données, que les GPU soient sur site ou dans le cloud, en fonction de la disponibilité et de la tarification. Il offre :
Espace de noms global (GNS) strictement cohérent : Veiller à la cohérence des données dans tous les sites.
Edge Read/Write GNS Caching : Fournit un accès à faible latence aux données fréquemment utilisées à la périphérie et à travers des centres de données géographiquement dispersés, des nuages ou une combinaison des deux.
Mise en cache des données persistantes en lecture/écriture en grappe : Améliore les performances en mettant en cache les données au plus près des ressources informatiques et réduit les coûts de transaction de l'API S3/Blob/GCS.
Qualité de service en réseau et utilisation efficace du réseau : Cette technologie optimise le transfert de données sur les réseaux étendus (WAN) en fonction des conditions du réseau.
Accélérer les charges de travail en matière d'IA
Mouvement intelligent des données
La plate-forme de données en nuage Qumulo permet un mouvement intelligent et efficace des données à travers la Global Data Fabric. Les données peuvent être diffusées à la demande au niveau des blocs à partir de n'importe quel endroit et exprimées vers des clusters de lecture/écriture basés sur le cloud à travers le WAN. Ces clusters utilisent le stockage S3 à faible coût et à haute durabilité comme couche de persistance et une mise en cache intelligente sur un disque NVMe attaché à une instance dans EC2. Ainsi, les données sont facilement disponibles pour alimenter les instances GPU à des vitesses inégalées par les offres traditionnelles de stockage de fichiers dans le nuage.
Amélioration des performances
Réduction du temps d'exécution du GPU : Qumulo améliore le temps d'exécution du GPU jusqu'à 40% en accélérant le transfert de données du stockage de fichiers alimenté par Qumulo Cloud Native vers le système GPU hébergé dans le cloud, en évitant la phase de copie des données S3 vers GPU. Cette optimisation résout le goulot d'étranglement et les coûts souvent causés par le chargement des données à partir des magasins d'objets ou de fichiers vers le stockage NVMe local sur les instances GPU avant le début de l'exécution de la formation.
Réduction des coûts liés aux appels à l'API S3 : La plateforme de données en nuage (Cloud Data Platform) utilise une mise en cache intelligente de lecture et de compactage, basée sur l'apprentissage automatique, tout en comprimant le cache d'écriture, qui combine les appels à l'API S3. Cette approche permet de réduire les frais d'API S3 jusqu'à 90 %, ce qui se traduit par d'importantes économies.
Instances GPU optimisées : Cette fonctionnalité élimine la nécessité pour les instances GPU EC2 de disposer d'un stockage NVMe local, ce qui permet de réduire le coût des instances GPU sans compromettre les performances.
L'IA en nuage pour les entreprises
De nombreuses entreprises et agences gouvernementales n'ont pas besoin de grappes de GPU à plein temps pour les charges de travail de formation. La position de Qumulo est la suivante l'IA générative (GenAI) les charges de travail de la formation, du réglage et de l'inférence seront principalement basées sur l'informatique en nuage pour la plupart des organisations. Les avantages sont les suivants :
Gouvernance des données maintenue permet de respecter les exigences existantes en matière de provenance et de gouvernance des données, garantissant ainsi la conformité et la sécurité des données, tout en réduisant les risques.
Réduction des dépenses en capital élimine la nécessité d'un investissement substantiel dans l'acquisition d'un GPU et réduit les coûts de traitement en cours d'exécution.
Consommation élastique des ressources offre la possibilité d'augmenter ou de réduire les ressources en fonction de la charge de travail, ce qui permet d'optimiser les dépenses opérationnelles. Cet aspect est d'une importance capitale, car 80 % du développement de l'IA implique le traitement des données et l'affinement des modèles avant l'exécution de la tâche d'apprentissage.
Temps de traitement accéléré accélère les flux de travail de l'IA jusqu'à 40% et d'améliorer l'agilité et la rapidité de la prise de conscience.
Exploiter les modèles publics et commerciaux de GenAI
Qumulo reconnaît que la plupart des entreprises utiliseront des modèles GenAI publics ou commerciaux plutôt que de créer leurs propres modèles. Pour ce faire, Qumulo a développé les éléments suivants :
Intégration robuste de l'API : La Qumulo Cloud Data Platform offre des API robustes qui peuvent s'interfacer avec des services d'IA basés sur le cloud, y compris des modèles de langage de grande taille (LLM) et des outils de développement d'IA/ML disponibles auprès des principaux fournisseurs de cloud tels que Microsoft et AWS aujourd'hui.
Traitement sécurisé des données : En s'appuyant sur des techniques telles que Génération améliorée par récupération (RAG) et des politiques de gouvernance des données appropriées, les entreprises peuvent utiliser des LLM publics ou ouverts tout en s'assurant que leurs données ne sont pas utilisées dans de futurs ensembles de données de formation, préservant ainsi la confidentialité des données et la protection de la propriété intellectuelle.
Conclusion
La plate-forme de données Qumulo Cloud offre une solution robuste pour accélérer les flux de données d'IA dans le cloud public. En unifiant les environnements sur site et dans le cloud grâce à sa Global Data Fabric, Qumulo relève les défis de la gestion et du mouvement des données à l'échelle. Les entreprises peuvent réaliser des gains de performance et des réductions de coûts significatifs et maintenir la conformité avec les normes de gouvernance des données. En outre, en facilitant l'intégration avec les modèles GenAI publics tout en protégeant les données, Qumulo permet aux organisations d'exploiter efficacement les technologies d'IA sans compromettre la sécurité ou encourir des dépenses inutiles.
Principaux avantages
Flexible : Il répond aux besoins de performance, de capacité et de sécurité de l'ensemble du cycle de vie des données d'IA (ingestion, transformation et chargement des données), permettant ainsi un pipeline de données transparent de bout en bout.
Performance : Des temps de chargement des données plus rapides améliorent le temps d'exécution et la rentabilité du GPU.
Sans limites : Permet un accès transparent et sécurisé aux données entre les nuages publics et privés et entre les organisations afin de créer des opportunités de transformation pour les entreprises et la recherche.
Le rapport coût-efficacité : Jusqu'à 90 % de réduction des frais d'API S3 ; permet d'utiliser des instances GPU moins coûteuses sans NVMe local.
Évolutivité : Consommation élastique des ressources GPU
Gouvernance des données : Maintenir la provenance des données existantes et les exigences de conformité.
Durabilité des données : La prise en charge de plusieurs zones et le codage par effacement parallèle de S3 améliorent encore la durabilité légendaire d'AWS S3
La sécurité : Empêche l'utilisation des données de l'entreprise pour la formation à des modèles externes grâce à des intégrations API sécurisées.
En adoptant la plate-forme de données Qumulo Cloud, les organisations sont équipées des outils nécessaires pour répondre aux exigences des charges de travail d'IA modernes de manière efficace et sécurisée. Cela leur permet de se positionner à la pointe de l'innovation en matière d'IA, de fournir un avantage concurrentiel et de permettre des opportunités commerciales transformatrices.