Le monde de intelligence artificielle (IA) a connu une croissance exponentielle et a une soif insatiable de données. Des voitures autonomes aux chatbots qui imitent la conversation humaine, l'IA révolutionne les industries à un rythme effréné. La puissance de l'IA découle de sa colonne vertébrale de données. L'accès aux données, la vitesse de leur traitement et les performances de stockage évolutives sont autant de facteurs essentiels qui déterminent l'efficacité d'un pipeline d'IA. C'est là que Qumulo a prouvé qu'il était la meilleure solution de stockage de données sur la planète pour les charges de travail d'IA, en tant que solution de données de fichiers la plus performante et la plus rentable du secteur dans le cloud.
Pourquoi Qumulo est idéal pour les charges de travail d'IA basées sur des fichiers
Les applications d'IA, qu'il s'agisse de modèles d'apprentissage profond ou de réseaux neuronaux, nécessitent un ensemble unique de caractéristiques de stockage, toutes satisfaites par Qumulo :
Évolutivité : Les ensembles de données d'IA sont dynamiques. Ils augmentent au fil du temps à mesure que davantage de données sont collectées et traitées. La capacité de Qumulo à évoluer avec des performances élevées prévisibles garantit que, à mesure que les charges de travail d'IA augmentent, Qumulo peut répondre à ses demandes à n'importe quelle échelle.
Le rapport coût-efficacité : Le financement d'initiatives en matière d'IA peut représenter un investissement important. Économiser sur les coûts de stockage sans compromettre les performances permet de libérer des ressources pour d'autres domaines critiques, qu'il s'agisse de recherche, de développement ou de déploiements en production.
Capacité à évoluer partoutTM : Les propriétaires d'infrastructures et les scientifiques des données bénéficient de la flexibilité de la formation dans un endroit, mais du déploiement dans un autre, avec une infrastructure hautement sécurisée. Le système de stockage défini par logiciel de Qumulo peut être déployé et exécuté n'importe où. Il est donc facile de former un modèle d'IA dans le centre de données principal, mais de le pousser à la production n'importe où.
Performance : Les modèles d'IA, en particulier ceux utilisés dans des scénarios tels que les véhicules autonomes ou les transactions financières, ont besoin d'un accès aux données en temps réel pour l'entraînement avant et après le modèle. La récupération de données à grande vitesse de Qumulo garantit que les données sont disponibles au moment où elle est requise.
Penchons-nous sur le point 4 et soulignons l'importance d'une récupération transparente et rapide des données/métadonnées. C'est essentiel pour les applications d'intelligence artificielle qui nécessitent un stockage de fichiers évolutif - sur site ou dans le nuage.
En testant des charges de travail d'IA synthétiques, nous avons constaté que nous sommes effectivement la solution de cloud basée sur des fichiers la plus rapide du marché pour l'IA, où les scientifiques des données peuvent utiliser Qumulo pour la collecte de données, le pré-entraînement, l'entraînement de production et l'inférence continue - quelle que soit l'échelle.
Lire la suite.
Critère de référence de l'IA largement applicable
Pour mettre en perspective les capacités de performance de Qumulo, examinons les derniers résultats obtenus avec Qumulo fonctionnant dans le nuage sur l'infrastructure AWS. Nous avons utilisé SPECstorage pour caractériser les performances de l'IA sur Qumulo. Ce benchmark (judicieusement appelé AI_Image) exploite des tailles de fichiers et des modèles d'E/S qui exercent de manière synthétique et précise des charges de travail d'IA courantes :
Basé sur Tensorflow meilleures pratiques - le cadre d'IA/ML le plus largement déployé au monde
Tracé à partir de 3 modèles différents : Resnet, VGG (Visual Geometry Group) et SSD (Single shot detector)
Utilisation d'ensembles de données libres de CityScape, ImageNet et COCO
En raison de l'omniprésence de Tensorflow dans l'espace de l'IA, le benchmark s'applique à un large éventail de charges de travail de modèles d'IA qui produisent des résultats d'IA pour :
Classification d'images et détection d'objets
Traitement du langage naturel (NLP)
Reconnaissance de la parole
Systèmes de recommandation
Modèles génératifs
Soins de santé et sciences de la vie
...et bien d'autres choses encore
Description de l'objectif de référence et résultats obtenus
L'objectif du benchmark est de servir rapidement les données du stockage Qumulo à la couche d'application (utilisant des GPU) exécutant les tâches d'IA. Le benchmark teste les performances de stockage et la latence à partir d'un ensemble réaliste de modèles d'E/S provenant d'un lot de clients. Les clients augmentent progressivement leur nombre de tâches d'IA jusqu'à ce qu'ils atteignent la cible, qui dans le cas de ce test est un total de 480 tâches. Le test comporte quatre opérations principales, avec quatre sous-charges de travail indépendantes et simultanées :
AI_SF - Lecture de petits fichiers d'images
AI_TF - Écrit des fichiers plus volumineux (idéalement des fichiers de plus de 100 Mo)
AI_TR - Lecture de grands enregistrements TFR
AI_CP - Effectue un point de contrôle occasionnel
Résultats
La figure 1 ci-dessous présente les résultats suivants :
L'axe X indique le nombre de tâches exécutant le test d'intelligence artificielle au fil du temps
L'axe des ordonnées indique la latence globale pendant la durée du test
La latence montre que les performances de stockage sont rapides et prévisibles à mesure que le nombre de tâches d'IA augmente !
Applicabilité dans les locaux
Bien que les tests de référence SPECstorage aient utilisé un environnement basé sur le cloud, ces résultats peuvent être facilement extrapolés pour estimer les résultats en utilisant du matériel similaire sur site. Lorsque Qumulo publiera ce benchmark sur le site Web de SPEC (ETA décembre 2023), les détails et le coût de l'environnement pourront être trouvés, en notant les types d'instances EC2 (nombre de cœurs, mémoire disponible, etc.) utilisés et la bande passante disponible dans l'environnement réseau. En attendant, nous incluons les détails supplémentaires dans l'annexe de ce blog pour les lecteurs curieux.
Data Scientists et Data Engineers, voici. Essayez-le vous-même !
Dans le monde de l'IA qui progresse rapidement, disposer d'une solution de stockage robuste, rapide et évolutive n'est pas un luxe mais une nécessité. Qumulo, avec ses performances et sa rentabilité à la pointe de l'industrie, se distingue comme la solution de fichiers basée sur le cloud pour les charges de travail d'IA. Le benchmark souligne non seulement les prouesses de Qumulo, mais cimente également sa position en tant que solution de stockage la plus rapide et la plus largement applicable pour l'IA.
Voir résultats complets publié sur Spec.org
Annexe
Performance
Temps de réponse global = 1,22 msec
Entreprises
Métrique
(AI_Jobs)Moyenne
Latence moyenne
(msec)AI_Jobs
Ops/Sec_AI_Jobs
MB/Sec161.36069601565321.281139213127481.313208824691641.213278436255801.201348047822961.1474176593851121.15848726109501281.12355687125141441.12262648140821601.10969609156441761.14476570172081921.11783530187742081.11290491203402241.11297452218992401.121104413234702561.271111374250372721.143118335265982881.155125296281613041.197132257297293201.205139218312893361.257146178328593521.323153139344183681.430160100359843841.503167061375524001.63217402239112
Informations sur les produits et les tests
Qumulo - Public Cloud ReferenceTested byQumulo, Inc.Hardware AvailableNovember 2023Software AvailableNovember 2023Date TestedNovember 2023License Number6738Licensee LocationsSeattle, WA USA
Qumulo est une solution de stockage de fichiers dans le nuage hybride qui se targue d'une évolutivité de plus d'un exaoctet dans un espace de noms unique, de fonctionnalités identiques sur site ou dans le nuage, et d'une prise en charge multi-protocole complète, garantissant la flexibilité et la compatibilité entre diverses applications. En s'intégrant de manière transparente à l'infrastructure du cloud public, Qumulo offre un stockage de données non structurées à n'importe quelle échelle, avec une visibilité en temps réel sur les performances de stockage et l'utilisation des données.
Le système de fichiers natif de Qumulo permet aux organisations de migrer de manière transparente les applications et les charges de travail basées sur des fichiers vers l'environnement du cloud public. Avec Qumulo, les entreprises peuvent gérer efficacement des exaoctets de données, que ce soit sur site ou dans le nuage. Les résultats suivants démontrent clairement que le système de fichiers Qumulo excelle dans la fourniture de performances exceptionnelles lorsqu'il est déployé sur AWS.
Solution à l'essai Nomenclature
Article NoQtyTypeVendeurModèle/NomDescription116AWS EC2 InstancesAWSc5n.18xlargeNœuds Qumulo - Amazon c5n EC2 instances (c5n.18xlarge instances ont 72 vCPU, 192GiB de mémoire, 100Gbps networking)216AWS EC2 InstancesAWSc5n.18xlargeUbuntu Clients - Qumulo cluster - Amazon c5n EC2 instances (c5n.18xlarge instances ont 72 vCPU, 192GiB de mémoire, 100Gbps réseau)
Diagrammes de configuration
Qumulo dans AWS
Logiciel de composants
Numéro d'articleComposantTypeNom et versionDescription1Qumulo CoreFile System6.2.2Le système de fichiers cloud-native de Qumulo permet aux entreprises de déplacer sans effort les applications et charges de travail basées sur les fichiers vers le cloud public.2UbuntuOperating System22.04Le système d'exploitation Ubuntu est déployé sur les seize nœuds de calcul c5n.18xlarge. Ils sont utilisés comme clients pour exécuter les tests SPEC Storage 2020.
Configuration et réglage du matériel - Physique
Nom du composantNom du paramètreValeurDescriptionSR-IOVEnabledActive la technologie de virtualisation de l'unité centraleVitesse du port100 GbEEChaque nœud dispose d'une connectivité de 100 GbE
Configuration du matériel et notes de réglage
Aucun
Configuration et réglage du logiciel - Virtuel
NetworkingParameter NameValueDescriptionJumbo Frames9001Enable Ethernet jumbo frames up to 9001 bytesUbuntu Clients NFS Mount ParametersParameter NameValueDescriptionvers3Use NFSv3nconnect16Augmente le nombre de connexions de clients NFS jusqu'à 16tcpTCP network protocole de transport pour communiquer avec le cluster Qumulolocal_lockallLe client suppose que les verrous flock et POSIX sont locaux. Volume EBS ParamètresParamètre NomValeurDescriptionIOPS16000IOPS maximum pour le volume EBSDébit1000Débit maximum pour le volume EBS
Notes sur la configuration du logiciel et la mise au point
Aucun
Notes sur l'accord de service
AWS déploie des efforts commercialement raisonnables pour rendre les Produits et Services Inclus disponibles avec un Pourcentage de Disponibilité Mensuelle d'au moins 99,99%, dans chaque cas au cours d'un cycle de facturation mensuel. Le pourcentage mensuel de disponibilité est calculé en soustrayant de 100 % le pourcentage de minutes au cours du mois pendant lesquelles l'un des produits et services inclus, selon le cas, était dans l'état "Région indisponible".
Stockage et systèmes de fichiers
Numéro d'articleDescriptionProtection des donnéesStable StorageQty1volume Elastic Block Storage, capacité de 1TB gp3. Chaque nœud Qumulo a 6 volumes EBS.Protection de 2 disques ou 1 nœud avec codage d'effacementAWS EBS96Nombre de systèmes de fichiers1Capacité totale78.54 TBType de système de fichiersQumulo
Notes sur la création de systèmes de fichiers
Le système de fichiers Qumulo Core est déployé sur AWS via un modèle de formation de nuage ou Terraform. L'AMI Qumulo Core est déployée et le système de fichiers est configuré dans le cadre du processus de formation automatisée du nuage ou via Terraform. Aucune étape supplémentaire de création du système de fichiers n'est requise.
Notes sur le stockage et le système de fichiers
Aucun
Configuration du transport - virtuel
Item NoTransport TypeNombre de ports utilisésNotes1100Gbps Ethernet Virtual NIC16Utilisé par les machines clientes2100Gbps Ethernet Virtual NIC16Utilisé par Qumulo Core pour les communications inter-nodales ainsi que pour les communications vers tous les clients.
Notes sur la configuration du transport
Aucun
Commutateurs - virtuels
Numéro d'articleNom du commutateurType de commutateurCompte total de portsCompte de ports utilisésNotes1AWS100Gbps Ethernet avec Enhanced Networking1616Utilisé par les machines clientes2AWS100Gbps Ethernet avec Enhanced Networking1616Utilisé par les nœuds Qumulo Core
Éléments de traitement - Virtuel
Numéro d'articleQtyTypeLocationDescriptionFonction de traitement11152vCPUc5n.18xlarge Qumulo Core3.5 GHz intel Xeon Platinum processorsQumulo Core, Communication réseau, Fonctions de stockage21152vCPUc5n.18xlarge Qumulo Core3.5 GHz intel Xeon Platinum processorsSpec Storage Client Benchmark processors
Notes sur les éléments de traitement
Aucun
Mémoire - virtuelle
DescriptionTaille en GiNombre d'instancesNonvolatileTotal GiBAWS EC2 c5n.18xlarge instance memory19216V3072AWS EC2 c5n.18xlarge instance memory19216V3072Grand Total Memory Gibibytes6144
Notes sur la mémoire
Aucun
Stockage stable
Qumulo Core utilise des dispositifs Elastic Block Storage (EBS), qui fournissent un stockage stable.
Solution testée Notes de configuration
La solution testée était un cluster distribué standard construit à l'aide de Qumulo Core. Les clusters Qumulo Core peuvent gérer des E/S de fichiers de petite et grande taille ainsi que des applications à forte intensité de métadonnées. Aucun réglage spécifique n'est nécessaire pour des charges de travail différentes ou à usage mixte.