Die Welt von künstliche Intelligenz (KI) hat ein exponentielles Wachstum erlebt und einen unstillbaren Hunger nach Daten. Von selbstfahrenden Autos bis hin zu Chatbots, die menschliche Gespräche nachahmen – KI revolutioniert Branchen in rasantem Tempo. Die Leistungsfähigkeit der KI beruht auf ihrer Dateninfrastruktur. Der Zugriff auf Daten, die Geschwindigkeit ihrer Verarbeitung und eine skalierbare Speicherleistung sind entscheidende Faktoren, die die Effizienz einer KI-Pipeline bestimmen. Hier hat sich Qumulo als weltweit beste Datenspeicherlösung für KI-Workloads bewährt – als branchenweit leistungsstärkste und kosteneffizienteste Lösung für Dateidaten in der Cloud.
Warum Qumulo ideal für dateibasierte KI-Workloads ist
KI-Anwendungen – seien es Deep-Learning-Modelle oder neuronale Netze – erfordern ganz bestimmte Speichereigenschaften, die Qumulo alle erfüllt:
Skalierbarkeit: KI-Datensätze sind dynamisch. Sie wachsen im Laufe der Zeit, da immer mehr Daten erfasst und verarbeitet werden. Dank der Fähigkeit von Qumulo, mit vorhersehbarer hoher Leistung zu skalieren, kann das System auch bei wachsenden KI-Workloads die Anforderungen in jeder Größenordnung erfüllen.
Kostenwirksamkeit: Die Finanzierung von KI-Initiativen kann eine erhebliche Investition darstellen. Durch Einsparungen bei den Speicherkosten ohne Leistungseinbußen lassen sich Ressourcen für andere wichtige Bereiche freisetzen, sei es in der Forschung, der Entwicklung oder bei der Produktion.
„Ability to Scale Anywhere™“: Infrastrukturbetreiber und Datenwissenschaftler profitieren von der Flexibilität, ein Modell an einem Standort zu trainieren und es dann an einem anderen Standort mit hochsicherer Infrastruktur bereitzustellen. Das softwaredefinierte Speichersystem von Qumulo lässt sich überall bereitstellen und betreiben. So lässt sich ein KI-Modell ganz einfach im zentralen Rechenzentrum trainieren und anschließend an einem beliebigen Ort in die Produktion überführen.
Leistung: KI-Modelle, insbesondere solche, die in Bereichen wie autonomen Fahrzeugen oder Finanztransaktionen zum Einsatz kommen, benötigen vor und nach dem Training des Modells Zugriff auf Daten in Echtzeit. Die schnelle Datenabfrage von Qumulo stellt sicher, dass die Daten verfügbar sind sobald es benötigt wird.
Schauen wir uns Punkt 4 genauer an und betonen wir die Bedeutung eines nahtlosen und blitzschnellen Abrufs von Daten und Metadaten. Dies ist für KI-Anwendungen, die eine skalierbare Dateispeicherung erfordern – vor Ort oder in der Cloud –, von entscheidender Bedeutung.
Durch das Testen synthetischer KI-Workloads haben wir festgestellt, dass wir tatsächlich die schnellste dateibasierte Cloud-Lösung für KI auf dem Markt sind, bei der Datenwissenschaftler Qumulo für die Datenerfassung, das Vortraining, das Training in der Produktionsumgebung und die fortlaufende Inferenz nutzen können – unabhängig vom Umfang.
Lies weiter.
Breit einsetzbarer KI-Benchmark
Um die Leistungsfähigkeit von Qumulo besser einordnen zu können, wollen wir uns die neuesten Ergebnisse genauer ansehen, die mit Qumulo in der Cloud auf einer AWS-Infrastruktur erzielt wurden. Wir haben SPECstorage verwendet, um die KI-Leistung auf Qumulo zu charakterisieren. Dieser Benchmark (mit dem treffenden Namen „AI_Image“) nutzt Dateigrößen und E/A-Muster, die gängige KI-Workloads synthetisch und präzise simulieren:
Basierend auf TensorFlow Bewährte Verfahren – das weltweit am häufigsten eingesetzte KI-/ML-Framework
Abgeleitet von drei verschiedenen Modellen: ResNet, VGG (Visual Geometry Group) und SSD (Single-Shot-Detector)
Unter Verwendung von Open-Source-Datensätzen aus CityScape, ImageNet und COCO
Aufgrund der weit verbreiteten Nutzung von TensorFlow im KI-Bereich eignet sich der Benchmark für eine Vielzahl von KI-Modell-Workloads, die KI-Ergebnisse für folgende Bereiche liefern:
Bildklassifizierung und Objekterkennung
Natürliche Sprachverarbeitung (NLP)
Spracherkennung
Empfehlungssysteme
Generative Modelle
Gesundheitswesen und Biowissenschaften
…und VIELE weitere
Beschreibung des Benchmarks und erzielte Ergebnisse
Das Ziel des Benchmarks ist es, Daten schnell vom Qumulo-Speicher an die Anwendungsschicht (unter Verwendung von GPUs) zu liefern, auf der die KI-Jobs ausgeführt werden. Der Benchmark testet die Speicherleistung und Latenz anhand einer realistischen Reihe von E/A-Mustern einer Gruppe von Clients. Die Clients erhöhen schrittweise die Anzahl ihrer KI-Jobs, bis sie das Ziel erreichen, das im Falle dieses Tests bei insgesamt 480 Jobs liegt. Der Benchmark umfasst vier Hauptoperationen mit vier unabhängigen, gleichzeitig ausgeführten Teil-Workloads:
AI_SF – Einlesen kleiner Bilddateien
AI_TF – Schreibt größere Dateien (idealerweise Dateien mit mindestens 100 MB)
AI_TR – Liest große TFRecords ein
AI_CP – Führt gelegentlich Checkpoints durch
Ergebnisse
Abb. 1 unten zeigt die folgenden Ergebnisse:
Die X-Achse zeigt die Anzahl der Jobs, bei denen der KI-Benchmark im Zeitverlauf ausgeführt wird
Die Y-Achse zeigt die Gesamtlatenz über die gesamte Testdauer hinweg an.
Die Latenz zeigt, dass die Speicherleistung auch bei steigender Anzahl von KI-Aufträgen schnell und vorhersehbar bleibt!
Anwendbarkeit vor Ort
Zwar wurden die SPECstorage-Benchmark-Tests in einer cloudbasierten Umgebung durchgeführt, doch lassen sich diese Ergebnisse problemlos extrapolieren, um Ergebnisse mit ähnlicher lokaler Hardware abzuschätzen. Wenn Qumulo diesen Benchmark auf der SPEC-Website veröffentlicht (voraussichtlich Dezember 2023), werden dort die Details und Kosten der Umgebung zu finden sein, einschließlich der verwendeten EC2-Instanztypen (Anzahl der Kerne, verfügbarer Arbeitsspeicher usw.) und der in der Netzwerkumgebung verfügbaren Bandbreite. In der Zwischenzeit haben wir für interessierte Leser die ergänzenden Details im Anhang dieses Blogbeitrags zusammengestellt.
Data Scientists und Data Engineers, aufgepasst! Probiert es selbst aus!
In der sich rasant entwickelnden Welt der KI ist eine robuste, schnelle und skalierbare Speicherlösung kein Luxus, sondern eine Notwendigkeit. Qumulo zeichnet sich durch branchenführende Leistung und Kosteneffizienz aus und ist damit die erste Wahl unter den cloudbasierten Dateilösungen für KI-Workloads. Der Benchmark unterstreicht nicht nur die Leistungsfähigkeit von Qumulo, sondern festigt auch dessen Position als schnellste und vielseitigste Speicherlösung für KI.
Siehe vollständige Ergebnisse veröffentlicht auf Spec.org
Anhang
Leistung
Gesamtantwortzeit = 1,22 ms
Geschäft
Kennzahl
(AI_Jobs)Durchschnittliche
Latenz
(ms)AI_Jobs
Vorgänge/Sek.AI_Jobs
MB/Sek.161,36069601565321,281139213127481,313208824691641,213278436255801,201348047822961,1474176593851121,15848726109501281,12355687125141441,12262648140821601,10969609156441761,14476570172081921,11783530187742081.11290491203402241,11297452218992401,121104413234702561,271111374250372721.143118335265982881,155125296281613041.197132257297293201,205139218312893361,257146178328593521.323153139344183681,430160100359843841,503167061375524001,63217402239112
Produkt- und Testinformationen
Qumulo – Public-Cloud-Referenz Getestet von Qumulo, Inc. Hardware verfügbar: November 2023 Software verfügbar: November 2023 Testdatum: November 2023 Lizenznummer: 6738 Standorte des Lizenznehmers: Seattle, WA, USA
Qumulo ist eine Hybrid-Cloud-Dateispeicherlösung, die sich durch eine Skalierbarkeit von über einem Exabyte in einem einzigen Namensraum, identische Funktionen sowohl vor Ort als auch in der Cloud sowie umfassende Multi-Protokoll-Unterstützung auszeichnet und so Flexibilität und Kompatibilität für vielfältige Anwendungen gewährleistet. Durch die nahtlose Integration in die Public-Cloud-Infrastruktur bietet Qumulo Speicherkapazität für unstrukturierte Daten in beliebiger Größenordnung sowie Echtzeit-Einblick in die Speicherleistung und die Datennutzung.
Das Cloud-native Dateisystem von Qumulo ermöglicht es Unternehmen, dateibasierte Anwendungen und Workloads nahtlos in die Public-Cloud-Umgebung zu migrieren. Mit Qumulo können Unternehmen Exabytes an Daten effizient verwalten – egal ob vor Ort oder in der Cloud. Die folgenden Ergebnisse zeigen deutlich, dass das Qumulo-Dateisystem bei der Bereitstellung auf AWS durch herausragende Leistung überzeugt.
Stückliste der zu testenden Lösung
Artikel-Nr.AnzahlTypAnbieterModell/NameBeschreibung116AWS EC2-InstanzenAWSc5n.18xlargeQumulo-Knoten – Amazon c5n EC2-Instanzen (c5n.18xlarge-Instanzen verfügen über 72 vCPU, 192 GiB Arbeitsspeicher und 100 Gbit/s Netzwerkbandbreite)216AWS EC2-InstanzenAWSc5n.18xlargeUbuntu-Clients – Qumulo-Cluster – Amazon c5n EC2-Instanzen (c5n.18xlarge-Instanzen verfügen über 72 vCPU, 192 GiB Arbeitsspeicher und 100 Gbit/s Netzwerkbandbreite)
Konfigurationsdiagramme
Qumulo in AWS
Komponentensoftware
ArtikelnummerKomponententypName und VersionBeschreibung1Qumulo CoreDateisystem6.2.2Das Cloud-native Dateisystem von Qumulo ermöglicht es Unternehmen, dateibasierte Anwendungen und Workloads mühelos in die Public Cloud zu verlagern.2UbuntuBetriebssystem22.04Das Ubuntu-Betriebssystem wird auf den sechzehn c5n.18xlarge-Rechenknoten bereitgestellt. Diese werden als Clients verwendet, auf denen die SPEC Storage 2020-Benchmarks ausgeführt werden.
Hardwarekonfiguration und -optimierung – Physikalisch
KomponentennameParameternameWertBeschreibungSR-IOVEnabledAktiviert die CPU-VirtualisierungstechnologiePortgeschwindigkeit100 GbEJeder Knoten verfügt über eine 100-GbE-Anbindung
Hinweise zur Hardwarekonfiguration und -optimierung
Keine
Softwarekonfiguration und -optimierung – Virtuell
Netzwerk-Parameter NameWertBeschreibungJumbo-Frames9001Aktiviert Ethernet-Jumbo-Frames mit einer Größe von bis zu 9001 ByteUbuntu-Clients – NFS-Mount-ParameterParameter NameWertBeschreibungvers3Verwendet NFSv3nconnect16Erhöht die Anzahl der NFS-Client-Verbindungen auf bis zu 16tcpTCP Netzwerk-Transportprotokoll für die Kommunikation mit dem Qumulo-Clusterlocal_lockallDer Client geht davon aus, dass sowohl Flock- als auch POSIX-Sperren lokal sindEBS-Volume-ParameterParameter NameWertBeschreibungIOPS16000Maximale IOPS für EBS-VolumeThroughput1000Maximaler Durchsatz für EBS-Volume
Hinweise zur Softwarekonfiguration und -optimierung
Keine
Hinweise zum Service-SLA
AWS unternimmt wirtschaftlich angemessene Anstrengungen, um die enthaltenen Produkte und Dienste jeweils mit einer monatlichen Verfügbarkeitsrate von mindestens 99,99 % bereitzustellen, und zwar jeweils während eines monatlichen Abrechnungszeitraums. Die monatliche Verfügbarkeitsrate wird berechnet, indem von 100 % der Prozentsatz der Minuten abgezogen wird, in denen eines der enthaltenen Produkte und Dienste, soweit zutreffend, im Status „Region nicht verfügbar“ war.
Speicher und Dateisysteme
ArtikelnummerBeschreibungDatensicherheitStabiler SpeicherAnzahl1Elastic Block Storage-Volume, Kapazität von 1 TB gp3. Jeder Qumulo-Knoten verfügt über 6 EBS-Volumes. 2 Laufwerke oder 1 Knoten-Schutz mit Erasure Coding AWS EBS 96 Anzahl der Dateisysteme 1 Gesamtkapazität 78,54 TB Dateisystemtyp Qumulo
Hinweise zur Erstellung von Dateisystemen
Das Qumulo Core-Dateisystem wird auf AWS entweder über eine CloudFormation-Vorlage oder über Terraform bereitgestellt. Das Qumulo Core-AMI wird bereitgestellt und das Dateisystem wird entweder im Rahmen des automatisierten CloudFormation-Prozesses oder über Terraform konfiguriert. Es sind keine zusätzlichen Schritte zur Erstellung des Dateisystems erforderlich.
Hinweise zu Speicher und Dateisystemen
Keine
Transportkonfiguration – Virtuell
ArtikelnummerTransportartAnzahl der verwendeten PortsAnmerkungen1100-Gbit/s-Ethernet-Virtual-NIC16Wird von Client-Rechnern verwendet2100-Gbit/s-Ethernet-Virtual-NIC16Wird von Qumulo Core für die Kommunikation zwischen den Knoten sowie für die Kommunikation mit beliebigen Clients verwendet.
Hinweise zur Transportkonfiguration
Keine
Switches – Virtuell
ArtikelnummerSwitch-BezeichnungSwitch-TypGesamtanzahl der PortsAnzahl der belegten PortsAnmerkungen1AWS100-Gbit/s-Ethernet mit erweiterten Netzwerkfunktionen1616Von Client-Rechnern genutzt2AWS100-Gbit/s-Ethernet mit erweiterten Netzwerkfunktionen1616Von Qumulo-Core-Knoten genutzt
Verarbeitungselemente – Virtuell
ArtikelnummerAnzahlTypStandortBeschreibungVerarbeitungsfunktion11152vCPUc5n.18xlarge Qumulo Core3,5 GHz Intel Xeon Platinum-ProzessorenQumulo Core, Netzwerkkommunikation, Speicherfunktionen21152vCPUc5n.18xlarge Qumulo Core, 3,5-GHz-Intel-Xeon-Platinum-Prozessoren, Standard-Speicher-Client-Benchmark-Prozessoren
Hinweise zu den Verarbeitungselementen
Keine
Speicher – Virtuell
BeschreibungGröße in GiBNummer der InstanzenNichtflüchtigGesamt-GiBAWS EC2 c5n.18xlarge-Instanzspeicher19216V3072AWS EC2 c5n.18xlarge-Instanzspeicher19216V3072Gesamtspeicher in Gibibyte6144
Notizen zum Gedächtnis
Keine
Stabile Lagerung
Qumulo Core nutzt Elastic Block Storage (EBS)-Geräte, die für einen stabilen Speicher sorgen.
Hinweise zur Konfiguration der zu testenden Lösung
Bei der getesteten Lösung handelte es sich um einen standardmäßigen verteilten Cluster, der auf Basis von Qumulo Core aufgebaut war. Qumulo Core-Cluster können sowohl große als auch kleine Datei-I/O-Vorgänge sowie metadatenintensive Anwendungen verarbeiten. Für unterschiedliche oder gemischte Workloads ist keine spezielle Optimierung erforderlich.