Erfahren Sie, wie HPE Server und die Qumulo File Data Platform All-NVMe-Flash-Speicher für KI- und ML/DL-Workloads bereitstellen, um die wachsenden Anforderungen an unstrukturierte Daten mit hoher Durchsatzleistung und Benutzerfreundlichkeit zu unterstützen.
Warum AI, ML und DL optimale Anwendungsfälle für NVMe-Flash-Speicher sind
Deep Learning (DL)-Workflows verwenden eine Dateigröße zwischen 64 KB und 1 MB. Um einen GPU-basierten Server mit künstlicher Intelligenz (KI) zu sättigen – wie den HP Apollo 6500 System, das mindestens 20 GB benötigt – erfordert Tausende von Festplatten. NVMe ist die Antwort auf maschinelles Lernen (ML) und DL-Workloads, weil NVMe Flash-Laufwerke können in KI-Trainingsszenarien die bis zu 1000-fache Leistung von HDDs und die 5-fache Leistung der schnellsten SATA-SSDs übertreffen.*
Wie wir in den vorherigen Blogs in diesem gesehen haben Datenspeicher-Serie, kommen bei der Auswahl einer Datenplattform für KI-, ML- und DL-Workloads drei Hauptdimensionen ins Spiel:
- Leistung—ML/DL erfordert E/A-Raten von mehreren Gigabyte pro Sekunde. Speichersysteme müssen die während des KI/ML-Trainings erforderliche Leistung liefern, um ein „Aushungern“ der GPU zu vermeiden und somit die Laufzeit zu verlängern.
- Skalierbarkeit—Mehr Daten sind besser! Dies ist das KI-Mantra. Machine-Learning-Projekte erfordern riesige Datensätze für das Modelltraining, was im Laufe der Zeit zu einem konstanten Datenwachstum führt.
- Einkauf & Prozesse—Datenplattformsysteme müssen einfach zu verwenden sein, eine konsistente Leistung für Anwendungen bieten und begrenzte Ausfallzeiten aufweisen. Übermäßige Ausfallzeiten, mangelhafte Leistung oder umfassende operative Fähigkeiten werden KI-Projekte verzögern und die Gesamtbetriebskosten der Plattform erhöhen.
Im Allgemeinen opfern bestehende Speichersysteme eine oder mehrere dieser Dimensionen:
- Direkt angeschlossener Speicher (DAS) ist im Allgemeinen die erste Wahl für KI-Projekte, da sie eine konsistente Leistung bieten kann, aber Skalierbarkeitsgrenzen birgt, isolierte Datensätze erstellt und Herausforderungen bei der gemeinsamen Nutzung von Datensätzen über mehrere Recheneinheiten hinweg darstellt.
- Gemeinsam genutzte Dateisysteme wie das Hadoop Distributed File System (HDFS) lösen die Kapazitätsprobleme, stellen jedoch Leistungsgrenzen dar, insbesondere für kleine, zufällige E/A-Muster, die in vielen DL-Anwendungsfällen üblich sind.
- Parallele Dateisysteme wie GPFS und Lustre, wurden für eine hohe Durchsatzleistung und die gemeinsame Nutzung großer Datensätze entwickelt, sind jedoch äußerst kompliziert zu bedienen.
Die Dateidatenplattform Qumulo optimiert diese drei Dimensionen: Leistung, Skalierbarkeit und Benutzerfreundlichkeit
Mit seiner Scale-out-Flash-First-Architektur und einer Dateidatenplattform, die speziell für massive Parallelität über alle Datentypen entwickelt wurde, bietet es all diese Dimensionen. Qumulo hält die erforderliche Konfigurations- und Verwaltungskomplexität auf ein Minimum. Es ermöglicht eine nahtlose und lineare Skalierbarkeit von TBs zu PBs in einem einzigen Namespace. Und schließlich bietet es die dauerhaft hohe Leistung und Parallelität, die erforderlich sind, um KI- und ML-Workloads im großen Maßstab zu beschleunigen.
Qumulo Flash-First-File-Datenplattform
Die Multiprotokoll-Dateidatenplattform von Qumulo macht es Unternehmen leicht, Anwendungen und Workflows mit Daten in ihrer nativen Dateiform vor Ort und in der Cloud zu speichern, zu verwalten und zu erstellen – mit Echtzeit-Transparenz und völliger Freiheit.
Qumulo ist mit führender Leistung wirtschaftlicher als Legacy-Speicher. Die Lösung bietet Echtzeitanalysen, um Zeit und Geld zu sparen und gleichzeitig die Leistung zu steigern. Durch die kontinuierliche Replikation können Daten dorthin verschoben werden, wo sie benötigt werden, wenn sie lokal, in der Public Cloud oder in Multi-Cloud-Umgebungen benötigt werden. Der integrierte Datenschutz bietet integrierte Snapshots und Kopien auf natives S3.
Die Flash-First-Dateidatenplattform von Qumulo wurde zertifiziert und optimiert für die HP Apollo 4000 Systeme und die HPE ProLiant DL325 Gen 10 Plus Serverfamilie, um eine äußerst kostengünstige, im Petabyte-Bereich liegende und leistungsstarke Lösung bereitzustellen, die für AI-zentrierte Arbeitsbelastungen.
Hier ist ein allgemeines Architekturdiagramm der Qumulo File Data Platform.
Das Qumulo-Dateidatenplattform umfasst leistungsstarke Echtzeitanalysen für Einblicke in die Datennutzung und -leistung, Datensicherheit mit softwarebasierter Verschlüsselung und Datenschutz mit Datendiensten wie kontinuierliche Replikation und Snapshots. Es vereinfacht auch die Verwaltung riesiger Mengen unstrukturierter Daten. Die Qumulo File Data Platform ist so konzipiert, dass sie bei Bedarf problemlos skaliert werden kann.
Datendienste
Die Datendienste von Qumulo ermöglichen die Anzeige von Daten, die in einer Qumulo File Data Platform gespeichert sind, sowohl in ihrer aktuellen Form als auch in früheren Versionen über Snapshots. Diese Snapshots verwenden eine einzigartige Methode zum Versetzen des Platzes, die nur dann Speicherplatz verbraucht, wenn Änderungen auftreten. Snapshot-Richtlinien können auch mit Replikationsrichtlinien verknüpft werden. Dadurch können Snapshots auf eine zweite Qumulo-Dateidatenplattform repliziert und häufige Snapshots auf einem Qumulo gespeichert werden und weniger häufige Snapshots auf einem anderen, was ein gängiges Unternehmen ist Cloud Disaster Recovery Strategie.
Die Replikation ermöglicht es Benutzern, Daten über mehrere Qumulo File Data Platforms hinweg zu kopieren, zu verschieben und zu synchronisieren. Diese Replikationstechnologie bietet zwei Kernfunktionen: effiziente Datenverschiebung und granulare Identifizierung geänderter Daten. Die Replikation von Qumulo erfolgt kontinuierlich, was bedeutet, dass alle neuen Änderungen an einem replizierten Verzeichnis identifiziert und asynchron und unidirektional verschoben werden.
Die Objektspeicherreplikation ermöglicht es jeder Qumulo File Data Platform, einen Cloud-Objektspeicherdienst (z. B. Amazon S3) als geeignetes Replikationsziel zu behandeln. Benutzer können Daten aus einem Qumulo-Namespace über Qumulo Shift einmalig oder kontinuierlich in einen Cloud-Objektspeicher kopieren und umgekehrt. In einen Objektspeicher verschobene Daten werden in einem offenen und nicht proprietären Format gespeichert, sodass Entwickler diese Daten über Anwendungen nutzen können, die direkt mit dem Amazon S3-Cloud-Objektspeicher im nativen Amazon S3-Format verbunden sind.
Mithilfe von Quotas können Benutzer das Wachstum einer beliebigen Teilmenge eines Qumulo-Namespace steuern. Kontingente fungieren als unabhängige Begrenzungen für die Größe jedes Verzeichnisses und verhindern das Datenwachstum, wenn die Kapazitätsgrenze erreicht ist.
Qumulo-Dateisystem
Die Dateidatenplattform von Qumulo ist eine softwaredefinierte, verteilte, Shared-Nothing-Architektur, die Bare Metal auf Rechenzentrumshardware ausführt, einschließlich HPE ProLiant Gen 10 Server und HPE Apollo Gen 10 Server. Es läuft auch nativ in der öffentlichen Cloud-Infrastruktur. Qumulo skaliert linear, wenn die Datenmenge wächst. Fügen Sie einfach Knoten hinzu und die Qumulo-Software gleicht Daten und Leistung im gesamten Cluster automatisch neu aus.
Das Qumulo-Dateisystem organisiert alle in einem Qumulo-Dateisystem gespeicherten Daten in einem einzigen Namespace. Dieser Namespace ist POSIX-kompatibel und verwaltet die Berechtigungen und Identitätsinformationen, die die vollständige Semantik unterstützen, die über die NFS- oder SMB-Protokolle sowie eine REST-API verfügbar ist. Wie alle Dateisysteme organisiert das Qumulo-Dateisystem Daten in Verzeichnissen und präsentiert Daten SMB- und NFS-Clients. Die Qumulo File Data Platform hat jedoch mehrere einzigartige Eigenschaften: die Verwendung von B-Trees, einer Echtzeit-Analyse-Engine und Cross Protocol Permissions (XPP).
Skalierbarer Qumulo-Blockspeicher
Skalierbarer Blockspeicher (SBS) ist die Grundlage der Qumulo File Data Platform. Der SBS nutzt diese Kerntechnologien, um Skalierbarkeit, Portabilität, Schutz und Leistung zu ermöglichen: ein virtualisiertes Blocksystem, Löschcodierung, ein globales Transaktionssystem und ein intelligenter Cache
Die Speicherkapazität eines Qumulo-Systems ist konzeptionell in einem einzigen, geschützten virtuellen Adressraum organisiert. Jede geschützte Adresse in diesem Bereich speichert einen 4K-Byteblock. Jeder dieser „Blöcke“ wird durch ein Löschcodierungsschema geschützt, um Redundanz bei einem Ausfall des Speichergeräts zu gewährleisten. Das gesamte Dateisystem wird im geschützten virtuellen Adressraum von SBS gespeichert, einschließlich der Verzeichnisstruktur, Benutzerdaten, Dateimetadaten, Analysen und Konfigurationsinformationen.
SBS verwendet die Prinzipien massiv skalierbarer verteilter Datenbanken und ist für die speziellen Anforderungen dateibasierter Daten optimiert. Der SBS ist die Blockschicht der Qumulo File Data Platform, wodurch er einfacher zu implementieren und extrem robust ist. SBS verleiht dem Dateisystem außerdem massive Skalierbarkeit, optimierte Leistung und Datenschutz.
Der blockbasierte Schutz von Qumulo, wie er von SBS implementiert wird, bietet hervorragende Leistung in Umgebungen mit Petabyte an Daten und Workloads mit unterschiedlichen Dateigrößen. SBS hat viele Vorteile, darunter:
- Schnelle Wiederherstellungszeiten bei einem ausgefallenen Laufwerk
- Möglichkeit, normale Dateioperationen während Neuerstellungsoperationen fortzusetzen
- Keine Leistungseinbußen aufgrund von Konflikten zwischen normalen Dateischreibvorgängen und Neuaufbau-Schreibvorgängen
- Gleiche Speichereffizienz für kleine und große Dateien
- Präzise Echtzeit-Berichte über den nutzbaren Raum
- Effiziente Transaktionen, die es Qumulo-Clustern ermöglichen, auf viele Hundert Knoten zu skalieren
- Integriertes Tiering von heißen/kalten Daten, das Flash-Leistung zu Archivpreisen bietet
Die Dateidatenplattform von Qumulo umfasst Cloud-basierte Notfallwiederherstellung, Monitoring und Trendanalyse:
- Die Cloud-Überwachung umfasst die proaktive Erkennung von Ereignissen wie Festplattenausfällen, um Probleme zu verhindern, bevor sie auftreten.
- Historische Trends helfen, Kosten zu senken und Arbeitsabläufe zu optimieren, um Ihre Speicherinvestition optimal zu nutzen.
Um mehr über Qumulo zu erfahren, lesen Sie die Technischer Leitfaden für Qumulo.
Hohe Leistung
Die Dateidatenplattform von Qumulo wurde für die HPE ProLiant DL325 Gen 10 Plus Server mit All-NVMe und den neuesten Komponenten nach Industriestandard. HPE ProLiant Server ermöglichen den extrem konsistenten, skalierbaren und leistungsstarken Dateispeicher, der zur Unterstützung von KI- und ML-Workloads erforderlich ist.
Zusätzlich zur All-NVMe-Konfiguration kann die Qumulo File Data Platform im Hybridmodus konfiguriert werden, indem ein All-Flash-SSD-Tier für hohe Leistung und ein HDD-Tier für niedrigere Kosten kombiniert werden. In dieser Konfiguration können Dateien automatisch zwischen Tiers verschoben werden, um Leistung und Kosten während des gesamten KI-Entwicklungslebenszyklus zu optimieren. Qumulo verfügt über eine Flash-First-Architektur, bei der 100 % der Schreibvorgänge an SSDs gehen, wobei der intelligente Cache für maschinelles Lernen die meisten Lesevorgänge entweder vom RAM oder von SSDs übernimmt.
Warum HPE und Qumulo zusammen besser sind
HPE All-NVMe Flash-Systeme mit der Dateidatenplattform von Qumulo adressieren effektiv:
- Wachsender Bedarf an unstrukturierten Daten—Skalieren und verwalten Sie Milliarden von Dateien mit sofortiger Kontrolle zu geringeren Kosten und hoher Leistung, vor Ort, in der Cloud oder über beides hinweg, jetzt und in Zukunft.
- Leistungsanforderungen mit hohem Durchsatz für KI- und ML-Anwendungen und -Dienste– Geben Sie GB/s an GPU-basierte Server ein.
- Einfache Bedienung erforderlich—Geringere Gesamtbetriebskosten und Systemausfallzeiten
Gastbeitrag: All-NVMe Flash Storage for AI and ML File Workloads wurde ursprünglich veröffentlicht am Community-Blog von HPE.
Mehr erfahren
Lesen Sie mehr über HPE-Lösungen für Qumulo. Und bleiben Sie dran mit dieser Blog-Serie für weitere Informationen über HPE Datenspeicherlösungen für KI und erweiterte Analysen.
Schauen Sie sich dieses On-Demand-Webinar um zu erfahren, wie Qumulo und HPE Einfachheit und Leistung in unstrukturierten Datenumgebungen bieten. Mit Ben Gitenstein, VP of Product bei Qumulo, und Stephen Bacon Director, Product Management & Systems Engineering for Scale-Out Data Analytics & Data Storage Platforms bei HPE.
Kontakt
- Machen Sie eine Probefahrt. Demo von Qumulo in unseren interaktiven Hands-On Labs.
- Abonnieren Sie den Qumulo-Blog für Kundengeschichten, technische Einblicke, Branchentrends und Produktneuigkeiten.
