Mitautoren: Bryan Berezdivin & Marcos Seoane
Unternehmen aus allen Branchen bemühen sich in einem Wettlauf um die Einführung von generative KI und Foundation-Modelle (FMs). Selbst bei massiven Investitionen in beschleunigte Infrastruktur bleibt eine Herausforderung bestehen: Daten und Rechenleistung befinden sich selten am selben Ort. Moderne Foundation-Modelle erfordern eine beispiellose Größenordnung. Das Training eines FM kann Tausende von GPU-beschleunigten Instanzen erfordern, die über Tage bis Wochen laufen und Datensätze verarbeiten, deren Umfang von Hunderten von Terabyte für Sprachmodelle bis zu Dutzenden von Petabyte für multimodale Systeme reicht, die Text, Bilder und Videos kombinieren. Diese Datensätze sind nicht statisch, sondern entwickeln sich kontinuierlich weiter, da Unternehmen ihre Modelle neu trainieren und feinabstimmen, um neue Randfälle, Nutzer-Feedback oder domänenspezifische Daten zu erfassen.
Für die meisten Großunternehmen sieht die Realität so aus, dass ihre Daten in lokalen Rechenzentren und über mehrere Clouds verteilt gespeichert sind. Diese Diskrepanz zwischen Datenlokalisierung und schneller Rechenverfügbarkeit hat sich zu einem der größten Hindernisse für die Skalierung künstlicher Intelligenz (KI) entwickelt. Die Verlagerung von Datensätzen im Petabyte-Bereich über Regionen oder Clouds hinweg verursacht zusätzlichen Betriebsaufwand, Kosten, Latenz und Komplexität bei der Governance, was sich direkt auf die Trainingszeit und die Kapitalrendite (ROI) auswirkt. Eine einheitliche, lokalitätsbewusste Data Fabric schließt diese Lücke. Die einheitliche Datenplattform von Qumulo gewährleistet globale Konsistenz, universellen Zugriff und Zugriff mit geringer Latenz über multiregionale oder hybride Topologien hinweg und ermöglicht so ein neues Paradigma der Datenarchitektur, das auf moderne KI-Fabriken abgestimmt ist.
In diesem Beitrag skizzieren wir die architektonischen Elemente einer solchen einheitlichen Datenplattform, die in der Lage ist, umfangreiche KI-Workloads wie das Training von Basismodellen zu unterstützen. Außerdem zeigen wir, wie Amazon SageMaker HyperPod, in Kombination mit Cloud Native Qumulo (CNQ), bietet eine durchgängige Umgebung für das verteilte AI/ML-Training. SageMaker HyperPod sorgt für eine ausfallsichere Orchestrierung und Skalierung von GPU-Clustern, während CNQ mit Cloud Data Fabric (CDF) gewährleistet, dass Daten regionen- oder standortübergreifend mit geringer Latenz zugänglich sind. Wir veranschaulichen verifizierte Referenzarchitekturen, die SageMaker HyperPod mit CNQ in einer einzelnen Region (siehe Abbildung 1) und in einer multiregionalen Bereitstellung (siehe Abbildung 2) kombinieren, zusammen mit Details zur Integration von Qumulo und SageMaker HyperPod.
Durch die Kombination von Qumulo mit SageMaker HyperPod (und anderen KI-Tools in der Cloud oder vor Ort) können Unternehmen:
Die Zeit bis zum Erreichen der Ergebnisse vor und nach dem Training um mehr als 25 % verkürzen.
Verteilen Sie KI-Workloads auf Ihre geografisch verteilten Daten und bewältigen Sie die zunehmende Rechenkapazitätsknappheit.
Reduzieren Sie den Betriebsaufwand für den KI-Datenkreislauf ohne jegliche Orchestrierung
Vereinheitlichen Sie die Richtlinien zur Datenverwaltung und -sicherheit über alle Umgebungen hinweg.
Abbildung 1: Amazon Sagemaker Hyperpod auf der Qumulo-Architektur (Datensatz aus einer Region)
Eine einheitliche Datenplattform für das Training von Grundmodellen
Im Folgenden sind die wichtigsten Elemente für das Training des zugrunde liegenden Fundamentmodells aufgeführt, wobei entweder lokal verfügbare Daten oder geografisch verteilte Daten verwendet werden:
Zugriff mit hohem Durchsatz und geringer Latenz auf Daten für eine kontinuierliche GPU-Auslastung vor Ort und aus der Ferne.
Elastische Skalierbarkeit zur Verarbeitung von Datensätzen im Multi-Petabyte-Bereich und von Rechenclustern mit dynamisch anpassbarer Größe.
Unterstützung mehrerer Protokolle um optimale dateibasierte Bibliotheken wie PyTorch bereitzustellen
Globale Transparenz und Steuerung um die Anforderungen hinsichtlich des Datenaufbewahrungsorts und der Compliance zu erfüllen.
Qumulo bietet all diese Funktionen dank seiner einzigartigen „Run-Anywhere“-Architektur, die es ermöglicht, die besonderen Funktionen auf jeder beliebigen Kombination aus Rechenleistung, Arbeitsspeicher und Speicher zu nutzen. Dadurch kann die Datenplattform sowohl in der Cloud (AWS, Azure, GCP und OCI) als auch auf beliebiger Serverhardware vor Ort – darunter von HPE, Cisco, Penguin und anderen – mit erstklassiger Kosten- und Leistungsoptimierung betrieben werden. Dies bildet die Grundlage einer einheitlichen Plattform, doch ebenso wichtig ist die Multiprotokoll-Unterstützung von Qumulo, die es Anwendungen ermöglicht, auf die Daten an all diesen Standorten zuzugreifen und diese zu verwalten. Dies ermöglicht eine einfache Integration in das gesamte Anwendungsökosystem eines Unternehmens, einschließlich verschiedener KI-Entwicklungstoolchains wie PyTorch, TensorFlow und JAX. Dies ist zudem entscheidend für die einfache Integration mit Amazon SageMaker Hyperpod.
Die Gewährleistung einer hohen Leistung ist bei kostspieligen Testläufen von entscheidender Bedeutung, bei denen Qumulo NeuralCache Diese Funktionalität bietet optimale Leistung in lokalen und geografisch verteilten Datenarchitekturen. So lagen beispielsweise die durchschnittlichen Latenzzeiten beim Training von llama-3.1-8B unter einer Millisekunde, wobei mehrere AWS P5e EC2-Instanzen (jeweils mit 8 Nvidia H200 Tensor Core-GPUs) zum Einsatz kamen. Wir haben weitere Leistungsdaten erhoben, die separat sowohl für Bereitstellungen in einer einzelnen Region als auch für regionenübergreifende Bereitstellungen veröffentlicht werden.
Für KI-Teams erfordert die Entwicklung von Modellen mehrere Trainingsläufe, bei denen üblicherweise Daten außerhalb des Standorts mit beschleunigten Rechenressourcen verwendet werden. Ein Beispiel hierfür ist die Notwendigkeit, einen Trainingslauf in Region 1 durchzuführen, der sich jedoch aufgrund von Engpässen bei den GPUs um Tage oder sogar Wochen verzögert. Der „Do-it-yourself“-Ansatz (DIY) führt zu Hunderten von Pipelines, über die jeder vorab ausgewählte Datensatz für Trainings- und Validierungsläufe an einem Standort mit beschleunigter Rechenleistung bereitgestellt wird. Dies hat längere Trainingszeiten, Datenwildwuchs, mangelnde Konsistenz der Datensätze und Governance-Probleme zur Folge. Ein alternativer Ansatz besteht darin, dass eine einheitliche Datenplattform die Daten bei Bedarf in Ihrem Auftrag verschiebt, um Leistung, Kosteneffizienz und Konsistenz zwischen den Standorten sicherzustellen. Mit Cloud Data Fabric (CDF), Qumulo bietet eine lokalitätsorientierte Datenplattform. CDF erweitert ein Verzeichnis bzw. Präfix von einem „Hub“ effektiv auf einen oder mehrere „Spokes“. Die „Spokes“ sind vollständig kohärent und nutzen die Lokalisierungserkennung sowie das Modellensemble von Neural Cache, um zu entscheiden, welche Daten für jede Arbeitslast vorab abgerufen werden sollen. Dadurch ermöglicht CDF den „Spokes“, Anwendungen lokale Leistung zu bieten. In den Abbildungen 1 und 2 veranschaulichen wir eine verifizierte Architektur mit SageMaker HyperPod und Qumulo.
Dies stellt praktisch ein neues Datenparadigma für KI-Teams dar, das dank einer optimierten, orchestrierungsfreien Datenschleife die Zeit bis zum Erreichen von Ergebnissen verkürzt und die Leistung neuer Modelle steigert. Kostenmodellierungen zeigen, dass sich durch diesen Ansatz die Gesamtbetriebskosten (TCO) um mehr als 30 % senken lassen. Um diese Ziele zu erreichen, werden im Folgenden die wichtigsten Funktionen einer einheitlichen Datenplattform mit Qumulo beschrieben:
Elastischer, leistungsstarker Datenzugriff für beschleunigte Rechenvorgänge
Maßstab von 1 GB/s bis 1 TB/s Durchsatz mit einer Latenz von unter einer Millisekunde, wie in KI-Bild-Benchmarks.
Sorgen Sie für eine vollständige Auslastung der GPUs, indem Sie I/O-Verzögerungen beim Laden von Daten, beim Sharding, beim Erstellen von Checkpoints oder beim Fine-Tuning vermeiden.
Passen Sie sich mithilfe von NeuralCache™ – einem KI-gestützten Caching- und Prefetching-Verfahren – automatisch an jede Trainingsbelastung an, sowohl lokal als auch aus der Ferne.
Einheitliche Dateninfrastruktur für die Mobilität von Workloads
Optimierte Latenzen auf den Spokes durch den Einsatz von NeuralCache™ – einem KI-gestützten Caching- und Prefetching-Verfahren, das nahtlos Daten von den Hub-Qumulo-Clustern zu mehreren Spoke-Qumulo-Clustern und umgekehrt überträgt.
Datenübertragungen komprimieren, deduplizieren und für das WAN optimieren, um das Datenübertragungsvolumen im Vergleich zu manuellen Kopien um mehr als 30 % zu reduzieren.
Sorgen Sie mithilfe gemeinsamer Metadaten, wie beispielsweise Versionsinformationen, für einheitliche Daten in allen Umgebungen.
Flexibilität durch Unterstützung mehrerer Protokolle
Native Unterstützung für S3, NFS, SMB, REST und SFTP vermeidet Refactoring, eine Neugestaltung der Architektur oder redundante Kopien.
Datenwissenschaftler, Ingenieure und Simulationsteams können mit ihren bevorzugten Tools auf dieselben Datensätze zugreifen.
Reduziert den Aufwand für die Datenkoordination um bis zu das Vierfache im Vergleich zu herkömmlichen, isolierten Speichersystemen.
SageMaker HyperPod mit Qumulo
Zur Veranschaulichung hat Qumulo einen gängigen Workflow für Foundation-Modelle anhand von SageMaker HyperPod sowohl in derselben Region wie die Trainingsdaten als auch in einer von den Trainingsdaten getrennten Region bereitgestellt. Das Ergebnis ist ein globales Modelltraining ohne Datenduplizierung und ohne Koordinierungsaufwand, bei dem jedoch die Konsistenz gewahrt bleibt und die Gesamtbetriebskosten gesenkt werden. Ein wichtiges Detail ist, dass bei den meisten Projekten zur Entwicklung von KI-Modellen pro Trainingsdurchlauf nur 30 % der beschrifteten Daten verwendet werden und es erhebliche Überschneidungen zwischen dem ersten und den nachfolgenden Durchläufen gibt. Dies führt zu einem höheren ROI im Vergleich zur Replikation des Datensatzes pro Durchlauf, was für die meisten Teams bei ihren Koordinierungsbemühungen ein gängiges Szenario ist. Noch einschneidender für die Verbesserung des ROI ist, dass viele Teams zu diesem Zweck komplexe Datenkataloge erstellt haben, um Redundanzen zu vermeiden – diese müssen nun nicht mehr erstellt, gepflegt und weiterentwickelt werden, wenn Qumulo CDF genutzt wird.
SageMaker HyperPod mit Qumulo – Datensatz in einer Region
Bei dieser Bereitstellung haben wir CNQ zusammen mit den Trainingsdaten in derselben Region wie SageMaker HyperPod bereitgestellt. CNQ wurde in einer einzigen Verfügbarkeitszone bereitgestellt, die nicht am selben Standort wie die P5e-EC2-Knoten lag. Die Architektur ist in Abbildung 1 dargestellt.
SageMaker HyperPod mit Qumulo – regionenübergreifendes Datenset
Bei dieser Bereitstellung haben wir CNQ in Region 2 als Hub und Region 1 als Spoke eingerichtet. CDF verteilt die Daten optimal zum bzw. vom CNQ-Spoke-Ordner. Auf diese Weise werden nur die für das Training benötigten Daten an den Spoke verteilt.
Abbildung 2: Amazon Sagemaker Hyperpod auf der Qumulo-Architektur für datensatzübergreifende Datensätze
SageMaker HyperPod mit Qumulo – Hybrid- oder Multi-Cloud-Option
Viele Unternehmen betreiben bereits GPU-Cluster in einer Umgebung, während sich ihre Datensätze in einer anderen befinden. Die Cloud Data Fabric von Qumulo ermöglicht nahtlose Hybrid- oder Multi-Cloud-Topologien, ohne dass eine Orchestrierung erforderlich ist:
Von der lokalen Installation zur Cloud: Trainieren Sie auf SageMaker HyperPod oder Azure AI Foundry unter Verwendung von lokalen Qumulo-Clustern als maßgebliche Datenquelle. Dies veranschaulichen wir in Abbildung 2.
Multicloud: Nutzen Sie Qumulo-Instanzen auf AWS, Azure und GCP mit einheitlichen Namespace- und Richtlinienkontrollen.
Vom Rand zum Kern: Sammeln, kuratieren und trainieren Sie mit am Edge generierten Daten – ganz ohne komplexe Replikationsaufträge.
Abbildung 3: Amazon Sagemaker Hyperpod auf der Qumulo-Architektur für hybride Datensätze
Integration von Qumulo mit SageMaker HyperPod
Im Folgenden stellen wir ein geprüftes Rezept für eine Bereitstellung in einer einzelnen Region unter Verwendung von Cloud Native Qumulo (CNQ) auf dem AWS Marketplace zur Integration mit SageMaker Hyperpod. In diesem Rezept unterstützt CNQ die Trainingsdaten und Checkpoints und nutzt zudem den NFS-CSI-Treiber, um dynamische Container-Bereitstellungen auf SageMaker Hyperpod zu ermöglichen.
Um eine validierte Konfiguration zu reproduzieren, beschreiben wir die folgenden Schritte:
Schritt 1: Amazon EKS- und HyperPod-Cluster einrichten
Wir folgten dem Anleitung zur Einrichtung von EKS und HyperPod um einen EKS-Cluster bereitzustellen und SageMaker HyperPod zu integrieren.
# EKS-Cluster mit verwalteten Knotengruppen erstellen
eksctl create cluster \
--name hyperpod-eks \
--version 1.29 \
--region us-west-2 \
--nodegroup-name workers \
--node-type P5.4xlarge \
--nodes 2 \
--nodes-min 2 \
--nodes-max 8
# Überprüfen, ob die Knoten bereit sind
kubectl get nodes
Schritt 2: Bereitstellung des Qumulo-Clusters über Terraform
Die Bereitstellung von Cloud Native Qumulo (CNQ) auf AWS mit Terraform umfasst die Einrichtung einer vollständig elastischen Dateidatenplattform, die AWS S3 für den persistenten Speicher und EC2-Instanzen für Rechen- und Cache-Ressourcen nutzt. Der Bereitstellungsprozess folgt dem AWS Well-Architected Framework und gewährleistet so Skalierbarkeit, Sicherheit und betriebliche Effizienz. Vor Beginn müssen mehrere Voraussetzungen erfüllt sein, darunter entsprechende IAM-Berechtigungen, eine ausgehende Internetverbindung zu den Endpunkten von Qumulo sowie gegebenenfalls die Einrichtung eines S3-VPC-Gateways. Das Terraform-Bereitstellungspaket enthält modulare Vorlagen, die die Bereitstellung aller erforderlichen AWS-Ressourcen automatisieren.
Die Bereitstellung erfolgt in zwei Hauptphasen. Zunächst wird der persistente Speicher eingerichtet, indem mithilfe von Terraform-Konfigurationen die S3-Buckets angelegt werden, in denen die Qumulo-Daten gespeichert werden sollen. Sobald der Speicher eingerichtet ist, werden in der zweiten Phase die EC2-Instanzen bereitgestellt, auf denen Qumulo Core gehostet wird. Terraform sorgt automatisch für die Konsistenz der Konfiguration, die Einhaltung von Namenskonventionen und das Abhängigkeitsmanagement und versieht alle Ressourcen mit einer eindeutigen Bereitstellungs-ID, um Konflikte zwischen mehreren Clustern zu vermeiden.
Nach der Bereitstellung umfassen die Folgeaufgaben die Überprüfung der Clusterkonfiguration, die Bestätigung der erfolgreichen Bereitstellung über AWS Systems Manager sowie optional die Einrichtung der DNS-Auflösung mithilfe von Qumulo Authoritative DNS. Das Ergebnis ist ein voll funktionsfähiger, cloud-nativer Qumulo-Cluster, der Daten im Petabyte-Maßstab mit der erforderlichen Skalierbarkeit verwalten kann, Multiprotokoll-Zugang für Zugriff über S3, NFS, SMB, FTP und REST-API sowie die Integrationsvorteile von AWS.
Folgen Sie dem Anleitung zur Bereitstellung von CNQ auf AWS mit Terraform für eine detaillierte Anleitung.
Schritt 3: Qumulo-Benutzer und NFS-Export erstellen
Mit Hilfe der Qumulo-GUI-Tool (über einen HTTP-Browser erreichbar):
Ein neuer Benutzer und neue Berechtigungen wurden hinzugefügt.
Erstellen Sie einen NFS-Exportpfad „/ai-factory-data“.
Referenz: So richten Sie einen NFS-Export ein.
Schritt 4: CSI-Treiber installieren und PVCs konfigurieren
Um Kubernetes-Workloads mit Qumulo zu verbinden, haben wir den CSI-Treiber installiert und PVCs definiert.
# Qumulo-CSI-Treiber installieren
helm repo add csi-driver-nfs https://raw.githubusercontent.com/kubernetes-csi/csi-driver-nfs/master/charts
helm install csi-driver-nfs csi-driver-nfs/csi-driver-nfs --namespace kube-system --version 4.12.0
# Beispiel für eine PV-Konfiguration
apiVersion: v1
kind: PersistentVolume
metadata:
name: pv-qumulo-static
spec:
capacity:
storage: 50Ti
accessModes:
- ReadWriteMany
persistentVolumeReclaimPolicy: Retain
storageClassName: ""
mountOptions:
- vers=3
- proto=tcp
- nolock
csi:
driver: nfs.csi.k8s.io
# Eindeutige ID für dieses Verzeichnis/Volume; verwenden Sie einen stabilen, pfadbasierten Handle volumeHandle: qumulo-nfs-root
volumeAttributes:
server: qumulo.qumulo-hub.com
share: "/csi"
# Beispiel für eine PVC-Konfiguration
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: pvc-qumulo-static
spec:
accessModes:
- ReadWriteMany
resources:
requests:
storage: 50Ti
storageClassName: ""
volumeName: pv-qumulo-static
Referenz: Anbindung von Kubernetes mit dem CSI-Treiber.
Schritt 5: Die Workload ausführen
Wir haben ein Llama-2-Modell unter Verwendung von PyTorch FSDP auf Kubernetes.
# Verteilten Llama-2-Job mit FSDP starten
kubectl create -f llama2-fsdp-job.yaml
Die Konfiguration erfolgte gemäß dem AWS-Beispiel: „Llama 2 FSDP Example“.
Diese Konfiguration ist produktionsreif, sowohl für den Betrieb in einer einzelnen Region als auch in mehreren Regionen validiert und bildet die Grundlage für hybride und Multi-Cloud-KI-Fabriken.
Fazit
Da Unternehmen ihre KI-Ziele immer weiter ausbauen, verbessert die Möglichkeit, Modelle dort zu trainieren, wo Rechenleistung verfügbar ist, ohne an den Standort der Daten wechseln zu müssen, die betriebliche Effizienz und verkürzt die Zeit bis zum Erreichen von Ergebnissen für die Geschäftsbereiche insgesamt. Qumulo – vor Ort, in der Cloud und am Netzwerkrand – ermöglicht es, dies auf kosteneffizienteste Weise zu erreichen, und bietet dabei die Leistung und Einfachheit, die für die Entwicklung von Grundmodellen erforderlich sind. Durch die Kombination von Qumulo mit SageMaker HyperPod (und anderen KI-Entwicklungsframeworks in der Cloud oder vor Ort) können Unternehmen:
Die Zeit bis zum Erreichen der Ergebnisse vor und nach dem Training um mehr als 25 % verkürzen.
Verteilen Sie KI-Workloads auf Ihre geografisch verteilten Daten und bewältigen Sie die zunehmende Rechenkapazitätsknappheit.
Reduzierung des Betriebsaufwands für den KI-Datenkreislauf ohne jegliche Orchestrierung
Vereinheitlichen Sie die Richtlinien zur Datenverwaltung und -sicherheit über alle Umgebungen hinweg.
Ganz gleich, ob Ihre GPUs in AWS, Azure, GCP oder vor Ort betrieben werden – Qumulo ermöglicht eine KI-Strategie, bei der das Training überall und die Verwaltung von überall aus erfolgen kann.
Erfahren Sie mehr unter qumulo.com/ai