Einleitung
Im Zeitalter der künstlichen Intelligenz (KI) und des maschinellen Lernens (ML) ist die effiziente Verarbeitung riesiger Mengen unstrukturierter Daten eine Grundvoraussetzung. Unternehmen und Behörden nutzen KI zunehmend, um Erkenntnisse zu gewinnen, Abläufe zu verbessern und Innovationen voranzutreiben. Herausforderungen beim Datenmanagement können KI-Initiativen jedoch behindern, insbesondere in Hybrid- und Multi-Cloud-Umgebungen. Die Qumulo Cloud Data Platform bewältigt diese Herausforderungen durch eine nahtlose, leistungsstarke Lösung für die Beschleunigung von KI-Daten in der Public Cloud.
Übersicht über die Qumulo Cloud Data Platform
Die Qumulo Cloud Data Platform ist eine umfassende Lösung, die die Datenspeicherung und -verwaltung in lokalen Umgebungen sowie in öffentlichen, privaten und hybriden Cloud-Umgebungen vereint. Sie besteht aus drei Kernkomponenten:
Qumulo-Cluster vor Ort: Diese sind in Rechenzentren, Forschungsstandorten, Krankenhäusern und anderen wichtigen Einrichtungen im Einsatz und hosten Exabytes an unstrukturierten Datei- und Objektdaten. Sie bieten leistungsstarken Speicher, der für groß angelegte Workloads über den gesamten Bereich der Preis-Leistungs-Kurve hinweg optimiert ist.
Cloud-native Qumulo-Instanzen: Diese Instanzen werden bei großen Cloud-Anbietern wie AWS, Azure, Google Cloud Platform (GCP) und Oracle Cloud Infrastructure (OCI) eingesetzt und erweitern die Funktionen von Qumulo auf die Cloud. Damit ermöglichen sie skalierbare und flexible Datenspeicherlösungen, deren Leistung mit der von parallelen Dateisystemen vergleichbar ist, deren Wirtschaftlichkeit jedoch der von lokalen Speicherlösungen entspricht.
Globales Datennetzwerk: Dies ist das Daten-Backbone, das die On-Premise- und Multi-Cloud-Instanzen zu einem einheitlichen System zusammenführt. Dadurch können beliebige KI-Modelle und/oder -Dienste gleichzeitig auf dieselben Daten zugreifen, unabhängig davon, ob sich die GPUs vor Ort oder in der Cloud befinden – je nach Verfügbarkeit und Preisgestaltung. Es bietet:
Strictly Consistent Global Namespace (GNS): Gewährleistet die Datenkonsistenz über alle Standorte hinweg.
Edge-Lese-/Schreib-GNS-Caching: Bietet Zugriff mit geringer Latenz auf häufig genutzte Daten am Netzwerkrand sowie in geografisch verteilten Rechenzentren, in der Cloud oder einer Kombination aus beidem.
Caching eines persistenten Datenspeichers mit Lese-/Schreibzugriffen in einem Cluster: Steigert die Leistung, indem Daten näher an den Rechenressourcen zwischengespeichert werden, und senkt die Transaktionskosten für S3-, Blob- und GCS-APIs.
Netzwerkorientierte Dienstgüte und effiziente Netzwerkauslastung: Diese Technologie optimiert die Datenübertragung über Weitverkehrsnetzwerke (WANs) unter Berücksichtigung der Netzwerkbedingungen.
Beschleunigung von KI-Workloads
Intelligente Datenübertragung
Die Qumulo Cloud Data Platform ermöglicht eine intelligente und effiziente Datenübertragung über das Global Data Fabric. Daten können bei Bedarf auf Blockebene von jedem beliebigen Standort aus gestreamt und über das WAN an cloudbasierte Lese-/Schreib-Cluster weitergeleitet werden. Diese Cluster nutzen kostengünstigen, hochbeständigen S3-Speicher als Persistenzschicht und intelligentes Caching auf eine an eine NVMe-Instanz angeschlossene Festplatte in EC2. Auf diese Weise stehen die Daten sofort zur Versorgung von GPU-Instanzen bereit – und zwar mit Geschwindigkeiten, die von herkömmlichen cloudbasierten Dateispeicherangeboten nicht erreicht werden.
Leistungsverbesserungen
Verkürzte Ausführungszeit auf der GPU: Qumulo verbessert die GPU-Ausführungszeit um bis zu 40 %, indem es die Datenübertragung vom Cloud-nativen, auf Qumulo basierenden Dateispeicher zum cloudgehosteten GPU-System beschleunigt und so die Phase des Datenkopierens von S3 zur GPU umgeht. Diese Optimierung beseitigt den Engpass und die Kosten, die häufig dadurch entstehen, dass Daten vor Beginn des Trainings aus Objekt- oder Dateispeichern in den lokalen NVMe-Speicher auf GPU-Instanzen geladen werden müssen.
Kosteneinsparungen bei S3-API-Aufrufen: Die Cloud Data Platform nutzt intelligente, auf maschinellem Lernen basierende Vorhersagemodelle, intelligentes Lese-Caching und Komprimierung bei gleichzeitiger Komprimierung des Schreib-Caches, wodurch S3-API-Aufrufe gebündelt werden. Dieser Ansatz senkt die S3-API-Gebühren um bis zu 90 % und führt so zu erheblichen Kosteneinsparungen.
Optimierte GPU-Instanzen: Dank dieser Funktion benötigen GPU-EC2-Instanzen keinen lokalen NVMe-Speicher mehr, was kostengünstigere GPU-Instanzen ermöglicht, ohne dass dabei Leistungseinbußen entstehen.
Cloud-basierte KI für Unternehmen
Viele Unternehmen und Behörden benötigen keine GPU-Cluster im Vollbetrieb für Trainingsaufgaben. Qumulo vertritt die Auffassung, dass generative KI (GenAI) Die Arbeitslasten – Training, Feinabstimmung und Inferenz – werden in den meisten Unternehmen vorwiegend cloudbasiert sein. Zu den Vorteilen zählen:
Kontinuierliche Daten-Governance ermöglicht die Einhaltung bestehender Anforderungen an die Datenherkunft und -verwaltung und gewährleistet so Compliance und Datensicherheit bei gleichzeitig geringerem Risiko.
Geringere Investitionsausgaben macht erhebliche Investitionen in die Anschaffung von GPUs überflüssig und senkt die Kosten für die Laufzeitverarbeitung.
Elastischer Ressourcenverbrauch bietet die Flexibilität, Ressourcen je nach Arbeitsauslastung nach oben oder unten zu skalieren und so die Betriebskosten zu optimieren. Dies ist von entscheidender Bedeutung, da 80 % der KI-Entwicklung darin bestehen, Daten aufzubereiten und Modelle zu verfeinern, bevor der Trainingslauf gestartet wird.
Verkürzte Bearbeitungszeit beschleunigt KI-Workflows um bis zu 40 %, wodurch die Agilität und die Zeit bis zur Erkenntnisgewinnung verbessert werden.
Nutzung öffentlicher und kommerzieller GenAI-Modelle
Qumulo ist sich bewusst, dass die meisten Unternehmen öffentliche oder kommerzielle GenAI-Modelle nutzen werden, anstatt eigene Modelle zu entwickeln. Um dies zu unterstützen, hat Qumulo Folgendes entwickelt:
Robuste API-Integration: Die Qumulo Cloud Data Platform bietet robuste APIs, die sich mit cloudbasierten KI-Diensten verbinden lassen, darunter große Sprachmodelle (LLMs) und KI-/ML-Entwicklungstools, die heute von großen Cloud-Anbietern wie Microsoft und AWS bereitgestellt werden.
Sicherer Umgang mit Daten: Durch den Einsatz von Techniken wie Retrieval-Augmented Generation (RAG) Mit geeigneten Richtlinien zur Datenverwaltung können Unternehmen öffentliche oder offene LLMs nutzen und gleichzeitig sicherstellen, dass ihre Daten nicht in zukünftigen Trainingsdatensätzen verwendet werden, wodurch der Datenschutz und der Schutz des geistigen Eigentums gewahrt bleiben.
Fazit
Die Qumulo Cloud Data Platform bietet eine robuste Lösung zur Beschleunigung von KI-Daten-Workflows in der Public Cloud. Durch die Vereinheitlichung von On-Premise- und Cloud-Umgebungen mittels der „Global Data Fabric“ bewältigt Qumulo die Herausforderungen des Datenmanagements und der Datenübertragung in großem Maßstab. Unternehmen können erhebliche Leistungssteigerungen und Kosteneinsparungen erzielen und gleichzeitig die Einhaltung von Data-Governance-Standards gewährleisten. Darüber hinaus ermöglicht Qumulo durch die Erleichterung der Integration mit öffentlichen GenAI-Modellen bei gleichzeitiger Gewährleistung des Datenschutzes Unternehmen, KI-Technologien effektiv zu nutzen, ohne die Sicherheit zu gefährden oder unnötige Kosten zu verursachen.
Wichtigste Vorteile
Flexibel: Es erfüllt die Anforderungen an Leistung, Kapazität und Sicherheit über den gesamten Lebenszyklus von KI-Daten hinweg – Datenerfassung, Datentransformation und Datenladung – und ermöglicht so eine nahtlose End-to-End-Datenpipeline.
Leistung: Schnellere Datenladezeiten verbessern die Ausführungszeit der GPU und die Wirtschaftlichkeit.
Grenzenlos: Ermöglicht einen nahtlosen, sicheren Datenzugriff zwischen öffentlichen und privaten Clouds sowie zwischen Organisationen, um bahnbrechende Geschäfts- und Forschungsmöglichkeiten zu erschließen.
Kosteneffizienz: Bis zu 90 % Ersparnis bei den S3-API-Gebühren; ermöglicht den Einsatz kostengünstigerer GPU-Instanzen ohne lokales NVMe.
Skalierbarkeit: Flexible Nutzung von GPU-Ressourcen
Daten-Governance: Gewährleistet die Einhaltung bestehender Anforderungen hinsichtlich Datenherkunft und Compliance.
Datendauerhaftigkeit: Die Multi-AZ-Unterstützung und die parallele S3-Erasure-Codierung verbessern die legendäre Langlebigkeit von AWS S3 noch weiter
Sicherheit: Verhindert durch sichere API-Integrationen, dass Unternehmensdaten für das Training externer Modelle verwendet werden.
Durch den Einsatz der Qumulo Cloud Data Platform erhalten Unternehmen die notwendigen Werkzeuge an die Hand, um die Anforderungen moderner KI-Workloads effizient und sicher zu bewältigen. So können sie sich an der Spitze der KI-Innovation positionieren, sich Wettbewerbsvorteile sichern und transformative Geschäftsmöglichkeiten erschließen.