Sie stecken gerade mitten in der Planung Ihrer nächsten KI-/ML-Lösung. Haben Sie bereits alle Entscheidungen bezüglich der Speicherung getroffen? Vor Ort oder in der Cloud? Objekt- oder Dateispeicher? Wo werden Sie Ihre KI-/ML-Lösungen ausführen?
Übrigens, bevor ich anfange, muss ich mir etwas von der Seele reden. Ich hasse den Begriff künstliche Intelligenz. Im Ernst, KI ist weniger intelligent als ein Türknauf! Es handelt sich lediglich um Mathematik und Statistik, bei denen einfach gigantische Datenmengen stündlich auf mehr Recheneinheiten verarbeitet werden, als es vor wenigen Jahrzehnten weltweit gab.
Hier ist ein toller Artikel über Was passiert WIRKLICH hinter den Kulissen bei ChatGPT?. Ich hasse den Begriff „KI“ so sehr, dass ich in diesem Beitrag stattdessen „ML“ verwenden werde.
Okay, genug der Predigt. Reden wir darüber, warum Speicher für KI – ich meine ML – so wichtig ist …
Bei ML dreht sich alles um Daten. Man muss sie nur finden!
Die Daten, auf denen ML-Workloads basieren, sind überall. Das Gleiche gilt für den Bedarf an ML-Lösungen. Hier einige Beispiele (alle aus den realen Arbeitsabläufen unserer Kunden):
Fabriken. Überall installierte Kameras erfassen in automatisierten Fertigungsprozessen alle Arten von Informationen in Echtzeit. All diese Daten werden kontinuierlich auf lokalen Speichermedien gesammelt.
Die Daten aus allen Fertigungslinien werden zentralisiert (in der Cloud oder vor Ort) und dienen als Grundlage für das Training von Modellen zur Automatisierung der Fehlererkennung. ML-Lösungen in jedem Werk sowie die daraus resultierenden Inferenzmodelle tragen zur Verbesserung der Ausbeute bei.
Übrigens: Wir haben Kunden, die Qumulo genau in diesem Arbeitsablauf einsetzen!
Selbstfahrende Fahrzeuge. Es werden kontinuierlich hochauflösende Multispektrum-Videoaufnahmen der realen Welt erfasst – zunächst von Hunderten von Testfahrzeugen, dann von Tausenden von Versuchsfahrzeugen und schließlich von Millionen von Serienfahrzeugen.
Das Auto sendet diese Videos über dein WLAN an die Zentrale zurück (Tesla, ich meine dich!). Die oben genannten Daten dienen als Grundlage für das Training der Modelle, um Fahrer zu unterstützen, den Autopiloten zu ermöglichen und selbstfahrende Autos Wirklichkeit werden zu lassen.
Die aus den oben genannten Modellen abgeleiteten Inferenzmodelle werden von Inferenz-Engines in den Fahrzeugen ausgeführt, um Echtzeitdaten zu verarbeiten.
Und ja, auch in diesem Arbeitsablauf nutzen einige unserer Kunden Qumulo!
ML-gestützte Sicherheit: Hunderttausende Netzwerkgeräte erzeugen Aktivitätsprotokolle, die lokal konsolidiert und aggregiert werden (entweder in der Cloud, vor Ort oder beides). Daraus entsteht der Trainingsdatensatz für Modelle zur Erkennung unbefugter Netzwerkzugriffe.
Moderne Netzwerkgeräte nutzen diese Inferenzmodelle, um in Echtzeit beobachtete Ereignisse zu analysieren und so unbefugte Zugriffe zu erkennen.
Ihr habt es erraten: Das machen unsere Kunden heute tatsächlich!
Erkennen Sie den roten Faden? Es handelt sich um einen „überall“ verfügbaren Workflow – vom Netzwerkrand über den Kern bis hin zu öffentlichen Clouds.
Entscheidungen, Entscheidungen, Entscheidungen
Wie sieht es mit der ML-Lösung aus? du an arbeiten? Wie bei diesen Anwendungsfällen müssen Sie eine Reihe wichtiger Entscheidungen darüber treffen, wo und wie Sie Ihre Modelle erstellen. Lassen Sie mich das erklären …
Edge, Core oder Cloud? Wo werden Ihre Daten gespeichert? Wo wird das Modell gespeichert? Wo wird die Lösung gespeichert? Die Cloud-Befürworter bestehen darauf, dass dies in der Cloud geschieht (und immer so bleiben wird). Und ja, sie sind voreingenommen, aber sie haben auch ein gutes Argument.
Welche Organisation kann denn überhaupt mit der Infrastruktur Schritt halten, die für den Einsatz von LLMs erforderlich ist, wenn sich praktisch der gesamte Stack wöchentlich ändert? Ich habe mit vielen Organisationen gesprochen, die sagen, dass ML der ausschlaggebende Faktor in ihrer internen Debatte zwischen Cloud und On-Premises-Lösungen war.
Doch bevor wir „Game over“ sagen, möchte ich noch auf einen interessanten Trend hinweisen. Ich spreche mit vielen Kunden, die Hunderte Millionen Dollar ausgeben jedes Quartal in der Cloud und die ihre stabilen Workloads wieder in die eigene Infrastruktur zurückverlagern. Warum? Sie sind der Meinung, dass für eine ausgereift Eine ML-Lösung vor Ort bietet eine stabilere und kostenoptimierte Lösung.
Mit anderen Worten: Schnelle Experimente und eine frühzeitige Operationalisierung finden in der Cloud statt, während ausgereifte ML-Lösungen in eigenen und selbst betriebenen Rechenzentren mehr Stabilität und eine bessere Wirtschaftlichkeit bieten. Aber das ist nur eine Möglichkeit …
Objekt oder Datei? Bevor Sie antworten, bedenken Sie Folgendes: Die Cloud eignet sich hervorragend für die Objektspeicherung, ist jedoch bei Dateidaten völlig ungeeignet. Und lokale Lösungen eignen sich sehr gut für Dateidaten, sind aber bei Objekten völlig ungeeignet. Und wir haben gerade besprochen, dass Sie wahrscheinlich sowohl die Cloud als auch lokale Lösungen benötigen werden. Was eignet sich besser für ML? Nun … es ist kompliziert.
Einerseits sind die meisten LLMs Open-Source und erwarten den Zugriff auf Daten über eine lokale Speicherschnittstelle. Das ist ein Problem für die Cloud, wo man maßgeschneiderte Datenlader erstellen muss, die Daten von Objekten auf lokale Festplatten (an die Instanz angeschlossene NVMe- oder EBS-/Managed Disks) kopieren, bevor diese datenhungrigen GPUs mit Daten versorgt werden können. Schauen Sie sich an, was Google GCP sagt dazu Folgendes:
„Wenn es jedoch darum geht, dass eine KI-Anwendung tatsächlich auf [KI-]Daten zugreift, ist dies nicht immer ganz einfach, da die meisten KI-Anwendungen eine Dateisystem-Semantik erfordern und nicht die Objektsemantik, die Cloud Storage bietet.“
Was tun?
So viele Fragen! On-Premise oder Cloud für Ihre KI-/ML-Workloads? Datei- oder Objektspeicher als Repository für die Daten, die Ihre LLMs antreiben? Wie werden Sie Daten aus verschiedenen Standorten zusammenführen und über den gesamten Lebenszyklus hinweg verwalten? Die Entscheidungen, die Sie treffen, beeinflussen, welche Speicherlösung für Sie am besten geeignet ist – Dell, VAST oder NetApp.
Oder … Tun sie das??
Wir stellen Ihnen „Scale Anywhere™“ von Qumulo vor, eine zu 100 % softwarebasierte Lösung für die Speicherung und Verwaltung unstrukturierter Daten. Benötigen Sie eine Lösung für Ihr Kern-Rechenzentrum? Public Cloud? Kein Problem. Dateien? Kein Problem. Objekte? Kein Problem. Treffen Sie beliebige ML-Entscheidungen – wir sorgen einfach dafür, dass ist mir egal. Qumulo läuft überall dort, wo Sie uns brauchen.
Wir haben Kunden, die sowohl vor Ort auf verschiedenen Speicherserver-Hardwareplattformen als auch in mehreren öffentlichen Clouds tätig sind. Das Schöne daran ist, dass ihre auf Qumulo basierenden Workloads für unstrukturierte Daten über all diese Plattformen hinweg vereinheitlicht sind.
Ich habe ständig mit Kunden zu tun und bekomme dazu viel positives Feedback. Das ist für mich etwas Neues im Vergleich zu anderen Unternehmen, bei denen ich gearbeitet habe, aber ich habe mich schnell daran gewöhnt!
Mit „Scale Anywhere™“ von Qumulo lassen sich ML-Entscheidungen ganz entspannt angehen.
Die Implementierung von ML erfordert viele schwierige Entscheidungen. Die Wahl der richtigen Speicherplattform gehört jedoch nicht dazu. Probieren Sie Scale Anywhere™ mit Qumulo aus, und Sie können alle Ihre ML-Workloads verwalten – ganz gleich, welche Entscheidungen Sie treffen …
Edge, Core oder Cloud
Datei oder Objekt
Zur Erfassung, Zusammenführung und Aufbereitung von Trainingsdaten
Oder … damit Sie Ihre Inferenzmodelle auf Ihre verteilte Edge-Infrastruktur ausweiten können
Qumulo ist die einfachste Lösung für maschinelles Lernen.