Der High-Performance Computing (HPC)-Markt ist heute vielleicht der am schnellsten wachsende Sektor in der IT-Welt. Hyperion-Forschung prognostiziert, dass der HPC-Gesamtmarkt bis 44 2023 Mrd. USD erreichen wird, wobei speicherbezogene Investitionen 7.8 Mrd. USD davon ausmachen.
Drei Schlüsselpunkte aus der Forschung von Hyperion sind:
- Speichersysteme werden zunehmend kritischer;
- Cloud Computing für HPC-Workloads wird schnell wachsen;
- Künstliche Intelligenz (KI) wird schneller wachsen als alles andere.
Künstliche Intelligenz (KI) wächst schnell
Wie oben erwähnt, wächst die KI schnell. Basierend auf einem Bericht von Großartige Forschung, wird der Markt für künstliche Intelligenz von 57.2 bis 2017 mit einer CAGR von 2025 % wachsen (und 35.8 Mrd. USD erreichen). Das Analystenhaus sagt:
„Künstliche Intelligenz (KI) gilt als die nächste gewaltige technologische Entwicklung, ebenso wie vergangene Entwicklungen wie die Revolution der Industrien, das Computerzeitalter und das Aufkommen der Smartphone-Technologie.“ Grand View stellt auch fest, dass insbesondere Nordamerika den Einsatz von KI aufgrund „der Verfügbarkeit hoher staatlicher Mittel, der Präsenz führender Akteure und einer starken Technologiebasis“ voraussichtlich dominieren wird.
Der HPC-Markt umfasst viele Forschungsbereiche, darunter Biowissenschaften und Medizin, Klimaforschung, Erdbebenerkennung und Tektonik, automatisiertes Fahren, Physik und Astrophysik, Landwirtschaft und Energie.
Die beste Datenspeicherlösungen für Unternehmen für unstrukturierte Daten sind verteilte Dateisysteme, die in der Lage sind, riesige Datenmengen für HPC-Workloads zu verarbeiten, die oft aus Hunderten von Millionen oder Milliarden kleiner Datenpunkte bestehen, um wichtige Forschungsinformationen zu extrapolieren. Darüber hinaus tragen Innovationen im Internet der Dinge (IoT) dazu bei, diese Datenpunkte auf Rekordniveau zu erfassen. Die heute verwendeten Sensoren umfassen eine große Bandbreite elektronischer Geräte – von autonome Fahrzeuge und Smart Cities bis hin zur industriellen Fertigung und Lieferkette – streamen riesige Datenmengen in Echtzeit an zentralisierte Systeme zur Analyse.
Mit dem kontinuierlichen Wachstum von Technologien wie KI, maschinellem Lernen (ML) und 3D-Bildgebung werden die Größe und Menge der Daten, die Unternehmen verwalten und speichern müssen, weiterhin auf Petabyte-Ebene (und darüber hinaus) explodieren.
Bei der Entwicklung seines Scale-out-NAS der nächsten Generation hatte Qumulo mehrere wichtige Ziele im Auge, um die HPC-spezifischen Anforderungen zu erfüllen
Speichersysteme werden immer wichtiger, da Unternehmen mit dem schnellen Datenwachstum und der Expansion Schritt halten müssen, indem sie einfach und ohne Unterbrechung skalieren, wann und wo immer sie benötigt werden. Das verteilte Dateisystem von Qumulo — Qumulo Core – nutzt eine knotenbasierte Architektur, die es Unternehmen ermöglicht, sowohl Leistung als auch Kapazität zu skalieren – und zwar über lokale und Cloud-Umgebungen hinweg. Die softwaredefinierte Speicherarchitektur von Qumulo verwendet Cluster von Knoten, die aus Qumulo-Hardware oder vorqualifizierter Industriestandard-Hardware von Qumulo bestehen HPE or Fujitsu, das mehrere Plattformoptionen bietet, darunter All-NVMe, aktives Archiv und Cloud und mehr.
In einer HPC-Umgebung, in der die Bereitstellung kritischer Analysen und Ergebnisse von größter Bedeutung ist, sind HPC-Workloads unglaublich abhängig von ihrem Speichersystem
Um die Leistungsanforderungen von HPC-Workloads zu erfüllen, liefert die All-NVMe-Plattform von Qumulo branchenführende IOPS mit extrem niedriger Latenz, was in HPC-Umgebungen besonders wertvoll ist. Latenz ist ebenso wichtig wie IOPs für HPC-Umgebungen, damit das System eine große Anzahl von Transaktionen schnell verarbeiten kann.
Das Dateisystem von Qumulo wurde dafür entwickelt Behandeln Sie kleine Dateien genauso effizient wie große Dateien. Dadurch werden die Größenbeschränkungen von „Block“, die mit anderen angewendet wurden, aufgehoben Scale-out-NAS-Lösungen. Um die Leistung zu verbessern, verwenden viele Dateisysteme größere Blockgrößen, was für große Dateien in Ordnung, aber für kleine Dateien sehr ineffizient ist, da jeder Block nur eine Datei enthalten kann. Dies führt möglicherweise zu einer enormen Kapazitätsverschwendung … kein Problem für Qumulo!
Wie oben erwähnt, Optionen für Cloud-Computing werden immer wichtiger. Aufgrund der wachsenden Größe von Datensätzen und der rechenintensiven Natur von KI und ML nutzen Unternehmen die Vorteile der Cloud. Durch die Verwendung der einzigen Plattform von Qumulo können Unternehmen Workloads nach Bedarf nahtlos auf AWS- oder GCP-Cloud-Umgebungen skalieren, um Rechenleistung zu verarbeiten, die Zusammenarbeit zu verbessern und Daten zu speichern.
Die Bedeutung des Datenschutzes in HPC-Umgebungen
Datenschutz und Verfügbarkeit sind auch in dieser Branche wichtig. Qumulo bietet branchenführender Datenschutz Löschcodierung verwenden. Daten werden effizient auf mehrere Knoten verteilt, um vor Laufwerksausfällen zu schützen. Im Falle eines Laufwerksausfalls wird die Leistung im Gegensatz zu herkömmlichen RAID-Lösungen während der Wiederherstellung nicht beeinträchtigt. Löschcodierung erfordert auch weniger Kapazität (in der Regel 33 % weniger Speicherplatz) für Ausfallsicherheit als RAID.
Darüber hinaus enthält die Software von Qumulo Echtzeitanalysen zur Beseitigung von Datenblindheit, die sofortige Transparenz über Milliarden von Dateien bietet. Mit dieser wertvollen Technologie gewinnen Unternehmen die Kontrolle mit Echtzeitinformationen über das gesamte Speichersystem, die es ihnen ermöglichen, Nutzungs- und Kapazitätstrends vorherzusagen und aktuelle und zukünftige Speicheranforderungen proaktiver zu verwalten.
Die verteilte Dateisystemsoftware von Qumulo wurde von Grund auf so konzipiert, dass sie die heutigen Anforderungen an die Skalierung erfüllt und das leistungsstärkste Dateispeichersystem für Rechenzentren und die öffentliche Cloud bietet
Daten haben sich geändert. Warum also weiterhin Speichertechnologie verwenden, die vor zwanzig Jahren entwickelt wurde, wenn es heute moderne Dateispeichertechnologie gibt, die ideal für die anspruchsvollen Anforderungen von HPC ausgelegt ist? Qumulo ist das einzige dateibasierte Scale-out-NAS, das robuste Funktionen vor Ort und in der Cloud bietet – und die radikal einfache Möglichkeit, unstrukturierte Daten in jeder Umgebung zu verwalten.
Strom Qumulo-Kunden in der HPC-Branche, von denen viele in den Bereichen Biowissenschaften und wissenschaftliche Forschung tätig sind, umfassen: Nationales Labor für erneuerbare Energien (NREL), Carnegie Institution for Science, CID Research, Channing Division of Network Medicine am Brigham and Women’s Hospital, DarwinHealth, Inc., Georgia Cancer Center an der Augusta University, Institute for Health Metrics and Evaluation (IHME) an der University of Washington, Johns Hopkins Genomics an der Johns Hopkins University, Progenity, Inc., UConn Health, University of Utah Scientific Computing and Imaging (SCI) Institute … und vielen anderen, die Qumulo verwenden, um ihre datenintensiven Arbeitsabläufe zu beschleunigen und die Entdeckung neuer wissenschaftlicher und medizinischer Durchbrüche zu beschleunigen.
