Azure Native Qumulo jetzt in der EU, im Vereinigten Königreich und in Kanada verfügbar – Erfahren Sie mehr

Was bei der Bewertung von Enterprise-Datenspeicherlösungen zu beachten ist

Geschrieben von:
Evaluieren Sie Enterprise-Datenspeicherlösungen? In diesem Artikel geben wir einen Überblick über die heute verfügbaren Datenspeicheroptionen.

In dieser 4-teiligen Serie zum Thema Evaluieren Datenspeicherlösungen für Unternehmen, geben wir Ihnen einen Überblick über die heute verfügbaren Speicheroptionen, vergleichen diese Lösungen und helfen Ihnen bei der Auswahl einer idealen Speicherlösung basierend auf den Datentypen, die Ihr Unternehmen speichert. Darüber hinaus hilft Ihnen diese Serie bei der Bestimmung, ob eine skalierbare NAS-Lösung (Network Attached Storage) der beste Weg für Ihr Unternehmen ist – mit konkreten Beispielen aus der Praxis, denen Unternehmen, die High-Performance Computing (HPC) benötigen, innerhalb von Datenlebenszyklen begegnen und wie Sie transformierten Daten von einem Rohzustand in einen nützlichen Zustand.

Wie effizient ist Ihr Unternehmensdatenmanagement?

Die Aufrechterhaltung einer Enterprise-IT-Architektur ist wie der Besitz eines alten Autos, das ständig in der Werkstatt steht: Die zusätzlichen Kosten summieren sich und die verbrauchten Ressourcen könnten für eine bessere Rendite in ein neueres Modell investiert werden. Auch wenn Sie ein IT-Systemadministrator sind, der auf Speichertechnologie beschränkt ist, die auf monolithischer, proprietärer Hardware basiert, die ineffizient, kostspielig und schwer zu verwalten ist, kann es sein, dass Sie Schwierigkeiten haben, nicht nur aufzuholen, sondern auch Datentransformationsinitiativen zu unterstützen.

Wenn Sie auf der Suche nach einer skalierbaren Datenspeicherlösung für Unternehmen sind, müssen Sie unbedingt wissen, ob der von Ihnen gewählte Speicher für die Arbeit mit Daten und Anwendungen in seiner nativen Form ausgelegt ist. Wir werden dies im Folgenden genauer behandeln und einige der wichtigsten Überlegungen bei der Bewertung Ihrer HPC-Workflows skizzieren. Alles in allem hilft Ihnen dies bei der Auswahl einer Lösung, die den heutigen und zukünftigen Anforderungen Ihres Unternehmens am besten entspricht.

Bewerten Sie Ihre Hochleistungs-Computing-Workflows

Die meisten Daten stammen aus Dateien, die direkt von nativen Anwendungen oder gemounteten Dateisystemen erstellt und darauf zugegriffen werden. Die native Arbeit mit diesen Dateidaten bedeutet, dass Sie über Industriestandardprotokolle wie Network File System (NFS), Server Message Block (SMB) oder Direct File System Pass (Block).

Daten, die in ihrem nativen Format gespeichert sind, gelten als unstrukturierte Daten, d. h. ihnen fehlt ein vordefiniertes Datenmodell oder Schema und sie können nicht in einer herkömmlichen relationalen Datenbank gespeichert werden (dazu später mehr). Da diese Art von unorganisierten Daten nicht einfach in einer Reihe von Tabellen mit Spalten und Zeilen gespeichert werden können, haben Unternehmen aufgrund der komplexen und zeitaufwändige Datenanalyseprozesse, die für die Gewinnung wertvoller Erkenntnisse erforderlich sind.

Analysten von Gartner schätzen, dass unstrukturierte Daten machen erstaunliche 80 bis 90 % aus aller neuen Unternehmensdaten. Das mag überraschend klingen, aber in Wirklichkeit bestehen Unternehmensdaten seit Jahrzehnten überwiegend aus unstrukturierten Daten. Tatsächlich im Jahr 1998 Merrill Lynch behauptete, „Unstrukturierte Daten umfassen die überwiegende Mehrheit der in einer Organisation gefundenen Daten, einige Schätzungen gehen von bis zu 80 % aus.“ Lynch machte im Wesentlichen die Behauptung, dass als Volumen der weltweiten Datenerstellung von Jahr zu Jahr weiter wächst, desto wichtiger werden hochskalierbare Enterprise Data Management Lösungen, die diese Daten effektiv und sinnvoll nutzen können.

Diese „Explosion unstrukturierter Daten“ wird von Videokameras, Aufnahmegeräten, Satelliten, Sensoren, Genomdaten, Luftbildern und anderen IoT-verbundenen Technologien erzeugt – und stellt eine potenzielle Goldgrube an Erkenntnissen dar.

Nutzen Sie Ihre Daten in ihrer nativen Form?

Erfolgreiche Unternehmen speichern, verwalten und erstellen High-Performance Computing (HPC)-Workflows und -Anwendungen mit Dateidaten in ihrer nativen Form mit Cloud-Objektspeichern (wie Amazon S3 und Microsoft Azure) – und diese Daten in Werte umzuwandeln. Diese Innovatoren nutzen und verwalten Daten in all ihren Formen, um neue Geschäftsmodelle, medizinische Behandlungen, Konsumgüter, Business-Intelligence-Tools und digitale Medien zu entwickeln.

 

HPC-Workflow

Können Sie Ihre unstrukturierten Daten verfolgen und verwalten?

Für viele HPC-Unternehmen, die Legacy-Speicher und Cloud-native Anwendungen nutzen, ist die Aufgabe der Verarbeitung, Verwaltung und Umwandlung unstrukturierter Daten von einer Datei in ein Objekt eine große Herausforderung. Die meisten Technologien sind nicht darauf ausgelegt, dieses Problem zu lösen, was bedeutet, dass Unternehmen ihre Architektur neu aufbauen, Anwendungen umgestalten oder Datenverschiebungspakete von Drittanbietern verwenden müssen, um Wert aus ihren Daten zu generieren – in vielen Fällen führt dies zu riesigen Datensilos mit geringer Transparenz dieser Daten . Darüber hinaus sind Unternehmen häufig nur auf bestimmte Protokolle beschränkt, die für bestimmte Anwendungen oder Endbenutzer möglicherweise nicht unterstützt oder nicht geeignet sind. Das schwierige Ergebnis für viele führende Unternehmen auf der ganzen Welt ist, dass diese wertvollen Daten nie verwendet werden, ineffizient auf sie zugegriffen wird und sie oft nur unzureichend verstanden werden.

In einem 2019 NewVantage Partners' Umfrage zu Big Data und KI-Führungskräften, bestehend aus 64 C-Level-Technologie- und Unternehmensführungskräften, die sehr große Unternehmen repräsentieren, geben 53 % der Umfrageteilnehmer an, dass „sie Daten noch nicht als geschäftliches Gut behandeln“. Diese alarmierenden Ergebnisse kommen, obwohl 92 % der Befragten angeben, dass sich das Tempo ihrer Investitionen in Big Data und künstliche Intelligenz (KI) beschleunigt.

Bewerten Sie Ihre spezifischen Anforderungen an die Datenspeicherung Ihres Unternehmens

Unternehmen, die große Datasets in HPC-Umgebungen mit unstrukturierten Daten ermöglichen müssen, bedeutet, dass die Fähigkeit zur Verarbeitung und Bereitstellung von Daten Teil ihres Geschäfts ist. Aus diesem Grund ist es bei der Erwägung einer optimalen Datenspeicherlösung für Unternehmen wichtig zu bewerten, ob sie Ihre Kapazitäts-, Leistungs-, Datenintegritäts- und Scale-out-Anforderungen erfüllt, die für die Verarbeitung von Daten und für potenziell dichte und leistungsstarke Workflows erforderlich sind.

Evaluieren Sie Enterprise-Datenspeicherlösungen, die sich ideal für Ihre HPC-Workflows eignen

Eine optimale Unternehmensdatenspeicherlösung sollte die erforderliche Infrastruktur bereitstellen, um HPC-Ressourcen in ihren Arbeitsabläufen zu nutzen. nach a Forbes-Umfrage, müssen mehr als 95 % der Unternehmen unstrukturierte Daten verwalten, und bis 150 müssen mehr als 2025 Billionen Gigabyte an Daten analysiert werden – was bedeutet, dass Dateispeicherung wichtiger denn je wird. 

Qumulo kostenlos testen

Effizientes unstrukturiertes Datenmanagement

Da unstrukturierte Daten vor allem neue Daten darstellen, die täglich neu erstellt werden, werden ihre Ergebnisse wahrscheinlich umso erfolgreicher sein, je effizienter HPC-Unternehmen diese Daten konsolidieren, verarbeiten und nutzen können. Es überrascht daher nicht, dass eine ideale Datenspeicherlösung für Unternehmen für die native Arbeit mit dieser Art von Daten ausgelegt ist.

Objektspeicher vs. Dateispeicher

Im modernen Cloud-Zeitalter steht Objektspeicher für viele Unternehmen im Vordergrund, aber die meisten Daten werden als Dateien erstellt und verwendet. Objektspeicher ist eine Architektur, die Daten als Objekte verwaltet, im Gegensatz zu einer Speicherarchitektur wie einem Dateisystem. Dateispeicher ist ein Format oder Programm zum Speichern und Verwalten von Daten als Dateihierarchie, in dem Dateien in einer Verzeichnisstruktur identifizierbar sind (im Allgemeinen als hierarchische Baumstruktur angezeigt).

Dateisysteme bieten die grundlegende Abstraktion der Hierarchie, die es Computern und Menschen ermöglicht, mit semantisch interessanten Gruppierungen von Daten zu arbeiten. Sicher, Benutzer von Unternehmensdatenspeichern schätzen es, einen großen Speicherbehälter zu haben. Objektspeichersysteme stellen jedoch eine Vielzahl unvorhergesehener Probleme der nächsten Generation dar; zum Beispiel ist Objektspeicher nicht so leistungsfähig.

Holen Sie sich den Leitfaden: Laden Sie das Enterprise Data Storage Playbook herunter

Bewerten Sie Ihre Anforderungen an das Management unstrukturierter Daten

Die Verarbeitung von Daten im Petabyte-Bereich erfordert die richtige Unternehmensdatenspeicherlösung basierend auf der Art der zu analysierenden Daten. Um beispielsweise unstrukturierte Daten, die in der Cloud und lokal vorhanden sind, zu verarbeiten und zu analysieren, benötigen Unternehmen eine Dateidatenplattform, die den Anforderungen einer hybriden Speicherinfrastruktur gerecht wird und gleichzeitig Analysen und Erkenntnisse in Echtzeit bietet. Bei der Bewertung von Speichertypen für Unternehmensdaten ist es wichtiger denn je, die Lösung auszuwählen, die den heutigen und zukünftigen Anforderungen Ihres Unternehmens am besten entspricht.

Richten Sie Ihre HPC-Workflows mit einer modernen Enterprise-Speicherlösung aus

Moderne Enterprise-Datenspeicherlösung

 

Legacy-Dateispeichersysteme

Legacy-Dateispeichersysteme basieren auf einem Blockgerät als Abstraktionsebene für die Hardware, die für das Speichern und Abrufen gewünschter Datenblöcke verantwortlich ist; die Blockgröße in einem Dateisystem kann jedoch ein Vielfaches der physischen Blockgröße betragen. Dies führt zu einem Mangel an Skalierbarkeit und Platzineffizienz aufgrund interner Fragmentierung, da Dateilängen oft keine ganzzahligen Vielfachen der Blockgröße sind; so kann der letzte Block einer Datei teilweise leer bleiben. Dies führt zu einer Fragmentierung, bei der Speicherplatz ineffizient genutzt wird, wodurch Kapazität und Leistung reduziert werden.  

Legacy-Objektspeichersysteme

Einige Unternehmen versuchen, dies zu übernehmen Legacy-Objektspeichersysteme als Lösung für die Herausforderungen der Skalierung und Geoverteilung von unstrukturierten Daten. Der Einsatz von Object Storage in Anwendungsfällen, für die er nie gedacht war, ist jedoch technisch schlecht geeignet. Um dies zu erreichen, speichert object absichtlich Kompromissfunktionen, die viele Benutzer benötigen und erwarten: Transaktionskonsistenz, Änderung von Dateien, feingranulare Zugriffskontrolle und Verwendung von Standardprotokollen wie NFS und SMB, um nur einige zu nennen. Die Objektspeicherung lässt auch das Problem der Organisation von Daten intakt; Stattdessen werden Benutzer dazu ermutigt, die Daten selbst in einer Art externer Datenbank zu indizieren. Dies mag für den Speicherbedarf von eigenständigen Anwendungen ausreichen, erschwert jedoch die Zusammenarbeit zwischen Anwendungen und zwischen Menschen und diesen Anwendungen.

In der Verzeichnisstruktur von Unternehmensdateisystemen ist überraschend viel wertvolle Geschäftslogik kodiert. Daher bleibt die Notwendigkeit einer Dateispeicherung in großem Maßstab zwingend.

Moderne HPC-Workflows

Moderne HPC-Workflows handelt es sich fast immer um Anwendungen, die unabhängig voneinander entwickelt wurden, aber durch den Austausch dateibasierter Daten zusammenarbeiten, ein Interop-Szenario, das mit Objektspeicher einfach nicht möglich ist. Darüber hinaus bieten Objektspeicher nicht die Vorteile eines Dateisystems für die Governance. 

Moderne Dateispeichersysteme

Moderne Dateispeichersysteme sowie Qumulo Core, versuchte dieses Problem durch eine Technik namens . zu lösen Skalierbarer Blockspeicher (SBS). Das Qumulo-Dateisystem basiert auf dem SBS, einer virtualisierten Blockschicht, die die Prinzipien massiv skalierbarer verteilter Datenbanken nutzt und für die speziellen Anforderungen dateibasierter Daten optimiert ist.

Aus Sicht des Blockspeichers ist das SBS die Blockschicht des Qumulo-Dateisystems und seines zugrunde liegenden Mechanismus zum Speichern von Daten, wodurch das Dateisystem entsteht massive Skalierbarkeit, optimierte Leistung und Datenschutz. Zeitaufwändige Arbeiten wie Schutz, Neuaufbau und Entscheidung, welche Festplatten welche Daten enthalten, finden in der SBS-Schicht unter dem Dateisystem statt. Auf diese Weise können unstrukturierte Datendateien in ein hierarchisches Dateisystemtyp-Layout extrahiert werden, das das Beste aus der Dateisystemarchitektur und der Blockspeicherarchitektur kombiniert. 

Die virtualisierte geschützte Blockfunktionalität von SBS ist ein großer Vorteil für das Qumulo-Dateisystem. Da das Qumulo-Dateisystem blockbasierten Schutz verwendet, sind kleine Dateien genauso effizient wie große Dateien. Das Ergebnis ist ein Dateisystem mit unübertroffenen Skalierungseigenschaften. Im Gegensatz dazu wurden Legacy-Speichergeräte einfach nicht dafür entwickelt, den enormen Umfang des heutigen Daten-Footprints zu bewältigen, der eine ineffiziente Spiegelung für kleine Dateien und System-Metadaten verwendet. 

Ist Scale-Out Network Attached Storage (NAS) die Zukunft des Enterprise Data Storage Management (EDM)?

Herkömmliche Scale-up- und Scale-out-Dateisysteme sind nicht in der Lage, die aufkommenden Anforderungen an die Verwaltung von Speicher vor Ort und in der Cloud im großen Maßstab zu erfüllen. Die Ingenieure, die sie vor 20 Jahren entwickelt haben, hätten nie die Anzahl von Dateien und Verzeichnissen und unterschiedlichen Dateigrößen erwartet, die moderne Workloads charakterisieren. Sie konnten auch Cloud Computing nicht vorhersehen.

Der Aufstieg unstrukturierter Daten

Unternehmen verlassen sich zunehmend auf unstrukturiertes Datenspeichermanagement (EDM) für Regulierung, Analysen und Entscheidungsfindung. Unstrukturierte Daten sind das Rückgrat von Analytics, Machine Learning und Business Intelligence. 

Enterprise Data Management (EDM) erfordert Skalierbarkeit

Unternehmen, die aktivieren müssen grosse Datensätze in HPC-Umgebungen mit unstrukturierten Daten bedeutet, dass die Fähigkeit, Daten zu verarbeiten und bereitzustellen, Teil ihres Geschäfts ist. Aus diesem Grund suchen IT-Systeme und Speicheradministratoren von Unternehmen nach einer Lösung, die darauf ausgelegt ist, nativ mit dieser Art von Daten zu arbeiten. Die ideale Speicherlösung dafür erfüllt ihre Kapazitäts-, Leistungs-, Datenintegritäts- und Scale-out-Anforderungen, die erforderlich sind, um Daten zu verarbeiten und potenziell dichte und hochleistungsfähige Workflows zu bedienen. 

Skalierbare Enterprise-Datenspeicherlösungen mit Scale-Out-NAS

Qumulo wurde 2012 gegründet, als die Krise der Dateispeicherung ihren Wendepunkt erreichte. Eine Gruppe von Speicherpionieren, die Erfinder von Scale-out-NAS, hat sich zusammengetan und ein Speicherunternehmen der anderen Art gegründet, das sich diesen neuen Anforderungen energisch stellt. Das Ergebnis ihrer Arbeit und des von ihnen zusammengestellten Teams ist Qumulo, das das weltweit erste unternehmenserprobte hybride Cloud-Dateispeichersystem entwickelt hat, das das Rechenzentrum, die privaten Clouds und die öffentlichen Clouds umfasst. Es lässt sich auf Milliarden von Dateien skalieren, kostet weniger und hat niedrigere Gesamtbetriebskosten (TCO) als herkömmliche Speicherlösungen. Echtzeitanalysen ermöglichen Administratoren den einfachen Zugriff auf und die Verwaltung von Daten unabhängig von Größe oder Standort. Die kontinuierliche Replikation von Qumulo ermöglicht es, dass Daten dorthin verschoben werden, wo sie benötigt werden, wenn sie benötigt werden. B. zwischen lokalen und in der Cloud ausgeführten Clustern oder zwischen Clustern, die auf verschiedenen Cloud-Instanzen ausgeführt werden.

Auswahl der richtigen Enterprise-Datenspeicherlösung

Mit diesem kurzen Überblick darüber, wie Sie Datenspeicherlösungen für Unternehmen bewerten und diese Lösungen vergleichen, sollten Sie nun ein besseres Verständnis dafür haben, wie Sie eine ideale Datenspeicherlösung basierend auf den Datentypen auswählen, die Ihr Unternehmen speichert. Weitere Einblicke finden Sie in Teil 2 dieser Serie, in dem wir einen gründlicheren Vergleich der verschiedenen Datenspeichertypen bieten: Blockspeicher vs. Objektspeicher vs. Dateispeicher.

Dieser Artikel ist nur der erste in einer 4-teiligen Serie über Warum Unternehmen bei der Bewertung von Enterprise-Datenspeicherlösungen Dateidaten berücksichtigen sollten—und hat bei diesen wichtigen Überlegungen nur an der Oberfläche gekratzt. Um mehr zu lernen, Laden Sie unser neues Enterprise Playbook herunter für unseren umfassendsten Leitfaden zur Auswahl der richtigen Datenspeicherlösung, um die Explosion unstrukturierter Daten zu bewältigen.

Bleiben Sie dran!

Bleiben Sie dran für die Teile 3 und 4 dieser Serie, in denen wir ältere und moderne Dateispeichersysteme bewerten und vergleichen und dann diskutieren, wie die Qumulo Scalable Block Store (SBS) hat die Datenspeicherbranche für Unternehmen mit einem hochmodernen Dateispeichersystem revolutioniert, das massive Skalierbarkeit, optimierte Leistung und Datenschutz bietet.

Verwandte Artikel

Nach oben scrollen