Speichereffizienz mit Qumulo
Wenn Qumulo Ihnen die nutzbare Kapazität Ihres Speichersystems mitteilt, meinen wir genau das: Dies ist die Kapazität, die Sie zum Speichern von Dateien verwenden können. Es scheint einfach, aber dies ist eine Aussage, die viele Konkurrenten nicht machen können. In Anbetracht der Ineffizienz herkömmlicher Datenschutzmethoden und der Leistungsprobleme, die bei voller Auslastung auftreten können, lassen die meisten Speicheranbieter sogar bis zu 30 Prozent Ihrer Kapazität ungenutzt. In einer Welt, in der Sie alle Ihre Daten zur Hand haben müssen, ist das ein großes Defizit.
Wir möchten Ihnen erklären, wie Sie sich mit Qumulo auf Ihre gesamte nutzbare Kapazität für Dateien verlassen können – selbst im Petabyte-Bereich – ohne Einbußen bei Leistung oder Datenschutz. Dies gilt unabhängig davon, wie viele Dateien Sie speichern oder wie groß oder klein sie sind. Tatsächlich können Sie Milliarden kleiner Dateien genauso effizient speichern wie große. Es ist Ihr Speicher – Sie können ihn so verwenden, wie es Ihr Geschäft erfordert, und Sie können ihn verwenden alles davon. Schließlich kann die Speicherverwaltung schon eine Herausforderung genug sein, ohne sich fragen zu müssen, ob „nutzbare Kapazität“ wirklich das bedeutet, was sie soll.
Warum ältere Scale-out-Speicherlösungen für ungenutzte Kapazität ausgelegt sind
Der Unterschied zwischen Qumulo und traditionellen Speicheranbietern ist tief verwurzelt und resultiert aus grundlegenden Unterschieden in ihren Ansätzen für Datenschutz, kleine Dateispeicherung und Neuerstellungsvorgänge. Wir werden diese einzeln besprechen.
Traditioneller Datenschutz: Von grob ineffizient bis etwas weniger ineffizient
Datenschutz ist eindeutig nicht verhandelbar. Alle Dateispeichersysteme der Enterprise-Klasse sind darauf ausgelegt, Datenverluste bei Festplattenausfällen zu verhindern, und alle basieren auf irgendeiner Form von Redundanz oder Duplizierung von Informationen über Speichergeräte hinweg. Der verwendete Ansatz macht jedoch einen enormen Unterschied in der Datenschutzeffizienz, definiert als die Menge der gespeicherten Daten geteilt durch die gesamte verwendete Festplattenkapazität.
Spiegeln, die rudimentärste Form des Datenschutzes, basiert auf der Erstellung von zwei oder mehr vollständigen Kopien der zu schützenden Daten. Jede Kopie befindet sich auf einer anderen Festplatte, sodass sie wiederherstellbar ist, wenn eine der Festplatten ausfällt. Dies ist in Bezug auf die Wiederherstellung effektiv, aber äußerst ineffizient, da es die für die Dateispeicherung verfügbare Kapazität halbiert.
Doppelspiegelung, bei der drei Kopien von Daten zum Schutz vor bis zu zwei gleichzeitigen Laufwerksausfällen aufbewahrt werden, ist für Wiederherstellungszwecke viel effektiver – aber auch viel ineffizienter, da zwei Drittel der „nutzbaren“ Kapazität für Dateien nicht verfügbar sind. In diesem Fall erfordert die Spiegelung für den Schutz von zwei Laufwerken 3 TB Rohkapazität, um TB Dateidaten zu speichern.
Im Petabyte-Bereich ist es offensichtlich vorzuziehen, die Spiegelung so weit wie möglich zu vermeiden, um zu vermeiden, dass zwei Drittel Ihres Budgets für Speicher verschwendet werden, den Sie nicht zum eigentlichen Speichern von Dateien verwenden können.
Löschcodierung (EG) ist die bekannteste Alternative für die Datensicherung, die effizienter als die Spiegelung sowie schneller und besser konfigurierbar ist. Ein wesentlicher Vorteil von EC ist die Flexibilität, die es bietet. Administratoren können entscheiden, wie sie die richtige Balance zwischen Leistung, Wiederherstellungszeit bei ausgefallenen physischen Medien und der Anzahl der zulässigen gleichzeitigen Ausfälle finden.
EC arbeitet auf Blockebene statt auf Dateiebene und ermöglicht einen effektiven Schutz von Daten, ohne eine Eins-zu-Eins-Kopie des gesamten Datenvolumens erstellen zu müssen. Stattdessen werden Blockdaten in teilweise redundante Segmente codiert, die auf separaten physischen Medien gespeichert werden. Im einfachsten Beispiel, das als (3, 2)-Codierung bekannt ist, werden drei Speicherblöcke verwendet, um zwei Blöcke von Benutzerdaten sicher zu codieren; der dritte Block, bekannt als „Paritätsblock“, wird für die Wiederherstellung verwendet.
Der Inhalt des Paritätsblocks wird durch den Löschcodierungsalgorithmus berechnet. Sogar dieses einfache Schema ist effizienter als Spiegeln – Sie schreiben nur einen Paritätsblock für jeweils zwei Datenblöcke. Bei einer (3, 2)-Codierung sind die Benutzerdaten in den Blöcken 1 und 2 sicher, wenn die Platte, die einen der drei Blöcke enthält, ausfällt.
So funktioniert das. Wenn Datenblock 1 vorhanden ist, dann lesen Sie ihn einfach aus. Das gleiche gilt für Datenblock 2. Wenn jedoch Datenblock 1 verloren gegangen ist, liest das EC-System Datenblock 2 und den Paritätsblock und rekonstruiert dann den Wert von Datenblock 1. Wenn sich Datenblock 2 auf dem ausgefallene Platte lesen die Systeme den Datenblock 1 und den Paritätsblock.
Eine (3, 2)-Kodierung hat eine Effizienz von 67 Prozent – das heißt, zwei Drittel Ihres verfügbaren Speicherplatzes können für Benutzerdaten verwendet werden, während das restliche Drittel für den Datenschutz verwendet wird. Das Hinzufügen von Datenträgern kann das Schutzniveau verbessern. Beispielsweise kann eine (6, 4)-Codierung, die dieselbe Effizienz von 67 Prozent wie (3, 2) hat, zwei Festplattenausfälle statt nur einem tolerieren. Mit anderen Worten, selbst wenn zwei Festplatten gleichzeitig ausfallen, kann das System ohne Ausfallzeiten oder Datenverlust betrieben werden. Der zusätzliche Schutz ohne Effizienzeinbußen ist kein kostenloses Mittagessen – der Prozess der Wiederherstellung der (6, 4)-codierten Daten erfordert mehr Arbeit als im Fall der (3, 2)-Codierung, was bedeutet, dass die Wiederherstellungszeit länger ist .
Bei Speicher der Enterprise-Klasse kann EC sehr hohe Effizienzen bieten. Beispielsweise hat die (16, 14)-Codierung eine Effizienz von etwa 85 Prozent und ermöglicht dennoch bis zu zwei gleichzeitige Laufwerksausfälle ohne Datenverlust.
An dieser Stelle könnten diese 85-prozentigen Speichereffizienz ziemlich gut aussehen, insbesondere im Vergleich zu der 33-prozentigen Effizienz des Schutzes mit zwei Laufwerken durch Spiegelung. Wenn Sie etwa 1 PB an Dateien speichern müssen, sollten 1.2 PB Rohkapazität dafür reichen, oder? Nicht unbedingt. Auch hier ist die Realität hinter den Zahlen weniger klar, als es den Anschein hat.
Kleine Dateispeicherung: Eine weitere Möglichkeit, wie ältere Anbieter die nutzbare Kapazität nicht ausreichend bereitstellen
Auch wenn Ihr Speicheranbieter die nutzbare Kapazität möglicherweise als alles angibt, was nach der Berücksichtigung von Paritätsbits für die Löschcodierung übrig bleibt, gehen Sie nicht davon aus, dass Sie diesen gesamten Speicherplatz tatsächlich nutzen können. Es stellt sich heraus, dass ältere Scale-out-Speichersysteme keine sehr gute Arbeit leisten, wenn es um kleine Dateien geht. Mit klein meinen wir alles unter 128 KB.
Das hat einen einfachen Grund. Legacy-Speichersysteme basieren auf einem jahrzehntealten Design, das sie zwingt, Dateien zu spiegeln (oder doppelt oder sogar dreifach zu spiegeln), die kleiner als 128 KB sind. Wir haben bereits über die Ineffizienzen der Spiegelung gesprochen – jetzt stellt sich heraus, dass sie sogar beim Datenschutz in der EU ein Problem darstellen können. Das Schlimmste: Der für diese Spiegelung benötigte Speicherplatz wird von der vom Anbieter angegebenen nutzbaren Kapazität abgezogen. Es ist, als würde man ein Sandwich kaufen und beim Auspacken feststellen, dass ein großer Bissen fehlt.
Wie groß ist dieser fehlende Biss? Das ist ein weiteres Problem: Sie können es nicht wissen. Sie müssten im Voraus die genaue Größe jeder Datei bestimmen, die Sie schreiben möchten, um zu sehen, wie viele unter diesen 128-KB-Schwellenwert fallen, und das lässt sich nicht vorhersagen. Daher ist es unmöglich zu wissen, wie viel nutzbare Kapazität Sie tatsächlich haben – oder wann Sie aufgebraucht sind. Stattdessen müssen Sie zu viel bereitstellen, um sicherzustellen, dass Sie abgesichert sind. Das bedeutet, dass Sie hier in zweifacher Hinsicht Geld verschwenden: Erstens für die „nutzbare“ Kapazität, die Sie durch die kleine Dateispeicher-Eigenart verlieren – und zweitens für die zusätzliche Kapazität, die Sie als Polster kaufen.
So kann man kein datenintensives Geschäft führen.
Wiederherstellungsvorgänge: Die versteckten Kosten der Festplattenwiederherstellung
Legacy-Speicheranbieter haben möglicherweise eine weitere Möglichkeit, Ihre versprochene nutzbare Kapazität zurückzugewinnen. Viele Systeme verbrauchen während der Wiederherstellung nach einem Festplattenfehler Speicherkapazität für Wiederherstellungsvorgänge – und wenn dafür nicht genügend Kapazität zur Verfügung steht, wird das System Schwierigkeiten haben, die Wiederherstellung abzuschließen. Aus diesem Grund empfehlen die meisten Anbieter, die Auslastung auf 80 Prozent der versprochenen nutzbaren Kapazität zu begrenzen. Dies stellt wiederum die Definition des Wortes „verwendbar“ durch den Anbieter in Frage.
Der Unterschied zu Qumulo: Nutzbare Kapazität bedeutet nutzbare Kapazität
Qumulo ist eine andere Art von Dateispeicherunternehmen. Wir glauben, dass nutzbare Kapazität genau das bedeutet – die Menge an Speicherplatz, auf die Sie sich zum Speichern von Dateien verlassen können. Mit Qumulo's modernes, skalierbares Dateisystem, können Sie 100 Prozent der nutzbaren Kapazität für Dateien verwenden. Hier ist der Grund.
Intelligenterer Datenschutz auf Blockebene
Während sich die Anbieter von Legacy-Speichern auf inkrementelle Effizienzsteigerungen konzentrieren, hat Qumulo die Branche mit einem grundlegend anderen Ansatz revolutioniert. Anstatt Daten auf Dateiebene zu schützen, wie es andere tun, schützt Qumulo auf der Blockebene, wodurch die Nutzungskapazität für große Dateien typischerweise um 20 Prozent gesteigert werden kann. Und diese Zahl verdoppelt sich, wenn kleine Dateien ins Spiel kommen.
Hocheffiziente Speicherung kleiner Dateien
Bei der Verwaltung kleiner Dateien bietet der Schutz auf Blockebene eine Speichereffizienz von bis zu 40 Prozent, die über den dateibasierten Schutz hinausgeht. Dies ist besonders wertvoll im Zeitalter maschinell generierter Daten, die normalerweise in Form einer großen Anzahl kleiner Dateien vorliegen.
Hier ist ein Beispiel von einem tatsächlichen Unternehmenskunden (bevor er zu Qumulo kam).
Dieser Kunde migrierte etwa 30 Millionen kleine Dateien von einem Legacy-Storage-Cluster zu einem Qumulo-Cluster. Das Dialogfeld auf der linken Seite zeigt die Menge an Speicherplatz, die diese Dateien auf dem System des alten Anbieters belegen, das kleine Dateien spiegelt. Das rechte Feld zeigt den Speicherplatz an, den die Dateien im Qumulo-Cluster belegen. Wie Sie sehen, benötigte das System des alten Anbieters mehr als dreimal so viel Speicherplatz, um dieselben Dateien zu speichern – eine nutzbare Kapazität von 33.2 TB für 9.33 TB Dateidaten. Auf dem Qumulo-Cluster wurden nur 9.49 TB benötigt.
Das ist eher so.
Tatsächlich gibt es mit Qumulo keinen Unterschied in der Speichereffizienz zwischen großen und kleinen Dateien.
Das macht es viel einfacher, abzuschätzen, wie viel Speicherplatz Sie benötigen. Anstatt mit komplexen Schätzungen der Mischung aus großen und kleinen Dateien in Ihren Workloads zu ringen und zu hoffen, dass sie nicht zu weit vom Ziel entfernt sind, können Sie einfach auf der Web-Benutzeroberfläche nachsehen, wie viel Speicherplatz verfügbar ist. Ihre gespeicherten Dateien beanspruchen den gleichen Speicherplatz, unabhängig davon, wie viele groß oder klein sind.
Rebuild-Operationen, die die nutzbare Kapazität nicht verbrauchen
Mit Qumulo müssen Sie keine nutzbare Kapazität für administrative Aufgaben wie Neuaufbauten reservieren. Stattdessen reserviert das System den benötigten Platz, bevor es die nutzbare Kapazität meldet. Das bedeutet, dass Sie nach Laufwerksausfällen wiederherstellen können, selbst wenn das System zu 100 Prozent voll ist – und ohne den freien Speicherplatz überwachen zu müssen. Qumulo bietet auch schnellere Wiederherstellungen als herkömmliches RAID und führt keine Leistungs-Hotspots nach einem Laufwerksausfall ein.
Spitzenleistung bei 100-prozentiger Auslastung
Der Kompromiss zwischen Auslastung und Leistung ist Speicheradministratoren nur allzu vertraut. Viele Scale-up-Systeme, RAID-basierte Systeme und einige der populäreren Open-Source-Dateisysteme erfahren eine Leistungseinbuße, wenn sich das Dateisystem füllt. Um Leistungsprobleme zu vermeiden, sollten Sie unter 70 Prozent der nutzbaren Kapazität bleiben. Sie sollten sich nicht zwischen Auslastung und Leistung entscheiden müssen – aber in diese Position bringen Sie viele Anbieter.
Im Gegensatz zu einigen anderen Systemen nimmt die Leistung von Qumulo nicht ab, wenn sich Ihr System füllt. Anstatt 30 Prozent Ihrer Kapazität in Reserve zu halten, können Sie 100 Prozent davon nutzen und Milliarden von Dateien ohne Leistungseinbußen speichern.
Was Qumulo für Ihre Daten bedeutet
Alles in allem bedeuten die kombinierten Effizienzvorteile, dass ein typischer Qumulo-Kunde die gleiche Menge an Benutzerdaten mit 25 Prozent weniger Rohkapazität als andere Dateisysteme speichern kann.
Diese hohe Effizienz wird durch die Vorteile ergänzt, die für datenintensive Unternehmen von Bedeutung sind:
- Schnelle Wiederherstellungszeiten bei einem ausgefallenen Laufwerk
- Die Möglichkeit, normale Dateivorgänge während der Neuerstellungsvorgänge fortzusetzen
- Keine Leistungseinbußen aufgrund von Konflikten zwischen normalen Datei-Schreibvorgängen und Neuaufbau-Schreibvorgängen
- Gleiche Speichereffizienz für kleine und große Dateien
- Genaue Berichterstattung über den nutzbaren Raum
- Effiziente Transaktionen, die es Qumulo-Clustern ermöglichen, auf viele Hundert Knoten zu skalieren
- Integriertes Tiering von heißen/kalten Daten, das Flash-Leistung zu Archivpreisen bietet.
Ihre Daten sind zu wichtig, um sie veralteten Legacy-Speichermethoden zu überlassen – oder Anbietern, die das Konzept der „nutzbaren Kapazität“ nicht im Griff haben. Qumulo bietet die Transparenz, Vorhersagbarkeit und Leistung, die Sie für Datenoperationen im digitalen Zeitalter benötigen.