Azure Native Qumulo jetzt in der EU, im Vereinigten Königreich und in Kanada verfügbar – Erfahren Sie mehr

Ein Speicher-Albtraum: Der „Small File“-Steuerbeamte kommt anklopfen!

Geschrieben von:
Du tust alles, um deinen Speicherbedarf zu verstehen, du kaufst den Speicher, von dem du denkst, dass du ihn brauchst – sogar ein bisschen mehr (oder viel mehr), damit du etwas Spielraum für unvorhergesehene Szenarien hast – und trotzdem wirst du überrascht und der Speicher geht aus . Eine Sache, die Systemadministratoren oft überrascht, ist die sogenannte „Small File Tax“.

Es war eine dunkle und stürmige Nacht.

Das Telefon klingelt. Es ist das Büro.

Dein Herz fällt vor Überraschung und Entsetzen.

Ihre Systeme haben keinen Speicher mehr…

Dies ist ein Albtraumszenario für viele Speichersystemadministratoren. Du tust alles, um deinen Speicherbedarf zu verstehen, du kaufst den Speicher, von dem du denkst, dass du ihn brauchst – sogar noch ein bisschen mehr (oder viel mehr), damit du etwas Spielraum für unvorhergesehene Szenarien hast – und trotzdem überrascht und dir der Speicher ausgeht .

Kleine Dateien verwalten

Eine Sache, die Systemadministratoren oft überrascht, ist die sogenannte „Small File Tax“. Es stellt sich heraus, dass ältere Scale-out-Speichersysteme keine sehr gute Arbeit leisten, wenn es um die Verwaltung kleiner Dateien geht. Mit klein meinen wir alles unter 128 KB. Kleine Dateien verbrauchen das Zwei- bis Dreifache des erwarteten Speicherplatzes – das ist eine ziemlich hohe Steuer, wenn es viele davon gibt.

Dies liegt daran, dass diese Systeme auf einem jahrzehntealten Design basieren, das sie zwingt, Dateien unter einem Schwellenwert von 128 KB zu spiegeln (oder doppelt zu spiegeln, manchmal sogar dreifach zu spiegeln). Die Spiegelung kleiner Dateien verwendet nicht nur eine extrem ineffiziente Kodierung, sondern der dafür benötigte Speicherplatz wird auch von der vom Anbieter oft als nutzbaren Kapazität angegebenen Kapazität abgezogen. Ein früherer Blog-Beitrag liefert dazu mehr Details („Kann ich wirklich 100 % meiner Kapazität nutzen? Bei Qumulo lautet die Antwort Ja!").

Das Spiegeln ist äußerst ineffizient, da es einfach zwei oder drei vollständige Kopien der zu schützenden Daten erstellt, die sich auf verschiedenen Datenträgern befinden. Dies ist zwar datenschutzwirksam, reduziert aber den verfügbaren Speicherplatz bei Double Mirroring um die Hälfte und bei Triple Mirroring um zwei Drittel. Im Terabyte-Bereich ist dies unglaublich ineffizient; Im Petabyte-Bereich ist es verblüffend, dass ein Anbieter von Ihnen verlangen würde, die Hälfte bis zwei Drittel Ihres Speichers für den Datenschutz zu verwenden.

Es gibt einen Weg, diesen Albtraum zu beenden.

Datenschutz auf Blockebene vs. Dateiebene

Im großen Maßstab ist es ineffizient, kleine Dateien einfach durch das Erstellen von Kopien zu schützen. Qumulo hat das früh verstanden. Wir haben einen grundlegend anderen Ansatz für den Datenschutz entwickelt, den Schutz auf Block- und auf Dateiebene. Arbeiten auf Blockebene statt auf Dateiebene mit unserem benutzerdefinierten Löschcodierung ermöglicht einen effektiven Schutz der Daten, ohne eine Eins-zu-Eins-Kopie des gesamten Datenvolumens erstellen zu müssen.

Wenn Sie auf Block- und nicht auf Dateiebene arbeiten, müssen Sie nicht jede Datei einzeln schützen. Stattdessen werden Blockdaten in teilweise redundante Segmente codiert, die auf separaten physischen Medien gespeichert werden.

Bei der Verwaltung kleiner Dateien bietet der Schutz auf Blockebene eine Speichereffizienz von bis zu 40 %, die über den dateibasierten Schutz hinausgeht. Bei großen Dateien erhalten Sie sogar eine Effizienzsteigerung von 20 %. Tatsächlich können Sie Milliarden kleiner Dateien genauso effizient speichern wie große.

Small File Tax (Beispiel vor und nach der Migration)

Hier ist ein Beispiel für die Small File Tax von einer echten Qumulo-Kundenseite.

Dieser Kunde migrierte etwa 30 Millionen kleine Dateien von einem Legacy-Speichercluster auf einen Qumulo-Cluster. Das Dialogfeld auf der linken Seite (Legacy-Wettbewerbersystem – Vor der Migration) zeigt die Menge an Speicherplatz, die diese Dateien auf dem System des Legacy-Anbieters belegt haben, das kleine Dateien spiegelt. Das Dialogfeld auf der rechten Seite (Qumulo Hybrid Cloud File Storage – After Migration) zeigt an, wie viel Speicherplatz die Dateien im Qumulo-Cluster belegen.

In diesem realen Beispiel können Sie das Ergebnis der geringen Dateisteuer des alten Anbieters sehen: Das Speichern dieser Dateien verbraucht mehr als dreimal so viel nutzbaren Speicherplatz wie die gespeicherten Benutzerdatei-Bytes! Es brauchte 33.2 TB nutzbare Kapazität, um 9.33 TB Dateidaten zu speichern. Auf dem Qumulo-Cluster wurden nur 9.49 TB benötigt. Qumulo eliminiert die kleine Dateisteuer und speichert kleine Dateien genauso effizient wie große Dateien.

Welche Auswirkungen haben kleine Dateien auf die Datenspeicherung?

Sie fragen sich vielleicht: "Welche Auswirkungen hat diese kleine Dateisteuer auf meinen Speicher?"

Bei Legacy-Systemen ist es unmöglich zu sagen, wie viel Speicher Sie verwenden werden, es sei denn, Sie kennen im Voraus die genaue Größe jeder Datei, die Sie schreiben möchten, sehen, wie viele Dateien unter den Schwellenwert von 129 KB fallen, und führen dann die Berechnungen für jede Datei durch. Sprechen Sie über einen Albtraum, besonders wenn Sie mit Milliarden von Dateien zu tun haben!

Daher ist es unmöglich zu wissen, wie viel nutzbare Kapazität Sie tatsächlich haben – oder wann Sie aufgebraucht sind. Stattdessen müssen Sie zu viel bereitstellen, um sicherzustellen, dass Sie abgesichert sind. Das bedeutet, dass Sie in zweierlei Hinsicht Geld verschwenden: erstens für die „nutzbare“ Kapazität, die Sie durch die kleine Dateisteuer verlieren, und zweitens für die zusätzliche Kapazität, die Sie kaufen.

Qumulo macht es viel einfacher, abzuschätzen, wie viel Speicherplatz Sie benötigen. Anstatt auf das Beste zu hoffen oder mit komplexen Schätzungen der Mischung aus großen und kleinen Dateien in Ihren Workloads zu ringen und zu hoffen, dass sie nicht zu weit vom Ziel entfernt sind, können Sie einfach auf der Web-Benutzeroberfläche nachsehen, wie viel Speicherplatz verfügbar ist . Ihre gespeicherten Dateien beanspruchen den gleichen Speicherplatz, unabhängig davon, wie viele groß oder klein sind. Keine „Small-File-Steuer“. Keine Überraschungen. Kein Überkaufen. Keine Überversorgung.

Qumulo bietet auch die Möglichkeit, Leistung, Kapazität und Nutzung in Echtzeit zu überwachen, selbst bei Dateianzahlen in Milliardenhöhe. Mit unseren Echtzeit-Analysen können Sie Erkenntnisse gewinnen und Probleme vermeiden, bevor sie auftreten. Darüber hinaus können Sie zukünftiges Wachstum effizient planen. Mit aktuellen Analysen können Administratoren Probleme schnell lokalisieren und die Speichernutzung effektiv steuern.

Bewertung von Speicherlösungen

Wann Evaluierung von Datenspeicherlösungen, stellen Sie sicher, dass Sie die Auswirkungen auf den Datenschutz (AKA die Steuer für kleine Dateien) bei kleinen Dateien verstehen. Fragen Sie, ob kleine Dateien gespiegelt werden und wenn ja, wie oft. Machen Sie sich klar, ob Sie doppelt so viel oder sogar dreimal so viel Speicher kaufen, wie Sie tatsächlich benötigen.

Beenden Sie jetzt Ihren Speicher-Albtraum. Suchen Sie nach einer Dateispeicherlösung, die Ihre Daten unabhängig von der Dateigröße effizient verwaltet. Qumulo bietet die Transparenz, Vorhersagbarkeit und Leistung, die Sie für die moderne Datenspeicherung im digitalen Zeitalter benötigen.

Verwandte Artikel

Nach oben scrollen