Erasure Coding (EC) ist eine der bekanntesten Methoden zur Datensicherung, auch aufgrund ihrer Effizienz, da im Vergleich zu RAID- und Spiegelungsstrategien mehr Speicherplatz für Daten zur Verfügung steht.
Einer der Hauptvorteile von Erasure Coding ist die Flexibilität, die es bietet. IT-Administratoren können entscheiden, wie sie die richtige Balance zwischen Leistung und Wiederherstellungszeit nach dem Ausfall physischer Medien und der Anzahl gleichzeitiger Ausfälle finden, die das System aushalten muss.
Löschcodierung ist am einfachsten mit Beispielen zu verstehen, auf die wir im Folgenden näher eingehen werden. Aber Sie fragen sich vielleicht ein paar Dinge, zum Beispiel was zum Teufel ist Erasure Coding? Wie schneidet es im Vergleich zu RAID- und Spiegelungs-Datenschutzschemata ab? Und was sind die Vor- und Nachteile von Erasure Coding im Vergleich zu anderen Methoden zur Datensicherung, wie RAID-Striping und Mirroring? All dies sind wichtige Fragen, die wir klären und Ihr Unternehmen in die beste Position versetzen, um Ihre Daten zu schützen.
Was ist Löschcodierung?
Erasure Coding ist eine Methode zum Schutz von Speicherdaten, die fortschrittliche Mathematik nutzt, um es der Dateisystemsoftware zu ermöglichen, fehlende Daten mithilfe bekannter Daten namens . neu zu generieren Paritätsblöcke. Wie wir weiter unten erklären werden, bietet Erasure Coding einen überlegenen Datenschutz gegenüber einer Spiegelkopie, hauptsächlich weil es keine vollständige zweite Kopie der Daten erfordert, aber jeden fehlenden Teil wiederherstellen kann.
Erasure Coding vs. RAID: Vor- und Nachteile
Um zu erklären, warum Erasure Coding anderen Methoden des Datenschutzes überlegen ist, hilft es, die verschiedenen Formen des Datenschutzes sowie deren Vor- und Nachteile zu verstehen.
Redundantes Array kostengünstiger Festplatten (RAID)
RAID gibt es schon lange. Die grundlegendste Datenschutzkonfiguration ist RAID 1, auch Mirroring genannt. Wie der Name schon sagt, beinhaltet das Spiegeln das gleichzeitige Aufzeichnen von Daten auf zwei (oder mehr) Laufwerken, wodurch identische Kopien erstellt werden – Spiegelbilder sozusagen.
Da sich in einer RAID-1-Spiegelungskonfiguration jede Kopie auf einer separaten Festplatte befindet, können Daten aus dem „Spiegelbild“ wiederhergestellt werden, falls die primäre Festplatte in einem Satz ausfällt. Die Spiegelung ist einfach zu implementieren, hat jedoch einige Nachteile. Da für die Spiegelung mindestens eine vollständige Kopie der Daten erforderlich ist, wird der für die Datensicherung benötigte Speicherplatz verschwendet. Außerdem kann die Spiegelung nur ein einzelnes Laufwerksausfall zu einem Zeitpunkt, was im Allgemeinen für viele Anwendungsfälle nicht ausreichend Schutz bietet, insbesondere wenn die Clustergröße zunehmen.
Neben der Spiegelung bietet der RAID-Standard andere Konfigurationen zur Optimierung von Leistung, Schutz oder beidem. Eine gängige Option ist RAID 5 oder Festplatten-Striping mit Parität, das die Effizienz und die Leseleistung gegenüber der Spiegelung verbessert. Diese fortgeschritteneren RAID-Konfigurationen können jedoch extrem komplex und schwierig zu verwalten und zu warten werden. Und im Falle eines Komponentenausfalls können die Wiederherstellungszeiten mit RAID inakzeptabel langsam sein, was die Leistung für die Benutzer erheblich beeinträchtigt.
Wenn man RAID für den Schutz von Speicherdaten in Betracht zieht, kann RAID nicht alles und führt oft zu einer schwierigen Entscheidung beim Erstellen von RAID-Konfigurationen: Sollten IT-Administratoren zwischen starker Datensicherheit, Leistung oder besser wählen? Speichereffizienz? Die Antwort ist sie will alles, aber RAID kann nicht liefern.
Löschcodierung
Die Qumulo Core-Architektur basiert auf Qumulo Skalierbarer Blockspeicher (SBS), die die Grundlage bildet, die einen effizienten blockbasierten Datenschutz mit Erasure Coding ermöglicht.
Erasure Coding unterscheidet sich grundlegend von RAID und behebt die Mängel von RAID. Im Gegensatz zu RAID-Striping oder -Spiegelung ist Erasure Coding ein skalierbarer Schutz für massive Datenspeicherung, weitaus leistungsfähiger, konfigurierbarer und platzsparender, was Clustern unbegrenztes Wachstum ermöglicht und gleichzeitig den vollständigen Datenschutz und die Reaktionsfähigkeit gewährleistet.
Erasure Coding verwendet fortgeschrittene Mathematik (dh in diesem Fall die Reed-Solomon-Formel), um die Wiederherstellung fehlender Daten aus Teilen bekannter Daten (Paritätsblöcke) zu ermöglichen.
Im Gegensatz zur RAID-Spiegelung, die eine vollständige zweite Kopie erfordert, ermöglicht die Erasure-Codierung eine höhere Effizienz und erfordert nur einen Paritätsblock für jeweils drei Datenblöcke (sogenannte 3,2-Codierung).
Erasure Coding erklärt (Beispiele)
Erasure Coding ist am einfachsten mit Beispielen zu verstehen. Hier ist unser 3,2 Codierungsbeispiel:
Bei einer 3,2-Codierung werden drei Blöcke (m = 3) auf drei verschiedene physikalische Geräte verteilt. Die Blöcke 1 und 2 enthalten die Benutzerdaten, die wir schützen möchten (n = 2), und der dritte wird als Paritätsblock bezeichnet. Der Inhalt des Paritätsblocks wird unter Verwendung des Löschcodierungsalgorithmus berechnet.
Da jeder Block auf ein separates Laufwerk geschrieben wird, kann jedes der drei Laufwerke ausfallen und die in den Blöcken 1 und 2 gespeicherten Informationen sind weiterhin sicher, da sie aus dem Paritätsblock wiederhergestellt werden können.
So funktioniert Erasure Coding
So funktioniert das. Wenn Datenblock 1 vorhanden ist, liest das System ihn einfach. Das gleiche gilt für Datenblock 2. Wenn jedoch Datenblock 1 fehlt, liest das Löschcodiersystem den Datenblock 2 plus den Paritätsblock und rekonstruiert den Wert von Datenblock 1.
Wenn sich Datenblock 2 auf der ausgefallenen Platte befindet, liest das System ähnlich den Datenblock 1 und den Paritätsblock. SBS stellt immer sicher, dass sich die Blöcke auf verschiedenen Spindeln befinden, damit das System gleichzeitig von Blöcken lesen kann.
Eine 3,2-Kodierung hat eine Effizienz von 2 / 3 (n/m) oder 67 %. Obwohl es besser ist als die 50%ige Effizienz der Spiegelung, kann die 3,2-Codierung immer noch nur vor einem einzelnen Festplattenausfall schützen.
Erasure Coding bietet konfigurierbaren Datenschutz
Erasure Coding kann so konfiguriert werden, dass die Leistung optimiert, die Wiederherstellungszeit bei ausgefallenen Medien optimiert oder für mehr Ausfallsicherheit optimiert wird – bis zu vier ausgefallene Festplatten oder vier ausgefallene Knoten gleichzeitig. Im Allgemeinen geht ein erhöhter Schutz auf Kosten der nutzbaren Kapazität.
Qumulo verwendet mindestens eine 6,4-Kodierung, die ein Drittel mehr Benutzerdaten auf dem gleichen Speicherplatz wie die Spiegelung speichert und die Fähigkeit hat, zwei Festplattenfehler zu tolerieren, anstatt nur einen wie bei Spiegelung oder 3,2. In einer 6,4-Konfiguration muss das System, selbst wenn zwei Blöcke mit Benutzerdaten nicht verfügbar sind, nur die zwei verbleibenden Datenblöcke und die beiden Paritätsblöcke lesen, um die fehlenden Daten wiederherzustellen.
Was bedeutet das alles?
Qumulo Core Erasure Coding arbeitet auf Blockebene statt auf Dateiebene wie andere Dateiplattformen und ermöglicht nicht nur den effektiven Schutz von Daten, ohne eine 1:1-Kopie des gesamten Datenvolumens erstellen zu müssen, sondern bedeutet auch die Größe der Dateien hat keinen Einfluss auf die Kodierungs- und Wiederherstellungszeiten. Ob Mammut- oder Mini-Dateien, die Encoding- und Recovery-Leistung ist nicht nur schnell, sondern auch zuverlässig.
Bei anderen Systemen kann die Wiederherstellung nach einem Ereignis Stunden bis Tage oder länger dauern, abhängig von der Mischung der im Cluster gespeicherten Dateigrößen. Qumulo stellt unabhängig von der Mischung der gespeicherten Dateidaten schnell und zuverlässig wieder her, ohne die Leistung zu beeinträchtigen. Dadurch können Qumulo-Kunden auch die größten und wirtschaftlichsten Laufwerke auf dem Markt ohne Risiko nutzen.
Erfahren Sie mehr in Teil 2!
Im nächsten Beitrag dieser 2-teiligen Serie zum Thema Erasure Coding erklären wir So implementieren Sie Erasure Coding in Speichersystemen für das moderne digitale Zeitalter, mit massiver Skalierbarkeit.
Anmerkung der Redaktion: Diese Geschichte wurde ursprünglich am 3. November 2021 veröffentlicht und wurde aus Gründen der Genauigkeit und Vollständigkeit aktualisiert.
