Die Erasure-Codierung (EC) ist eine der bekanntesten Methoden zum Datenschutz, was zum Teil auf ihre Effizienz zurückzuführen ist, da im Vergleich zu RAID- und Spiegelungsstrategien ein größerer Teil des Festplattenspeichers für Daten zur Verfügung steht.
Was ist Erasure-Codierung und wie unterscheidet sie sich von RAID- und Spiegelungs-Datensicherungsverfahren? Was sind die Vor- und Nachteile von Erasure-Codierung im Vergleich zu anderen Methoden der Datensicherung wie RAID-Striping und Spiegelung? Dieser Blogbeitrag beantwortet diese Fragen und erläutert, wie Qumulo Erasure-Codierung in seinen lokalen Speicherinstanzen einsetzt, um Leistung und Effizienz zu maximieren und gleichzeitig Schutz vor Hardwareausfällen zu bieten.
Was ist Erasure-Codierung?
Erasure-Coding ist ein Verfahren zum Schutz von Speicherdaten, das sich fortschrittlicher Mathematik bedient, um es einem Speichersystem zu ermöglichen, verlorene Datenblöcke durch den Vergleich der erhaltenen Datenblöcke mit den dazugehörigen Paritätsblöcken wiederherzustellen. n.
Erasure-Codierung vs. RAID: Vor- und Nachteile
Um zu verdeutlichen, inwiefern die Erasure-Codierung anderen Methoden des Datenschutzes überlegen ist, ist es hilfreich, die verschiedenen Formen des Datenschutzes sowie deren Vor- und Nachteile zu kennen.
Redundant Array of Inexpensive Disks (RAID)
RAID gibt es schon seit langer Zeit. Die grundlegendste Konfiguration für den Datenschutz ist RAID 1, auch „Mirroring“ genannt. Wie der Name schon sagt, werden beim Mirroring alle Daten gleichzeitig auf zwei (oder mehr) Laufwerke geschrieben, wodurch zwei identische Kopien entstehen.
Sollte eine der Festplatten in einer RAID-1-Spiegelungskonfiguration ausfallen, lassen sich die verlorenen Daten aus dem „Spiegelbild“ wiederherstellen, da sich jede Kopie auf einer eigenen, unabhängigen Festplatte befindet. Die Spiegelung ist einfach zu implementieren, weist jedoch einige Nachteile auf. Da die Spiegelung mindestens eine redundante Kopie des gesamten Datensatzes erfordert, ist sie hinsichtlich des für die Datensicherung benötigten Speicherplatzes verschwenderisch. Außerdem kann die Spiegelung jeweils nur den Ausfall eines einzigen Laufwerks bewältigen, was für die meisten Ausfallszenarien im Allgemeinen keinen ausreichenden Schutz bietet, insbesondere bei zunehmender Clustergröße.
Über die Spiegelungsoption von RAID1 hinaus bietet der RAID-Standard weitere Konfigurationen zur Optimierung der Leistung, der Datensicherheit oder beider Aspekte. Zu den Optionen gehört RAID5, bei dem eine Gruppe von Festplatten (in der Regel zwischen 5 und 10) zu einem einzigen Array zusammengefasst wird, wobei eine Festplatte im Set für Paritätsdaten verwendet wird. Ein weiterer Ansatz, RAID6 genannt, folgt dem gleichen Grundprinzip, weist jedoch zwei separate Festplatten im Set für die Speicherung von Paritätsdaten zu. Eine weitere Konfiguration, RAID10, spiegelt den gesamten Festplattensatz auf einen identischen Festplattensatz.
Jede dieser Optionen bringt ihre eigenen Vor- und Nachteile mit sich. Sowohl RAID5 als auch RAID6 bieten eine hervorragende Leseleistung, doch die Schreibleistung ist geringer, da bei jedem Schreibvorgang ein oder zwei Paritätsblöcke berechnet werden müssen. Zudem können diese fortgeschritteneren RAID-Konfigurationen äußerst komplex und schwer zu verwalten und zu warten sein. Und im Falle eines Komponentenausfalls können die Wiederherstellungszeiten bei RAID unzumutbar lang sein, was die Leistung für die Benutzer erheblich beeinträchtigt.
Erasure-Codierung
Der On-Premises-Speicher-Stack von Qumulo umfasst den Qumulo Scalable Block Store (SBS), die als Basisschicht dient und eine effiziente blockbasierte Datensicherung mithilfe von Erasure-Codierung anstelle von RAID ermöglicht.
Im Gegensatz zu RAID-Striping oder -Mirroring bietet die Erasure-Codierung skalierbaren Schutz für riesige Datenspeicher. Die Erasure-Codierung sorgt für bessere Leistung, mehr Flexibilität und höhere Effizienz und ermöglicht so unbegrenztes Wachstum bei gleichzeitiger Gewährleistung eines umfassenden Datenschutzes und einer hohen Reaktionsfähigkeit in einem lokalen Qumulo-Cluster.
Der Erasure-Coding-Algorithmus von Qumulo basiert auf Reed-Solomon Prinzipien der Fehlerkorrektur, Maximierung von Leistung und Effizienz unter Anwendung bewährter Verfahren. Darüber hinaus bietet Qumulo Adaptiver Datenschutz „Support“ bedeutet, dass sich das Erasure-Coding-Framework Ihres Qumulo-Clusters an das Wachstum Ihres Clusters anpassen kann, um eine höhere Effizienz zu erzielen.
Erasure-Codierung erklärt (Beispiele)
Erasure-Codierung lässt sich am besten anhand von Beispielen verstehen. Hier ist ein Beispiel für unseren 3,2-Codierungsalgorithmus:
Bei einer 3,2-Kodierung werden drei Blöcke (m = 3) auf drei verschiedene physische Geräte verteilt. Die Blöcke 1 und 2 enthalten die zu schützenden Nutzdaten (n = 2), während der dritte Block Paritätsdaten enthält. Der Inhalt des Paritätsblocks wird mithilfe des Erasure-Coding-Algorithmus berechnet.
Da jeder Block auf ein separates Laufwerk geschrieben wird, könnten eines der drei Laufwerke ausfallen, und die in den Blöcken 1 und 2 gespeicherten Informationen wären dennoch sicher, da sie anhand des Paritätsblocks wiederhergestellt werden können.
So funktioniert die Erasure-Codierung
Und so funktioniert es: Wenn Datenblock 1 verfügbar ist, liest das System ihn einfach aus. Das Gleiche gilt für Datenblock 2. Fehlt jedoch Datenblock 1, liest das Löschcodierungssystem Datenblock 2 sowie den Paritätsblock aus und rekonstruiert den Wert von Datenblock 1.
Ebenso liest das System, falls sich Datenblock 2 auf der ausgefallenen Festplatte befindet, Datenblock 1 und den Paritätsblock. SBS stellt stets sicher, dass sich die Blöcke auf verschiedenen Spindeln befinden, damit das System die Blöcke gleichzeitig auslesen kann.
Eine 3,2-Kodierung weist einen Wirkungsgrad von 2/3 (n/m) bzw. 67 % auf. Zwar ist dieser Wirkungsgrad höher als die 50 % bei der Spiegelung, doch bietet die 3,2-Kodierung dennoch nur Schutz vor dem Ausfall einer einzigen Festplatte.
Die Erasure-Codierung bietet konfigurierbaren Datenschutz
Erasure-Coding kann so konfiguriert werden, dass es entweder auf Leistung, auf die Wiederherstellungszeit bei ausgefallenen Speichermedien oder auf eine höhere Ausfallsicherheit optimiert ist – bis zu vier ausgefallene Festplatten oder vier ausgefallene Knoten gleichzeitig. Im Allgemeinen geht ein erhöhter Schutz zu Lasten der nutzbaren Kapazität.
Qumulo verwendet mindestens die 6,4-Kodierung, die ein Drittel mehr Benutzerdaten auf demselben Speicherplatz speichert wie die Spiegelung und zwei Festplattenausfälle tolerieren kann, statt nur eines wie bei der Spiegelung oder der 3,2-Kodierung. In einer 6,4-Konfiguration muss das System, selbst wenn zwei Blöcke mit Benutzerdaten nicht verfügbar sind, lediglich die beiden verbleibenden Datenblöcke und die beiden Paritätsblöcke lesen, um die fehlenden Daten wiederherzustellen.
Was bedeutet das alles also?
Da Qumulo im Gegensatz zu anderen Dateiplattformen auf Blockebene statt auf Dateiebene arbeitet, ermöglicht die einzigartige Erasure-Coding-Technologie von Qumulo nicht nur einen effektiven Schutz der Daten, ohne dass eine 1:1-Kopie des gesamten Datenvolumens erstellt werden muss, sondern sorgt auch dafür, dass die Größe der Dateien keinen Einfluss auf die Kodierungs- und Wiederherstellungszeiten hat. Unabhängig davon, ob es sich um riesige oder winzige Dateien handelt – die Leistung bei der Kodierung und Wiederherstellung ist nicht nur schnell, sondern auch zuverlässig.
Bei anderen Systemen kann die Wiederherstellung nach einem Vorfall je nach Zusammensetzung der auf dem Cluster gespeicherten Dateigrößen Stunden, Tage oder sogar noch länger dauern. Qumulo sorgt für eine schnelle und zuverlässige Wiederherstellung ohne Leistungseinbußen – unabhängig von der Zusammensetzung der gespeicherten Dateidaten. Dadurch können Qumulo-Kunden zudem die größten und kostengünstigsten Laufwerke auf dem Markt ohne Risiko nutzen.
Datenschutz auf den Cloud-nativen Instanzen von Qumulo!
Der Scalable Block Store verwaltet die Erasure-Codierung ausschließlich auf physischen (lokal installierten) Qumulo-Clustern. Cloud-native Qumulo-Instanzen, wie beispielsweise Azure Native Qumulo (ANQ) basieren auf den eigenen persistenten Datendiensten des Cloud-Anbieters, z. B. Azure Blob Storage.
Anmerkung der Redaktion: Dieser Blogbeitrag wurde ursprünglich am 3. November 2021 veröffentlicht und seitdem im Hinblick auf Richtigkeit und Vollständigkeit aktualisiert.