Le codage à effacement (EC) est l'une des méthodes les plus connues pour la protection des données, en partie en raison de son efficacité, car une plus grande partie du disque est disponible pour les données par rapport aux stratégies RAID et de mise en miroir.
Qu'est-ce que le codage d'effacement et comment se compare-t-il aux systèmes de protection des données RAID et miroir ? Quels sont les avantages et les inconvénients du codage d’effacement par rapport à d’autres méthodes de protection des données, comme le striping RAID et la mise en miroir ? Cet article de blog répondra à ces questions et expliquera comment Qumulo exploite le codage d'effacement dans ses instances de stockage sur site pour maximiser les performances et l'efficacité tout en se protégeant contre les pannes matérielles.
Qu'est-ce que le codage d'effacement ?
Erasure Coding est une méthode de protection des données de stockage qui exploite des mathématiques avancées pour permettre à un système de stockage de régénérer les blocs de données perdus en comparant les blocs de données survivants avec les blocs de parité qui les accompagnent. n.
Codage à effacement vs RAID : avantages et inconvénients
Pour aider à expliquer en quoi le codage à effacement est supérieur aux autres méthodes de protection des données, il aide à comprendre les différentes formes de protection des données ainsi que leurs avantages et inconvénients.
Réseau redondant de disques peu coûteux (RAID)
Le RAID existe depuis longtemps. La configuration de protection des données la plus élémentaire est RAID1, également appelée Mirroring. Comme son nom l'indique, la mise en miroir consiste à écrire toutes les données simultanément sur deux (ou plusieurs) disques, en réalisant deux copies identiques.
En cas de panne de l'un des disques d'une configuration de mise en miroir RAID1, les données perdues sont récupérables à partir de « l'image miroir » puisque chaque copie réside sur son propre disque indépendant. La mise en miroir est simple à mettre en œuvre, mais elle présente certains inconvénients. Étant donné que la mise en miroir nécessite au moins une copie redondante de l’ensemble des données, elle constitue un gaspillage en termes d’espace requis pour la protection des données. De plus, la mise en miroir ne peut gérer qu'une seule panne de disque à la fois, ce qui ne constitue généralement pas une protection suffisante pour la plupart des scénarios de panne, en particulier lorsque la taille des clusters augmente.
Au-delà de l'option de mise en miroir de RAID1, la norme RAID propose d'autres configurations pour optimiser les performances, la protection ou les deux. Les options incluent RAID5, dans lequel un groupe de disques durs (généralement entre 5 et 10) sont regroupés dans une seule matrice, avec un disque de l'ensemble utilisé pour les données de parité. Une autre approche, appelée RAID6, utilise la même approche de base, mais consacre deux disques distincts dans l'ensemble au stockage des données de parité. Une autre configuration, RAID10, met en miroir l'ensemble des disques sur un ensemble de disques identique.
Chacune de ces options comporte ses propres compromis. RAID5 et RAID6 offrent tous deux d'excellentes performances de lecture, mais les performances d'écriture sont plus lentes car chaque opération d'écriture nécessite le calcul d'un ou deux blocs de parité. De plus, ces configurations RAID plus avancées peuvent devenir extrêmement complexes et difficiles à gérer et à maintenir. Et, en cas de panne d'un composant, les temps de reconstruction avec RAID peuvent être excessivement lents, ce qui affecte considérablement les performances des utilisateurs.
Codage d'effacement
La pile de stockage sur site de Qumulo comprend le Qumulo Bloc de stockage évolutif (SBS), qui constitue la couche de base qui permet une protection efficace des données basée sur des blocs en utilisant le codage d'effacement plutôt que le RAID.
Contrairement au striping RAID ou à la mise en miroir, le codage d'effacement offre une protection évolutive pour le stockage massif de données. Le codage d'effacement offre de meilleures performances, plus de flexibilité et une efficacité plus élevée, permettant une croissance illimitée tout en maintenant une protection complète des données et une réactivité dans un cluster Qumulo sur site.
L'algorithme de codage d'effacement de Qumulo est basé sur Reed-Solomon principes de correction des erreurs, maximisant les performances et l’efficacité en utilisant les meilleures pratiques établies. De plus, Qumulo Protection adaptative des données la prise en charge signifie que le cadre de codage d'effacement de votre cluster Qumulo peut s'ajuster pour une plus grande efficacité à mesure que votre cluster se développe.
Codage d'effacement expliqué (exemples)
Le codage d’effacement est plus facile à comprendre avec des exemples. Voici un exemple de notre algorithme d'encodage 3,2 :
Dans un codage 3,2, trois blocs (m = 3) sont répartis sur trois appareils physiques distincts. Les blocs 1 et 2 contiennent les données utilisateur que nous souhaitons protéger (n = 2), et le troisième bloc contient les données de parité. Le contenu du bloc de parité est calculé à l'aide de l'algorithme de codage d'effacement.
Étant donné que chaque bloc est écrit sur un lecteur distinct, l'un des trois lecteurs peut tomber en panne et les informations stockées dans les blocs 1 et 2 sont toujours en sécurité car elles peuvent être recréées à partir du bloc de parité.
Comment fonctionne le codage d'effacement
Voici comment cela fonctionne. Si le bloc de données 1 est disponible, le système le lit simplement. Il en va de même pour le bloc de données 2. Cependant, si le bloc de données 1 est manquant, le système de codage d'effacement lit le bloc de données 2, plus le bloc de parité, et reconstruit la valeur du bloc de données 1.
De même, si le bloc de données 2 réside sur le disque défaillant, le système lit le bloc de données 1 et le bloc de parité. SBS s'assure toujours que les blocs sont sur des broches différentes afin que le système puisse lire à partir des blocs simultanément.
Un codage 3,2 a une efficacité de 2/3 (n/m), soit 67%. Bien qu'il soit meilleur que l'efficacité de 50% de la mise en miroir, l'encodage 3,2 ne peut toujours protéger que contre une seule panne de disque.
Le codage d'effacement offre une protection des données configurable
Le codage d'effacement peut être configuré pour optimiser les performances, optimisé pour le temps de récupération dans le cas d'un support défaillant, ou optimisé pour plus de résilience — jusqu'à quatre disques défaillants ou quatre nœuds défaillants à la fois. Généralement, une protection accrue se fait au détriment de la capacité utilisable.
Au minimum, Qumulo utilise l'encodage 6,4, qui stocke un tiers de plus de données utilisateur dans le même espace que la mise en miroir, et a la capacité de tolérer deux pannes de disque au lieu d'une seule comme la mise en miroir ou 3,2. Dans une configuration 6,4, même si deux blocs contenant des données utilisateur sont indisponibles, le système n'a besoin de lire que les deux blocs de données restants et les deux blocs de parité pour récupérer les données manquantes.
Alors qu'est-ce que cela veut dire?
Travaillant au niveau du bloc plutôt qu'au niveau du fichier comme les autres plates-formes de fichiers, le codage d'effacement unique de Qumulo permet non seulement de protéger efficacement les données sans avoir à créer une copie 1:1 de l'intégralité du volume de données, mais cela signifie également la taille de les fichiers n’ont aucun impact sur les temps d’encodage et de récupération. Que les fichiers soient de taille gigantesque ou mini, les performances d’encodage et de récupération sont non seulement rapides, mais également fiables.
D'autres systèmes peuvent prendre de quelques heures à plusieurs jours, voire plus, pour se remettre d'un événement en fonction de la combinaison de tailles de fichiers stockées sur le cluster. Qumulo récupère rapidement et de manière fiable sans affecter les performances, quelle que soit la combinaison de données de fichiers stockées. Cela permet également aux clients Qumulo de tirer parti des disques les plus gros et les plus économiques du marché sans risque.
Protection des données sur les instances cloud natives de Qumulo !
Le Scalable Block Store gère le codage d'effacement sur les clusters Qumulo physiques (sur site) uniquement. Instances Qumulo natives du cloud, telles que Qumulo natif azur (ANQ), sont construits sur les propres services de données persistantes du fournisseur de cloud, par exemple Azure Blob Storage.
Note de l'éditeur : initialement publié le 3 novembre 2021, cet article de blog a depuis été mis à jour pour plus d'exactitude et d'exhaustivité.
