Migration vers le service de fichiers évolutif natif Azure Qumulo avec Atempo Miria

La migration de fichiers entre différentes plates-formes de stockage et architectures de systèmes de fichiers peut être un processus complexe. Cet article décrit une solution qui utilise Atempo Miria pour migrer les données de fichiers de systèmes NAS tiers vers Azure Native Qumulo (ANQ). Atempo Miria fournit des services de migration de fichiers indépendants de la plateforme, à grande échelle, dans des environnements NAS hétérogènes. Cette solution facilite la migration transparente des données de fichiers entre des plates-formes de stockage mixtes, offrant un mouvement de données hautes performances, garantissant l'intégrité des données et vous permettant de mener à bien vos projets de migration de données de votre ancien NAS vers une instance ANQ.

Avantages de la migration vers ANQ avec Atempo Miria

Évolutivité	Une seule instance ANQ peut évoluer jusqu'à une taille en exaoctets et au-delà dans un seul espace de noms. Miria est conçu pour un mouvement de données hautes performances à une échelle illimitée, simplifiant le processus de migration de milliards de fichiers de n'importe quel système NAS existant vers ANQ.
Rapport coût-efficacité	Le coût total de possession global d'ANQ est comparable à celui des services de fichiers sur site, même à grande échelle. Les clients ne paient que pour la capacité et le débit qu'ils utilisent pendant qu'ils l'utilisent. Grâce à ses fonctionnalités intelligentes de multithreading et de parallélisation, Miria for Migration rend la migration de fichiers plus fluide et plus rapide, éliminant les longs cycles de migration et optimisant vos coûts. L'ajout ou la suppression de Data Movers ne génère pas de coûts supplémentaires pour les licences Miria.
Performance	ANQ surpasse les autres plates-formes de fichiers basées sur le cloud, offrant un débit plus élevé et une latence plus faible pour la plupart des charges de travail. ANQ prend également en charge temporairement un débit accru si nécessaire pour le traitement en rafale. Performances supérieures avec l'intégration de Fastscan sur les principaux fournisseurs de stockage pour accélérer la migration vers ANQ depuis Isilon/PowerScale, GPFS, etc. Augmentez ou réduisez le débit global en ajoutant ou en supprimant simplement des Data Movers à la solution. FastScan permet la détection rapide des fichiers créés, modifiés ou supprimés depuis le dernier cycle de migration.
Global Reach	ANQ peut être déployé dans une ou plusieurs régions Azure dans le monde. Miria Data Movers peut être déployé dans votre centre de données et dans la même région Azure que votre ANQ pour de meilleures performances.
Sécurité et conformité	Miria Migration collecte les fichiers avec les autorisations d'accès qui leur sont attribuées et garantit l'intégrité complète des données et de l'accès sur le stockage et le protocole cibles.
Simplicité de gestion	Des rapports détaillés à chaque étape du processus permettent de calculer le point de convergence de la migration, indiquant la quantité de données restant à migrer et les problèmes à résoudre. Le processus de migration peut être transformé en protection des données pour le nouveau stockage en utilisant la même solution.

Architecture

La solution est déployée sur Azure avec des options de performances configurables et combine la plateforme de données de fichiers à l'échelle de l'exaoctet d'Azure Native Qumulo et Atempo Miria, comme le montre le diagramme suivant.

Architecture de solution

Cette solution est déployée dans un locataire client Azure dans une seule région Azure avec des ressources client, notamment une passerelle de réseau virtuel.
Atempo Miria offre plusieurs fonctionnalités clés, notamment le transfert de données optimisé, la parallélisation, le multithreading, la technologie FastScan pour une identification rapide des modifications d'objet, les migrations automatiques de fichiers, les cycles de migration itératifs, les contrôles d'intégrité et les ajustements de performances. Il maintient également la fiabilité des données en comparant constamment le stockage source et cible, ainsi que la possibilité d'utiliser un mécanisme de hachage pendant la synchronisation.
Le serveur Miria est le composant de gestion central du processus de migration des données.
Les Data Movers Atempo Miria gèrent le mouvement des données et sont des éléments clés pour la performance globale de l’opération de migration. Un ensemble de Data Movers est déployé à côté du système NAS existant. Un deuxième ensemble de Data Movers se trouve dans le locataire Azure du client pour des performances optimales, leur permettant de pré-traiter et de post-traiter les tâches sans aucun problème de latence.
Le cluster ANQ utilisé dans la solution est déployé dans le locataire Azure de Qumulo.
L'accès au cluster ANQ est activé via l'injection de réseau virtuel à partir d'un sous-réseau dédié dans le locataire Azure du client, qui se connecte au cluster ANQ dédié du client dans le locataire Qumulo. Toutes les données du cluster ANQ sont accessibles uniquement via les interfaces réseau du sous-réseau délégué du client. Remarque : Qumulo n'a accès à aucune donnée sur aucune instance ANQ.

Cliquez ici pour télécharger un diagramme Visio haute résolution de la solution.

Flux de travail des solutions

Un projet de migration se compose de 3 étapes :

Étape 1 : Première synchronisation : déclencher le premier transfert de données et réaliser un premier instantané de la source. L'instantané est utilisé comme point de référence dans le temps. Le transfert copie ensuite les données du stockage source vers le stockage cible.

Étape 2 : Synchronisation incrémentielle : propage toutes les modifications apportées au stockage source (depuis la synchronisation incrémentielle précédente) au stockage cible.

Étape 3 : Synchronisation finale (Cutover) : terminer la migration des données vers le stockage cible tandis que l'accès en production aux données sur la plate-forme NAS source est interrompu.

Étape facultative 4 : synchronisations planifiées : Si les systèmes NAS existants restent utilisés pour des applications spécifiques du centre de données sur site, il est essentiel de garantir la cohérence des données entre le système NAS existant et l'ANQ. La fonction de synchronisation de Miria peut être utilisée pour garantir que toutes les modifications de données sur un système sont synchronisées avec l'autre.

Le serveur Miria gère les Miria Data Movers déployés. Les charges de travail NFS et les charges de travail SMB nécessitent des déploiements de système d'exploitation différents pour les Data Movers. Le serveur Miria lui-même peut être déployé sur un système d'exploitation Linux ou Windows.
Les Data Movers peuvent être combinés au sein de pools Linux ou de pools Windows pour ajouter de la redondance (en cas de panne d'un Data Mover), augmenter le débit global ou raccourcir le temps de migration pour les grands ensembles de données.
L’accès entre les Data Movers sur site et l’environnement basé sur Azure peut s’effectuer via Azure VPN Gateway ou via une connexion ExpressRoute.
Le service Atempo Miria doit s'exécuter à l'aide d'un compte d'administrateur ou d'utilisateur de niveau root à la fois sur l'ancien système NAS et sur l'instance ANQ pour garantir un accès complet à tous les fichiers.
Des connexions API aux anciens stockages NAS et ANQ sont nécessaires pour activer la prise en charge de FastScan, SnapStor et des options intégrées de gestion des instantanés. () L'intégration de stockage avancée permet la réplication des exportations NFS ou des partages SMB et de leurs paramètres de configuration respectifs de l'ancien NAS vers le cluster ANQ avec la tâche de synchronisation. Outre Qumulo, les fonctionnalités FastScan sont disponibles lors de la migration depuis les systèmes de fichiers partagés Isilon, OceanStor, Nutanix NAS et GPFS.
Si l'ancien système NAS inclut à la fois des données SMB et NFS, il est possible de migrer des ensembles de données incluant des autorisations NTFS et POSIX. Utilisez des Data Movers à partir d’un pool Windows lors du déplacement de données SMB. Pour les fichiers sources partagés via NFS, les Data Movers doivent être sélectionnés dans un pool Linux. Les autorisations inter-protocoles, dans lesquelles un seul ensemble de données est partagé via les autorisations POSIX et ACL, peuvent nécessiter une étape supplémentaire pour réussir la migration. La synchronisation initiale (et la migration de la structure des autorisations POSIX des données) peut être effectuée à l'aide de Data Movers dans un pool Linux. En raison de la moindre surcharge du protocole NFS, l’approche NFS-first est généralement la méthode la plus rapide. Par la suite, une tâche supplémentaire peut être créée sur les Data Movers d'un pool Windows pour migrer les autorisations NTFS pour les mêmes données.
Sélectionnez un ou plusieurs répertoires sources du NAS existant et désignez leurs cibles sur ANQ. Veillez à exclure les définitions de répertoire pour les répertoires .snapshot et .snapshots.
Type de synchronisation – Echo applique la synchronisation du répertoire source au répertoire de destination.
La parallélisation raccourcit la fenêtre de migration en créant plusieurs flux simultanés pour migrer les données. Une nouvelle tâche démarre chaque fois qu'un seuil est atteint pendant le processus de numérisation. Un seuil peut être une limite de temps, une taille de sélection de fichier, un nombre de fichiers ou une combinaison de ceux-ci.
Sélectionnez l'algorithme de hachage correct pour les contrôles d'intégrité en fonction des besoins en matière de performances et de prévention des collisions.
Testez la connectivité client aux partages SMB ou/et aux exportations NFS sur ANQ.
Les tâches sont des tâches automatiques que vous pouvez planifier ou démarrer manuellement. Une tâche définit la portée d'une tâche Miria, la source et la destination des données qu'elle traite, ainsi que sa planification. Le calendrier définit les heures auxquelles les tâches automatiques démarrent entre l'ancien système NAS et ANQ.

Composantes

L'architecture de la solution comprend les composants suivants :

Service de fichiers évolutif natif Azure Qumulo cluster pour fournir un stockage de données consolidé pour tout le contenu créé à l'aide de la solution
Atempo Miria pour migrer les données du stockage local vers ANQ.
- Service Miria
- Miria Data Movers (agent) (processeur minimum 16 cœurs, 32 Go de mémoire et réseau 10 GbE)
Azure ExpressRoute (facultatif) Passerelle VPN Azure
Injection de réseau virtuel Azure
Réseau virtuel Azure
NAS hérité (par exemple, Dell EMC Isilon / PowerScale sur site)

Considérations

La migration de fichiers vers Azure Native Qumulo Scalable File Service avec Atempo Miria doit inclure les considérations suivantes dans leurs processus de planification et de conception.

Cas d'utilisation potentiels

Migration de données: La migration vers le cloud est le processus de déplacement d'applications et de données depuis des systèmes sur site vers un cloud public. Cependant, les options NAS existantes sur le marché ont des fonctionnalités ou une évolutivité limitées sur le cloud public. ANQ offre des fonctionnalités et une évolutivité améliorées sur Azure. Atempo Miria facilite la migration performante de vos données de fichiers vers ANQ tout en garantissant l'intégrité des données.
Reprise après sinistre: ANQ peut être utilisé comme site secondaire de reprise après sinistre, permettant aux organisations de répliquer leurs données vers le cloud. En cas de sinistre affectant le site principal sur site, les organisations peuvent basculer vers les données répliquées sur ANQ et poursuivre leurs opérations avec un minimum de perturbations. La fonctionnalité Atempo Miria FastScan détecte rapidement les fichiers à répliquer à partir d'un ancien NAS source.

Évolutivité et performances

Lors de la planification d'une solution de migration de données utilisant Qumulo et Atempo Miria, les architectes d'entreprise et autres parties prenantes peuvent souhaiter inclure les éléments suivants dans la solution :

Capacité et croissance – ANQ évolue facilement à la demande, vous permettant d'ajouter autant de capacité que nécessaire simplement en créant ou en migrant des données.
Les outils Atempo vous permettent de migrer les données de fichiers, de dossiers et d'ACL d'un ancien NAS vers ANQ avec une automatisation complète, un équilibrage de charge et des rapports aux niveaux macro et micro. Nous pouvons faire évoluer la puissance de nos outils grâce aux Atempo Miria Data Movers multi-streaming et multi-thread.
Débit – ANQ vous permet d'ajuster le débit à la demande par incréments de 1 Go/s pour garantir la disponibilité du débit dont vous avez besoin à tout moment.
Avec le logiciel Miria, les taux de transfert entre le stockage source et cible peuvent approcher la vitesse du réseau de connexion de bout en bout. Les performances peuvent être affectées par le type et la disposition des données : un grand nombre de petits fichiers ou un nombre élevé de répertoires dans un ensemble de données donné peuvent ralentir le débit global en augmentant la charge sur le Data Mover.

Sécurité

Le service de fichiers évolutif natif Azure Qumulo se connecte à votre environnement Azure à l’aide de l’injection de réseau virtuel, qui est entièrement routable, sécurisée et visible uniquement par vos ressources. Aucune coordination de l'espace IP entre votre environnement et le cluster ANQ n'est requise.

Des précautions doivent être prises lors de la conception et de la mise en œuvre pour garantir que la sécurité de la solution est conforme aux meilleures pratiques du secteur, aux politiques internes de l'entreprise et à toutes les exigences légales/réglementaires applicables.

Pour tous les autres aspects de la solution, les clients sont responsables de la planification, de la mise en œuvre et du maintien de la sécurité de la solution afin de satisfaire à toutes les exigences légales et réglementaires applicables à leur secteur et à leur emplacement.

Optimisation des coûts

L'optimisation des coûts fait référence à la minimisation des dépenses inutiles tout en maximisant la valeur des coûts réels encourus par la solution. Pour plus d'informations, visitez le Présentation du pilier Optimisation des coûts .

Le modèle de paiement à l'utilisation d'Azure vous permet d'optimiser les coûts en faisant évoluer les ressources pour utiliser la capacité en cas de besoin. Cela vous aide à gérer les coûts efficacement, sans surprovisionner les ressources.
Le coût de Qumulo dépend de la quantité de données sur le service de fichiers évolutif natif Azure Qumulo et du niveau de performances. Pour plus de détails, voir Tarification des services de fichiers évolutifs natifs Azure Qumulo.
L'architecture de Miria est conçue pour être évolutive et pour fournir des flux de données parallélisés. Lorsque vous avez besoin de plus de puissance et de performances supérieures, il vous suffit d'ajouter un autre Data Mover pour répondre à vos besoins.

Disponibilité

Différentes organisations peuvent avoir des exigences différentes en matière de disponibilité et de récupération, même pour la même application. Le terme disponibilité fait référence à la capacité de la solution à fournir en permanence le service au niveau de performance pour lequel elle a été conçue.

Disponibilité des données et du stockage

Le déploiement ANQ inclut une redondance intégrée au niveau des données pour garantir la disponibilité des données en cas de panne du matériel sous-jacent. Pour protéger les données contre la suppression accidentelle, la corruption, les logiciels malveillants ou toute autre cyberattaque, ANQ inclut la possibilité de prendre des instantanés à n'importe quel niveau du système de fichiers pour créer des copies ponctuelles en lecture seule de vos données.

ANQ prend en charge la réplication des données vers une instance de stockage Qumulo secondaire, qui peut être hébergée dans Azure, dans un autre cloud ou sur site. ANQ est compatible avec les solutions de sauvegarde basées sur des fichiers pour permettre la protection des données externes.

Stabilité et continuité du service

En fonction de la portée et du caractère critique des données migrées, une approche progressive peut être appropriée dans certaines circonstances. Plutôt que de migrer l'intégralité du contenu de votre stockage existant en une seule opération, une approche progressive impliquerait de migrer un flux de travail à la fois, en utilisant des ensembles de données plus petits et moins critiques pour développer et finaliser le processus avant de passer à des données plus volumineuses et plus importantes.

Un avantage supplémentaire de cette approche est que les problèmes pouvant survenir lors d’une opération de migration sont limités à un seul flux de travail ou ensemble de données.