Migrer vers Azure Native Qumulo avec Atempo Miria

Cette solution facilite la migration transparente des données de fichiers entre des plates-formes de stockage mixtes, en fournissant des mouvements de données de haute performance, en garantissant l'intégrité des données et en vous permettant de mener à bien des projets de migration de données de votre ancien NAS vers une instance ANQ.

Migration vers Azure Native Qumulo Scalable File Service avec Atempo Miria

La migration de fichiers entre différentes plateformes de stockage et architectures de systèmes de fichiers peut être un processus complexe. Cet article décrit une solution qui utilise Atempo Miria pour migrer des données de fichiers depuis des systèmes NAS tiers vers Azure Native Qumulo (ANQ). Atempo Miria fournit des services de migration de fichiers agnostiques à grande échelle dans des environnements NAS hétérogènes. Cette solution facilite la migration transparente des données de fichiers entre des plateformes de stockage mixtes, en fournissant des mouvements de données de haute performance, en assurant l'intégrité des données, et en vous permettant de mener à bien des projets de migration de données depuis votre ancien NAS vers une instance ANQ.

Avantages de la migration vers l'ANQ avec Atempo Miria

Architecture

La solution est déployée sur Azure avec des options de performance configurables et combine la plateforme de données de fichiers Azure Native Qumulo à l'échelle du gigaoctet et Atempo Miria, comme le montre le diagramme suivant.

Architecture de la solution

Cette solution est déployée dans un locataire Azure dans une seule région Azure avec des ressources client, y compris une passerelle réseau virtuelle.
Atempo Miria offre plusieurs fonctionnalités clés, notamment le transfert de données optimisé, la parallélisation, le multithreading, la technologie FastScan pour l'identification rapide des modifications d'objets, les migrations automatiques de fichiers, les cycles de migration itératifs, les contrôles d'intégrité et les ajustements de performance. Il maintient également la fiabilité des données en comparant constamment le stockage source et le stockage cible, ainsi que la possibilité d'utiliser un mécanisme de hachage lors de la synchronisation.
Le serveur Miria est le composant central de gestion du processus de migration des données.
Les Data Movers d'Atempo Miria gèrent le mouvement des données et sont des composants clés pour la performance globale de l'opération de migration. Un ensemble de Data Movers est déployé à côté du système NAS existant. Un deuxième ensemble de Data Movers est dans le locataire Azure du client pour une performance optimale, leur permettant de pré-traiter et post-traiter les tâches sans aucun problème de latence.
Le cluster ANQ utilisé dans la solution est déployé dans le locataire Azure de Qumulo.
L'accès au cluster ANQ est activé via l'injection VNet à partir d'un sous-réseau dédié dans le locataire Azure du client, qui se connecte au cluster ANQ dédié du client dans le locataire Qumulo. Toutes les données du cluster ANQ sont accessibles uniquement via les interfaces réseau du sous-réseau délégué du client. Remarque : Qumulo n'a accès à aucune donnée sur une instance ANQ.

Qumulo : Architecture de référence Migrer versazurenativequmulo 1

Cliquez ici pour télécharger un diagramme Visio haute résolution de la solution.

Flux de travail de la solution

Un projet de migration comprend trois étapes :

Étape 1: Première synchronisation : lancer le transfert initial des données et réaliser un premier instantané de la source. L'instantané est utilisé comme point de référence dans le temps. Le transfert copie ensuite les données du stockage source vers le stockage cible.

Étape 2: Synchronisation incrémentale : propage toutes les modifications apportées au stockage source (depuis la précédente synchronisation incrémentielle) vers le stockage cible.

Étape 3: Synchronisation finale (Cutover) : terminer la migration des données vers le stockage cible alors que l'accès aux données sur la plate-forme NAS source est interrompu.

Optionnel Étape 4 : Synchronisations programmées : Si des systèmes NAS hérités restent utilisés pour des applications spécifiques de centre de données sur site, il est essentiel d'assurer la cohérence des données entre le système NAS hérité et l'ANQ. La fonction de synchronisation de Miria peut être utilisée pour s'assurer que tout changement de données sur un système est synchronisé avec l'autre.

Qumulo : Architecture de référence Migrer versazurenativequmulo 2

Le serveur Miria gère les Data Movers Miria déployés. Les charges de travail NFS et SMB nécessitent des déploiements de systèmes d'exploitation différents pour les Data Movers. Le serveur Miria lui-même peut être déployé sur Linux ou Windows OS.
Les Data Movers peuvent être combinés au sein de Pools Linux ou de Pools Windows afin d'ajouter de la redondance (en cas de défaillance d'un Data Mover), d'augmenter le débit global ou de raccourcir le temps de migration pour les grands ensembles de données.
L'accès entre les Data Movers sur site et l'environnement Azure peut se faire via Azure VPN Gateway ou via une connexion ExpressRoute.
Le service Atempo Miria doit être exécuté en utilisant un compte d'administrateur ou d'utilisateur de niveau racine à la fois sur le système NAS existant et sur l'instance ANQ afin de garantir un accès complet à tous les fichiers.
Les connexions API au stockage NAS et ANQ sont nécessaires pour permettre la prise en charge de FastScan, SnapStor et des options intégrées de gestion des instantanés. () L'intégration avancée du stockage permet la réplication des exportations NFS ou des partages SMB et de leurs paramètres de configuration respectifs du NAS existant vers le cluster ANQ avec la tâche de synchronisation. Outre Qumulo, les fonctions FastScan sont disponibles lors de la migration depuis Isilon, OceanStor, Nutanix NAS et les systèmes de fichiers partagés GPFS.
Si l'ancien système NAS comprend à la fois des données SMB et NFS, il est possible de migrer des ensembles de données qui comprennent des autorisations NTFS et POSIX. Utilisez les Data Movers d'un pool Windows lorsque vous déplacez des données SMB. Pour les fichiers sources partagés via NFS, les Data Movers doivent être sélectionnés dans un pool Linux. Les autorisations inter-protocoles, dans lesquelles un seul ensemble de données est partagé via des autorisations POSIX et ACL, peuvent nécessiter une étape supplémentaire pour une migration réussie. La synchronisation initiale (et la migration de la structure des autorisations POSIX des données) peut être effectuée à l'aide de Data Movers dans un pool Linux. En raison de la faible surcharge du protocole NFS, l'approche NFS d'abord est généralement la méthode la plus rapide. Par la suite, une tâche supplémentaire peut être créée sur les Data Movers dans un pool Windows pour migrer les autorisations NTFS pour les mêmes données.
Sélectionnez un ou plusieurs répertoires sources à partir du NAS hérité et désignez leurs cibles sur l'ANQ. Veillez à exclure les définitions des répertoires .snapshot et .snapshots.
Type de synchronisation - Echo applique la synchronisation du répertoire source au répertoire de destination.
La parallélisation raccourcit la fenêtre de migration en créant plusieurs flux simultanés pour migrer les données. Une nouvelle tâche démarre chaque fois qu'un seuil est atteint au cours du processus d'analyse. Un seuil peut être une limite de temps, une taille de sélection de fichiers, un nombre de fichiers ou une combinaison de ces éléments.
Sélectionnez l'algorithme de hachage approprié pour les contrôles d'intégrité en fonction des besoins en matière de performances et de prévention des collisions.
Testez la connectivité du client aux partages SMB et/ou aux exportations NFS sur l'ANQ.
Les tâches sont des travaux automatiques que vous pouvez planifier ou lancer manuellement. Une tâche définit la portée d'un travail Miria, la source et la destination des données qu'il traite, ainsi que sa planification. La planification définit les heures auxquelles les tâches automatiques démarrent entre le système NAS existant et l'ANQ.

Qumulo : Architecture de référence Migrer versazurenativequmulo 3

Composants

L'architecture de la solution comprend les éléments suivants :

Azure Native Qumulo Scalable File Service (service de fichiers évolutifs) cluster pour fournir un stockage de données consolidé pour tous les contenus créés à l'aide de la solution
Atempo Miria pour migrer les données du stockage local vers l'ANQ.
- Service Miria
- Miria Data Movers (Agent) (minimum 16 core CPU, 32 GB memory, and 10 GbE network)
Azure ExpressRoute et/ou Passerelle VPN Azure
Injection de réseaux virtuels Azure
Réseau virtuel Azure
NAS traditionnels (par exemple, Dell EMC Isilon / PowerScale sur site)

Considérations

La migration de fichiers vers Azure Native Qumulo Scalable File Service avec Atempo Miria doit inclure les considérations suivantes dans leurs processus de planification et de conception.

Cas d'utilisation potentiels

Migration des données : La migration vers le nuage est le processus qui consiste à déplacer les applications et les données des systèmes sur site vers un nuage public. Cependant, les options NAS existantes sur le marché ont des fonctionnalités ou une évolutivité limitées sur le cloud public. L'ANQ offre des fonctionnalités et une évolutivité accrues sur Azure. Atempo Miria facilite la migration haute performance de vos fichiers vers ANQ tout en garantissant l'intégrité des données.
Reprise après sinistre : L'ANQ peut être utilisé comme site de secours secondaire, permettant aux entreprises de répliquer leurs données dans le nuage. En cas de sinistre affectant le site principal sur site, les entreprises peuvent basculer sur les données répliquées sur ANQ et poursuivre leurs opérations avec un minimum d'interruption. La fonction FastScan d'Atempo Miria détecte rapidement les fichiers à répliquer à partir d'un ancien NAS source.

Évolutivité et performance

Lors de la planification d'une solution de migration de données utilisant Qumulo et Atempo Miria, les architectes d'entreprise et les autres parties prenantes peuvent vouloir inclure les éléments suivants dans la solution :

Capacité et croissance - L'ANQ s'adapte facilement à la demande, ce qui vous permet d'ajouter autant de capacité que nécessaire simplement en créant ou en migrant des données.
Les outils d'Atempo vous permettent de migrer des fichiers, des dossiers et des données ACL depuis des NAS existants vers des ANQ avec une automatisation complète, un équilibrage de charge et des rapports de niveau macro et micro. Nous pouvons faire évoluer la puissance de nos outils grâce aux Data Movers multi-flux et multi-threads d'Atempo Miria.
Débit - L'ANQ vous permet d'ajuster le débit à la demande par incréments de 1GB/s afin de garantir la disponibilité du débit dont vous avez besoin à tout moment.
Avec le logiciel Miria, les taux de transfert entre le stockage source et le stockage cible peuvent approcher la vitesse du réseau de la connexion de bout en bout. Les performances peuvent être affectées par le type et la disposition des données : un grand nombre de petits fichiers ou un nombre élevé de répertoires dans un ensemble de données donné peuvent ralentir le débit global en augmentant la charge sur le Data Mover.

Sécurité

Le service de fichiers évolutifs natif Azure Qumulo se connecte à votre environnement Azure à l'aide de l'injection VNet, qui est entièrement routable, sécurisée et visible uniquement par vos ressources. Aucune coordination de l'espace IP entre votre environnement et le cluster ANQ n'est nécessaire.

Lors de la conception et de la mise en œuvre, il convient de veiller à ce que la sécurité de la solution soit conforme aux meilleures pratiques du secteur, aux politiques internes de l'entreprise et à toutes les exigences légales/réglementaires applicables.

Pour tous les autres aspects de la solution, les clients sont responsables de la planification, de la mise en œuvre et du maintien de la sécurité de la solution afin de satisfaire à toutes les exigences légales et réglementaires applicables à leur secteur d'activité et à leur lieu d'implantation.

Optimisation des coûtsL'optimisation des coûts consiste à minimiser les dépenses inutiles tout en maximisant la valeur des coûts réels encourus par la solution. Pour plus d'informations, visitez le site Aperçu du pilier "Optimisation des coûts page.

Le modèle de paiement à l'utilisation d'Azure vous permet d'optimiser les coûts en adaptant les ressources pour utiliser la capacité lorsque cela est nécessaire. Cela vous aide à gérer les coûts de manière efficace, sans surprovisionner les ressources.
Le coût de Qumulo dépend de la quantité de données sur Azure Native Qumulo Scalable File Service et du niveau de performance. Pour plus de détails, voir Prix des services de fichiers évolutifs Azure Native Qumulo.
L'architecture de Miria est conçue pour être évolutive et pour fournir des flux de données parallélisés. Lorsque vous avez besoin de plus de puissance et de performances, il vous suffit d'ajouter un autre Data Mover pour répondre à vos besoins.

Disponibilité

Des organisations différentes peuvent avoir des exigences différentes en matière de disponibilité et de capacité de récupération, même pour la même application. Le terme de disponibilité fait référence à la capacité de la solution à fournir en permanence le service au niveau de performance pour lequel il a été conçu.

Disponibilité des données et du stockage

Le déploiement de l'ANQ comprend une redondance intégrée au niveau des données pour garantir la disponibilité des données en cas de défaillance du matériel sous-jacent. Pour protéger les données contre la suppression accidentelle, la corruption, les logiciels malveillants ou toute autre cyberattaque, l'ANQ permet de prendre des instantanés à n'importe quel niveau du système de fichiers afin de créer des copies ponctuelles en lecture seule de vos données.

L'ANQ prend en charge la réplication des données vers une instance de stockage Qumulo secondaire, qui peut être hébergée dans Azure, dans un autre nuage ou sur site. L'ANQ est compatible avec les solutions de sauvegarde basées sur des fichiers pour permettre une protection externe des données.

Stabilité et continuité des services

En fonction de l'étendue et de la criticité des données à migrer, une approche progressive peut s'avérer appropriée dans certaines circonstances. Plutôt que de migrer l'intégralité du contenu de l'ancien système de stockage en une seule opération, une approche progressive consisterait à migrer un flux de travail à la fois, en utilisant des ensembles de données plus petits et moins critiques pour développer et finaliser le processus avant de passer à des données plus importantes et plus volumineuses.

L'avantage supplémentaire de cette approche est que les problèmes pouvant résulter d'une opération de migration sont limités à un seul flux de travail ou à un seul ensemble de données.