Migration vers Azure Native Qumulo Scalable File Service avec Komprise

Cet article décrit une solution qui utilise Komprise pour migrer des données de fichiers depuis des systèmes NAS tiers vers Azure Native Qumulo (ANQ). Komprise fournit des services de migration de fichiers agnostiques à l'échelle massive dans des environnements NAS hétérogènes.

Migration vers Azure Native Qumulo Scalable File Service avec Komprise

La migration de fichiers entre différentes plateformes de stockage et architectures de systèmes de fichiers peut être un processus complexe. Cet article décrit une solution qui utilise Komprise pour migrer des données de fichiers depuis des systèmes NAS tiers vers Azure Native Qumulo (ANQ). Komprise fournit des services de migration de fichiers agnostiques à l'échelle massive dans des environnements NAS hétérogènes. Cette solution facilite la migration transparente des données de fichiers entre des plateformes de stockage mixtes, en fournissant un mouvement de données à haute performance, en assurant l'intégrité des données et en vous permettant de mener à bien des projets de migration de données à partir de votre NAS existant vers une instance ANQ.

Avantages de la migration vers l'ANQ avec Komprise

Architecture

La solution est déployée sur Azure avec des options de performance configurables et combine la plateforme de données de fichiers à l'échelle du gigaoctet de Qumulo et Komprise, comme le montre le diagramme suivant.

Cliquez sur ici pour télécharger un diagramme Visio haute résolution de la solution.

Architecture de la solution

Cette solution est déployée dans un locataire Azure dans une seule région Azure avec des ressources client, y compris une passerelle réseau virtuelle.
Komprise se distingue par ses capacités d'analyse dynamique des données, d'archivage transparent et de migration directe des données qui permettent un accès ininterrompu aux données chaudes et aux activités des utilisateurs. La technologie HyperTransfer de Komprise amplifie encore ces capacités, en assurant des transferts de données à grande vitesse, ce qui est crucial pour les migrations à grande échelle et les tâches de gestion des données.
Komprise maintient également la disponibilité et la fiabilité des données au cours d'une migration active en travaillant avec les plates-formes de stockage pour comparer continuellement le stockage source et cible à la recherche de changements à appliquer, ainsi qu'en incluant un mécanisme de hachage pour valider que les données ont été stockées et relues correctement au fur et à mesure qu'elles sont déplacées.
La gestion avec Komprise se fait via le Komprise Director, une console de gestion qui orchestre les activités de déplacement des données. Elle fournit un contrôle centralisé, permettant aux utilisateurs de gérer, d'analyser, de migrer et de surveiller les activités dans l'ensemble du paysage de stockage du client, y compris sur un ou plusieurs sites.
Au cœur de l'architecture Komprise se trouvent les observateurs et les proxys Komprise. Il s'agit des moteurs de déplacement des données qui peuvent être placés stratégiquement pour garantir des performances élevées pendant les opérations de gestion et de migration des données. En règle générale, les observateurs sont placés à proximité des systèmes de stockage existants pour un accès local rapide, ce qui favorise les migrations locales. Pour la migration vers le cluster Azure ANQ, Komprise HyperTransfer utilise des Proxies hébergés dans le locataire Azure pour gérer l'écriture et la validation des données localement dans Azure. Cette architecture permet un transfert efficace des données sur le réseau étendu (WAN), ce qui réduit considérablement le temps de latence par rapport aux outils de migration courants. Note : les données ne transitent que sur des réseaux sécurisés et gérés directement par le client.
L'instance ANQ est déployée dans le locataire Azure de Qumulo.
L'accès au cluster ANQ est possible via l'injection VNet à partir d'un sous-réseau dédié dans le locataire Azure du client, qui se connecte au service ANQ du client dans le locataire Qumulo. Toutes les données de l'ANQ sont accessibles uniquement via les interfaces réseau du sous-réseau délégué du client. Remarque : Qumulo n'a accès à aucune donnée sur une instance de service ANQ.
La technologie HyperTransfer intégrée à la suite Komprise est essentielle pour accélérer le processus de déplacement des données. Elle optimise l'utilisation du réseau pour transférer rapidement de grands ensembles de données, ce qui réduit considérablement le temps nécessaire aux migrations et aux synchronisations de données. Cette efficacité est essentielle pour les organisations qui cherchent à minimiser les temps d'arrêt et à tirer rapidement parti de l'évolutivité et de la flexibilité du cloud.

Flux de travail de la solution

Un projet de migration se compose de 5 étapes :

Étape 1 : Analyse des données

Komprise fournit un aperçu rapide de vos données non structurées sur toutes les plates-formes de stockage grâce à des capacités d'analyse de plan et d'analyse approfondie. L'analyse de plan donne immédiatement des résultats sommaires avec les graphiques d'utilisation et les pages d'activités d'analyse qui mettent en évidence les problèmes importants du système de fichiers que les clients voudront connaître avant de déplacer des données. L'analyse approfondie permet aux clients d'approfondir la compréhension de leurs données grâce à des capacités d'interrogation personnalisées et des graphiques permettant de trouver des ensembles de données sélectionnés, des fichiers orphelins et bien plus encore.

La page d'activité d'analyse de l'outil Komprise permet d'identifier les problèmes potentiels en amont, avant de déplacer les données. Les problèmes potentiels à surveiller avant d'entamer la séquence de migration peuvent être les suivants :

Connaître les statistiques relatives aux fichiers et aux répertoires et identifier tout problème d'accès restreint ou de résolution
Les noms de chemin et de fichier sont-ils excessivement longs, contiennent-ils des caractères non valides ?
Identifier un très grand nombre de petits fichiers, s'il y a un grand nombre de répertoires vides
Identifier les actions potentiellement peu performantes
Sachez d'emblée s'il y a des fichiers épars ou si des liens symboliques cycliques traversent les répertoires de connexion

Étape 2 : Évaluation des performances du réseau et du stockage

Les migrations ne progressent que si l'infrastructure le permet. Il est essentiel de connaître les performances combinées du réseau et des systèmes de stockage. Mesurer séparément les performances du réseau et du stockage peut ne pas révéler des limites cachées dans la configuration des ports, le routage, la surcharge du système de fichiers, etc.

Les migrations peuvent imposer une charge de travail atypique et très lourde au réseau du client. Komprise sait qu'il est important d'évaluer les performances combinées du réseau et du stockage afin d'identifier tout problème de connectivité entre le système NAS existant et l'instance ANQ avant de déplacer les données.

L'outil Komprise Assessment of Customer Environment (ACE) est facile à déployer et à utiliser. L'outil simule une série de scénarios de déplacement de données entre les partages NAS traditionnels sur place et l'instance ANQ de destination. Il effectue un ensemble d'opérations de lecture, d'écriture et de somme de contrôle, et collecte les chiffres de performance globale qui en résultent. Ces résultats peuvent mettre en évidence les risques potentiels en matière de performances et les goulets d'étranglement de l'infrastructure à examiner pour s'assurer que la topologie du réseau est prête.

Étape 3 : Migration : Synchronisation initiale

Le processus de migration débute avec la saisie par Komprise d'une analyse approfondie de l'ensemble des données à migrer, et effectue le mouvement initial des données du système NAS existant vers la cible de l'ANQ. Cette première itération établit une base fondamentale et est essentielle pour le transfert initial et substantiel des données, qui se produit sans perturber l'accès des utilisateurs aux données sources. Komprise s'appuie sur la technologie HyperTransfer pour garantir un processus de transfert optimisé en ajustant dynamiquement la parallélisation en fonction des ressources Observer et Proxy disponibles et de la bande passante du réseau.

Étape 4 : Migration : Itérations incrémentales

Dans cette phase, les algorithmes intelligents de Komprise entrent en jeu pour suivre et transférer uniquement les changements apportés aux données sources depuis la dernière synchronisation. Cette approche est vitale pour maintenir le stockage cible à jour avec un minimum d'interruption du réseau. Elle reflète une meilleure compréhension de l'activité des données et garantit un processus de synchronisation plus précis et plus efficace. Considérez cette itération comme un essai en vue d'une conversion finale. Vous savez où vous en êtes grâce à la comparaison complète des fichiers système, qui indique les erreurs éventuelles, la durée totale des transferts, la quantité de données déplacées, etc. Ces informations permettent de planifier le moment et la durée de la conversion finale.

Étape 5 : Migration : Itération finale (Cutover)

Cette phase cruciale marque l'achèvement de la migration, Komprise transférant toutes les données restantes vers le stockage cible. Afin d'assurer une réplication exacte de la source au moment du transfert, l'accès en écriture au NAS source est temporairement suspendu pour une dernière vérification du système de fichiers. Cette étape souligne l'importance d'une planification et d'une coordination approfondies pour minimiser l'impact sur les opérations.

Capacités de Komprise

Voici quelques éléments que Komprise inclut dans toutes les migrations.

Le Komprise Cloud Director supervise le déploiement et la gestion des processus de gestion des données Komprise. Cette interface de gestion unique aide les clients à gérer de multiples opérations de migration dans l'ensemble de l'organisation. À partir d'une seule console, vous pouvez lancer des migrations, programmer des migrations pour un démarrage ultérieur, voir un suivi clair de l'état indiquant le calendrier et le mouvement des données entre les systèmes NAS hérités et l'ANQ, suivre les progrès, collecter des rapports d'avancement, examiner les problèmes et planifier les coupures.
Komprise met intelligemment en commun les ressources afin de répartir la charge de travail globale et d'assurer la redondance, améliorant ainsi le débit et l'efficacité, ce qui est essentiel pour réduire le temps nécessaire à la migration de grands ensembles de données. Komprise peut dynamiquement augmenter les ressources existantes, ainsi que les étendre, en ajoutant des observateurs et des proxies supplémentaires.
Il prend en charge les transferts de données sécurisés avec un cryptage en vol et en utilisant la connectivité du client entre les environnements sur site et les ressources basées sur Azure, facilitée par Azure VPN Gateway ou ExpressRoute. Combinée à la technologie HyperTransfer de Komprise, cette solution garantit des transferts accélérés et sécurisés ainsi qu'un déplacement efficace des données.
Komprise doit être exécuté en utilisant un utilisateur Active Directory sur le système NAS hérité et sur l'instance ANQ afin de garantir un accès complet à tous les fichiers pour les partages SMB et d'assurer le transfert des autorisations NTFS et ACL.
Si le système NAS source comprend à la fois des données SMB et NFS, il est possible de migrer des ensembles de données qui comprennent des permissions NTFS et POSIX. Lors de la manipulation de systèmes NAS hérités contenant à la fois des données SMB et NFS, Komprise peut gérer les migrations tout en préservant les permissions NTFS et POSIX.
Les permissions inter-protocoles, dans lesquelles un seul jeu de données est partagé via des permissions POSIX et ACL, peuvent nécessiter une étape supplémentaire pour une migration réussie. Pour la synchronisation initiale, l'approche NFS d'abord (et la migration de la structure des permissions POSIX des données) est généralement la méthode la plus rapide en raison de la faible surcharge du protocole NFS. Par la suite, une tâche de migration supplémentaire peut être créée pour appliquer les permissions NTFS aux mêmes données.
Komprise simplifie la sélection des répertoires sources des anciens systèmes NAS pour la migration vers l'ANQ, en excluant intelligemment les répertoires spécifiques au système tels que .snapshot ou .snapshots afin d'assurer un transfert propre.
Komprise utilise la parallélisation pour accélérer le processus de migration, en créant plusieurs flux de données simultanés. Ce processus est optimisé par la technologie HyperTransfer, qui s'ajuste dynamiquement pour maximiser l'utilisation de la bande passante disponible et minimiser les fenêtres de migration.
Komprise garantit l'intégrité des données tout au long du processus de migration, en utilisant des algorithmes de hachage appropriés pour vérifier les données sans sacrifier la performance.

Composants

L'architecture de la solution comprend les éléments suivants :

Azure Native Qumulo Scalable File Service (service de fichiers évolutifs) cluster pour fournir un stockage de données consolidé pour tous les contenus créés à l'aide de la solution
Komprise Cloud Director pour migrer les données du stockage local vers l'ANQ.
- Observateurs
- Serveurs proxy - consistant en Komprise Proxy Services fonctionnant sur Windows Server avec (minimum 16 core CPU, 32 GB memory, and 10 GbE network)
Azure ExpressRoute et/ou Passerelle VPN Azure
Injection de réseaux virtuels Azure
Réseau virtuel Azure
NAS traditionnels (par exemple, Dell EMC Isilon / PowerScale sur site)

Considérations

La migration des fichiers vers Azure Native Qumulo Scalable File Service avec Komprise devrait inclure les considérations suivantes dans leurs processus de planification et de conception.

Cas d'utilisation potentiels

Migration des données : La migration vers le nuage est le processus qui consiste à déplacer les applications et les données des systèmes sur site vers un nuage public. Cependant, les options NAS existantes sur le marché ont des fonctionnalités ou une évolutivité limitées sur le cloud public. L'ANQ offre des fonctionnalités et une évolutivité accrues sur Azure. Komprise facilite la migration haute performance de vos données de fichiers vers ANQ tout en garantissant l'intégrité des données.
Reprise après sinistre : L'ANQ peut être utilisé comme site secondaire de reprise après sinistre, permettant aux entreprises de répliquer leurs données dans le nuage. En cas de sinistre affectant le site principal sur site, les entreprises peuvent basculer vers les données répliquées sur ANQ et poursuivre leurs activités avec un minimum d'interruption. Komprise détecte rapidement les fichiers à répliquer à partir d'un NAS patrimonial source.
Tiering : Les capacités d'étagement de Komprise offrent une solution transparente pour la gestion et l'optimisation du stockage des fichiers en analysant intelligemment et en déplaçant les données inactives ou froides vers l'ANQ, en tirant parti de la technologie de déplacement transparent (TMT) de Komprise. Cette technologie garantit que les données sont déplacées sans perturber l'accès des utilisateurs, en maintenant l'accès natif aux fichiers et en permettant l'accès direct à l'ANQ. Sa valeur unique réside dans sa capacité à réduire les coûts de stockage et de sauvegarde, à simplifier la gestion des données grâce à des tableaux de bord intuitifs et à l'intégration de l'API, et à fournir un chemin flexible et sans verrouillage vers le nuage, ce qui le rend très utile pour les clients qui visent à gérer efficacement la croissance des données et les coûts de stockage dans le nuage.

Évolutivité et performance

Lors de la planification d'une solution de migration de données utilisant Qumulo et Komprise, les architectes d'entreprise et autres parties prenantes peuvent souhaiter inclure les éléments suivants dans la solution :

Capacité et croissance - L'ANQ s'adapte facilement à la demande, ce qui vous permet d'ajouter autant de capacité que nécessaire simplement en créant ou en migrant des données.
Komprise vous permet de migrer des fichiers, des dossiers et des données ACL d'un ancien NAS vers l'ANQ avec une automatisation complète, un équilibrage de la charge et des rapports de niveau macro et micro. Nous pouvons faire évoluer la puissance de nos outils grâce aux observateurs et aux serveurs mandataires multi-flux et multi-threading de Komprise.
Débit - L'ANQ vous permet d'ajuster le débit à la demande par incréments de 1GB/s afin de garantir la disponibilité du débit dont vous avez besoin à tout moment.
Avec la Komprise, les taux de transfert entre le stockage source et le stockage cible peuvent approcher la vitesse du réseau de la connexion de bout en bout. Les performances peuvent être affectées par le type et la disposition des données : un grand nombre de petits fichiers ou un nombre élevé de répertoires dans un ensemble de données donné peuvent ralentir le débit global en augmentant la charge sur les machines Proxy. En outre, l'utilisation de la technologie HyperTransfer de Komprise à son maximum pour accélérer les transferts de données.

Sécurité

Le service de fichiers évolutifs natif Azure Qumulo se connecte à votre environnement Azure à l'aide de l'injection VNet, qui est entièrement routable, sécurisée et visible uniquement par vos ressources. Aucune coordination de l'espace IP entre votre environnement et le cluster ANQ n'est nécessaire.

Lors de la conception et de la mise en œuvre, il convient de veiller à ce que la sécurité de la solution soit conforme aux meilleures pratiques du secteur, aux politiques internes de l'entreprise et à toutes les exigences légales/réglementaires applicables.

Pour tous les autres aspects de la solution, les clients sont responsables de la planification, de la mise en œuvre et du maintien de la sécurité de la solution afin de satisfaire à toutes les exigences légales et réglementaires applicables à leur secteur d'activité et à leur lieu d'implantation.

Optimisation des coûts

L'optimisation des coûts consiste à minimiser les dépenses inutiles tout en maximisant la valeur des coûts réels encourus par la solution. Pour plus d'informations, visitez le site Aperçu du pilier "Optimisation des coûts page.

Le modèle de paiement à l'utilisation d'Azure vous permet d'optimiser les coûts en adaptant les ressources pour utiliser la capacité lorsque cela est nécessaire. Cela vous aide à gérer les coûts de manière efficace, sans surprovisionner les ressources.
Le coût de Qumulo dépend de la quantité de données sur Azure Native Qumulo Scalable File Service et du niveau de performance. Pour plus de détails, voir Prix des services de fichiers évolutifs Azure Native Qumulo.
L'architecture de Komprise est conçue pour être évolutive et pour fournir des flux de données parallélisés. Lorsque vous avez besoin de plus de puissance et de performance, il vous suffit d'ajouter un autre Observer ou Proxy pour répondre à vos besoins et ne prendre en compte que les coûts des ressources de cette VM.

Disponibilité

Des organisations différentes peuvent avoir des exigences différentes en matière de disponibilité et de capacité de récupération, même pour la même application. Le terme de disponibilité fait référence à la capacité de la solution à fournir en permanence le service au niveau de performance pour lequel il a été conçu.

Disponibilité des données et du stockage

Le déploiement de l'ANQ comprend une redondance intégrée au niveau des données pour garantir la disponibilité des données en cas de défaillance du matériel sous-jacent. Pour protéger les données contre la suppression accidentelle, la corruption, les logiciels malveillants ou toute autre cyberattaque, l'ANQ permet de prendre des instantanés à n'importe quel niveau du système de fichiers afin de créer des copies ponctuelles en lecture seule de vos données.

L'ANQ prend en charge la réplication des données vers une instance de stockage Qumulo secondaire, qui peut être hébergée dans Azure, dans un autre nuage ou sur site. L'ANQ est compatible avec les solutions de sauvegarde basées sur des fichiers pour permettre une protection externe des données.

Stabilité et continuité des services

En fonction de l'étendue et de la criticité des données à migrer, une approche progressive peut s'avérer appropriée dans certaines circonstances. Plutôt que de migrer l'intégralité du contenu de votre système de stockage existant en une seule opération, une approche progressive consisterait à migrer un flux de travail à la fois, en utilisant des ensembles de données plus petits et moins critiques pour développer et finaliser le processus avant de passer à des données plus importantes et plus volumineuses.

L'avantage supplémentaire de cette approche est que les problèmes qui peuvent survenir lors d'une opération de migration sont limités à un seul flux de travail ou à un seul ensemble de données.