Migration zum Azure Native Qumulo Scalable File Service mit Atempo Miria

Die Dateimigration zwischen verschiedenen Speicherplattformen und Dateisystemarchitekturen kann ein komplexer Prozess sein. In diesem Artikel wird eine Lösung beschrieben, die Atempo Miria verwendet, um Dateidaten von NAS-Systemen von Drittanbietern nach Azure Native Qumulo (ANQ) zu migrieren. Atempo Miria bietet plattformunabhängige Dateimigrationsdienste in großem Umfang in heterogenen NAS-Umgebungen. Diese Lösung erleichtert die nahtlose Migration von Dateidaten zwischen gemischten Speicherplattformen, bietet eine leistungsstarke Datenverschiebung, stellt die Datenintegrität sicher und ermöglicht Ihnen die erfolgreiche Durchführung von Datenmigrationsprojekten von Ihrem alten NAS zu einer ANQ-Instanz.

Vorteile der Migration zu ANQ mit Atempo Miria

Skalierbarkeit	Eine einzelne ANQ-Instanz kann in einem einzelnen Namespace auf eine Größe von Exabyte und mehr skaliert werden. Miria ist für die leistungsstarke Datenübertragung in unbegrenztem Umfang konzipiert und vereinfacht den Prozess der Migration von Milliarden von Dateien von jedem älteren NAS-System zu ANQ.
Kosteneffizienz	Die Gesamtbetriebskosten von ANQ sind mit lokalen Dateidiensten vergleichbar, selbst im großen Maßstab. Kunden zahlen nur für die Kapazität und den Durchsatz, die sie während der Nutzung nutzen. Mit seinen intelligenten Multithreading- und Parallelisierungsfunktionen macht Miria for Migration die Dateimigration reibungsloser und schneller, wodurch lange Migrationszyklen entfallen und Ihre Kosten optimiert werden. Durch das Hinzufügen oder Entfernen von Data Mover entstehen keine zusätzlichen Kosten für die Miria-Lizenzen.
Leistung	ANQ übertrifft andere cloudbasierte Dateiplattformen und bietet einen höheren Durchsatz und eine geringere Latenz für die meisten Arbeitslasten. ANQ unterstützt auch vorübergehend einen erhöhten Durchsatz, wenn dies für die Burst-Verarbeitung erforderlich ist. Überlegene Leistung mit Fastscan-Integration bei führenden Speicheranbietern zur Beschleunigung der Migration zu ANQ von Isilon/PowerScale, GPFS usw. Erhöhen oder verringern Sie den Gesamtdurchsatz, indem Sie einfach Data Mover zur Lösung hinzufügen oder entfernen. FastScan ermöglicht die schnelle Erkennung von Dateien, die seit dem letzten Migrationszyklus erstellt, geändert oder gelöscht wurden.
Globale Reichweite	ANQ kann in einer oder mehreren Azure-Regionen weltweit bereitgestellt werden. Miria Data Mover können für eine bessere Leistung in Ihrem Rechenzentrum und in derselben Azure-Region wie Ihr ANQ bereitgestellt werden.
Sicherheit und Compliance	Miria Migration sammelt Dateien mit den ihnen zugewiesenen Zugriffsberechtigungen und gewährleistet die vollständige Daten- und Zugriffsintegrität auf dem Zielspeicher und -protokoll.
Einfache Verwaltung	Detaillierte Berichte zu jedem Schritt des Prozesses ermöglichen die Berechnung des Migrationskonvergenzpunkts und geben Aufschluss darüber, wie viele Daten noch migriert werden müssen und welche Probleme gelöst werden müssen. Der Migrationsprozess kann mit derselben Lösung in den Datenschutz für den neuen Speicher umgewandelt werden.

Architektur

Die Lösung wird auf Azure mit konfigurierbaren Leistungsoptionen bereitgestellt und kombiniert die Exabyte-Dateidatenplattform von Azure Native Qumulo und Atempo Miria, wie im folgenden Diagramm dargestellt.

Lösungsarchitektur

Diese Lösung wird in einem Azure-Kundenmandanten in einer einzelnen Azure-Region mit Kundenressourcen bereitgestellt, einschließlich eines virtuellen Netzwerk-Gateways.
Atempo Miria bietet mehrere Schlüsselfunktionen, darunter optimierte Datenübertragung, Parallelisierung, Multithreading, FastScan-Technologie zur schnellen Identifizierung von Objektänderungen, automatische Dateimigrationen, iterative Migrationszyklen, Integritätsprüfungen und Leistungsanpassungen. Darüber hinaus wird die Datenzuverlässigkeit durch den ständigen Vergleich von Quell- und Zielspeicher sowie durch die Möglichkeit, während der Synchronisierung einen Hashing-Mechanismus zu verwenden, gewährleistet.
Der Miria Server ist die zentrale Verwaltungskomponente für den Datenmigrationsprozess.
Atempo Miria Data Movers verwalten die Datenbewegung und sind Schlüsselkomponenten für die globale Leistung des Migrationsvorgangs. Ein Satz Data Mover wird neben dem vorhandenen Legacy-NAS-System bereitgestellt. Ein zweiter Satz von Data Movern befindet sich für eine optimale Leistung im Azure-Mandanten des Kunden und ermöglicht ihm die Vor- und Nachbearbeitung von Aufträgen ohne Latenzprobleme.
Der in der Lösung verwendete ANQ-Cluster wird im Azure-Mandanten von Qumulo bereitgestellt.
Der Zugriff auf den ANQ-Cluster wird über VNet-Injection von einem dedizierten Subnetz im Azure-Mandanten des Kunden ermöglicht, das eine Verbindung zum dedizierten ANQ-Cluster des Kunden im Qumulo-Mandanten herstellt. Alle Daten im ANQ-Cluster sind nur über die Netzwerkschnittstellen im delegierten Subnetz des Kunden zugänglich. Hinweis: Qumulo hat keinen Zugriff auf Daten einer ANQ-Instanz.

Klicken Sie auf Kostenlos erhalten und dann auf Installieren. hier um ein hochauflösendes Visio-Diagramm der Lösung herunterzuladen.

Lösungsworkflow

Ein Migrationsprojekt besteht aus 3 Schritten:

Schritt 1: Erste Synchronisierung: Starten Sie die erste Datenübertragung und erstellen Sie einen ersten Snapshot der Quelle. Der Schnappschuss wird als Referenzzeitpunkt verwendet. Bei der Übertragung werden dann die Quellspeicherdaten in den Zielspeicher kopiert.

Schritt 2: Inkrementelle Synchronisierung: Gibt alle am Quellspeicher vorgenommenen Änderungen (seit der vorherigen inkrementellen Synchronisierung) an den Zielspeicher weiter.

Schritt 3: Endgültige Synchronisierung (Cutover): Schließen Sie die Datenmigration zum Zielspeicher ab, während der Produktionszugriff auf Daten auf der Quell-NAS-Plattform angehalten wird.

Optionaler Schritt 4: Geplante Synchronisierungen: Wenn ältere NAS-Systeme weiterhin für bestimmte lokale Rechenzentrumsanwendungen verwendet werden, ist es wichtig, die Datenkonsistenz zwischen dem alten NAS-System und ANQ sicherzustellen. Mithilfe der Synchronisierungsfunktion von Miria kann sichergestellt werden, dass alle Datenänderungen auf einem System mit dem anderen synchronisiert werden.

Der Miria-Server verwaltet die bereitgestellten Miria Data Mover. NFS-Workloads und SMB-Workloads erfordern unterschiedliche Betriebssystembereitstellungen für die Data Mover. Der Miria-Server selbst kann auf Linux- oder Windows-Betriebssystemen bereitgestellt werden.
Data Mover können innerhalb von Linux-Pools oder Windows-Pools kombiniert werden, um Redundanz zu schaffen (im Falle eines Ausfalls auf einem Data Mover), den Gesamtdurchsatz zu erhöhen oder die Migrationszeit für große Datensätze zu verkürzen.
Der Zugriff zwischen den lokalen Data Movern und der Azure-basierten Umgebung kann über Azure VPN Gateway oder über eine ExpressRoute-Verbindung erfolgen.
Der Atempo Miria-Dienst sollte mit einem Administrator- oder Root-Benutzerkonto sowohl auf dem alten NAS-System als auch auf der ANQ-Instanz ausgeführt werden, um vollen Zugriff auf alle Dateien zu gewährleisten.
API-Verbindungen zu älteren NAS- und ANQ-Speichern sind erforderlich, um die Unterstützung für FastScan, SnapStor und integrierte Snapshot-Verwaltungsoptionen zu ermöglichen. () Die erweiterte Speicherintegration ermöglicht die Replikation der NFS-Exporte oder SMB-Freigaben und ihrer jeweiligen Konfigurationseinstellungen vom Legacy-NAS zum ANQ-Cluster mit der Synchronisierungsaufgabe. Neben Qumulo stehen FastScan-Funktionen bei der Migration von gemeinsam genutzten Dateisystemen Isilon, OceanStor, Nutanix NAS und GPFS zur Verfügung.
Wenn das alte NAS-System sowohl SMB- als auch NFS-Daten enthält, ist es möglich, Datensätze zu migrieren, die NTFS- und POSIX-Berechtigungen enthalten. Verwenden Sie Data Mover aus einem Windows-Pool, wenn Sie SMB-Daten verschieben. Für über NFS freigegebene Quelldateien sollten die Data Mover aus einem Linux-Pool ausgewählt werden. Für protokollübergreifende Berechtigungen, bei denen ein einzelner Datensatz sowohl über POSIX- als auch über ACL-Berechtigungen gemeinsam genutzt wird, ist für eine erfolgreiche Migration möglicherweise ein zusätzlicher Schritt erforderlich. Die anfängliche Synchronisierung (und Migration der POSIX-Berechtigungsstruktur der Daten) kann mithilfe von Data Movern in einem Linux-Pool durchgeführt werden. Aufgrund des geringeren Overheads des NFS-Protokolls ist der NFS-First-Ansatz normalerweise die schnellere Methode. Anschließend kann auf den Data Movern in einem Windows-Pool eine zusätzliche Aufgabe erstellt werden, um die NTFS-Berechtigungen für dieselben Daten zu migrieren.
Wählen Sie ein oder mehrere Quellverzeichnisse von älteren NAS aus und legen Sie deren Ziele auf ANQ fest. Achten Sie darauf, Verzeichnisdefinitionen für die Verzeichnisse .snapshot und .snapshots auszuschließen.
Synchronisierungstyp – Echo wendet die Synchronisierung vom Quellverzeichnis zum Zielverzeichnis an.
Die Parallelisierung verkürzt das Migrationsfenster, indem mehrere gleichzeitige Streams zur Migration der Daten erstellt werden. Jedes Mal, wenn während des Scanvorgangs ein Schwellenwert erreicht wird, wird ein neuer Auftrag gestartet. Ein Schwellenwert kann ein Zeitlimit, eine Dateiauswahlgröße, eine Anzahl von Dateien oder eine Kombination davon sein.
Wählen Sie den richtigen Hashing-Algorithmus für Integritätsprüfungen entsprechend den Anforderungen an Leistung und Kollisionsverhinderung.
Testen Sie die Client-Konnektivität zu den SMB-Freigaben oder/und NFS-Exporten auf ANQ.
Aufgaben sind automatische Jobs, die Sie planen oder manuell starten können. Eine Aufgabe definiert den Umfang eines Miria-Jobs, die Quelle und das Ziel der von ihm verarbeiteten Daten sowie seine Planung. Der Zeitplan definiert die Zeiten, zu denen automatische Aufgaben zwischen dem alten NAS-System und ANQ beginnen.

Komponenten

Die Lösungsarchitektur umfasst die folgenden Komponenten:

Azure Native Qumulo Scalable File Service Cluster zur Bereitstellung einer konsolidierten Datenspeicherung für alle mit der Lösung erstellten Inhalte
Atempo Miria um Daten vom lokalen Speicher nach ANQ zu migrieren.
- Miria-Service
- Miria Data Movers (Agent) (mindestens 16-Kern-CPU, 32 GB Speicher und 10-GbE-Netzwerk)
Azure Expressroute und / oder Azure-VPN-Gateway
Azure VNet-Injektion
Azure Virtual Network
Legacy-NAS (z. B. lokales Dell EMC Isilon / PowerScale)

Überlegungen

Die Dateimigration zum Azure Native Qumulo Scalable File Service mit Atempo Miria sollte die folgenden Überlegungen in ihre Planungs- und Entwurfsprozesse einbeziehen.

Mögliche Anwendungsfälle

Datenmigration: Bei der Cloud-Migration werden Anwendungen und Daten von lokalen Systemen in eine öffentliche Cloud verschoben. Allerdings verfügen ältere NAS-Optionen auf dem Markt über eine eingeschränkte Funktionalität oder Skalierbarkeit in der öffentlichen Cloud. ANQ bietet erweiterte Funktionalität und Skalierbarkeit auf Azure. Atempo Miria erleichtert die leistungsstarke Migration Ihrer Dateidaten zu ANQ und gewährleistet gleichzeitig die Datenintegrität.
Katastrophale Erholung: ANQ kann als sekundärer DR-Standort genutzt werden, sodass Unternehmen ihre Daten in die Cloud replizieren können. Im Falle einer Katastrophe, die sich auf den primären Standort vor Ort auswirkt, können Unternehmen auf die replizierten Daten auf ANQ umsteigen und den Betrieb mit minimaler Unterbrechung fortsetzen. Die Atempo Miria FastScan-Funktion erkennt schnell Dateien, die von einem alten Quell-NAS repliziert werden sollen.

Skalierbarkeit und Leistung

Bei der Planung einer Datenmigrationslösung mit Qumulo und Atempo Miria möchten Unternehmensarchitekten und andere Interessengruppen möglicherweise Folgendes in die Lösung einbeziehen:

Kapazität und Wachstum – ANQ lässt sich je nach Bedarf problemlos skalieren, sodass Sie durch einfaches Erstellen oder Migrieren von Daten so viel Kapazität hinzufügen können, wie Sie benötigen.
Mit den Atempo-Tools können Sie Datei-, Ordner- und ACL-Daten von älteren NAS zu ANQ migrieren, mit vollständiger Automatisierung, Lastausgleich sowie Berichten auf Makro- und Mikroebene. Dank der Multi-Streaming- und Multi-Threading-Atempo Miria Data Mover können wir die Leistungsfähigkeit unserer Tools skalieren.
Durchsatz – Mit ANQ können Sie den Durchsatz bei Bedarf in Schritten von 1 GB/s anpassen, um jederzeit die Verfügbarkeit des benötigten Durchsatzes sicherzustellen.
Mit der Miria-Software können die Übertragungsraten zwischen Quell- und Zielspeicher an die Netzwerkgeschwindigkeit der End-to-End-Verbindung heranreichen. Die Leistung kann durch Datentyp und Layout beeinträchtigt werden: Eine große Anzahl kleiner Dateien oder eine hohe Verzeichnisanzahl innerhalb eines bestimmten Datensatzes können den Gesamtdurchsatz verlangsamen, indem sie die Belastung des Data Mover erhöhen.

Sicherheit

Der Azure Native Qumulo Scalable File Service stellt über VNet-Injection eine Verbindung zu Ihrer Azure-Umgebung her, die vollständig weiterleitbar, sicher und nur für Ihre Ressourcen sichtbar ist. Es ist keine IP-Raumkoordinierung zwischen Ihrer Umgebung und dem ANQ-Cluster erforderlich.

Bei der Konzeption und Implementierung sollte darauf geachtet werden, dass die Sicherheit der Lösung den Best Practices der Branche, internen Unternehmensrichtlinien und allen geltenden gesetzlichen/behördlichen Anforderungen entspricht.

Für alle anderen Aspekte der Lösung sind die Kunden für die Planung, Implementierung und Aufrechterhaltung der Sicherheit der Lösung verantwortlich, um alle geltenden gesetzlichen und behördlichen Anforderungen für ihre Branche und ihren Standort zu erfüllen.

Kostenoptimierung

Unter Kostenoptimierung versteht man die Minimierung unnötiger Ausgaben bei gleichzeitiger Maximierung des Wertes der tatsächlichen Kosten, die durch die Lösung entstehen. Weitere Informationen finden Sie unter Überblick über die Kostenoptimierungssäule

Mit dem Pay-as-you-go-Modell von Azure können Sie Kosten optimieren, indem Sie Ressourcen skalieren, um die Kapazität bei Bedarf zu nutzen. Dies hilft Ihnen, die Kosten effizient zu verwalten, ohne übermäßige Ressourcen bereitzustellen.
Die Kosten für Qumulo hängen von der Datenmenge im Azure Native Qumulo Scalable File Service und der Leistungsstufe ab. Einzelheiten finden Sie unter Preise für Azure Native Qumulo Scalable File Services.
Die Architektur von Miria ist auf Skalierbarkeit und die Bereitstellung parallelisierter Datenflüsse ausgelegt. Wenn Sie mehr Leistung und höhere Leistung benötigen, müssen Sie nur einen weiteren Data Mover hinzufügen, der Ihren Anforderungen entspricht.

Verfügbarkeit

Verschiedene Organisationen können selbst für dieselbe Anwendung unterschiedliche Verfügbarkeits- und Wiederherstellbarkeitsanforderungen haben. Der Begriff Verfügbarkeit bezieht sich auf die Fähigkeit der Lösung, den Service kontinuierlich auf dem Leistungsniveau bereitzustellen, für das sie entwickelt wurde.

Daten- und Speicherverfügbarkeit

Die ANQ-Bereitstellung umfasst integrierte Redundanz auf Datenebene, um die Datenverfügbarkeit bei einem Ausfall der zugrunde liegenden Hardware sicherzustellen. Um die Daten vor versehentlichem Löschen, Beschädigung, Malware oder anderen Cyberangriffen zu schützen, bietet ANQ die Möglichkeit, Snapshots auf jeder Ebene innerhalb des Dateisystems zu erstellen, um schreibgeschützte Kopien Ihrer Daten zu einem bestimmten Zeitpunkt zu erstellen.

ANQ unterstützt die Replikation der Daten auf eine sekundäre Qumulo-Speicherinstanz, die in Azure, in einer anderen Cloud oder vor Ort gehostet werden kann. ANQ ist mit dateibasierten Backup-Lösungen kompatibel, um externen Datenschutz zu ermöglichen.

Servicestabilität und Kontinuität

Abhängig vom Umfang und der Kritikalität der zu migrierenden Daten kann unter bestimmten Umständen ein schrittweiser Ansatz angemessen sein. Anstatt den gesamten Inhalt Ihres Altspeichers in einem einzigen Vorgang zu migrieren, würde ein schrittweiser Ansatz die Migration eines Workflows nach dem anderen beinhalten und kleinere, weniger kritische Datensätze verwenden, um den Prozess zu entwickeln und abzuschließen, bevor zu größeren und wichtigeren Daten übergegangen wird.

Ein zusätzlicher Vorteil dieses Ansatzes besteht darin, dass alle Probleme, die sich aus einem Migrationsvorgang ergeben können, auf einen einzelnen Workflow oder Datensatz beschränkt sind.