So kopieren Sie Objekte zwischen S3-Buckets und -Clustern (Teil 2)

Diese zweiteilige Serie untersucht was das Scale-out-Dateisystem von Qumulo auf AWS einzigartig macht. In Teil 1 haben wir beschrieben, wie die Qumulo Cloud Q-Softwarearchitektur für Leistung und dynamische Skalierbarkeit sowie Multiprotokoll-Dateizugriff aufgebaut ist. All dies sind Attribute, die Qumulo zu Hochleistungs-Workloads bringt, die in der Cloud ausgeführt werden. Als Nächstes werden wir in Teil 2 unten damit fortfahren, was Qumulo auf AWS einzigartig macht – und uns auf die Vorgehensweise konzentrieren Objekte nach (und von) Amazon S3 kopieren Verwendung von Qumulo-Schicht; und wie man die Bereitstellung von automatisiert Qumulo Cloud Q auf AWS um die Cloud-Migration zu vereinfachen. 

Grundlegendes zu Replikation und Datenverschiebung zwischen Rechenzentrums-Clustern und Amazon S3

Es gibt eine wachsende Zahl von Workflows, bei denen Daten zwischen dem Dateisystem und einem S3-Bucket verschoben werden müssen. Als Redakteur oder Künstler von Medieninhalten verwenden Sie beispielsweise normalerweise ein gemeinsam genutztes Dateisystem, um Spezialeffekte zusammenzuführen oder mit anderen Künstlern zusammenzuarbeiten. Dann können Sie andere AWS-Services zum Transkodieren von Dateien verwenden, die sich in einem S3-Bucket befinden. Ein weiteres Beispiel ist Genomsequenzierung, wo Sequencer in SMB schreiben, analytische Prozesse die Daten über NFS lesen und die Archivierung auf S3 erfolgt.

Vor diesem Hintergrund wird die Datenmobilität zwischen Clustern und Amazon S3 umso wichtiger.

Objektspeicher vs. Dateispeicher

In der Vergangenheit waren Objektspeicherlösungen nicht darauf ausgelegt, das einfache Verschieben von dateibasierten Daten in einen Cloud-Objektspeicher (Amazon S3-Bucket) zu ermöglichen, damit sie mit Cloud-Diensten verwendet werden können. (Related: Blockspeicher vs. Objektspeicher vs. Dateispeicher: Was ist der Unterschied?) Nehmen wir zum Beispiel hochleistungsfähige aktive Arbeitslasten: Videobearbeitung, Spezialeffekte, Genomsequenzierung – diese Arbeitsabläufe erfordern spezialisierte Dienste, um vollständig realisiert zu werden, wie z. B. Transkodierung oder Medienverarbeitung, maschinelles Lernen und Datenanalyse, die alle als verfügbar sind AWS-Dienste.

Die dateibasierte Speichertechnologie von Qumulo verfügt über eine integrierte Funktion namens Qumulo-Verschiebung, wodurch Datenadministratoren eine Beziehung zwischen einem Verzeichnis und einem S3-Bucket erstellen können. Bei Bedarf können Daten aus dem Verzeichnis in den S3-Bucket kopiert werden.

Wie von einem modernen erwartet Datenspeicherlösung für Unternehmen, kann Qumulo Daten zwischen verschiedenen Clustern replizieren – und Qumulo Shift macht das möglich. Der Standort des Qumulo-Clusters ist in diesem Fall irrelevant. Quell- und Zielcluster können sich lokal in verschiedenen Availability Zones befinden (z. B. eine für den Qumulo-Cluster und eine andere, die Sie für a Notfallwiederherstellung Qumulo-Cluster), verschiedene Virtual Private Clouds (VPCs) und sogar verschiedene Clouds.

Was ist Qumulo Shift für Amazon S3?

Qumulo Shift für Amazon S3 ist ein kostenloser Cloud-Service, der als Teil von angeboten wird Qumulo Cloud Q für AWS und ermöglicht Ihnen, native Dateien aus einem Verzeichnis in einem Cluster in einen Ordner in einem Amazon S3-Bucket in seinem nativen Objektformat zu kopieren. Qumulo Shift ermöglicht es datengesteuerten Unternehmen Kostenkontrolle für eine leistungsstarke Datenstrategie, wodurch Ihr ROI verbessert wird.

Qumulo Shift ist eine integrale Komponente jeder Qumulo-Bereitstellung und bietet Ihnen eine nahtlose Datenpipeline zum und vom S3-Speicher. Mit Qumulo Shift für Amazon S3 können Unternehmen Objekte aus jedem Qumulo-Cluster – ob lokal oder bereits in einer Auswahl von Clouds ausgeführt – in den Simple Storage Service Cloud-Objektspeicher von Amazon (Amazon S3) kopieren.

Ganz gleich, ob Sie Daten mit dateibasierten Anwendungen erstellen oder ein Sicherungs-/Archivierungs-Repository oder einen Staging-Punkt für eines der Hunderte von Cloud-nativen Datenanalyse- und Transformationstools benötigen, die AWS anbietet, Qumulo Shift ermöglicht Ihnen das einfache Verschieben von Dateien zwischen Ihren Qumulo-Speicher und Amazon S3.

Mit dieser Funktion können Sie Ihre native Datei Daten aus Ihrem Qumulo-Cluster, ob lokal oder in der Cloud, in einen S3-Bucket in seinem AWS S3 natives Objekt Format. Und das nativen Teil ist wichtig, weil das bedeutet, dass keine proprietäre Formatierung angewendet wird, sodass Sie die Vorteile nutzen und mit leistungsstarken AWS-Services und Marktplatz-Apps für Ihren S3-Datensatz innovativ sein können.

Wie Qumulo Shift funktioniert

Das Erstellen einer Replikationsbeziehung zwischen einem lokalen Qumulo-Cluster und einem anderen in Amazon S3 wird mit Qumulo Shift ermöglicht. Um es in Aktion zu sehen, sehen Sie sich eine kurze Demo an Video unter. Qumulo-Produktmanager Scott Gentry zeigt, wie man Daten, die in einem Rechenzentrums-Cluster erstellt wurden, AWS-Services mithilfe von S3-Speicher zur Verfügung stellt.

So kopieren Sie Objekte zwischen S3-Buckets und -Clustern mit Qumulo Shift

Mit der Qumulo Shift-Replikation können Sie Objekte aus einem Verzeichnis in einem Cluster in einen Ordner in einem Amazon S3-Bucket (Cloud-Objektspeicher) kopieren. Beim Erstellen einer Replikationsbeziehung zwischen einem Cluster und einem S3-Bucket Qumulo Core führt die folgenden Schritte aus.

1. Qumulo überprüft, ob das angegebene Quellverzeichnis im Dateisystem vorhanden ist und ob der S3-Bucket vorhanden ist, mit den angegebenen Anmeldeinformationen zugänglich ist und herunterladbare Objekte enthält.
2. Sobald die Beziehung erfolgreich erstellt wurde, wird ein Job gestartet, der einen der Knoten im Cluster verwendet.
   [box type=“shadow“]Hinweis: Bei der Durchführung mehrerer Shift-Operationen werden mehrere Knoten verwendet.[/box]
3. Dieser Job erstellt einen temporären Snapshot des Quellverzeichnisses, um sicherzustellen, dass die Kopie zeitpunktkonsistent ist. Zum Beispiel benannt replication_to_bucket_my_bucket</var/www/wordpress>.
4. Qumulo Shift durchläuft dann rekursiv die Verzeichnisse und Dateien in diesem Snapshot und kopiert jede Datei in ein entsprechendes Objekt in S3.
5. Dateipfade im Quellverzeichnis bleiben in den Schlüsseln replizierter Objekte erhalten. Zum Beispiel die native Datei /my-dir/my-project/file.txt</var/www/wordpress> will be uploaded as the native object https://my-bucket.s3.us-west-2.amazonaws.com/my-folder/my-project/file.txt</var/www/wordpress>.

Die Daten werden in keiner Weise kodiert oder transformiert, sondern nur Daten im Primärstrom einer regulären Datei werden repliziert (alternative Datenströme und Dateisystemmetadaten wie ACLs sind nicht enthalten). Alle festen Links zu einer Datei im Quellverzeichnis der Replikation werden ebenfalls als vollständige Kopie des Objekts mit identischen Inhalten und Metadaten auf Amazon S3 repliziert. Diese Kopie wird mithilfe eines serverseitigen S3-Kopiervorgangs durchgeführt, um eine Übertragung der Daten über das Internet zu vermeiden.

Beim Kopieren von Objekten zwischen S3-Buckets und Clustern prüft Qumulo Shift, ob eine Datei zuvor mit Shift nach S3 repliziert wurde. Wenn das resultierende Objekt noch im Ziel-S3-Bucket vorhanden ist (und weder die Datei noch das Objekt seit der letzten erfolgreichen Replikation geändert wurden), werden seine Daten nicht erneut an S3 übertragen. Qumulo Shift löscht niemals Dateien im Zielordner auf S3, selbst wenn sie seit der letzten Replikation aus dem Quellverzeichnis entfernt wurden.

So kopieren Sie Objekte aus einem Cluster in einen Amazon S3 Bucket

Zum Kopieren von Objekten aus einem Verzeichnis in einem Cluster in einen Ordner in einem Amazon S3-Bucket mithilfe von Qumulo Shift-Web-Benutzeroberfläche. 3.2.5 (und höher) befolgen Sie diese Schritte:

1. Melden Sie sich bei Qumulo Core an.
2. Klicken Sie auf Kostenlos erhalten und dann auf Installieren. Cluster > Nach/von S3 kopieren.
3. Auf dem Nach/von S3 kopieren Seite, klicken Sie auf Kopie erstellen.
4. Auf dem Erstellen Sie eine Kopie zu/von S3 Seite, klicken Sie auf Lokal ⇨ Remote und geben Sie dann Folgendes ein:
   ein. Das Verzeichnispfad auf Ihrem Cluster (/</var/www/wordpress> by default)
b. The S3 Bucket-Name
   c. The Mappe in your S3 bucket
d. The Region for your S3 bucket
e. Your AWS Region (/</var/www/wordpress> by default)
f. Your AWS Zugangsschlüssel-ID and Geheimer Zugangsschlüssel.
5. (Optional) Für weitere Konfiguration klicken Sie auf Erweiterte S3-Servereinstellungen.
6. Klicken Sie auf Kostenlos erhalten und dann auf Installieren. Kopie erstellen.
7. Im Kopie auf S3 erstellen? Überprüfen Sie im Dialogfeld die Verschiebungsbeziehung und klicken Sie dann auf Ja, erstellen.

Der Kopierauftrag beginnt.

Weitere Informationen zur Verwendung von Qumulo Shift zum Kopieren von Objekten aus einem Cluster in einen Amazon S3-Bucket finden Sie in unserem Dokumentationsportal (docs.qumulo.com). Dort finden Sie eine Schritt-für-Schritt-Anleitung Fehlerbehebung bei Problemen mit Kopieraufträgen und andere Best Practices.

So kopieren Sie Objekte aus einem S3-Bucket in einen Cluster

Eine neue Funktion von Qumulo Shift namens Qumulo Shift-From wurde mit veröffentlicht Qumulo-Web-Benutzeroberfläche 4.2.3. Mit dieser Funktion können Datenadministratoren Beziehungen erstellen, bei denen der S3-Bucket die Quelle und ein Qumulo-Verzeichnis das Ziel ist, sodass Benutzer Daten sowohl von S3 nach Qumulo als auch von Qumulo nach S3 verschieben können.

Führen Sie die folgenden Schritte aus, um Objekte aus einem Ordner in einem Amazon S3-Bucket in ein Verzeichnis in einem Qumulo-Cluster zu kopieren.

1. Melden Sie sich bei Qumulo Core an.
2. Klicken Sie auf Kostenlos erhalten und dann auf Installieren. Cluster > Nach/von S3 kopieren.
3. Auf dem Nach/von S3 kopieren Seite, klicken Sie auf Kopie erstellen.
4. Auf dem Erstellen Sie eine Kopie zu/von S3 Seite, klicken Sie auf Lokal ⇦ Remote und geben Sie dann Folgendes ein:
   ein. Das Verzeichnispfad auf Ihrem Cluster (/</var/www/wordpress> by default)
b. The S3 Bucket-Name
   c. The Mappe in your S3 bucket
d. The Region for your S3 bucket
e. Your AWS Region (/</var/www/wordpress> by default)
f. Your AWS Zugangsschlüssel-ID and Geheimer Zugangsschlüssel.
5. (Optional) Für weitere Konfiguration klicken Sie auf Erweiterte S3-Servereinstellungen.
6. Klicken Sie auf Kostenlos erhalten und dann auf Installieren. Kopie erstellen.
7. Im Kopie aus S3 erstellen? Überprüfen Sie im Dialogfeld die Verschiebungsbeziehung und klicken Sie dann auf Ja, erstellen.

Der Kopierauftrag beginnt und Qumulo Core schätzt die auszuführende Arbeit. Wenn die Schätzung abgeschlossen ist, zeigt die Web-Benutzeroberfläche einen Fortschrittsbalken mit einem Prozentsatz für eine Beziehung an Replikationsbeziehungen Buchseite. Auf der Seite werden außerdem die geschätzte Gesamtarbeit, die verbleibenden Bytes und Dateien sowie die geschätzte Zeit bis zum Abschluss eines laufenden Kopierauftrags angezeigt.

[box type=“shadow“]Hinweis: Für Arbeitsschätzungen berechnet Qumulo Shift aus S3-Jobs die Gesamtzahl der Dateien und Bytes im Bucket-Präfix eines Jobs. Dies erfordert, dass der Job verwendet wird ListObjectV2 S3-Aktion einmal pro 5,000 Objekte (oder 200 Mal pro 1 Million Objekte).[/box]

Weitere Informationen zum Kopieren von Objekten aus einem Amazon S3-Bucket in ein Verzeichnis in einem Qumulo-Cluster finden Sie im Qumulo-Dokumentationsportal Fehlerbehebung bei Problemen mit Kopieraufträgen und andere Best Practices.

Bereitstellungsautomatisierung zur Vereinfachung der Cloud-Migration

Die Bereitstellung von Infrastruktur mithilfe von Code hat viele Vorteile: Sie verfügen immer über konsistente und wiederholbare Bereitstellungen. Es geht viel schneller und Sie können Abweichungen in der Konfiguration erkennen. Außerdem ist es weniger fehleranfällig und lässt sich für große Bereitstellungen skalieren.

So stellen Sie einen Qumulo-Cluster in AWS bereit

Es gibt drei Möglichkeiten, einen Qumulo-Cluster in AWS automatisiert bereitzustellen. Diese sind:

1. Durch die Verwendung der AWS-Schnellstart für Qumulo Cloud Q. Es handelt sich um eine automatisierte Referenzbereitstellung, die von Amazon Web Services (AWS) und Qumulo erstellt wurde. Die zugrunde liegenden AWS CloudFormation-Vorlagen automatisieren alle erforderlichen Schritte zum Aufbau eines Qumulo-Clusters gemäß Best Practices, sodass Sie Ihre Umgebung innerhalb von Minuten erstellen und verwenden können.
2. Die CloudFormation-Vorlage, die von jedem Clustertyp im bereitgestellt wird AWS-Marktplatz.
3. Die AWS Terraform-Vorlagen bereitgestellt von Qumulo auf GitHub.

Warum Cluster mit dem AWS Quick Start für Qumulo Cloud Q bereitstellen?

Wir empfehlen Ihnen, Qumulo-Cluster mit dem AWS Quick Start für Qumulo Cloud Q bereitzustellen. Dies liegt vor allem daran, dass der Quick Start durch eine Reihe von AWS CloudFormation-Vorlagen unterstützt wird, die die Bereitstellung vereinfachen und beschleunigen. Verwenden Sie Quick Start, um die vollständigen Funktionen von Qumulo Cloud Q auf AWS bereitzustellen, dem automatisierten Bereitstellungsprozess dauert ca. 15 Minuten.

Sie können jedoch auch die im bereitgestellten CloudFormation-Vorlagen verwenden AWS Marketplace; Sie stellen nur den Basiscluster und zwei bereit Lambda-Funktionen. Diese serverlosen Funktionen sammeln Telemetriedaten vom Cluster und senden sie an AWS CloudWatch; Außerdem überwachen sie den Zustand aller EBS-Volumes und ersetzen sie automatisch bei Ausfällen von EBS-Volumes.

Automatisierte Bereitstellungsoptionen zur Bereitstellung von Qumulo-Clustern

In der folgenden Tabelle sind die verschiedenen automatisierten Bereitstellungsoptionen aufgeführt, die derzeit für die Bereitstellung von Qumulo-Clustern verfügbar sind.

Einzigartige Funktionen sind standardmäßig im Dateispeicher von Qumulo auf AWS enthalten

Qumulo's Hybrider Cloud-Dateispeicher auf AWS vereinfacht Migrationen in die Cloud, wo unstrukturierte Daten in Dateisystemen gespeichert werden, unabhängig davon, ob der Datenzugriff über SMB, NFS, FTP oder HTTP erfolgt. Dateisperrung und Zugriffskontrolle funktionieren protokollübergreifend; Somit kann eine redundante Datenplatzierung für jedes Protokoll vermieden werden.

Qumulos cloudnative Software, Qumulo Cloud Q für AWS, kann einen Durchsatz von mehreren GB/s mit Latenzen zwischen 0.5 und 5 ms liefern. Es ermöglicht eine einfache Datenverschiebung zwischen dem Dateisystem und Amazon S3-Buckets. Die Integration erfolgt über Bereitstellungsvorlagen, und Benutzer können sich über den AWS-Marktplatz anmelden.

Wie unten gezeigt und beschrieben in Teil 1 Eine Reihe einzigartiger Funktionen, die standardmäßig in einem Qumulo Cloud Q-Softwareabonnement enthalten sind, machen es zu einer attraktiven Wahl auf AWS für eine Vielzahl von leistungsstarken Anwendungsfällen und Arbeitsabläufen dieser Serie.

Wir bitten Sie dringend, neugierig auf AWS- und Qumulo-Dateien zu sein Datendiensten. Weitere Informationen finden Sie unter Qumulo-Support, Hier: Qumulo in AWS: Erste Schritte.

Eine andere Möglichkeit ist die Verwendung des Qumulo Studio Q Schnellstart, das eine komplette Postproduktionsumgebung in der Cloud für die Remote-Videobearbeitung bereitstellt und einen Qumulo-Cluster und Adobe Creative Cloud für die Bearbeitung umfasst. Schließlich kann Qumulo auch als eingesetzt werden AWS Nimble Studio Option für das Dateisystem.