Azure Native Qumulo Maintenant disponible dans l'UE, au Royaume-Uni et au Canada - En savoir plus

Comment copier des objets entre des compartiments et des clusters S3 (partie 2)

Rédigé par:
Le guide ultime : comment copier des fichiers natifs d'un répertoire d'un cluster vers un dossier d'un compartiment Amazon S3 dans son format d'objet natif.

Cette série en 2 parties explore ce qui rend le système de fichiers scale-out de Qumulo unique sur AWS. Dans la partie 1, nous avons décrit comment l'architecture logicielle Qumulo Cloud Q est conçue pour les performances et l'évolutivité dynamique, ainsi que l'accès aux fichiers multiprotocole. Ce sont tous des attributs que Qumulo apporte aux charges de travail hautes performances exécutées dans le cloud. Ensuite, dans la partie 2 ci-dessous, nous continuerons avec ce qui rend Qumulo unique sur AWS - en nous concentrant sur la façon de copier des objets vers (et depuis) ​​Amazon S3 en utilisant Décalage Qumulo; et, comment automatiser le déploiement de Qumulo Cloud Q sur AWS pour simplifier la migration vers le cloud. 

Comprendre la réplication et le déplacement des données entre les clusters de centres de données et Amazon S3

Il existe un nombre croissant de workflows dans lesquels les données doivent être déplacées entre le système de fichiers et un compartiment S3. Par exemple, en tant qu'éditeur de contenu multimédia ou artiste, vous utilisez généralement un système de fichiers partagé pour fusionner des effets spéciaux ou collaborer avec d'autres artistes. Ensuite, vous pouvez utiliser d'autres services AWS pour transcoder les fichiers qui se trouvent dans un compartiment S3. Un autre exemple est le séquençage du génome, où les séquenceurs écrivent dans SMB, les processus analytiques lisent les données via NFS et l'archivage est effectué sur S3.

Compte tenu de ce qui précède, la mobilité des données entre les clusters et Amazon S3 devient d'autant plus importante.

Stockage d'objets vs stockage de fichiers

Historiquement, les solutions de stockage d'objets n'étaient pas conçues pour faciliter le déplacement de données basées sur des fichiers dans un magasin d'objets cloud (compartiment Amazon S3) afin qu'elles puissent être utilisées avec des services cloud. (Connexe: Stockage de blocs vs stockage d'objets vs stockage de fichiers : quelle est la différence ?) Prenez par exemple des charges de travail actives à hautes performances : montage vidéo, effets spéciaux, séquençage génomique : ces flux de travail nécessitent des services spécialisés pour être pleinement réalisés, tels que le transcodage ou le traitement multimédia, l'apprentissage automatique et l'analyse de données, qui sont tous disponibles en tant que Services AWS.

La technologie de stockage basée sur les fichiers de Qumulo a une fonctionnalité intégrée, appelée Décalage Qumulo, qui permet aux administrateurs de données de créer une relation entre un répertoire et un compartiment S3. Où et quand cela est nécessaire, les données peuvent être copiées du répertoire vers le compartiment S3.

Comme on peut s'y attendre d'un moderne solution de stockage de données d'entreprise, Qumulo peut répliquer des données entre différents clusters - et Qumulo Shift rend cela possible. L'emplacement du cluster Qumulo n'est pas pertinent dans ce cas. Les clusters source et cible peuvent résider sur site, dans différentes zones de disponibilité (par exemple, une pour le cluster Qumulo et une autre que vous pourriez utiliser pour un grappe Qumulo de reprise après sinistre), différents clouds privés virtuels (VPC) et même différents clouds.

Qu'est-ce que Qumulo Shift pour Amazon S3 ?

Qumulo Shift pour Amazon S3 est un service cloud gratuit offert dans le cadre de Qumulo Cloud Q pour AWS et vous permet de copier des fichiers natifs d'un répertoire d'un cluster vers un dossier d'un compartiment Amazon S3 dans son format d'objet natif. Qumulo Shift permet aux entreprises axées sur les données de maîtriser les coûts pour une stratégie data performante, améliorant ainsi votre retour sur investissement.

Qumulo Shift fait partie intégrante de tout déploiement Qumulo et vous offre un pipeline de données transparent vers et depuis le stockage S3. En utilisant Qumulo Shift pour Amazon S3, les entreprises peuvent copier des objets de n'importe quel cluster Qumulo - qu'il soit sur site ou déjà exécuté dans un choix de clouds - vers le magasin d'objets cloud Simple Storage Service d'Amazon (Amazon S3).

Que vous créiez des données avec des applications basées sur des fichiers ou que vous ayez besoin d'un référentiel de sauvegarde/archivage ou d'un point de transfert pour l'une des centaines d'outils d'analyse de données et de transformation natifs du cloud proposés par AWS, Qumulo Shift vous permet de déplacer facilement des fichiers entre votre Stockage Qumulo et Amazon S3.

 

Cette fonction vous permet de mettre votre fichier natif les données de votre cluster Qumulo, qu'il soit sur site ou dans le cloud, dans un compartiment S3 dans son AWS S3 objet natif format. Et cela indigène partie est importante car cela signifie qu'aucun formatage propriétaire n'est appliqué, vous êtes donc libre de tirer parti et d'innover avec de puissants services AWS et des applications de marché par rapport à votre ensemble de données S3.

Comment fonctionne Qumulo Shift

La création d'une relation de réplication entre un cluster Qumulo sur site et un autre dans Amazon S3 est rendue possible avec Qumulo Shift. Pour le voir en action, regardez une courte démo vidéo au dessous de. Le chef de produit Qumulo, Scott Gentry, montre comment mettre les données créées dans un cluster de centre de données à la disposition des services AWS à l'aide du stockage S3.

Comment copier des objets entre des compartiments et des clusters S3 à l'aide de Qumulo Shift

La réplication Qumulo Shift vous permet de copier des objets d'un répertoire d'un cluster vers un dossier d'un compartiment Amazon S3 (magasin d'objets cloud). Lors de la création d'une relation de réplication entre un cluster et un bucket S3, Qumulo Core effectue les étapes suivantes.

  1. Qumulo vérifie que le répertoire source spécifié existe sur le système de fichiers et que le compartiment S3 existe, est accessible à l'aide des informations d'identification spécifiées et contient des objets téléchargeables.
  2. Une fois la relation créée avec succès, une tâche est lancée à l'aide de l'un des nœuds du cluster.
    [type de boîte = "ombre"]Remarque: Lors de l'exécution de plusieurs opérations Shift, plusieurs nœuds seront utilisés.[/box]
  3. Ce travail prend un instantané temporaire du répertoire source pour s'assurer que la copie est cohérente à un instant donné. Par exemple, nommé replication_to_bucket_my_bucket</var/www/wordpress>.
  4. Qumulo Shift parcourt ensuite de manière récursive les répertoires et les fichiers de cet instantané, en copiant chaque fichier dans un objet correspondant dans S3.
  5. Les chemins d'accès aux fichiers dans le répertoire source sont conservés dans les clés des objets répliqués. Par exemple, le fichier natif /my-dir/my-project/file.txt</var/www/wordpress> will be uploaded as the native object https://my-bucket.s3.us-west-2.amazonaws.com/my-folder/my-project/file.txt</var/www/wordpress>.

Les données ne sont ni encodées ni transformées de quelque manière que ce soit, mais seules les données du flux principal d'un fichier normal sont répliquées (les flux de données alternatifs et les métadonnées du système de fichiers telles que les ACL ne sont pas incluses). Tous les liens physiques vers un fichier dans le répertoire source de réplication sont également répliqués sur Amazon S3 en tant que copie complète de l'objet, avec un contenu et des métadonnées identiques, cependant ; cette copie est effectuée à l'aide d'une opération de copie S3 côté serveur pour éviter de transférer les données sur Internet.

Lors de la copie d'objets entre des compartiments et des clusters S3, Qumulo Shift vérifiera si un fichier a déjà été répliqué sur S3 à l'aide de Shift. Si l'objet résultant existe toujours dans le compartiment S3 cible (et que ni le fichier ni l'objet n'ont été modifiés depuis la dernière réplication réussie), ses données ne seront pas retransférées vers S3. Qumulo Shift ne supprimera jamais les fichiers du dossier cible sur S3, même s'ils ont été supprimés du répertoire source depuis la dernière réplication.

Comment copier des objets d'un cluster vers un compartiment Amazon S3

Pour copier des objets d'un répertoire d'un cluster vers un dossier d'un compartiment Amazon S3 à l'aide de la Interface utilisateur Web Qumulo Shift. 3.2.5 (et supérieur), suivez ces étapes :

  1. Connectez-vous à Qumulo Core.
  2. Cliquez Grappe > Copier vers/depuis S3.
  3. Sur le Copier vers/depuis S3 page, cliquez sur Créer une copie.
  4. Sur le Créer une copie vers/depuis S3 page, cliquez sur Local ⇨ Distant puis entrez ce qui suit:
    une. le Chemin du répertoire sur votre cluster (/</var/www/wordpress> by default)
    b. The S3
    Nom du seau
    c. The Dossier in your S3 bucket
    d. The
    Région for your S3 bucket
    e. Your AWS
    Région (/</var/www/wordpress> by default)
    f. Your AWS
    ID de la clé d'accès and Clé d'accès secrète.
  5. (Facultatif) Pour une configuration supplémentaire, cliquez sur Paramètres avancés du serveur S3.
  6. Cliquez Créer une copie.
  7. Dans le Créer une copie vers S3 ? boîte de dialogue, passez en revue la relation Shift, puis cliquez sur Oui, créer.

Le travail de copie commence.

Pour plus d'informations sur l'utilisation de Qumulo Shift pour copier des objets d'un cluster vers un compartiment Amazon S3, visitez notre portail de documentation (docs.qumulo.com) pour un guide étape par étape pour dépannage des problèmes de travail de copie qualité les meilleures pratiques.

Comment copier des objets d'un compartiment S3 vers un cluster

Une nouvelle fonctionnalité de Qumulo Shift, appelée Qumulo Shift-From, a été publiée avec Interface utilisateur Web Qumulo 4.2.3. Cette fonctionnalité permet aux administrateurs de données de créer des relations où le compartiment S3 est la source et un répertoire Qumulo est la cible, permettant aux utilisateurs de transférer des données de S3 vers Qumulo ainsi que de Qumulo vers S3.

Pour copier des objets d'un dossier d'un compartiment Amazon S3 vers un répertoire d'un cluster Qumulo, procédez comme suit.

  1. Connectez-vous à Qumulo Core.
  2. Cliquez Grappe > Copier vers/depuis S3.
  3. Sur le Copier vers/depuis S3 page, cliquez sur Créer une copie.
  4. Sur le Créer une copie vers/depuis S3 page, cliquez sur Local ⇦ Distant puis entrez ce qui suit:
    une. le Chemin du répertoire sur votre cluster (/</var/www/wordpress> by default)
    b. The S3
    Nom du seau
    c. The Dossier in your S3 bucket
    d. The
    Région for your S3 bucket
    e. Your AWS
    Région (/</var/www/wordpress> by default)
    f. Your AWS
    ID de la clé d'accès and Clé d'accès secrète.
  5. (Facultatif) Pour une configuration supplémentaire, cliquez sur Paramètres avancés du serveur S3.
  6. Cliquez Créer une copie.
  7. Dans le Créer une copie à partir de S3 ? boîte de dialogue, passez en revue la relation Shift, puis cliquez sur Oui, créer.

Le travail de copie commence et Qumulo Core estime le travail à effectuer. Lorsque l'estimation est terminée, l'interface utilisateur Web affiche une barre de progression avec un pourcentage pour une relation sur le Relations de réplication page. La page affiche également le travail total estimé, les octets et fichiers restants, ainsi que la durée estimée d'achèvement d'un travail de copie en cours d'exécution.

[type de boîte = "ombre"]Remarque: Pour les estimations de travail, Qumulo Shift à partir des tâches S3 calcule le nombre total de fichiers et d'octets dans le préfixe de compartiment d'une tâche. Cela nécessite que le travail utilise le Action ListObjectV2 S3 une fois pour 5,000 200 objets (ou 1 fois pour XNUMX million d'objets).[/box]

Pour plus d'informations sur la copie d'objets d'un compartiment Amazon S3 vers un répertoire dans un cluster Qumulo, visitez le portail de documentation Qumulo, qui décrit les étapes pour dépannage des problèmes de travail de copie qualité les meilleures pratiques.

Automatisation du déploiement pour simplifier la migration vers le cloud

Le déploiement d'une infrastructure à l'aide de code présente de nombreux avantages : vous avez toujours des déploiements cohérents et reproductibles. C'est beaucoup plus rapide et vous pouvez identifier les dérives dans la configuration. En outre, il est moins sujet aux erreurs et s'adapte aux grands déploiements.

Comment déployer un cluster Qumulo dans AWS

Il existe trois options pour déployer un cluster Qumulo dans AWS de manière automatisée. Ceux-ci sont:

  1. En utilisant le Démarrage rapide AWS pour Qumulo Cloud Q. Il s'agit d'un déploiement de référence automatisé construit par Amazon Web Services (AWS) et Qumulo. Les modèles AWS CloudFormation sous-jacents automatisent toutes les étapes requises pour créer un cluster Qumulo conformément aux meilleures pratiques afin que vous puissiez créer et commencer à utiliser votre environnement en quelques minutes.
  2. Le modèle CloudFormation fourni par chaque type de cluster dans le Marketplace AWS .
  3. Les modèles AWS Terraform fournis par Qumulo sur GitHub.

Pourquoi déployer des clusters à l'aide du démarrage rapide AWS pour Qumulo Cloud Q

Nous vous recommandons de déployer les clusters Qumulo à l'aide du démarrage rapide AWS pour Qumulo Cloud Q. Cela est principalement dû au fait que le démarrage rapide est soutenu par quelques modèles AWS CloudFormation, qui simplifient et accélèrent le déploiement. Utilisation de Quick Start pour déployer toutes les fonctionnalités de Qumulo Cloud Q sur AWS, le processus de déploiement automatisé prend environ 15 minutes.

Cependant, vous pouvez également utiliser les modèles CloudFormation fournis dans le Marché AWS ; ils déploient uniquement le cluster de base et deux Fonctions Lambda. Ces fonctions sans serveur collectent les données de télémétrie du cluster et les envoient à AWS CloudWatch ; et, ils surveillent la santé de tous les volumes EBS et les remplacent automatiquement en cas de défaillance des volumes EBS.

Options de déploiement automatisé pour déployer des clusters Qumulo

Le tableau suivant répertorie les différentes options de déploiement automatisé actuellement disponibles pour déployer les clusters Qumulo.

Des fonctionnalités uniques sont fournies en standard avec le stockage de fichiers de Qumulo sur AWS

Qumulo Stockage de fichiers dans le cloud hybride sur AWS simplifie les migrations vers le cloud où les données non structurées sont stockées dans des systèmes de fichiers, que l'accès aux données se fasse via SMB, NFS, FTP ou HTTP. Le verrouillage des fichiers et le contrôle d'accès fonctionnent sur tous les protocoles ; ainsi, le placement de données redondantes pour chaque protocole peut être évité.

Le logiciel cloud natif de Qumulo, Qumulo Cloud Q pour AWS, peut fournir des tendances de Go/s sur le débit avec des latences comprises entre 0.5 et 5 ms. Il permet un déplacement facile des données entre le système de fichiers et les compartiments Amazon S3. Il s'intègre via des modèles de déploiement et les utilisateurs peuvent s'abonner via le marché AWS.

Comme indiqué ci-dessous et décrit dans partie 1 de cette série, un certain nombre de fonctionnalités uniques fournies en standard avec un abonnement au logiciel Qumulo Cloud Q en font un choix attrayant sur AWS pour une variété de cas d'utilisation et de flux de travail hautes performances.

 

Nous vous invitons à être curieux avec le fichier AWS et Qumulo services de données. Vous pouvez trouver plus d'informations sur Support Qumulo, ici: Qumulo dans AWS : Mise en route.

Une autre option consiste à utiliser le Démarrage rapide de Qumulo Studio Q, qui crée un environnement de post-production complet dans le cloud pour le montage vidéo à distance et comprend un cluster Qumulo et Adobe Creative Cloud pour le montage. Enfin, Qumulo peut également être déployé en tant que AWS Nimble Studio option pour le système de fichiers.

Articles Similaires

Remonter en haut