Aperçu technique

Fonctionne partout, s'adapte à toutes les situations

Le Cloud Data Fabric de Qumulo vous permet d’étendre ou d’intégrer facilement vos applications dans n’importe quel environnement, où que vous soyez et sur n’importe quelle plateforme. Il offre la seule solution de données non structurées unifiée à l’échelle mondiale et indépendante de toute plateforme, capable de prendre en charge l’ensemble de vos workflows d’entreprise, de cloud hybride et de multi-cloud. Le système de fichiers évolutif de Qumulo, ainsi que ses puissants outils WebUI et CLI, simplifient la gestion des données, que ce soit pour vos workflows les plus exigeants ou pour un stockage d'archives dans le cloud à moindre coût. Notre architecture unique, native du cloud, vous libère des contraintes liées à la plateforme et à l'emplacement, vous permettant d'accéder à vos données depuis n'importe où, que ce soit dans votre centre de données ou dans le cloud.

Chez Qumulo, notre objectif est de proposer aux entreprises modernes une solution de stockage des données non structurées à la fois simple, évolutive et disponible à l'échelle mondiale. Nous vous aidons à sécuriser vos données en toute simplicité. Nous vous permettons d'exécuter facilement vos workflows les plus exigeants, que ce soit sur site ou dans le cloud. Nous simplifions le stockage dans le cloud hybride.

L'architecture logicielle de Qumulo

Nous avons conçu notre plateforme de stockage pour en faire un service évolutif et prêt pour le cloud, capable de prendre en charge n’importe quel flux de travail basé sur des fichiers, où que ce soit. Nous avons mis en place une plateforme extensible à l’échelle mondiale. Nous proposons également des API robustes permettant une gestion automatisée et une visibilité en temps réel sur l’utilisation du système et des données. Nos solutions de stockage répondent aux exigences des entreprises du classement Fortune 500 en matière de sécurité et de protection des données.

Cette page présente une vue d’ensemble de l’architecture, des composants et des services de la solution de données non structurées de Qumulo. Elle explique comment notre produit prend en charge un large éventail de cas d’utilisation, allant des médias et du divertissement à la santé et aux sciences de la vie, en passant par le calcul haute performance dans le cloud et le stockage d’archives à long terme dans le cloud à moindre coût. Nous vous montrerons également comment notre Cloud Data Fabric, unique en son genre, permet d’unifier les données critiques sur l’ensemble des plateformes, des sites et des clouds afin d’offrir un accès en temps réel aux données distantes, de rationaliser la collaboration entre des équipes très dispersées et d’accélérer le développement commercial dans pratiquement tous les secteurs d’activité.

Architecture de Qumulo

L'architecture modulaire de Qumulo peut être représentée sous la forme d'une série de couches, chacune regroupant des contrôles et des fonctionnalités spécifiques. Ces couches fonctionnent de concert pour garantir l'évolutivité, les performances, la sécurité et la fiabilité des données non structurées stockées sur une instance Qumulo, ainsi que celles du système Qumulo lui-même.

Les principes fondamentaux de Qumulo

Avant d'aborder en détail les différents composants de l'architecture de Qumulo, il convient d'énumérer plusieurs principes fondamentaux :

1.  Qumulo propose un système de fichiers distribué 100 % défini par logiciel qui offre un espace de noms unique. Un cluster Qumulo sur site est constitué d’un ensemble de nœuds indépendants sans partage de ressources, chaque nœud contribuant à la capacité et aux performances globales du cluster. Les nœuds individuels restent en coordination constante les uns avec les autres. Tout client peut se connecter à n'importe quel nœud et lire ou écrire dans l'ensemble de l'espace de noms.

2. Les instances Qumulo basées sur le cloud utilisent le stockage objet (AWS S3 ou Microsoft Azure Blob Storage, selon leur lieu de déploiement) pour la couche de données, dans laquelle les blocs associés à un fichier donné sont abstraits et répartis au sein d'un ensemble logique d'objets distincts.

   •  Cette architecture native du cloud élimine la relation traditionnelle entre la puissance de calcul, le stockage et le débit, créant ainsi un service de stockage de fichiers entièrement élastique capable d'étendre sa capacité à plusieurs centaines de pétaoctets et d'atteindre un débit supérieur à 100 Go/s.

   • Grâce à la dissociation totale entre la puissance de calcul et le stockage rendue possible par l’architecture cloud native de Qumulo, les clients bénéficient de la flexibilité nécessaire pour choisir les niveaux spécifiques de débit et de capacité dont ils ont besoin, indépendamment les uns des autres. Un client peut même déployer une instance Qumulo avec une empreinte de calcul initialement faible, puis augmenter temporairement l’allocation de calcul du service afin d’accroître considérablement le débit pendant une courte période, avant de la réduire à nouveau par la suite sans jamais avoir à déployer de capacité supplémentaire.

3.  Qumulo est conçu pour évoluer. Nous veillons à ce que tous les aspects de notre produit puissent prendre en charge sans difficulté des volumes de données allant de plusieurs pétaoctets à plusieurs exaoctets, des milliers de milliards de fichiers, des millions d'opérations et des milliers d'utilisateurs répartis sur des dizaines de sites, de régions et de déploiements.

4. Qumulo est conçu pour la répartition géographique, ce qui permet à des équipes très éloignées les unes des autres de collaborer sur des ensembles de données partagés sans risque de corruption ou de perte de données.

5. Qumulo s'optimise automatiquement pour offrir des performances maximales. Chaque instance Qumulo suit l'accès aux données à l'aide d'une carte thermique afin d'identifier les blocs de données fréquemment consultés. Ces blocs sont déplacés de manière proactive par un algorithme interne de prélecture : les blocs de données stockés sur des supports de stockage à long terme sont transférés vers le stockage flash à mesure que leur score thermique augmente. Si le score de chaleur continue d’augmenter, les données qui se trouvent déjà sur le stockage flash sont déplacées de manière proactive vers la mémoire système pour un accès encore plus rapide. À l’échelle globale, sur l’ensemble des instances Qumulo pour tous les clients Qumulo, le taux de réussite du cache est d’environ 95 % de toutes les requêtes de lecture.

6. Qumulo est une solution hautement disponible et strictement cohérente, conçue pour résister aux pannes de composants au sein de l’infrastructure tout en continuant à fournir un service fiable aux clients. Pour ce faire, nous recourons à l’abstraction logicielle, au codage d’effacement, à des technologies réseau avancées et à des tests rigoureux. Lorsque des données sont écrites dans le système de fichiers de Qumulo, l’opération d’écriture n’est confirmée au service, à l’utilisateur ou au client qu’une fois les données enregistrées dans un stockage persistant. Ainsi, toute requête de lecture ultérieure donnera lieu à une vue cohérente des données (contrairement aux modèles à cohérence finale).

7. Qumulo propose des services de fichiers indépendants de la plateforme pour le cloud public, privé et hybride. Le logiciel de Qumulo ne repose que sur très peu d’hypothèses concernant la plateforme sur laquelle il s’exécute. Il fait abstraction des ressources matérielles physiques ou virtuelles sous-jacentes afin de tirer parti des meilleures infrastructures de cloud public et privé. Cela nous permet de bénéficier des innovations rapides en matière de technologies de calcul, de réseau et de stockage, portées par les fournisseurs de cloud et l’écosystème des fabricants de composants.

8. Le modèle de gestion de Qumulo est axé sur les API. Chaque fonctionnalité développée par Qumulo est d’abord mise en œuvre sous la forme d’un point de terminaison API. Nous proposons ensuite une sélection de ces points de terminaison dans notre interface de ligne de commande (CLI) et dans l’interface utilisateur Web (WebUI), notre interface graphique. Cela inclut la création de systèmes, la gestion des données, l’analyse des performances et de la capacité, l’authentification et l’accessibilité des données.

9. Qumulo déploie régulièrement et rapidement de nouvelles versions de ses logiciels. Nous publions de nouvelles versions toutes les quelques semaines. Cela nous permet de réagir rapidement aux retours de nos clients, d'améliorer constamment notre produit et d'exiger de nos équipes un code de qualité production.

10. L'architecture basée sur des conteneurs de Qumulo permet un processus de mise à niveau unique qui minimise les perturbations pour les utilisateurs et les flux de travail. Le nouveau logiciel d’exploitation est déployé progressivement, nœud par nœud, dans un conteneur fonctionnant en parallèle avec l’ancienne version. Une fois la nouvelle instance initialisée, l’ancien environnement est arrêté en douceur, puis la mise à niveau se poursuit sur le nœud suivant jusqu’à ce que l’ensemble du cluster ait été mis à niveau.

11. L'équipe « Customer Success » de Qumulo est très réactive, connectée et agile. Qumulo est en mesure de surveiller à distance chaque déploiement Qumulo via notre service Mission Qontrol basé sur le cloud, qui nous permet de suivre de manière passive les données de télémétrie relatives au stockage et aux services (nous n’avons pas la possibilité de consulter ni d’accéder aux données du système de fichiers sur les déploiements des clients Qumulo). Notre équipe de réussite client utilise ces données pour aider les clients à résoudre les incidents, leur fournir des informations sur l’utilisation des produits et les alerter lorsque leurs systèmes subissent des pannes de composants. Cette combinaison d’un support intelligent et d’une innovation produit rapide nous permet d’afficher un score NPS de plus de 80, l’un des meilleurs du secteur.

Le système de fichiers Qumulo

Toutes les données non structurées stockées sur un système de fichiers Qumulo sont organisées au sein d'un espace de noms unique. Cet espace de noms est conforme à la norme POSIX afin de prendre en charge les clients NFSv3, tout en prenant également en charge la norme de liste de contrôle d'accès (ACL) utilisée par les protocoles NFSv4.1 et SMB.

Qumulo se distingue par plusieurs fonctionnalités clés : sa capacité à faire évoluer un espace de noms unique vers pratiquement n'importe quelle taille, l'intégration transparente de l'analyse du système et des données dans les opérations du système de fichiers, la prise en charge du protocole S3 et des protocoles traditionnels tels que NFS et SMB, ainsi que son approche innovante de la gestion des autorisations multiprotocoles.

Opérations sur le système de fichiers

Le système de fichiers de Qumulo a été conçu dès le départ pour s’adapter de manière transparente à des capacités supérieures à l’exaoctet au sein d’un espace de noms unique, capable d’héberger des billions de fichiers pouvant être partagés via les protocoles standard NFS et SMB. De plus, ce système de fichiers a été conçu pour surveiller efficacement les mises à jour et les actions qui s’y déroulent, ainsi que pour agréger des statistiques et des opérations basées sur les métadonnées, ce qui permet une analyse en temps réel du système et des données sans avoir recours à des parcours d’arborescence gourmands en ressources et chronophages.

Évolutivité du système de fichiers

Une seule instance Qumulo peut atteindre une capacité de plusieurs exaoctets et compter jusqu’à 2⁶⁴ nœuds (soit environ 18,4 quintillions de fichiers) sans rencontrer les problèmes courants sur d’autres plateformes, tels que l’épuisement des inodes, les baisses de performances et les longs délais de récupération après des pannes de composants.

Agrégation de métadonnées

L’architecture unique de Qumulo assure le suivi des métadonnées en temps réel, à mesure que les fichiers et les répertoires sont créés ou modifiés. Les différents champs de métadonnées sont synthétisés pour créer un index virtuel. À mesure que des modifications surviennent, de nouvelles métadonnées agrégées sont collectées et propagées depuis les fichiers individuels jusqu’à la racine du système de fichiers. Chaque opération sur un fichier ou un répertoire est prise en compte, et les modifications qui en résultent sont immédiatement intégrées aux analyses du système. Les résultats, agrégés à l’échelle de l’ensemble du système de fichiers, sont rendus visibles grâce au moteur d’analyse intégré de Qumulo, offrant ainsi une visibilité exploitable des données sans nécessiter de parcours arborescents coûteux de la plateforme de données de fichiers.

Le système de stockage en blocs évolutif

Le système de fichiers Qumulo repose sur une couche modulaire sécurisée qui sert d’interface entre des milliards (voire plus) de fichiers et de répertoires et le support physique sur lequel ils sont stockés. Dans l’architecture modulaire de Qumulo, c’est la couche « Scalable Block Store » qui remplit ce rôle.

Système mondial de transactions

Qumulo utilisant une architecture distribuée de type « shared-nothing » qui garantit une cohérence immédiate, chaque nœud du service doit disposer à tout moment d’une vue globalement cohérente de l’ensemble des données. Le « Scalable Block Store » s'appuie sur une approche transactionnelle globale pour garantir que, lorsqu'une opération d'écriture concerne plusieurs blocs, celle-ci écrive soit tous les blocs concernés, soit aucun d'entre eux. Pour des performances optimales, le système maximise le parallélisme et le calcul distribué tout en préservant la cohérence transactionnelle des opérations d'E/S.

Cette approche réduit au minimum le nombre de verrous nécessaires aux opérations d'E/S transactionnelles et permet à tout déploiement Qumulo d'évoluer jusqu'à plusieurs centaines de nœuds.

NeuralCache et la prélecture intelligente

Le logiciel de Qumulo intègre un certain nombre de fonctionnalités intégrées et de paramètres configurables, tous conçus pour protéger les données stockées sur le cluster.

1.  Toutes les métadonnées, qui constituent les données les plus fréquemment consultées dans n'importe quel ensemble de données, résident en permanence sur le niveau flash de l'instance de stockage.

2. Les blocs virtuels fréquemment consultés (selon un « indice de chaleur » propriétaire) sont stockés sur des supports Flash, tandis que les blocs virtuels rarement consultés sont transférés vers des supports moins actifs, c'est-à-dire vers le niveau de stockage sur disque dur du système (le cas échéant).

3. Au fur et à mesure de la lecture des données, l'instance Qumulo surveille le comportement du client et précharge de manière intelligente les nouvelles données dans la mémoire système du nœud le plus proche du client afin d'accélérer les temps d'accès.

Déploiements physiques de Qumulo (clusters)

Sur un cluster Qumulo physique, le « Scalable Block Store » sert d’interface entre le système de fichiers et les supports de stockage sous-jacents, qui peuvent être soit des dispositifs flash à semi-conducteurs (SSD), soit des disques durs (HDD). Cette couche a pour principale mission de garantir la cohérence des données sur l'ensemble des nœuds d'un cluster physique, d'assurer des performances optimales pour les requêtes de lecture et d'écriture, ainsi que d'assurer la sécurité, l'intégrité et la résilience des données en cas de défaillance d'un composant.

Blocs virtuels protégés

La capacité de stockage d'un cluster physique Qumulo est, d'un point de vue conceptuel, organisée en un espace d'adressage virtuel protégé. Chaque adresse de cet espace stocke soit un bloc de données de 4 Ko, soit un hachage de codage d'effacement de 4 Ko pouvant servir à reconstruire tout bloc de données perdu à la suite d'une défaillance matérielle. Le rapport entre les blocs de données et les blocs de codage d’effacement est déterminé par la taille du cluster physique : à mesure que des nœuds sont ajoutés, ce rapport s’ajuste pour offrir une meilleure efficacité globale tout en assurant une protection contre les pannes de disque et de nœud.

Outre la protection offerte par le codage d'effacement, le système de blocs virtuels intègre également un algorithme de détection de la dégradation des bits afin de protéger les données contre toute corruption sur le disque.

Instances Qumulo dans le cloud

Pour les instances Qumulo déployées sur Azure, bon nombre des fonctionnalités proposées en environnement sur site par la couche « Scalable Block Storage », telles que le chiffrement sur disque, le codage d'effacement, la détection de la dégradation des bits et la gestion des blocs, sont fournies en tant que fonctionnalités de base du service Azure Blob Storage sous-jacent.

Chiffrement au repos

Sur les clusters physiques Qumulo, le Scalable Block Store intègre un algorithme logiciel AES 256 bits qui chiffre toutes les données du système de fichiers avant de les écrire dans la couche de données. Cet algorithme est initialisé lors du processus de création initiale du cluster et s'applique à l'ensemble des données et métadonnées du système de fichiers au niveau des blocs, et ce pendant toute la durée de vie du cluster.

Les clusters Qumulo dans le cloud s'appuient sur un chiffrement au niveau des blocs au sein de la couche de stockage objet sous-jacente, mis en œuvre et géré par le fournisseur de services cloud. Cela garantit que toutes les données au repos sur n'importe quelle instance Qumulo hébergée dans le cloud sont entièrement chiffrées.

Pour les entreprises qui en ont besoin, l’algorithme de chiffrement Qumulo intégré, utilisé dans chaque cluster physique, est conforme aux normes FIPS 140-3, tout comme les services de chiffrement fournis par les solutions de stockage objet d’Azure et d’AWS.

Services de données

La couche « Services de données » comprend cinq fonctionnalités de gestion : les instantanés, la réplication, les quotas, la journalisation et l'audit des accès, ainsi que l'analyse du système et des données.

Instantanés

Les instantanés d'un cluster Qumulo peuvent être utilisés de plusieurs façons pour protéger les données du cluster :

•  Ils peuvent être utilisés en local pour assurer une protection et une restauration rapides et efficaces des données.

• Un instantané des données en temps réel d'un cluster Qumulo peut être répliqué vers une instance Qumulo secondaire, telle qu'une instance du service Qumulo Cold native Azure, ce qui permettrait d'assurer un basculement immédiat des services de données de fichiers en cas de panne systémique sur le site principal.

• Les instantanés Qumulo peuvent également être associés à des logiciels de sauvegarde tiers afin d'assurer une protection efficace à long terme (avec un contrôle des versions plus rigoureux pour les fichiers modifiés) contre la perte de données.

Des instantanés peuvent être créés à tout moment, soit selon un calendrier fixe, soit à la demande, selon les besoins. Chaque instantané conserve l'intégralité du contenu du système de fichiers : données des fichiers, entrées de répertoires, dates et heures de création et de modification, droits d'accès, etc. Une fois créé, un instantané n'occupe initialement aucun espace. À mesure que les fichiers contenus dans l'instantané évoluent au fil du temps, les nouvelles données sont écrites à côté de la version d'origine, et de nouvelles entrées sont créées dans le système de fichiers pour identifier chaque version d'un même fichier.

Verrouillage des instantanés

Afin d'offrir une protection supplémentaire contre les attaques par ransomware ou la suppression prématurée d'instantanés critiques via un compte administrateur compromis, les instantanés peuvent être « verrouillés » cryptographiquement, ce qui empêche toute modification ou suppression prématurée d'un instantané, même par un utilisateur administrateur.

L'utilisation de snapshots verrouillés nécessite une paire de clés cryptographiques asymétriques, la clé publique étant installée directement sur l'instance Qumulo et la clé privée stockée en externe, conformément aux pratiques de gestion des clés mises en place par l'organisation.

Quotas

Les quotas permettent aux utilisateurs de contrôler la croissance de n'importe quel sous-ensemble d'un espace de noms Qumulo. Ils agissent comme des limites indépendantes sur la taille de chaque répertoire, empêchant ainsi la croissance des données lorsque la limite de capacité est atteinte. Contrairement à d’autres plateformes et services, les quotas Qumulo prennent effet instantanément, ce qui permet aux administrateurs d’identifier les charges de travail indésirables grâce à nos analyses de capacité en temps réel et de mettre immédiatement un terme à toute utilisation excessive de la capacité. Les quotas suivent même la partie de l’espace de noms qu’ils couvrent lorsque des répertoires sont déplacés ou renommés.

Journalisation et audit des accès

La journalisation d'audit offre un mécanisme permettant de suivre les événements du système de fichiers Qumulo et les opérations de gestion. Lorsque les clients connectés envoient des requêtes au cluster, des messages de journal d'événements décrivent chaque opération tentée. Ces messages de journal sont ensuite transmis via le réseau à une instance syslog distante désignée, par exemple une plateforme SIEM (Security Information and Event Management) conforme aux normes du secteur, telle que Splunk.

Détection en temps réel des intrusions et des rançongiciels

Qumulo s'est associé aux fournisseurs tiers Superna et Varonis afin de permettre la surveillance en temps réel des journaux d'événements et d'accès, dans le but d'identifier les cyberattaques et d'y répondre. Pour en savoir plus sur l'intégration de Varonis à notre solution Qumulo native Azure, rendez-vous sur notre Intégration de Varonis avec ANQ page. Vous trouverez ici des informations sur Superna Ransomware Defender ici.

Réplication

Le service de réplication intégré de Qumulo permet de copier des données à grande échelle entre deux instances de stockage Qumulo quelconques. Outre la protection des données contre les cyberattaques, un site secondaire hébergeant un autre cluster Qumulo peut également servir de stockage de secours en cas de panne au niveau du site.

Étant donné que toutes les instances Qumulo prennent en charge les mêmes fonctionnalités de réplication et fournissent les mêmes services quel que soit leur emplacement, la réplication peut être configurée pour s'effectuer dans n'importe quelle direction entre deux points de terminaison Qumulo, que ce soit sur site, sur AWS ou sur Azure.

Réplication continue

Ce type de réplication consiste simplement à réaliser un instantané des données présentes sur le cluster Qumulo source et à le copier dans un répertoire du cluster cible. Tant que la relation de réplication est active, le système analyse tous les fichiers modifiés afin d’identifier et de copier uniquement les modifications spécifiques vers la cible, en écrasant ainsi toutes les versions antérieures des données.

Réplication basée sur des instantanés

Avec la réplication basée sur des instantanés, des instantanés du répertoire cible sont également créés sur le cluster secondaire. Une fois la tâche de réplication terminée, un nouvel instantané du répertoire cible est créé, ce qui garantit la cohérence des données entre les deux clusters, tout en conservant un journal des modifications et un historique des versions pour chaque fichier de la cible.

Analyse des systèmes et des données

La pile logicielle de Qumulo est conçue pour offrir une visibilité en temps réel sur les indicateurs du système et des services, notamment la capacité et les performances, dans chaque instance Qumulo. Cela permet aux clients de dépanner leurs applications, de gérer la consommation de capacité et de planifier leurs stratégies d’extension (ou d’archivage). Les analyses de Qumulo s’appuient sur l’agrégation des modifications des métadonnées à travers le système de fichiers, au fur et à mesure qu’elles se produisent.

L'interface Web comprend des outils de surveillance en temps réel permettant de suivre les performances du système, l'utilisation de la capacité et l'activité en cours sur l'instance Qumulo locale. Pour les entreprises qui souhaitent exporter ces informations vers une solution de surveillance externe, Qumulo prend en charge la norme API OpenMetrics pour l'exportation et la compilation des données syslog.

Gestion des instances et des services de données

En tant que service de stockage de données de fichiers conforme aux normes du secteur, Qumulo prend en charge tous les protocoles d'accès aux données non structurées : SMB, NFS et NFSv4.1. Il prend également en charge l'accès aux objets via le protocole S3. Qumulo prend par ailleurs en charge l'accès via FTP et l'API REST pour certains types de données.

Gestion du système

Toute instance Qumulo, qu'elle soit sur site ou dans le cloud, peut être gérée à l'aide des mêmes outils standard : une interface utilisateur Web intégrée pour la gestion interactive du stockage et des données, une bibliothèque de commandes via l'interface en ligne de commande (CLI) ou un ensemble d'outils de gestion via l'API.

Interface utilisateur Web

Qumulo propose une interface de gestion par navigateur, accessible directement depuis l'instance de stockage elle-même, sans nécessiter de machine virtuelle ni de service distinct. L'interface utilisateur Web intuitive s'articule autour de six sections de navigation principales : Tableau de bord, Analyses, Partage, Cluster, API et outils, et Assistance.

Interface de ligne de commande (CLI)

L'interface de ligne de commande (CLI) de Qumulo prend en charge la plupart (mais pas la totalité) des fonctions de la bibliothèque API et est principalement destinée à l'administration du système. La CLI offre un moyen d'interaction scriptable pour travailler avec une instance Qumulo. Vous trouverez la liste complète des commandes dans notre base de connaissances (care.qumulo.com).

API REST

L'API REST constitue un sur-ensemble de toutes les fonctionnalités de la plateforme de données Qumulo. Grâce à cette API, les administrateurs peuvent :

•  Créer un espace de noms

• Configurer tous les aspects d'un système (de la sécurité, notamment les services d'identité et les rôles de gestion du système, à la gestion et à la protection des données, y compris les quotas, les politiques de snapshots et/ou la réplication des données)

• Recueillir des informations sur l'instance Qumulo concernée (notamment sur l'utilisation de la capacité et les goulots d'étranglement au niveau des performances)

• Accéder aux données (y compris les opérations de lecture et d'écriture)

• L'API est « auto-documentée », ce qui permet aux développeurs et aux administrateurs d'explorer facilement chaque point de terminaison (et de consulter des exemples de résultats). Qumulo met à disposition sur GitHub (https://qumulo.github.io/) une collection d'exemples d'utilisation de notre API.

Pour plus d'informations sur l'utilisation de la bibliothèque API Qumulo, de l'interface en ligne de commande (CLI) et du portail de gestion Web, rendez-vous sur le portail de documentation Qumulo (https://docs.qumulo.com).

Qumulo Nexus

Alors que les clients de Qumulo adoptent de plus en plus des opérations d’entreprise multi-cloud et multi-sites, ils ont besoin de réduire la complexité liée à la surveillance de la disponibilité et des indicateurs de service de chaque instance Qumulo via des interfaces de gestion distinctes. Grâce à Qumulo Nexus, les clients peuvent regrouper les opérations de surveillance de toutes leurs instances Qumulo – qu'elles soient sur site, en périphérie ou dans le cloud – au sein d'un portail de gestion unique offrant les mêmes analyses en temps réel et la même visibilité sur les données que l'interface Web locale.

Sécurité et gestion des accès

Le logiciel de Qumulo intègre plusieurs fonctionnalités intégrées et des contrôles configurables, tous conçus pour protéger l'accès aux données stockées sur le cluster.

Fonctionnalités de sécurité des données de Qumulo

Chaque instance Qumulo, qu'elle soit sur site ou dans le cloud, s'appuie sur un duo de mécanismes de contrôle qui garantissent la protection de toutes les données du système de fichiers contre la corruption, la perte ou l'intrusion au niveau du stockage des données.

Intégration à Active Directory

Le modèle d'accès sécurisé de Qumulo a été conçu pour tirer parti de Microsoft Active Directory (AD) tant pour les droits et autorisations administratifs que pour ceux des utilisateurs. Outre les avantages évidents liés à l'existence d'une source unique de données pour tous les comptes utilisateurs, l'utilisation d'AD pour la gestion des privilèges et des autorisations s'inscrit dans les meilleures pratiques du secteur pour les aspects suivants :

•  Intégration transparente avec les protocoles d'authentification et de gestion des identités basés sur Kerberos

• Intégration avec les fournisseurs d'accès SSO et MFA

• L'utilisation d'autorisations basées sur des listes de contrôle d'accès (ACL) pour les clients SMB et NFSv4.1 accédant aux données du système de fichiers

Chiffrement des données transmises par réseau

Même lorsque des paramètres de sécurité appropriés sont mis en place au niveau des partages et des données, certaines entreprises ont besoin d'une couche supplémentaire de sécurité pour protéger leurs données contre tout accès non autorisé. Pour ces environnements, Qumulo prend également en charge le chiffrement des données en transit entre les clients pris en charge.

Pour les partages SMB3, Qumulo prend en charge à la fois le chiffrement à l'échelle du cluster et le chiffrement par partage, selon les besoins. Les exportations NFSv4.1 nécessitant une sécurité renforcée peuvent être configurées pour utiliser soit des signatures de paquets krb5i garantissant l'intégrité des données, soit un chiffrement de paquets basé sur krb5p afin d'empêcher toute interception pendant le transfert.

Tout le trafic lié aux objets est automatiquement chiffré selon les normes de chiffrement TLS / HTTPS.

Authentification et contrôle d'accès

L'accès aux données du système de fichiers Qumulo, ainsi que l'accès au système de stockage Qumulo, s'appuient sur des protocoles d'authentification et d'accès conformes aux normes du secteur, garantissant une gestion des accès, un contrôle des identités et une traçabilité de niveau entreprise.

Sécurité administrative

Les droits et privilèges au niveau du système sont accordés en fonction de l'appartenance à un ou plusieurs groupes locaux sur l'instance Qumulo concernée. Les droits d'administration sont accordés à tous les comptes locaux et de domaine qui font partie du groupe « Administrateurs » intégré au cluster.

Utilisateurs administratifs au niveau du domaine

La plupart des politiques de sécurité d'entreprise exigent que l'administration et la gestion des systèmes critiques de l'entreprise respectent le principe « un utilisateur, un compte » afin de garantir l'exactitude des enregistrements relatifs à l'accès aux systèmes et à l'utilisation des privilèges. La méthode la plus simple pour se conformer à cette politique consiste à ajouter les comptes d'utilisateurs Active Directory concernés au groupe local « Administrateurs » du cluster.

Utilisateurs administratifs locaux

Chaque instance Qumulo est fournie avec un compte par défaut, appelé admin, qui est automatiquement ajouté au groupe local « Administrateurs » et dispose de tous les droits et privilèges d'administration sur le cluster.

Authentification unique avec authentification multifactorielle

L'authentification unique (SSO) évite à l'administrateur d'avoir à saisir à nouveau ses identifiants pour accéder au système. Les entreprises souhaitent adopter le SSO non seulement parce qu'il simplifie le processus de connexion, facilitant ainsi l'authentification des administrateurs, mais aussi parce qu'il réduit le risque d'usurpation de compte via des enregistreurs de frappe ou d'interception lors du transit des données de connexion sur le réseau.

L'authentification à plusieurs facteurs (MFA) ajoute un niveau de sécurité supplémentaire au processus de connexion. Elle exige que les utilisateurs administrateurs récupèrent un code à usage unique à partir soit d'un jeton physique, soit d'une demande d'authentification sur un appareil distinct, aucun de ces deux éléments ne pouvant se trouver en possession d'un intrus.

La solution SSO de Qumulo s'intègre à Active Directory via le protocole SAML (Security Assertion Markup Language) 2.0. Pour l'authentification à plusieurs facteurs (MFA), les clients peuvent utiliser n'importe quel fournisseur d'identité (IdP) s'intégrant au domaine AD enregistré sur le cluster, notamment OneLogin, Okta, Duo et Azure AD, sans que cette liste soit exhaustive.

Jetons d'accès

Afin de simplifier le processus de stockage automatisé et de gestion des données via l’API de Qumulo, Qumulo offre aux administrateurs la possibilité de générer un jeton API à durée de vie prolongée pouvant être utilisé indéfiniment par les flux de travail automatisés jusqu’à ce que la clé soit révoquée ou supprimée. Le jeton est généré par un administrateur via l'interface de ligne de commande (CLI) et peut être associé à chaque flux de travail basé sur l'API, ce qui permet désormais d'effectuer des appels API authentifiés sans avoir à se connecter.

À des fins d'audit, chaque jeton est associé à un compte AD ou à un compte de cluster spécifique. Si le compte utilisateur associé est supprimé ou désactivé, le jeton d'accès cessera de fonctionner.

Contrôle d'accès basé sur les rôles

Le contrôle d’accès basé sur les rôles (RBAC) permet aux administrateurs d’attribuer des privilèges précis à des utilisateurs ou groupes non administrateurs qui ont besoin de droits étendus sur le cluster pour effectuer des tâches de gestion spécifiques. L'utilisation du modèle RBAC permet de déléguer des privilèges en toute sécurité, en fonction des besoins, sans avoir à accorder l'intégralité des droits d'administration. Elle permet également aux entreprises d'octroyer les privilèges système nécessaires tout en garantissant une piste d'audit vérifiable des accès et de l'utilisation des privilèges.

Gestion de l'accès aux données

Qumulo utilise le même modèle de sécurité pour gérer l'accès aux données du système de fichiers, en s'appuyant sur les pratiques, protocoles et outils standard du monde de l'entreprise afin de gérer et de suivre l'accès à l'ensemble des fichiers et répertoires du système.

Listes de contrôle d'accès

Pour les charges de travail partagées via SMB et NFSv4, Qumulo prend en charge l'authentification via Active Directory ainsi que les listes de contrôle d'accès (ACL) de type Windows, qui peuvent être partagées entre les deux protocoles.

Améliorations apportées à Kerberos

Toutes les requêtes de données SMB et NFSv4.1, lorsqu'elles proviennent d'un client Windows ou Linux appartenant au même domaine que le cluster Qumulo (ou à un domaine de confiance), sont authentifiées à l'aide d'un système de gestion des identités utilisateur basé sur Kerberos.

Prise en charge des autorisations multiprotocoles

Qumulo permet de rendre les mêmes données du système de fichiers accessibles simultanément via plusieurs protocoles. Dans de nombreux cas, un partage SMB sur le cluster peut également être configuré en tant qu’exportation NFSv3, exportation NFSv4.1 et conteneur de stockage d’objets. Bien que cela optimise la flexibilité du cluster, certains aspects doivent être pris en compte en matière de gestion des autorisations.

Les protocoles SMB et NFSv4.1 utilisent tous deux le même modèle d’autorisations basé sur les listes de contrôle d’accès (ACL), dans lequel l’accès est accordé ou refusé à l’utilisateur en fonction de l’appartenance de son compte Active Directory à un ou plusieurs groupes dont l’accès a été configuré au niveau des données.

Pour les charges de travail mixtes SMB/NFSv3, il peut toutefois y avoir un décalage entre les droits d'accès ACL d'un fichier ou d'un répertoire donné et ses paramètres POSIX. Une instance Qumulo peut être configurée pour fonctionner en mode mixte, dans lequel les droits d'accès SMB et POSIX sont gérés séparément pour les fichiers et répertoires partagés via les deux protocoles.

Pour les charges de travail à protocoles mixtes, le modèle d'autorisations multiprotocoles (MPP) propriétaire de Qumulo préserve les listes de contrôle d'accès (ACL) SMB et leur héritage, même si les autorisations NFS sont modifiées.

Autorisations d'accès aux objets

Si un répertoire du cluster est partagé via le protocole S3, il est considéré comme un compartiment S3, et tous les sous-répertoires et fichiers qu'il contient sont traités comme des objets au sein de ce compartiment.

Lorsqu'un utilisateur ou un workflow tente d'accéder à un objet, le système utilise la clé d'accès fournie par le client pour identifier l'identifiant utilisateur Active Directory ou local associé à cette clé, puis compare cet identifiant à la liste de contrôle d'accès SMB / NFSv4.1 de l'objet.

Gestion des restrictions de circulation

Outre l'authentification par SSO et MFA des comptes administratifs désignés, Qumulo prend également en charge les politiques de sécurité qui imposent de limiter l'accès de niveau administrateur à des réseaux ou VLAN spécifiquement désignés, en offrant la possibilité de bloquer des ports TCP spécifiques au niveau de chaque VLAN.

De cette manière, une instance Qumulo peut être configurée pour séparer le trafic de gestion (par exemple, API, SSH, interface utilisateur Web et trafic de réplication) du trafic client (par exemple, SMB, NFS et accès aux objets).

Cloud Data Fabric

Dans un monde interconnecté et multicloud, les équipes et les applications géographiquement dispersées doivent pouvoir collaborer sur des ensembles de données partagés sans subir la latence d'une connexion WAN ni les longs délais liés à la réplication des données à grande échelle entre les sites.

Le Cloud Data Fabric (CDF) de Qumulo étend le système de fichiers évolutif de Qumulo à deux instances Qumulo ou plus, permettant ainsi à des équipes et à des flux de travail dispersés géographiquement de partager un ensemble de données unique en temps réel. Le CDF offre non seulement un accès à faible latence aux données critiques entre les instances Qumulo sur site, en périphérie et dans le cloud, mais il élimine également, dans de nombreux cas, tout besoin de réplication à grande échelle dans les flux de travail partagés.

Le CDF unifie un ou plusieurs ensembles de données partagés entre différents sites, clouds, plateformes et zones géographiques, mettant ainsi les données à la disposition des équipes, des applications et des organisations qui ont besoin de collaborer en temps réel. L'utilisation du CDF permet aux entreprises de réduire au minimum le trafic WAN tout en simplifiant la gestion des données et de la sécurité entre les différents sites.

Espace de noms global

La solution Cloud Data Fabric de Qumulo permet la mise en place d'un espace de noms véritablement mondial dans lequel les ensembles de données critiques sont partagés entre toutes les instances Qumulo, qu'elles se trouvent dans un centre de données, dans le cloud ou en périphérie. L'espace de noms mondial de Qumulo s'appuie sur des fonctionnalités innovantes et uniques qui, combinées, offrent une visibilité en temps réel sur les données et permettent une collaboration mondiale autour des données partagées.

Synchronisation des métadonnées

Au lieu de synchroniser immédiatement les données des fichiers et des dossiers sur toutes les instances partageant un ensemble de données donné, l’implémentation de l’espace de noms global (Global Namespace) de Qumulo ne réplique dans un premier temps que les métadonnées entre les nœuds Qumulo, ce qui permet aux clients distants de visualiser l’intégralité de la structure des fichiers et des dossiers des ensembles de données distants avec un délai de quelques millisecondes seulement.

Verrouillage distribué

Afin de garantir l'intégrité des données dans un environnement distribué où tout fichier peut être modifié par n'importe quel utilisateur ou application depuis plusieurs sites, CDF utilise un algorithme de verrouillage qui coordonne l'accès aux fichiers sur l'ensemble des terminaux. Cela garantit que chaque transaction de données est autorisée, consignée et strictement cohérente avec toutes les actions précédentes.

Sécurité des données

La réplication des métadonnées du système de fichiers entre les terminaux entraîne également la réplication des listes de contrôle d'accès (ACL) (SMB et NFSv4.1) et des droits d'accès POSIX. Si tous les utilisateurs du portail partagent la même source d'authentification, l'accès aux données est automatiquement transféré d'un terminal à l'autre.

Si un portail est supprimé, les liens vers tous les points de terminaison « spoke » sont interrompus, et toutes les données mises en cache localement sont supprimées de chaque « spoke ». À moins que le partage ou l'exportation sous-jacent(e) ne soit également supprimé(e), les données restent sur l'instance Qumulo qui servait de point de terminaison « hub ».

Portails de données

L'approche unique de Cloud Data Fabric en matière d'accès unifié aux données repose sur des portails de données. Ces portails sont publiés au niveau de chaque partage SMB ou exportation NFS (ou des deux, puisque Qumulo propose également le partage de données multiprotocole). La création d’un portail CDF rend les données contenues dans ce partage ou cette exportation accessibles à une ou plusieurs instances Qumulo supplémentaires.

Les portails CDF peuvent prendre en charge aussi bien des cas d'utilisation en lecture seule que des cas d'utilisation bidirectionnels.

Points de terminaison du portail

Les portails Cloud Data Fabric sont conçus selon une topologie « hub-and-spoke », dans laquelle une instance Qumulo (le « hub ») fait office de propriétaire de référence des données du portail et coordonne toutes les opérations d’accès aux données sur l’ensemble des points de terminaison du portail. Chaque portail dispose d’un seul hub, avec un ou plusieurs points de terminaison « spoke » faisant office d’extensions de l’espace de noms du portail.

Pour créer un nouveau portail, un administrateur identifie le partage ou l'exportation spécifique du hub à publier, attribue au moins un point de terminaison Qumulo supplémentaire en tant que « spoke », puis définit le nouveau portail comme étant soit en lecture seule, soit bidirectionnel. D'autres instances Qumulo peuvent être ajoutées au portail en tant que « spokes » selon les besoins.

Chaque point de terminaison d'un portail CDF peut également fonctionner comme une instance de stockage Qumulo indépendante, hébergeant des partages et/ou des exportations supplémentaires dont l'utilisation est réservée exclusivement aux clients locaux.

Enregistrement par journal

Toutes les opérations sur le système de fichiers au sein d'un portail donné sont suivies grâce à un mécanisme de journalisation distribué. Chaque événement d'accès aux données (création, lecture, modification, suppression, etc.) est enregistré dans le journal partagé et répliqué vers tous les autres nœuds du portail.

Suivi logique du temps

L'utilisation d'un décalage temporel logique partagé pour coordonner les événements entre les différents points de terminaison, plutôt que d'un horodatage physique absolu, garantit que les transactions de données sont appliquées dans le bon ordre sur tous les nœuds de tous les points de terminaison, sans qu'il soit nécessaire de tenir compte des différences de fuseau horaire ou des décalages horaires entre les différentes instances de Qumulo.

Journalisation logique et récupération

Si un nœud « spoke » du portail perd la connexion avec le hub, les données du portail ne sont plus accessibles à aucun des clients de ce nœud. Sur l'ensemble des autres points d'accès du portail, le fichier journal distribué continue d'enregistrer les modifications apportées aux données au sein du portail.

Une fois reconnecté, le nœud concerné relira les événements du journal dans leur ordre chronologique afin de synchroniser ses données mises en cache localement avec celles des autres terminaux du portail.

Optimisation des transferts

Cloud Data Fabric a été conçu pour tirer le meilleur parti d'une bande passante limitée, en offrant un accès hautement performant et à faible latence aux données distantes à grande échelle, même au sein d'entreprises très dispersées géographiquement. Pour ce faire, il attend que les clients demandent les données spécifiques du portail dont ils ont besoin, ne met en cache localement sur chaque terminal que les données pertinentes et ne réplique entre les terminaux que les blocs de données modifiés, plutôt que des fichiers entiers ou des ensembles de données complets.

Mise en cache locale

Lors du premier accès aux données depuis un terminal distant, le fichier ou le dossier demandé est « récupéré » via le réseau et mis en cache sur le terminal Qumulo local. À condition qu’aucune modification n’ait été apportée aux données après ce premier accès, toutes les demandes d’accès suivantes concernant ces mêmes données seront traitées à partir du cache local.

Systèmes de fichiers clairsemés

Chaque nœud crée un système de fichiers fantôme, indépendant de toutes les autres données de fichiers qu’il héberge localement, contenant les métadonnées du portail ainsi que toutes les données du portail mises en cache localement. L'instance locale utilise une carte thermique, similaire au système de mise en cache intelligent qui optimise les performances de lecture du système de fichiers local, mais indépendante de celui-ci, pour surveiller la fréquence d'accès aux données mises en cache.

La taille de ce système de fichiers clairsemé varie en fonction de la capacité de stockage disponible de l’instance Qumulo concernée. À mesure que de nouvelles données du portail sont demandées et que le système de fichiers clairsemé se remplit, les données les plus anciennes sont supprimées du cache afin de garantir des performances optimales pour les nouvelles données entrantes.

Mise en cache prédictive

Au fur et à mesure que les clients et les applications locales accèdent aux fichiers et aux dossiers, chaque nœud de terminaison surveille les données du portail qui sont ajoutées de manière passive au cache du système de fichiers clairsemé au fil du temps et commence à identifier des schémas de comportement chez les clients et les applications. CDF utilise ces modèles d’accès pour anticiper quels blocs de données sont susceptibles d’être demandés ensuite et les précharge de manière préventive dans le cache du système de fichiers clairsemé avant même qu’ils ne soient sollicités.

Matériel serveur

Le logiciel de Qumulo fonctionne sur pratiquement tout matériel standard de type x86-64 destiné aux entreprises ; toutefois, les clients recherchant une disponibilité et des performances optimales sont invités à consulter directement Qumulo avant de choisir la configuration matérielle appropriée.

Le système d'exploitation Linux sous-jacent est verrouillé, n'autorisant que les opérations nécessaires à l'exécution des tâches de support requises par l'environnement logiciel Qumulo. Les autres services Linux standard ont été désactivés afin de réduire encore davantage la surface d'exposition aux attaques.

Pile logicielle entièrement native

Bien que Linux intègre des composants open source permettant de fournir à la fois des services client et serveur NFS et SMB (par exemple, Samba, Ganesha, etc.), ces services ne sont pas inclus dans l'image Ubuntu renforcée qui prend en charge l'environnement logiciel Qumulo. Qumulo développe et contrôle l'ensemble du code utilisé pour les protocoles d'accès aux données NFS, SMB, FTP et S3 au sein de l'environnement d'exploitation Qumulo.

Mises à jour instantanées

Le processus de développement itératif de Qumulo est simple et rationalisé, et de nouvelles mises à jour logicielles sont publiées régulièrement. Cela permet une innovation rapide pour développer et déployer de nouvelles fonctionnalités, et contribue à renforcer la sécurité de la plateforme de stockage.

Qumulo a conçu le processus de mise à niveau pour qu'il soit rapide et simple. La pile logicielle Qumulo Core est entièrement conteneurisée, ce qui permet de mettre à niveau un cluster entier en 20 secondes, quelle que soit sa taille. Il n'est plus nécessaire de revenir à une version antérieure, car les fonctionnalités et la stabilité de la version mise à jour peuvent être entièrement validées avant l'arrêt de l'ancienne version.