Aperçu technique

Exécuter n'importe où, faire évoluer n'importe où

La Cloud Data Fabric de Qumulo vous permet d'étendre ou d'intégrer facilement vos applications dans n'importe quel environnement, à n'importe quel endroit et sur n'importe quelle plate-forme. Il offre la seule solution de données non structurées globalement unifiée et indépendante de la plate-forme qui prend en charge tous vos flux de travail d'entreprise, hybrides-cloud et multi-cloud. Le système de fichiers évolutif de Qumulo et les puissants outils WebUI et CLI simplifient la gestion des données, que vous en ayez besoin pour vos flux de travail les plus exigeants ou pour un stockage d'archives en nuage rentable. Notre architecture unique, native dans le nuage, vous libère des contraintes de plate-forme et de lieu, vous permettant d'accéder aux données de n'importe où, que ce soit dans votre centre de données ou dans le nuage.

L'objectif de Qumulo est de rendre le stockage de données non structurées simple, évolutif et global pour l'entreprise moderne. Nous simplifions la sécurisation de vos données. Nous simplifions l'exécution de vos flux de travail les plus exigeants, que ce soit sur site ou dans le nuage. Nous simplifions le stockage en nuage hybride.

L'architecture logicielle de Qumulo

Nous avons conçu notre plateforme de stockage pour en faire un service évolutif prêt à être hébergé dans le nuage, capable de prendre en charge n'importe quel flux de travail basé sur des fichiers, où qu'il se trouve. Nous avons construit une plateforme extensible à l'échelle mondiale. Nous fournissons également des API robustes pour assurer une gestion automatisée et une visibilité en temps réel de l'utilisation du système et des données. Nos solutions de stockage répondent aux exigences de sécurité et de protection des données des entreprises du classement Fortune 500.

Cette page fournit une vue d'ensemble de l'architecture, des composants et des services de la solution de données non structurées de Qumulo. Elle montre comment notre produit prend en charge un large éventail de cas d'utilisation, des médias et du divertissement aux soins de santé et aux sciences de la vie, de l'informatique haute performance basée sur le cloud au stockage d'archives en nuage à long terme rentable. Nous montrerons également comment notre Cloud Data Fabric unique peut unifier les données critiques entre les plates-formes, les sites et les nuages pour fournir un accès en temps réel aux données distantes, rationaliser la collaboration entre les équipes largement dispersées et accélérer le développement commercial dans pratiquement n'importe quel secteur.

Qumulo Architecture

L'architecture modulaire de Qumulo peut être abstraite en une série de couches, avec des contrôles et des fonctionnalités de services spécifiques regroupés dans chaque couche. Ces couches fonctionnent ensemble pour soutenir l'évolutivité, la performance, la sécurité et la fiabilité des données non structurées sur une instance Qumulo, ainsi que le système Qumulo lui-même.

Principes de base de Qumulo

Avant de plonger dans les différents composants de l'architecture de Qumulo, il est important d'énumérer plusieurs principes fondamentaux :

1. Qumulo fournit un système de fichiers distribués 100% défini par logiciel qui présente un espace de noms unique. Un cluster Qumulo sur site consiste en une agrégation partagée de nœuds indépendants, chaque nœud contribuant à la capacité et aux performances globales du cluster. Les nœuds individuels restent en coordination constante les uns avec les autres. Tout client peut se connecter à n'importe quel nœud et lire et écrire dans l'ensemble de l'espace de noms.

2. Les instances Qumulo basées sur le cloud utilisent le stockage d'objets (AWS S3 ou Microsoft Azure Blob storage, selon l'endroit où elles sont déployées) pour la couche de données, dans laquelle les blocs associés à un fichier donné sont abstraits et distribués à travers une collection logique d'objets discrets.

   • Cette architecture cloud-native élimine la relation traditionnelle entre le calcul, le stockage et le débit, créant ainsi un service de stockage de fichiers totalement élastique qui peut faire évoluer sa capacité jusqu'à des centaines de pétaoctets et son débit au-delà de 100 GBps.

   • Avec la désagrégation complète du calcul et du stockage que l'architecture cloud-native de Qumulo permet, les clients ont la flexibilité de choisir les niveaux spécifiques de débit et de capacité dont ils ont besoin, indépendamment les uns des autres. Un client peut même déployer une instance Qumulo avec une empreinte informatique initialement faible, puis augmenter temporairement l'allocation informatique du service pour augmenter considérablement le débit pendant une courte période, puis la réduire à nouveau par la suite sans avoir besoin de déployer une capacité supplémentaire à aucun moment.

3. Qumulo est conçu pour l'échelle. Nous nous assurons que tous les aspects de notre produit peuvent confortablement prendre en charge des pétaoctets à des exaoctets de données, des trillions de fichiers, des millions d'opérations et des milliers d'utilisateurs sur des dizaines de sites, de régions et de déploiements.

4. Qumulo est conçu pour la distribution géographique, permettant à des équipes très dispersées de collaborer sur des ensembles de données partagées sans risque de corruption ou de perte de données.

5. Qumulo s'auto-optimise pour des performances maximales. Chaque instance de Qumulo suit l'accès aux données à l'aide d'une carte thermique pour identifier les blocs de données fréquemment accédés. Ces blocs sont déplacés de manière proactive par un algorithme interne de préemption : les blocs de données sur les supports de stockage à long terme sont déplacés vers le stockage flash au fur et à mesure que leur score de chaleur augmente. Si le score de chaleur continue d'augmenter, les données qui se trouvent déjà sur le stockage flash sont déplacées de manière proactive vers la mémoire du système pour un accès encore plus rapide. Au niveau mondial, dans toutes les instances Qumulo pour tous les clients Qumulo, le taux de réussite du cache est d'environ 95 % de toutes les demandes de lecture.

6. Qumulo est hautement disponible et strictement cohérent, construit pour résister aux défaillances des composants de l'infrastructure tout en fournissant un service fiable aux clients. Pour ce faire, nous utilisons l'abstraction logicielle, le codage par effacement, des technologies de réseau avancées et des tests rigoureux. Lorsque des données sont écrites dans le système de fichiers de Qumulo, l'opération d'écriture n'est pas confirmée au service, à l'utilisateur ou au client tant que les données n'ont pas été écrites dans le stockage persistant. Ainsi, toute demande de lecture ultérieure aboutira à une vue cohérente des données (par opposition aux modèles éventuellement cohérents).

7. Qumulo fournit des services de fichiers agnostiques pour les nuages publics, privés et hybrides. Le logiciel de Qumulo fait peu de suppositions quant à la plateforme sur laquelle il fonctionne. Il fait abstraction des ressources matérielles physiques ou virtuelles sous-jacentes afin de tirer parti de la meilleure infrastructure de nuage public et privé. Cela nous permet de tirer parti de l'innovation rapide en matière de technologies de calcul, de mise en réseau et de stockage, stimulée par les fournisseurs d'informatique en nuage et l'écosystème des fabricants de composants.

8. Le modèle de gestion de Qumulo est axé sur l'API. Chaque capacité construite par Qumulo est d'abord développée en tant que point d'extrémité d'API. Nous présentons ensuite un ensemble de ces points de terminaison dans notre interface de ligne de commande (CLI) et le WebUI, notre interface visuelle. Cela comprend la création de systèmes, la gestion des données, l'analyse des performances et de la capacité, l'authentification et l'accessibilité des données.

9. Qumulo fournit de nouveaux logiciels rapidement et régulièrement. Nous publions de nouvelles versions de notre logiciel toutes les quelques semaines. Cela nous permet de répondre rapidement aux commentaires des clients, d'améliorer constamment notre produit et d'insister sur la qualité de production du code de nos équipes.

10. L'architecture de Qumulo, basée sur des conteneurs, permet un processus de mise à niveau unique qui minimise les perturbations pour les utilisateurs et les flux de travail. Sur une base continue, nœud par nœud, le nouveau logiciel d'exploitation est déployé dans un conteneur parallèle à l'ancienne version. Une fois la nouvelle instance initialisée, l'ancien environnement est arrêté de manière gracieuse et la mise à niveau passe au nœud suivant jusqu'à ce que l'ensemble du cluster ait été mis à niveau.

11. L'équipe de réussite des clients de Qumulo est très réactive, connectée et agile. Qumulo a la capacité de surveiller chaque déploiement Qumulo à distance via notre service Mission Qontrol basé sur le cloud, qui nous permet de suivre passivement le stockage et la télémétrie des services (nous n'avons pas la capacité de voir ou d'accéder aux données du système de fichiers sur les déploiements des clients Qumulo). Notre équipe de réussite des clients utilise ces données pour aider les clients à résoudre les incidents, pour fournir des informations sur l'utilisation des produits et pour alerter les clients lorsque leurs systèmes subissent des défaillances de composants. Cette combinaison d'assistance intelligente et d'innovation rapide des produits est à l'origine d'un score NPS de 80+, le meilleur du secteur.

Le système de fichiers Qumulo

Toutes les données non structurées stockées sur un système de fichiers Qumulo sont organisées dans un espace de noms unique. Cet espace de noms est conforme à la norme POSIX pour prendre en charge les clients NFS3, tout en prenant en charge la norme Access Control List utilisée par les protocoles NFSv4.1 et SMB.

Qumulo se distingue par plusieurs caractéristiques clés : sa capacité à faire évoluer un espace de noms unique vers pratiquement n'importe quelle taille, l'intégration transparente de l'analyse des systèmes et des données dans les opérations du système de fichiers, la prise en charge de S3 et des protocoles traditionnels tels que NFS et SMB, et son approche innovante de la gestion des autorisations multi-protocoles.

Opérations sur le système de fichiers

Le système de fichiers de Qumulo a été conçu dès le départ pour évoluer de manière transparente vers une capacité de plus d'un exaoctet dans un espace de noms unique pouvant héberger des trillions de fichiers pouvant être partagés via les protocoles standard NFS et SMB. En outre, le système de fichiers a été conçu avec la capacité de surveiller efficacement les mises à jour et les actions du système de fichiers, et d'agréger les statistiques et les opérations basées sur les métadonnées, ce qui permet d'analyser le système et les données en temps réel sans avoir recours à des parcours d'arborescence gourmands en ressources et en temps.

Évolutivité du système de fichiers

Une seule instance de Qumulo peut atteindre des exaoctets de capacité et 264 nœuds (~18,4 quintillions de fichiers) sans aucun des problèmes communs à d'autres plateformes, tels que l'épuisement des inodes, les ralentissements de performance et les longs délais de récupération après des défaillances de composants.

Agrégation de métadonnées

L'architecture unique de Qumulo suit les métadonnées en temps réel au fur et à mesure que les fichiers et les répertoires sont créés ou modifiés. Différents champs de métadonnées sont résumés pour créer un index virtuel. Au fur et à mesure des modifications, les nouvelles métadonnées agrégées sont rassemblées et propagées depuis les fichiers individuels jusqu'à la racine du système de fichiers. Chaque opération sur les fichiers et les répertoires est prise en compte et les modifications qui en résultent sont immédiatement intégrées dans l'analyse du système. Les résultats, agrégés sur l'ensemble du système de fichiers, sont rendus visibles par le moteur d'analyse intégré de Qumulo, offrant une visibilité sur les données exploitables sans nécessiter de coûteuses recherches dans l'arborescence de la plate-forme de données de fichiers.

Le magasin de blocs évolutif

Sous le système de fichiers Qumulo se trouve une couche protégée et modulaire qui sert d'interface entre des milliards (ou plus) de fichiers et de répertoires et le support de données physique sur lequel ils sont stockés. Dans l'architecture modulaire de Qumulo, la couche Scalable Block Store remplit ce rôle.

Système de transaction global

Étant donné que Qumulo utilise une architecture distribuée, sans partage, qui offre des garanties de cohérence immédiates, chaque nœud du service doit avoir une vue globalement cohérente de toutes les données à tout moment. Le Scalable Block Store s'appuie sur une approche transactionnelle globale pour garantir que lorsqu'une opération d'écriture implique plus d'un bloc, l'opération écrira soit tous les blocs pertinents, soit aucun d'entre eux. Pour des performances optimales, le système maximise le parallélisme et l'informatique distribuée tout en maintenant la cohérence transactionnelle des opérations d'E/S.

Cette approche minimise la quantité de verrouillage nécessaire pour les opérations d'E/S transactionnelles et permet à tout déploiement de Qumulo de s'étendre à plusieurs centaines de nœuds.

NeuralCache et le préchargement intelligent

Le logiciel de Qumulo intègre un certain nombre de fonctions inhérentes et de contrôles configurables, tous conçus pour protéger les données sur le cluster.

1. Toutes les métadonnées, qui sont les plus souvent lues dans un ensemble de données, résident en permanence sur le niveau flash de l'instance de stockage.

2. Les blocs virtuels fréquemment lus (mesurés par un "indice de chaleur" propriétaire) sont stockés sur la mémoire flash, tandis que les blocs virtuels peu lus sont déplacés vers des supports plus froids, à savoir le disque dur du système (s'il est disponible).

3. Au fur et à mesure que les données sont lues, l'instance Qumulo surveille le comportement du client et précharge intelligemment les nouvelles données dans la mémoire du système sur le nœud le plus proche du client afin d'accélérer les temps d'accès.

Déploiements physiques de Qumulo (clusters)

Sur un cluster Qumulo physique, le Scalable Block Store sert d'interface entre le système de fichiers et le support de stockage sous-jacent, qui peut être soit des dispositifs flash à l'état solide (SSD), soit des disques durs (HDD). Cette couche est principalement chargée de garantir la cohérence des données entre tous les nœuds d'un cluster physique, d'assurer des performances optimales pour les requêtes de lecture et d'écriture, et d'assurer la sécurité, l'intégrité et la résilience des données en cas de défaillance d'un composant.

Blocs virtuels protégés

La capacité de stockage d'un cluster Qumulo physique est conceptuellement organisée en un espace d'adressage virtuel protégé. Chaque adresse dans cet espace stocke soit un bloc de données de 4K, soit un hachage à effacement de 4K qui peut être utilisé pour reconstruire tout bloc de données perdu en raison d'une défaillance matérielle. Le rapport entre les blocs de données et les blocs à effacement est déterminé par la taille du cluster physique - au fur et à mesure que des nœuds sont ajoutés, le rapport s'ajuste pour fournir une plus grande efficacité globale tout en protégeant contre les défaillances des disques et des nœuds.

Outre la protection offerte par le codage par effacement, le système de blocs virtuels comprend également un algorithme de détection de la rotation des bits qui protège contre la corruption des données sur le disque.

Instances Qumulo basées dans le nuage

Pour les instances Qumulo déployées sur Azure, de nombreuses fonctions fournies sur site par la couche Scalable Block Storage, telles que le cryptage sur disque, le codage par effacement, la détection de bit-rot et la gestion des blocs, sont fournies en tant que fonctions essentielles du service Azure Blob Storage sous-jacent.

Chiffrement au repos

Sur les clusters physiques Qumulo, le Scalable Block Store comprend un algorithme logiciel AES 256 bits qui chiffre toutes les données du système de fichiers avant de les écrire sur la couche de données. Cet algorithme s'initialise dans le cadre du processus initial de construction du cluster et compile toutes les données et métadonnées du système de fichiers au niveau du bloc pendant toute la durée de vie du cluster.

Les clusters Qumulo dans le nuage reposent sur un cryptage au niveau des blocs sur la couche de stockage d'objets sous-jacente, mise en œuvre et maintenue par le fournisseur de services en nuage. Cela garantit que toutes les données au repos sur n'importe quelle instance Qumulo basée sur le cloud sont entièrement cryptées.

Pour les entreprises qui le souhaitent, l'algorithme de chiffrement Qumulo intégré utilisé dans chaque cluster physique est conforme aux normes FIPS 140-2, tout comme les services de chiffrement fournis par le stockage d'objets Azure et AWS.

Services de données

La couche Services de données comprend cinq fonctions de gestion : instantanés, réplication, quotas, enregistrement des accès et audit, ainsi qu'analyse du système et des données.

Instantanés

Les instantanés sur un cluster Qumulo peuvent être utilisés de plusieurs manières pour protéger les données du cluster :

• Ils peuvent être utilisés localement pour une protection et une récupération rapides et efficaces des données.

• Un instantané des données en direct sur un cluster Qumulo peut être répliqué sur une instance Qumulo secondaire, telle qu'une instance de service Azure Native Qumulo Cold, qui pourrait prendre en charge un basculement immédiat des services de données de fichiers en cas de panne systémique sur le site principal.

• Les instantanés Qumulo peuvent également être associés à un logiciel de sauvegarde tiers pour fournir une protection efficace à long terme (avec un contrôle de version plus robuste pour les fichiers modifiés) contre la perte de données.

Les instantanés peuvent être pris à n'importe quel moment, soit selon un calendrier fixe, soit à la demande, selon les besoins. Chaque instantané préserve tout ce qui se trouve dans le système de fichiers : données des fichiers, entrées des répertoires, heures de création et de modification, autorisations, etc. Une fois pris, un instantané ne consomme pas d'espace. Au fur et à mesure que les fichiers de l'instantané changent, de nouvelles données sont écrites à côté de la version originale et de nouvelles entrées sont écrites dans le système de fichiers pour identifier chaque version d'un même fichier.

Verrouillage des instantanés

Pour renforcer la protection contre les attaques de ransomware ou la suppression prématurée d'instantanés critiques par un compte administrateur compromis, les instantanés peuvent être cryptographiquement "verrouillés", ce qui empêche la modification ou la suppression prématurée d'un instantané, même par un utilisateur administratif.

L'utilisation d'instantanés verrouillés nécessite une paire de clés cryptographiques asymétriques, la clé publique étant installée directement sur l'instance Qumulo et la clé privée étant stockée à l'extérieur conformément aux pratiques de gestion des clés établies par l'organisation.

Quotas

Les quotas permettent aux utilisateurs de contrôler la croissance de tout sous-ensemble d'un espace de noms Qumulo. Les quotas agissent comme des limites indépendantes sur la taille de tout répertoire, empêchant la croissance des données lorsque la limite de capacité est atteinte. Contrairement à d'autres plates-formes et services, les quotas de Qumulo prennent effet instantanément, ce qui permet aux administrateurs d'identifier les charges de travail indésirables via nos analyses de capacité en temps réel et d'arrêter instantanément l'utilisation excessive de la capacité. Les quotas suivent même la partie de l'espace de noms qu'ils couvrent lorsque les répertoires sont déplacés ou renommés.

Journalisation des accès et audit

La journalisation d'audit fournit un mécanisme de suivi des événements du système de fichiers Qumulo et des opérations de gestion. Au fur et à mesure que les clients connectés émettent des requêtes vers le cluster, les messages du journal des événements décrivent chaque opération tentée. Ces messages sont ensuite envoyés via le réseau à une instance syslog distante désignée, par exemple une plateforme de gestion des informations et des événements de sécurité (SIEM) standard telle que Splunk.

Détection en temps réel des intrusions et des ransomwares

Qumulo s'est associé à des fournisseurs tiers, Superna et Varonis, pour permettre la surveillance en temps réel des journaux d'événements et d'accès afin d'identifier et de répondre aux cyberattaques. Pour en savoir plus sur Varonis avec notre solution Azure Native Qumulo, visitez notre site Web Intégration de Varonis avec l'ANQ page. Des informations sur Superna Ransomware Defender sont disponibles ici.

Réplication

Le service de réplication intégré de Qumulo peut copier des données à l'échelle entre deux instances de stockage Qumulo. En plus de protéger les données contre les cyberattaques, un emplacement secondaire avec un autre cluster Qumulo peut également servir de stockage de basculement en cas de panne au niveau du site.

Étant donné que toutes les instances Qumulo prennent en charge les mêmes fonctionnalités de réplication et fournissent les mêmes services indépendamment de l'emplacement, la réplication peut être configurée pour fonctionner dans n'importe quelle direction entre deux points finaux Qumulo, que ce soit sur site, dans AWS ou sur Azure.

Réplication continue

Cette forme de réplication prend simplement un instantané des données sur le cluster Qumulo source et le copie dans un répertoire sur un cluster cible. Tant que la relation de réplication est active, le système analyse tous les fichiers modifiés pour identifier et copier uniquement les modifications spécifiques sur la cible, en écrasant toutes les versions précédentes des données.

Réplication basée sur des instantanés

Avec la réplication basée sur les instantanés, des instantanés sont également pris du répertoire cible sur le cluster secondaire. Une fois le travail de réplication terminé, un nouvel instantané du répertoire cible est créé, ce qui garantit la cohérence des données sur les deux clusters, tout en conservant un journal des modifications et un historique des versions pour chaque fichier de la cible.

Analyse des systèmes et des données

La pile logicielle de Qumulo est conçue pour offrir un aperçu en temps réel des mesures du système et du service, y compris la capacité et la performance, dans chaque instance de Qumulo. Cela permet aux clients de dépanner les applications, de gérer la consommation de capacité et de planifier des stratégies d'expansion (ou d'archivage). Les analyses de Qumulo sont alimentées par l'agrégation des changements de métadonnées dans le système de fichiers au fur et à mesure qu'ils se produisent.

L'interface Web comprend des outils de surveillance en temps réel pour suivre les performances du système, l'utilisation de la capacité et l'activité actuelle de l'instance locale de Qumulo. Pour les entreprises qui souhaitent exporter ces informations vers une solution de surveillance externe, Qumulo prend en charge la norme API OpenMetrics pour l'exportation et la compilation des données syslog.

Gestion des instances et des services de données

En tant que service de stockage de données de fichiers standard, Qumulo prend en charge tous les protocoles d'accès aux données non structurées : SMB, NFS et NFSv4.1. Il prend également en charge l'accès aux objets à l'aide du protocole standard S3. Qumulo prend également en charge l'accès FTP et REST API pour certains types de données.

Gestion du système

Toute instance Qumulo, qu'elle soit sur site ou dans le nuage, peut être gérée à l'aide des mêmes outils standard : une interface utilisateur Web intégrée pour le stockage interactif et la gestion des données, une bibliothèque de commandes basée sur CLI ou un ensemble d'outils de gestion basés sur API.

Interface utilisateur web

Qumulo offre une interface de gestion basée sur un navigateur, accessible à partir de l'instance de stockage elle-même, sans VM ou service séparé. L'interface Web intuitive est organisée autour de six sections de navigation de haut niveau : Tableau de bord, Analyses, Partage, Cluster, API et outils, et Support.

Interface de ligne de commande (CLI)

Le CLI de Qumulo prend en charge la plupart (mais pas la totalité) de la bibliothèque API et est axé sur l'administration du système. Le CLI offre une méthode d'interaction scriptable pour travailler avec une instance de Qumulo. Une liste complète des commandes peut être trouvée dans notre base de connaissances (care.qumulo.com).

API REST

L'API REST est un surensemble de toutes les capacités de la plate-forme de données Qumulo. À partir de l'API, les administrateurs peuvent :

• Créer un espace de noms

• Configurer tous les aspects d'un système (de la sécurité, comme les services d'identité et les rôles de gestion du système, à la gestion et à la protection des données, y compris les quotas, les politiques d'instantané et / ou la réplication des données)

• Recueillir des informations sur l'instance Qumulo cible (y compris l'utilisation de la capacité et les points chauds de la performance)

• Accéder aux données (y compris les opérations de lecture et d'écriture)

• L'API est "auto-documentée", ce qui permet aux développeurs et aux administrateurs d'explorer facilement chaque point d'extrémité (et de voir des exemples de résultats). Qumulo gère une collection d'exemples d'utilisation de notre API sur GitHub (https://qumulo.github.io/).

Pour plus d'informations sur l'utilisation de la bibliothèque API Qumulo, de la CLI et du portail de gestion web, visitez le portail de documentation Qumulo (https://docs.qumulo.com).

Qumulo Nexus

Alors que les clients de Qumulo évoluent de plus en plus vers des opérations d'entreprise multi-cloud et multi-sites, ils doivent réduire la complexité de la surveillance de la disponibilité et des métriques de service de chaque instance Qumulo via des interfaces de gestion distinctes. Avec Qumulo Nexus, les clients peuvent consolider les opérations de surveillance pour toutes leurs instances Qumulo - qu'elles soient sur site, à la périphérie ou dans le nuage - sous un portail de gestion unique qui fournit les mêmes analyses en temps réel et la même visibilité des données que l'interface Web locale.

Sécurité et gestion des accès

Le logiciel de Qumulo intègre plusieurs fonctions inhérentes et des contrôles configurables, tous conçus pour protéger l'accès aux données sur le cluster.

Caractéristiques de sécurité des données de Qumulo

Chaque instance Qumulo, qu'elle soit sur site ou dans le nuage, exploite une paire de contrôles qui garantissent que toutes les données du système de fichiers sont sécurisées contre la corruption, la perte ou l'intrusion au niveau du stockage des données.

Intégration de l'Active Directory

Le modèle d'accès à la sécurité de Qumulo a été conçu pour tirer parti de Microsoft Active Directory (AD) pour les droits et autorisations des administrateurs et des utilisateurs. Outre les avantages évidents d'une source d'enregistrement unique pour tous les comptes d'utilisateurs, l'utilisation d'AD pour la gestion des privilèges et des autorisations soutient les meilleures pratiques de l'industrie dans les domaines suivants :

• Intégration transparente avec les protocoles d'authentification et de gestion de l'identité basés sur Kerberos

• Intégration avec les fournisseurs d'accès SSO et MFA

• Utilisation d'autorisations basées sur une liste de contrôle d'accès pour les clients SMB et NFSv4.1 aux données du système de fichiers

Cryptage des données par voie filaire

Même avec les paramètres de sécurité appropriés au niveau du partage et des données en place, certaines entreprises ont besoin d'une couche supplémentaire de sécurité des données pour protéger les données contre les accès non autorisés. Pour ces environnements, Qumulo prend également en charge le cryptage des données sur le fil vers et depuis les clients pris en charge.

Pour les partages SMB3, Qumulo prend en charge le cryptage à l'échelle du cluster et par partage lorsque cela est nécessaire. Les exportations NFSv4.1 qui nécessitent une sécurité renforcée peuvent être configurées pour utiliser soit les signatures de paquets krb5i qui garantissent l'intégrité des données, soit le cryptage des paquets basé sur krb5p pour empêcher l'interception pendant le transit.

Tout le trafic basé sur les objets est automatiquement crypté à l'aide des normes de cryptage TLS / HTTPS.

Authentification et contrôle d'accès

L'accès aux données du système de fichiers Qumulo, ainsi que l'accès au système de stockage Qumulo, utilisent des protocoles d'authentification et d'accès standard, garantissant une gestion de l'accès, un contrôle de l'identité et une auditabilité de niveau entreprise.

Sécurité administrative

Les droits et privilèges au niveau du système sont accordés en fonction de l'appartenance à un ou plusieurs groupes locaux sur l'instance Qumulo individuelle. Les droits d'administration sont accordés à tous les comptes locaux et de domaine qui sont membres du groupe Administrateurs intégré au cluster.

Utilisateurs administratifs au niveau du domaine

La plupart des politiques de sécurité des entreprises exigent que l'administration et la gestion des systèmes critiques suivent une politique "un utilisateur, un compte" afin de garantir des enregistrements précis de l'accès au système et de l'utilisation des privilèges. La méthode la plus simple pour se conformer à cette politique consiste à ajouter les comptes d'utilisateurs Active Directory concernés au groupe local Administrateurs du cluster.

Utilisateurs administratifs locaux

Chaque instance de Qumulo est livrée avec un compte par défaut, appelé l'administration qui est automatiquement membre du groupe local Administrateurs et dispose de tous les droits et privilèges d'administration sur le cluster.

Connexion unique avec authentification multifactorielle

L'authentification unique (SSO) élimine la nécessité pour un administrateur de saisir à nouveau ses identifiants de connexion pour accéder au système. Les entreprises veulent le SSO non seulement parce qu'il rationalise le processus de connexion, rendant l'authentification plus pratique pour les administrateurs, mais aussi parce qu'il réduit le risque de vol de compte par l'intermédiaire d'enregistreurs de frappe ou d'interception lorsque la tentative de connexion traverse le réseau.

L'authentification multifactorielle (MFA) ajoute une couche de sécurité supplémentaire au processus de connexion. Elle exige que les utilisateurs administrateurs récupèrent un code à usage unique à partir d'un jeton de clé ou d'une demande de défi sur un dispositif distinct, dont aucun n'est en possession d'un intrus.

La solution SSO de Qumulo s'intègre à Active Directory via SAML (Security Assertion Markup Language) 2.0. Pour le MFA, les clients peuvent utiliser n'importe quel fournisseur d'identité (IdP) qui s'intègre au domaine AD enregistré sur le cluster, y compris, mais sans s'y limiter, OneLogin, Okta, Duo et Azure AD.

Jetons d'accès

Pour simplifier le processus de stockage automatisé et de gestion des données via la fonctionnalité API de Qumulo, Qumulo offre aux administrateurs la possibilité de générer un jeton API à longue durée de vie qui peut être utilisé indéfiniment par les flux de travail automatisés jusqu'à ce que la clé soit révoquée ou supprimée. Le jeton est généré par un administrateur via CLI et peut être attaché à chaque flux de travail basé sur l'API, qui peut désormais effectuer des appels API authentifiés sans avoir à se connecter.

À des fins d'audit, chaque jeton est associé à un compte AD ou cluster spécifique. Si le compte utilisateur associé est supprimé ou désactivé, le jeton d'accès cessera de fonctionner.

Contrôle d'accès basé sur les rôles

Le contrôle d'accès basé sur les rôles (RBAC) permet aux administrateurs d'attribuer des privilèges précis à des utilisateurs ou à des groupes non administratifs qui ont besoin de droits élevés sur le cluster pour des tâches de gestion spécifiques. L'utilisation du modèle RBAC permet la délégation sécurisée de privilèges en fonction des besoins, sans qu'il soit nécessaire de conférer des droits d'administration complets. Il permet également aux entreprises d'accorder les privilèges nécessaires au système tout en garantissant une piste d'audit vérifiable de l'accès et de l'utilisation des privilèges.

Gestion de l'accès aux données

Qumulo utilise le même modèle de sécurité pour gérer l'accès aux données du système de fichiers, en utilisant les pratiques, protocoles et outils standard de l'entreprise pour gérer et suivre l'accès à tous les fichiers et répertoires du système.

Listes de contrôle d'accès

Pour les charges de travail partagées via SMB et NFSv4, Qumulo prend en charge l'authentification via Active Directory et les listes de contrôle d'accès (ACL) de type Windows qui peuvent être partagées entre les deux protocoles.

Amélioration de Kerberos

Toutes les demandes de données SMB et NFSv4.1, si elles proviennent d'un client Windows ou Linux relié au même domaine que le cluster Qumulo (ou relié à un domaine de confiance), sont authentifiées à l'aide d'une gestion de l'identité des utilisateurs basée sur Kerberos.

Prise en charge des autorisations multiprotocoles

Qumulo prend en charge la mise à disposition des mêmes données sur le système de fichiers via plusieurs protocoles simultanément. Dans de nombreux cas, un partage SMB sur le cluster peut également être configuré comme un export NFSv3, un export NFSv4.1 et un conteneur de stockage d'objets. Bien que cela maximise la flexibilité du cluster, certaines considérations doivent être prises en compte lorsqu'il s'agit de gérer les permissions.

SMB et NFSv4.1 utilisent tous deux le même modèle de permissions basé sur l'ACL, dans lequel l'accès est accordé ou refusé à l'utilisateur en vertu de l'appartenance du compte Active Directory de l'utilisateur à un ou plusieurs groupes dont l'accès a été configuré au niveau des données.

Pour les charges de travail mixtes SMB/NFSv3, cependant, il peut y avoir un décalage entre les autorisations ACL d'un fichier ou d'un répertoire donné et ses paramètres POSIX. Une instance Qumulo peut être configurée pour des opérations en mode mixte, dans lesquelles les autorisations SMB et POSIX sont maintenues séparément pour les fichiers et les répertoires partagés entre les deux protocoles.

Pour les charges de travail à protocole mixte, le modèle de permissions multi-protocoles (MPP) propriétaire de Qumulo préserve les ACL SMB et l'héritage même si les permissions NFS sont modifiées.

Autorisations d'accès aux objets

Si un répertoire du cluster est partagé via le protocole S3, il est traité comme un godet S3, et tous les sous-répertoires et fichiers de ce répertoire sont traités comme des objets du godet.

Lorsqu'un utilisateur ou un flux de travail tente d'accéder à un objet, le système utilise la clé d'accès fournie par le client pour identifier l'Active Directory ou l'ID de l'utilisateur local de la clé, puis vérifie cet ID dans la liste de contrôle d'accès SMB / NFSv4.1 de l'objet.

Gestion des restrictions de circulation

En plus d'utiliser l'authentification SSO et MFA pour les comptes administratifs désignés, Qumulo prend également en charge les politiques de sécurité qui exigent la restriction de l'accès au niveau administrateur à des réseaux ou VLAN spécifiquement désignés en offrant la possibilité de bloquer des ports TCP spécifiques au niveau d'un VLAN individuel.

De cette manière, une instance Qumulo peut être configurée pour segmenter le trafic de gestion - par exemple, API, SSH, interface Web et trafic de réplication - du trafic client, par exemple, SMB, NFS et accès aux objets.

Cloud Data Fabric

Dans un monde interconnecté et multi-cloud, les équipes géographiquement dispersées, les applications et les équipes doivent pouvoir collaborer sur des ensembles de données partagées sans la latence d'une connexion WAN ou la longue attente pour répliquer les données à l'échelle entre les sites.

La Cloud Data Fabric (CDF) de Qumulo étend le système de fichiers évolutif de Qumulo à travers deux instances Qumulo ou plus, permettant aux équipes et aux flux de travail géographiquement dispersés de partager un seul ensemble de données en temps réel. CDF fournit non seulement un accès à faible latence aux données critiques entre les instances Qumulo sur site, en périphérie et en nuage ; dans de nombreux cas, il élimine complètement le besoin de réplication à grande échelle dans les flux de travail partagés.

Le CDF unifie un ou plusieurs ensembles de données partagées entre les sites, les nuages, les plates-formes et les zones géographiques, mettant ainsi les données à la disposition des équipes, des applications et des organisations qui ont besoin de collaborer en temps réel. L'utilisation de CDF permet aux entreprises de minimiser le trafic WAN tout en simplifiant la gestion des données intersites et de la sécurité.

Espace de noms global

Le Cloud Data Fabric de Qumulo permet un espace de noms véritablement mondial dans lequel les ensembles de données critiques sont partagés entre les instances Qumulo partout : dans le centre de données, dans le nuage et à la périphérie. L'espace de noms mondial de Qumulo utilise des fonctionnalités innovantes uniques qui se combinent pour permettre une visibilité des données en temps réel et une collaboration mondiale sur les données partagées.

Synchronisation des métadonnées

Au lieu de synchroniser immédiatement les données des fichiers et des dossiers dans toutes les instances qui partagent un ensemble de données donné, la mise en œuvre de l'espace de noms global de Qumulo ne réplique initialement que les métadonnées entre les points d'extrémité de Qumulo, ce qui permet aux clients distants de voir l'ensemble de la structure des fichiers et des dossiers des ensembles de données distants avec un délai de quelques millisecondes seulement.

Verrouillage distribué

Pour garantir l'intégrité des données dans un environnement distribué où n'importe quel fichier peut être modifié par n'importe quel utilisateur ou application sur plusieurs sites, le CDF utilise un algorithme de verrouillage qui coordonne l'accès aux fichiers sur tous les points d'extrémité. Cela garantit que chaque transaction de données est autorisée, enregistrée et strictement cohérente avec toutes les actions précédentes.

Sécurité des données

La réplication des métadonnées du système de fichiers entre les points d'extrémité permet également de répliquer les ACL (SMB et NFSv4.1) et les autorisations POSIX. Si tous les utilisateurs du portail partagent la même source d'authentification, l'accès aux données est automatiquement transféré d'un point d'extrémité à l'autre.

Si une table externe est supprimée, les liens vers tous les points d'extrémité des rayons sont interrompus et toutes les données mises en cache localement sont supprimées de chaque rayon. À moins que le partage ou l'exportation sous-jacents ne soient également supprimés, les données restent sur l'instance Qumulo qui a servi de point d'extrémité du hub.

Portails de données

L'approche unique de Cloud Data Fabric en matière d'accès unifié aux données est basée sur les portails de données. Les portails sont publiés au niveau du partage SMB individuel ou de l'exportation NFS (ou des deux, puisque Qumulo offre également un partage de données multiprotocole). La création d'un portail CDF rend les données contenues dans ce partage ou cette exportation disponibles pour une ou plusieurs instances Qumulo supplémentaires.

Les portails CDF peuvent prendre en charge les cas d'utilisation en lecture seule et bidirectionnelle.

Points de terminaison du portail

Les portails Cloud Data Fabric sont construits à l'aide d'une topologie en étoile, dans laquelle une instance Qumulo (le "hub") sert de propriétaire autorisé des données du portail et coordonne toutes les opérations d'accès aux données à travers tous les points d'extrémité du portail. Chaque portail a un seul hub, avec un ou plusieurs points d'extrémité "spoke" agissant comme des extensions de l'espace de noms du portail.

Pour créer un nouveau portail, un administrateur identifie le partage ou l'exportation spécifique sur le hub à publier, affecte au moins un point d'extrémité Qumulo supplémentaire en tant que rayon et désigne le nouveau portail comme étant en lecture seule ou bidirectionnel. Des instances Qumulo supplémentaires peuvent être ajoutées au portail en tant que rayons, le cas échéant.

Chaque point d'extrémité d'un portail CDF peut également fonctionner comme une instance de stockage Qumulo indépendante, hébergeant des partages et/ou des exportations supplémentaires dont l'utilisation est limitée aux seuls clients locaux.

Journalisation

Toutes les opérations du système de fichiers au sein d'un portail donné sont suivies par le biais d'un mécanisme de journalisation distribué. Chaque événement d'accès aux données (création, lecture, modification, suppression, etc.) est enregistré dans le journal partagé et répliqué à tous les autres points d'extrémité du portail.

Suivi logique du temps

L'utilisation d'un décalage temporel logique partagé pour coordonner les événements entre les points finaux, plutôt qu'un horodatage physique absolu, garantit que les transactions de données sont appliquées dans l'ordre correct sur tous les nœuds de tous les points finaux sans avoir à réconcilier les différences de fuseau horaire ou les décalages temporels entre les différentes instances de Qumulo.

Journalisation et récupération logiques

Si un rayon du portail perd la connectivité avec le concentrateur, les données du portail sont indisponibles pour tous les clients de ce rayon. Pour le reste des terminaux du portail, le fichier journal distribué continue de suivre les modifications apportées aux données du portail.

Lors de la reconnexion, le point d'accès concerné rejoue les événements du journal dans l'ordre approprié afin de réconcilier ses données mises en cache localement avec le reste des points d'accès du portail.

Optimisation du transfert

Cloud Data Fabric a été conçu pour tirer le meilleur parti d'une bande passante limitée, en fournissant un accès performant et à faible latence à des données distantes à grande échelle, même dans des entreprises largement distribuées. Pour ce faire, elle attend que les clients demandent les données spécifiques du portail dont ils ont besoin, met en cache uniquement les données pertinentes localement sur chaque point d'extrémité et réplique uniquement les blocs de données modifiés entre les points d'extrémité plutôt que des fichiers entiers ou des ensembles de données entiers.

Mise en cache locale

Le premier accès aux données à partir d'un point d'extrémité distant fait que le fichier ou le dossier demandé est "tiré" à travers le réseau et mis en cache sur le point d'extrémité local de Qumulo. En supposant que les données ne soient pas modifiées après le premier accès, toutes les demandes d'accès ultérieures pour les mêmes données seront servies à partir du cache local.

Systèmes de fichiers épars

Chaque rayon construit un système de fichiers fantôme, indépendant de toutes les autres données de fichiers qu'il héberge localement, contenant les métadonnées du portail ainsi que toutes les données du portail mises en cache localement. L'instance locale utilise une carte thermique, similaire mais indépendante du système de mise en cache intelligent qui optimise les performances de lecture du système de fichiers local, pour surveiller la fréquence d'accès aux données mises en cache.

La taille de ce système de fichiers épars varie en fonction de la capacité de stockage disponible de l'instance Qumulo spécifique. Lorsque de nouvelles données de portail sont demandées et que le système de fichiers épars se remplit, les données plus anciennes sont supprimées du cache afin de garantir des performances optimales pour les nouvelles données entrantes.

Mise en cache prédictive

Au fur et à mesure que les clients et les applications locales accèdent aux fichiers et aux dossiers, chaque point d'extrémité surveille les données du portail qui sont ajoutées passivement au cache du système de fichiers épars au fil du temps et commence à identifier des modèles dans le comportement du client et de l'application. Le CDF utilise ces schémas d'accès pour anticiper les blocs de données susceptibles d'être demandés par la suite et les placer de manière préemptive dans le cache du système de fichiers épars avant qu'ils ne soient demandés.

Matériel de serveur

Le logiciel de Qumulo fonctionne sur pratiquement n'importe quel matériel standard de type x86-64, mais les clients qui recherchent une disponibilité et des performances optimales doivent consulter Qumulo directement avant de choisir la configuration matérielle appropriée.

Le système d'exploitation Linux sous-jacent est verrouillé, n'autorisant que les opérations nécessaires à l'exécution des tâches de soutien de l'environnement logiciel Qumulo. D'autres services Linux standard ont été désactivés afin de réduire davantage la surface de risque d'une attaque.

Pile logicielle entièrement native

Bien que Linux comprenne des composants open-source pour fournir des services client et serveur NFS et SMB (par exemple, Samba, Ganesha, etc.), ces services ne sont pas inclus dans l'image Ubuntu renforcée qui prend en charge l'environnement logiciel Qumulo. Qumulo développe et contrôle tout le code utilisé pour les protocoles d'accès aux données - NFS, SMB, FTP et S3 - dans l'environnement d'exploitation Qumulo.

Mises à niveau instantanées

Le processus de développement itératif de Qumulo est simple et rationalisé, avec de nouvelles mises à jour logicielles publiées régulièrement. Cela permet une innovation rapide pour développer et déployer de nouvelles fonctionnalités et favorise une plate-forme de stockage plus sécurisée.

Qumulo a conçu le processus de mise à niveau pour qu'il soit rapide et facile. La pile logicielle Qumulo Core est entièrement conteneurisée, ce qui permet de mettre à niveau un cluster entier en 20 secondes, quelle que soit sa taille. Le besoin de retours en arrière est éliminé puisque la fonctionnalité et la stabilité de la version mise à jour peuvent être entièrement validées avant que l'ancienne version ne soit arrêtée.