Technische Übersicht
Inhaltsverzeichnis
Softwarearchitektur
Datendienste und Speicherverwaltung
- Systemmanagement
- Web-Benutzeroberfläche
- Befehlszeilenschnittstelle
- REST API
- Qumulo-Nexus
- Zugriffsverwaltung
- Datensicherheitsfunktionen
- Active Directory
- Over-the-Wire-Verschlüsselung
- Datensicherheitsfunktionen
- Authentifizierung und Zugriffskontrolle
- Verwaltungssicherheit
- Admin-Benutzer auf Domänenebene
- Lokale Admin-Benutzer
- Single-Sign-On mit Multi-Faktor-Authentifizierung
- Zugriffstoken
- Rollenbasierte Zugriffssteuerung
- Verwaltungssicherheit
- Datenzugriffsverwaltung
- Zugriffssteuerungslisten
- Kerberos-Verbesserungen
- Unterstützung für Multiprotokoll-Berechtigungen
- Objektzugriffsberechtigungen
- Verkehrsbeschränkungen verwalten
- Zugriffssteuerungslisten
Datendienste
- Snapshots
- Snapshot-Sperre
- Quoten
- Zugriffsprotokollierung und -prüfung
- Eindringlingserkennung
- System- und Datenanalyse
- Replikation
- Kontinuierliche Replikation
- Snapshot-basierte Replikation
Das Qumulo-Dateisystem
- Dateisystemoperationen
- Skalierbarkeit des Dateisystems
- Metadatenaggregation
- Globaler Qumulo-Namespace
Der skalierbare Blockspeicher
- Globales Transaktionssystem
- Intelligentes Caching und Prefetching
- Physische Einsätze
- Geschützte virtuelle Blöcke
- Softwarebasierte Verschlüsselung im Ruhezustand
- Cloudbasierte Bereitstellungen
Server-Hardware
Diese Ressource herunterladen
Unser Ziel bei Qumulo ist es, die Dateispeicherung für moderne, hybride Unternehmen einfach zu machen. Wir machen es Ihnen einfach, Ihre Daten zu schützen. Wir machen es einfach, anspruchsvolle Arbeitsabläufe, ob vor Ort oder in der Cloud, zu geringen Kosten zu unterstützen. Wir machen Hybrid-Cloud-Speicher einfach.
Die Softwarearchitektur von Qumulo
Wir haben unsere Speicherplattform zu einem Cloud-fähigen, skalierbaren Dienst entwickelt, der nahezu jeden dateibasierten Workflow überall unterstützen kann. Wir stellen außerdem robuste APIs bereit, um eine automatisierte Verwaltung und Echtzeit-Einblick in die System- und Datennutzung zu ermöglichen. Unsere Speicherlösungen erfüllen die Sicherheits- und Datenschutzanforderungen von Fortune-500-Unternehmen.
Diese Seite bietet einen Überblick über die Architektur und die Komponenten der unstrukturierten Datenlösung von Qumulo und veranschaulicht, wie unser Produkt eine breite Palette von Anwendungsfällen unterstützt, von Medien und Unterhaltung über Gesundheitswesen und Biowissenschaften bis hin zu cloudbasiertem Hochleistungsrechnen und Kosten -Effektive Langzeitarchive in der Cloud.
Grundlagen der Qumulo-Architektur
Bevor wir uns mit den einzelnen Komponenten der Architektur von Qumulo befassen, müssen einige grundlegende Annahmen aufgezählt werden:
1. Qumulo bietet ein zu 100 % softwaredefiniertes verteiltes Dateisystem, das einen einzigen Namespace darstellt. Ein lokaler Qumulo-Cluster besteht aus einer Shared-Nothing-Aggregation unabhängiger Knoten, wobei jeder Knoten zur Gesamtkapazität und Leistung des Clusters beiträgt. Einzelne Knoten stehen in ständiger Koordination miteinander. Jeder Client kann sich mit jedem Knoten verbinden und im gesamten Namespace lesen und schreiben.
2. Cloudbasierte Qumulo-Instanzen verwenden Objektspeicher (je nachdem, wo er bereitgestellt wird, entweder AWS S3 oder Microsoft Azure Blob Storage) für die Datenschicht, in der die mit einer bestimmten Datei verknüpften Blöcke abstrahiert und über eine logische Sammlung diskreter Objekte verteilt werden.
- Diese Cloud-native Architektur eliminiert die alte Beziehung zwischen Rechenleistung, Speicher und Durchsatz und schafft einen vollständig elastischen Dateispeicherdienst, der die Kapazität auf Hunderte Petabyte und den Durchsatz auf über 100 Gbit/s skalieren kann.
- Durch die vollständige Trennung von Rechenleistung und Speicher, die die cloudnative Architektur von Qumulo ermöglicht, haben Kunden die Flexibilität, die spezifischen Durchsatz- und Kapazitätsniveaus, die sie benötigen, unabhängig voneinander zu wählen. Ein Kunde kann sogar eine Qumulo-Instanz mit anfänglich geringem Rechenbedarf bereitstellen, dann die Rechenzuteilung des Dienstes vorübergehend skalieren, um den Durchsatz für einen kurzen Zeitraum drastisch zu erhöhen, und ihn anschließend wieder herunterskalieren, ohne dass zu irgendeinem Zeitpunkt zusätzliche Bereitstellungen erforderlich sind Kapazität.
3. Qumulo ist skalierbar. Wir stellen sicher, dass alle Aspekte unseres Produkts problemlos Petabytes bis Exabytes an Daten, Milliarden von Dateien, Millionen von Vorgängen und Tausende von Benutzern unterstützen können.
4. Qumulo ist selbstoptimierend für maximale Leistung. Jede Qumulo-Instanz verfolgt den Datenzugriff mithilfe einer Heatmap, um häufig aufgerufene Datenblöcke zu identifizieren. Diese Blöcke werden proaktiv durch einen internen Prefetch-Algorithmus verschoben: Datenblöcke auf Festplatten werden mit steigendem Heat-Score in den Flash-Speicher verschoben. Wenn der Heat-Score weiter steigt, werden Daten, die sich bereits im Flash-Speicher befinden, proaktiv in den Systemspeicher verschoben, um einen noch schnelleren Zugriff zu ermöglichen. Auf globaler Ebene über alle Qumulo-Instanzen hinweg für alle Qumulo-Kunden beträgt die Cache-Trefferquote ~95 %.
5. Qumulo ist hochverfügbar und sofort konsistent und so konzipiert, dass es Komponentenausfällen in der Infrastruktur standhält und den Kunden dennoch einen zuverlässigen Service bietet. Dies erreichen wir durch den Einsatz von Software-Abstraktion, Erasure Coding, fortschrittlichen Netzwerktechnologien und strengen Tests. Wenn Daten in das Dateisystem von Qumulo geschrieben werden, wird der Schreibvorgang dem Dienst, Benutzer oder Client erst dann bestätigt, wenn die Daten in den persistenten Speicher geschrieben wurden. Somit führt jede nachfolgende Leseanforderung zu einer kohärenten Ansicht der Daten (im Gegensatz zu eventuell konsistenten Modellen).
6. Qumulo bietet plattformunabhängige Dateidienste für die öffentliche, private und hybride Cloud. Die Software von Qumulo macht kaum Annahmen über die Plattform, auf der sie läuft. Es abstrahiert die zugrunde liegenden physischen oder virtuellen Hardwareressourcen, um die beste öffentliche und private Cloud-Infrastruktur zu nutzen. Dies ermöglicht es uns, die schnellen Innovationen bei Rechen-, Netzwerk- und Speichertechnologien zu nutzen, die von den Cloud-Anbietern und dem Ökosystem der Komponentenhersteller vorangetrieben werden.
7. Das Qumulo-Verwaltungsmodell ist API-first. Jede von Qumulo erstellte Funktion wird zunächst als API-Endpunkt entwickelt. Anschließend präsentieren wir einen kuratierten Satz dieser Endpunkte in unserer Befehlszeilenschnittstelle (CLI) und der WebUI, unserer visuellen Schnittstelle. Dazu gehören Systemerstellung, Datenverwaltung, Leistungs- und Kapazitätsanalyse, Authentifizierung und Datenzugänglichkeit.
8. Qumulo liefert schnell und regelmäßig neue Software. Wir veröffentlichen alle paar Wochen neue Versionen unserer Software. Dies ermöglicht es uns, schnell auf Kundenfeedback zu reagieren, die kontinuierliche Verbesserung unseres Produkts voranzutreiben und von unseren Teams auf Code in Produktionsqualität zu bestehen.
9. Die Container-basierte Architektur von Qumulo ermöglicht einen einzigartigen Upgrade-Prozess, der Störungen für Benutzer und Arbeitsabläufe minimiert. Die neue Betriebssoftware wird rollierend, Knoten für Knoten, in einem parallelen Container zur alten Version bereitgestellt. Sobald die neue Instanz initialisiert wurde, wird die alte Umgebung ordnungsgemäß heruntergefahren und das Upgrade wird mit dem nächsten Knoten fortgesetzt, bis der gesamte Cluster aktualisiert wurde.
10 Das Kundenerfolgsteam von Qumulo ist äußerst reaktionsschnell, vernetzt und agil. Qumulo hat die Möglichkeit, über unseren cloudbasierten Überwachungsdienst Mission Qontrol eine Verbindung zur Fernüberwachung herzustellen. Unser Kundenerfolgsteam nutzt diese Daten, um Kunden bei Vorfällen zu helfen, Einblicke in die Produktnutzung zu geben und Kunden zu warnen, wenn in ihren Systemen Komponentenausfälle auftreten. Diese Kombination aus intelligentem Support und schneller Produktinnovation führt zu einem branchenführenden NPS-Wert von 80+.
Qumulo-Architektur
Die modulare Architektur von Qumulo kann in eine Reihe von Schichten abstrahiert werden, wobei in jeder Schicht spezifische Dienstkontrollen und Funktionen gebündelt sind. Diese Schichten arbeiten zusammen, um die Skalierbarkeit, Leistung, Sicherheit und Zuverlässigkeit der unstrukturierten Daten auf einer Qumulo-Instanz sowie des Qumulo-Systems selbst zu unterstützen.
Datendienste und Speicherverwaltung
Als branchenüblicher Dateispeicherdienst unterstützt Qumulo alle unstrukturierten Datenzugriffsprotokolle: SMB, NFS und NFSv4.1. Unterstützung für den Objektzugriff über den S3-Protokollstandard sowie FTP- und REST-Zugriff auf ausgewählte Datentypen ist ebenfalls enthalten.
Systemmanagement
Jede Qumulo-Instanz, ob vor Ort oder in der Cloud, kann mit denselben Standardtools verwaltet werden: einer integrierten Web-Benutzeroberfläche für interaktive Speicherung und Datenverwaltung, einer CLI-basierten Befehlsbibliothek oder einem API-basierten Satz von Management-Tools.
Web-Benutzeroberfläche
Die visuelle Benutzeroberfläche von Qumulo bietet ein webbasiertes Portal zur Verwaltung eines Qumulo-Systems. Die visuelle Schnittstelle ist eine webbasierte Schnittstelle, die vom System bereitgestellt wird und keine separate VM oder einen separaten Dienst erfordert. Die visuelle Benutzeroberfläche ist in sechs Navigationsabschnitte der obersten Ebene unterteilt: Dashboard, Analytics, Sharing, Cluster, API & Tools und Support.
Befehlszeilenschnittstelle (CLI)
Die Qumulo-CLI unterstützt die meisten (aber nicht alle) API-Bibliotheken und konzentriert sich auf die Systemadministration. Die CLI bietet eine skriptfähige Interaktionsmethode für die Arbeit mit einer Qumulo-Instanz. Eine vollständige Liste der Befehle finden Sie in unserer Wissensdatenbank (care.qumulo.com).
REST API
Die REST-API ist eine Obermenge aller Funktionen der Qumulo-Datenplattform. Über die API können Administratoren:
- Erstellen Sie einen Namensraum
- Konfigurieren Sie alle Aspekte eines Systems (von der Sicherheit wie Identitätsdienste oder Verwaltungsrollen über das Datenmanagement wie Kontingente bis zum Datenschutz wie Snapshot-Richtlinien oder Datenreplikation bis hin zum Hinzufügen neuer Kapazitäten)
- Sammeln Sie Informationen über das Qumulo-Zielsystem (einschließlich Kapazitätsauslastung und Leistungs-Hotspots).
- Zugriffsdaten (einschließlich Lese- und Schreibvorgänge)
Die API ist „selbstdokumentierend“, was es Entwicklern und Administratoren erleichtert, jeden Endpunkt zu erkunden (und Beispielausgaben anzusehen). Qumulo unterhält eine Sammlung von Beispielverwendungen unserer API auf Github (https://qumulo.github.io/).
Weitere Informationen zur Verwendung der Qumulo-API-Bibliothek, der CLI und des Webverwaltungsportals finden Sie im Qumulo-Dokumentationsportal (https://docs.qumulo.com).
Qumulo-Nexus
Da Qumulo-Kunden zunehmend auf Multi-Cloud- und Multi-Site-Unternehmensabläufe umsteigen, müssen sie die Komplexität der Überwachung der Verfügbarkeit und Servicemetriken jeder Qumulo-Instanz über separate Verwaltungsschnittstellen reduzieren. Mit Qumulo Nexus können Kunden Überwachungsvorgänge für alle ihre Qumulo-Instanzen, ob vor Ort, am Edge oder in der Cloud, in einem Verwaltungsportal konsolidieren, das die gleichen Echtzeitanalysen und Datentransparenz wie die lokale Webschnittstelle bietet , aber durch eine einzige Glasscheibe.
Zugriffsverwaltung
Die Software von Qumulo umfasst eine Reihe inhärenter Funktionen und konfigurierbarer Kontrollen, die alle darauf ausgelegt sind, die Daten im Cluster zu schützen.
Qumulo-Datensicherheitsfunktionen
Jede Qumulo-Instanz, ob vor Ort oder in der Cloud, nutzt ein Paar Kontrollen, die sicherstellen, dass alle Daten im Dateisystem auf Datenspeicherebene vor Beschädigung, Verlust oder Einbruch geschützt sind.
Active Directory-Integration
Das Sicherheitszugriffsmodell von Qumulo wurde entwickelt, um Microsoft Active Directory (AD) sowohl für Administrator- als auch Benutzerrechte und -berechtigungen zu nutzen. Neben den offensichtlichen Vorteilen einer einzigen Datensatzquelle für alle Benutzerkonten unterstützt die Verwendung von AD für die Berechtigungs- und Berechtigungsverwaltung die Best Practices der Branche für Folgendes:
- Nahtlose Integration mit Kerberos-basierten Authentifizierungs- und Identitätsverwaltungsprotokollen
- Integration mit SSO- und MFA-Zugriffsanbietern
- Die Verwendung von Zugriffskontrolllisten-basierten Berechtigungen für SMB- und NFSv4.1-Clients für Dateisystemdaten
Datenverschlüsselung über das Kabel
Selbst wenn die entsprechenden Sicherheitseinstellungen auf Freigabe- und Datenebene vorhanden sind, benötigen einige Unternehmen eine zusätzliche Datensicherheitsebene, um Daten vor unbefugtem Zugriff zu schützen. Für diese Umgebungen unterstützt Qumulo auch die drahtlose Datenverschlüsselung zu und von unterstützten Clients.
Für SMB3-Freigaben unterstützt Qumulo bei Bedarf sowohl die Cluster-weite als auch die Verschlüsselung pro Freigabe. NFSv4.1-Exporte, die eine erhöhte Sicherheit erfordern, können so konfiguriert werden, dass sie entweder krb5i-Paketsignaturen verwenden, die die Datenintegrität gewährleisten, oder krb5p-basierte Paketverschlüsselung verwenden, um ein Abfangen während der Übertragung zu verhindern.
Der gesamte objektbasierte Datenverkehr wird automatisch mit den standardmäßigen TLS-/HTTPS-Verschlüsselungsstandards verschlüsselt.
Authentifizierung und Zugriffskontrolle
Der Zugriff auf Daten im Qumulo-Dateisystem sowie der Zugriff auf das Qumulo-Speichersystem erfolgt über branchenübliche Authentifizierungs- und Zugriffsprotokolle und gewährleistet so eine Zugriffsverwaltung, Identitätskontrolle und Überprüfbarkeit auf Unternehmensniveau.
Verwaltungssicherheit
Rechte und Privilegien auf Systemebene werden basierend auf der Mitgliedschaft in einer oder mehreren lokalen Gruppen auf der einzelnen Qumulo-Instanz gewährt. Administratorrechte werden allen lokalen und Domänenkonten gewährt, die Mitglieder der integrierten Administratorengruppe des Clusters sind.
Administratoren auf Domänenebene
Die meisten Unternehmenssicherheitsrichtlinien erfordern, dass die Verwaltung und Verwaltung kritischer Unternehmenssysteme einer Ein-Benutzer- und Ein-Konto-Richtlinie folgt, um genaue Aufzeichnungen des Systemzugriffs und der Privilegiennutzung sicherzustellen. Die einfachste Methode zur Einhaltung dieser Richtlinie besteht darin, die relevanten Active Directory-Benutzerkonten zur lokalen Administratorengruppe des Clusters hinzuzufügen.
Lokale administrative Benutzer
Jede Qumulo-Instanz verfügt über ein Standardkonto namens Administrator, dem automatisch die Mitgliedschaft in der lokalen Administratorengruppe zugewiesen wird und der als solcher über vollständige Administratorrechte und Privilegien für den Cluster verfügt.
Single Sign-On mit Multi-Faktor-Authentifizierung
Single Sign-On (SSO) macht es für einen Administrator überflüssig, seine Anmeldeinformationen erneut einzugeben, um Zugriff auf das System zu erhalten. Unternehmen wünschen sich SSO nicht nur, weil es den Anmeldevorgang rationalisiert und die Authentifizierung für Administratoren bequemer macht, sondern auch, weil es das Risiko eines Kontodiebstahls durch Tastenanschlag-Logger oder des Abfangens verringert, wenn der Anmeldeversuch das Netzwerk durchquert.
Die Mehrfaktorauthentifizierung (MFA) fügt dem Anmeldevorgang eine weitere Sicherheitsebene hinzu und erfordert, dass Administratorbenutzer einen Einmalcode entweder von einem Schlüsseltoken oder einer Challenge-Anfrage auf einem separaten Gerät abrufen, über das keines von beiden verfügt ein Eindringling.
Die SSO-Lösung von Qumulo lässt sich über Security Assertion Markup Language (SAML) 2.0 in Active Directory integrieren. Für MFA können Kunden jeden Identitätsanbieter (IdP) nutzen, der in die im Cluster registrierte AD-Domäne integriert ist, einschließlich, aber nicht beschränkt auf OneLogin, Okta, Duo und Azure AD.
Zugriffstoken
Um den Prozess der automatisierten Speicherung und Datenverwaltung über die API-Funktionalität von Qumulo zu vereinfachen, bietet Qumulo Administratoren die Möglichkeit, ein langlebiges API-Token zu generieren, das von automatisierten Workflows unbegrenzt verwendet werden kann, bis der Schlüssel entweder widerrufen oder gelöscht wird. Das Token wird von einem Administrator über die CLI generiert und kann an jeden API-basierten Workflow angehängt werden, der nun authentifizierte API-Aufrufe durchführen kann, ohne dass eine Anmeldung erforderlich ist. Zu Prüfzwecken wird jedes Token einem bestimmten AD- oder Cluster-Konto zugeordnet. Wenn das zugehörige Benutzerkonto gelöscht oder deaktiviert wird, funktioniert das Zugriffstoken nicht mehr.
Rollenbasierte Zugriffssteuerung
Mit der rollenbasierten Zugriffskontrolle (RBAC) können Administratoren nicht-administrativen Benutzern oder Gruppen, die für bestimmte Verwaltungsaufgaben erhöhte Rechte für den Cluster benötigen, fein abgestufte Berechtigungen zuweisen. Die Verwendung des RBAC-Modells ermöglicht die sichere Delegation von Berechtigungen nach Bedarf, ohne dass vollständige Administratorrechte gewährt werden müssen. Es ermöglicht Unternehmen außerdem, die erforderlichen Systemprivilegien zu gewähren und gleichzeitig einen überprüfbaren Prüfpfad für den Zugriff und die Privilegiennutzung sicherzustellen
Datenzugriffsverwaltung
Qumulo verwendet dasselbe Sicherheitsmodell für die Verwaltung des Zugriffs auf Dateisystemdaten und nutzt unternehmensübliche Verfahren, Protokolle und Tools, um den Zugriff auf alle Dateien und Verzeichnisse im System zu verwalten und zu verfolgen
Zugriffssteuerungslisten
Für Workloads, auf die über SMB und NFSv4 zugegriffen wird, unterstützt Qumulo die Authentifizierung über Active Directory und Zugriffskontrolllisten (ACLs) im Windows-Stil, die von beiden Protokollen gemeinsam genutzt werden können.
Kerberos-Verbesserungen
Alle SMB- und NFSv4.1-Datenanforderungen werden mithilfe der Kerberos-basierten Benutzeridentitätsverwaltung authentifiziert, wenn sie von einem Windows- oder Linux-Client stammen, der derselben Domäne wie der Qumulo-Cluster beigetreten ist (oder einer vertrauenswürdigen Domäne beigetreten ist).
Unterstützung für Multiprotokoll-Berechtigungen
Qumulo unterstützt die gleichzeitige Bereitstellung derselben Daten im Dateisystem über mehrere Protokolle. In vielen Fällen kann eine SMB-Freigabe im Cluster auch als NFSv3-Export, NFSv4.1-Export und Objektspeichercontainer konfiguriert werden. Während dies die Flexibilität des Clusters maximiert, müssen bei der Verwaltung von Berechtigungen einige Überlegungen berücksichtigt werden.
SMB und NFSv4.1 verwenden beide dasselbe ACL-basierte Berechtigungsmodell, bei dem dem Benutzer der Zugriff aufgrund der Mitgliedschaft des Active Directory-Kontos des Benutzers in einer oder mehreren Gruppen gewährt oder verweigert wird, deren Zugriff auf Datenebene konfiguriert wurde.
Bei gemischten SMB/NFSv3-Workloads kann es jedoch zu einer Diskrepanz zwischen den ACL-Berechtigungen für eine Datei oder ein Verzeichnis und deren POSIX-Einstellungen kommen. Eine Qumulo-Instanz kann für Vorgänge im gemischten Modus konfiguriert werden, bei denen SMB- und POSIX-Berechtigungen für Dateien und Verzeichnisse, die von beiden Protokollen gemeinsam genutzt werden, separat verwaltet werden.
Für Workloads mit gemischten Protokollen behält das proprietäre Multiprotokoll-Berechtigungsmodell (MPP) von Qumulo SMB-ACLs und Vererbung bei, selbst wenn die NFS-Berechtigungen geändert werden.
Objektzugriffsberechtigungen
Wenn ein Verzeichnis im Cluster über das S3-Protokoll freigegeben wird, wird das Verzeichnis als S3-Bucket behandelt und alle Unterverzeichnisse und Dateien in diesem Verzeichnis werden als Objekte innerhalb des Buckets behandelt.
Wenn ein Benutzer oder Workflow versucht, auf ein Objekt zuzugreifen, verwendet das System den vom Client bereitgestellten Zugriffsschlüssel, um die zugeordnete Active Directory- oder lokale Benutzer-ID des Schlüssels zu identifizieren, und vergleicht diese ID dann mit der SMB-/NFSv4.1-Zugriffskontrollliste des Objekts.
Verkehrsbeschränkungen verwalten
Neben der Verwendung von SSO und MFA-basierter Authentifizierung bestimmter Administratorkonten unterstützt Qumulo auch Sicherheitsrichtlinien, die die Beschränkung des Zugriffs auf Administratorebene auf speziell festgelegte Netzwerke oder VLANs erfordern, indem es die Möglichkeit bietet, bestimmte TCP-Ports bei einer Person zu blockieren VLAN-Ebene.
Auf diese Weise kann eine Qumulo-Instanz so konfiguriert werden, dass sie den Verwaltungsverkehr – z. B. API, SSH, Web-UI und Replikationsverkehr – vom Client-Verkehr, z. B. SMB, NFS und Objektzugriff, segmentiert.
Datendienste
Die Data Services-Schicht umfasst fünf Verwaltungsfunktionen: Snapshots, Replikation, Kontingente, Zugriffsprotokollierung und -prüfung sowie System- und Datenanalyse.
Snapshots
Snapshots auf einem Qumulo-Cluster können auf verschiedene Arten verwendet werden, um die Daten des Clusters zu schützen:
- Sie können lokal für eine schnelle und effiziente Datensicherung und -wiederherstellung eingesetzt werden.
- Ein Snapshot der Live-Daten auf einem Qumulo-Cluster kann auf eine sekundäre Qumulo-Instanz repliziert werden, beispielsweise eine Azure Native Qumulo Cold-Dienstinstanz, die im Falle eines Systemausfalls am primären Standort ein sofortiges Failover der Dateidatendienste unterstützen könnte .
- Qumulo-Snapshots können auch mit Backup-Software von Drittanbietern kombiniert werden, um einen wirksamen langfristigen Schutz (mit robusterer Versionskontrolle für geänderte Dateien) vor Datenverlust zu bieten.
Ein Schnappschuss kann zu jedem Zeitpunkt erstellt werden, entweder nach einem festen Zeitplan oder bei Bedarf bei Bedarf. Einmal erstellt, verbraucht ein Snapshot zunächst keinen Speicherplatz. Ein Snapshot bewahrt alles im Dateisystem – Dateidaten, Verzeichniseinträge, Erstellungs- und Änderungszeiten, Berechtigungen usw. Da sich Dateien im Snapshot im Laufe der Zeit ändern, werden neue Daten neben der Originalversion geschrieben und neue Einträge in die Datei geschrieben System, das jede Version derselben Datei identifiziert.
Snapshot-Sperre
Um zusätzlichen Schutz vor Ransomware-Angriffen oder dem vorzeitigen Löschen kritischer Snapshots über ein kompromittiertes Administratorkonto zu bieten, können Snapshots kryptografisch „gesperrt“ werden, wodurch die Änderung oder vorzeitige Löschung eines Snapshots selbst durch einen Administrator verhindert wird.
Für die Verwendung gesperrter Snapshots ist ein asymmetrisches kryptografisches Schlüsselpaar erforderlich, wobei der öffentliche Schlüssel direkt auf der Qumulo-Instanz installiert und der private Schlüssel gemäß den etablierten Schlüsselverwaltungspraktiken der Organisation extern gespeichert wird.
Quoten
Mit Kontingenten können Benutzer das Wachstum jeder Teilmenge eines Qumulo-Namespace steuern. Kontingente fungieren als unabhängige Grenzen für die Größe jedes Verzeichnisses und verhindern ein Datenwachstum, wenn die Kapazitätsgrenze erreicht ist. Anders als bei anderen Plattformen und Diensten werden Qumulo-Kontingente sofort wirksam, sodass Administratoren mithilfe unserer Echtzeit-Kapazitätsanalyse unerwünschte Arbeitslasten identifizieren und eine außer Kontrolle geratene Kapazitätsauslastung sofort stoppen können. Kontingente folgen sogar dem Teil des Namespace, den sie abdecken, wenn Verzeichnisse verschoben oder umbenannt werden.
Zugriffsprotokollierung und -prüfung
Die Audit-Protokollierung bietet einen Mechanismus zum Verfolgen von Qumulo-Dateisystemereignissen sowie Verwaltungsvorgängen. Wenn verbundene Clients Anfragen an den Cluster senden, werden Ereignisprotokollmeldungen generiert, die jeden versuchten Vorgang beschreiben. Diese Protokollnachrichten werden dann über das Netzwerk an eine bestimmte Remote-Syslog-Instanz gesendet, z. B. eine branchenübliche SIEM-Plattform (Security Information and Event Management) wie Splunk.
Erkennung von Eindringlingen und Ransomware in Echtzeit
Qumulo ist eine Partnerschaft mit den Drittanbietern Superna und Varonis eingegangen, um eine Echtzeitüberwachung von Ereignis- und Zugriffsprotokollen zu ermöglichen, um Cyberangriffe zu erkennen und darauf zu reagieren. Um mehr über Varonis mit unserer Azure Native Qumulo-Lösung zu erfahren, besuchen Sie unsere Varonis-Integration mit ANQ Seite. Informationen zu Superna Ransomware Defender sind verfügbar Hier .
System- und Datenanalyse
Der Software-Stack von Qumulo ist so konzipiert, dass er in jeder Qumulo-Instanz Echtzeiteinblicke in System- und Servicemetriken, einschließlich Kapazität und Leistung, bietet. Dadurch können Kunden Fehler bei Anwendungen beheben, den Kapazitätsverbrauch verwalten und Erweiterungs- (oder Archivierungs-)Strategien planen. Die Analysen von Qumulo basieren auf der Aggregation von Metadatenänderungen im gesamten Dateisystem, sobald diese auftreten.
Die Weboberfläche umfasst Echtzeit-Überwachungstools zur Verfolgung der Systemleistung, der Kapazitätsnutzung und der aktuellen Aktivität auf der lokalen Qumulo-Instanz. Für Unternehmen, die diese Informationen in eine externe Überwachungslösung exportieren möchten, unterstützt Qumulo den OpenMetrics API-Standard zum Exportieren und Kompilieren von Syslog-Daten.
Replikation
Der integrierte Replikationsdienst von Qumulo kann Daten im großen Maßstab zwischen zwei beliebigen Qumulo-Speicherinstanzen kopieren. Neben dem Schutz der Daten vor Cyberangriffen kann ein sekundärer Standort mit einem anderen Qumulo-Cluster auch als Failover-Speicher im Falle eines Ausfalls auf Standortebene dienen.
Da alle Qumulo-Instanzen dieselben Replikationsfunktionen unterstützen und unabhängig vom Standort dieselben Dienste bereitstellen, kann die Replikation so konfiguriert werden, dass sie in jede Richtung zwischen zwei beliebigen Qumulo-Endpunkten ausgeführt wird, egal ob vor Ort, in AWS oder auf Azure.
Kontinuierliche Replikation
Diese Form der Replikation erstellt einfach einen Snapshot der Daten auf dem Quell-Qumulo-Cluster und kopiert ihn in ein Verzeichnis auf einem Ziel-Cluster. Solange die Replikationsbeziehung aktiv ist, scannt das System alle geänderten Dateien, um nur die spezifischen Änderungen zu identifizieren und auf das Ziel zu kopieren, wobei alle vorherigen Versionen der Daten überschrieben werden.
Snapshot-basierte Replikation
Bei der Snapshot-basierten Replikation werden auch Snapshots des Zielverzeichnisses auf dem sekundären Cluster erstellt. Sobald ein Replikationsauftrag abgeschlossen ist, wird ein neuer Snapshot des Zielverzeichnisses erstellt, der die Datenkonsistenz über beide Cluster hinweg gewährleistet und außerdem ein Änderungsprotokoll und einen Versionsverlauf für jede Datei auf dem Ziel verwaltet.
Das Qumulo-Dateisystem
Alle unstrukturierten Daten, die in einem Qumulo-Dateisystem gespeichert sind, sind in einem einzigen Namensraum organisiert. Dieser Namespace ist POSIX-kompatibel und unterstützt auch den Access Control List-Standard, der von den Protokollen NFSv4.1 und SMB verwendet wird, ganz ähnlich wie andere NAS-Systeme und -Architekturen.
Qumulo zeichnet sich durch seine Fähigkeit aus, seinen einzelnen Namespace auf praktisch jede Größe zu skalieren, die Art und Weise, wie System- und Datenanalysen in den Dateisystembetrieb integriert werden, seine Unterstützung für S3 sowie NFS und SMB und seinen einzigartigen Ansatz bis hin zur Multiprotokoll-Berechtigungsverwaltung.
Dateisystemoperationen
Das Dateisystem von Qumulo wurde von Anfang an so konzipiert, dass es nahtlos auf eine Kapazität von mehr als Exabyte in einem einzigen Namespace skaliert werden kann, der Billionen von Dateien hosten kann, die über Standard-NFS- und SMB-Protokolle gemeinsam genutzt werden können. Darüber hinaus wurde das Dateisystem mit der Fähigkeit ausgestattet, Dateisystemaktualisierungen und -aktionen effizient zu überwachen und auf Metadaten basierende Statistiken und Vorgänge zu aggregieren, was System- und Datenanalysen in Echtzeit ermöglicht, ohne auf ressourcenintensive und zeitaufwändige Baumwanderungen zurückgreifen zu müssen .
Skalierbarkeit des Dateisystems
Eine einzelne Qumulo-Instanz kann auf eine Kapazität von bis zu 2 Exabyte skaliert werden64 (~18.4 Billionen) Dateien ohne die bei anderen Plattformen üblichen Probleme wie Inode-Erschöpfung, Leistungseinbußen und lange Wiederherstellungszeiten nach Komponentenausfällen.
Metadatenaggregation
In der Qumulo-Dateidatenplattform werden Metadaten wie verwendete Bytes und Dateianzahlen als Dateien aggregiert und Verzeichnisse erstellt oder geändert. Dies bedeutet, dass die Informationen für eine zeitnahe Verarbeitung verfügbar sind, ohne dass teure Dateidaten-Plattform-Baumwanderungen erforderlich sind. Die Echtzeit-Analyse-Engine verwaltet aktuelle Metadatenzusammenfassungen im gesamten Dateisystem-Namespace und sammelt und aktualisiert Informationen, wenn Änderungen auftreten. Verschiedene Metadatenfelder werden zu einem virtuellen Index zusammengefasst. Bei Änderungen werden neue aggregierte Metadaten gesammelt und von den einzelnen Dateien bis zum Stammverzeichnis des Dateisystems weitergegeben. Jeder Datei- und Verzeichnisvorgang wird berücksichtigt und die daraus resultierenden Änderungen werden sofort in die Analyse des Systems integriert.
Globaler Qumulo-Namespace
Der Global Namespace-Dienst bietet die Möglichkeit, den einzelnen Namespace von Qumulo auf mehrere Instanzen zu erweitern, sei es vor Ort oder in der Cloud, indem virtuelle Datenpfade, sogenannte „Portale“, unabhängig vom tatsächlichen Speicherort der Daten definiert werden. Die Verwendung von Portalen bedeutet nicht nur, dass sich Daten in jeder Qumulo-Bereitstellung des Kunden befinden können, sondern auch, dass Benutzer und Workflows Remote-Daten als Teil des Namespace auf ihrem lokalen Qumulo-Speicher sehen können und dass die Daten physisch von einem solchen stammen können Qumulo-Instanz auf eine andere – z. B. für Follow-the-Sun-Workflows oder zum Migrieren kalter Daten auf eine zentralisierte Azure Native Qumulo Cold-Archivebene – ohne dass Clients dem neuen Pfad neu zugeordnet werden müssen oder bestehende Anwendungen beschädigt werden müssen.
Wenn zum ersten Mal über ein GNS-Portal auf eine Remote-Datei zugegriffen wird, speichert die lokale Qumulo-Instanz automatisch eine Kopie der Datei lokal zwischen. Jeder nachfolgende Zugriff auf die Datei, sei es vom selben Client oder von anderen am selben Standort, erfolgt über den lokalen Cache. GNS vereinfacht nicht nur den Datenzugriff über mehrere On-Prem- und Cloud-Qumulo-Bereitstellungen hinweg, sondern ermöglicht auch den Zugriff auf zwischengespeicherte Remote-Daten mit geringer Latenz.
Der skalierbare Blockspeicher
Unterhalb des Qumulo-Dateisystems befindet sich eine geschützte, modulare Schicht, die als Schnittstelle zwischen potenziell Milliarden (oder mehr) Dateien und Verzeichnissen und dem physischen Datenträger dient, auf dem sie gespeichert sind. In der modularen Architektur von Qumulo wird diese Rolle von der Scalable Block Store-Schicht übernommen.
Globales Transaktionssystem
Da Qumulo eine verteilte Shared-Nothing-Architektur verwendet, die sofortige Konsistenzgarantien bietet, muss jeder Knoten im Dienst jederzeit eine global konsistente Ansicht aller Daten haben. Der Scalable Block Store nutzt einen globalen Transaktionsansatz, um sicherzustellen, dass, wenn ein Schreibvorgang mehr als einen Block umfasst, der Vorgang entweder alle relevanten Blöcke oder keinen von ihnen schreibt. Für eine optimale Leistung maximiert das System Parallelität und verteiltes Rechnen und sorgt gleichzeitig für die Transaktionskonsistenz der E/A-Vorgänge.
Der Vorteil dieses Ansatzes besteht darin, dass für transaktionale E/A-Vorgänge nur ein absolutes Minimum an Sperren verwendet wird, sodass Qumulo-Bereitstellungen auf viele Hundert Knoten skaliert werden können.
Intelligentes Caching und Prefetching
Eine einzelne Qumulo-Instanz kann Billionen von Dateien und Petabytes an Kapazität speichern. Da jedoch jeweils nur ein kleiner Prozentsatz dieser Daten aktiv ist, hat Qumulo mehrere Funktionen und Vorgänge entwickelt, um sowohl die Lese- als auch die Schreibleistung für aktive Daten zu optimieren:
- Alle Metadaten, die in jedem Datensatz am häufigsten gelesen werden, befinden sich dauerhaft auf der Flash-Ebene der Speicherinstanz.
- Virtuelle Blöcke, die häufig gelesen werden (gemessen anhand eines proprietären „Wärmeindex“), werden im Flash gespeichert, während virtuelle Blöcke, die selten gelesen werden, auf kältere Medien verschoben werden, z. B. auf die Festplattenebene des Systems (sofern verfügbar).
- Während Daten gelesen werden, überwacht die Qumulo-Instanz das Client-Verhalten und ruft neue Daten auf intelligente Weise vorab in den Systemspeicher auf dem Knoten ab, der dem Client am nächsten liegt, um die Zugriffszeiten zu beschleunigen.
Physische Qumulo-Bereitstellungen
Auf einem physischen Qumulo-Cluster dient der Scalable Block Store als Schnittstelle zwischen dem Dateisystem und den zugrunde liegenden Speichermedien, bei denen es sich entweder um Solid-State-Flash-Geräte (SSDs) oder Festplattenlaufwerke (HDDs) handeln kann. Diese Schicht ist in erster Linie dafür verantwortlich, die Datenkonsistenz über alle Knoten in einem physischen Cluster hinweg zu gewährleisten, eine optimale Leistung sowohl für Lese- als auch für Schreibanforderungen sicherzustellen und Datensicherheit, Integrität und Widerstandsfähigkeit gegen Komponentenausfälle bereitzustellen.
Geschützte virtuelle Blöcke
Die Speicherkapazität eines physischen Qumulo-Clusters ist konzeptionell in einem geschützten virtuellen Adressraum organisiert. Jede Adresse in diesem Bereich speichert entweder einen 4K-Datenblock oder einen 4K-Erasure-Coding-Hash, der zum Wiederherstellen aller Datenblöcke verwendet werden kann, die durch einen Hardwarefehler verloren gegangen sind. Das Verhältnis von Datenblöcken zu Erasure-Coding-Blöcken wird durch die Größe des physischen Clusters bestimmt. Wenn mehr Knoten hinzugefügt werden, passt sich das Verhältnis an, um eine höhere Gesamteffizienz zu erzielen und gleichzeitig vor Festplatten- und Knotenausfällen zu schützen.
Zusätzlich zum Schutz durch Erasure Coding umfasst das virtuelle Blocksystem auch einen Bit-Rot-Erkennungsalgorithmus zum Schutz vor Datenbeschädigung auf der Festplatte.
Softwarebasierte Verschlüsselung im Ruhezustand
Auf physischen Qumulo-Clustern enthält der Scalable Block Store einen softwarebasierten AES-256-Bit-Algorithmus, der alle Dateisystemdaten verschlüsselt, bevor er sie in die Datenschicht schreibt. Dieser Algorithmus wird im Rahmen des anfänglichen Cluster-Erstellungsprozesses initialisiert und umfasst alle Dateisystemdaten und Metadaten auf Blockebene für die gesamte Lebensdauer des Clusters.
Qumulo-Cluster in der Cloud basieren auf einer Verschlüsselung auf Blockebene innerhalb der Cloud-Speicherschicht, die vom Cloud-Dienstanbieter implementiert und verwaltet wird und sicherstellt, dass alle ruhenden Daten auf jeder cloudbasierten Qumulo-Instanz vollständig verschlüsselt sind.
Für Unternehmen, die dies benötigen, unterstützen der lokale Verschlüsselungsalgorithmus von Qumulo und die von Azure und AWS bereitgestellten Verschlüsselungsdienste die FIPS 140-2-Konformität.
Der Scalable Block Store auf cloudbasiertem Speicher
Für auf Azure bereitgestellte Qumulo-Instanzen werden viele der Funktionen, die lokal von der Scalable Block Storage-Schicht bereitgestellt werden, wie z. B. Festplattenverschlüsselung, Erasure Coding, Bit-Rot-Erkennung und Blockverwaltung, als Kernfunktionen der zugrunde liegenden Azure bereitgestellt Blob-Speicherdienst.
Server-Hardware
Die Software von Qumulo läuft auf praktisch jeder standardmäßigen x86-64-basierten Hardware der Unternehmensklasse. Kunden, die optimale Verfügbarkeit und Leistung wünschen, sollten sich bei der Auswahl der geeigneten Hardwarekonfiguration jedoch direkt an Qumulo wenden.
Das zugrunde liegende Linux-Betriebssystem ist gesperrt und erlaubt nur die Vorgänge, die zur Ausführung der erforderlichen unterstützenden Aufgaben der Qumulo-Softwareumgebung erforderlich sind. Andere Standard-Linux-Dienste wurden deaktiviert, um die Angriffsfläche für einen Angriff weiter zu verringern.
Vollständig nativer Software-Stack
Obwohl Linux Open-Source-Komponenten enthält, um sowohl NFS- als auch SMB-Client- und Serverdienste (z. B. Samba, Ganesha usw.) bereitzustellen, sind diese Dienste nicht im gehärteten Ubuntu-Image enthalten, das die Qumulo-Softwareumgebung unterstützt. Qumulo entwickelt und steuert den gesamten Code, der für die Datenzugriffsprotokolle NFS, SMB, FTP und S3 verwendet wird – in der Qumulo-Betriebsumgebung.
Sofortige Upgrades
Der iterative Entwicklungsprozess von Qumulo ist einfach und rationalisiert, da regelmäßig neue Software-Updates veröffentlicht werden. Dies ermöglicht nicht nur eine schnelle Innovation bei der Entwicklung und Einführung neuer Funktionen, sondern fördert auch eine sicherere Speicherplattform.
Qumulo hat den Upgrade-Prozess so konzipiert, dass er schnell und einfach ist. Unser gesamter Software-Stack ist in Containern untergebracht, was es uns ermöglicht, einen gesamten Cluster, unabhängig von seiner Größe, in 20 Sekunden zu aktualisieren und dabei Rollbacks zu vermeiden, da die Funktionalität und Stabilität der aktualisierten Version vollständig validiert werden kann, bevor die ältere Version geschlossen wird runter.