Qumulo und Databricks haben eine gemeinsame Integration fertiggestellt, mit der sich Unternehmens-Lakehouses über die gesamte Datenlandschaft einer Organisation erstrecken lassen. Unabhängig davon, wo sich die Daten befinden – vor Ort, am Netzwerkrand oder in einer der großen Clouds –, kann Databricks diese nun über den Qumulo-Speicher lesen, schreiben und verwalten. (Erfahren Sie mehr über die Ankündigung von Databricks hier.)
Das „Lakehouse“ hat sich zur Grundlage der modernen Datenanalyse entwickelt, indem es die Offenheit eines Data Lake mit der Governance und Zuverlässigkeit eines Data Warehouse verbindet. Unternehmen setzen es ein, um sich aus der Anbieterabhängigkeit zu befreien, Kosten zu senken und ihre Analysen sowie KI auf einer einzigen Plattform zu vereinen. Bislang waren Lakehouses jedoch weitgehend auf einen einzigen Standort oder den Objektspeicher eines Cloud-Anbieters in einer einzigen Region beschränkt. Dies hat der Branche gute Dienste geleistet, doch die meisten Unternehmen verfügen über ihre Rohdaten und Daten der „Bronze“-Stufe überall: Fabriksensoren, Daten aus Zweigstellen, medizinische Bilddaten, Anwendungsprotokolle, Transaktionsdatensätze – all dies wird über Rechenzentren, Edge-Standorte und mehrere Clouds hinweg generiert und aufbewahrt. IDC prognostiziert, dass die unstrukturierten Unternehmensdaten bis 2028 mit einer durchschnittlichen jährlichen Wachstumsrate (CAGR) von etwa 16 % auf 10,5 ZB ansteigen werden, angetrieben durch die zunehmende Verbreitung von Sensoren, das Internet der Dinge (IoT) und KI-Workloads. Die Einführung des Lakehouse in alle Die Nutzung dieser Daten, unabhängig davon, wo sie gespeichert sind, ist der nächste Schritt in der Architektur.
Qumulo ist eine softwaredefinierte Datenplattform, die sich über lokale Umgebungen, Edge-Standorte und die Cloud als ein einziger globaler Namensraum erstreckt. In Kombination mit Databricks ermöglicht sie es, das Lakehouse auf die gesamte Datenlandschaft auszuweiten, ohne dass Daten kopiert oder in einem einzigen Cloud-Bucket konsolidiert werden müssen. Dieselben regulierten Tabellen können von Databricks in einer Region, von einem Trainingsjob vor Ort und von einem BI-Tool in einer anderen Cloud abgefragt werden – und zwar auf der Grundlage einer einzigen verlässlichen Datenquelle.
Dieser Beitrag stellt drei bewährte Integrationsmuster zwischen Databricks und Qumulo vor, die verschiedene Lakehouse-Architekturen ermöglichen: (1) Ausführung von Databricks-Analysen und KI direkt auf Daten in Qumulo, ohne Plattformwechsel oder Migration; (2) Qumulo-interne Tabellen unter die Governance des Unity Catalog stellen, um eine einheitliche, kontrollierte Ansicht zu erhalten, unabhängig davon, wo sich die Daten befinden; und (3) Qumulo-Daten schreibgeschützt über OpenSharing mit anderen Databricks-Arbeitsbereichen, anderen Clouds und Nicht-Databricks-Tools teilen. Eine Schritt-für-Schritt-Anleitung zur Bereitstellung finden Sie im Hinweis zur Integration von Qumulo und Databricks.
Abbildung 1. Gesamtarchitektur der Integrationsmuster von Qumulo und Databricks
Vorteile für Databricks-Teams
Diese Muster bieten Unternehmen, die Databricks einsetzen, drei Vorteile:
Schnellere Ergebnisse. Vorhandene Daten auf Qumulo aus Rohprotokollen, Bilddaten, Telemetriedaten, Genomdaten und Anwendungsaufzeichnungen werden von Databricks direkt vor Ort eingelesen, wodurch Kosten und Zeitaufwand für die Massenmigration sowie die pro Anfrage anfallenden S3-API-Gebühren entfallen. Bei Validierungstests konnte Qumulo im Vergleich zu gleichwertigen Workflows, bei denen Daten zunächst über einen Cloud-Objektspeicher zwischengespeichert wurden, eine Senkung der API-bezogenen Speicherkosten um 60 % oder mehr sowie eine Verkürzung der Zeit bis zum ersten Ergebnis um 40 % oder mehr verzeichnen.
Ein Exemplar, viele Verbraucher. Dieselben Daten werden gleichzeitig von Databricks in der Cloud, von Trainingsaufträgen vor Ort, von Edge-Anwendungen sowie von anderen Analyse- und KI-Tools genutzt. Alle arbeiten auf der Grundlage einer einzigen verlässlichen Datenquelle, anstatt dass sich die Versionen über die verschiedenen Umgebungen hinweg voneinander entfernen.
Einheitliche Verwaltung ohne Massenmigration. Tabellen in Qumulo werden über den Unity Catalog verwaltet, wobei Berechtigungen, Protokollierung und Herkunftsnachweis für Analysten und BI-Teams über alle Notebooks und Dashboards hinweg einheitlich angewendet werden.
Drei validierte Muster
Jedes Modell sieht eine unterschiedliche Zuordnung von Daten und Governance vor, und in den meisten Produktionsumgebungen werden diese kombiniert. Es ist zu beachten, dass Kunden eine Kombination dieser Integrationen einsetzen können.
Modell A: Qumulo speichert Rohdaten und historische Daten, Databricks speichert die aufbereiteten Tabellen. Databricks Compute liest Quelldaten aus Qumulo aus, wendet „Silver“- und „Gold“-Transformationen an und schreibt die aufbereiteten Delta-Tabellen in den von Unity Catalog verwalteten Speicher. Serverlose SQL-Warehouses fragen die „Gold“-Tabellen für BI- und Analysezwecke ab. Ideal, wenn ein Unternehmen gerade erst mit Databricks beginnt und möchte, dass seine erste kuratierte Ebene nativ durch den Unity Catalog verwaltet wird.
Modell B. Alle Medaillon-Stufen (Bronze, Silber, Gold) werden bei Qumulo als Delta-Tabellen gespeichert. Die Tabellen sind in einem Hive-Metastore registriert, den Databricks in den Unity Catalog integriert. All-Purpose Compute führt Lese- und Schreibvorgänge über diesen Pfad durch; serverlose SQL-Warehouses führen Abfragen über den Unity Catalog durch. Ideal, wenn ein Unternehmen sein gesamtes Lakehouse weiterhin auf Qumulo betreiben und gleichzeitig von den Funktionen von Unity Catalog in den Bereichen Governance, Herkunftsnachweis und Audit profitieren möchte.
Szenario C: Mit OpenSharing kann Qumulo Delta-Tabellen schreibgeschützt für den Unity Catalog und andere Nutzer bereitstellen. Databricks und andere Tools erhalten über das OpenSharing-Protokoll einen kurzzeitigen Zugriff, wobei keine Daten auf den Empfänger kopiert werden. Dies eignet sich am besten für den Austausch von Qumulo-Daten zwischen mehreren Nutzern (anderen Databricks-Arbeitsbereichen, Snowflake, BI-Tools) und über mehrere Clouds hinweg.
Schritt-für-Schritt-Anleitungen für alle drei Muster finden Sie in der Hinweis zur Integration von Qumulo und Databricks.