Erfahren Sie, wie die integrierte Datenanalyse von Qumulo detaillierte Informationen zur Effizienz und Nutzung einer Splunk-Bereitstellung liefert.
Was ist Splunk?
Splunk ist eine führende Datenanalyseplattform. Es sammelt viele Arten von Protokoll- und maschinengenerierten Daten und Indizes, analysiert und erstellt Visualisierungen für sehr große Datensätze. Splunk bietet sowohl historische als auch Echtzeit-Datenanalysen und hat ein großes Ökosystem entwickelt, das Bibliotheken für maschinelles Lernen (ML) und verschiedene Arten von Software Developer Kits (SDKs) umfasst.
Ist Splunk skalierbar?
Splunk ist – wie Qumulo – hochgradig skalierbar, was Qumulo zur idealen Plattform für den Betrieb von Splunk-Lösungen macht.
Das Dateisystem von Qumulo ergänzt die Splunk-Datenplattform, um die Effizienz der Splunk-Datenspeicherung zu optimieren. Dieser Artikel hilft Ihnen, das Splunk-Repository auf Dateiebene mithilfe der Echtzeit-Datenanalyse von Qumulo Core zu verstehen und erklärt, wie Ihnen das Qumulo-Dateisystem helfen kann:
- Eliminieren Sie Speichersilos mit einem einzigen Speicher-Namespace für Splunk-Daten
- Erzielen Sie transparente Kapazitäts- und E/A-Erweiterung mit einer linear skalierbaren Speicherarchitektur
- Passen Sie Ihre Splunk-Umgebung über die programmierbare REST-API an
- Optimieren Sie Ihre Speicherinfrastruktur sowohl für sequentiellen Schreibindex, Zufallssuche als auch für heiße, warme und kalte Daten
Was sind die Komponenten der Splunk-Architektur?
Die drei Hauptkomponenten jeder Splunk-Implementierung sind Weiterleitungen, Indexer und Suchköpfe.
Splunk Forwarder
Forwarder sind in der Regel Softwareagenten, die auf den von Splunk überwachten Geräten ausgeführt werden. Sie leiten Protokollströme von diesen Systemen an die Splunk-Indexer weiter.
Splunk-Indexer
Die Indexer sind das Herz der Splunk-Architektur. Sie analysieren und indizieren Protokolldaten in Echtzeit.
Splunk-Suchköpfe
Suchköpfe sind separate Server, mit denen sich Benutzer verbinden, um Daten abzufragen, Berichte zu erstellen und Daten zu visualisieren. In kleineren Umgebungen können Indexer und Suchköpfe auf denselben Servern ausgeführt werden.
Splunk-Architekturdiagramm
Dieses Splunk-Architekturdiagramm zeigt, wie Splunk von Anfang bis Ende funktioniert, unter Berücksichtigung der drei oben beschriebenen Hauptkomponenten. Das Diagramm zeigt die Forwarder, die Daten an die Indexer senden, während die Heads Benutzeranfragen senden, um diese Daten von den Indexern abzurufen. Die Daten selbst werden in einer Reihe von Verzeichnissen gespeichert, die nach Alter organisiert sind, was durch die im Diagramm gezeigten roten, gelben und blauen Container angezeigt wird. Diese Verzeichnisse sind als heiße (H), warme (W) und kalte (C) Buckets bekannt, die wir im nächsten Abschnitt besprechen werden.
Splunk-Eimer
Wie oben im Splunk-Architekturdiagramm gezeigt, sind Daten in Splunk in Eimern aufbewahrt sortiert nach dem Alter der Daten:
Heiße Eimer
Hot Buckets speichern Daten, wenn sie zum ersten Mal indiziert werden. In einen Hot Bucket kann geschrieben werden, bis ein vordefinierter Schwellenwert erreicht ist. Dann wird der Hot-Bucket geschlossen und die Daten werden in einen Warm-Bucket verschoben.
Warme Eimer
Warm Buckets enthalten indizierte und durchsuchbare Daten. Daten können weiterhin in warme Buckets geschrieben werden. Wenn der Schwellenwert für die Warm-Bucket-Kapazität erreicht ist, werden ältere Daten in Warm-Buckets in Cold-Buckets verschoben.
Kalte Eimer
Cold Buckets enthalten in den meisten Fällen den Großteil der Daten. Cold Buckets sind schreibgeschützt, befinden sich jedoch weiterhin im Index. Daher werden Cold Buckets in allen Suchergebnissen, Berichten usw. angezeigt.
Gefrorene Eimer
Eingefrorene Buckets sind Langzeitarchive, die nicht mehr indiziert werden. Frozen Buckets sollen alte Daten zu Archivierungszwecken speichern. Sie stehen nicht für Suche, Analyse oder Berichterstellung zur Verfügung.
Aufgetaute Eimer
Aufgetaute Buckets werden aus Archiven wiederhergestellt. Wenn eingefrorene Buckets archiviert werden, können sie später aufgetaut und wieder in den Index aufgenommen werden.
Qumulo verbessert die Effizienz hochskalierbarer Speicher für Splunk-Umgebungen
Splunk kann verwenden direkt angebauter Speicher (DAS) für alle Eimertypen. Diese Art der Konfiguration ist jedoch relativ ineffizient, da die Verwaltung des DAS-Speichers komplex ist und diese Komplexität mit zunehmender Kapazität zunimmt. Unabhängig davon, ob Sie JBODs oder RAID-Arrays verwenden, entsteht in beiden Fällen ein erheblicher Verwaltungsaufwand. Bedenken Sie auch, dass herkömmliche RAID-Arrays extrem lange Wiederherstellungszeiten haben, was zu einem erhöhten Risiko von Datenverlusten führt. In der Regel leistungsstark Netzwerkspeicher (NAS) ist eine bessere Lösung, die wir in diesem Dokument weiter diskutieren werden.
Wenn Zuverlässigkeit erforderlich ist, können der Splunk-Replikationsfaktor (RF) und der Suchfaktor (SF) erhöht werden. Die RF gibt die Anzahl der Kopien der Rohdaten an, die beibehalten werden sollen, während die SF die Anzahl der Kopien der Indexdaten bestimmt, die aufbewahrt werden sollen. Beide haben einen Standardwert von zwei, aber dieser Wert kann geändert werden, um bestimmte Ziele zu erreichen. Bei der Standardeinstellung von zwei wird jeder Index so eingestellt, dass er eine vollständige zweite Kopie behält, was eine sehr große zu speichernde Datenmenge bedeuten kann.
In den folgenden Abschnitten erfahren Sie, wie die Echtzeit-Datenanalyse von Qumulo detaillierte Informationen über die Effizienz der Dateidatenspeicherung und Verwendung einer Splunk-Bereitstellung. Qumulo Wachsamkeit ist standardmäßig in Qumulo Core enthalten und bietet sofortigen Einblick in Ihren Splunk-Datenfußabdruck mit Echtzeitanalysen.
Die effiziente Hybrid-Cloud-Architektur von Qumulo
Ein Qumulo-Cluster beginnt mit vier Knoten und kann auf viele Petabyte an Kapazität skaliert werden, indem einfach jederzeit weitere Knoten hinzugefügt werden. Qumulo Core ist optimiert, um maximale Leistung und Effizienz aus der zugrunde liegenden Hardware – von HPE, Fujitsu, Supermicro und anderen – herauszuholen und die Vorteile voll auszuschöpfen All-NVMe Designs und Hybriden mit SSDs vor HDDs. Qumulo Core ruft Daten intelligent automatisch im Voraus ab und zwischenspeichert sie auf SSD, was bedeutet, dass die meisten Lesevorgänge die meiste Zeit von SSDs stammen und selbst auf Hybridsystemen All-Flash-Leistung liefern.
Auch wenn Splunk die Verwendung von NAS-Speicher für Hot- und Warm-Buckets noch nicht unterstützt, ist die Verwendung von Qumulo mit Splunk eine ausgezeichnete Lösung für Cold-Buckets (in denen normalerweise der Großteil der Daten gespeichert wird). Wenn Buckets aus dem für warme Buckets definierten Speicher in den Qumulo-Cluster für kalte Buckets verschoben werden, landen alle Daten zuerst auf SSDs. Dies macht die Übertragung sehr schnell. Außerdem sind Cold Buckets weiterhin indiziert und durchsuchbar. Daten, die sich auf SSDs befinden, werden im Vergleich zu Daten auf HDDs mit viel höheren Geschwindigkeiten bereitgestellt.
Das Qumulo-Dateidatenplattform ist eine ideale Grundlage für eine Splunk-Umgebung, da sie Daten effizienter speichert, hochgradig belastbar, unbegrenzt skalierbar ist und lokal oder in einer öffentlichen Cloud ausgeführt wird. Da die Daten auf Qumulo auf Blockebene und nicht auf Dateiebene geschützt werden, ist jeder erneute Schutzvorgang unabhängig von der Dateigröße schnell und zuverlässig und hat keine negativen Auswirkungen auf die Leistung während der Ausführung.
Vorteile der Verwendung von Qumulo mit Splunk
Die meisten Splunk-Implementierungen erfassen, indizieren und liefern regelmäßig Petabyte an Daten, sodass sie für das gesamte Unternehmen durchsuchbar sind. Das von Splunk verarbeitete Datenvolumen kann hohe Anforderungen an die Speicherinfrastruktur Ihres Unternehmens stellen. In Zusammenarbeit haben Qumulo und Splunk eine Lösung für die Bereitstellung skalierbaren, effizienten Speichers für Splunk-Daten sowie die API-Integration direkt mit Splunk bereitgestellt. In Summe:
- Das Qumulo-Dateisystem kann entsprechend skaliert werden Milliarden von Dateien und viele Petabyte an Daten in einem einzigen Namespace, aber dennoch einfach zu verwalten.
- Die Kapazität eines Qumulo-Clusters kann nach Bedarf durch Hinzufügen von Knoten skaliert werden. Dies kann erfolgen, während der gesamte Cluster ohne Unterbrechung ausgeführt wird.
- Durch das Hinzufügen von Kapazität mit zusätzlichen Qumulo-Knoten werden auch die Verarbeitungsleistung und der Durchsatz linear erhöht.
- Eingefrorene Eimer können vermieden werden, da Daten effizient und kostengünstig auf Qumulo in kalten Eimern gespeichert werden können. Daten in Cold Buckets bleiben durchsuchbar. Wenn Sie mehr Splunk-Daten speichern, können Sie Abfragen für Daten ausführen, die seit vielen Jahren gespeichert sind, anstatt nur für Daten der letzten Monate. Dies bietet einen genaueren Überblick über Trends und erleichtert das Auffinden von Anomalien.
- Anstatt die HF von Splunk zu erhöhen, um die Zuverlässigkeit zu erhöhen, schützt Qumulo Core Daten mithilfe von Löschcodierung, die sehr effizient in Bezug auf die Nutzung des Speicherplatzes ist.
- Qumulo Schutz umfasst Datendienste, die standardmäßig in Qumulo Core enthalten sind, und bietet Snapshots und Snapshot-Replikation, wodurch ein leistungsfähiges Backup-System bereitgestellt wird.
Splunk als SIEM-Lösung
In diesem Artikel geht es zwar um die Verwendung von Qumulo als effizientes Speicher-Repository für Cold Buckets in Splunk, es ist jedoch erwähnenswert, dass viele unserer Kunden auch Qumulo-Telemetriedaten zu Audit- und Bedrohungsjagdzwecken in Splunk einspeisen und Splunk als ihre wichtigsten Sicherheitsinformationen und -ereignisse verwenden Management (SIEM)-Plattform. In diesem Artikel erfahren Sie, wie es geht: Qumulo Core Audit Logging mit Splunk.
Ein weiteres Beispiel dafür, wie Sie Ihre Daten in Qumulo mit einem Cloud-basierten SIEM vor Cyber-Bedrohungen schützen können, wird hier beschrieben: Bedrohungssuche mit Qumulo-Überwachungsprotokollen und Azure Sentinel SIEM
[qumulo_cta id=“268560″]
ZUGEHÖRIGE INFOS
- Verwandte Geschichte: So erkennen Sie Ransomware
- Datenblatt: Eine effiziente und hoch skalierbare Datenplattform für Splunk
- Lösungsseite: Splunk-Speicher für massive Daten entwickelt
