Descubra cómo el análisis de datos integrado de Qumulo proporciona información detallada sobre la eficiencia y el uso de una implementación de Splunk.
¿Qué es Splunk?
Splunk es una plataforma líder de análisis de datos. Recopila muchos tipos de registros y datos e índices generados por la máquina, analiza y crea visualizaciones para conjuntos de datos muy grandes. Splunk proporciona análisis de datos históricos y en tiempo real y ha desarrollado un gran ecosistema que incluye bibliotecas de aprendizaje automático (ML) y varios tipos de kits de desarrollo de software (SDK).
¿Splunk es escalable?
Splunk, como Qumulo, es altamente escalable, lo que convierte a Qumulo en la plataforma ideal para ejecutar soluciones de Splunk.
El sistema de archivos de Qumulo complementa la plataforma de datos de Splunk para optimizar la eficiencia del almacenamiento de datos de Splunk. Este artículo lo ayudará a comprender el repositorio de Splunk a nivel de archivos utilizando el análisis de datos en tiempo real de Qumulo Core y le explicará cómo el sistema de archivos de Qumulo puede ayudarlo:
- Elimine los silos de almacenamiento utilizando un único espacio de nombres de almacenamiento para los datos de Splunk
- Logre capacidad transparente y expansión de E / S con una arquitectura de almacenamiento de escalamiento horizontal
- Personalice su entorno de Splunk a través de la API REST programable
- Optimice su infraestructura de almacenamiento tanto para el índice de escritura secuencial, la búsqueda aleatoria como para los datos calientes, templados y fríos
¿Cuáles son los componentes de la arquitectura Splunk?
Los tres componentes principales de cualquier implementación de Splunk son Reenviadores, indexadores y cabezas de búsqueda..
Transportistas de Splunk
Los reenviadores suelen ser agentes de software que se ejecutan en los dispositivos que supervisa Splunk. Reenvían flujos de registros de esos sistemas a los indexadores de Splunk.
Indexadores Splunk
Los indexadores son el corazón de la arquitectura de Splunk. Analizan e indexan los datos de registro en tiempo real.
Cabezales de búsqueda Splunk
Los cabezales de búsqueda son servidores separados a los que los usuarios se conectan para consultar datos, crear informes y visualizar datos. En entornos más pequeños, los indexadores y los cabezales de búsqueda pueden ejecutarse en los mismos servidores.
Diagrama de arquitectura Splunk
Este diagrama de arquitectura de Splunk muestra cómo funciona Splunk de principio a fin, teniendo en cuenta los tres componentes principales descritos anteriormente. El diagrama muestra a los reenviadores enviando datos a los indexadores, mientras que los jefes envían solicitudes de usuarios para recuperar esos datos de los indexadores. Los datos en sí se almacenan dentro de un conjunto de directorios organizados por antigüedad, indicados por los contenedores rojos, amarillos y azules que se muestran en el diagrama. Estos directorios se conocen como cubos calientes (H), tibios (W) y fríos (C), de los que hablaremos en la siguiente sección.
Cucharones Splunk
Como se muestra arriba en el diagrama de arquitectura de Splunk, los datos en Splunk son almacenado en cubos organizado por la antigüedad de los datos:
cubos calientes
Los depósitos calientes almacenan datos cuando se indexan por primera vez. Se puede escribir en un depósito caliente hasta que se alcance un umbral predefinido. Luego, el balde caliente se cierra y los datos se mueven a un balde caliente.
Cubos calientes
Los depósitos calientes contienen datos indexados y que se pueden buscar. Los datos aún se pueden escribir en depósitos calientes. Cuando se alcanza el umbral para la capacidad del depósito en caliente, los datos más antiguos de los depósitos en caliente se mueven a los depósitos en frío.
Cubos Fríos
Los depósitos fríos contienen la mayoría de los datos en la mayoría de los casos. Los depósitos en frío son de solo lectura, pero todavía están en el índice. Por lo tanto, aparecerán depósitos en frío en todos los resultados de búsqueda, informes, etc.
Cubos Congelados
Los cubos congelados son archivos a largo plazo que ya no están indexados. Los depósitos congelados están destinados a almacenar datos antiguos con fines de archivo. No están disponibles para búsquedas, análisis o informes.
Cubos descongelados
Los cubos descongelados se restauran a partir de archivos. Cuando se archivan cubos congelados, luego se pueden descongelar y devolver al índice.
Qumulo mejora la eficiencia del almacenamiento altamente escalable para entornos Splunk
Splunk puede usar almacenamiento adjunto directo (DAS) para todos los tipos de baldes. Sin embargo, este tipo de configuración es relativamente ineficiente ya que el almacenamiento DAS es complejo de administrar y esta complejidad aumenta a medida que aumenta la capacidad. Ya sea que esté utilizando JBOD o matrices RAID, en cualquier caso hay una sobrecarga de administración significativa. También considere que las matrices RAID tradicionales tienen tiempos de reconstrucción extremadamente largos, lo que se traduce en un mayor riesgo de pérdida de datos. Normalmente, de alto rendimiento almacenamiento conectado a la red (NAS) es una mejor solución que discutiremos más adelante en este documento.
Si se requiere confiabilidad, el factor de replicación de Splunk (RF) y el factor de búsqueda (SF) se pueden aumentar. El RF indica el número de copias de datos sin procesar que se conservarán, mientras que el SF determina el número de copias de datos de índice que se conservarán. Ambos tienen un valor predeterminado de dos, pero este valor se puede cambiar para cumplir objetivos específicos. Con la configuración predeterminada de dos, cada índice se configurará para guardar una segunda copia completa, lo que puede implicar una gran cantidad de datos para almacenar.
En las siguientes secciones, aprenderá cómo el análisis de datos en tiempo real de Qumulo proporciona información detallada sobre el eficiencia del almacenamiento de datos de archivos y el uso de una implementación de Splunk. Consciente de Qumulo viene de serie en Qumulo Core que proporciona visibilidad instantánea de su huella de datos de Splunk con análisis en tiempo real.
Arquitectura de nube híbrida eficiente de Qumulo
Un clúster de Qumulo comienza con cuatro nodos y puede escalar a muchos petabytes de capacidad simplemente agregando más nodos en cualquier momento. Qumulo Core está optimizado para extraer el máximo rendimiento y eficiencia del hardware subyacente, de HPE, Fujitsu, Supermicro y otros, aprovechando al máximo all-NVMe diseños e híbridos con SSD frente a HDD. Qumulo Core buscará y almacenará en caché de manera inteligente los datos en SSD automáticamente, lo que significa que la mayoría de las lecturas provendrán de SSD la mayor parte del tiempo, lo que brindará niveles de rendimiento totalmente flash incluso en sistemas híbridos.
Aunque Splunk aún no admite el uso de almacenamiento NAS para depósitos calientes y calientes, el uso de Qumulo con Splunk es una excelente solución para depósitos fríos (donde normalmente se almacena la mayoría de los datos). Cuando los depósitos se mueven del almacenamiento definido para depósitos calientes al clúster de Qumulo para depósitos fríos, todos los datos aterrizan primero en los SSD. Esto hace que la transferencia sea muy rápida. Además, los depósitos fríos todavía están indexados y se pueden buscar. Los datos que se encuentran en los SSD se servirán a velocidades mucho más altas en comparación con los datos en los HDD.
La Plataforma de datos de archivos Qumulo es una base ideal para un entorno de Splunk porque almacena datos de manera más eficiente, es altamente resistente, infinitamente escalable y se ejecuta en las instalaciones o en cualquier nube pública. Además, debido a que los datos en Qumulo están protegidos a nivel de bloque en lugar de a nivel de archivo, cualquier operación de re-protección es rápida y confiable independientemente del tamaño del archivo y está diseñada para no tener un impacto adverso en el rendimiento mientras se ejecuta.
Ventajas de usar Qumulo con Splunk
La mayoría de las implementaciones de Splunk capturan, indexan y entregan petabytes de datos con regularidad, lo que hace que toda la empresa pueda buscarlos. El volumen de datos procesados por Splunk puede crear demandas desafiantes en la infraestructura de almacenamiento de su organización. Trabajando juntos, Qumulo y Splunk han entregado una solución para proporcionar almacenamiento escalable y eficiente para los datos de Splunk, así como integración de API directamente con Splunk. En resumen:
- El sistema de archivos Qumulo puede escalar para manejar miles de millones de archivos y muchos petabytes de datos, todo en un solo espacio de nombres, pero siguen siendo fáciles de administrar.
- La capacidad de un clúster de Qumulo se puede escalar según sea necesario agregando nodos. Esto se puede hacer mientras todo el clúster se está ejecutando sin ninguna interrupción.
- Al agregar capacidad con nodos Qumulo adicionales, la potencia de procesamiento y el rendimiento también aumentarán linealmente.
- Se pueden evitar los cubos congelados porque los datos se pueden almacenar de manera eficiente y rentable en Qumulo en cubos fríos. Los datos en depósitos fríos se pueden buscar. Almacenar más datos de Splunk le permite ejecutar consultas con datos que se han almacenado durante muchos años, en lugar de solo con datos de los últimos meses. Esto proporciona una vista más precisa de las tendencias, además de facilitar la localización de anomalías.
- En lugar de aumentar la RF de Splunk para aumentar la confiabilidad, Qumulo Core protege los datos usando codificación de borrado, que es muy eficiente, en términos de cómo utiliza el espacio en disco.
- Qumulo Proteger incluye servicios de datos que vienen de serie en Qumulo Core y presenta instantáneas y replicación de instantáneas, lo que proporciona un sistema de respaldo capaz.
Splunk como solución SIEM
Si bien este artículo trata sobre el uso de Qumulo como un repositorio de almacenamiento eficiente para cubetas frías en Splunk, vale la pena mencionar que muchos de nuestros clientes también ingresan datos de telemetría de Qumulo en Splunk con fines de auditoría y búsqueda de amenazas, y usan Splunk como su principal evento e información de seguridad. Plataforma de gestión (SIEM). Aprenda cómo hacerlo en este artículo: Registro de auditoría de Qumulo Core con Splunk.
Aquí se describe otro ejemplo de cómo proteger sus datos contra las amenazas cibernéticas en Qumulo con un SIEM basado en la nube: Threat Hunting con Qumulo Audit Logs y Azure Sentinel SIEM
[qumulo_cta id=”268560″]
INFORMACIÓN RELACIONADA
- Historia relacionada: Cómo detectar ransomware
- Ficha de datos: Una plataforma de datos eficiente y altamente escalable para Splunk
- Página de solución: Almacenamiento Splunk diseñado para datos masivos
