Qumulo의 기본 제공 데이터 분석이 Splunk 배포의 효율성 및 사용에 대한 자세한 정보를 제공하는 방법을 알아보십시오.
Splunk 란 무엇입니까?
Splunk는 최고의 데이터 분석 플랫폼입니다. 다양한 유형의 로그 및 기계 생성 데이터를 수집하고 매우 큰 데이터 세트에 대한 시각화, 인덱싱, 분석 및 생성을 수행합니다. 스플 렁크 과거 및 실시간 데이터 분석을 모두 제공하고 머신 러닝(ML) 라이브러리와 다양한 유형의 소프트웨어 개발자 키트(SDK)를 포함한 대규모 에코시스템을 개발했습니다.
Splunk는 확장 가능합니까?
Splunk는 Qumulo와 마찬가지로 확장성이 뛰어나므로 Qumulo는 Splunk 솔루션 실행에 이상적인 플랫폼입니다.
Qumulo의 파일 시스템은 Splunk 데이터 플랫폼을 보완하여 Splunk 데이터 스토리지 효율성을 최적화합니다. 이 문서는 Qumulo Core의 실시간 데이터 분석을 사용하여 파일 수준에서 Splunk 리포지토리를 이해하는 데 도움이 되고 Qumulo 파일 시스템이 다음과 같이 도움이 되는 방법을 설명합니다.
- Splunk 데이터용 단일 스토리지 네임스페이스를 사용하여 스토리지 사일로 제거
- 선형 확장 스토리지 아키텍처로 투명한 용량 및 IO 확장 달성
- 프로그래밍 가능한 REST API를 통해 Splunk 환경 사용자 지정
- 순차 쓰기 인덱스, 랜덤 검색, 핫, 웜, 콜드 데이터 모두에 대해 스토리지 인프라 최적화
Splunk 아키텍처의 구성 요소는 무엇입니까?
Splunk 구현의 세 가지 주요 구성 요소는 다음과 같습니다. 포워더, 인덱서 및 검색 헤드.
Splunk 포워더
전달자는 일반적으로 Splunk가 모니터링하는 장치에서 실행되는 소프트웨어 에이전트입니다. 이러한 시스템의 로그 스트림을 Splunk 인덱서로 전달합니다.
Splunk 인덱서
인덱서는 Splunk 아키텍처의 핵심입니다. 실시간으로 로그 데이터를 구문 분석하고 인덱싱합니다.
Splunk 검색 헤드
검색 헤드는 사용자가 데이터 쿼리, 보고서 작성 및 데이터 시각화에 연결하는 별도의 서버입니다. 소규모 환경에서는 인덱서와 검색 헤드가 동일한 서버에서 실행될 수 있습니다.
Splunk 아키텍처 다이어그램
이 Splunk 아키텍처 다이어그램은 위에서 설명한 세 가지 기본 구성 요소를 고려하여 Splunk가 처음부터 끝까지 어떻게 작동하는지 보여줍니다. 다이어그램은 포워더가 인덱서로 데이터를 보내는 반면 헤드는 인덱서에서 해당 데이터를 검색하기 위해 사용자 요청을 보냅니다. 데이터 자체는 다이어그램에 표시된 빨간색, 노란색 및 파란색 컨테이너로 표시된 연령별로 구성된 디렉토리 세트에 저장됩니다. 이러한 디렉토리는 핫(H), 웜(W) 및 콜드(C) 버킷으로 알려져 있으며, 이에 대해서는 다음 섹션에서 설명합니다.
Splunk 버킷
위의 Splunk 아키텍처 다이어그램에서 볼 수 있듯이 Splunk의 데이터는 버킷에 저장 데이터의 연령별로 정리:
핫 버킷
핫 버킷은 처음 인덱싱될 때 데이터를 저장합니다. 미리 정의된 임계값에 도달할 때까지 hot 버킷에 쓸 수 있습니다. 그런 다음 hot 버킷이 닫히고 데이터가 warm 버킷으로 이동됩니다.
따뜻한 양동이
웜 버킷에는 인덱싱되고 검색 가능한 데이터가 포함됩니다. 데이터는 여전히 warm 버킷에 기록될 수 있습니다. warm 버킷 용량 임계값에 도달하면 warm 버킷의 오래된 데이터가 cold 버킷으로 이동됩니다.
콜드 버킷
콜드 버킷은 대부분의 경우 대부분의 데이터를 보유합니다. Cold 버킷은 읽기 전용이지만 여전히 인덱스에 있습니다. 따라서 콜드 버킷은 모든 검색 결과, 보고서 등에 나타납니다.
냉동 양동이
동결된 버킷은 더 이상 인덱싱되지 않는 장기 아카이브입니다. 동결된 버킷은 보관 목적으로 오래된 데이터를 저장하기 위한 것입니다. 검색, 분석 또는 보고에 사용할 수 없습니다.
해동된 양동이
해동된 버킷은 아카이브에서 복원됩니다. 동결된 버킷이 아카이브되면 나중에 해동되어 인덱스로 반환될 수 있습니다.
Qumulo는 Splunk 환경을 위한 확장성이 뛰어난 스토리지의 효율성을 향상시킵니다.
Splunk는 다음을 사용할 수 있습니다. 직접 연결 스토리지 모든 버킷 유형에 대한 (DAS). 그러나 이러한 유형의 구성은 DAS 스토리지가 관리하기 복잡하고 용량이 증가함에 따라 복잡성이 증가하기 때문에 상대적으로 비효율적입니다. JBOD를 사용하든 RAID 어레이를 사용하든 두 경우 모두 상당한 관리 오버헤드가 있습니다. 또한 기존 RAID 어레이는 재구축 시간이 매우 길어 데이터 손실 위험이 증가한다는 점을 고려하십시오. 일반적으로 고성능 네트워크 연결 스토리지 (NAS)는 이 문서에서 더 자세히 논의할 더 나은 솔루션입니다.
안정성이 필요한 경우 Splunk 복제 인자(RF)와 검색 인자(SF)를 높일 수 있습니다. RF는 지속할 원시 데이터의 복사본 수를 나타내고 SF는 유지할 인덱스 데이터 복사본 수를 결정합니다. 둘 다 기본값은 XNUMX이지만 이 값은 특정 목표를 달성하기 위해 변경할 수 있습니다. 기본 설정인 XNUMX에서 각 인덱스는 전체 두 번째 복사본을 유지하도록 설정되므로 저장할 데이터의 양이 매우 많을 수 있습니다.
다음 섹션에서는 Qumulo의 실시간 데이터 분석이 파일 데이터 저장의 효율성 및 Splunk 배포 사용. 쿠물로 어웨어 Qumulo Core에서 표준으로 제공되어 실시간 분석을 통해 Splunk 데이터 공간에 대한 즉각적인 가시성을 제공합니다.
Qumulo의 효율적인 하이브리드 클라우드 아키텍처
Qumulo 클러스터는 XNUMX개의 노드로 시작하며 언제든지 노드를 추가하기만 하면 페타바이트 용량까지 확장할 수 있습니다. Qumulo Core는 HPE, Fujitsu, Supermicro 등의 기본 하드웨어에서 최대 성능과 효율성을 추출하도록 최적화되어 있습니다. 모든 NVMe HDD 앞에 SSD가 있는 하이브리드 설계 및 하이브리드. Qumulo Core는 지능적으로 데이터를 SSD에 자동으로 미리 가져오고 캐시합니다. 즉, 대부분의 읽기는 대부분 SSD에서 이루어지며 하이브리드 시스템에서도 올플래시 수준의 성능을 제공합니다.
Splunk는 아직 hot 버킷과 warm 버킷에 대한 NAS 스토리지 사용을 지원하지 않지만 Splunk와 함께 Qumulo를 사용하는 것은 cold 버킷(일반적으로 대부분의 데이터가 저장됨)에 대한 탁월한 솔루션입니다. 버킷이 warm 버킷에 대해 정의된 스토리지에서 cold 버킷에 대해 Qumulo 클러스터로 이동되면 모든 데이터가 먼저 SSD에 저장됩니다. 이것은 전송을 매우 빠르게 만듭니다. 또한 콜드 버킷은 여전히 인덱싱되고 검색할 수 있습니다. SSD에 있는 데이터는 HDD에 있는 데이터에 비해 훨씬 빠른 속도로 제공됩니다.
Qumulo 파일 데이터 플랫폼 데이터를 보다 효율적으로 저장하고, 복원력이 뛰어나고, 무한히 확장 가능하고, 온프레미스 또는 모든 퍼블릭 클라우드에서 실행되기 때문에 Splunk 환경에 이상적인 기반입니다. 또한 Qumulo의 데이터는 파일 수준이 아닌 블록 수준에서 보호되기 때문에 파일 크기에 관계없이 모든 재보호 작업이 빠르고 안정적이며 실행 중 성능에 부정적인 영향을 미치지 않도록 설계되었습니다.
Splunk와 함께 Qumulo를 사용할 때의 이점
대부분의 Splunk 구현은 페타바이트 규모의 데이터를 정기적으로 캡처, 인덱싱 및 제공하여 전체 기업에서 검색할 수 있도록 합니다. Splunk에서 처리하는 데이터의 양은 조직의 스토리지 인프라에 대한 까다로운 요구를 야기할 수 있습니다. Qumulo와 Splunk는 협력하여 Splunk 데이터를 위한 확장 가능하고 효율적인 스토리지를 제공하고 Splunk와 직접 API를 통합하는 솔루션을 제공했습니다. 요약하자면:
- Qumulo 파일 시스템은 다음을 처리하도록 확장할 수 있습니다. 수십억 개의 파일 그리고 페타바이트 규모의 데이터가 모두 단일 네임스페이스에 있으면서도 관리하기 쉽습니다.
- Qumulo 클러스터의 용량은 노드를 추가하여 필요에 따라 확장할 수 있습니다. 이는 전체 클러스터가 중단 없이 실행되는 동안 수행할 수 있습니다.
- Qumulo 노드를 추가하여 용량을 추가하면 처리 능력과 처리량도 선형적으로 증가합니다.
- 데이터를 콜드 버킷의 Qumulo에 효율적이고 비용 효율적으로 저장할 수 있기 때문에 동결된 버킷을 피할 수 있습니다. 콜드 버킷의 데이터는 검색 가능한 상태로 유지됩니다. 더 많은 Splunk 데이터를 저장하면 지난 몇 개월 동안의 데이터뿐만 아니라 수년 동안 저장된 데이터에 대해 쿼리를 실행할 수 있습니다. 이를 통해 추세를 보다 정확하게 볼 수 있을 뿐만 아니라 이상 징후를 더 쉽게 찾아낼 수 있습니다.
- 안정성을 높이기 위해 Splunk의 RF를 높이는 대신 Qumulo Core는 다음을 사용하여 데이터를 보호합니다. 삭제 코딩, 디스크 공간을 사용하는 방식 측면에서 매우 효율적입니다.
- 쿠물로 프로텍트 Qumulo Core에서 표준으로 제공되는 데이터 서비스를 포함하고 스냅샷 및 스냅샷 복제 기능을 제공하여 유능한 백업 시스템을 제공합니다.
SIEM 솔루션으로서의 Splunk
이 기사는 Splunk에서 콜드 버킷을 위한 효율적인 스토리지 리포지토리로 Qumulo를 사용하는 것에 대한 것이지만 많은 고객이 감사 및 위협 추적 목적으로 Qumulo 원격 측정 데이터를 Splunk에 제공하고 Splunk를 주요 보안 정보 및 이벤트로 사용한다는 점을 언급할 가치가 있습니다. 관리(SIEM) 플랫폼. 이 문서에서 방법을 알아보세요. Splunk를 사용한 Qumulo 코어 감사 로깅.
클라우드 기반 SIEM을 사용하여 Qumulo의 사이버 위협으로부터 데이터를 보호하는 방법의 또 다른 예는 다음과 같습니다. Qumulo 감사 로그 및 Azure Sentinel SIEM을 사용한 위협 사냥
[qumulo_cta id=”268560″]
관련 정보
- 관련 이야기 : 랜섬웨어 탐지 방법
- 데이터 시트: Splunk를 위한 효율적이고 확장성이 뛰어난 데이터 플랫폼
- 솔루션 페이지: 대용량 데이터용으로 설계된 Splunk 스토리지
