NPR은 최근 캘리포니아 과학자들이 XNUMX리터의 바닷물에 대해 DNA 테스트를 수행하여 주의 보호된 수역에서 해양 인구를 계산하는 매혹적인 새로운 방법에 대해 보고했습니다. 해양 인구 조사를 수행하는 오래된 방법은 다이버가 방수 클립보드에 물고기와 기타 야생 동물의 수를 기록하는 것이었습니다. 새로운 방법은 게놈 시퀀싱을 사용하여 해양 생물이 남긴 DNA를 감지하고 해당 지역에 어떤 종이 있었는지 확인합니다.
이 이야기는 대규모 데이터 문제에 대한 기존의 "멍청한" 접근 방식이 기술 덕분에 근본적으로 더 통찰력 있고 효율적이며 비용 효율적인 방식으로 데이터 가치를 실현하는 새로운 방법으로 대체된 생생한 예입니다.
유사하게 극적인 변화가 빅 데이터 스토리지.
빅 데이터 스토리지의 진화: 간략한 역사
수십 년 동안 스토리지는 본질적으로 데이터를 버리는 장소에 불과했습니다. 90년대에는 트랜잭션이 많은 데이터를 위한 블록 스토리지와 비정형 및 부서 데이터를 위한 파일 스토리지가 있었습니다. 네트워크 연결 스토리지가 등장하여 성능과 확장성이 향상되었습니다. NAS 스케일 아웃 파일 스토리지가 웹 스케일 요구 사항에 필요한 용량을 따라가지 못하자 오브젝트 스토리지와 플래시가 대중화되었습니다.
그러나 이러한 모든 발전에도 불구하고 엔터프라이즈 스토리지는 고객의 요구 사항을 충족할 수 있는 성능 수준을 제공하는 데 어려움을 겪고 있습니다. 빅 데이터 과 AI 워크로드. 그리고 조직에 대한 기본적인 질문에 답할 수 없었습니다. 내가 실제로 가지고 있는 것은 무엇입니까? 나의 퍼포먼스는 지금 어디로 가고 있는가? 지난 XNUMX개월 동안 성장을 주도한 요인은 무엇입니까? 향후 XNUMX개월 동안 성장을 주도할 요인은 무엇입니까?
Qumulo가 600명 이상의 스토리지 관리자, 구매자 및 사용자를 대상으로 실시한 인터뷰에서 우리는 두 가지 문제가 가장 밤을 지새도록 한다는 사실을 발견했습니다. 바로 데이터 증가를 관리하는 방법과 이 모든 데이터에 대한 이해 부족입니다.
이것이 실시간 분석이 고객이 Qumulo Core에서 얻는 주요 이점 중 하나인 이유입니다. 실시간 파일 시스템 통찰력을 소프트웨어 전용 스케일 아웃 NAS에 직접 구축하는 세계 최초이자 유일한 솔루션인 Qumulo Core는 실시간 용량 및 성능 분석.
파일 시스템 성능에 영향을 주지 않고 수십억 개의 파일 관리
방대한 규모(수십 개)의 메타데이터를 집계하는 실시간 분석 제공 수십억 개의 파일 그리고 많은 페타바이트의 스토리지), Qumulo Core는 이전에 미스터리였던 것, 즉 성장이 무엇인지, 성능이 어디로 가고 있는지, 시간이 지남에 따라 스토리지 공간이 어떻게 보이는지 해독합니다.
기존 파일 시스템의 문제는 트리 워크, 메타데이터 스캔 및 파일 시스템 조회와 같이 저장된 데이터에 대한 세부 정보를 이해하기 위한 수동 또는 자동 프로세스가 시간이 많이 걸리고 성능에 큰 영향을 미칠 수 있다는 것입니다. Qumulo는 플래시 우선 하이브리드 설계의 일부로 플래시 계층을 활용하고 파일 시스템 성능에 영향을 주지 않고 실시간으로 파일 메타데이터 분석을 업데이트합니다.
파일 스토리지에서 실시간 분석의 진화
실시간 메트릭은 기존 스토리지 시스템에서 얻기가 놀라울 정도로 어렵습니다. 파일 시스템이 수십 년 전에 설계되었을 때 디스크 사용량 및 기타 분석 데이터를 얻기 위해 디렉토리를 탐색하고 수천 개의 파일을 "통계"하기만 하면 되었습니다. 이것은 비교적 빨리 달성할 수 있습니다. 결국 스케일 아웃 파일 시스템이 등장했고 통계에 수억 개의 파일이 있어 문제가 발생했습니다.
분석 데이터를 얻기 위해 파일(HDD 기반 파일에 일반적임)을 지정하는 데 5ms가 걸린다고 가정합니다. 백만 개의 파일이 있는 경우 디렉토리를 탐색하는 데 1.4시간이 걸립니다. 57.8억 개의 파일이 있는 경우 XNUMX일이 걸립니다. 프로세스 속도를 높이기 위해 다양한 기술이 고안되었지만 여기에는 문제가 있습니다. 기본적인 문제는 기존 파일 시스템과 POSIX 명령이 오늘날의 파일 시스템에 저장되어 있는 엄청난 수의 파일을 처리하도록 설계되지 않았다는 것입니다.
"파일 시스템의 파일이 얼마나 많은 공간을 소비하는지 확인하는 가장 사소한 작업 중 하나라도 XNUMX세대 파일 시스템에서는 답하기가 매우 복잡합니다." 타네자 그룹 말한다. "XNUMX세대 파일 시스템은 스토리지 인식이 아니라 데이터 인식이 가능하도록 설계해야 합니다."
실시간 분석을 통해 파일 시스템 스토리지를 현대화하는 Qumulo
Qumulo Core의 실시간 분석은 기업이 사용 패턴과 성능 및 용량에 영향을 미치는 사용자 또는 워크로드를 설명하여 데이터 풋프린트에 대한 즉각적인 답변을 얻을 수 있도록 도와줍니다.
Qumulo Core는 QSFS에 의해 구동되며, Qumulo 확장 가능한 파일 시스템 확장 가능한 분석을 파일 시스템 자체에 직접 통합합니다. Qumulo Core는 파일 시스템에 저장된 수백만 및 수십억 개의 파일에 대한 분석을 몇 시간 또는 며칠이 아닌 실시간으로 보고할 수 있습니다.
이는 단순한 이론이 아닙니다. Qumulo 고객은 오늘날 이러한 이점을 누리고 있습니다. 캘리포니아의 과학자들과 마찬가지로 그들은 환경을 더 잘 이해하기 위해 데이터 인식 접근 방식을 사용하는 놀라운 이점을 보고 있습니다.
