어둡고 폭풍우가 몰아치는 밤이었다.
전화가 울립니다. 사무실이야.
당신의 마음은 놀라움과 공포로 떨어집니다.
시스템의 스토리지가 완전히 부족합니다...
이것은 많은 스토리지 시스템 관리자에게 악몽 같은 시나리오입니다. 스토리지 요구 사항을 이해하기 위해 최선을 다하고, 필요하다고 생각하는 스토리지를 구매합니다. 예상치 못한 시나리오에 대비할 수 있는 여유를 가질 수 있도록 조금 더(또는 훨씬 더 많이) 구매하지만 여전히 놀라고 스토리지가 부족합니다. .
작은 파일 관리
시스템 관리자를 종종 놀라게 하는 한 가지는 우리가 "소액 파일 세금"이라고 부르는 것입니다. 레거시 스케일 아웃 스토리지 시스템은 작은 파일을 관리할 때 그다지 좋은 역할을 하지 못하는 것으로 나타났습니다. 작게는 128KB 미만을 의미합니다. 작은 파일은 예상되는 스토리지의 XNUMX~XNUMX배를 소비합니다. 파일이 많다면 상당한 부담이 됩니다.
이는 이러한 시스템이 128KB 임계값 아래에서 파일을 미러링(또는 이중 미러링, 때로는 삼중 미러링)하도록 강제하는 수십 년 된 설계를 기반으로 하기 때문입니다. 작은 파일 미러링은 매우 비효율적인 인코딩을 사용할 뿐만 아니라 공급업체가 종종 사용 가능한 용량으로 보고하는 것에서 필요한 공간을 뺍니다. 이전 블로그 게시물에 이에 대한 자세한 내용이 나와 있습니다("내 용량을 100% 사용할 수 있습니까? Qumulo와 함께라면 답은 Yes입니다!").
미러링은 서로 다른 디스크에 있는 보호 대상 데이터의 전체 복사본을 XNUMX~XNUMX개 생성하기 때문에 매우 비효율적입니다. 이는 데이터 보호 측면에서 효과적이지만 이중 미러링의 경우 사용 가능한 스토리지를 절반으로 줄이고 삼중 미러링의 경우 XNUMX/XNUMX로 줄입니다. 테라바이트 규모에서 이것은 매우 비효율적입니다. 페타바이트 규모에서 공급업체가 데이터 보호를 위해 스토리지의 XNUMX/XNUMX에서 XNUMX/XNUMX를 사용하도록 요구한다는 것은 정말 놀랍습니다.
이 악몽을 끝내는 방법이 있습니다.
블록 수준과 파일 수준의 데이터 보호
규모에 따라 단순히 복사본을 만들어 작은 파일을 보호하는 것은 비효율적입니다. Qumulo는 일찍이 이것을 이해했습니다. 우리는 블록 수준과 파일 수준에서 보호하는 근본적으로 다른 데이터 보호 접근 방식을 개발했습니다. 사용자 정의를 사용하여 파일 수준이 아닌 블록 수준에서 작업 삭제 코딩 전체 데이터 볼륨의 일대일 복사본을 생성하지 않고도 데이터를 효과적으로 보호할 수 있습니다.
파일 수준이 아닌 블록에서 작동한다는 것은 각 파일을 개별적으로 보호할 필요가 없다는 것을 의미합니다. 대신 블록 데이터는 별도의 물리적 미디어에 저장되는 부분적으로 중복된 세그먼트로 인코딩됩니다.
작은 파일을 관리할 때 블록 수준 보호는 파일 기반 보호보다 최대 40% 더 높은 스토리지 효율성을 제공합니다. 대용량 파일에서도 효율성이 20% 향상됩니다. 실제로 수십억 개의 작은 파일을 큰 파일만큼 효율적으로 저장할 수 있습니다.
소액 파일 세금(이전 전과 후의 예)
다음은 실제 Qumulo 고객 사이트에서 가져온 소액 신고 세금의 예입니다.
이 고객은 약 30천만 개의 작은 파일을 레거시 스토리지 클러스터에서 Qumulo 클러스터로 마이그레이션했습니다. 왼쪽의 대화 상자(레거시 경쟁 시스템 - 마이그레이션 전)는 작은 파일을 미러링하는 레거시 공급업체 시스템에서 해당 파일이 차지하는 공간의 양을 보여줍니다. 오른쪽의 대화 상자(Qumulo 하이브리드 클라우드 파일 스토리지 - 마이그레이션 후) 파일이 Qumulo 클러스터에서 차지하는 공간의 양을 보여줍니다.
이 실제 예에서 레거시 공급업체의 작은 파일 세금의 결과를 볼 수 있습니다. 이러한 파일을 저장하면 저장된 사용자 파일 바이트의 33.2배 이상 사용 가능한 공간이 소비됩니다! 9.33TB의 파일 데이터를 저장하는 데 9.49TB의 가용 용량이 필요했습니다. Qumulo 클러스터에서는 XNUMXTB만 사용했습니다. Qumulo는 작은 파일 세금을 없애고 작은 파일을 큰 파일만큼 효율적으로 저장합니다.
작은 파일은 데이터 스토리지에 어떤 영향을 미칩니까?
"이 작은 파일 세금이 내 스토리지에 어떤 영향을 미치나요?"
레거시 시스템에서는 작성할 각 파일의 정확한 크기를 미리 알고, 얼마나 많은 파일이 129KB 임계값 아래로 떨어지는지 확인한 다음, 각 파일에 대해 계산하지 않는 한 사용할 스토리지의 양을 말할 수 없습니다. 특히 수십억 개의 파일을 다룰 때 악몽에 대해 이야기하십시오!
결과적으로 실제로 사용 가능한 용량이 얼마나 되는지 또는 언제 소진될지 알 수 없습니다. 대신 보장을 위해 초과 프로비저닝해야 합니다. 이는 실제로 두 가지 방식으로 돈을 낭비하고 있음을 의미합니다. 하나는 소액 신고 세금으로 인해 손실되는 "사용 가능한" 용량에 대한 것이고, 다른 하나는 구매하는 추가 용량에 대한 것입니다.
Qumulo를 사용하면 필요한 스토리지의 양을 훨씬 간단하게 예측할 수 있습니다. 최고를 기대하거나 워크로드에 있는 크고 작은 파일의 혼합에 대한 복잡한 추정과 씨름하고 파일이 목표에서 너무 멀지 않기를 바라는 대신 웹 UI를 보고 사용 가능한 공간이 얼마나 되는지 확인할 수 있습니다. . 저장된 파일은 크든 작든 상관없이 동일한 양의 공간을 차지합니다. "소액 파일 세금"이 없습니다. 놀라움이 없습니다. 과잉 구매는 없습니다. 오버 프로비저닝이 없습니다.
또한 Qumulo는 수십억 개의 파일 수에 대해서도 실시간 성능, 용량 및 사용량을 모니터링하는 기능을 제공합니다. 실시간 분석을 통해 통찰력을 얻고 문제가 발생하기 전에 예방할 수 있습니다. 또한 미래 성장을 효율적으로 계획할 수 있습니다. 관리자는 최신 분석을 통해 문제를 신속하게 찾아내고 스토리지 사용 방식을 효과적으로 제어할 수 있습니다.
스토리지 솔루션 평가
인셀덤 공식 판매점인 데이터 스토리지 솔루션 평가, 작은 파일에 대한 데이터 보호 영향(소형 파일 세금이라고도 함)을 이해해야 합니다. 작은 파일을 미러링하는지 여부와 미러링하는 경우 몇 번인지 묻습니다. 실제로 필요한 것보다 두 배 또는 세 배나 많은 스토리지를 구입할 것인지 이해하십시오.
이제 스토리지 악몽을 끝내십시오. 보유하고 있는 파일의 크기에 관계없이 데이터를 효율적으로 관리하는 파일 스토리지 솔루션을 찾으십시오. Qumulo는 현대 디지털 시대의 데이터 스토리지에 필요한 투명성, 예측 가능성 및 성능을 제공합니다.
