Qumuloによるストレージ効率
Qumuloがストレージシステムの使用可能容量を教えてくれるとき、それはまさにそれを意味します：これはファイルを保存するために使用できる容量です。 簡単そうに見えますが、これは多くの競合他社ができない発言です。 実際、従来のデータ保護方法の非効率性と完全な使用に伴うパフォーマンスの問題を考慮に入れると、ほとんどのストレージベンダーは、容量の30％を未使用のままにしておくことになります。 すべてのデータをすぐに利用できる世界では、これは大きな欠点です。
Qumuloを使用すると、パフォーマンスやデータ保護を犠牲にすることなく、ペタバイト規模であっても、ファイルの使用可能なすべての容量に依存できるようになる方法について説明します。 これは、保存するファイルの数や、ファイルの大きさや小ささに関係なく当てはまります。 実際、大きなファイルと同じくらい効率的に何十億もの小さなファイルを保存できます。 それはあなたのストレージです—あなたはあなたのビジネスが要求するどんな方法でもそれを使うことができます、そしてあなたは使うことができます それのすべて。 結局のところ、ストレージ管理は、「使用可能な容量」が実際に本来あるべきことを意味するのかどうか疑問に思うことなく、十分に困難な場合があります。
無駄な容量のためにレガシースケールアウトストレージソリューションが構築される理由
Qumuloと従来のストレージベンダーの違いは、データ保護、小さなファイルストレージ、および再構築操作へのアプローチの根本的な違いに起因して、深く根付いています。 これらについてXNUMXつずつ説明します。
従来のデータ保護：非常に非効率的なものからわずかに非効率的なものまで
データ保護は明らかに交渉の余地がありません。 すべてのエンタープライズグレードのファイルストレージシステムは、ディスクに障害が発生した場合のデータ損失を防ぐように設計されており、ストレージデバイス間での何らかの形式の冗長性または情報の重複に依存しています。 ただし、使用されるアプローチでは、保存されるデータの量を使用される合計ディスク容量で割ったものとして定義される、データ保護の効率に大きな違いが生じます。
ミラーリング、データ保護の最も基本的な形式は、保護されているデータのXNUMXつ以上の完全なコピーの作成に基づいています。 各コピーは異なるディスクに存在するため、ディスクのXNUMXつに障害が発生した場合でも回復できます。 これはリカバリの観点からは効果的ですが、非常に非効率的であり、ファイルストレージに使用できる容量を半分に削減します。
最大3つの同時ドライブ障害から保護するためにデータのXNUMXつのコピーを保持するダブルミラーリングは、リカバリの目的ではるかに効果的ですが、ファイルに使用できない「使用可能な」容量のXNUMX分のXNUMXを残すため、はるかに非効率的です。 この場合、XNUMXドライブ保護のミラーリングには、TBのファイルデータを格納するためにXNUMXTBのraw容量が必要です。
ペタバイト規模では、実際にファイルを保存するために使用できないストレージに予算のXNUMX分のXNUMXを浪費しないように、ミラーリングをできるだけ回避することが明らかに望ましいです。
イレイジャーコーディング （EC） は、ミラーリングよりも効率的で、より高速で構成可能なデータ保護の最もよく知られた代替手段です。 ECの主な利点は、ECが提供する柔軟性です。 管理者は、パフォーマンス、物理メディアに障害が発生した場合の回復時間、および許容される同時障害の数の適切なバランスをとる方法を決定できます。
ECは、ファイルレベルではなくブロックレベルで機能するため、データボリューム全体の3対2のコピーを作成しなくても、データを効果的に保護できます。 代わりに、ブロックデータは部分的に冗長なセグメントにエンコードされ、別々の物理メディアに保存されます。 （XNUMX、XNUMX）エンコーディングとして知られる最も単純な例では、XNUMXつのストレージブロックを使用して、ユーザーデータのXNUMXつのブロックを安全にエンコードします。 「パリティブロック」と呼ばれるXNUMX番目のブロックは、リカバリに使用されます。
パリティブロックの内容は、イレイジャーコーディングアルゴリズムによって計算されます。 この単純なスキームでさえ、ミラーリングよりも効率的です。3つのデータブロックごとに2つのパリティブロックのみを書き込んでいます。 （1、2）エンコーディングでは、XNUMXつのブロックのいずれかを含むディスクに障害が発生した場合、ブロックXNUMXとXNUMXのユーザーデータは安全です。
仕組みは次のとおりです。 データブロック1が使用可能な場合は、それを読み取るだけです。 データブロック2についても同じことが言えます。ただし、データブロック1が失われた場合、ECシステムはデータブロック2とパリティブロックを読み取り、データブロック1の値を再構築します。同様に、データブロック2が故障したディスク、システムはデータブロック1とパリティブロックを読み取ります。
（3、2）エンコーディングの効率は67％です。つまり、使用可能なストレージの6分の4をユーザーデータに使用し、残りの67分の3をデータ保護に使用できます。 ディスクを追加すると、保護レベルを向上させることができます。 たとえば、（2、6）と同じ4％の効率を持つ（3、2）エンコーディングは、XNUMXつではなくXNUMXつのディスク障害に耐えることができます。 つまり、XNUMXつのディスクに同時に障害が発生した場合でも、システムはダウンタイムやデータの損失なしに動作できます。 効率を低下させない追加の保護は、無料の昼食ではありません。（XNUMX、XNUMX）エンコードされたデータを回復するプロセスは、（XNUMX、XNUMX）エンコードの場合よりも多くの作業を必要とします。つまり、再構築時間が長くなります。 。
エンタープライズグレードのストレージでは、ECは非常に高い効率を提供できます。 たとえば、（16、14）エンコーディングの効率は約85％ですが、データを失うことなく、最大XNUMXつのドライブ障害を同時に発生させることができます。
この時点で、特にミラーリングを使用した85ドライブ保護の33％の効率と比較すると、その1％のストレージ効率はかなり良好に見える可能性があります。 約1.2PBのファイルを保存する必要がある場合は、XNUMXPBのraw容量でカバーできますよね？ 必ずしも。 繰り返しになりますが、数字の背後にある現実は、見た目ほど明確ではありません。
小さなファイルストレージ：レガシーベンダーが使用可能な容量を十分に活用できない別の方法
ストレージベンダーは、イレイジャーコーディングパリティビットを許可した後に残っているすべてのものとして使用可能な容量を報告する場合がありますが、実際にこのすべてのスペースを使用できるとは限りません。 従来のスケールアウトストレージシステムは、小さなファイルに関してはあまりうまく機能しないことがわかりました。 小さな意味では、128KB未満のものを意味します。
これには単純な理由があります。 従来のストレージシステムは、128KB未満のファイルをミラーリング（またはダブルミラーリング、さらにはトリプルミラーリング）するように強制する数十年前の設計に基づいています。 ミラーリングの非効率性についてはすでに説明しましたが、ECデータ保護でも問題になる可能性があることがわかりました。 最悪の部分は次のとおりです。このミラーリングに必要なスペースは、ベンダーから報告された使用可能容量から差し引かれます。 それは、サンドイッチを購入し、それを開封したときに大きな一口が欠けていることを発見するようなものです。
その欠けている一口はどれくらいの大きさですか？ それは別の問題です：あなたには知る方法がありません。 書き込む予定の各ファイルの正確なサイズを事前に決定して、その128KBのしきい値を下回るファイルの数を確認する必要があり、それを予測する方法はありません。 その結果、実際に使用可能な容量がどれだけあるか、またはいつなくなるかを知ることは不可能です。 代わりに、カバーされていることを確認するためにオーバープロビジョニングする必要があります。 つまり、ここでは実際にXNUMXつの方法でお金を浪費していることになります。XNUMXつは、小さなファイルストレージの癖によって失われる「使用可能な」容量のためであり、XNUMXつは、クッションとして購入する追加の容量のためです。
これは、データ集約型のビジネスを運営する方法ではありません。
再構築操作：ディスクリカバリの隠れたコスト
従来のストレージベンダーには、約束された使用可能容量を取り戻すためのもう80つの方法があるかもしれません。 多くのシステムは、ディスク障害からの回復中に再構築操作のためにストレージ容量を消費します。これに使用できる十分な容量がない場合、システムは回復を完了するのに苦労します。 このため、ほとんどのベンダーは、使用率を約束した使用可能容量のXNUMX％に制限することを推奨しています。 繰り返しになりますが、これはベンダーの「使用可能」という言葉の定義に疑問を投げかけます。
Qumuloの違い：使用可能容量とは使用可能容量を意味します
Qumuloは別の種類のファイルストレージ会社です。 使用可能な容量とは、ファイルを保存するために信頼できるスペースの量を意味すると考えています。 Qumuloの 最新のスケーラブルなファイルシステム、ファイルに使用可能な容量の100％を使用できます。 これが理由です。
よりスマートなブロックレベルのデータ保護
従来のストレージベンダーは効率の段階的な改善に重点を置いていますが、Qumuloは根本的に異なるアプローチで業界を混乱させてきました。 他の人のようにファイルレベルでデータを保護する代わりに、Qumuloは ブロックレベル、大きなファイルの使用容量を通常20％向上させることができます。 そして、小さなファイルが登場すると、その数字はXNUMX倍になります。
高効率のスモールファイルストレージ
小さなファイルを管理する場合、ブロックレベルの保護により、ファイルベースの保護を最大40％超えるストレージ効率が実現します。 これは、通常、多数の小さなファイルの形式で提供されるマシン生成データの時代に特に役立ちます。
これは、実際の企業顧客（Qumuloに来る前）の例です。
この顧客は、約30万の小さなファイルをレガシーストレージクラスターからQumuloクラスターに移行しました。 左側のダイアログボックスには、これらのファイルがレガシーベンダーのシステムで占有していたスペースの量が表示されます。これは小さなファイルを反映しています。 右側のボックスは、ファイルがQumuloクラスターで占めるスペースの量を示しています。 ご覧のとおり、レガシーベンダーのシステムでは、同じファイルを保存するために33.2倍以上のスペースが必要でした。これは、9.33TBのファイルデータに対して9.49TBの使用可能容量です。 Qumuloクラスターでは、XNUMXTBしかかかりませんでした。
それはもっと似ています。
実際、Qumuloでは、大きなファイルと小さなファイルでストレージ効率に違いはありません。
これにより、必要なストレージの量を簡単に見積もることができます。 ワークロード内の大小のファイルの組み合わせの複雑な見積もりに取り組み、それらがマークからそれほど離れていないことを期待する代わりに、WebUIを見て利用可能なスペースを確認することができます。 保存されたファイルは、サイズの大小に関係なく、同じ量のスペースを使用します。
使用可能な容量を無駄にしない操作を再構築します
Qumuloを使用すると、再構築などの管理タスクに使用可能な容量を確保する必要がありません。 代わりに、システムは、使用可能な容量を報告する前に、必要なスペースを確保します。 つまり、システムが100％満杯の場合でも、空き領域を監視しなくても、ドライブの障害から回復できます。 Qumuloは、従来のRAIDよりも高速な再構築も提供し、ドライブ障害後のパフォーマンスホットスポットを導入しません。
100％の使用率でのピークパフォーマンス
使用率とパフォーマンスの間のトレードオフは、ストレージ管理者にはあまりにも馴染み深いものです。 多くのスケールアップシステム、 RAIDベースのシステム、およびより一般的なオープンソースファイルシステムのいくつかは、ファイルシステムがいっぱいになるとパフォーマンスが低下します。 パフォーマンスの問題を回避するために、使用可能な容量の70％未満にとどまる必要があります。 使用率とパフォーマンスのどちらかを選択する必要はありませんが、多くのベンダーがそれを採用しています。
他のいくつかのシステムとは異なり、Qumuloのパフォーマンスはシステムがいっぱいになっても低下しません。 容量の30％を予約しておく代わりに、100％を使用して、パフォーマンスに影響を与えることなく数十億のファイルを保存できます。
Qumuloがデータにとって何を意味するか
総じて、効率のメリットを組み合わせると、一般的なQumuloの顧客は、他のファイルシステムよりも25％少ないraw容量で同じ量のユーザーデータを保存できます。
その高い効率は、データ集約型のビジネスにとって重要な利点によって補完されます。
- ディスクドライブに障害が発生した場合の再構築時間の短縮
- 再構築操作中に通常のファイル操作を続行する機能
- 通常のファイル書き込みと再構築書き込みの間の競合によるパフォーマンスの低下はありません
- 小さいファイルと大きいファイルの同等のストレージ効率
- 使用可能スペースの正確なレポート
- Qumuloクラスターを数百のノードに拡張できる効率的なトランザクション
- アーカイブ価格でフラッシュパフォーマンスを提供するホット/コールドデータの組み込み階層化。
データは重要すぎて、古いレガシーストレージ方式、または「使用可能な容量」の概念を理解していないベンダーに任せることはできません。 Qumuloは、デジタル時代のデータ操作に必要な透明性、予測可能性、およびパフォーマンスを提供します。