AWS EBSsc1で費用効果の高いエンタープライズストレージを取得する方法

AWS EBSsc1を本番ワークロード用の強力なストレージメディアに変える方法をご覧ください。

2020年の初めに、Qumuloのクラウドにさらに多くのファイルデータを保存したいというお客様からのフィードバックを受け取りましたが、AWS EBS st1インフラストラクチャのコストは50TB程度を超えると爆発的に増加しました。 ソリューションのコストを分析し、さまざまな角度から見て、容量を拡大すると、コストはEBSによって支配されていました。 その年の後半に、さらにテストを行い、製品が高遅延ディスクを処理する方法にいくつかの変更を加えた後、価格を下げる構成を提供することができました。 最大70％。 どうやってそれをしましたか？

まず、いくつかの背景。 

AWSでのQumulo SSDにはEBSgp2ボリュームを使用し、HDDにはst1ボリュームを使用します

　 Qumuloファイルデータプラットフォーム は、クラスター内の同じように構成された複数のノードで実行される高可用性分散ファイルシステムです。 クラスター内のすべてのノードは同等の参加者であり、Qumuloシステム上のデータにアクセスする必要がある他のマシンまたはユーザーは、どのノードからでもアクセスできます。すべてのノードでまったく同じ状態が表示されます。 

これにより、接続された数千のクライアントにサービスを提供するように拡張でき、一部の構成では1万IOPSおよび数十GB /秒を超えることができます。 データはEBSボリュームの損失から保護され（EBSは0.1％〜0.2％の年間障害率をアドバタイズします）、ノードが再起動または一時的に（つまりメンテナンスのために）シャットダウンされた場合でもアクセスできます。

QumuloのXNUMXつの主要な動作モードはすべてSSDです。つまり、データはSSDから書き込まれ、読み取られ、他の場所に移動されることはありません。 これは、ビデオの編集、再生、レンダリングなどに一貫した低遅延を提供するように設計された単一層プラットフォームと考えてください。 また、永続キャッシュとして機能するSSDの薄層で構成されるXNUMX層モードもあり、「ストレージ」は実際には低コストのHDDの大規模なバンクによって支えられています。 これは、お客様にとってより費用効果の高いものにすることに重点を置いた構成でした。

AWS製品は、SSDにEBS gp2ボリュームを使用し、HDDにst1ボリュームを使用します。 Qumuloクラスターの容量を50TBから100TB、200TB、400TBに増やすと、st1のコストがソリューション全体のコストを支配し始めます。 そして、それは本当に速く高価になります。 （関連している： 高性能データ戦略のコストを予算化および管理する方法)

AWS EBSについて何か知っているなら、AWSにはsc1と呼ばれる別のより安価なクラスのHDDがあることに気付くかもしれません。 それは次のように宣伝されています： 「これら（sc1）は、I / Oサイズが大きく、パフォーマンス属性がスループット（MiB / s）である、大規模でコールドなデータセットを使用する、アクセス頻度の低いワークロードに最適です。」

Qumuloは早い段階でsc1を試しましたが、厄介なデータを見ました。 レイテンシーははるかに高く、コストはパフォーマンスの違いを反映していないようでした。 

1年初頭のIOレイテンシsc1とst2020のパフォーマンステスト

さらに、ネットワークに接続されているEBSのIO遅延オーバーヘッドがパフォーマンスに影響を与えることはすでにわかっていました。 私たちのソフトウェアを使用したいくつかの事例テストも、有望に見えませんでした。 sc1は、リスクが高すぎて顧客に提案できないものとして表にまとめました。 当時。

お客様は、AWS EBSsc1で費用効果の高いエンタープライズストレージを望んでいます

昨年末、Qumuloは、システムのパフォーマンスを調整するために、長くて高価な開発サイクルを複数回費やした後、再び目を向けました。 そして、特にsc1を要求する顧客がいたので、私たちは言いました。 さて、もう一度試してみましょう。 いくつかのテストを行い、調整する必要のあるコードのボトルネックを見つけてから、ベンチマークを開始して、どこに着地したかを把握しました。

嬉しい驚きでした。

バッキングとしてsc1を使用するクラスターでの最大マルチストリームパフォーマンスは一致し、st1を実行している同等のクラスターのパフォーマンスを超える場合がありました。 これはすべてのワークロードで常に発生するとは限りませんが、エンタープライズファイルシステムで費用効果の高いストレージ階層を使用することの影響を隠すために、当社のテクノロジーがどこまで進んだかを示しています。

エンタープライズファイルシステムの費用効果の高い階層

 1年のsc1とst2021のサンプル

上記の表の値は、情報提供のみを目的として提供されており、4ノードクラスターとm5.12xlargeインスタンスで実行された単一のマルチストリームテストQumuloを表しています。 価格は、企業の契約や希望する展開地域によって異なります。 パフォーマンスは、ネットワークレイテンシ、インスタンスタイプ、およびノー​​ド数によって異なります。

今日、これはどのように可能ですか？ 

Qumuloは創業以来、製品の最適化とパフォーマンスの向上に注力してきました。 当社のソフトウェア定義ソリューションでは、プルする唯一の手段は、ソフトウェアをよりスマートに、より良く、より速くすることです。 これは不利に思えるかもしれませんが（なぜ独自のハードウェアをごまかすだけではないのですか？）、利点は、オンプレミスだけでなく、あらゆる場所でこの価値と労力を得ることができることです。

Qumuloでの最適化とは、次のことを意味します。

1. 常にフラッシュに書き込み、終止符。 データを書き込むためのホットパスに低速のHDDを使用することはありません。
2. 常にすべてのデータをキャッシュする 同じデータをすぐに要求した場合に備えて、メモリに書き込むこともできます。ディスクを読み取ったり、他のノードに同じデータを要求したりする必要はありません。
3. データをバックグラウンドでHDDに移動する、見えない、気にしない、必要に応じて、自動的に。 これは、より安価なストレージへの自動階層化と考えてください。 私たちは常に最も冷たいデータを移動し、これはファイルシステムの下でブロックレベルで行います。 したがって、Linuxファイルコマンドを繰り返し実行し、ファイルの最初の4KBのみを読み取る場合、最初のブロックはホットとして扱われ、ファイルの残りの部分はホットではないものとして扱われます。 これにより、SSDキャッシュを最大限に活用できます。
4. キャッシュにないデータをリクエストする場合はSSDを試してください。 SSDにない場合は、HDDから読み取りますが、ファイル内の次のブロックのプリフェッチも開始するため、まだ要求していない場合は、すでにメモリキャッシュにあります。 どうして？ あなたがそれを求める前にあなたをそれに打ち負かすこと。 これにより、プリフェッチャーによってマスクされるため、HDDからの読み取りが高速に見えるようになります。 ディレクトリ内のファイルを順番に読み取る場合にも、これを行います。
5. HDDから数回読み取ったブロックをSSDに戻します。 どうして？ あなたがそのデータを求め続けるつもりなら、それをより遅い媒体に保持する理由はありません。 私たちはあなたのためにそれを自動的に宣伝します–調整やポリシーは必要ありません。
6. ブロック割り当てシステムを最適化する アドレスがデータを書き込むのを待つ時間がないようにします。
7. コードスタックのほぼ全体を所有する データ構造やアルゴリズムに至るまで、製品のすべてに対応します。 誰のビジネスのように悪いキャッシュラインにぶつかっている悪いソートやハッシュマップを調整することができます。 NFSとSMBの実装を最初から作成し、スタック内のすべてを上から下に調整することもできます。
8. 完全にユーザースペースで実行、カーネルコンテキストの切り替えを回避するための独自のタスクスケジューラを用意し、非同期IOを介してすべてを実行します。

AWS EBSsc1を本番ワークロード用の強力なストレージメディアに変える

Qumuloのファイルデータプラットフォームのようなスケールアウトストレージシステムの構築には時間がかかります。 しかし、これを行うことの価値は示しています。 Amazonが「アクティブワークロード」に推奨していないEBSボリュームタイプであるsc1を、本番ワークロード用の強力なストレージメディアに効果的に変換します。 で GiB-月あたり$ 0.015、最も安いS3はGiB-月あたり$ 0.021で、EBS sc1は実際にはS28標準より3％少なく、これは単なるストレージです。 S3は、ストレージに加えてAPI呼び出しに対して課金します。

さらに詳しく

• コストを削減し、柔軟性を得る AWSでQumuloCloudQを使用
• Qumulo on AWS：M＆Eクリエイティブスタジオ向けのビデオクラウドサービス

AWSでQumuloを使用する方法

• QumuloのスケールアウトファイルシステムがAWSでユニークな理由は何ですか？ （パート1）
• S3バケットとQumuloクラスター間でオブジェクトをコピーする方法 （パート2）
• Qumulo Shiftを試乗してください！ データをAmazonS3に移動する