技術概要
Qumulo Core は、高性能ファイル データ プラットフォームです。 仕組みは次のとおりです。
私たちの使命：クリエイターとイノベーターを可能にする
Qumuloでの私たちの目標は、複雑なものを根本的に単純にすることです。 データの保護を簡単にしたいのです。 新しいプラットフォームの採用を簡単にしたい。 要求の厳しいワークフローを（低コストで）簡単に提供できるようにしたいと考えています。 ハイブリッドクラウドをシンプルにしたい。
Qumuloの使命は、データがどこにあっても、イノベーターがデータの力を解き放つのを支援することです。 イノベーターは、データを価値に変換することにより、新しいビジネス、トリートメント、製品、アートを生み出します。 この変換は、共同作業者がデータをキャプチャ、対話、変換、公開、アーカイブするデータライフサイクルを中心に構築されています。 このライフサイクルの中で、「クリエーター」（アーティスト、研究者など）はデジタルデータを使用して作業を行います。 この変革は、いくつかの業界で実際に行われています。
生命科学
科学者は、シーケンサーからキャプチャされたデータを探索して異常を特定し、計算クラスターが生データを完成した発見に変換します。 それらの発見は研究コミュニティに公開され、データがアーカイブされます。
メディア＆エンターテインメント
アーティストは、毎日の撮影からキャプチャされたデータを編集して最初のシーンを作成し、レンダリングパイプラインがそれを完成したフィルムに変換します。 配給業者はその映画をオンライン販売店に公開し、完成したコンテンツはアーカイブされます。
製造とIoT
ログと画像はセンサー（大量、速度、多様性）から生成され、コンポーネントの障害についてリアルタイムで分析されます。 その後、ビジネスアナリストはデータを確認してプロセス改善の機会を探り、データサイエンティストはより優れた機械学習モデルを構築します。 これらのモデルは、生産効率を向上させるために製造ラインに公開され、完成したログと画像がアーカイブされます。
ファイルデータプラットフォームの要件
革新するために、組織は非構造化ファイル データ プラットフォームに依存しています。 これらのプラットフォームは、イノベーションを推進するデータの永続的なストレージを提供します。 データを発見に変える作成者とコンピューティング ファームへの簡単、高速、信頼性の高いアクセスを提供します。 イノベーターは、非構造化データ プラットフォームに次のことを要求します。
クラウドに対応する
プラットフォームは、パブリック、プライベート、およびハイブリッドクラウドインフラストラクチャ用に構築する必要があり、パブリッククラウドとデータセンターで非構造化データサービスを提供します。 また、クラウドサービス（機械学習（ML）、パブリッシング、クラウドオブジェクトストレージサービスなど）のエコシステムにシームレスに適合している必要があります。
規模
プラットフォームは、ペタバイトのデータ、数十億のファイル、数百万の操作、および数千のユーザーを提供できなければなりません。
標準ツールを使用する
革新的な組織で最も価値のあるクリエイター（アーティスト、研究者、データサイエンティスト、アナリスト）は、カスタムドライバーをインストールしたり、ワークフローを変更したりすることなく、ツールを使用できる必要があります。
- 可視性と自動化を提供する
管理者は、RESTful APIを使用してデータサービスを作成、管理、および破棄できる必要があります。 問題をより適切に診断し、将来の計画を立てるために、データサービスのパフォーマンスと容量の使用率をリアルタイムで理解できる必要があります。
- 安全でエンタープライズ対応
データは革新的な組織の生命線であるため、業界標準のIDおよび暗号化ツールを使用して保護する必要があります。 データプラットフォームは、ディザスタリカバリ、バックアップ、およびユーザー管理に関する企業の要件を満たす必要があります。
既存のソリューションの課題
イノベーションを推進するためにデータで繁栄している組織は、利用可能な非構造化データプラットフォームによるサービスが不十分です。
オープンソースおよび Windows ベースのファイル データ プラットフォームは拡張性が低く、自動的にプロビジョニングすることが難しく、大幅な管理が必要です。
ハードウェア アプライアンスに基づく従来のファイル データ プラットフォームには、リアルタイムの可視化機能がなく、不完全な API サーフェスが提供され、クラウドに隣接するサービスとしてのハードウェア製品を介してのみパブリック クラウド ワークロードをサポートできます。 NetApp などのスケールアップの亜種は、単一の名前空間を 100 TB を超えて拡張するのに苦労しています。
クラウド オブジェクトおよびファイル サービスは、多くのクラウド イノベーション ワークロードをサポートしていますが、マルチプロトコル ファイル サポートがないことが主な原因で、作成者は標準ツールを使用できません。 さらに、ワークロードをパブリック クラウドに移行するために組織が必要とするセキュリティ機能やエンタープライズ機能の多くが欠けています。
オンプレミス オブジェクト ストアは低コストのデータ ストレージを提供しますが、パフォーマンスが低く、標準のエンド ユーザー ツールがサポートされていないため、データ ライフサイクルの対話型および変革段階には基本的に適していません。
Qumuloのソフトウェアアーキテクチャ
Qumuloは、プライベートクラウドとパブリッククラウド用の非構造化データプラットフォームでクリエイターを支援するために設立されました。
そのプラットフォームをクラウド対応のスケーラブルな製品にパッケージ化し、クリエイターが重要なツールを使用できるようにします。 また、システムの使用状況を管理およびリアルタイムで可視化するための堅牢なAPIを提供し、Fortune500企業のセキュリティおよびデータ保護の要件を満たしています。
このホワイトペーパーの目的は、Qumuloのファイルデータプラットフォームのアーキテクチャの概要を示し、当社の製品がイノベーターとクリエーターに前述のメリットをどのように提供するかを説明することです。 プラットフォームのアーキテクチャ上の差別化と価値を説明するために、ソフトウェアの主要なレイヤーについて説明します。 各レイヤーでは、レイヤーの目的、価値提案の要素をどのように提供するか、そしてその価値を推進するイノベーションについて説明します。
Qumuloファイルデータプラットフォームの基礎
ファイルデータプラットフォームの個々のコンポーネントに飛び込む前に、Qumuloアーキテクチャを理解する上で重要ないくつかの基本的な仮定があります。
1. Qumulo は、単一の名前空間を提供する分散システムを提供します。 Qumulo のファイル データ プラットフォームは、独立したノードのシェアードナッシング クラスターで構成されています。 各ノードは容量とパフォーマンスを提供します。 個々のノードは常に相互に連携し続けます。 すべてのクライアントは、任意のノードに接続し、ネームスペースでの読み取りと書き込みを行うことができます。
2. Qumulo のファイル データ プラットフォームは、規模に合わせて最適化されています。 当社は、製品のあらゆる側面がペタバイトのデータ、数十億のファイル、数百万の操作、数千のユーザーを快適にサポートできることを保証します。
3. Qumulo のファイル データ プラットフォームは可用性が高く、即時整合性が保たれます。 Qumulo の非構造化データ プラットフォームは、クライアントに信頼性の高いサービスを提供しながら、インフラストラクチャ内のコンポーネントの障害に耐えられるように構築されています。 これは、ソフトウェア抽象化、消去コーディング、高度なネットワーク技術、および厳格なテストの使用を通じて行われます。 データが Qumulo のソフトウェアに書き込まれるとき、そのデータが永続ストレージに保存されるまで、サービス、ユーザー、またはコンピューティング ノードへの書き込みは認識されません。 したがって、読み取りは、データの一貫したビューになります (結果的に一貫したモデルとは対照的に)。
4. Qumulo は、パブリック、プライベート、ハイブリッド クラウド向けに構築されたソフトウェアを提供します。 Qumulo のソフトウェアは、それが実行されるプラットフォームについてほとんど仮定を行っていません。 最良のパブリックおよびプライベート クラウド インフラストラクチャを活用するために、基盤となる物理または仮想ハードウェア リソースを抽象化します。 これにより、クラウド プロバイダーやコンポーネント メーカーのエコシステムによって推進されるコンピューティング、ネットワーキング、ストレージ テクノロジーの急速なイノベーションを活用できるようになります。
5. Qumulo ファイル データ プラットフォームは API ファーストです。 Qumulo によって構築されたすべての機能は、最初に API エンドポイントとして現れます。 次に、それらのエンドポイントの厳選されたセットをコマンド ライン インターフェイス (CLI) とビジュアル インターフェイスで表示します。 これには、システムの作成、データ管理、パフォーマンスと容量の分析、認証、データへのアクセスが含まれます。
6. Qumulo は新しいソフトウェアを迅速かつ定期的に出荷します。 ソフトウェアの新しいバージョンは XNUMX 週間ごとにリリースされます。 これにより、顧客のフィードバックに迅速に対応し、製品の継続的な改善を推進し、チームから製品品質のコードを要求することができます。
7. Qumulo のカスタマー サクセス チームは、応答性が高く、つながりがあり、機敏です。 Qumulo の各ファイル データ プラットフォームには、Mission Qontrol クラウドベースの監視サービスを介してリモート監視に接続する機能があります。 当社のカスタマー サクセス チームはそのデータを使用して、インシデントの解決を支援し、製品の使用状況に関する洞察を提供し、システムでコンポーネント障害が発生したときに顧客に警告します。 このインテリジェントなサポートと迅速な製品イノベーションの組み合わせにより、業界をリードする 80 以上の NPS スコアが実現します。
データアクセスと認証
目的
エンタープライズグレードのID制御を確保しながら、標準のアプリケーションとオペレーティングシステムを使用してデータへのアクセスを可能にします。
使い方
当社のデータアクセス層は、作成者が最も一般的に採用しているXNUMXつのファイルアクセスプロトコル（NFS、SMB、およびFTP）をサポートしています。 これらのプロトコルは、Qumuloクラスターの各ノードに独立したスケーラブルなリソースとして存在します。 エンドユーザーには、容量とパフォーマンスを拡張できる単一の名前空間が表示されます。 この名前空間には、Windows、Mac、またはLinuxのコンピューティングデバイス、つまり非構造化データアプリケーションからシームレスにアクセスできます。
当社の認証レイヤーは、Active Directory（AD）とライトウェイトディレクトリアクセスプロトコル（LDAP）のXNUMXつの業界標準IDサービスをサポートしています。 Qumuloのデータサービスは、顧客が管理するこれらのグローバルIDシステムと統合され、コンピューティング、エンドユーザー、およびデータ全体でアクセスを制御できるようにします。 QumuloファイルデータプラットフォームをIDサービスに接続するには、簡単なセットアップが必要であり、複雑で分散したIDサービス構成（エンタープライズプライベートおよびパブリッククラウド環境での一般的な課題）でうまく機能します。
各データアクセスプロトコルは、共通の認証レイヤーを使用して、ファイルデータプラットフォームに保存されているデータとやり取りします。 これにより、ユーザーは同じデータにアクセスしながら、アプリケーション、オペレーティングシステム、および環境間を移動できます。 データがデータライフサイクル（キャプチャから変換、アーカイブまで）を移動するときに、このレイヤーの分離により、重要な柔軟性が提供され、顧客が維持する必要のあるシステムの数が減ります。
イノベーションのポイント
Qumuloのデータアクセスプロトコルにより、ユーザーは、環境を変更することなく、標準のWindows、Mac、またはLinuxオペレーティングシステムと標準のアプリケーションを活用できます。
Qumuloは、同じスケーラブルな名前空間からのステートフル（SMB）とステートレス（NFS）の両方のデータアクセスプロトコルをサポートします。
Qumuloは、高可用性を備えたスケーラブルなシステムでエンタープライズグレードのID管理を可能にします。
管理とプログラマビリティ
目的
アプリケーション所有者がQumuloファイルデータプラットフォームと統合されたソリューションを構築できるようにし、管理者がデータサービスを自動化および管理できるようにします。
使い方
管理およびプログラマビリティレイヤーは、XNUMXつの機能で構成されています。 REST API、コマンドラインインターフェイス（CLI）、およびビジュアルインターフェイス。
REST API
REST APIは、Qumuloデータプラットフォームのすべての機能のスーパーセットです。 APIから、顧客は次のことができます。
- 名前空間を作成します（TerraformまたはCloudFormationテンプレートを使用してクラウド内に）
- システムのすべての側面を構成します（IDサービスや管理ロールなどのセキュリティから、クォータなどのデータ管理、スナップショットポリシーやデータレプリケーションなどのデータ保護、新しい容量の追加まで）
- システムに関する情報を収集します（容量使用率とパフォーマンスホットスポットを含む）
- データへのアクセス（読み取りおよび書き込み操作を含む）
APIは「自己文書化」であり、開発者と管理者が各エンドポイントを簡単に探索できるようにします（出力例を参照してください）。 Qumuloは、Github（https://qumulo.github.io/）でAPIのサンプル使用のコレクションを維持しています。
コマンドラインインターフェイス（CLI）
Qumulo CLIはほとんど（すべてではない）のAPIを提供し、システム管理者に焦点を当てています。 CLIは、Qumuloシステムを操作するためのスクリプト可能な対話方法を提供します。 CLIは、約200の固有のコマンドを提供します（Qumulo Coreバージョン3.0.3以降）。 コマンドの完全なリストは、ナレッジベース（www.care.qumulo.com）にあります。
ビジュアルインターフェイス
Qumuloビジュアルインターフェイスは、Qumuloファイルデータプラットフォームと対話するためのユーザー中心の方法を提供します。 ビジュアルインターフェイスはWebベースのインターフェイスであり、システムから提供され、個別のVMやサービスは必要ありません。 ビジュアルインターフェイスは、ダッシュボード、分析、共有、クラスター、APIとツール、およびサポートのXNUMXつのトップレベルナビゲーションセクションで構成されています。
ダッシュボード
これは、Qumuloビジュアルインターフェイスの「ホームページ」です。 これは、Qumuloファイルデータプラットフォームのアクティビティ、成長、パフォーマンス、および正常性に関する一連の簡単に消化できる洞察を提供します。 ダッシュボードは、使用可能な容量と使用済みの容量（データ、メタデータ、スナップショットを含む）、容量の増加とファイル数の増加、システムの総合的なパフォーマンス、およびワークロードのバランスを視覚化します。
AI開発
このセクションでは、システム管理者に、他のファイルデータプラットフォームでは利用できないシステムの詳細なリアルタイムビューを提供します。 これらの分析は、各ワークロードのパフォーマンス使用率（クライアントまたはデータパスによる）およびシステムの容量の増加に関する可視性と洞察を提供します。これには、ファイルデータプラットフォームのどの部分が期間ごとに増加または縮小しているかのビューも含まれます。お客様は、どのワークロードが容量を消費しているかを把握できます。
分担
このセクションでは、管理者がSMB共有とNFSエクスポートを作成することにより、ユーザーがデータにアクセスできるようにすることができます。 また、管理者はクォータを通じて容量の使用状況を管理できます。 最後に、共有セクションでは、管理者がADおよびLDAPIDサービスへのクラスターの接続を管理します。
クラスタ
このセクションでは、管理者がスナップショットポリシー、継続的なレプリケーションポリシー、ネットワーク、および日時サービスを構成できます。 これにより、システムのノードを確認したり、新しいノードを追加したりできます。
APIとツール
このセクションでは、お客様がQumuloコマンドラインツールをダウンロードして、自己文書化APIを調べることができます。 各エンドポイントを「試して」、サンプルのJSON出力を確認する機能が含まれています。
カスタマーサポート
このセクションでは、お客様がQumulo Instant Upgradeを使用してソフトウェアのアップグレードを実行し、リモートモニタリングに接続し、QumuloのカスタマーサクセスチームがQumuloシステムにリモートで接続することを承認できます。
イノベーションのポイント
Qumulo APIは、Qumuloファイルデータプラットフォームのすべての機能の完全なスーパーセットを提供し、顧客がQumuloのソフトウェアに対して開発し、最新のインフラストラクチャ管理ツールを介してQumuloシステムを完全に管理できるようにします。
Qumuloビジュアルインターフェイスは、Qumuloシステムを管理するためのシンプルな（そして理解しやすい）ツールを提供し、コストと時間の両方の観点からIT支出を削減します。
ダッシュボードと分析のビジュアルインターフェイスは、Qumuloファイルデータプラットフォームに対するリアルタイムで実用的な洞察を提供します。 ユーザーは、Qumuloファイルデータプラットフォームがクリエイターにどの程度役立っているかを理解し、それらのクリエイターのワークロードに関する洞察を提供できます。
データサービス
目的
CIOおよびCSOがデータプラットフォームに期待するエンタープライズグレードのツールを使用して、Qumuloファイルプラットフォームのデータを保護、保護、および管理します。
使い方
データサービスレイヤーは、スナップショット、レプリケーション、クォータ、監査、ロールベースのアクセス制御（RBAC）、およびAmazonS3への移行のXNUMXつの機能で構成されています。
スナップショット
Qumuloファイルデータプラットフォームに保存されたデータは、スナップショットを介して現在の形式と以前のバージョンの両方で表示できます。 これらのスナップショットは、変更が発生したときにのみスペースを消費する独自のアウトオブプレース手法を使用します。 これにより、Qumuloのスナップショットは効率的かつパフォーマンスが高くなります。 スナップショットは、保護する名前空間の部分、スナップショットの頻度、およびスナップショットが保持される期間を明確にするスナップショットポリシーによって制御されます。
スナップショットポリシーは、レプリケーションポリシーとリンクできます。 これにより、スナップショットをXNUMX番目のQumuloファイルデータプラットフォームに複製し、頻繁なスナップショットをXNUMXつのQumuloファイルデータプラットフォームに保持し、頻度の低いスナップショットを別のプラットフォームに保持できます（一般的なエンタープライズデータ損失およびランサムウェア保護戦略）。 管理者はスナップショットを復元でき、個々のファイルはビジュアルインターフェイス/ CLI / APIを介して、またはエンドユーザーがクライアントツール（Windowsの「以前のバージョン」など）を介して直接復元できます。 Qumuloファイルデータプラットフォームのスナップショットの総数の制限は、他のほとんどのシステムよりも高い数万で測定されます。
Replication
レプリケーションにより、ユーザーは複数のQumuloファイルデータプラットフォーム間でデータをコピー、移動、および同期できます。 当社のレプリケーションテクノロジーは、効率的なデータ移動と変更されたデータの詳細な識別というXNUMXつのコア機能を提供します。 Qumuloのレプリケーションは継続的です。つまり、レプリケートされたディレクトリへの新しい変更はすべて識別され、移動され、非同期で、単方向になります。 当社のレプリケーションテクノロジーは、スナップショットを活用して、特定の期間に変更されたファイルリージョンのリストを作成し、暗号化されたデータ転送プロトコルを介してXNUMX番目のQumuloファイルデータプラットフォームに移動します。 変更されたファイルのリストは、サードパーティのISVがQumuloをデータバックアップシステムに統合するために使用する独自のAPIエンドポイントとして利用できます。 Qumuloのレプリケーションは、オンプレミスからクラウド、クラウドからクラウド、クラウドリージョンなど、XNUMXつのQumuloファイルデータプラットフォーム間で機能します。 レプリケーションは、特にフェイルオーバーやフェイルバックを含むスナップショットレプリケーションのディザスタリカバリと組み合わせた場合に、ペタバイト規模のバックアップを有効にするために使用されます。 また、ハイブリッドクラウドとクラウドバースト、マルチクラウドとマルチリージョンインフラストラクチャ、およびリモートコラボレーションシナリオも可能にします。
QumuloがAmazonS3に移行
オブジェクトストアレプリケーションにより、Qumuloファイルデータプラットフォームはクラウドオブジェクトストレージサービス（Amazon S3など）を適切なレプリケーションターゲットとして扱うことができます。 ユーザーは、Qumulo Shiftを介して、Qumulo名前空間からクラウドオブジェクトストアにデータを3回、または継続的にコピーできます。その逆も可能です。 オブジェクトストアに移動されたデータは、オープンで非独占的な形式で保存されるため、作成者は、AmazonS3ネイティブ形式でAmazonS3クラウドオブジェクトストアに直接接続するアプリケーションを介してそのデータを活用できます。 シナリオの例には、Qumulo名前空間からAmazon S3クラウドオブジェクトのコールドストレージ階層へのデータのアーカイブ、またはAmazonSXNUMXデータベースの機械学習サービスがQumuloファイルデータプラットフォームでキャプチャおよび編集されたデータを処理できるようにすることが含まれます。
割り当て量
クォータを使用すると、ユーザーは Qumulo 名前空間のサブセットの増加を制御できます。 クォータはディレクトリのサイズに対する独立した制限として機能し、容量制限に達した場合のデータの増加を防ぎます。 他の製品とは異なり、Qumulo クォータは即座に有効になるため、管理者はリアルタイムの容量分析を使用して不正なワークロードを特定し、過剰な容量の使用を即座に停止できます。 クォータは、ディレクトリが移動または名前変更されるときに、カバーされる名前空間の部分にも従属します。
監査
監査により、セキュリティ管理者は、Qumulo名前空間で実行されたすべてのアクションとシステムの構成変更を追跡できます。 Auditは、すべてのデータアクセスと変更、Qumuloファイルデータプラットフォームへのアクセスの試行、新しい共有またはエクスポートによるデータの共有、およびシステム構成またはデータ保護スキームの変更をキャプチャします。 Auditは、これらのアクティビティログを標準のリモートsyslogサーバーに送信します。
ロールベースのアクセス制御
ロールベースのアクセス制御（RBAC）を使用すると、セキュリティ管理者はIDサービスを使用して、Qumuloファイルデータプラットフォームに変更を加えたり、ビジュアルインターフェイスを表示したりする権限を持つユーザーまたはグループを制御できます。 RBACは、システム内またはシステム上でアクションを実行する権限を持ついくつかの事前構成された「ロール」（管理者、オブザーバー、データ管理者）を提供します。 管理者は、ADまたはLDAPからそれらのロールにユーザーとグループを追加します。 管理者は、組織内の固有のセキュリティ体制に一致するカスタムロールを作成することもできます（たとえば、「バックアップ管理者」ロール）。
イノベーションのポイント
Qumulo Shiftは、データをファイルからネイティブAmazon A3オブジェクト形式にコピーするため、ネイティブAWSクラウドサービスでデータを簡単に使用できます。
Qumuloのファイルデータプラットフォームのスナップショットは、効率的でパフォーマンスが高く、スケーラブルです（40k以上まで）。
スナップショットレプリケーションにより、場所に関係なく、Qumuloファイルデータプラットフォームの組み込みのペタバイトスケールのバックアップが可能になります。
レプリケーションにより、Qumuloファイルデータプラットフォームは、データを他のQumuloファイルデータプラットフォーム（オンプレミスからクラウド、クラウドリージョンからクラウドリージョン、またはクラウド間）にコピー、移動、または同期できます。
Qumuloのクォータはリアルタイムであり、有効にするために長いデータプラットフォーム列挙（別名「ツリーウォーク」）を必要としません。
監査は、Splunkなどの最新のインフラストラクチャ管理ツールと簡単に統合できます。
Qumuloファイルシステム
目的
理解しやすい構造でデータを整理し、大量のファイル数を伴うワークロードを可能にし、データセットがデータライフサイクルを移動するときに作成者がデータセットで共同作業できるようにし、システムが数ペタバイトや数十億のファイルに拡張された場合でも、パフォーマンスと容量の使用率に関するリアルタイムの洞察を提供します。
使い方
Qumuloファイルシステムは、Qumuloシステムに保存されているすべてのデータを名前空間に編成します。 この名前空間はPOSIXに準拠しており、NFSまたはSMBプロトコルで利用可能な完全なセマンティクスをサポートするアクセス許可とID情報を維持します。 すべてのファイルデータプラットフォームと同様に、Qumuloファイルデータプラットフォームはデータをディレクトリに編成し、SMBおよびNFSクライアントにデータを提示します。 ただし、Qumuloファイルデータプラットフォームには、Bツリーの使用、リアルタイム分析エンジン、クロスプロトコルパーミッション（XPP）など、いくつかの固有のプロパティがあります。
ファイルデータプラットフォームのBツリー
Qumuloファイルデータプラットフォームは、iノードの速度低下、非効率性、長いコンポーネント障害回復など、他のプラットフォームで一般的な問題を発生させることなく、数十億のファイルに拡張できます。 これは、テクノロジーのコレクションを使用して実現します。そのXNUMXつがBツリーです。 Bツリーは、データ量の増加に応じて各操作に必要なI / Oの量を最小限に抑える「浅い」データ構造であるため、多数のデータブロックの読み取りと書き込みを行うシステムに特に適しています。 Bツリーを基盤として、データブロックの読み取りまたは挿入の計算コストは、データの量が増えるにつれて非常にゆっくりと増加します。
たとえば、Bツリーはファイルデータプラットフォームや非常に大きなデータベースインデックスに最適です。 Qumuloのファイルデータプラットフォームでは、Bツリーはブロックベースです。 各ブロックは4096バイトであり、各4Kブロックには他の4Kブロックへのポインターが含まれる場合があります。 Qumuloファイルデータプラットフォームは、さまざまな目的でBツリーを使用します。 すべてのファイルのインデックスとして機能するiノードBツリーがあります。 iノードリストは、ディレクトリ階層に関係なくファイルデータプラットフォームの整合性をチェックする標準のファイルデータプラットフォーム実装手法です。 iノードは、ディレクトリ移動などの更新操作を効率的にするのにも役立ちます。 ファイルとディレクトリは、ファイル名、サイズ、アクセス制御リスト（ACL）またはPOSIX権限など、独自のキーと値のペアを持つBツリーとして表されます。 構成データもBツリーであり、クラスターのIPアドレスなどの情報が含まれています。
リアルタイム分析エンジン
Qumuloは、Qumuloファイルデータプラットフォームのデータの容量とパフォーマンスの利用に関する洞察を提供します。 これにより、お客様は、ファイルデータプラットフォームのどの部分が成長（または縮小）したか、どのアプリケーションがパフォーマンスリソースを消費しているか、ファイルデータプラットフォームのどの部分が最もアクティブであるかをほぼ瞬時に確認できます。 これにより、お客様はアプリケーションのトラブルシューティング、容量消費の管理、および実際のデータを使用した計画を行うことができます。 これらの洞察は、容量メタデータの集約とファイルデータプラットフォームのサンプリングというXNUMXつのテクノロジーによって支えられています。
キャパシティメタデータの集約
Qumuloファイルデータプラットフォームでは、使用バイト数やファイル数などのメタデータがファイルとして集約され、ディレクトリが作成または変更されます。 これは、高価なファイルデータプラットフォームのツリーウォークなしで、情報をタイムリーに処理できることを意味します。 リアルタイム分析エンジンは、ファイルデータプラットフォームの名前空間全体で最新のメタデータの要約を維持します。 ファイルデータプラットフォームのBツリーを使用して、変更が発生したときにファイルデータプラットフォームに関する情報を収集します。 さまざまなメタデータフィールドがファイルデータプラットフォーム内に要約され、仮想インデックスが作成されます。 変更が発生すると、新しい集約メタデータが収集され、変更が個々のファイルからファイルデータプラットフォームのルートに伝播されます。
各ファイル（またはディレクトリ）が新しい集約メタデータで更新されると、その親ディレクトリは古いものとしてマークされ、別の更新イベントが親ディレクトリのキューに入れられます。 このようにして、ファイルデータプラットフォーム情報は、ツリーに渡される間に収集および集約されます。 メタデータは、データにアクセスすると、最下位レベルの個々のノードからファイルデータプラットフォームのルートに伝播します。 各ファイルとディレクトリの操作が考慮されます。
メタデータイベントのボトムアップ伝播と並行して、定期的なトラバーサルがファイルデータプラットフォームの上部から開始され、メタデータに存在する集約情報を読み取ります。 トラバーサルが最近更新された集約情報を見つけると、検索を削除して次のブランチに移動します。 集約された情報は、この時点からリーフに向かって、含まれているすべてのファイルとディレクトリを含め、ファイルデータプラットフォームツリーで最新であり、追加の分析のためにさらに深く進む必要はないことを前提としています。 メタデータの要約のほとんどはすでに計算されており、理想的には、トラバーサルはファイルデータプラットフォーム全体のメタデータの小さなサブセットを要約するだけで済みます。 事実上、集約プロセスのXNUMXつの部分は途中で合流し、ファイルデータプラットフォームツリー全体を上から下まで探索する必要はありません。
ファイルシステムのサンプリング
Qumuloのリアルタイム分析の一例は、パフォーマンスホットスポットレポートです。 ビジュアルインターフェイス内ですべてのスループット操作とIOPSを表すことは、大きなファイルデータプラットフォームでは実行不可能です。 代わりに、Qumuloのリアルタイム分析エンジンは、確率的サンプリングを使用して、この情報の統計的に有効な近似値を提供します。 IOPSの読み取りと書き込みの操作、およびI / Oスループットの読み取りと書き込みの操作の合計は、数秒ごとに更新される数万以上のエントリのメモリ内バッファから収集されたサンプルから生成されます。
表示されるレポートには、クラスターに最大の影響を与えている操作が表示されます。 これらは、ビジュアルインターフェイスではホットスポットとして表されます。
統計的に有効な確率的サンプリングを使用するQumuloの機能は、リアルタイム分析エンジンによって継続的に最新の状態に保たれている各ディレクトリ（使用バイト数、ファイル数）の要約されたメタデータのためにのみ可能です。
クロスプロトコルパーミッション（XPP）
クリエイターがイノベーションのライフサイクル全体でデータを共有できるようにするには、Qumuloは、さまざまなオペレーティングシステム（Windows、Mac、Linuxなど）から同じデータにアクセスできるようにする必要があります。 ただし、これらのシステムは、IDを表現するための言語が大きく異なるNFSとSMBに依存しています。 例として、ラボでは、Windowsを実行するゲノムシーケンサーを使用してデータを作成できるため、ACEとACLの豊富な言語を使用してIDを表現できます。 次に、研究者はWindowsクライアントを使用してそのデータを分析する場合があります。WindowsクライアントもSMBを使用しているため、ACLを理解しています。 ある時点で、研究者はLinuxを実行しているHPCクラスターを使用して並列計算操作を調整したいと思うでしょう。これはPOSIXパーミッション（モードビットなど）を期待します。 研究組織は、すべてのアクセス許可を最も制限の少ないセットに単純化して必要なアクセスを許可するか、データを完全に別個の名前空間に移動するかを選択する必要があります。これにより、コラボレーションフローが中断され、ITコストが増加します。
Qumuloは、複数のパーミッション言語を翻訳および合理化できるファイルデータプラットフォームを作成することでこの問題を解決しました。これにより、クライアントはプロトコルの表現度を犠牲にすることなく、期待するパーミッションを確認できます。 このテクノロジーをXPPと呼びます。 クロスプロトコルパーミッション（XPP）は、SMB ACLを保持し、パーミッションの継承を維持し、パーミッション設定に関連するアプリケーションの非互換性を減らすことにより、SMBプロトコルとNFSプロトコルの混合ワークフローを可能にします。
クロスプロトコルパーミッションは、次の方法で動作するように設計されています。
- プロトコル間の相互作用がない場合、Qumuloはプロトコル仕様に正確に準拠して動作します。
- プロトコル間で競合が発生した場合、プロトコル間のアクセス許可により、アプリケーションの非互換性の可能性が最小限に抑えられます。
- クロスプロトコル権限を有効にしても、ファイルシステム内の既存のファイルに対する権限は変更されません。 モードが有効になっているときにファイルが変更された場合にのみ、変更が発生する可能性があります。
イノベーションのポイント
Qumuloファイルデータプラットフォームは、高効率、コンポーネント障害に対する回復力、および高性能を維持しながら、数十億のファイルに拡張できます。
顧客は、ワークフローを診断し、動作に問題のあるアプリケーションを特定し、容量消費を管理し、パフォーマンスと容量使用率に関するリアルタイムデータを使用して、数十億のファイルおよびペタバイト規模のファイルデータプラットフォームでも将来の計画を立てることができます。
作成者は、エンドユーザークライアントとHPCコンピューティング用の標準ツールを使用して、プロトコル間のアクセス許可により、同じQumulo名前空間からデータライフサイクル全体で共同作業を行うことができます。
Qumuloファイルデータプラットフォームは、高効率、コンポーネント障害に対する回復力、および高性能を維持しながら、数十億のファイルに拡張できます。
顧客は、ワークフローを診断し、動作に問題のあるアプリケーションを特定し、容量消費を管理し、パフォーマンスと容量使用率に関するリアルタイムデータを使用して、数十億のファイルおよびペタバイト規模のファイルデータプラットフォームでも将来の計画を立てることができます。
作成者は、エンドユーザークライアントとHPCコンピューティング用の標準ツールを使用して、プロトコル間のアクセス許可により、同じQumulo名前空間からデータライフサイクル全体で共同作業を行うことができます。
スケーラブルブロックストア
目的
Qumuloファイルデータプラットフォームをプライベートおよびパブリッククラウド環境に持ち込み、大規模な拡張を可能にし、システム全体の一貫性を保証し、コンポーネントの障害から保護し、高性能でインタラクティブなワークロードを強化します。
使い方
Qumuloファイルデータプラットフォームの基盤は、Scalable Block Store（SBS）です。 SBSは、仮想化ブロックシステム、イレイジャーコーディング、グローバルトランザクションシステム、インテリジェントキャッシュなど、いくつかのコアテクノロジーを活用して、拡張性、移植性、保護、パフォーマンスを実現します。
仮想ブロックシステム
Qumuloシステムのストレージ容量は、概念的には単一の保護された仮想アドレス空間に編成されています。 そのスペース内の保護された各アドレスは、4Kブロックのバイトを格納します。 これらの「ブロック」はそれぞれ、イレイジャーコーディングスキームを使用して保護され、ストレージデバイスの障害が発生した場合の冗長性を確保します。 ファイルデータプラットフォーム全体は、ディレクトリ構造、ユーザーデータ、ファイルメタデータ、分析、構成情報など、SBSが提供する保護された仮想アドレス空間内に保存されます。
保護されたストアは、ファイル データ プラットフォームと、接続されたブロック デバイスに記録されたブロックベースのデータの間のインターフェイスとして機能します。 これらのデバイスは、プライベート クラウドの専用サーバーまたはパブリック クラウドの仮想サーバーのいずれかにあるフラッシュ デバイスまたはハード ドライブである場合があります。 4K ブロックを使用することにより、仮想ブロック システムにより、あらゆるサイズのファイル (大規模から小まで) を高効率に保存できます。
イレイジャーコーディング
各仮想ブロックは、保護されたストア（またはpstore）と呼ばれるより大きな保護グループの一部であり、イレイジャーコーディングを活用して、分散されたQumuloファイルデータプラットフォーム全体にデータを分散および保護します。 そのpstoreは、データ保護のための整理コンテナーです。 pstore内およびpstore間で、データブロックはリードソロモンアルゴリズムを利用して、コンポーネントの障害によって損傷したブロックを再構築するために使用されるデータブロックの「パリティ」コピーを作成します。 パリティブロックの数によって、クラスターの冗長性が決まります。クラスターには、障害が発生する可能性のあるコンポーネントが多く含まれているため、小さなクラスターよりも大きな冗長性が必要になります。 次に、これらのpstoreはQumuloファイルデータプラットフォーム全体に分散され、CPU、ストレージデバイス、およびネットワークを備えた仮想サーバーまたは物理サーバーのコンポーネント障害を制御します。
Qumuloのイレイジャーコーディングの実装と、きめ細かい仮想アドレススペースを組み合わせることで、Qumuloファイルデータプラットフォームは、障害が発生したコンポーネントからデータを迅速かつ予測どおりに再構築できます。 さらに、これにより、システムはパブリッククラウドとプライベートクラウドで利用可能な最も高密度のフラッシュベースおよびディスクベースのメディアを活用し、信頼性の高いパフォーマンスと強力なデータ保護保証を備えた大規模システムを運用できます。 最後に、この保護システムにより、顧客はQumuloシステムで利用可能な保護されたスペースの100％を自信を持って使用できます。これは、使用率が80％を超えてパフォーマンスが低下または予測できない他のシステムとは対照的です。
保護されたストアは、ファイル データ プラットフォームと、接続されたブロック デバイスに記録されたブロックベースのデータの間のインターフェイスとして機能します。 これらのデバイスは、プライベート クラウドの専用サーバーまたはパブリック クラウドの仮想サーバーのいずれかにあるフラッシュ デバイスまたはハード ドライブである場合があります。 4K ブロックを使用することにより、仮想ブロック システムにより、あらゆるサイズのファイル (大規模から小まで) を高効率に保存できます。
グローバルトランザクションシステム
Qumuloは分散型シェアードナッシングファイルデータプラットフォームであり、即時の一貫性を保証するため、システム内のすべてのノードがすべてのデータの一貫したビューを持つことを保証するメカニズムが必要です。 これは、仮想アドレス空間へのすべての読み取りと書き込みがトランザクションで行われるようにすることで実現されます。
これは、ファイルデータプラットフォーム操作で複数のブロックを含む書き込み操作が必要な場合、操作は関連するすべてのブロックを書き込むか、いずれも書き込みを行わないことを意味します。 アトミック読み取りおよび書き込み操作は、データの一貫性と、SMBやNFSなどのファイルプロトコルの正しい実装に不可欠です。 最適なパフォーマンスを得るために、SBSは、I / O操作のトランザクションの一貫性を維持しながら、並列処理と分散コンピューティングを最大化する手法を使用します。 たとえば、SBSは、操作が並列ではなく順番に進行するシリアルボトルネックを回避するように設計されています。 SBSのトランザクションシステムは、先行書き込みロギング、「元に戻す」アクション中の履歴の繰り返し、「元に戻す」アクションのロギングなど、非ブロッキングトランザクションのデータベースで一般的に使用されるARIESアルゴリズムの原則を使用します。
ただし、SBSのトランザクションの実装には、ARIESとはいくつかの重要な違いがあります。 SBSは、トランザクションが長続きする可能性がある汎用データベースとは対照的に、Qumuloファイルデータプラットフォームによって開始されるトランザクションが予想どおりに短いという事実を利用しています。 短期間のトランザクションの使用パターンにより、SBSは効率を上げるためにトランザクションログを頻繁にトリミングできます。 短期間のトランザクションにより、コミットメント順序付けを高速化できます。
さらに、SBSのトランザクションは高度に分散されており、トランザクションログエントリごとにARIESスタイルのシーケンス番号のグローバルに定義された全順序付けを必要としません。 代わりに、トランザクションログは各仮想ブロックでローカルにシーケンシャルであり、コミットメント順序の制約を考慮した半順序スキームを使用して、グローバルレベルで調整されます。
SBSのアプローチの利点は、トランザクションI / O操作に絶対最小量のロックが使用されることです。これにより、Qumuloクラスターを数百のノードに拡張できます。
インテリジェントなキャッシングとプリフェッチ
Qumuloファイルデータプラットフォームは、数十億のファイルとペタバイトの容量を保存します。 ただし、どの時点でも、そのデータのごく一部のみが、作成者またはイノベーターのアクティブなワーキングセットに含まれています。 これらの作成者が可能な限り最速のパフォーマンスを発揮することを保証し、したがって顧客がデータライフサイクルの各段階で異種システムを購入することを防ぐために、Qumuloは当社の製品でいくつかのパフォーマンス保証を行います。
1. データ セット内で最も頻繁に読み取られるすべてのメタデータは、システム内で最も高速な耐久性のあるメディア (フラッシュなど) に保存されます。
2. 頻繁に読み取られる仮想ブロック (独自の「ヒート インデックス」で測定) はフラッシュに保存され、頻繁に読み取られない仮想ブロックは、利用可能な場合はより低温のメディアに移動されます。
3. データの読み取り中、システムはクライアントの動作を監視し、アクセス時間を短縮するためにクライアントに最も近いノード上のメモリに新しいデータをインテリジェントにプリフェッチします。 これは、データの命名スキーム、データの生成順序、および大きなファイル内のパターンの読み取りを観察する一連の予測モデルのインテリジェントな適用を通じて行われます。 システムは、あらゆるワークロードに対して最も効果的なモデルをインテリジェントに活用し、無駄なモデルをオフにします。
保存時の暗号化
Qumuloは、XTSモードで業界標準のAES256暗号化を使用して、保護システムレベルですべてのシステムを自動的に暗号化します。 この方法を使用すると、すべてのQumuloファイルデータプラットフォームが基盤となるコンポーネントへの攻撃から保護されます。 システムは、複数のデータキーの上に配置され、顧客がローテーションできる単一のマスターキーを提示します。 このソフトウェアベースの暗号化をID管理、RBAC、監査、SMBおよびレプリケーショントラフィックの暗号化と組み合わせることで、顧客は厳格なエンタープライズセキュリティ要件を満たすことができます。
即時アップグレード
Qumuloはアジャイルソフトウェア開発会社であり、その結果、新しい拡張機能を定期的にリリースしています。 お客様がこれらの新しい拡張機能にすばやく簡単にアクセスできるようにしたいと考えています。
Qumuloは、QumuloCoreのアップグレードプロセスを迅速かつ簡単に設計しました。 Qumulo Coreはコンテナ化されているため、サイズに関係なく、クラスター全体を20秒でアップグレードできます。 セカンダリQumuloCoreを立ち上げることにより、アップグレードが発生する前にQumulo Coreの機能と安定性を実証できるため、ロールバックを排除します。
ダイナミックスケール
Qumuloは、最新のテクノロジーへのアクセスを妨げられるべきではないと考えています。 データは急速に成長しており、ペースを維持するには新しいテクノロジーにアクセスする必要があります。 レガシーベンダーは、新しいハードウェアイノベーションに対するソフトウェアサポートについていくことができません。 これらのベンダーは、多くの場合、時間のかかる複雑なデータ移行を必要とするフォークリフトのアップグレードを必要とし、および/または管理が困難な複雑なストレージプールを作成します。
Qumuloは、ノードの互換性を備えた動的なスケールを提供します。これにより、既存のデプロイメントで新しいプロセッサー、ストレージ、およびメモリーを活用できます。 このノードの互換性により、お客様は新しい世代のシステムでクラスターを簡単に拡張し続けることができます。 すべてのQumuloシステムには、新世代のハードウェアとより高密度の構成への拡張への道があります。
イノベーションのポイント
Qumulo SBSは、基盤となるハードウェアコンポーネントを抽象化し、Qumuloファイルデータプラットフォームをパブリックおよびプライベートクラウド環境で実行できるようにします。
QumuloのSBSは、すべてのファイルサイズにわたって独自の効率的なストレージを提供します。
仮想化ブロックシステムとイレイジャーコーディングの組み合わせにより、お客様は利用可能なすべてのスペースを使用し、プライベートクラウドとパブリッククラウドで提供される最も高密度のストレージデバイスを活用できます。
Qumulo SBSを使用すると、お客様は非常に大規模なシステムを快適に構築できます。 2020年100月の時点での制限は、名前空間内の36ノードとXNUMXPBですが、この制限を増やすことは、アーキテクチャではなくテストの機能です。
Qumuloのグローバルトランザクションシステムは、非常に効率的な分散ロックを備えた非常にスケーラブルなパフォーマンスを可能にし、即時の一貫性を保証します。
Qumuloの機械学習予測キャッシングとプリフェッチにより、最もアクティブなデータで高性能を実現すると同時に、システムをイノベーションデータのライフサイクル全体に対応するのに十分な規模に拡張できます。
Qumulo Instant Upgradeを使用すると、あらゆるサイズのクラスターを20秒でアップグレードできるため、ほとんどのインフラストラクチャアップグレードの事前計画と継続的な監視が不要になります。
まとめ
Qumuloは、プライベートクラウドとパブリッククラウドで、キャプチャから変換、アーカイブまでのデータライフサイクル全体を提供できるファイルデータプラットフォームを構築しました。 これを実現するために、Qumuloは、クラウドに対応し、拡張性があり、使いやすいシステムを提供します。 作成者が標準ツールを使用できるようにし、自動化機能と可視性を提供し、安全でエンタープライズ対応です。
クラウド対応
Qumuloファイルデータプラットフォームは、パブリッククラウド、プライベートクラウド、ハイブリッドクラウドの両方で利用できます。
規模
Qumuloファイルデータプラットフォームは、数十億のファイルとペタバイトのデータに自信を持って拡張できます。 Qumuloファイルデータプラットフォームは、最も困難なワークロードの要求を満たすためにパフォーマンスも拡張します。
標準ツール
Qumuloファイルデータプラットフォームは、Windows、Mac、およびLinuxクライアントをサポートします。
自動化と可視性
Qumuloファイルデータプラットフォームは、プログラム可能性と自動化のための堅牢なAPIと、システムの容量とパフォーマンスの使用率に関するリアルタイムの洞察を提供します。
安全でエンタープライズ対応
Qumuloファイルデータプラットフォームは、企業がインフラストラクチャに必要とするID、制御、管理、および暗号化ツールを提供します。
Qumuloを使ってみる
ハイブリッドクラウド環境を活用すると、大規模なファイルデータ管理がここまで簡単に。