はじめに
人工知能（AI）と機械学習（ML）の時代には、大量の非構造化データを効率的に処理することが重要です。企業や政府機関では、AIを活用して洞察を深め、業務を改善し、イノベーションを推進する動きが加速している。しかし、データ管理の課題は、特にハイブリッド環境やマルチクラウド環境において、AIイニシアチブの妨げとなる可能性があります。Qumulo Cloud Data Platformは、パブリッククラウドにおけるAIデータ高速化のためのシームレスで高性能なソリューションを提供することで、これらの課題に対処します。
Qumuloクラウドデータプラットフォームの概要
Qumulo Cloud Data Platformは、オンプレミス、パブリック、プライベート、ハイブリッドのクラウド環境にまたがるデータストレージと管理を統合する包括的なソリューションです。3つのコア・コンポーネントで構成されています：
オンプレミスのQumuloクラスタ： これらのストレージは、データセンター、研究キャンパス、病院、その他の主要な場所に展開され、エクサバイト級の非構造化ファイルデータやオブジェクトデータをホストしています。これらのストレージは、価格/性能曲線のあらゆるポイントにおいて、大規模なワークロードに最適化された高性能ストレージを提供します。
クラウドネイティブのQumuloインスタンス： AWS、Azure、Google Cloud Platform (GCP)、Oracle Cloud Infrastructure (OCI)などの主要なクラウドプロバイダーに導入されたこれらのインスタンスは、Qumuloの機能をクラウドに拡張し、並列ファイルシステムに匹敵するパフォーマンスとオンプレミスのストレージ製品に匹敵する経済性で、スケーラブルで柔軟なデータストレージソリューションを実現します。
グローバル・データ・ファブリック これは、オンプレミスとマルチクラウドのインスタンスをまとまったシステムに統合するデータバックボーンである。これにより、GPUがオンプレミスにあるかクラウドにあるかに関係なく、可用性と価格に基づいて、あらゆるAIモデルやサービスが同じデータに同時にアクセスできるようになります。これは以下を提供します：
厳密に一貫したグローバル・ネームスペース（GNS）： 全拠点におけるデータの一貫性を確保する。
エッジ・リード／ライト GNS キャッシング： エッジや地理的に分散したデータセンター、クラウド、またはその両方の組み合わせにおいて、使用頻度の高いデータへの低レイテンシーアクセスを提供します。
クラスタ化された読み書き永続データストア・キャッシング： より計算リソースに近い場所にデータをキャッシュすることでパフォーマンスを向上させ、S3/Blob/GCS APIのトランザクションコストを削減します。
ネットワークを意識したサービス品質と効率的なネットワーク利用： このテクノロジーは、ネットワークの状況に応じて、広域ネットワーク（WAN）でのデータ転送を最適化する。
AIワークロードの高速化
インテリジェントなデータ移動
Qumuloクラウドデータプラットフォームは、グローバルデータファブリック全体でインテリジェントかつ効率的なデータ移動を可能にします。データはあらゆる場所からブロックレベルでオンデマンドにストリーミングされ、WANを経由してクラウドベースの読み書きクラスタに表現されます。これらのクラスターは、低コストで高耐久性のS3ストレージを永続化レイヤーとして使用し、EC2のNVMeインスタンスアタッチディスクにインテリジェントキャッシングを行う。こうすることで、従来のクラウドベースのファイルストレージとは比較にならない速度で、GPUインスタンスにデータを容易に供給できる。
パフォーマンス向上
GPU実行時間の短縮： Qumuloは、クラウドネイティブのQumulo搭載ファイルストレージからクラウドホストGPUシステムへのデータ転送を高速化し、S3からGPUへのデータコピーフェーズを回避することで、GPU実行時間を最大40%改善します。この最適化により、トレーニングの実行開始前にGPUインスタンス上のローカルNVMeストレージにオブジェクトストアやファイルストアからデータをロードすることで発生しがちなボトルネックとコストに対処します。
S3 APIコールのコスト削減： Cloud Data Platformは、機械学習ベースの予測的でインテリジェントなリードキャッシュと、S3 APIコールを組み合わせたライトキャッシュを圧縮しながらコンパクト化を採用している。このアプローチにより、S3のAPI使用料が最大90%削減され、大幅なコスト削減につながります。
最適化されたGPUインスタンス： この機能により、GPU EC2インスタンスがローカルのNVMeストレージを持つ必要がなくなり、パフォーマンスを損なうことなく、より低コストのGPUインスタンスを実現できる。
クラウドベースの企業向けAI
多くの企業や政府機関は、トレーニング用ワークロードにフルタイムのGPUクラスタを必要としていません。Qumuloの立場は以下の通りです。 ジェネレーティブAI（GenAI） トレーニング、チューニング、推論といったワークロードは、ほとんどの組織で主にクラウドベースになるだろう。その利点は以下の通りである：
データガバナンスの維持 これにより、既存のデータ実証およびガバナンス要件が維持され、コンプライアンスとデータセキュリティが確保され、リスクが低減されます。
資本支出の削減 GPUの獲得に多額の投資をする必要がなくなり、実行時の処理コストを削減できる。
弾力的なリソース消費 は、ワークロードの需要に応じてリソースを柔軟に増減できるため、運用コストを最適化できます。AI開発の80%は、学習ジョブを実行する前にデータを収集し、モデルを改良することを含むため、これは決定的に重要である。
処理時間の短縮 AIワークフローを最大で 40% 俊敏性と洞察までの時間を強化する。
公共および商業GenAIモデルの活用
Qumuloは、ほとんどの企業が独自のGenAIモデルを構築するのではなく、公開されているGenAIモデルや商用GenAIモデルを利用することを認識しています。これをサポートするために、Qumuloは以下を開発しました：
堅牢なAPI統合： Qumuloクラウドデータプラットフォームは、大規模言語モデル（LLM）や、マイクロソフトやAWSのような主要クラウドプロバイダーが提供するAI/ML開発ツールなど、クラウドベースのAIサービスと連携できる堅牢なAPIを提供します。
安全なデータの取り扱い： などのテクニックを活用する。 リトリーバル・アグメンテッド・ジェネレーション（RAG） 適切なデータ・ガバナンス・ポリシーがあれば、企業は公開LLMやオープンLLMを利用することができ、その一方で、自社のデータが将来のトレーニング・データセットに使用されないようにすることで、データ・プライバシーと知的財産の保護を維持することができる。
結論
Qumulo Cloud Data Platformは、パブリッククラウドにおけるAIデータワークフローを加速するための堅牢なソリューションを提供します。グローバル・データ・ファブリックを通じてオンプレミスとクラウド環境を一体化することで、Qumuloは大規模なデータ管理と移動の課題に対処します。企業は大幅なパフォーマンス向上とコスト削減を達成し、データガバナンス標準へのコンプライアンスを維持することができます。さらに、Qumuloはデータを保護しながらパブリックGenAIモデルとの統合を促進することで、企業がセキュリティを損なったり、不必要な費用を負担したりすることなく、AI技術を効果的に活用できるようにします。
主なメリット
柔軟性がある： AIデータのライフサイクル全体（データ取り込み、データ変換、データロード）のパフォーマンス、容量、セキュリティのニーズに対応し、シームレスなエンドツーエンドのデータパイプラインを実現します。
パフォーマンス データロード時間の高速化により、GPUの実行時間と経済性が向上します。
リミットレス： パブリック・クラウドとプライベート・クラウド、そして組織間のシームレスでセキュアなデータ・アクセスを可能にし、ビジネスや研究に変革をもたらします。
コスト効率： S3 API使用料を最大90%削減。ローカルNVMeなしで低コストのGPUインスタンスを利用可能。
スケーラビリティ： GPUリソースの弾力的な消費
データガバナンス 既存のデータ実証とコンプライアンス要件を維持する。
データの耐久性： マルチAZサポートと並列S3消去コーディングは、AWS S3の伝説的な耐久性をさらに強化する。
セキュリティ 安全なAPI統合により、企業データが外部のモデルトレーニングで使用されることを防ぎます。
Qumulo Cloud Data Platformを採用することで、企業は最新のAIワークロードの要求を効率的かつ安全に処理するツールを備えることができます。これにより、企業はAIイノベーションの最前線に立つことができ、競争優位性を実現し、変革的なビジネスチャンスを得ることができます。