Qumulo クラウドデータプラットフォームで AI データワークフローを加速

2024 年 12 月 17 日

作成者：

ダグラス・ゴーレイ
ダック・ブッシュ、スティーブ・フィリップス、ブランドン・ホワイトロー共著

イントロダクション

人工知能 (AI) と機械学習 (ML) の時代では、大量の非構造化データを効率的に処理することが必須条件です。企業や政府機関は、洞察の獲得、業務の改善、イノベーションの推進のために AI を活用するケースが増えています。しかし、ハイブリッド環境やマルチクラウド環境では特に、データ管理の課題が AI イニシアチブの妨げになることがあります。Qumulo クラウドデータプラットフォームは、パブリッククラウドでの AI データアクセラレーションのためのシームレスで高性能なソリューションを提供することで、これらの課題に対処します。

Qumulo クラウドデータプラットフォームの概要

Qumulo クラウドデータプラットフォームは、オンプレミス、パブリック、プライベート、ハイブリッドクラウド環境全体でデータのストレージと管理を統合する包括的なソリューションです。3 つのコアコンポーネントで構成されています。

オンプレミスの Qumulo クラスター: これらは、データセンター、研究キャンパス、病院、その他の主要な場所に導入され、エクサバイト単位の非構造化ファイルおよびオブジェクトデータをホストします。価格/パフォーマンス曲線のあらゆるポイントで、大規模なワークロード向けに最適化された高性能ストレージを提供します。
クラウドネイティブ Qumulo インスタンス: AWS、Azure、Google Cloud Platform (GCP)、Oracle Cloud Infrastructure (OCI) などの主要なクラウドプロバイダーに導入されたこれらのインスタンスは、Qumulo の機能をクラウドに拡張し、並列ファイルシステムに匹敵するパフォーマンスレートで、オンプレミスのストレージサービスに匹敵する経済性を備えた、スケーラブルで柔軟なデータストレージソリューションを実現します。
グローバルデータファブリック: これは、オンプレミスとマルチクラウドのインスタンスを 1 つのシステムに統合するデータバックボーンです。これにより、可用性と価格に基づいて、GPU がオンプレミスかクラウドかに関係なく、任意の AI モデルやサービスを導入して同じデータに同時にアクセスできるようになります。次の機能を提供します。
- 厳密に一貫したグローバル名前空間 (GNS): すべての場所でデータの一貫性を保証します。
- エッジ読み取り/書き込み GNS キャッシュ: エッジ、地理的に分散したデータセンター、クラウド、またはその両方の組み合わせで頻繁に使用されるデータへの低遅延アクセスを提供します。
- クラスター化された読み取り/書き込み永続データストアキャッシュ: データをコンピューティングリソースの近くにキャッシュすることでパフォーマンスが向上し、S3/Blob/GCS API トランザクションコストが削減されます。
- ネットワークを考慮したサービス品質と効率的なネットワーク利用: このテクノロジーは、ネットワークの状態に基づいて、広域ネットワーク (WAN) 間のデータ転送を最適化します。

AIワークロードの加速

インテリジェントなデータ移動

Qumulo クラウドデータプラットフォームは、グローバルデータファブリック全体でインテリジェントかつ効率的なデータ移動を可能にします。データは、任意の場所からブロックレベルでオンデマンドでストリーミングされ、WAN を介してクラウドベースの読み取り/書き込みクラスターに表現されます。これらのクラスターは、低コストで耐久性の高い S3 ストレージを永続レイヤーとして使用し、EC2 の NVMe インスタンス接続ディスクへのインテリジェントキャッシュを使用します。これにより、従来のクラウドベースのファイルストレージサービスとは比べものにならない速度で、GPU インスタンスにデータをすぐに供給できるようになります。

パフォーマンスの強化

GPU実行時間の短縮: Qumulo は、クラウドネイティブの Qumulo 搭載ファイルストレージからクラウドホスト型 GPU システムへのデータ転送を高速化し、S40 から GPU へのデータコピーフェーズを回避することで、GPU 実行時間を最大 3% 短縮します。この最適化により、トレーニング実行を開始する前に、オブジェクトストアまたはファイルストアから GPU インスタンスのローカル NVMe ストレージにデータをロードすることによって発生するボトルネックとコストが解消されます。
S3 API 呼び出しのコスト削減: クラウドデータプラットフォームは、インテリジェントな機械学習ベースの予測的かつインテリジェントな読み取りキャッシュと圧縮を採用し、書き込みキャッシュを圧縮して S3 API 呼び出しを組み合わせます。このアプローチにより、S3 API 料金が最大 90% 削減され、大幅なコスト削減につながります。
最適化された GPU インスタンス: この機能により、GPU EC2 インスタンスにローカル NVMe ストレージが必要なく、パフォーマンスを犠牲にすることなく低コストの GPU インスタンスを実現できます。

企業向けクラウドベース AI

多くの企業や政府機関では、トレーニングワークロードにフルタイムのGPUクラスターを必要としません。Qumuloの立場は、 生成AI（GenAI） ほとんどの組織では、トレーニング、チューニング、推論などのワークロードは主にクラウドベースになります。その利点は次のとおりです。

維持されたデータガバナンス 既存のデータの出所とガバナンスの要件を維持し、リスクを軽減しながらコンプライアンスとデータセキュリティを確保できます。
設備投資の削減 GPU 取得への多額の投資が不要になり、実行時の処理コストが削減されます。
弾力的なリソース消費 ワークロードの需要に応じてリソースを拡大または縮小する柔軟性を提供し、運用コストを最適化します。AI 開発の 80% は、トレーニングジョブを実行する前にデータを整理してモデルを改良することであるため、これは非常に重要です。
処理時間の短縮 AIワークフローを最大 40%俊敏性と洞察までの時間が向上します。

公開および商用の GenAI モデルの活用

Qumulo は、ほとんどの企業が独自の GenAI モデルを構築するのではなく、公開または商用の GenAI モデルを利用することを認識しています。これをサポートするために、Qumulo は次のものを開発しました。

強力な API 統合: Qumulo クラウドデータプラットフォームは、Microsoft や AWS などの主要なクラウドプロバイダーが現在提供している大規模言語モデル (LLM) や AI/ML 開発ツールなど、クラウドベースの AI サービスと連携できる強力な API を提供します。
安全なデータ処理: 次のような技術を活用して 検索拡張生成 (RAG) 適切なデータガバナンスポリシーを遵守することで、企業はパブリックまたはオープン LLM を活用しながら、自社のデータが将来のトレーニングデータセットで使用されないようにすることができ、データのプライバシーと知的財産の保護を維持できます。

結論

Qumulo クラウドデータプラットフォームは、パブリッククラウドで AI データワークフローを加速するための堅牢なソリューションを提供します。オンプレミスとクラウド環境をグローバルデータファブリックで統合することで、Qumulo は大規模なデータ管理と移動の課題に対処します。企業は大幅なパフォーマンス向上とコスト削減を実現し、データガバナンス標準への準拠を維持できます。さらに、Qumulo はデータを保護しながらパブリック GenAI モデルとの統合を容易にすることで、組織がセキュリティを犠牲にしたり不必要な費用をかけたりすることなく AI テクノロジーを効果的に活用できるようにします。

主なメリット

フレキシブル： AI データライフサイクル全体 (データの取り込み、データの変換、データの読み込み) のパフォーマンス、容量、セキュリティのニーズに対応し、シームレスなエンドツーエンドのデータパイプラインを実現します。
パフォーマンス： データの読み込み時間が短縮され、GPU の実行時間と経済性が向上します。
無制限: パブリッククラウドとプライベートクラウド間、および組織間でシームレスで安全なデータアクセスを可能にし、変革的なビジネスと研究の機会を実現します。
コスト効率： S90 API 料金が最大 3% 削減され、ローカル NVMe なしで低コストの GPU インスタンスを利用できるようになります。
スケーラビリティ： GPU リソースの弾力的な消費
データガバナンス： 既存のデータの出所とコンプライアンス要件を維持します。
データの耐久性: マルチAZサポートと並列S3消去コーディングにより、AWS S3の伝説的な耐久性がさらに強化されます。
セキュリティ： 安全な API 統合により、企業データが外部モデルのトレーニングに使用されるのを防ぎます。