Qumulo LogoQumulo Logo

ブログ

QumuloとSageMaker HyperPodを使用した地理分散データによるファウンデーションモデルのトレーニング

2025年11月3日

Qumulo Team

Facebookで共有Twitterで共有LinkedInで共有

共著者ブライアン・ベレスディヴィン＆マルコス・セオアン

各業界の企業が競って導入している。 ジェネレーティブAI と基盤モデル（FM）である。高速化されたインフラに巨額の投資を行っても、データとコンピュートが同じ場所に存在することは稀であるという、根強い課題が残っている。 最新の基盤モデルは、かつてないスケールを要求します。FMのトレーニングには、数日から数週間にわたって何千ものGPU加速インスタンスを実行する必要があり、言語モデルの数百テラバイトから、テキスト、画像、動画を組み合わせたマルチモーダルシステムの数十ペタバイトに及ぶデータセットを消費します。これらのデータセットは静的なものではなく、組織が新たなエッジケース、ユーザーからのフィードバック、またはドメイン固有のデータをキャプチャするためにモデルを再トレーニングし、微調整することで継続的に進化します。

ほとんどの大企業の現実は、データがオンプレミスのデータセンターや複数のクラウドにまたがって存在していることだ。データのローカリティと高速化されたコンピューティングの可用性との間のこの断絶は、人工知能（AI）のスケーリングにおける最大の障壁の1つとなっている。ペタバイト・スケールのデータセットを地域やクラウド間で移動させると、運用上のオーバーヘッド、コスト、レイテンシ、ガバナンスの複雑さが増し、学習時間や投資収益率（ROI）に直接影響します。 統一されたローカリティ対応のデータファブリックは、このギャップを解消します。Qumuloの統合データプラットフォームは、グローバルな一貫性、ユニバーサルアクセス、マルチリージョンまたはハイブリッドトポロジーをまたぐ低レイテンシーアクセスを保証し、最新のAI工場に沿った新しいデータアーキテクチャパラダイムを可能にします。 

この投稿では、このような統合データプラットフォームのアーキテクチャ要素の概要を説明します。このプラットフォームは、基礎モデルのトレーニングのような大規模なAIワークロードをサポートすることができます。また アマゾン セージメーカー ハイパーポッド, ペア クラウドネイティブQumulo（CNQ） SageMaker HyperPodは、分散AI/MLトレーニングのためのエンドツーエンド環境を提供します。SageMaker HyperPodは、GPUクラスタの弾力的なオーケストレーションとスケーリングを実現し、CNQとCloud Data Fabric (CDF)は、リージョンやサイトをまたいで低レイテンシーでデータにアクセスできるようにします。SageMaker HyperPodとCNQを組み合わせた、単一リージョン（図1参照）および複数リージョン（図2参照）の展開における検証済みのリファレンスアーキテクチャを、QumuloとSageMaker HyperPodの統合の詳細とともに説明します。

QumuloをSageMaker HyperPod（およびその他のクラウドまたはオンプレミスのAIツール）と組み合わせることで、組織は次のことが可能になります：

  • トレーニング前後の結果を得るまでの時間を25%以上短縮する。

  • 地理的に分散したデータにAIワークロードを展開し、加速するコンピュート不足を克服します。

  • ゼロオーケストレーションでAIデータループの運用オーバーヘッドを削減 

  • 環境間でデータガバナンスとセキュリティポリシーを統一する。

図1: Qumuloアーキテクチャ上のAmazon Sagemaker Hyperpod (単一リージョンデータセット)

ファウンデーション・モデル・トレーニングのための統合データ・プラットフォーム

以下は、ローカルまたは地理的に分散したデータを使用した基礎モデルのトレーニングをサポートするための重要な要素である：

  1. 高スループット、低遅延アクセス ローカルおよびリモートでGPUを持続的に使用するためのデータへ。

  2. 柔軟なスケーラビリティ マルチペタバイトのデータセットと動的なサイズの計算クラスタを処理する。

  3. マルチプロトコル対応 PyTorchのような最適なファイルベースのライブラリを提供する。

  4. 世界的な知名度とガバナンス データレジデンシーとコンプライアンス要件を満たす。

Qumuloは、独自のランエニウェア・アーキテクチャにより、これらの各機能を提供し、コンピュート、メモリ、ストレージのあらゆる組み合わせで独自の機能を発揮します。 これにより、データプラットフォームは、クラウド（AWS、Azure、GCP、OCI）だけでなく、HPE、Cisco、Penguinなどのオンプレミスのあらゆるサーバーハードウェア上でも、クラス最高のコストとパフォーマンスで運用できるようになった。 これは統合プラットフォームの基盤ですが、それと同じくらい重要なのは、これらのロケーション間でデータにアクセスし、データを管理するためのアプリケーションのQumuloマルチプロトコル・サポートです。これにより、PyTorch、TensorFlow、JAXのような様々なAI開発ツールチェーンを含む、エンタープライズ・アプリケーションのエコシステム全体で簡単に統合できるようになる。 これはまた、Amazon SageMaker Hyperpodとの容易な統合を可能にする鍵でもある。

高いパフォーマンスを保証することは、高額なトレーニングにおいて重要です。 ニューラルキャッシュ 機能は、ローカルおよび地理分散データアーキテクチャにおいて最適なパフォーマンスを実現します。一例として、複数のAWS P5e EC2インスタンス（各インスタンスにNvidia H200 Tensor Core GPUを8基搭載）を使用したllama-3.1-8Bのトレーニングにおいて、平均レイテンシはミリ秒以下でした。 私たちは、シングルリージョンとマルチリージョンの両方のデプロイメントについて、別途掲載するパフォーマンスデータをさらに収集しました。

AIチームにとって、モデルの開発には複数のトレーニング実行が必要であり、通常、加速された計算リソースを持つサイト外のデータを使用する。 この例として、リージョン1でトレーニングを実行する必要があるにもかかわらず、GPU不足の問題で数日から数週間も遅れてしまうことがあります。DIY（Do-it-yourself）アプローチでは、加速された計算サイトでトレーニングと検証を実行するために、事前に選択された各データセットをステージングするために何百ものパイプラインが必要になります。その結果、学習時間の遅延、データの乱立、データセットの一貫性の欠如、ガバナンスの問題が発生する。別のアプローチとして、統合データプラットフォームがお客様の代わりにオンデマンドでデータを移動し、パフォーマンス、コスト効率、サイト間の一貫性を確保します。 データプラットフォーム クラウド・データ・ファブリック（CDF） Qumuloはローカリティを意識したデータプラットフォームを提供する。CDFはディレクトリ/接頭辞を「ハブ」から1つまたは複数の「スポーク」に効果的に拡張します。 スポークは完全にコヒーレントで、Neural Cacheの局所性認識とモデルアンサンブルを使って、各ワークロードに対してどのデータをプリフェッチするかを決定します。 CDFはスポークがアプリケーションにローカル性能を提供することを可能にします． 図1と2にSageMaker HyperPodとQumuloで検証されたアーキテクチャを示します。 

これは事実上、AIチームにとって新しいデータパラダイムであり、最適化されたゼロオーケストレーションのデータループによって、エンジニアが結果を出すまでの時間を短縮し、新しいモデルのパフォーマンスを向上させる。 コスト・モデリングによれば、このアプローチによってTCOを30%以上削減できる。これらの目標を達成するために、Qumuloによる統合データプラットフォームの主な機能の概要は以下のとおりです；

高速化されたコンピューティングのためのエラスティックで高性能なデータアクセス

  • 規模 1GB/秒～1TB/秒 に示すように、サブミリ秒のレイテンシでスループットを実現する。 AI画像ベンチマーク.

  • データのロード、シャーディング、チェックポイント、微調整の際のI/Oストールを排除することで、GPUをフルに活用します。

  • ローカルおよびリモートでNeuralCache™ AI-drivenキャッシングとプリフェッチを使用して、各トレーニングワークロードに自動的に適応します。

ワークロード・モビリティのための統合データ・ファブリック

  • ハブQumuloクラスタから複数のスポークQumuloクラスタへのシームレスなプリフェッチとAI駆動のNeuralCache™キャッシングにより、スポーク上のレイテンシーを最適化。

  • データ転送の圧縮、重複排除、WAN最適化により、手動コピーと比較して転送データを30%以上削減。

  • バージョン情報などの共有メタデータを使用して、すべての環境に一貫したデータを適用します。

マルチプロトコルの柔軟性

  • のネイティブ・サポート S3、NFS、SMB、REST、SFTP リファクタリング、再アーキテクチャ、冗長なコピーを排除します。

  • データサイエンティスト、エンジニア、シミュレーションチームは、好みのツールで同じデータセットにアクセスできる。

  • 従来のサイロ化されたストレージと比較して、データオーケストレーションのオーバーヘッドを最大4倍削減。

SageMakerハイパーポッドとQumulo

デモンストレーションのために、Qumuloは、一般的な基礎とモデルのワークフローを以下のように検証しました。 セージメーカー ハイパーポッド は、訓練データと同じ地域に配置されるだけでなく、訓練データセットとは別の地域にも配置されます。その結果、データの重複やオーケストレーションなしにグローバルなモデル学習が可能になり、一貫性が維持され、総所有コストが削減される。 重要な点として、ほとんどのAIモデル開発では、トレーニング実行ごとに使用されるラベル付きデータはわずか30%であり、最初の実行とその後の実行でかなりの重複が見られる。 これは、オーケストレーションの取り組みにおいてほとんどのチームに共通するシナリオである、実行ごとにデータセットを複製する場合と比較して、より高いROIにつながります。 ROIを向上させるためにさらにインパクトがあるのは、多くのチームがこの目的のために冗長性を避けるために複雑なデータカタログを構築してきたことです。

SageMaker HyperPod with Qumulo - 単一リージョンデータセット

このデプロイメントでは、SageMaker HyperPodと同じリージョンに学習データとともにCNQをデプロイした。 CNQは、P5e EC2ノードとコロケートされていない単一のアベイラビリティゾーンに配置された。 アーキテクチャを図1に示す。 

SageMaker HyperPod with Qumulo - マルチリージョンデータセット

この配備では、リージョン2をハブ、リージョン1をスポークとしてCNQを配備した。 CDFはCNQのスポークフォルダーとの間でデータを最適に分配する。 これにより、トレーニングに必要なデータのみをスポークに配布することができる。

図2：Qumuloアーキテクチャ上のAmazon Sagemaker Hyperpodによる多地域データセット

SageMaker HyperPod with Qumulo - ハイブリッドまたはマルチクラウドオプション

すでに多くの企業が、GPUクラスターをある環境で運用しながら、データセットを別の環境に残しています。Qumuloのクラウドデータファブリックは、オーケストレーション不要で、シームレスなハイブリッドまたはマルチクラウドトポロジーを可能にします：

  • オンプレからクラウドへ： オンプレミスのQumuloクラスタを信頼できるデータソースとして使用し、SageMaker HyperPodまたはAzure AI Foundryでトレーニングする。これを図2に示します。

  • マルチクラウド： 統一されたネームスペースとポリシーコントロールにより、AWS、Azure、GCPでQumuloインスタンスを使用できます。

  • エッジ・トゥ・コア 複雑なレプリケーション作業を行うことなく、エッジで生成されたデータを収集、キュレート、トレーニング。

図3：ハイブリッドデータセットのためのQumuloアーキテクチャ上のAmazon Sagemaker Hyperpod

QumuloとSageMaker HyperPodの統合

を使用した単一リージョン展開の検証済みレシピを以下に示します。 AWSマーケットプレイスのCloud Native Qumulo (CNQ) を使用して SageMaker Hyperpod と統合します。 このレシピでは、CNQ はトレーニングデータとチェックポイントをサポートし、NFS CSI ドライバを使用して SageMaker Hyperpod 上での動的なコンテナデプロイメントを可能にします。

検証されたコンフィギュレーションを再現するために、以下の手順を概説する；

ステップ1: Amazon EKSとHyperPodクラスタのプロビジョニング

に従った。 EKS & HyperPodセットアップガイド を使用して EKS クラスタを展開し、SageMaker HyperPod を統合します。

# 管理ノードグループを持つ EKS クラスタを作成します。
eksctl create cluster
--名前 hyperpod-eks
--バージョン 1.29
--region us-west-2
--ノードグループ名 workers
--ノードタイプ P5.4xlarge
--ノード数 2
--nodes-min 2
--nodes-max 8

# ノードの準備ができたことを確認する
kubectl get nodes

ステップ2: TerraformでQumuloクラスタをデプロイする

Terraformを使用してAWS上にCloud Native Qumulo (CNQ)をデプロイするには、永続ストレージにAWS S3、コンピュートとキャッシュリソースにEC2インスタンスを活用する、完全に弾力的なファイルデータプラットフォームをセットアップする必要があります。デプロイプロセスはAWS Well-Architected Frameworkに従い、スケーラビリティ、セキュリティ、運用効率を保証します。デプロイを開始する前に、適切なIAM権限、Qumuloのエンドポイントへのアウトバウンドインターネット接続、S3 VPCゲートウェイのセットアップなど、いくつかの前提条件を満たす必要があります。Terraformデプロイメントパッケージは、必要なすべてのAWSリソースのプロビジョニングを自動化するモジュラーテンプレートを提供します。

デプロイは主に2つのフェーズで行われる。まず、Terraformの設定を使ってQumuloのデータを格納するS3バケットを作成し、永続的なストレージを確立する。ストレージが作成されると、2番目のフェーズではQumulo CoreをホストするEC2インスタンスがデプロイされる。Terraformは設定の一貫性、命名規則、依存関係の管理を自動的に処理し、複数のクラスタ間での競合を避けるためにすべてのリソースに一意のデプロイ識別子を付ける。

デプロイ後のタスクには、クラスタ構成の検証、AWS Systems Managerを介したプロビジョニングの成功確認、Qumulo Authoritative DNSを使用したDNS解決の設定（オプション）などが含まれます。その結果、ペタバイトスケールのデータを弾力的に管理できる、完全に運用可能なクラウドネイティブのQumuloクラスタが完成します、 マルチプロトコルアクセス にとって S3、NFS、SMB、FTP、RestAPIアクセス とAWSの統合の利点。

に従う。 Terraformを使ってAWS上にCNQをデプロイするガイド をご覧ください。

ステップ3: Qumuloユーザーの作成とNFSエクスポート 

を使用している。 クムロGUIツール (httpブラウザでアクセス可能）：

  1. 新しいユーザーと権限を追加しました。

  2. NFSエクスポートパス/ai-factory-dataを作成します。

参考NFSエクスポートの作成方法。

ステップ4：CSIドライバのインストールとPVCの設定

KubernetesワークロードをQumuloに接続するために、CSIドライバをインストールし、PVCを定義した。

# Qumulo CSI ドライバをインストールする
helm repo add csi-driver-nfs https://raw.githubusercontent.com/kubernetes-csi/csi-driver-nfs/master/charts
helm install csi-driver-nfs csi-driver-nfs/csi-driver-nfs --namespace kube-system --version 4.12.0

# PVの設定例
apiVersion: v1
種類PersistentVolume
メタデータ：
名前: pv-qumulo-static
spec：
容量
ストレージ50Ti
アクセスモード
- リードライトマニー
persistentVolumeReclaimPolicy：保持
storageClassName：""
マウントオプション
- vers=3
- プロト=tcp
- ノロック
csi
ドライバ: nfs.csi.k8s.io
# 安定したパスベースのハンドルを使用します volumeHandle: qumulo-nfs-root
ボリューム属性
サーバー: qumulo.qumulo-hub.com
共有："/csi"

# PVCの設定例
apiVersion: v1
種類PersistentVolumeClaim
メタデータ
名前: pvc-qumulo-static
spec：
accessModes：
- ReadWriteMany
リソース
リクエスト
ストレージ50Ti
storageClassName：""
ボリューム名: pv-qumulo-static

参考CSI DriverでKubernetesを接続する。

ステップ5：ワークロードの実行 

を配備した。 ラマ2モデル 使用して PyTorch FSDP Kubernetes上で。

# FSDPで分散されたラマ2の仕事を開始する

kubectl create -f llama2-fsdp-job.yaml

設定はAWSのサンプルに従った：ラマ2 FSDPの例。

このセットアップは、シングルリージョンとマルチリージョンの両方のオペレーションで検証され、ハイブリッドとマルチクラウドのAIファクトリーの青写真を形成している。

結論

企業がAIへの意欲を拡大するにつれ、データが存在する場所に移動することなく、コンピューティングが可能な場所でトレーニングを行う能力は、業務効率を改善し、事業部門が結果を得るまでの全体的な時間を短縮します。オンプレミス、クラウド、エッジのQumuloは、基盤モデル開発に必要なパフォーマンスとシンプルさを備え、最もコスト最適化された方法でこれを実現するためのイネーブラーです。QumuloをSageMaker HyperPod（およびその他のクラウドまたはオンプレミスのAI開発フレームワーク）と組み合わせることで、組織は以下のことが可能になります：

  • トレーニング前後の結果が出るまでの時間を25%以上短縮する。

  • 地理的に分散したデータにAIワークロードを展開し、加速するコンピュート不足を克服します。

  • ゼロオーケストレーションでAIデータループの運用オーバーヘッドを削減

  • 環境間でデータガバナンスとセキュリティポリシーを統一する。

GPUがAWS、Azure、GCP、オンプレミスのいずれで稼働しているかにかかわらず、Qumuloは、どこでも訓練でき、どこでも管理できるAI戦略を可能にします。

詳細はこちら qumulo.com/ai