の世界 人工知能 (AIは急激な成長を遂げ、データを消費することに貪欲になっている。自動運転車から人間の会話を模倣するチャットボットまで、AIは目まぐるしいスピードで業界に革命をもたらしている。AIのパワーはデータのバックボーンに由来する。データへのアクセス、処理のスピード、スケーラブルなストレージ性能はすべて、AIパイプラインの効率を決定する極めて重要な要素です。そこでQumuloは、クラウドにおける業界最高のパフォーマンスと最も費用対効果の高いファイルデータソリューションとして、AIワークロードのための地球上で最高のデータストレージソリューションであることを証明しました。
QumuloがファイルベースのAIワークロードに最適な理由
AIアプリケーションは、ディープラーニングモデルであれニューラルネットワークであれ、独自のストレージ特性を必要とするが、Qumuloはそのすべてを満たしている：
スケーラビリティ： AIのデータセットは動的である。より多くのデータが収集され、処理されるにつれて、時間とともに大きくなります。Qumuloの予測可能な高パフォーマンスでの拡張能力により、AIワークロードが増大しても、Qumuloはどのような規模でもその要求を満たすことができます。
費用対効果： AIの取り組みに資金を提供することは、大きな投資となる可能性があります。パフォーマンスを犠牲にすることなくストレージ・コストを削減することで、研究、開発、生産展開など、他の重要な分野にリソースを割くことができる。
どこでも拡張できる能力TM： インフラオーナーとデータサイエンティストは、ある場所でトレーニングを受けながら、別の場所で高度にセキュアなインフラストラクチャを展開できる柔軟性というメリットを享受できます。QumuloのSoftware-Defined Storageシステムは、どこにでも導入して実行できる。そのため、AIモデルをコアデータセンターでトレーニングしながら、どこでも本番環境にプッシュすることが容易になります。
パフォーマンス AIモデル、特に自律走行車や金融取引のようなシナリオで使用されるモデルは、モデルトレーニングの前後にリアルタイムでデータにアクセスする必要があります。Qumuloの高速データ検索は、データを確実に利用できるようにします。 必要な瞬間に
箇条書きの#4を掘り下げ、データ／メタデータのシームレスで高速な検索の重要性を強調しよう。これは、オンプレミスでもクラウドでも、スケーラブルなファイル・ストレージを必要とするAIアプリケーションにとって不可欠である。
合成AIワークロードのテストを通じて、我々は、データサイエンティストがデータ収集、事前学習、本番学習、継続的推論にQumuloを使用できる、AI向けの市場で最速のファイルベースのクラウドソリューションであることがわかりました。
続きを読む
広く適用可能なAIベンチマーク
Qumuloのパフォーマンス能力を整理するために、AWSインフラストラクチャ上のクラウドでQumuloを実行した最新の結果を見てみよう。我々は、Qumulo上のAIパフォーマンスを特徴付けるためにSPECstorageを使用した。このベンチマーク（AI_Imageと名付けられた）は、一般的なAIワークロードを合成的かつ正確に実行するファイルサイズとI/Oパターンを活用している：
Tensorflowに基づく ベストプラクティス - 世界で最も広く導入されているAI/MLフレームワーク
3つの異なるモデルからトレース：Resnet、VGG(Visual Geometry Group)、SSD(Single shot detector)
CityScape、ImageNet、COCOのオープンソースデータセットを使用
TensorflowはAI分野でユビキタスであるため、ベンチマークはAIの結果を生成する幅広いAIモデルのワークロードに適用される：
画像分類と物体検出
自然言語処理（NLP）
音声認識
推薦システム
生成モデル
ヘルスケアとライフサイエンス
...その他多数
ベンチマークの内容と達成された結果
このベンチマークの目的は、QumuloストレージからAIジョブを実行するアプリケーションレイヤー（GPUを使用）にデータを迅速に提供することです。ベンチマークは、クライアントのバッチから現実的なI/Oパターンのセットからストレージ性能とレイテンシをテストします。クライアントは、目標に達するまでAIジョブの数を段階的に増やしますが、このテストの場合は合計480ジョブです。ベンチマークには4つのメインオペレーションがあり、4つの独立した同時サブワークロードがある：
AI_SF - 小さな画像ファイルの読み込み
AI_TF - より大きなファイル（理想的には100MB以上のファイル）を書き出す。
AI_TR - 大きなTFRecordsを読み込む
AI_CP - 時折チェックポイントを行う
結果
以下の図1はその結果を示している：
X軸はAIベンチマークを実行したジョブ数を時系列で示す
Y軸はテスト期間中の全体的な待ち時間を示す。
レイテンシは、AIジョブの数が増加するにつれて、ストレージのパフォーマンスが高速で予測可能であることを示している！
構内適用
SPECstorageベンチマークテストではクラウドベースの環境が使用されたが、これらの結果は、同様のオンプレミスハードウェアを使用した結果の推定に容易に外挿できる。QumuloがこのベンチマークをSPECのウェブサイトに公開する（予定では2023年12月）際には、使用したEC2インスタンスのタイプ（コア数、使用可能なメモリなど）やネットワーク環境で使用可能な帯域幅など、環境の詳細とコストを確認することができる。とりあえず、このブログの付録として、好奇心旺盛な読者のために詳細を補足しておく。
データサイエンティストとデータエンジニアよ、見よ。自分でやってみよう！
急速に進歩するAIの世界では、堅牢で高速、かつ拡張性の高いストレージソリューションを持つことは贅沢ではなく、必要不可欠です。業界をリードするパフォーマンスとコスト効率を誇るQumuloは、AIワークロードに最適なクラウドベースのファイルソリューションとして際立っています。このベンチマークは、Qumuloの実力を裏付けるだけでなく、AIにとって最も高速で最も広く適用可能なストレージソリューションとしての地位を確固たるものにしています。
参照 全成績 Spec.orgに掲載
付録
パフォーマンス
全体の応答時間＝1.22ミリ秒
ビジネス
指標
(AI_Jobs)平均
待ち時間
(ミリ秒)AI_ジョブ
オペレーション/秒AI_ジョブ
MB/Sec161.36069601565321.281139213127481.313208824691641.213278436255801.201348047822961.1474176593851121.15848726109501281.12355687125141441.12262648140821601.10969609156441761.14476570172081921.11783530187742081.11290491203402241.11297452218992401.121104413234702561.271111374250372721.143118335265982881.155125296281613041.197132257297293201.205139218312893361.257146178328593521.323153139344183681.430160100359843841.503167061375524001.63217402239112
製品・試験情報
Qumulo - Public Cloud Referenceテスト実施者Qumulo, Inc.ハードウェア提供時期2023年11月ソフトウェア提供時期2023年11月テスト実施日2023年11月ライセンス番号6738ライセンシー所在地米国ワシントン州シアトル
Qumuloは、単一のネームスペースでエクサバイト級のスケーラビリティを誇るハイブリッドクラウドファイルストレージソリューションであり、オンプレミスでもクラウドでも同一の機能を備え、マルチプロトコルをフルサポートすることで、多様なアプリケーション間での柔軟性と互換性を確保しています。パブリッククラウドインフラストラクチャとシームレスに統合することで、Qumuloはあらゆる規模の非構造化データストレージを提供し、ストレージパフォーマンスとデータ使用状況をリアルタイムで可視化します。
Qumuloのクラウドネイティブなファイルシステムは、ファイルベースのアプリケーションやワークロードをパブリッククラウド環境にシームレスに移行することを可能にします。Qumuloにより、企業はオンプレミス、クラウドを問わず、エクサバイトのデータを効率的に管理することができます。以下の調査結果は、Qumuloファイルシステムが、AWS上に導入された場合に卓越したパフォーマンスを発揮することを明確に示しています。
被試験溶液 部品表
項目NoQtyTypeVendorModel/NameDescription116AWS EC2インスタンスAWSc5n.18xlargeQumuloノード - Amazon c5n EC2インスタンス（c5n.18xlargeインスタンスは、72 vCPU、192GBのメモリ、100Gbpsネットワーク）216AWS EC2インスタンスAWSc5n.18xlargeUbuntuクライアント - Qumuloクラスタ - Amazon c5n EC2インスタンス（c5n.18xlargeインスタンスは72 vCPU、192GiBメモリ、100Gbpsネットワーク）。
構成図
AWSにおけるクムロ
コンポーネント・ソフトウェア
2Ubuntuオペレーティングシステム22.04Ubuntuオペレーティングシステムは、16台のc5n.18xlargeコンピュートノードに配備されている。これらのノードは、SPEC Storage 2020ベンチマークを実行するクライアントとして使用される。
ハードウェアの構成とチューニング - 物理的
コンポーネント名パラメータ名値説明SR-IOVEnabledCPU仮想化技術を有効にするポート速度100 GbE各ノードは100 GbE接続を持つ
ハードウェア構成とチューニングに関する注意事項
なし
ソフトウェアの設定とチューニング - バーチャル
NetworkingParameterパラメータ名ValueDescriptionJumbo Frames9001最大9001バイトのイーサネットジャンボフレームを有効にするUbuntuクライアントNFSマウントパラメータ名ValueDescriptionvers3NFSv3nconnect16NFSクライアント接続数を最大16まで増加させるTCPQumuloクラスタと通信するためのTCPネットワークトランスポートプロトコルlocal_lockallクライアントは、フロックロックとPOSIXロックの両方をローカルロックと仮定します。Qumuloクラスタと通信するためのトランスポートプロトコルlocal_lockallクライアントは、フロックとPOSIXロックの両方がローカルであると仮定EBSボリュームパラメータパラメータ名値説明IOPS16000EBSボリュームの最大IOPSThroughput1000EBSボリュームの最大スループット
ソフトウェアの設定とチューニング
なし
サービスSLAに関する注意事項
AWSは、商業上合理的な努力をもって、毎月の請求サイクルにおいて、それぞれの場合において、少なくとも99.99%の月間稼働率（Monthly Uptime Percentage）で、各含まれる製品およびサービスを利用できるようにします。月間稼働率は、該当する「本付属製品」および「サービス」のいずれかが「Region Unavailable」の状態であった月の分数の割合を100%から差し引くことにより算出されます。
ストレージとファイルシステム
項目番号説明データ保護安定ストレージ数量1Elastic Block Storageボリューム、容量1TB gp3。各Qumuloノードには6つのEBSボリュームがあります。2ドライブまたは1ノード保護、消去コーディング付きAWS EBS96ファイルシステム数1総容量78.54 TBファイルシステムタイプQumulo
ファイルシステム作成の注意事項
Qumulo Core ファイルシステムは、クラウド形成テンプレートまたは Terraform を使って AWS 上にデプロイされます。Qumulo Core AMIがデプロイされ、自動化されたクラウド形成プロセスの一部として、またはTerraformを介してファイルシステムが構成されます。追加のファイルシステム作成手順は必要ありません。
ストレージとファイルシステム
なし
トランスポート構成 - バーチャル
項目番号転送タイプ使用ポート数備考1100Gbpsイーサネット仮想NIC16クライアントマシンで使用2100Gbpsイーサネット仮想NIC16ノード間通信および任意のクライアントとの通信にQumulo Coreで使用。
トランスポート・コンフィギュレーション・ノート
なし
スイッチ - バーチャル
項目番号スイッチ名スイッチタイプ総ポート数使用ポート数備考1AWS100Gbpsイーサネット、拡張ネットワーキング付き1616クライアントマシンによる使用2AWS100Gbpsイーサネット、拡張ネットワーキング付き1616Qumuloコアノードによる使用
加工要素 - バーチャル
項目NoQtyTypeLocationDescription処理機能11152vCPUc5n.18xlarge Qumulo Core3.5 GHz intel Xeon Platinum プロセッサQumulo Core、ネットワーク通信、ストレージ機能21152vCPUc5n.18xlarge Qumulo Core3.5 GHz intel Xeon Platinum プロセッサSpecストレージクライアントベンチマークプロセッサ
処理エレメントの注記
なし
メモリ - 仮想
説明サイズGiBNインスタンス数不揮発性総GiBAWS EC2 c5n.18xlargeインスタンスメモリ19216V3072AWS EC2 c5n.18xlargeインスタンスメモリ19216V3072グランドトータルメモリギビバイト6144
メモリーノート
なし
安定したストレージ
Qumulo Coreは、安定したストレージを提供するElastic Block Storage（EBS）デバイスを利用しています。
テスト対象ソリューションの構成メモ
テスト対象のソリューションは、Qumulo Coreを利用して構築された標準的な分散クラスタである。Qumulo Coreクラスタは、大小のファイルI/Oとメタデータ集約型のアプリケーションを処理できます。異なるワークロードや混合用途のワークロードに対して、特別なチューニングは必要ありません。