Qumulo LogoQumulo Logo

ブログ

どこでもAI/MLとScale Anywhere™

あなたは次のAI/MLソリューションのプランニングに膝まで浸かっている。ストレージに関連するすべての決定事項については、もうお決まりですか? オンプレミスかクラウドか?オブジェクトかファイルか?AI/MLソリューションはどこで運用するのか?

ところで、その前に言っておきたいことがある。私はこの言葉が大嫌いだ。 人工知能.真面目な話、AIはドアノブよりも知能が低い!ほんの数十年前に世界中に存在したよりも多くの処理装置で、1時間単位で実行される膨大な量のデータを使った、単なる数学であり、統計なのだ。

以下はその記事である。 ChatGPTの舞台裏で実際に起きていること.私はAIという言葉が大嫌いなので、この記事ではMLを使うことにする。

さて、私のソープボックスから降りよう。 AI、つまりMLにとってなぜストレージが重要なのかについて話そう。

MLはデータがすべて。 あなたはそれを見つけなければならない!

MLのワークロードを支えるデータは どこでも.MLソリューションの必要性も同様です。いくつかの例(すべて私たちの顧客の実際のワークフローから得られたものです:)

  • 工場。 あらゆる場所に設置されたカメラは、リアルタイムで自動化された製造作業のあらゆる情報をキャプチャする。これらの情報はすべて、ローカルストレージに継続的に集約されます。

各製造ラインのデータは一元管理(クラウドまたはオンプレミス)され、故障検出を自動化するためのトレーニングモデルのソースとなる。各工場でMLソリューションを導入し、得られた推論モデルを用いて歩留まりを改善する。

ちなみに、このワークフローでQumuloを活用している顧客もいます!

  • 自動運転車。 実世界の高解像度マルチスペクトル映像は、最初は数百台の試験車両によって、次に数千台の実験車両によって、そして最終的には数百万台の一般車両によって、連続的に撮影される。

車はこれらのビデオをWi-Fi経由で母艦に送り返す(テスラ、私はあなたを見ている!)。上記は、ドライバーを支援し、自動操縦を可能にし、自動運転車を実現するためのモデルをトレーニングするためのソースデータである。

上記から導き出された推論モデルは、車載の推論エンジンによって実行され、リアルタイムでデータを処理する。

そうそう、このワークフローでQumuloを使っている顧客もいる!

  • MLアシスト・セキュリティ: 何十万ものネットワーク・デバイスがアクティビティ・ログを生成し、ローカルに集約される(クラウド、オンプレミス、またはその両方)。これは、不正なネットワーク侵入を検出するモデルのトレーニングデータセットとなります。

最新のネットワーク・デバイスは、これらの推論モデルを使用して、リアルタイムで観測されたイベントを分析し、不正侵入の発見に努めている。

ご想像のとおり、今日もお客さんにやってもらっている!

共通項を見つけられるだろうか?これは、ネットワークのエッジからコア、そしてパブリック・クラウドまで、"あらゆる場所 "でのワークフローである。

選択、選択、選択

MLソリューションはどうだろう あなた に取り組んでいますか?これらの使用例がそうであったように、あなたはどこで、どのようにモデルを構築するかについて、一連の重要な選択をしなければならない。説明しよう.

  • エッジ、コア、それともクラウド? データはどこに保存されるのか?モデルはどこに置くのか?ソリューションはどこにあるのか?クラウドの人々は、それは(そしてこれからも)クラウドだと主張する。そして、確かに彼らは偏っているが、良い点も指摘している。

結局のところ、スタック全体が毎週のように変化している中で、LLMのトレーニングの運用に必要なインフラを維持できる組織があるだろうか?私は、社内のクラウドかオンプレミスかの議論に関して、MLが最後の藁だったと言う多くの組織と話したことがある。

しかし、「ゲームオーバー」と言う前に、ここに興味深い傾向がある。私は、数億ドルを費やす多くの顧客と話をする。 各四半期 クラウド上にある定常状態のワークロードをオンプレミスに戻そうとしている。なぜか?彼らは 成熟した オンプレミスのMLソリューションは、より安定したコスト最適化されたソリューションを提供します。

言い換えれば、迅速な実験と早期の実用化はクラウドで、成熟したMLソリューションは所有・運営されるデータセンターで、より安定性と経済性を享受する。しかし、それは一つの選択肢に過ぎない.

  • オブジェクトかファイルか? 答える前に、こう考えてほしい。クラウドはオブジェクト・ストレージを非常にうまく扱うが、ファイル・データは苦手だ。オンプレミスは、ファイルデータは非常によく扱うが、オブジェクトは苦手だ。そして、クラウドとオンプレミスの両方が必要になる可能性が高いことを説明した。MLにはどちらが適しているのだろうか?それは 複雑.

一方では、ほとんどのLLMはオープンソースであり、ローカル・ストレージ・インターフェースを介してデータにアクセスすることを期待している。これはクラウドにとっては問題で、データを大量に消費するGPUにデータを供給する前に、オブジェクトからローカル・ディスク(インスタンス・アタッチドNVMeまたはEBS/マネージド・ディスク)にデータをコピーする特注のデータ・ローダーを作成しなければならない。グーグル 事業継続計画 はこのように語っている:

「ほとんどのAIワークロードは、クラウド・ストレージが提供するオブジェクト・セマンティクスではなく、ファイル・システム・セマンティクスを必要とするからだ。

何をすべきか?

多くの疑問があります!AI/MLのワークロードはオンプレかクラウドか?LLMを動かすデータのリポジトリはファイルかオブジェクトか?様々な場所のデータをどのように集約し、ライフサイクル全体で管理するのか?Dell、VAST、NetAppなど、どのストレージ・ソリューションが最適かは、お客様の決断にかかっています。

それとも... どうだ?

100%ソフトウェアベースの非構造化データストレージおよび管理ソリューション、QumuloのScale Anywhere™をご紹介します。コアデータセンターソリューションが必要ですか?パブリック・クラウド?チェックファイル?ファイル?オブジェクト?チェックあなたが望むMLの決定を下す。 構わない.Qumuloは、お客様が必要とされるところならどこにでも駆けつけます。

オンプレミスの複数のストレージ・サーバー・ハードウェア・プラットフォームと複数のパブリック・クラウドにまたがる顧客がいます。素晴らしいのは、Qumuloベースの非構造化データワークロードがこれら全体で統一されていることです。

いつもお客さんの前にいるので、好意的なフィードバックが多いんです。それは、これまで働いてきた他の会社と比べて新しいことですが、すぐに慣れました!

QumuloのScale Anywhere™で、MLの選択をスムーズに。

MLを導入するには、多くの厳しい決断が必要だ。しかし、どのストレージプラットフォームを使うかは、その一つではありません。QumuloでScale Anywhere™を試してみてください。あなたが下す決断に関係なく、すべてのMLワークロードを管理できます ...

  • エッジ、コア、クラウド

  • ファイルまたはオブジェクト

  • トレーニングデータの収集、集約、キュレーションのために

  • あるいは......推論モデルを分散エッジにプッシュできるようにする。

Qumuloは最も簡単なMLの選択肢です。

Scale Anywhere™ですべてのパーツにAI/MLを搭載