Qumulo LogoQumulo Logo

ブログ

データがすべて

データがすべて私は何十年もの間、「ネットワークはプラットフォームである」、「コンピュートは産業を再形成する」、「ストレージはデジタル基盤を提供する」と言い続けてきた。しかし、真実は、本当の真実は、これらの領域はすべて、そこを流れるデータがあるからこそ重要なのだ。データのないネットワークは、ルーターを通過する空のパケットにすぎない。データのないストレージは、フラッシュと回転ディスクの冷たく静かな板だ。データのないコンピューティングは、意味を待っているプロセッサに過ぎない。データは役者であり、脚本であり、舞台である。他のすべては脇役なのだ。

このレンズを通して世界を見ると、その姿は非常に鮮明になる。あらゆるカメラ、製造ライン、自律走行車、臨床機器、POSシステム、衛星、センサーなど、データはエッジで作成される。データはデータセンターで永続化され、管理され、そこで耐久性、信頼性、分析が可能になる。クラウドでは、拡張、バースト、変換が行われ、エラスティック・コンピュートによって、自分たちでは決して構築できないような一時的なスーパーパワーがもたらされる。そして、これらの世界はもはや別々のものではありません。ひとつの連続体なのだ。ひとつの布。私たちが触れるすべての産業を形成するひとつの力なのだ。

何十年もの間、マントラはシンプルだった。アルゴリズム、検索、ソート、統計パスなど、計算が軽いものであれば、データがすでに存在している場所にプッシュすることができる。アルゴリズムは小さい。データは巨大だった。クエリの移動は安価だった。ペタバイト単位の移動はそうではなかった。このロジックは、私たちの足元で世界が変わるまで続いた。

今日、加速化されたコンピューティングは、制約の多いリソースとなっている。電力網は飽和状態にある。データセンターのスペースは割高だ。GPU、TPU、カスタム・アクセラレーターは高価で、過剰な需要があり、世界中に偏在している。初めて、重力の中心が移動したのだ。コンピューティングは希少で一過性のものかもしれないが、データは豊富でどこにでもある。そして私たちは突然、限られたコンピュートしか利用できないという現実を突きつけられた。

そしてこれが2つ目の地殻変動、「適時性」をもたらす。フロンティアAIや基礎的なAIモデルは、ペタバイト単位の静的データで学習された。それらは印象的な統計エンジンであったが、かつての世界について推論していた。推論とリアルタイムの推論は、根本的に異なるものを要求する。データが遅ければ、洞察は間違っている。データに矛盾があれば、モデルは幻覚を見る。データが不完全であれば、結果は危険になる。適時性、正確性、完全性は、この新しい時代において必要不可欠な要件となる。

これこそが、私たちがQumulo Data Fabricを構築した理由です。企業が何百ペタバイト、何エクサバイトに拡張し、データセンター、クラウド、エッジをまたいでグローバルなオペレーションを行い、大規模なAI推論を行うのであれば、厳密な一貫性は贅沢なことではないということを、私たちは早くから学んでいました。それは義務だった。すべての読み手は最新バージョンのファイルを見なければならない。すべてのサイトは整列されていなければならない。すべてのアプリケーションは同じ真実のビューを持たなければならない。この基盤がなければ、AIスタック全体が自重で崩壊してしまう。

クラウド・データ・ファブリックにより、私たちはグローバルで一貫性の高いデータ・プレーンを構築し、リアルタイムで、正確に、アプリケーションをリファクタリングすることなく、データを必要な場所に投影できるようにしました。エッジで取り込まれたデータは、同じセマンティクスでコア、ソブリン・クラウド、またはハイパースケーラGPUファームに流れ込みます。エクサバイトスケールのデータは、シングルラック内のデータと同じ精度でアクセスできます。Qumuloの予測エンジンNeuralCacheは、データがどこにあるべきかを継続的に最適化し、高速化されたコンピューティングがどこで発生しても、それをフルに活用できるようにします。Qumuloのデータ・オペレーティング・システムは、数十億のファイルやオブジェクトをノードやリージョン間で同期させ、ワークロードがどこにあっても、データセットが正しく、最新で、完全であることを保証します。

これは理論ではない。これは現実なのだ。自律走行システムは、1日に1台あたり数十テラバイトをインジェストする。メディアやエンターテインメントのワークフローは、大陸を越えて連携している。ライフサイエンスのパイプラインは、何世代にもわたるゲノムやプロテオミクスのデータセットでモデルをトレーニングする。金融機関は、1時間前ではなくミリ秒前の市場の状態を反映しなければならないリスクモデルを実行している。これらのシステムはドリフトを許容できない。古くなった読み取りデータも許容できない。データが正しい時もあれば正しくない時もある世界も許容できない。常に正しいデータ・ファブリックが必要なのだ。

そして今こそ、業界の考え方が転換しなければならない瞬間なのだ。私たちは長年、ストレージ・アレイ、ネットワーク・ファブリック、コンピュート・クラスタを中心に、あたかもそれらが企業の第一級市民であるかのように設計してきた。そうではない。データがそうなのだ。ストレージ、ネットワーキング、そしてコンピュートは、データを作成し、移動させ、変換し、保存し、インテリジェンスに昇華させるという、データの旅に奉仕するために存在する。

未来は、このことを理解し、そのために構築する企業のものである。エッジ、コア、クラウドが別々のサイロではなく、ひとつの連続体となる世界。コンピュートと適切なデータが、どこにあっても動的にペアリングされる世界。一貫性と正確性がオプションではなく、AIの信頼性の基礎となる世界。グローバル・データ・ファブリックが、すべての分析、すべての推論、すべての人間と機械のコラボレーションを支えるプラットフォームとなる世界。

それが、私たちがQumuloで築いている世界です。データがすべてだからです。そして、あらゆるデータを、あらゆる場所で、正確かつ確実にコントロールする能力を企業に提供することで、AIの可能性を最大限に引き出すことができるのです。