「データレイクはその定義上、監視やガバナンスなしに、あらゆるデータを受け入れる。記述的なメタデータがなければ......データレイクはデータ沼と化す危険性がある。" - ニック・ホイデッカー（元ガートナー
はじめに
過去10年間、データレイクという用語はあまりにも自由に使われてきたため、明確化されるよりも曖昧にされることの方が多かった。今日、ほとんどの組織が実際に運用しているのは、オンプレミスのアレイ、複数のハイパースケールクラウド、エッジ施設に散在するファイルシステムやオブジェクトバケットのモザイクである。そのコストは、単純にペタバイトやドルで測られるのではなく、失われた洞察や運用の足かせ、そしてあまりにも頻繁に起こる避けられないセキュリティ上の問題によって測られる。
暗号的に分離されたテナント認識データプラットフォームであるQumulo Stratusアーキテクチャの導入により、我々は『ユニバーサル・データレイク』に向けて決定的な一歩を踏み出しました。
ユニバーサル・データレイクの基盤
Qumulo Stratusは、ソブリングレードのテナントインフラストラクチャの分離と、データの分離とプライバシーを維持するためにデータ暗号化を使用するシェア・ナッシング・データコアの利点を兼ね備えています。Stratusに接続された各テナントは、独自の暗号化キーと、AD、DNS、SIEMなどのエンタープライズサービスを維持します。データはStratusのプロトコルエンジンで受信されると、テナントの鍵で暗号化され、Qumulo DataCoreに保存されます。結果はシンプルですが、非常に奥深いものです：
データのローカリティが選択肢に 制約ではありません。ワークフローは、アプリケーションをリファクタリングしたりユーザーを再教育したりすることなく、今日AWSでバーストし、明日オンプレミスのGPUファームに戻し、次の四半期にAzureにアーカイブすることができる。
セキュリティは "ボルトオン "ではない。 ファイルやオブジェクトのペイロードは、他のテナントやQumuloデータコアの管理者にとっても不透明なままです。
性能はリニアにスケールする。 コンピューティングを重視するテナントは、独自のNeuralCacheレイヤーをデプロイし、I/Oキャパシティを需要に応じて拡張する。キャパシティを重視するテナントは、KubernetesコンテナやVMからプールされたDataCoreを消費するだけだ。うるさい隣人に悩まされることはありません。
これらの特性は、私たち全員にとって重要な3つの領域（市民のレジリエンス、学術的イノベーション、国家安全保障）において、市場の期待と技術的能力を再構築する。
自治体政府サイロ化せずに重要なサービスを分離する
市や郡のインフラ責任者やCIOは、ArcGISのマッピング/画像、ボディカムのアーカイブ、Splunkの可観測性、Rubrikのバックアップ、Genetecのビデオ監視、公共事業のCAD、および公衆衛生の記録が、それぞれ特注のセキュリティ体制で、根本的に異なる場所に存在しているという同じ話をします。Stratus は、自治体がこれらの島々を単一のネームスペースに統合し、市政、警察、公共事業、保健部門の暗号化された区画を維持することを可能にします。
ランサムウェアの被害が発生した場合、そして悲しいことに、ランサムウェアの被害が発生する可能性がある場合、インシデント対応担当者は、街の他のサービスに付随的な損害を与えることなく、影響を受けたテナントを外科的に切断し、復旧させることができる。一方、予算に乏しいITチームは、1つの分析セット、1つのレプリケーション・ポリシー、はるかに効率的なリソース利用、そしてサービスに影響を与える自然災害の「爆発半径」からはるかに外れたオンデマンドのディザスタリカバリ・データセンターとしてパブリッククラウドを利用する能力を得ることができる。
研究大学学問の自由と企業レベルの統制の融合
現代の大学は、オープンな共同科学と企業レベルのビジネス運営という2つの世界にまたがっている。歴史的に、この二重性は、学術記録、財務、管理システム、工学、ゲノム、プロテオミクス、気象モデリングといった並列的なインフラを大学機関に強いるものでした。ストラタスは、この二重構造を覆します。
計算化学を専攻する大学院生は、助成金の予算に見合うクラウドリージョン上で独立した高性能キャッシュを立ち上げることができ、一方、財務部門は鉄壁のオンプレミスホスト上で元帳を運用し続けることができる。監督委員会は、学生記録の個人情報が輸出規制の対象となる研究データと決して混在しないことを監査可能な形で証明することができる。イノベーションが促進され、ストレージ・エンジニアはワークライフバランスが改善され、コンプライアンス担当者は安心して眠れるようになる。
特別アクセスプログラムクラシファイド・スケールにおけるオペレーショナル・インテグリティ
私は長年、防衛・情報機関のために、あるいは情報機関とともにシステムを構築してきたが、ある教訓は揺るぎない。過剰に特権化された管理者は、ゼロデイ・エクスプロイトよりも多くの機密を漏えいさせており、クローズド・ソースのソフトウェアは、OSSよりもはるかに検査が少ない。Stratusは、この「爆発半径」を小さくする。各プログラムオフィス（例えば、宇宙を飛び回るISR長官室）は、エアギャップされた独自のIDプロバイダー、DNS、Active Directory、HSMティア、NeuralCacheサーフェスを受け取る。ロジスティクステナントの管理者は、アナリティクステナントのデータセットにアクセスすることはおろか、その存在を列挙することすらできない。しかし、アナリストがテレメトリ・フィードのクロスドメイン・クラウド・データ・ファブリック・ストリーミングを承認すると、ストラタスはそのポリシーを即座に実行し、暗号化され、検証され、Chain-of-Custodyのために記録されます。その結果、縦割りインフラによる非効率性を排除しつつ、スノーデン事件から最近のクラウドクレデンシャル流出まで、機密ミッションを悩ませてきた内部脅威を未然に防ぐプラットフォームが誕生した。
クムロ・ストラタスデータの未来
Stratusの立ち上げは、単なる製品イベントや派手な新アーキテクチャではなく、"何でも共有 "ストレージの時代が限界に達したことを示すものです。顧客は今、露出のない弾力性と妥協のないマルチテナンシーを求めている。これらの属性は、もはや相互に排他的なものではなく、テーブルステークスなのです。私は、ストラタスの背後にあるエンジニアリングの素晴らしさを誇りに思っていますが、それ以上に、ストラタスがもたらすものに興奮しています。例えば、災害が発生してもオンラインを維持する都市サービス、個人データを保護しながら発見を加速させる大学、特権のクリープを恐れることなく最終的に区分されたスケールでコラボレーションできる国家安全保障プログラムなどです。このようなマーケットインパクトを提供するためにストラタスは開発されました。サイロを崩壊させ、コントロールを取り戻し、データ戦略をユニバーサルな時代へと加速させる準備ができているのであれば、ぜひ私たちにご参加ください。 ダグラス・ゴーレイ はQumuloの社長兼最高経営責任者であり、コンピュータ・オタクの一人でもある。ストラタスについての詳細は https://discover.qumulo.com/qumulo-stratus-webinar