サンディエゴ・スーパーコンピューター・センター

サンディエゴ・スーパーコンピューター・センターがQumuloで先進ストレージを強化

世界の科学研究コミュニティは、業界、個人、専門分野にまたがっている。しかし、巨大なコンピューティングとデータ・ストレージ・リソースの必要性という点では共通している。

自前のスーパーコンピューターや高度なストレージ・システムを導入できる研究機関はごく限られている。その多くは、専門のマネージド・サービス・プロバイダー（MSP）を利用し、データ集約型の研究クライアントにリモート・コンピューティングとストレージ容量を提供している。

サンディエゴのスーパーコンピュータセンターが先導する

サンディエゴ・スーパーコンピュータ・センター（SDSC）は、政府、学術界、企業などの科学コミュニティにとって有数のMSPである。

SDSCはXSEDE（eXtreme Science and Engineering Discovery Environment）のメンバーであり、研究者がコンピューティングリソース、データコレクション、高度な研究ツールをインタラクティブに共有できる単一の仮想システムです。

カリフォルニア大学サンディエゴ校の研究ユニットであるSDSCは、そのオンプレミス型スーパーコンピュータを使用して、データ統合、パフォーマンスモデリング、データマイニング、予測分析など、高度な計算やビッグデータの保存と分析のあらゆる側面を実行しています。

SDSCは顧客と協力し、アメリカ自然史博物館のための天体物理学の可視化、南カリフォルニアのThe Big Oneの大規模シミュレーション、疾病管理センターのための高度なインフルエンザシーズンのモデリングなど、極限データプロジェクト向けにスーパーコンピュータやストレージシステムのリソースをカスタマイズしている。

SDSCの2つの重要なプロジェクトは、急成長する神経科学研究コミュニティに貢献しています。全米科学財団（NSF）と米国国立衛生研究所（NIH）の資金提供を受けたセンターのニューロサイエンス・ゲートウェイ（NSG）は、センター、イェール大学、ユニバーシティ・カレッジ・ロンドンの共同プロジェクトです。NSGportalにより、神経科学研究者は、そのデータ集約型ストレージシステムに保存された大規模な神経科学データの管理を必要とするモデリングやデータ処理のための大規模コンピューティングにアクセスすることができる。

開発中のもうひとつの神経科学サービスは、NIHが資金提供するNEMAR（human NeuroElectroMagnetic data Archive and tools Resources）ゲートウェイである。このゲートウェイは、神経科学者のためのEEG（脳波）およびMEG（脳磁図）データのアーカイブへのオープンアクセスを開発するもので、大規模なデータの保存と管理がこのプロジェクトの重要な部分である。

顧客の要求がスーパーリソースを上回る可能性

SDSCはストレージインフラに関する課題に直面していた。これらのデータ集約的なゲートウェイとクライアント技術スタックは、大量のビッグデータ（その多くは非構造化データ）に対応する高性能かつ大容量のデータストレージをサポートしなければなりません。同センターのスーパーコンピュータはコンピューティングタスクを容易に処理しますが、神経科学のストレージシステムには、大規模なスケールアウト容量と、ビッグデータ、高速アクセス、高度な分析をサポートするために必要なストレージ機能が不足していました。

「NSGとEEG/MEGデータプロジェクトに必要なストレージ容量は、数十テラバイトから数百テラバイトへと増大しています。「大容量のデータ転送と保存、高速アクセス、共有、検索機能、これらすべてが我々のプロジェクトにとってますます重要になってきています。

SDSCは、顧客の要件を満たすために、パフォーマンス、容量、拡張性、耐久性、高度な機能の最適なバランスを、リーズナブルなコストで実現するストレージソリューションを必要としていました。

「SDSCでは、重要な分析と結果を提供することが最も重要ですが、ハイパフォーマンスコンピューティングのワークロードは、ストレージシステムに非常に依存しています。組織として、サイエンスゲートウェイの一部として、コンピュートとストレージの両方にクラウドを統合する方向に向かっています。その結果、当社のリサーチ・データ・サービス部門を通じて最先端のクラウド技術を利用できるようにすることが重要なのです」とマジュムダー氏は付け加えた。

Qumuloとの提携

同センターが新しいタイプのストレージプロバイダを求めたきっかけは、1 PBを超えるストレージ容量を必要とする一連の新規顧客だった。SDSCは、その規模での既存のストレージソリューションのパフォーマンス、信頼性、管理に懸念を抱いていた。

SDSCのインフラストラクチャー・ディレクターであるブライアン・バルダーストン氏は、もっと良い方法があるはずだと考えました。彼は、いくつかの高性能ストレージシステムをテストし、国立研究コミュニティ向けのデータ集約型コンピューティングとストレージインフラのトップランナーとして、Qumuloのハイブリッドクラウドファイルストレージに決定した。

「私は、運用の面倒をそれほど見る必要のない、より優れたストレージシステムを顧客のために構築できると信じていました。そこで、Qumuloチームに要件を伝えました。「Qumuloの分散型スケールアウトNASファイルシステムは、容量、パフォーマンス、データ保全性、スケールアウトの要件を満たし、かつ顧客にとって納得のいく価格でした。

Qumuloのファイルストレージは、SDSCの既存のインフラストラクチャーや顧客組織が使用しているものとは異なっていた。同センターのアカデミッククライアントのほとんどは、研究データワークロード用のオープンソースの並列ファイルシステムに慣れていた。Qumuloが独自に開発したソフトウェアスタックと分散ファイルシステムは、新しいタイプのストレージであり、現在および将来の大規模な科学研究のワークロードを管理できる、より高度なものであることがすぐに証明されました。

Qumuloは、並列ファイルシステムよりも効率的に非構造化データをスケーリングするため、膨大なファイル数、ディレクトリ構造、数十億の小ファイルが存在する環境に最適です。スケールアウト可能なNASファイルシステムは、高速な取り込みとアクセスをサポートし、高度な検索が可能です。高い可用性と最小限のリビルド時間により、データの安全性と可用性を常に維持し、データの損失を防ぎます。

SDSCのQumuloの資本コストは予算通りであり、運用コストは予想よりも低いことが判明した。「Balderston氏は、「Qumuloを導入したことで、他のストレージソリューションで経験したよりも、運用コストを大幅に削減することができました。「さらに、クラスタの規模を2倍に拡大し、近々さらに2倍に拡大する予定です。SDSCはこの節約分をMSPクライアントに還元し、ホスティングプラットフォームの魅力をさらに高めています。

マッシブ・スケーリング、ハイパフォーマンス

現在、QumuloはSDSCとそのクライアントに、大容量・高性能ワークロード用の永続的ストレージを提供しています。インフラストラクチャの主要コンポーネントには、仮想マシン（VM）、スーパーコンピュータにマウントされたQumuloストレージ、広帯域ネットワークが含まれる。SDSCは、サイエンスゲートウェイに対応するため、オンプレミスとクラウドストレージの統合を進めている。Qumuloのファイルストレージはクラウドネイティブであるため、オンプレミスとクラウドの統合をシームレスにサポートします。

Qumuloは、独自のソフトウェアを最適化し、高速な読み取りと書き込みを実現します。高速化されたアーキテクチャは、極めて低いレイテンシー、高いIOPSとスループット性能を実現します。予測キャッシングとプリフェッチは、IOパターンをプロアクティブに識別し、データを最も高速なメディアに効率的に移動します。

Qumuloは、導入、管理、アクセスも簡単で、SDSCとその顧客双方にとって重要な要素です。「SDSCにとって、Qumuloの管理は驚くほど簡単です。

「多くの非効率なストレージ・システムの管理にスタッフやリソースを集中させる代わりに、私たちはエンジニアの時間を使って、国立科学財団や国立衛生研究所、その他の資金提供機関から提供される、非常にインパクトのある助成金の獲得に取り組んでいます。これは私たち全員にとって大きな勝利です」。

Qumuloは、自社が従来とは異なるタイプのストレージ企業であることを証明した。レガシー・ストレージ・システムの中には、明確に定義された従来のストレージ環境で構造化データに対応するものもある。しかし、これらの製品は、今日の膨大なデータの増加、非構造化データの種類、集中的な科学的ワークロード、複雑なアプリケーションのために設計されたものではない。

このような新しいストレージ要件を満たし、それを超えるために、Qumuloは、最新の大規模分散データベースの原理を利用してソフトウェアを設計しました。その結果、比類のないパフォーマンスとスケーラビリティを備えたユニークなファイルシステムが誕生しました。

クライアントの採用がSDSCのポイントを証明している。「おそらく私の最大の功績は、このストレージシステムを立ち上げ、大規模な採用を獲得したことでしょう。「最初の概念実証以来、SDSCは20を超えるカリフォルニア大学の研究所や学部を含む新しい顧客を獲得しました。これほど早く採用されたサービスは他にないと思います。"