Azure Native Qumulo が EU、英国、カナダで利用可能になりました – 詳しくはこちら

サンディエゴスーパーコンピューターセンターは、Qumuloで高度なストレージを超大型化します

グローバルな科学研究コミュニティは、業界、個人、専門分野にまたがっています。 ただし、共通点がXNUMXつあります。それは、大規模なコンピューティングおよびデータストレージリソースの必要性です。

独自のスーパーコンピューターと高度なストレージシステムを購入できる研究機関はごくわずかです。 多くの場合、データ集約型の調査クライアントにリモートコンピューティングとストレージ容量を提供するために、専門のマネージドサービスプロバイダー(MSP)を利用しています。

SDSC写真

サンディエゴスーパーコンピューターセンターが主導権を握る

サンディエゴスーパーコンピューターセンター(SDSC)は、政府、学界、および企業の科学コミュニティ向けの主要なMSPです。

SDSCは、XSEDE(eXtreme Science and Engineering Discovery Environment)のメンバーです。これは、研究者がコンピューティングリソース、データコレクション、および高度な研究ツールをインタラクティブに共有できるようにする単一の仮想システムです。

カリフォルニア大学サンディエゴ校の研究ユニットとして、SDSCはオンプレムのスーパーコンピューターを使用して、高度な計算と、データ統合、パフォーマンスモデリング、データマイニング、予測分析などのビッグデータストレージと分析のすべての側面を実行します。

SDSCはクライアントと協力して、アメリカ自然史博物館の天体物理学の視覚化、南カリフォルニアのビッグワンの大規模シミュレーション、疾病センターの洗練されたインフルエンザシーズンモデリングなど、極端なデータプロジェクト用にスーパーコンピューターとストレージシステムのリソースをカスタマイズします。コントロール。

SDSC の XNUMX つの重要なプロジェクトは、急速に成長する神経科学研究コミュニティにサービスを提供しています。その XNUMX つは、国立科学財団 (NSF) と国立衛生研究所 (NIH) の資金提供によるセンターの神経科学ゲートウェイ (NSG) です。このセンターは、エール大学とセンターの共同研究です。 、ユニバーシティ・カレッジ・ロンドン。 NSGportal を使用すると、神経科学の研究者が、データ集約型のストレージ システムに保存された大規模な神経科学データの管理が必要なモデリングやデータ処理のための大規模コンピューティングにアクセスできるようになります。

開発中の別の神経科学製品は、NIHが資金提供するNEMAR(人間のNeuroElectroMagneticデータアーカイブおよびツールリソース)ゲートウェイです。 ゲートウェイは、神経科学者向けにアーカイブされたEEG(脳波)およびMEG(脳磁図)データへのオープンアクセスを開発しており、大規模なデータの保存と管理はプロジェクトの重要な部分です。

「Qumuloを使用することで、他のストレージソリューションで経験したよりもはるかに低い運用コストを実現しました。 さらに、クラスターのサイズがXNUMX倍になり、まもなく再びXNUMX倍になる可能性があります。」

クライアントの要求はスーパーリソースを超える可能性があります

SDSCは、ストレージインフラストラクチャに関する課題に直面しました。 これらのデータ集約型ゲートウェイとクライアントテクノロジースタックは、大量のビッグデータ(その多くは非構造化)用の高性能で大容量のデータストレージをサポートする必要があります。 センターのスーパーコンピューターはコンピューティングタスクを簡単に処理できますが、神経科学ストレージシステムには、ビッグデータ、高速アクセス、高度な分析をサポートするために必要な大規模なスケールアウト容量とストレージ機能がありませんでした。

「NSGおよびEEG / MEGデータプロジェクトのストレージ要件は、数十テラバイトから数百テラバイトに増加しています」と、SDSCのデータ対応科学計算のディレクターであるAmitMajumdar博士は述べています。 「大規模なデータ転送とストレージ、高速アクセス、共有、検索機能—これらすべてが私たちのプロジェクトにとってますます重要になっています。」

SDSCは、クライアントの要件を適切に満たすために、パフォーマンス、容量、スケーラビリティ、耐久性、および高度な機能の最適なバランスをすべて妥当なコストで提供するストレージソリューションを必要としていました。

「SDSCでは、重要な分析と結果を提供することが最も重要ですが、高性能コンピューティングのワークロードはストレージシステムに大きく依存しています。 組織として、私たちはサイエンスゲートウェイの一部として、コンピューティングとストレージの両方のクラウドの統合に向けて動いています。 その結果、リサーチデータサービス部門を通じて最先端のクラウドテクノロジーを利用できるようにすることが重要です」とMajumdar氏は付け加えました。

「大規模なデータ転送とストレージ、高速アクセス、共有、検索機能—これらすべてが私たちのプロジェクトにとってますます重要になっています。」

Qumuloとの提携

新しい種類のストレージプロバイダーに対するセンターの要望の原動力は、1PBを超えるストレージ容量を必要とする一連の新しいクライアントでした。 SDSCは、その規模での既存のストレージソリューションのパフォーマンス、信頼性、および管理について懸念を抱いていました。

SDSCのインフラストラクチャディレクターであるBrianBalderstonは、より良い方法があるはずだと判断しました。 彼はいくつかの高性能ストレージシステムをテストし、Qumuloのハイブリッドクラウドファイルストレージを、全国的な研究コミュニティ向けのデータ集約型コンピューティングおよびストレージインフラストラクチャのフロントランナーとして決定しました。

「私は、運用上のケアや給餌をそれほど必要としない、クライアント向けのより優れたストレージシステムを構築できると信じていました。 それで、私は私たちの要件についてQumuloチームに連絡しました」とBalderstonは言いました。 「彼らの分散型スケールアウトNASファイルシステムは、クライアントにとって許容可能な価格で、容量、パフォーマンス、データの整合性、およびスケールアウトの要件を満たしていました。」

Qumuloのファイルストレージは、SDSCの既存のインフラストラクチャや、クライアント組織で使用されているインフラストラクチャとは異なります。 センターのアカデミッククライアントのほとんどは、研究データのワークロード用のオープンソースの並列ファイルシステムに慣れていました。 Qumulo独自のソフトウェアスタックと分散ファイルシステムは新しい種類のストレージであり、現在および将来において、より高度で、大規模な科学研究ワークロードを管理できることがすぐに証明されました。

Qumuloは、非構造化データを並列ファイルシステムよりも効率的にスケーリングするため、大量のファイル数、ディレクトリ構造、および数十億の小さなファイルがある環境に最適です。 スケールアウトNASファイルシステムは、高速な取り込みとアクセスをサポートし、高度に検索可能です。 高可用性と最小限の再構築時間により、データを安全に保ち、データを失うことなく常に利用できます。

SDSCのQumuloの資本コストは予算に沿っており、運用コストは予想よりも低いことがわかりました。 「Qumuloを使用することで、他のストレージソリューションで経験したよりもはるかに低い運用コストを実現しました」とBalderston氏は述べています。 「さらに、クラスターのサイズがXNUMX倍になり、まもなく再びXNUMX倍になる可能性があります。」 SDSCはその節約分をMSPクライアントに還元し、ホスティングプラットフォームをさらに魅力的にしています。

「ラックに別のノードをポップし、ボタンを押して、何を推測しますか? より多くのスペース。"

大規模なスケーリング、高性能

現在、Qumuloは、SDSCとそのクライアントに、大容量/高性能のワークロード用の永続ストレージを提供しています。 主要なインフラストラクチャコンポーネントには、仮想マシン(VM)、スーパーコンピューターにマウントされたQumuloストレージ、および高帯域幅ネットワークが含まれます。 SDSCは、オンプレミスストレージとクラウドストレージを統合して、サイエンスゲートウェイにサービスを提供する方向に進んでいます。 Qumuloのファイルストレージはクラウドネイティブであるため、オンプレミスとクラウドの統合をシームレスにサポートします。

Qumuloは、高速な読み取りと書き込みのために独自のソフトウェアを最適化します。 高速化されたアーキテクチャは、非常に低いレイテンシー、高いIOPSおよびスループットパフォーマンスを提供します。 予測キャッシングとプリフェッチは、IOパターンをプロアクティブに識別し、データを最速のメディアに効率的に移動します。

Qumuloは、SDSCとそのクライアントの両方にとって重要なコンポーネントである、展開、管理、およびアクセスも簡単です。 「QumuloはSDSCにとって非常に簡単に管理できました」とBalderston氏は述べています。

「多くの非効率的なストレージシステムの管理にスタッフとリソースを集中させる代わりに、私たちはエンジニアリング時間を使用して、国立科学財団、国立衛生研究所、およびその他の資金提供機関からの非常に影響力があり、資金が豊富な助成金に取り組んでいます。 それは私たち全員にとって大きな勝利です。」

Qumuloは、それが別の種類のストレージ会社であることを証明しました。これは、現代に向けてストレージを構築した会社です。 一部のレガシーストレージシステムは、明確に定義された従来のストレージ環境の構造化データに対して引き続き機能します。 しかし、これらの製品は、今日の大規模なデータの増加、非構造化データタイプ、集中的な科学的ワークロード、および複雑なアプリケーション向けに設計されたことはありません。

これらの新しいストレージ要件を満たし、それを超えるために、Qumuloは、最新の大規模な分散データベースの背後にある原則を使用してソフトウェアを設計しました。 その結果、比類のないパフォーマンスとスケーラビリティを備えた独自のファイルシステムが実現します。

クライアントの採用は、SDSCでのポイントを証明しています。 「おそらく私の最大の成果は、このストレージシステムを立ち上げて、大規模に採用することです」とBalderston氏は述べています。 「最初の概念実証以来、SDSCは、カリフォルニア大学のXNUMXを超える研究所や学部を含む新しい顧客に到達しました。 これほど早く採用されたサービスは他にありません。」

SDSCのロゴ

わたしたち

サンディエゴスーパーコンピューターセンター(SDSC)は、政府、学界、および企業の科学コミュニティ向けの主要なMSPです。 カリフォルニア大学サンディエゴ校の研究ユニットとして、SDSCはオンプレムのスーパーコンピューターを使用して、高度な計算と、データ統合、パフォーマンスモデリング、データマイニング、予測分析などのビッグデータストレージと分析のすべての側面を実行します。

使用事例

  • 大規模な非構造化ファイルストアを効果的に保存および管理する
  • 大規模で増大する科学研究のワークロードをサポートする
  • 高性能データの取り込みと複数のグローバルクライアントへのアクセスを提供します

募集要項

  • 高性能
  • 高可用性と耐久性
  • 導入、管理、アクセスのしやすさ
  • TBからPBに簡単に拡張できます
  • お財布に優しい
上へスクロール