高性能ジオフィジックス・ラボ

地震洞察を加速する：UNICAMPとアジムタのHPGがAWSでHPCワークロードを拡張するためにQumuloを使用した方法

ハイブリッド・クラウド・バーストにより、より迅速な地震洞察を提供し、UNICAMPがワークフローを高速化し、AWSのHPCパフォーマンスを最大化するのを支援。

でのことだ。 高性能ジオフィジックス・ラボ（HPG） - ブラジルのカンピーナス大学（UNICAMP）の一部であるJorge Henrique Faccipoeri Jr.研究員は、石油・ガス産業における探査と技術革新の原動力となる重要な地震学的洞察を明らかにするため、計算の限界に挑んでいる。Jorge Henrique Faccipoeri Jrが率いるこの研究室では、テラバイト級の地震データを処理するための高度な数学モデルとGPUに最適化されたソフトウェアを開発し、石油やガスが発見される可能性のある割れ目、洞窟、トラップなどの微妙な地下の特徴を明らかにしている。

Faccipoeri氏は、HPGのソフトウェア開発者であるCaian Benedicto氏ら数名と提携し、石油・ガス業界向けの高性能地震探査処理およびイメージング・ソリューションを専門とする独立系地球物理学サービス企業、AZIMUTA GeoSolutions（AZIMUTA）を設立した。HPGとAZIMUTAは共同で、高性能コンピューティング（HPC）技術を発展させ、地震学的解釈を加速・強化することに注力している。

ワークロードとデータ量が拡大するにつれ、ラボのオンプレミスインフラはピーク時の需要に対応できなくなった。柔軟性を維持しながら研究を加速させるため、HPGはQumuloとAWSと提携し、オンプレミスとクラウド環境をシームレスに接続するクラウドバーストソリューションを検討しました。

挑戦

地震処理では、高いスループットと並列性能の両方が要求される。各データセットは数テラバイトに及ぶこともあり、分散GPUベースのソフトウェアが多数のコンピュートノードから同時にデータを読み込みます。HPGのオンプレミス・ストレージ・インフラストラクチャは、日常的なワークロードには十分機能しましたが、複数の部署がリソースを共有するようになると、コンピュートとストレージの可用性が制約されるようになりました。

プロジェクトをスケジュール通りに進めるために、チームは、既存のワークフローを見直したり、膨大なデータセットを複製したりすることなく、AWSのコンピュートリソースを活用し、オンデマンドでクラウドに移行する機能を必要としていた。また、オンプレミスとクラウドストレージ間の完全な可視性を維持しながら、研究者がラボで期待するのと同じパフォーマンスプロファイルを提供する必要がありました。

ソリューション

HPGはQumuloと協力し、オンプレミスのQumulo CoreとAWS上のCloud Native Qumulo (CNQ)を使用し、Qumulo Cloud Data Fabric (CDF)で接続するハイブリッド構成を導入しました。

CDFは環境間のデータブリッジとして機能し，研究者は完全なデータセットを移行したり複製したりすることなく，どちらの場所からでも同じファイルにアクセスして処理することができる．データポータルは，オンプレミスのクラスタをハブ，AWS CNQクラスタをスポークとして構成され，クラウドにインテリジェントなキャッシュレイヤーを構築した．

研究者がAWSで地震処理ジョブを起動すると、QumuloのNeuralCacheは必要なデータブロックだけを自動的にプリフェッチした。機械学習を利用したこの適応型キャッシングにより、アクセス時間を大幅に短縮した迅速な実験の再実行が可能になった。

配備の旅

概念実証は、パフォーマンス、スケーラビリティ、統合の容易さを検証するために設計されました。数日のうちにQumulo CoreがHPGのデータセンターで稼働し、CNQがAWSに数分で導入され、Cloud Data Fabricが2つの環境をシームレスに接続しました。一度設定すれば、Qumuloのデータファブリックは、オンプレミス環境とクラウド環境の間でデータを自動的に同期し、変更されたデータブロックのみを更新し、両環境を完全に一致させます。

このインテリジェントで強力に一貫性のあるキャッシュは、手動でファイルコピーを維持したり、バージョンを照合したりする必要性を排除し、AWSのすべてのデータアクセスが単一の真実のソースを参照することを保証した。研究者は、既存のワークフローを変更することなく、アプリケーションが常に最新のデータを使用していることを認識しながら、自信を持って計算ワークロードをクラウドにバーストすることができた。

これらの結果は、Qumuloのインテリジェントなキャッシングと一貫したファイルシステム体験が、アプリケーションを変更することなく、HPCワークフローを環境間でシームレスに実行できることを示しています。

ビジネスインパクト

• 洞察までの時間を短縮： クラウドバーストにより、データアクセスのレイテンシが最大3倍短縮され、繰り返し地震実験とモデルチューニングが加速された。

• 弾力的なスケーラビリティ： 研究者は、ローカルのハードウェアの可用性に制限されることなく、オンデマンドでAWSのGPUアクセラレーション・コンピューティング・リソースを拡張できるようになりました。

• シームレスなハイブリッド・データ・アクセス： Cloud Data Fabricは、オンプレミスとクラウドにまたがる統一されたデータレイヤーを提供し、手作業による移行や重複の必要性を排除します。

• 簡素化されたインフラ： セットアップは簡単で、ハイブリッド構成でもアプリケーションやワークフローの再構築は必要ありませんでした。

前途

Qumulo、HPG、AZIMUTAは、クラウドコンピューティングの弾力性とオンプレミスシステムのパフォーマンスを組み合わせることで、次世代のハイブリッドHPCワークフローへの道を切り開きます。インテリジェントなデータキャッシングとシームレスなクラウドバーストにより、Qumuloは研究者がインフラの管理よりも地震科学の発展に集中できるようにします。