고성능 지구물리 연구실

지진 인사이트 가속화: 유니캠프와 아지무타의 HPG가 Qumulo를 사용하여 AWS에서 HPC 워크로드를 확장한 방법

하이브리드 클라우드 버스팅을 통해 더 빠른 지진 인사이트를 제공하여 유니캠프가 AWS에서 워크플로우를 가속화하고 HPC 성능을 극대화할 수 있도록 지원합니다.

에서 고성능 지구물리 연구실(HPG) - 브라질의 '캄피나스 에스타두알 데 캄피나스 대학(Universidade Estadual de Campinas)'의 일부인 이 연구소의 연구원들은 석유 및 가스 산업의 탐사와 혁신을 주도하는 중요한 지진 인사이트를 발견하기 위해 계산의 한계를 뛰어넘고 있습니다. 호르헤 엔리케 파시포에리 주니어가 이끄는 이 연구소는 테라바이트 규모의 지진 데이터를 처리하는 고급 수학적 모델과 GPU에 최적화된 소프트웨어를 개발하여 석유와 가스가 발견될 수 있는 균열, 동굴, 함정과 같은 미묘한 지하 지형을 밝혀내고 있습니다.

파시포리는 HPG의 소프트웨어 개발자인 카이안 베네딕토 및 다른 여러 사람들과 협력하여 석유 및 가스 산업을 위한 고성능 지진 처리 및 이미징 솔루션을 전문으로 하는 독립 지구물리 서비스 회사인 AZIMUTA GeoSolutions(AZIMUTA)를 설립했습니다. HPG와 AZIMUTA는 함께 지진 해석을 가속화하고 향상시키기 위해 고성능 컴퓨팅(HPC) 기술을 발전시키는 데 주력하고 있습니다.

워크로드와 데이터 양이 증가함에 따라 연구소의 온프레미스 인프라는 더 이상 피크 수요를 충족할 수 없게 되었습니다. 유연성을 유지하면서 연구를 가속화하기 위해 HPG는 온프레미스 환경과 클라우드 환경을 원활하게 연결하는 클라우드 버스팅 솔루션을 모색하기 위해 Qumulo 및 AWS와 파트너십을 맺었습니다.

도전 과제

지진 처리에는 높은 처리량과 병렬 성능이 모두 필요합니다. 각 데이터 세트는 수 테라바이트에 달할 수 있으며, 분산형 GPU 기반 소프트웨어가 여러 컴퓨팅 노드에서 동시에 데이터를 읽습니다. HPG의 온프레미스 스토리지 인프라는 일상적인 워크로드에는 잘 작동했지만, 여러 부서에서 리소스를 공유하면서 컴퓨팅 및 스토리지 가용성에 제약이 생겼습니다.

프로젝트를 일정에 맞추기 위해 이 팀은 기존 워크플로우를 점검하거나 대규모 데이터 세트를 복제하지 않고도 필요에 따라 클라우드로 전환하여 AWS 컴퓨팅 리소스를 활용할 수 있는 기능이 필요했습니다. 또한 온프레미스와 클라우드 스토리지 간의 완전한 가시성을 유지하면서 연구자들이 실험실에서 기대하는 것과 동일한 성능 프로필을 제공하는 솔루션이 필요했습니다.

솔루션

HPG는 Qumulo와 협력하여 온프레미스에서 Qumulo Core를 사용하는 하이브리드 구성과 Qumulo 클라우드 데이터 패브릭(CDF)을 통해 연결된 AWS의 Cloud Native Qumulo(CNQ)를 배포했습니다.

CDF는 환경 간의 데이터 브리지 역할을 하여 연구자들이 전체 데이터 세트를 마이그레이션하거나 복제하지 않고도 어느 위치에서나 동일한 파일에 액세스하고 처리할 수 있게 해줍니다. 데이터 포털은 온프레미스 클러스터를 허브로, AWS CNQ 클러스터를 스포크로 구성하여 클라우드에 지능형 캐싱 계층을 만들었습니다.

연구원들이 AWS에서 지진 처리 작업을 시작할 때, Qumulo의 NeuralCache는 필요한 데이터 블록만 자동으로 프리페치했습니다. 머신 러닝을 기반으로 하는 이 적응형 캐싱은 훨씬 더 빠른 액세스 시간으로 실험을 신속하게 재실행할 수 있게 해 주었습니다.

배포 여정

이 개념 증명은 성능, 확장성, 통합 용이성을 검증하기 위해 설계되었습니다. 며칠 만에 HPG의 데이터 센터에서 Qumulo Core를 가동하고, AWS에 CNQ를 몇 분 만에 배포했으며, Cloud Data Fabric을 통해 두 환경을 원활하게 연결했습니다. 일단 구성이 완료되면 Qumulo의 데이터 패브릭은 온프레미스와 클라우드 환경 간에 데이터를 자동으로 동기화하여 변경된 데이터 블록만 업데이트하고 두 환경이 완벽하게 정렬된 상태를 유지합니다.

이 지능적이고 강력하게 일관된 캐시는 파일 복사본을 수동으로 유지 관리하거나 버전을 조정할 필요가 없으므로 AWS의 모든 데이터 액세스가 단일 데이터 소스를 참조하도록 보장합니다. 연구원들은 기존 워크플로를 변경하지 않고도 애플리케이션이 항상 최신 데이터를 사용하고 있다는 사실을 알고 자신 있게 컴퓨팅 워크로드를 클라우드에 버스팅할 수 있었습니다.

이러한 결과는 Qumulo의 지능형 캐싱과 일관된 파일 시스템 환경을 통해 애플리케이션 변경 없이도 HPC 워크플로우를 여러 환경에서 원활하게 실행할 수 있다는 것을 보여주었습니다.

비즈니스 영향

• 인사이트 확보 시간 단축: 클라우드 버스팅은 데이터 액세스 지연 시간을 최대 3배까지 단축하여 반복적인 내진 실험과 모델 튜닝을 가속화합니다.

• 탄력적인 확장성: 이제 연구원들은 로컬 하드웨어 가용성의 제한 없이 온디맨드 방식으로 AWS에서 GPU 가속 컴퓨팅 리소스를 확장할 수 있습니다.

• 원활한 하이브리드 데이터 액세스: Cloud Data Fabric은 온프레미스와 클라우드에 걸쳐 통합 데이터 계층을 제공하므로 수동 마이그레이션이나 복제가 필요하지 않습니다.

• 간소화된 인프라: 설정이 간단하고 하이브리드 구성으로 애플리케이션이나 워크플로우를 재설계할 필요가 없었습니다.

앞으로의 전망

Qumulo, HPG, AZIMUTA는 함께 클라우드 컴퓨팅의 탄력성과 온프레미스 시스템의 성능을 결합하여 차세대 하이브리드 HPC 워크플로우를 위한 길을 열어가고 있습니다. 지능형 데이터 캐싱과 원활한 클라우드 버스팅을 통해 연구자들은 인프라 관리 대신 지진 과학 발전에 집중할 수 있습니다.