샌디에이고 슈퍼컴퓨터 센터

샌디에이고 슈퍼컴퓨터 센터, Qumulo로 고급 스토리지 규모 확대

전 세계 과학 연구 커뮤니티는 산업, 개인, 전문 분야에 걸쳐 있습니다. 하지만 한 가지 공통점이 있습니다. 바로 대규모 컴퓨팅 및 데이터 스토리지 리소스가 필요하다는 점입니다.

자체 슈퍼컴퓨터와 고급 스토리지 시스템을 보유할 수 있는 연구 기관은 극소수에 불과합니다. 대부분은 전문 관리 서비스 제공업체(MSP)를 통해 데이터 집약적인 연구 고객에게 원격 컴퓨팅 및 스토리지 용량을 제공합니다.

샌디에이고 슈퍼컴퓨터 센터가 주도하는 혁신

샌디에이고 슈퍼컴퓨터 센터(SDSC)는 정부, 학계 및 비즈니스의 과학 커뮤니티를 위한 선도적인 MSP입니다.

SDSC는 연구자들이 컴퓨팅 리소스, 데이터 수집 및 고급 연구 도구를 대화형으로 공유할 수 있는 단일 가상 시스템인 XSEDE(eXtreme Science and Engineering Discovery Environment)의 회원입니다.

샌디에이고 캘리포니아 대학교의 연구 부서인 SDSC는 온프레미스 슈퍼컴퓨터를 사용하여 데이터 통합, 성능 모델링, 데이터 마이닝, 예측 분석을 비롯한 고급 연산과 빅데이터 저장 및 분석의 모든 측면을 실행합니다.

SDSC는 고객과 협력하여 미국 자연사 박물관의 천체 물리학 시각화, 남부 캘리포니아의 빅원(The Big One) 대규모 시뮬레이션, 질병 통제 센터의 정교한 독감 시즌 모델링 등 극한의 데이터 프로젝트를 위한 슈퍼컴퓨터 및 스토리지 시스템 리소스를 맞춤화합니다.

SDSC의 중요한 프로젝트 중 두 가지는 빠르게 성장하는 신경과학 연구 커뮤니티를 지원하는 것으로, 국립과학재단(NSF)과 국립보건원(NIH)의 지원을 받아 센터, 예일대학교, 유니버시티 칼리지 런던이 협력하는 센터의 신경과학 게이트웨이(NSG)가 있습니다. 신경과학 연구자들은 NSG포털을 통해 데이터 집약적인 스토리지 시스템에 저장된 대규모 신경과학 데이터를 관리해야 하는 모델링 및 데이터 처리를 위한 대규모 컴퓨팅에 액세스할 수 있습니다.

개발 중인 또 다른 신경과학 솔루션은 NIH가 자금을 지원하는 NEMAR(인간 신경전자기 데이터 아카이브 및 도구 리소스) 게이트웨이입니다. 이 게이트웨이는 신경과학자들을 위해 보관된 EEG(뇌파) 및 MEG(자기뇌파) 데이터에 대한 오픈 액세스를 개발하고 있으며, 대규모 데이터 저장 및 관리가 프로젝트의 핵심 부분입니다.

고객 요구가 슈퍼 리소스를 능가할 수 있습니다

SDSC는 스토리지 인프라에 관한 문제에 직면했습니다. 이러한 데이터 집약적인 게이트웨이와 클라이언트 기술 스택은 방대한 양의 빅데이터(대부분 비정형 데이터)를 위한 고성능, 고용량 데이터 스토리지를 지원해야 합니다. 센터의 슈퍼컴퓨터는 컴퓨팅 작업을 쉽게 처리하지만, 신경과학 스토리지 시스템에는 대규모 스케일아웃 용량과 빅데이터, 빠른 액세스, 고급 분석을 지원하는 데 필요한 스토리지 기능이 부족했습니다.

sDSC의 데이터 지원 과학 컴퓨팅 디렉터인 Amit Majumdar 박사는 "NSG 및 EEG/MEG 데이터 프로젝트의 스토리지 요구 사항이 수십 테라바이트에서 수백 테라바이트로 증가하고 있습니다."라고 말합니다. "대용량 데이터 전송 및 저장, 고속 액세스, 공유, 검색 기능 등 이 모든 것이 우리 프로젝트에서 점점 더 중요해지고 있습니다."

고객의 요구 사항을 성공적으로 충족하기 위해 SDSC는 합리적인 비용으로 성능, 용량, 확장성, 내구성 및 고급 기능의 최적의 균형을 제공하는 스토리지 솔루션이 필요했습니다.

"SDSC에서는 중요한 분석과 결과를 제공하는 것이 가장 중요하지만, 고성능 컴퓨팅 워크로드는 스토리지 시스템에 크게 의존하고 있습니다. 저희는 과학 게이트웨이의 일부로서 컴퓨팅과 스토리지 모두에 클라우드를 통합하는 방향으로 나아가고 있습니다. 따라서 연구 데이터 서비스 부서를 통해 선도적인 클라우드 기술을 제공하는 것이 중요합니다."라고 Majumdar는 덧붙였습니다.

Qumulo와의 파트너십

센터가 새로운 종류의 스토리지 공급업체를 찾게 된 원동력은 1PB 이상의 스토리지 용량을 필요로 하는 신규 고객들이 늘어났기 때문입니다. SDSC는 이러한 규모에서 기존 스토리지 솔루션의 성능, 안정성 및 관리에 대해 우려하고 있었습니다.

SDSC의 인프라 담당 이사인 브라이언 발더스턴은 더 나은 방법이 있을 거라고 생각했습니다. 그는 여러 고성능 스토리지 시스템을 테스트한 후 국가 연구 커뮤니티를 위한 데이터 집약적 컴퓨팅 및 스토리지 인프라의 선두주자로 Qumulo의 하이브리드 클라우드 파일 스토리지를 결정했습니다.

"저는 고객을 위해 많은 운영 관리와 피딩이 필요 없는 더 나은 스토리지 시스템을 구축할 수 있다고 믿었습니다. 그래서 Qumulo 팀에 우리의 요구 사항을 전달했습니다."라고 Balderston은 말합니다. "분산형 스케일아웃 NAS 파일 시스템은 고객이 수용할 수 있는 가격으로 용량, 성능, 데이터 무결성, 스케일아웃 요구 사항을 충족했습니다."

Qumulo의 파일 스토리지는 SDSC의 기존 인프라 및 고객 기관에서 사용하는 인프라와는 달랐습니다. 센터의 학술 고객 대부분은 연구 데이터 워크로드를 위한 오픈 소스 병렬 파일 시스템에 익숙해져 있었습니다. 큐뮬로의 독점 소프트웨어 스택과 분산 파일 시스템은 새로운 종류의 스토리지였으며, 현재와 미래의 대규모 과학 연구 워크로드를 관리할 수 있는 보다 진보된 시스템임이 빠르게 입증되었습니다.

Qumulo는 병렬 파일 시스템보다 비정형 데이터를 더 효율적으로 확장하므로 파일 수, 디렉토리 구조, 수십억 개의 작은 파일이 있는 환경에 이상적입니다. 스케일아웃 NAS 파일 시스템은 빠른 수집과 액세스를 지원하며 검색성이 뛰어납니다. 고가용성과 최소한의 재구축 시간으로 데이터 손실 없이 데이터를 안전하게 보관하고 항상 사용할 수 있습니다.

Qumulo의 자본 비용은 예산과 일치했고 운영 비용은 예상보다 낮은 것으로 나타났습니다. "Qumulo를 사용하면서 다른 스토리지 솔루션에서 경험했던 것보다 훨씬 낮은 운영 비용을 실현했습니다."라고 Balderston은 말합니다. "게다가 클러스터 규모를 두 배로 늘렸고 곧 다시 두 배로 늘릴 예정입니다." SDSC는 절감된 비용을 MSP 고객에게 전가하여 호스팅 플랫폼을 더욱 매력적으로 만들었습니다.

대규모 확장, 고성능

현재 Qumulo는 SDSC와 그 고객들에게 고용량/고성능 워크로드를 위한 영구 스토리지를 제공합니다. 주요 인프라 구성 요소에는 가상 머신(VM), 슈퍼컴퓨터에 탑재된 Qumulo 스토리지, 고대역폭 네트워크가 포함됩니다. SDSC는 과학 게이트웨이를 지원하기 위해 온프레미스 스토리지와 클라우드 스토리지를 통합하는 방향으로 나아가고 있습니다. Qumulo의 파일 스토리지는 클라우드 네이티브이기 때문에 온프레미스와 클라우드 통합을 원활하게 지원합니다.

Qumulo는 빠른 읽기 및 쓰기를 위해 고유한 소프트웨어를 최적화합니다. 가속화된 아키텍처는 매우 짧은 지연 시간과 높은 IOPS 및 처리량 성능을 제공합니다. 예측 캐싱과 프리페치는 IO 패턴을 사전에 파악하고 가장 빠른 미디어로 데이터를 효율적으로 이동시킵니다.

또한 Qumulo는 배포, 관리 및 액세스가 간단하여 SDSC와 고객 모두에게 중요한 구성 요소입니다. "Qumulo는 SDSC가 관리하기가 매우 쉬웠습니다."라고 Balderston은 말합니다.

"비효율적인 여러 스토리지 시스템을 관리하는 데 직원과 리소스를 집중하는 대신 엔지니어링 시간을 국립과학재단, 국립보건원 및 기타 자금 지원 기관에서 제공하는 영향력 있고 자금이 많이 지원되는 보조금에 사용할 수 있습니다. 이는 우리 모두에게 큰 성과입니다."

Qumulo는 현대에 맞는 스토리지를 구축한 회사로, 다른 종류의 스토리지 회사라는 것을 증명했습니다. 일부 레거시 스토리지 시스템은 여전히 잘 정의된 기존 스토리지 환경의 정형 데이터에 적합합니다. 하지만 이러한 제품은 오늘날의 방대한 데이터 증가, 비정형 데이터 유형, 집약적인 과학 워크로드, 복잡한 애플리케이션을 위해 설계되지 않았습니다.

이러한 새로운 스토리지 요구 사항을 충족하고 이를 뛰어넘기 위해 Qumulo는 최신 대규모 분산 데이터베이스의 원리를 사용해 소프트웨어를 설계했습니다. 그 결과 탁월한 성능과 확장성을 갖춘 독보적인 파일 시스템이 탄생했습니다.

고객 채택이 SDSC의 요점을 증명합니다. "아마도 저의 가장 큰 성과는 이 스토리지 시스템을 구축한 후 대규모 채택을 이끌어낸 것입니다."라고 Balderston은 말합니다. "초기 개념 증명 이후 SDSC는 20여 개의 캘리포니아 대학교 연구실과 부서를 포함한 새로운 고객층을 확보했습니다. 이 정도로 빠르게 채택된 다른 서비스는 생각나지 않습니다."