Azure Native Qumulo 이제 EU, 영국 및 캐나다에서 사용 가능 – 상세 보기

샌디에이고 슈퍼컴퓨터 센터, Qumulo로 고급 스토리지의 규모를 확장하다

글로벌 과학 연구 커뮤니티는 산업, 개인 및 전문 분야에 걸쳐 있습니다. 그러나 한 가지 공통점이 있습니다. 바로 대용량 컴퓨팅 및 데이터 저장 리소스가 필요하다는 것입니다.

소수의 연구 조직만이 자체 슈퍼컴퓨터와 고급 스토리지 시스템을 감당할 수 있습니다. 많은 사람들이 데이터 집약적인 연구 고객에게 원격 컴퓨팅 및 스토리지 용량을 제공하기 위해 전문 MSP(관리 서비스 제공업체)를 찾습니다.

SDSC 사진

샌디에이고 슈퍼컴퓨터 센터가 책임을 주도하다

샌디에이고 슈퍼컴퓨터 센터(SDSC)는 정부, 학계 및 기업의 과학 커뮤니티를 위한 선도적인 MSP입니다.

SDSC는 연구자들이 컴퓨팅 리소스, 데이터 수집 및 고급 연구 도구를 대화식으로 공유할 수 있는 단일 가상 시스템인 XSEDE(eXtreme Science and Engineering Discovery Environment)의 회원입니다.

캘리포니아 대학교 샌디에이고의 연구 기관인 SDSC는 온프레미스 슈퍼컴퓨터를 사용하여 고급 계산과 빅 데이터 저장 및 분석의 모든 측면(데이터 통합, 성능 모델링, 데이터 마이닝, 예측 분석 포함)을 실행합니다.

SDSC는 고객과 협력하여 미국 자연사 박물관을 위한 천체 물리학 시각화, 남부 캘리포니아에 있는 Big One의 대규모 시뮬레이션, 질병 센터를 위한 정교한 독감 시즌 모델링을 포함하여 극단적인 데이터 프로젝트를 위한 슈퍼컴퓨터 및 스토리지 시스템 리소스를 사용자 지정합니다. 제어.

SDSC의 두 가지 중요한 프로젝트는 빠르게 성장하는 신경과학 연구 커뮤니티를 지원합니다. 즉, 국립과학재단(NSF)과 국립보건원(NIH)이 자금을 지원하는 센터의 신경과학 게이트웨이(NSG)는 센터와 예일 대학교 간의 협력입니다. , 유니버시티 칼리지 런던. NSGportal을 통해 신경과학 연구원은 데이터 집약적인 스토리지 시스템에 저장된 대규모 신경과학 데이터를 관리해야 하는 모델링 및 데이터 처리를 위해 대규모 컴퓨팅에 액세스할 수 있습니다.

개발 중인 또 다른 신경과학 제품은 NIH 자금 지원을 받는 NEMAR(인간 신경전자 데이터 아카이브 및 도구 리소스) 게이트웨이입니다. 게이트웨이는 신경과학자를 위해 보관된 EEG(뇌파검사) 및 MEG(자기뇌검사) 데이터에 대한 개방형 액세스를 개발하고 있으며 대규모 데이터 저장 및 관리가 프로젝트의 핵심 부분입니다.

“Qumulo를 사용하여 다른 스토리지 솔루션에서 경험한 것보다 훨씬 낮은 운영 비용을 실현했습니다. 또한 클러스터 크기를 두 배로 늘렸고 곧 다시 두 배로 늘릴 것입니다.”

클라이언트 수요가 슈퍼 리소스를 능가할 수 있음

SDSC는 스토리지 인프라와 관련된 문제에 직면했습니다. 이러한 데이터 집약적 게이트웨이 및 클라이언트 기술 스택은 대량의 빅 데이터(대부분 비정형)를 위한 고성능 및 고용량 데이터 스토리지를 지원해야 합니다. 센터의 슈퍼컴퓨터는 컴퓨팅 작업을 쉽게 처리하지만 신경과학 스토리지 시스템에는 대용량 확장 용량과 빅 데이터, 빠른 액세스 및 고급 분석을 지원하는 데 필요한 스토리지 기능이 부족했습니다.

SDSC의 데이터 기반 과학 컴퓨팅 이사인 Amit Majumdar 박사는 “NSG 및 EEG/MEG 데이터 프로젝트에 대한 스토리지 요구 사항이 수십 테라바이트에서 수백 테라바이트로 증가하고 있습니다. "대용량 데이터 전송 및 저장, 고속 액세스, 공유, 검색 기능 - 이 모든 것이 우리 프로젝트에서 점점 더 중요해지고 있습니다."

클라이언트 요구 사항을 성공적으로 충족하기 위해 SDSC는 성능, 용량, 확장성, 내구성 및 고급 기능의 최적 균형을 합리적인 비용으로 제공하는 스토리지 솔루션이 필요했습니다.

“SDSC에서는 중요한 분석과 결과를 제공하는 것이 가장 중요하지만 고성능 컴퓨팅 워크로드는 스토리지 시스템에 엄청나게 의존합니다. 조직으로서 우리는 과학 게이트웨이의 일부로 컴퓨팅 및 스토리지 모두를 위한 클라우드 통합을 향해 나아가고 있습니다. 결과적으로 연구 데이터 서비스 사업부를 통해 선도적인 클라우드 기술을 사용할 수 있도록 하는 것이 중요합니다.”라고 Majumdar가 덧붙였습니다.

"대용량 데이터 전송 및 저장, 고속 액세스, 공유, 검색 기능 - 이 모든 것이 우리 프로젝트에서 점점 더 중요해지고 있습니다."

Qumulo와 제휴

새로운 종류의 스토리지 공급자에 대한 Center의 열망의 원동력은 1PB 이상의 스토리지 용량이 필요한 일련의 신규 클라이언트였습니다. SDSC는 해당 규모에서 기존 스토리지 솔루션의 성능, 안정성 및 관리에 대해 우려했습니다.

SDSC의 인프라 담당 이사인 Brian Balderston은 더 나은 방법이 있어야 한다고 결정했습니다. 그는 여러 고성능 스토리지 시스템을 테스트하고 국가 연구 커뮤니티를 위한 데이터 집약적 컴퓨팅 및 스토리지 인프라의 선두주자로 Qumulo의 하이브리드 클라우드 파일 스토리지를 결정했습니다.

“저는 우리가 운영상의 관리와 먹이를 많이 필요로 하지 않는 고객을 위해 더 나은 스토리지 시스템을 구축할 수 있다고 믿었습니다. 그래서 저는 우리의 요구 사항을 가지고 Qumulo 팀에 연락했습니다.”라고 Balderston이 말했습니다. "그들의 분산형 스케일 아웃 NAS 파일 시스템은 우리 클라이언트가 수용할 수 있는 가격으로 용량, 성능, 데이터 무결성 및 스케일 아웃 요구 사항을 충족했습니다."

Qumulo의 파일 스토리지는 SDSC의 기존 인프라 및 클라이언트 조직에서 사용하는 인프라와 다릅니다. 센터의 학계 고객 대부분은 연구 데이터 워크로드를 위한 오픈 소스 병렬 파일 시스템에 익숙했습니다. Qumulo의 독점 소프트웨어 스택과 분산 파일 시스템은 새로운 종류의 스토리지였으며 현재와 미래의 방대한 과학 연구 작업 부하를 관리할 수 있는 더욱 발전된 기능과 능력이 빠르게 입증되었습니다.

Qumulo는 병렬 파일 시스템보다 구조화되지 않은 데이터를 더 효율적으로 확장하므로 방대한 파일 수, 디렉토리 구조 및 수십억 개의 작은 파일이 있는 환경에 이상적입니다. 스케일 아웃 NAS 파일 시스템은 빠른 수집 및 액세스를 지원하며 검색 가능성이 높습니다. 고가용성과 최소의 재구축 시간으로 데이터를 안전하게 유지하고 데이터 손실 없이 항상 사용할 수 있습니다.

Qumulo에 대한 SDSC의 자본 비용은 예산과 일치했으며 운영 비용은 예상보다 낮았습니다. Balderston은 "Qumulo를 사용하여 다른 스토리지 솔루션에서 경험한 것보다 훨씬 더 낮은 운영 비용을 실현했습니다."라고 말했습니다. "게다가 클러스터 크기를 두 배로 늘렸고 곧 다시 두 배로 늘릴 것입니다." SDSC는 절감액을 MSP 클라이언트에 전달하여 호스팅 플랫폼을 더욱 매력적으로 만듭니다.

“랙에 다른 노드를 넣고 버튼을 누르면 어떻게 될까요? 더 많은 공간."

대규모 확장, 고성능

오늘날 Qumulo는 고용량/고성능 워크로드를 위한 SDSC 및 클라이언트 영구 스토리지를 제공합니다. 주요 인프라 구성 요소에는 가상 머신(VM), 슈퍼컴퓨터에 탑재된 Qumulo 스토리지 및 고대역폭 네트워크가 포함됩니다. SDSC는 온프레미스와 클라우드 스토리지를 통합하여 과학 게이트웨이를 제공하는 방향으로 나아가고 있습니다. Qumulo의 파일 스토리지는 클라우드 네이티브이므로 온프레미스 및 클라우드 통합을 원활하게 지원합니다.

Qumulo는 빠른 읽기 및 쓰기를 위해 고유한 소프트웨어를 최적화합니다. 가속화된 아키텍처는 매우 짧은 대기 시간, 높은 IOPS 및 처리량 성능을 제공합니다. 예측 캐싱 및 프리페치는 IO 패턴을 사전에 식별하고 데이터를 가장 빠른 미디어로 효율적으로 이동합니다.

또한 Qumulo는 SDSC와 클라이언트 모두에게 중요한 구성 요소인 배포, 관리 및 액세스가 간편합니다. Balderston은 "Qumulo는 SDSC가 관리하기 매우 쉬웠습니다.

“직원과 자원을 여러 비효율적인 저장 시스템을 관리하는 데 집중하는 대신 엔지니어링 시간을 사용하여 National Science Foundation, National Institute of Health 및 기타 자금 지원 기관에서 제공하는 매우 영향력 있고 충분한 자금을 지원하는 보조금을 처리합니다. 그것은 우리 모두에게 큰 승리입니다.”

Qumulo는 다른 종류의 스토리지 회사, 즉 현대에 맞게 스토리지를 구축한 회사임을 증명했습니다. 일부 레거시 스토리지 시스템은 잘 정의된 기존 스토리지 환경에서 구조화된 데이터에 대해 여전히 작동합니다. 그러나 이러한 제품은 오늘날의 엄청난 데이터 증가, 비정형 데이터 유형, 집중적인 과학적 워크로드 및 복잡한 애플리케이션을 위해 설계된 적이 없습니다.

이러한 새로운 스토리지 요구 사항을 충족하고 초과 달성하기 위해 Qumulo는 현대적인 대규모 분산 데이터베이스의 원리를 사용하여 소프트웨어를 설계했습니다. 그 결과 타의 추종을 불허하는 성능과 확장성을 갖춘 고유한 파일 시스템이 탄생했습니다.

클라이언트 채택은 SDSC의 요점을 증명합니다. Balderston은 "아마도 제 가장 큰 성과는 이 스토리지 시스템을 유지하고 대규모로 채택한 것입니다."라고 말했습니다. “초기 개념 증명 이후 SDSC는 XNUMX개 이상의 캘리포니아 대학 연구실 및 부서를 포함하여 새로운 고객 세트에 도달했습니다. 이렇게 빨리 채택된 다른 서비스는 생각할 수 없습니다.”

SDSC 로고

대해서

샌디에이고 슈퍼컴퓨터 센터(SDSC)는 정부, 학계 및 기업의 과학 커뮤니티를 위한 선도적인 MSP입니다. 캘리포니아 대학교 샌디에이고의 연구 기관인 SDSC는 온프레미스 슈퍼컴퓨터를 사용하여 고급 계산과 빅 데이터 저장 및 분석의 모든 측면(데이터 통합, 성능 모델링, 데이터 마이닝, 예측 분석 포함)을 실행합니다.

사용 사례

  • 대규모 비정형 파일 저장소를 효과적으로 저장 및 관리
  • 증가하는 대규모 과학 연구 워크로드 지원
  • 고성능 데이터 수집 및 여러 글로벌 클라이언트에 대한 액세스 제공

요구 사항

  • 고성능
  • 고가용성 및 내구성
  • 배포, 관리 및 액세스 용이성
  • TB에서 PB로 쉽게 확장
  • 비용 효율적인
위쪽으로 스크롤