HPE 서버와 Qumulo 파일 데이터 플랫폼이 AI 및 ML/DL 워크로드용 All-NVMe 플래시 스토리지를 제공하여 높은 처리량 성능과 사용 편의성으로 증가하는 비정형 데이터 수요를 지원하는 방법을 알아보십시오.
AI, ML 및 DL이 NVMe 플래시 스토리지의 최적 사용 사례인 이유
딥 러닝(DL) 워크플로는 64KB에서 1MB 사이의 파일 크기를 사용합니다. 인공 지능(AI) GPU 기반 서버를 포화시키려면 HPE 아폴로 6500 최소 20GB가 필요한 시스템 - 수천 개의 HDD가 필요합니다. NVMe는 머신 러닝(ML) 및 DL 워크로드에 대한 해답입니다. NVMe 플래시 드라이브는 AI 교육 시나리오에서 HDD의 최대 1000배 성능을 제공하고 가장 빠른 SATA SSD의 5배를 초과할 수 있습니다.*
이 글의 이전 블로그에서 보았듯이 데이터 저장소 시리즈, AI, ML 및 DL 워크로드를 위한 데이터 플랫폼을 선택할 때 세 가지 주요 차원이 작용합니다.
- 퍼포먼스—ML/DL에는 초당 수 기가바이트의 I/O 속도가 필요합니다. 스토리지 시스템은 GPU "고갈"을 방지하고 실행 시간을 연장하기 위해 AI/ML 교육 중에 필요한 성능을 제공해야 합니다.
- 확장성—데이터가 많을수록 좋습니다! 이것이 AI 만트라입니다. 머신 러닝 프로젝트는 모델 훈련을 위한 방대한 데이터 세트를 필요로 하므로 시간이 지남에 따라 데이터가 지속적으로 증가합니다.
- 행정부—데이터 플랫폼 시스템은 사용이 간편하고 애플리케이션에 일관된 성능을 제공하며 다운타임이 제한적이어야 합니다. 과도한 다운타임, 불규칙한 성능 또는 광범위한 운영 기술은 AI 프로젝트를 지연시키고 플랫폼 TCO를 증가시킵니다.
일반적으로 기존 스토리지 시스템은 다음 차원 중 하나 이상을 희생합니다.
- 직접 연결 스토리지(DAS) 일관된 성능을 제공할 수 있기 때문에 일반적으로 AI 프로젝트의 초기 선택이지만 확장성 제한이 있고 격리된 데이터 세트를 생성하며 여러 컴퓨팅 장치에서 데이터 세트를 공유하는 데 어려움이 있습니다.
- 공유 파일 시스템 HDFS(Hadoop Distributed File System)와 마찬가지로 용량 문제를 해결하지만 특히 많은 DL 사용 사례에서 흔히 볼 수 있는 작고 임의의 I/O 패턴에 대한 성능 제한이 있습니다.
- 병렬 파일 시스템 GPFS 및 Lustre와 같은 시스템은 높은 처리량 성능과 대용량 데이터 세트 공유를 위해 설계되었지만 작동이 매우 복잡합니다.
Qumulo 파일 데이터 플랫폼은 성능, 확장성 및 사용 용이성의 세 가지 차원을 최적화합니다.
스케일 아웃, 플래시 우선 아키텍처 및 모든 데이터 유형에서 대규모 동시성을 위해 특별히 제작된 파일 데이터 플랫폼을 통해 이러한 모든 차원을 제공합니다. Qumulo는 필요한 구성 및 관리 복잡성을 최소한으로 유지합니다. 단일 네임스페이스에서 TB에서 PB로 원활하고 선형적인 확장이 가능합니다. 마지막으로 AI 및 ML 워크로드를 대규모로 가속화하는 데 필요한 지속적인 고성능 및 동시성을 제공합니다.
Qumulo 플래시 우선 파일 데이터 플랫폼
Qumulo의 다중 프로토콜 파일 데이터 플랫폼을 사용하면 조직이 실시간 가시성과 완전한 자유를 통해 온프레미스 및 클라우드에서 기본 파일 형식의 데이터를 사용하여 애플리케이션과 워크플로를 쉽게 저장, 관리 및 구축할 수 있습니다.
Qumulo는 최고의 성능을 제공하는 레거시 스토리지보다 더 경제적입니다. 이 솔루션은 실시간 분석을 제공하여 시간과 비용을 절약하는 동시에 성능을 향상시킵니다. 지속적인 복제를 통해 온프레미스, 퍼블릭 클라우드 또는 멀티 클라우드 환경에서 필요할 때 데이터를 필요한 곳으로 이동할 수 있습니다. 내장된 데이터 보호 기능은 통합된 스냅샷을 제공하고 기본 S3에 복사합니다.
Qumulo의 플래시 우선 파일 데이터 플랫폼은 인증 및 최적화되었습니다. HPE 아폴로 4000 시스템 및 HPE ProLiant DL325 Gen 10 Plus 서버 제품군, 페타바이트 규모의 매우 비용 효율적인 고성능 솔루션을 제공하기 위해 AI-중심 워크로드.
다음은 Qumulo 파일 데이터 플랫폼의 고급 아키텍처 다이어그램입니다.
Qumulo 파일 데이터 플랫폼 데이터 사용 및 성능에 대한 통찰력을 제공하는 강력한 실시간 분석, 소프트웨어 기반 암호화를 통한 데이터 보안, 지속적인 복제 및 스냅샷과 같은 데이터 서비스를 통한 데이터 보호가 포함됩니다. 또한 대량의 비정형 데이터 관리를 단순화합니다. Qumulo 파일 데이터 플랫폼은 필요에 따라 쉽게 확장할 수 있도록 설계되었습니다.
데이터 서비스
Qumulo의 데이터 서비스 Qumulo File Data Platform에 저장된 데이터를 스냅샷을 통해 현재 형식과 이전 버전 모두에서 볼 수 있습니다. 이러한 스냅샷은 변경이 발생할 때만 공간을 소비하는 고유한 write-out-of-place 방법론을 사용합니다. 스냅샷 정책은 복제 정책과 연결할 수도 있습니다. 이를 통해 스냅샷을 두 번째 Qumulo 파일 데이터 플랫폼에 복제할 수 있으며 일반적인 기업인 한 Qumulo에 자주 스냅샷을 저장하고 다른 Qumulo에 덜 자주 스냅샷을 보관할 수 있습니다. 클라우드 재해 복구 전략.
복제를 통해 사용자는 여러 Qumulo 파일 데이터 플랫폼에서 데이터를 복사, 이동 및 동기화할 수 있습니다. 이 복제 기술은 효율적인 데이터 이동과 변경된 데이터의 세분화된 식별이라는 두 가지 핵심 기능을 제공합니다. Qumulo의 복제는 연속적입니다. 즉, 복제된 디렉토리에 대한 모든 새로운 변경 사항이 식별되고 이동되며, 비동기식이며 단방향입니다.
개체 저장소 복제를 사용하면 모든 Qumulo 파일 데이터 플랫폼에서 클라우드 개체 스토리지 서비스(예: Amazon S3)를 적절한 복제 대상으로 취급할 수 있습니다. 사용자는 Qumulo Shift를 통해 데이터를 Qumulo 네임스페이스에서 클라우드 개체 저장소로 한 번 복사하거나 지속적으로 복사할 수 있으며 그 반대의 경우도 마찬가지입니다. 객체 저장소로 이동된 데이터는 개방적이고 비독점적인 형식으로 저장되어 작성자가 Amazon S3 기본 형식의 Amazon S3 클라우드 객체 저장소에 직접 연결하는 애플리케이션을 통해 해당 데이터를 활용할 수 있습니다.
할당량을 통해 사용자는 Qumulo 네임스페이스의 하위 집합 증가를 제어할 수 있습니다. 할당량은 디렉토리 크기에 대한 독립적인 제한 역할을 하여 용량 제한에 도달할 때 데이터 증가를 방지합니다.
쿠물로 파일 시스템
Qumulo의 파일 데이터 플랫폼은 다음을 포함한 데이터 센터 하드웨어에서 베어 메탈을 실행하는 소프트웨어 정의, 분산, 비공유 아키텍처입니다. HPE ProLiant 10세대 서버 및 HPE 아폴로 10세대 서버. 또한 퍼블릭 클라우드 인프라에서 기본적으로 실행됩니다. Qumulo는 데이터 양이 증가함에 따라 선형으로 확장됩니다. 노드를 추가하기만 하면 Qumulo 소프트웨어가 클러스터 전체에서 데이터와 성능의 균형을 자동으로 재조정합니다.
Qumulo 파일 시스템은 Qumulo 파일 시스템에 저장된 모든 데이터를 단일 네임스페이스로 구성합니다. 이 네임스페이스는 POSIX와 호환되며 REST API는 물론 NFS 또는 SMB 프로토콜을 통해 사용할 수 있는 전체 의미 체계를 지원하는 권한 및 ID 정보를 유지 관리합니다. 모든 파일 시스템과 마찬가지로 Qumulo 파일 시스템은 데이터를 디렉토리로 구성하고 데이터를 SMB 및 NFS 클라이언트에 제공합니다. 그러나 Qumulo 파일 데이터 플랫폼에는 B-트리 사용, 실시간 분석 엔진 및 교차 프로토콜 권한(XPP)과 같은 몇 가지 고유한 속성이 있습니다.
Qumulo 확장 가능한 블록 스토리지
확장 가능한 블록 스토리지(SBS)는 Qumulo 파일 데이터 플랫폼의 기반입니다. SBS는 가상화된 블록 시스템, 삭제 코딩, 글로벌 트랜잭션 시스템 및 지능형 캐시와 같은 핵심 기술을 활용하여 확장성, 이식성, 보호 및 성능을 구현합니다.
Qumulo 시스템의 저장 용량은 개념적으로 보호되는 단일 가상 주소 공간으로 구성됩니다. 해당 공간 내의 보호된 각 주소는 4K 바이트 블록을 저장합니다. 이러한 각 "블록"은 저장 장치 오류에 대비하여 중복성을 보장하는 삭제 코딩 체계를 사용하여 보호됩니다. 디렉토리 구조, 사용자 데이터, 파일 메타데이터, 분석 및 구성 정보를 포함하여 전체 파일 시스템은 SBS에서 제공하는 보호된 가상 주소 공간 내에 저장됩니다.
SBS는 대규모로 확장 가능한 분산 데이터베이스의 원칙을 사용하며 파일 기반 데이터의 특수한 요구 사항에 최적화되어 있습니다. SBS는 Qumulo 파일 데이터 플랫폼의 블록 계층으로 구현이 더 간단하고 매우 강력합니다. SBS는 또한 파일 시스템에 막대한 확장성, 최적화된 성능 및 데이터 보호 기능을 제공합니다.
SBS에서 구현한 Qumulo의 블록 기반 보호는 페타바이트 규모의 데이터와 파일 크기가 혼합된 워크로드가 있는 환경에서 뛰어난 성능을 제공합니다. SBS에는 다음과 같은 많은 이점이 있습니다.
- 디스크 드라이브 고장 시 빠른 재구축 시간
- 재구축 작업 중에 정상적인 파일 작업을 계속할 수 있는 기능
- 일반 파일 쓰기와 재구축 쓰기 간의 경합으로 인한 성능 저하 없음
- 작은 파일과 큰 파일을 위한 동일한 스토리지 효율성
- 사용 가능한 공간에 대한 실시간 정확한 보고
- Qumulo 클러스터를 수백 개의 노드로 확장할 수 있는 효율적인 트랜잭션
- 아카이브 가격으로 플래시 성능을 제공하는 기본 제공 핫/콜드 데이터 계층화
Qumulo의 파일 데이터 플랫폼에는 다음이 포함됩니다. 클라우드 기반 재해 복구, 모니터링 및 추세 분석:
- 클라우드 모니터링에는 문제가 발생하기 전에 예방하기 위해 디스크 오류와 같은 이벤트를 사전에 감지하는 기능이 포함됩니다.
- 과거 추세는 스토리지 투자를 최대한 활용하기 위해 비용을 절감하고 워크플로를 최적화하는 데 도움이 됩니다.
Qumulo에 대해 자세히 알아보려면 다음을 참조하십시오. Qumulo 기술 가이드.
고성능
Qumulo의 파일 데이터 플랫폼은 HPE ProLiant DL325 10세대 플러스 All-NVMe 및 최신 산업 표준 구성 요소를 사용하는 서버. HPE ProLiant 서버는 AI 및 ML 워크로드를 지원하는 데 필요한 매우 일관되고 확장 가능한 고성능 파일 스토리지를 지원합니다.
All-NVMe 구성 외에도 Qumulo 파일 데이터 플랫폼은 고성능을 위한 올 플래시 SSD 계층과 저렴한 비용으로 HDD 계층을 결합하여 하이브리드 모드로 구성할 수 있습니다. 이 구성에서는 파일을 계층 간에 자동으로 이동하여 AI 개발 수명 주기 전반에 걸쳐 성능과 비용을 최적화할 수 있습니다. Qumulo는 쓰기의 100%가 SSD로 이동하는 플래시 우선 아키텍처를 가지고 있으며 대부분의 읽기는 RAM 또는 SSD에서 발생하는 지능형 머신 러닝 캐시입니다.
HPE와 Qumulo를 함께 사용하는 것이 더 나은 이유
Qumulo의 파일 데이터 플랫폼이 포함된 HPE All-NVMe 플래시 시스템은 다음을 효과적으로 처리합니다.
- 비정형 데이터 요구 증가—현재와 미래에 온프레미스, 클라우드 또는 둘 다에 걸쳐 저렴한 비용과 고성능으로 즉시 제어하여 수십억 개의 파일을 확장하고 관리할 수 있습니다.
- AI 및 ML 애플리케이션 및 서비스에 대한 높은 처리량 성능 요구 사항—GPU 기반 서버에 GB/s를 공급합니다.
- 쉬운 조작 필요— TCO 및 시스템 다운타임 감소
게스트 포스트: AI 및 ML 파일 워크로드용 All-NVMe 플래시 스토리지는 원래 다음 날짜에 게시되었습니다. HPE의 커뮤니티 블로그.
자세히 알아보기
에 대해 읽다 Qumulo용 HPE 솔루션. 에 대한 자세한 내용은 이 블로그 시리즈를 계속 지켜봐 주십시오. AI 및 고급 분석을 위한 HPE 데이터 저장소 솔루션.
이것을보세요 주문형 웨비나 Qumulo와 HPE가 비정형 데이터 환경에서 단순성과 성능을 제공하는 방법을 알아보십시오. Qumulo의 제품 부사장인 Ben Gitenstein과 HPE의 스케일 아웃 데이터 분석 및 데이터 스토리지 플랫폼을 위한 제품 관리 및 시스템 엔지니어링 이사인 Stephen Bacon 이사를 소개합니다.
문의하기
- 시승하기. 대화형 Hands-On Lab에서 Qumulo를 시연합니다.
- Qumulo 블로그 구독 고객 사례, 기술 통찰력, 업계 동향 및 제품 뉴스를 제공합니다.
