의 세계 인공 지능 (AI)는 기하급수적인 성장을 경험했으며 데이터 소비에 대한 끝없는 갈망을 가지고 있습니다. 자율주행차부터 사람의 대화를 흉내내는 챗봇까지, AI는 엄청난 속도로 산업을 혁신하고 있습니다. AI의 힘은 데이터 백본에서 나옵니다. 데이터에 대한 액세스, 처리 속도, 확장 가능한 스토리지 성능은 모두 AI 파이프라인의 효율성을 결정하는 핵심 요소입니다. Qumulo는 클라우드에서 업계 최고의 성능과 가장 비용 효율적인 파일 데이터 솔루션으로서 AI 워크로드를 위한 지구상 최고의 데이터 스토리지 솔루션임을 입증했습니다.
Qumulo가 파일 기반 AI 워크로드에 이상적인 이유
딥 러닝 모델이든 신경망이든 AI 애플리케이션에는 고유한 스토리지 특성 세트가 필요하며, 이는 모두 Qumulo에서 충족됩니다.
- 확장성: AI 데이터 세트는 동적입니다. 더 많은 데이터가 수집되고 처리됨에 따라 시간이 지남에 따라 증가합니다. 예측 가능한 고성능으로 확장할 수 있는 Qumulo의 능력은 AI 워크로드가 증가함에 따라 Qumulo가 어떤 규모에서도 수요를 충족할 수 있도록 보장합니다.
- 비용 효율성 : AI 이니셔티브에 자금을 지원하는 것은 상당한 투자가 될 수 있습니다. 성능 저하 없이 스토리지 비용을 절약하면 연구, 개발, 생산 배포 등 다른 중요한 영역에 리소스를 확보할 수 있습니다.
- 어디서나 확장 가능한 능력TM: 인프라 소유자와 데이터 과학자는 매우 안전한 인프라를 통해 한 위치에서 교육하고 다른 위치에 배포하는 유연성의 이점을 누릴 수 있습니다. Qumulo의 소프트웨어 정의 스토리지 시스템은 어디서나 배포하고 실행할 수 있습니다. 이를 통해 핵심 데이터 센터에서 AI 모델을 쉽게 교육하고 어디에서나 프로덕션에 적용할 수 있습니다.
- 성능 : AI 모델, 특히 자율주행차나 금융 거래와 같은 시나리오에 사용되는 모델은 사전 및 사후 모델 교육을 위해 실시간 데이터 액세스가 필요합니다. Qumulo의 고속 데이터 검색은 데이터 가용성을 보장합니다. 꼭 필요한 순간.
4번 항목을 자세히 살펴보고 데이터/메타데이터의 원활하고 빠른 검색의 중요성을 강조해 보겠습니다. 이는 온프레미스 또는 클라우드에서 확장 가능한 파일 스토리지가 필요한 AI 애플리케이션에 필수적입니다.
합성 AI 워크로드 테스트를 통해 우리는 실제로 AI 시장에서 가장 빠른 파일 기반 클라우드 솔루션이라는 사실을 확인했습니다. 여기서 데이터 과학자는 규모에 관계없이 데이터 수집, 사전 훈련, 생산 훈련 및 지속적인 추론을 위해 Qumulo를 사용할 수 있습니다. .
읽어.
널리 적용 가능한 AI 벤치마크
Qumulo의 성능을 관점에서 살펴보기 위해 AWS 인프라의 클라우드에서 실행되는 Qumulo를 통해 달성한 최신 결과를 살펴보겠습니다. 우리는 Qumulo의 AI 성능을 특성화하기 위해 SPECstorage를 사용했습니다. 이 벤치마크(AI_Image라는 이름이 적절함)는 일반적인 AI 워크로드를 종합적이고 정확하게 실행하는 파일 크기와 I/O 패턴을 활용합니다.
- 텐서플로우 기반 모범 사례 – 세계에서 가장 널리 배포된 AI/ML 프레임워크
- 3가지 다른 모델에서 추적됨: Resnet, VGG(Visual Geometry Group) 및 SSD(Single Shot Detector)
- CityScape, ImageNet 및 COCO의 오픈 소스 데이터 세트 사용
AI 공간에서 Tensorflow의 편재성으로 인해 벤치마크는 다음과 같은 AI 결과를 생성하는 광범위한 AI 모델 워크로드에 적용됩니다.
- 이미지 분류 및 객체 감지
- 자연 언어 처리 (NLP)
- 음성 인식
- 추천 시스템
- 생성 모델
- 건강 관리 및 생명 과학
…그리고 더 많은
벤치마크 설명 및 달성된 결과
벤치마크의 목표는 Qumulo 스토리지에서 AI 작업을 실행하는 애플리케이션 계층(GPU 사용)으로 데이터를 빠르게 제공하는 것입니다. 벤치마크는 클라이언트 배치의 현실적인 I/O 패턴 세트에서 스토리지 성능과 대기 시간을 테스트합니다. 클라이언트는 목표에 도달할 때까지 AI 작업 수를 점진적으로 늘립니다. 이 테스트의 경우 총 480개 작업입니다. 벤치마크에는 4개의 독립적인 동시 하위 워크로드를 포함한 XNUMX개의 주요 작업이 있습니다.
- AI_SF – 작은 이미지 파일 읽기
- AI_TF - 더 큰 파일을 작성합니다(이상적으로는 100MB 이상의 파일).
- AI_TR – 대규모 TFRecord를 읽습니다.
- AI_CP – 가끔 체크포인트를 수행합니다.
결과
아래 그림 1은 다음 결과를 보여줍니다.
- X축은 시간 경과에 따라 AI 벤치마크를 실행하는 작업 수를 나타냅니다.
- Y축은 테스트 기간 동안의 전체 대기 시간을 보여줍니다.
- Latency는 AI 작업이 증가함에 따라 빠르고 예측 가능한 스토리지 성능을 보여줍니다!
Fig. 1
** 2023년 2020월 현재 www.spec.org에 게시된 퍼블릭 클라우드의 최고 성능 시스템을 기준으로 한 비교입니다. SPEC® 및 벤치마크 이름 SPECgeneric®은 Standard Performance Evaluation Corporation의 등록 상표입니다. SPECstorage2020에 대한 자세한 내용은 https://www.spec.org/storageXNUMX/을 참조하세요.
온프레미스 적용 가능성
SPECstorage 벤치마크 테스트에서는 클라우드 기반 환경을 사용했지만 이러한 결과는 유사한 온프레미스 하드웨어를 사용하여 결과를 추정하기 위해 쉽게 추정할 수 있습니다. Qumulo가 이 벤치마크를 SPEC 웹 사이트(ETA 2023년 2월)에 게시하면 사용된 ECXNUMX 인스턴스 유형(코어 수, 사용 가능한 메모리 등)과 네트워크에서 사용 가능한 대역폭을 언급하면서 환경의 세부 정보와 비용을 확인할 수 있습니다. 환경. 그동안 호기심 많은 독자들을 위해 이 블로그의 부록에 추가 세부 정보를 포함시켰습니다.
데이터 과학자와 데이터 엔지니어, 보라. 직접 시도해 보세요!
빠르게 발전하는 AI 세계에서 강력하고 빠르며 확장 가능한 스토리지 솔루션을 보유하는 것은 사치가 아니라 필수입니다. 업계 최고의 성능과 비용 효율성을 갖춘 Qumulo는 AI 워크로드를 위한 클라우드 기반 파일 솔루션으로 두각을 나타냅니다. 벤치마크는 Qumulo의 우수성을 강조할 뿐만 아니라 AI를 위한 가장 빠르고 널리 적용 가능한 스토리지 솔루션으로서의 입지를 확고히 합니다.
만나다 전체 결과 Spec.org에 게재됨
충수
퍼포먼스
전체 응답 시간= 1.22msec
|
제품 및 테스트 정보
| Qumulo – 퍼블릭 클라우드 참조 | |
|---|---|
| 테스트 | 주식회사 쿠물로 |
| 하드웨어 사용 가능 | 2023년 XNUMX월 |
| 사용 가능한 소프트웨어 | 2023년 XNUMX월 |
| 테스트 날짜 | 2023년 XNUMX월 |
| 라이센스 번호 | 6738 |
| 사용권자 위치 | 미국 워싱턴 주 시애틀 |
Qumulo는 단일 네임스페이스에서 엑사바이트 이상의 확장성, 온프레미스 또는 클라우드에서 동일한 기능, 완전한 다중 프로토콜 지원을 자랑하는 하이브리드 클라우드 파일 스토리지 솔루션으로, 다양한 애플리케이션에서 유연성과 호환성을 보장합니다. Qumulo는 퍼블릭 클라우드 인프라와 원활하게 통합되어 스토리지 성능 및 데이터 사용량에 대한 실시간 가시성과 함께 모든 규모의 비정형 데이터 스토리지를 제공합니다.
Qumulo의 클라우드 네이티브 파일 시스템은 조직이 파일 기반 애플리케이션과 워크로드를 퍼블릭 클라우드 환경으로 원활하게 마이그레이션할 수 있도록 지원합니다. Qumulo를 사용하면 기업은 온프레미스든 클라우드든 엑사바이트 규모의 데이터를 효율적으로 관리할 수 있습니다. 다음 결과는 Qumulo 파일 시스템이 AWS에 배포될 때 탁월한 성능을 제공하는 데 탁월하다는 것을 분명히 보여줍니다.
테스트 대상 솔루션 재료 명세서
| 상품 번호 | 수량 | 타입 | 공급 업체 | 모델명 | 상품 설명 |
|---|---|---|---|---|---|
| 1 | 16 | AWS EC2 인스턴스 | AWS | c5n.18xlarge | Qumulo 노드 – Amazon c5n EC2 인스턴스(c5n.18xlarge 인스턴스에는 72개의 vCPU, 192GiB 메모리, 100Gbps 네트워킹이 있음) |
| 2 | 16 | AWS EC2 인스턴스 | AWS | c5n.18xlarge | Ubuntu 클라이언트 – Qumulo 클러스터 – Amazon c5n EC2 인스턴스(c5n.18xlarge 인스턴스에는 vCPU 72개, 메모리 192GiB, 네트워킹 100Gbps가 있음) |
구성 다이어그램
AWS의 Qumulo
구성요소 소프트웨어
| 상품 번호 | 구성 요소 | 타입 | 이름 및 버전 | 상품 설명 |
|---|---|---|---|---|
| 1 | Qumulo 코어 | 파일 시스템 | 6.2.2 | Qumulo의 클라우드 기반 파일 시스템을 사용하면 조직은 파일 기반 애플리케이션과 워크로드를 퍼블릭 클라우드로 쉽게 이동할 수 있습니다. |
| 2 | Ubuntu | 운영체제 | 22.04 | Ubuntu 운영 체제는 5개의 c18n.2020xlarge 컴퓨팅 노드에 배포됩니다. SPEC Storage XNUMX 벤치마크를 실행하는 클라이언트로 사용됩니다. |
하드웨어 구성 및 조정 – 물리적
| 구성 요소 이름 | ||
|---|---|---|
| 매개 변수 이름 | 가치관 | 상품 설명 |
| SR-IOV | 사용 | CPU 가상화 기술 활성화 |
| 포트 속도 | 100 GbE | 각 노드에는 100GbE 연결이 있습니다. |
하드웨어 구성 및 조정 참고 사항
없음
소프트웨어 구성 및 조정 - 가상
| 네트워킹 | ||
|---|---|---|
| 매개 변수 이름 | 가치관 | 상품 설명 |
| 점보 프레임 | 9001 | 최대 9001바이트의 이더넷 점보 프레임을 활성화합니다. |
| Ubuntu 클라이언트 NFS 마운트 매개변수 | ||
| 매개 변수 이름 | 가치관 | 상품 설명 |
| 적이있는 | 3 | NFSv3 사용 |
| 연결 해제 | 16 | NFS 클라이언트 연결 수를 최대 16개로 늘립니다. |
| TCP | Qumulo 클러스터와 통신하기 위한 TCP 네트워크 전송 프로토콜 | |
| local_lock | 모든 | 클라이언트는 Flock 및 POSIX 잠금이 모두 로컬이라고 가정합니다. |
| EBS 볼륨 매개변수 | ||
| 매개 변수 이름 | 가치관 | 상품 설명 |
| IOPS | 16000 | EBS 볼륨의 최대 IOPS |
| 처리량 | 1000 | EBS 볼륨의 최대 처리량 |
소프트웨어 구성 및 조정 참고 사항
없음
서비스 SLA 참고 사항
AWS는 포함된 제품 및 서비스를 월별 결제 주기 동안 각각 최소 99.99%의 월간 가동률로 제공하기 위해 상업적으로 합당한 노력을 기울이고 있습니다. 월별 가동 시간 백분율은 해당하는 경우 포함된 제품 및 서비스가 "지역을 사용할 수 없음" 상태였던 달 동안의 백분율(분)을 100%에서 빼서 계산됩니다.
스토리지 및 파일 시스템
| 상품 번호 | 상품 설명 | 데이터 보호 | 안정적인 저장 | 수량 |
|---|---|---|---|---|
| 1 | Elastic Block Storage 볼륨, 1TB gp3 용량. 각 Qumulo 노드에는 6개의 EBS 볼륨이 있습니다. | 삭제 코딩을 통한 드라이브 2개 또는 노드 1개 보호 | AWS EBS | 96 |
| 파일 시스템 수 | 1 |
|---|---|
| 총 용량 | 78.54 TB |
| 파일 시스템 유형 | 꾸 울로 |
파일 시스템 생성 노트
Qumulo Core 파일 시스템은 클라우드 형성 템플릿 또는 Terraform을 통해 AWS에 배포됩니다. Qumulo Core AMI가 배포되고 파일 시스템은 자동화된 클라우드 형성 프로세스의 일부로 또는 Terraform을 통해 구성됩니다. 추가 파일 시스템 생성 단계가 필요하지 않습니다.
스토리지 및 파일 시스템 참고 사항
없음
전송 구성 – 가상
| 상품 번호 | 운송 유형 | 사용된 포트 수 | 노트 |
|---|---|---|---|
| 1 | 100Gbps 이더넷 가상 NIC | 16 | 클라이언트 컴퓨터에서 사용됨 |
| 2 | 100Gbps 이더넷 가상 NIC | 16 | 노드 간 통신은 물론 모든 클라이언트와의 통신을 위해 Qumulo Core에서 사용됩니다. |
전송 구성 참고 사항
없음
스위치 – 가상
| 상품 번호 | 스위치 이름 | 스위치 유형 | 총 포트 수 | 사용된 포트 수 | 노트 |
|---|---|---|---|---|---|
| 1 | AWS | 향상된 네트워킹을 갖춘 100Gbps 이더넷 | 16 | 16 | 클라이언트 컴퓨터에서 사용됨 |
| 2 | AWS | 향상된 네트워킹을 갖춘 100Gbps 이더넷 | 16 | 16 | Qumulo Core 노드에서 사용됨 |
처리 요소 - 가상
| 상품 번호 | 수량 | 타입 | 장소 | 상품 설명 | 처리 기능 |
|---|---|---|---|---|---|
| 1 | 1152 | vCPU | c5n.18xlarge Qumulo 코어 | 3.5GHz 인텔 제온 플래티넘 프로세서 | Qumulo Core, 네트워크 통신, 스토리지 기능 |
| 2 | 1152 | vCPU | c5n.18xlarge Qumulo 코어 | 3.5GHz 인텔 제온 플래티넘 프로세서 | 사양 스토리지 클라이언트 벤치마크 프로세서 |
처리 요소 참고 사항
없음
메모리 – 가상
| 상품 설명 | 크기(GiB) | 인스턴스 수 | 비 휘발성 | 총 GiB |
|---|---|---|---|---|
| AWS EC2 c5n.18xlarge 인스턴스 메모리 | 192 | 16 | V | 3072 |
| AWS EC2 c5n.18xlarge 인스턴스 메모리 | 192 | 16 | V | 3072 |
| 총 총 메모리 기비바이트 | 6144 | |||
메모리 노트
없음
안정적인 저장
Qumulo Core는 EBS(Elastic Block Storage) 장치를 활용합니다. 안정적인 보관을 제공합니다.
테스트 중인 솔루션 구성 참고 사항
테스트 중인 솔루션은 Qumulo Core를 활용하여 구축된 표준 분산 클러스터였습니다. Qumulo Core 클러스터는 메타데이터 집약적인 애플리케이션과 함께 크고 작은 파일 I/O를 처리할 수 있습니다. 다양한 워크로드 또는 혼합 사용 워크로드에는 특별한 튜닝이 필요하지 않습니다.
