의 세계 인공 지능 인공지능(AI)은 기하급수적인 성장을 거듭하며 데이터 소비에 대한 끝없는 욕구를 드러내고 있습니다. 자율 주행 자동차부터 사람의 대화를 모방한 챗봇까지, AI는 놀라운 속도로 산업을 혁신하고 있습니다. AI의 힘은 데이터 백본에서 비롯됩니다. 데이터에 대한 액세스, 처리 속도, 확장 가능한 스토리지 성능은 모두 AI 파이프라인의 효율성을 결정하는 핵심 요소입니다. 바로 이 점에서 Qumulo는 업계 최고의 성능과 비용 효율성을 자랑하는 클라우드 파일 데이터 솔루션으로서 AI 워크로드를 위한 세계 최고의 데이터 스토리지 솔루션임을 입증했습니다.
Qumulo가 파일 기반 AI 워크로드에 이상적인 이유
딥 러닝 모델이나 신경망 등 AI 애플리케이션에는 고유한 스토리지 특성이 필요한데, Qumulo는 이 모든 것을 충족합니다:
확장성: AI 데이터 세트는 역동적입니다. 더 많은 데이터가 수집되고 처리됨에 따라 시간이 지남에 따라 증가합니다. 예측 가능한 고성능으로 확장할 수 있는 Qumulo의 능력은 AI 워크로드가 증가함에 따라 어떤 규모에서든 그 수요를 충족할 수 있도록 보장합니다.
비용 효율성: AI 이니셔티브에 자금을 지원하는 것은 상당한 투자가 될 수 있습니다. 성능 저하 없이 스토리지 비용을 절감하면 연구, 개발 또는 프로덕션 배포 등 다른 중요한 영역에 리소스를 확보할 수 있습니다.
어디서나 확장할 수 있는 기능TM: 인프라 소유자와 데이터 과학자는 한 곳에서 교육을 받으면서도 매우 안전한 인프라를 통해 다른 곳에 배포할 수 있는 유연성의 이점을 누릴 수 있습니다. Qumulo의 소프트웨어 정의 스토리지 시스템은 어디서나 배포하고 실행할 수 있습니다. 따라서 핵심 데이터 센터에서 AI 모델을 쉽게 트레이닝하고 어디서든 프로덕션으로 푸시할 수 있습니다.
성능: 특히 자율 주행 차량이나 금융 거래와 같은 시나리오에서 사용되는 AI 모델은 모델 학습 전후에 실시간 데이터 액세스가 필요합니다. Qumulo의 고속 데이터 검색은 데이터 가용성을 보장합니다 필요한 순간을 포착합니다.
4번 글머리 기호에 대해 자세히 알아보고 데이터/메타데이터의 원활하고 빠른 검색의 중요성을 강조해 보겠습니다. 이는 온프레미스 또는 클라우드에서 확장 가능한 파일 스토리지가 필요한 AI 애플리케이션에 필수적입니다.
합성 AI 워크로드 테스트를 통해 데이터 과학자가 규모에 관계없이 데이터 수집, 사전 학습, 프로덕션 학습, 지속적인 추론에 Qumulo를 사용할 수 있는 AI용 파일 기반 클라우드 솔루션 중 가장 빠르다는 사실을 확인했습니다.
계속 읽어보세요.
광범위하게 적용 가능한 AI 벤치마크
Qumulo의 성능 기능을 파악하기 위해 AWS 인프라의 클라우드에서 실행된 Qumulo의 최신 결과를 살펴보겠습니다. 저희는 SPECstorage를 사용해 Qumulo의 AI 성능을 특성화했습니다. 이 벤치마크(적절한 명칭은 AI_Image)는 일반적인 AI 워크로드를 종합적이고 정확하게 실행하는 파일 크기와 I/O 패턴을 활용합니다:
텐서플로 기반 모범 사례 - 세계에서 가장 널리 배포된 AI/ML 프레임워크
3가지 다른 모델에서 추적: Resnet, VGG(시각적 지오메트리 그룹), SSD(단일 샷 검출기)
시티스케이프, 이미지넷, 코코의 오픈 소스 데이터 세트 사용
AI 분야에서 보편화된 Tensorflow의 특성으로 인해 이 벤치마크는 AI 결과를 생성하는 광범위한 AI 모델 워크로드에 적용됩니다:
이미지 분류 및 물체 감지
자연어 처리(NLP)
음성 인식
추천 시스템
제너레이티브 모델
의료 및 생명 과학
... 그리고 더 많은 것
벤치마크 설명 및 달성한 결과
벤치마크의 목표는 Qumulo 스토리지에서 AI 작업을 실행하는 애플리케이션 계층(GPU 사용)으로 데이터를 빠르게 전송하는 것입니다. 이 벤치마크는 클라이언트 배치의 실제적인 I/O 패턴 세트에서 스토리지 성능과 지연 시간을 테스트합니다. 클라이언트는 목표에 도달할 때까지 AI 작업 수를 점진적으로 증가시키며, 이 테스트의 경우 총 480개의 작업을 수행합니다. 벤치마크에는 4개의 주요 작업과 4개의 독립적인 동시 하위 워크로드가 있습니다:
AI_SF - 작은 이미지 파일 읽기
AI_TF - 대용량 파일(이상적으로는 100MB 이상의 파일)을 기록합니다
AI_TR - 대용량 TFRecord 읽기
AI_CP - 가끔씩 체크포인트를 수행합니다
결과
아래 그림 1은 다음과 같은 결과를 보여줍니다:
X축은 시간 경과에 따라 AI 벤치마크를 실행한 작업 수를 나타냅니다
Y축은 테스트 기간 동안의 전체 지연 시간을 나타냅니다
지연 시간은 AI 작업 수가 증가함에 따라 스토리지 성능을 빠르고 예측 가능하게 보여줍니다!
온프레미스 적용 가능성
SPECstorage 벤치마크 테스트는 클라우드 기반 환경을 사용했지만, 이러한 결과는 유사한 온프레미스 하드웨어를 사용하여 결과를 추정하는 데 쉽게 추정할 수 있습니다. 큐물로가 이 벤치마크를 SPEC 웹사이트에 공개(예정일: 2023년 12월)하면 사용된 EC2 인스턴스 유형(코어 수, 사용 가능한 메모리 등)과 네트워크 환경에서 사용 가능한 대역폭 등 환경의 세부 사항과 비용을 확인할 수 있습니다. 한편, 궁금하신 독자들을 위해 블로그의 부록에 추가 세부 정보가 포함되어 있습니다.
데이터 과학자 및 데이터 엔지니어 여러분, 보세요. 직접 사용해 보세요!
빠르게 발전하는 AI 세계에서 강력하고 빠르며 확장 가능한 스토리지 솔루션은 사치가 아니라 필수입니다. 업계 최고의 성능과 비용 효율성을 갖춘 Qumulo는 AI 워크로드를 위한 클라우드 기반 파일 솔루션으로 두각을 나타내고 있습니다. 이번 벤치마크는 Qumulo의 뛰어난 성능을 입증할 뿐만 아니라 가장 빠르고 광범위하게 적용 가능한 AI용 스토리지 솔루션으로서의 입지를 더욱 공고히 해줍니다.
참조 전체 결과 spec.org에 게시
부록
성능
전체 응답 시간 = 1.22msec
비즈니스
Metric
(AI_Jobs)평균
지연 시간
(msec)AI_Jobs
Ops/SecAI_Jobs
MB/Sec161.36069601565321.281139213127481.313208824691641.213278436255801.201348047822961.1474176593851121.15848726109501281.12355687125141441.12262648140821601.10969609156441761.14476570172081921.11783530187742081.11290491203402241.11297452218992401.121104413234702561.271111374250372721.143118335265982881.155125296281613041.197132257297293201.205139218312893361.257146178328593521.323153139344183681.430160100359843841.503167061375524001.63217402239112
제품 및 테스트 정보
Qumulo - 퍼블릭 클라우드 참조테스트 제공업체Qumulo, Inc.하드웨어 사용 가능2023년 11월 소프트웨어 사용 가능2023년 11월 테스트 날짜2023년 11월라이센스 번호6738라이센스 사용자 위치시애틀, 워싱턴 주 미국
Qumulo는 단일 네임스페이스에서 엑사바이트 이상의 확장성, 온프레미스 또는 클라우드에서 동일한 기능, 완벽한 멀티 프로토콜 지원을 자랑하는 하이브리드 클라우드 파일 스토리지 솔루션으로, 다양한 애플리케이션에서 유연성과 호환성을 보장합니다. 퍼블릭 클라우드 인프라와 원활하게 통합되어 모든 규모의 비정형 데이터 스토리지를 제공하며, 스토리지 성능과 데이터 사용량에 대한 실시간 가시성을 제공합니다.
Qumulo의 클라우드 네이티브 파일 시스템은 조직이 파일 기반 애플리케이션과 워크로드를 퍼블릭 클라우드 환경으로 원활하게 마이그레이션할 수 있도록 지원합니다. 기업은 온프레미스나 클라우드에서 엑사바이트급 데이터를 효율적으로 관리할 수 있습니다. 다음 조사 결과는 Qumulo 파일 시스템이 AWS에 배포되었을 때 뛰어난 성능을 제공한다는 것을 명확하게 보여줍니다.
테스트 중인 솔루션 BOM
항목 번호수종류공급업체모델/이름설명116AWS EC2 인스턴스AWSc5n.18xlarge큐뮬로 노드 - Amazon c5n EC2 인스턴스(c5n.18xlarge 인스턴스에는 72개의 vCPU, 192GiB의 메모리, 100Gbps 네트워킹)216AWS EC2 인스턴스AWSc5n.18xlargeUbuntu 클라이언트 - Qumulo 클러스터 - Amazon c5n EC2 인스턴스(c5n.18xlarge 인스턴스에는 72개의 vCPU, 192GiB의 메모리, 100Gbps 네트워킹)
구성 다이어그램
AWS의 Qumulo
구성 요소 소프트웨어
항목 번호구성요소 유형이름 및 버전설명1Qumulo 코어파일 시스템6.2.2Qumulo의 클라우드 네이티브 파일 시스템을 통해 조직은 파일 기반 애플리케이션과 워크로드를 퍼블릭 클라우드로 손쉽게 이동할 수 있습니다.2우분투운영체제22.04우분투 운영체제는 16개의 c5n.18x 대형 컴퓨팅 노드에 배포됩니다. 이 노드는 SPEC 스토리지 2020 벤치마크를 실행하는 클라이언트로 사용됩니다.
하드웨어 구성 및 튜닝 - 물리적
구성 요소 이름매개변수 이름값설명SR-IOVE활성화됨CPU 가상화 기술 사용 가능포트 속도100Gb각 노드는 100GbE 연결이 가능합니다
하드웨어 구성 및 튜닝 참고 사항
없음
소프트웨어 구성 및 튜닝 - 가상
네트워킹파라미터이름값설명점보 프레임9001최대 9001바이트까지 이더넷 점보 프레임 활성화우분투 클라이언트 NFS 마운트 파라미터파라미터이름값설명vers3사용 NFSv3nconnect16최대 16tcp까지 NFS 클라이언트 연결 수 늘리기TCP 네트워크 qumulo 클러스터와 통신하기 위한 전송 프로토콜local_lockall 클라이언트는 플록과 POSIX 잠금이 모두 로컬이라고 가정EBS 볼륨 파라미터파라미터명값설명IOPS16000EBS 볼륨의 최대 IOPSThroughput1000EBS 볼륨의 최대 처리량
소프트웨어 구성 및 튜닝 참고 사항
없음
서비스 SLA 참고 사항
AWS는 상업적으로 합리적인 노력을 기울여 월별 청구 주기 동안 포함된 제품 및 서비스를 각각 최소 99.99%의 월별 가동 시간 비율로 이용할 수 있도록 합니다. 월 가동 시간 비율은 해당되는 경우 포함된 제품 및 서비스가 "지역 사용 불가" 상태에 있었던 월 동안의 시간(분)을 100%에서 차감하여 계산합니다.
스토리지 및 파일 시스템
항목 번호설명데이터 보호안정적인 스토리지수량1탄성 블록 스토리지 볼륨, 용량 1TB gp3. 각 Qumulo 노드에는 6개의 EBS 볼륨이 있습니다.2 드라이브 또는 삭제 코딩을 통한 노드 보호AWS EBS96파일시스템 개수1총 용량78.54TB파일시스템 유형Qumulo
파일 시스템 생성 노트
Qumulo Core 파일 시스템은 클라우드 형성 템플릿 또는 Terraform을 통해 AWS에 배포됩니다. 자동화된 클라우드 형성 프로세스의 일부로 또는 Terraform을 통해 Qumulo Core AMI가 배포되고 파일 시스템이 구성됩니다. 추가적인 파일 시스템 생성 단계는 필요하지 않습니다.
스토리지 및 파일 시스템 참고 사항
없음
전송 구성 - 가상
항목 번호전송 유형사용 포트 수 참고1100Gbps 이더넷 가상 NIC16클라이언트 머신에서 사용2100Gbps 이더넷 가상 NIC16큐물로 코어에서 노드 간 통신 및 모든 클라이언트와의 통신에 사용합니다.
전송 구성 참고 사항
없음
스위치 - 가상
항목 번호스위치 이름스위치 유형총 포트 수사용 포트 수주석1AWS100Gbps 이더넷(향상된 네트워킹 포함)1616클라이언트 머신에서 사용2AWS100Gbps 이더넷(향상된 네트워킹 포함)1616큐뮬로 코어 노드에서 사용
처리 요소 - 가상
품목 번호수량유형위치설명처리 기능11152vCPUc5n.18x대형 Qumulo Core3.5GHz 인텔 제온 플래티넘 프로세서큐뮬로 코어, 네트워크 통신, 스토리지 기능21152vCPUc5n.18x대형 Qumulo Core3.5GHz 인텔 제온 플래티넘 프로세서스펙 스토리지 클라이언트 벤치마크 프로세서
처리 요소 참고 사항
없음
메모리 - 가상
설명크기(Gi)인스턴스 수비휘발성총 GiBAWS EC2 c5n.18x대형 인스턴스 메모리19216V3072AWS EC2 c5n.18x대형 인스턴스 메모리19216V3072총 메모리 지비바이트6144
메모리 노트
없음
안정적인 스토리지
Qumulo Core는 안정적인 저장 공간을 제공하는 EBS(Elastic Block Storage) 장치를 활용합니다.
테스트 중인 솔루션 구성 참고 사항
테스트 중인 솔루션은 Qumulo Core를 활용하여 구축된 표준 분산 클러스터였습니다. Qumulo Core 클러스터는 메타데이터 집약적인 애플리케이션과 함께 크고 작은 파일 I/O를 처리할 수 있습니다. 다양한 워크로드 또는 혼합 사용 워크로드에 대해 특별한 튜닝이 필요하지 않습니다.