이 블로그에서는 클라우드 설계자가 AI 인프라를 구축할 때 기존 파일 시스템을 사용하여 구축해야 했던 장단점에 대해 설명합니다. 또한 이 블로그에서는 Azure Native Qumulo가 이러한 장단점을 해결하여 성능 저하 없이 GPU 시간을 줄이고 비용을 크게 낮추는 방법에 대해 설명합니다.
대규모로 AI 작업을 실행하는 데 있어 파일 스토리지 서비스는 성능과 비용 효율성 사이의 균형을 최적화하는 데 실패했습니다. 파일 스토리지 인프라에 직접 AI 워크플로우를 배포하는 것은 비실용적이고 번거로우며 경제적으로도 지속 가능하지 않았습니다.
오늘날 기업들은 저비용 오브젝트 스토리지에서 고비용 파일 캐시(로컬 디스크 또는 중앙 파일시스템)로 데이터를 전송하고, 그 곳에서 AI 연산 작업을 수행하는 AI 기반 솔루션을 구축해야 하는 상황에 처해 있습니다. 데이터 수집, 사전 학습, 프로덕션 학습, 연속 추론 등 어떤 경우든 스토리지 계층 간 데이터 이동은 복잡성을 가중시킬 뿐만 아니라 추가적인 API 트랜잭션 수수료도 발생시킵니다.
파일 캐시를 사용하는 2계층 시스템에서는 오브젝트 스토리지에서 파일 캐시로 데이터를 로드하는 데만 최대 40%의 시간을 GPU가 대기 상태로 유지됩니다. 이는 유휴 GPU에 많은 시간을 낭비하는 것입니다. 더 큰 문제는 캐시가 작을수록 학습 데이터 세트가 해당 로컬 캐시의 크기로 제한되어 이미지나 동영상과 같은 대용량 데이터 세트를 처리하기 위해 여러 번의 로드 단계가 필요하다는 점입니다.
ANQ(Azure Native Qumulo)는 개체 저장소를 위한 지능형 데이터 가속기 역할을 하며, Qumulo 파일 시스템을 통해 Azure 기본 인프라에서 AI 학습 모델을 실행하는 GPU로 직접 제공되는 병렬화된 프리페치 읽기를 실행합니다. ANQ는 GPU 측 성능을 가속화하여 오브젝트 계층과 파일 시스템 간의 로드 시간을 제거합니다. 이렇게 하면 아래 이미지와 같이 클라우드에서 파일 종속적인 AI 학습을 설계하는 방식이 달라집니다.
이를 증명하기 위해 최신의 사양 스토리지 AI_IMAGE 결과 를 통해 업계에서 가장 빠르고 비용 효율적인 클라우드 네이티브 스토리지 솔루션인 ANQ의 아키텍처를 시연했습니다.
5시간 버스트 기간 동안 0.84ms의 전체 응답 시간(ORT)과 정가 기준 총 400달러의 고객 비용으로 최고의 결과를 달성했습니다. 이는 성능이 필요하지 않을 때 미터링이 중단되는 전적으로 SaaS PAYGO의 버스트 주기였기 때문에 놀라운 결과입니다. 이전에 700개의 작업을 0.85ms ORT로 제출한 것을 포함하여 대부분의 다른 공급업체는 비용을 투명하게 공개하지 않기 때문입니다:
여기에는 데이터 세트를 유지하기 위해 배포 후에도 계속 실행해야 하는 대규모의 비탄력적인 오버사이즈 가상 머신 배포가 포함됩니다.
소프트웨어 사용권으로 1~3년 소프트웨어 구독을 요구하며, 수십만 달러의 비용이 드는 반면, PAYGO 소비 모델은 그렇지 않습니다.
이러한 주장은 믿기 어렵게 들리므로 의문을 가질 수 있습니다:
이처럼 놀라운 결과를 제공하는 ANQ의 아키텍처는 무엇이 다른가요?
쿠물로는 어떻게 페라리의 속도를 달성할 수 있을까요? 공개 광고 가격 신뢰할 수 있는 도요타 코롤라를 찾으시나요?
이제 오브젝트에 대한 계층화 관리 없이 클라우드에서 파일 스토리지를 사용할 수 있나요?
요일이나 요일에 따라 업무량이 크게 변동하는 경우 어떻게 해야 하나요?
이 모든 질문에 답하고 최초의 최신 클라우드 파일 스토리지 서비스라고 자신 있게 주장할 수 있는 것은 간단한 세 가지입니다.
진정한 탄력적 확장성 는 고객이 클라우드 네이티브 스토리지 인프라가 아닌 다른 비즈니스 및 기술 문제에 집중할 수 있도록 지원합니다. AI 애플리케이션 스택에서 필요할 때 스토리지 성능을 확장할 수 있으므로 수요가 없을 때는 비용을 절감할 수 있습니다.
참고: 다른 클라우드 파일 시스템은 고정 용량의 사전 프로비저닝된 '볼륨'을 운영하여 이 중요한 기능에 실패합니다. 온프레미스 스토리지와 크게 다르지 않지만 훨씬 더 비쌉니다!
파격적인 가격: Qumulo는 클라우드 경제성을 활용하여 획기적인 가격 책정 방식으로 혁신을 이루었으며, 절감된 비용을 고객에게 전가하고 있습니다. 파괴적인 부분이 무엇인가요? 사용한 만큼만 비용을 지불한다는 점입니다.
요금은 스토리지 사용량(TB)과 필요한 성능(처리량 및 IOP)이라는 두 가지 요소에 따라 단순하게 책정되며, ANQ는 성능과 용량을 동적으로 확장하므로 수요를 예상하여 리소스를 미리 프로비저닝할 필요가 없습니다.
성능 는 워크로드가 증가함에 따라 선형적으로 증가합니다. Azure Native Qumulo 파일 시스템은 오브젝트 계층 위에 구축되어 모든 클러스터(온-프레미스 및 클라우드 내)에서 평균 캐시 적중률이 95% 이상입니다! 이 아키텍처는 객체에서 프리페치된 병렬화된 읽기를 실행하는 가속기 역할을 하며, 파일 시스템에서 AI 애플리케이션을 실행하는 GPU일 수 있는 클라이언트로 직접 제공됩니다. 이 관리형 '가속기'는 오브젝트 계층과 파일시스템 사이의 로드 시간을 기다릴 필요 없이 GPU 측의 확장성과 성능을 보장합니다.
읽기 캐시는 인메모리 L1 캐시와 넉넉한 NVMe L2 캐시에서 서비스됩니다. 글로벌 읽기 캐시는 온디맨드 방식으로 탄력적으로 증가합니다. 이 때문에 사양 AI_IMAGE 벤치마크에서 전체 응답 시간이 밀리초 미만이었고, 시스템이 성능 요구 사항을 충족하기 위해 일시적으로 캐시를 확장했습니다!
읽기 캐시 뒤에는 다음에 읽을 가능성이 가장 높은 블록을 추측하는 Qumulo의 고도로 조정된 머신 러닝 모델이 있습니다. 수년간의 1조 건이 넘는 요청에 대한 액세스 패턴으로 학습된 이 모델은 NVMe 또는 L1 캐시에서 데이터를 정확하게 미리 가져와 제공합니다.쓰기 트랜잭션은 들어오는 쓰기에 대해 보호된 쓰기-백 캐시 역할을 하는 고성능 Azure 관리형 디스크를 활용하여 Azure Blob Storage로 지속적으로 플러시합니다. 모든 트랜잭션은 저널링되므로 ANQ 아키텍처에서 단일 데이터 손실 지점이 발생하지 않습니다. 이 접근 방식은 컴퓨팅 노드 장애 시 매우 중요하며, 컴퓨팅 이벤트 중에 기내 쓰기가 손실될 수 있는 일부 경쟁사의 아키텍처보다 더 내구성이 뛰어납니다.
상상할 수 없나요? 직접 테스트해 보세요. Azure Native Qumulo의 7일 무료 평가판을 사용해 보세요 여기. 기본 구성에서는 기능을 볼 수 있지만 안전 속도 제한이 있습니다. 더 높은 성능이 필요한 경우 hpc-trial-request@qumulo.com 으로 문의하세요.
자세히 알아보고 싶으신가요? 아래에서 솔루션 개요를 다운로드하세요.