Foundation 모델 교육을 위한 통합 데이터 플랫폼

지역적으로 분산된 데이터나 로컬 데이터를 활용한 기반 모델 훈련을 위한 핵심 요소는 다음과 같습니다.

1. 높은 처리량, 낮은 지연 시간 액세스 로컬 및 원격으로 지속적인 GPU 활용을 위한 데이터입니다.
2. 탄력적인 확장성 멀티 페타바이트 규모의 데이터 세트와 동적으로 크기가 조정되는 컴퓨팅 클러스터를 처리합니다.
3. 다중 프로토콜 지원 PyTorch와 같은 최적의 파일 기반 라이브러리를 제공합니다.
4. 글로벌 가시성 및 거버넌스 데이터 상주 및 규정 준수 요구 사항을 충족합니다.

Qumulo는 고유한 실행-어디서나(Run-Anywhere) 아키텍처를 통해 이러한 각 기능을 제공하며, 컴퓨팅, 메모리, 스토리지의 어떤 조합에서도 고유한 기능을 구현할 수 있습니다. 이를 통해 데이터 플랫폼은 클라우드(AWS, Azure, GCP, OCI)는 물론 HPE, Cisco, Penguin 등을 포함한 온프레미스의 모든 서버 하드웨어에서 동급 최고의 비용 및 성능으로 운영될 수 있었습니다. 이는 통합 플랫폼의 기반이지만, Qumulo는 애플리케이션이 이러한 위치에서 데이터에 액세스하고 관리할 수 있도록 다중 프로토콜을 지원합니다. 이를 통해 PyTorch, TensorFlow, JAX와 같은 다양한 AI 개발 툴체인을 포함한 엔터프라이즈 애플리케이션 생태계 전반에 걸쳐 손쉽게 통합할 수 있습니다. 또한 Amazon SageMaker Hyperpod와의 간편한 통합을 지원하는 데에도 중요한 역할을 합니다.

값비싼 훈련 실행에서 고성능을 보장하는 것이 핵심입니다. 뉴럴캐시 기능은 로컬 및 지리적으로 분산된 데이터 아키텍처에서 최적의 성능을 제공합니다. 예를 들어, 여러 AWS P5e EC2 인스턴스(각 인스턴스에 Nvidia H200 Tensor Core GPU 8개 포함)를 사용하여 llama-3.1-8B를 학습할 때 평균 지연 시간은 밀리초 미만이었습니다. 추가 성능 데이터를 수집했으며, 이는 단일 리전 및 다중 리전 배포에 대해 별도로 게시될 예정입니다.

AI 팀의 경우, 모델 개발에는 여러 번의 학습 실행이 필요하며, 이는 일반적으로 가속 컴퓨팅 리소스를 사용하는 사이트 외부의 데이터를 사용합니다. 예를 들어, 지역 1에서 학습 실행을 실행해야 하지만 GPU 부족 문제로 인해 며칠에서 몇 주까지 지연되는 경우가 있습니다. DIY(Do-It-Yourself) 방식은 미리 선택된 각 데이터 세트를 가속 컴퓨팅 사이트에서 학습 및 검증 실행을 위해 스테이징하는 수백 개의 파이프라인을 필요로 합니다. 이로 인해 학습 시간 지연, 데이터 확산, 데이터 세트의 일관성 부족, 거버넌스 문제가 발생합니다. 대안은 통합 데이터 플랫폼을 통해 필요에 따라 데이터를 이동하여 사이트 간 성능, 비용 효율성 및 일관성을 보장하는 것입니다. 클라우드 데이터 패브릭(CDF)Qumulo는 지역성 인식 데이터 플랫폼을 제공합니다. CDF는 디렉터리/프리픽스를 "허브"에서 하나 또는 여러 개의 "스포크"로 효과적으로 확장합니다. 스포크는 완전히 일관성을 유지하며, Neural Cache의 지역성 인식 및 모델 앙상블을 사용하여 각 워크로드에 대해 어떤 데이터를 프리페치할지 결정합니다. CDF를 통해 스포크는 애플리케이션에 로컬 성능을 제공할 수 있습니다. 그림 1과 2는 SageMaker HyperPod와 Qumulo를 사용한 검증된 아키텍처를 보여줍니다. 

이는 AI 팀을 위한 새로운 데이터 패러다임으로, 엔지니어가 결과를 도출하는 데 걸리는 시간을 단축하고 최적화된 제로 오케스트레이션 데이터 루프를 통해 새로운 모델의 성능을 향상시킵니다. 비용 모델링 결과, 이 접근 방식을 사용하면 TCO를 30% 이상 절감할 수 있습니다. 이러한 목표를 달성하기 위해 Qumulo를 활용한 통합 데이터 플랫폼의 주요 기능은 다음과 같습니다.

가속화된 컴퓨팅을 위한 탄력적이고 고성능 데이터 액세스

• 규모에서 1GB/s ~ 1TB/s 표시된 바와 같이 밀리초 미만의 지연 시간을 갖는 처리량 AI-이미지 벤치마크.
• 데이터 로딩, 샤딩, 체크포인팅 또는 미세 조정 중에 I/O 중단을 제거하여 GPU를 최대한 활용합니다.
• NeuralCache™ AI 기반 캐싱 및 프리페칭을 로컬 및 원격으로 사용하여 각 교육 워크로드에 자동으로 적응합니다.

워크로드 모빌리티를 위한 통합 데이터 패브릭

• NeuralCache™ AI 기반 캐싱 및 프리페칭을 사용하여 허브 Qumulo 클러스터와 여러 스포크 Qumulo 클러스터 간에 원활하게 스포크의 대기 시간을 최적화했습니다.
• 데이터 전송을 압축하고, 중복을 제거하고, WAN을 최적화하여 수동 복사에 비해 전송되는 데이터를 30% 이상 줄입니다.
• 버전 정보와 같은 공유 메타데이터를 통해 모든 환경에서 일관된 데이터를 적용합니다.

다중 프로토콜 유연성

• 기본 지원 S3, NFS, SMB, REST 및 SFTP 리팩토링, 재설계 또는 중복 복사를 제거합니다.
• 데이터 과학자, 엔지니어, 시뮬레이션 팀은 선호하는 도구를 사용하여 동일한 데이터 세트에 액세스할 수 있습니다.
• 기존의 사일로형 스토리지에 비해 데이터 오케스트레이션 오버헤드를 최대 4배까지 줄여줍니다.

Qumulo를 사용한 SageMaker HyperPod

이를 증명하기 위해 Qumulo는 다음을 사용하여 공통 기반 모델 워크플로를 검증했습니다. 세이지메이커 하이퍼팟 훈련 데이터와 동일한 지역에 배포될 뿐만 아니라 훈련 데이터 세트와 별도의 지역에도 배포됩니다. 그 결과 데이터 중복이나 오케스트레이션 없이 글로벌 모델 훈련이 이루어지지만 일관성은 유지되고 총 소유 비용은 절감됩니다. 한 가지 중요한 세부 사항은 대부분의 AI 모델 개발 작업에서 훈련 실행당 레이블이 지정된 데이터의 30%만 사용되고 첫 번째 실행과 후속 실행에서 상당한 중복이 발생한다는 것입니다. 이는 대부분의 팀에서 오케스트레이션 작업에서 일반적인 시나리오인 실행당 데이터 세트를 복제하는 것에 비해 더 높은 ROI로 이어집니다. ROI 개선에 더 큰 영향을 미치는 것은 많은 팀이 이러한 목적을 위해 중복을 피하기 위해 복잡한 데이터 카탈로그를 구축했으며, Qumulo CDF를 활용하면 더 이상 구축, 유지 관리 및 발전에 중복이 필요하지 않다는 것입니다.

Qumulo를 사용한 SageMaker HyperPod – 단일 지역 데이터 세트

이 배포에서는 SageMaker HyperPod와 동일한 리전에 학습 데이터를 포함한 CNQ를 배포했습니다. CNQ는 P5e EC2 노드와 함께 배치되지 않은 단일 가용 영역 방식으로 배포되었습니다. 아키텍처는 그림 1에 나와 있습니다. 

Qumulo를 사용한 SageMaker HyperPod – 다중 지역 데이터 세트

이 배포에서는 CNQ를 지역 2에 허브로, 지역 1에 스포크로 배포했습니다. CDF는 CNQ 스포크 폴더와의 데이터 분배를 최적화합니다. 이를 통해 학습에 필요한 데이터만 스포크로 분배됩니다.