공동 작성자: 브라이언 베레즈디빈 & 마르코스 서안
모든 산업 분야의 기업들이 경쟁적으로 도입하고 있습니다 제너레이티브 AI 및 파운데이션 모델(FM). 가속화된 인프라에 대한 막대한 투자에도 불구하고 데이터와 컴퓨팅이 같은 위치에 있는 경우는 드물다는 지속적인 과제가 남아 있습니다. 최신 파운데이션 모델은 전례 없는 규모를 요구합니다. FM을 훈련하려면 언어 모델의 경우 수백 테라바이트에서 텍스트, 이미지, 비디오를 결합한 멀티모달 시스템의 경우 수십 페타바이트에 이르는 데이터 세트를 소비하는 수천 개의 GPU 가속 인스턴스를 수일에서 수주 동안 실행해야 할 수 있습니다. 이러한 데이터 세트는 정적이 아니며 조직이 새로운 엣지 사례, 사용자 피드백 또는 도메인별 데이터를 캡처하기 위해 모델을 재교육하고 미세 조정함에 따라 지속적으로 진화합니다.
대부분의 대기업은 데이터가 온프레미스 데이터 센터와 여러 클라우드에 분산되어 있는 것이 현실입니다. 이러한 데이터 로컬리티와 가속화된 컴퓨팅 가용성 간의 단절은 인공지능(AI) 확장을 가로막는 가장 큰 장벽 중 하나가 되었습니다. 페타바이트 규모의 데이터세트를 여러 지역 또는 클라우드로 이동하면 운영 오버헤드, 비용, 지연 시간, 거버넌스 복잡성이 증가하여 학습 시간 및 투자 수익률(ROI)에 직접적인 영향을 미칩니다. 통합된 로캘 인식 데이터 패브릭은 이러한 격차를 해소합니다. 큐뮬로의 통합 데이터 플랫폼은 여러 지역 또는 하이브리드 토폴로지에서 글로벌 일관성, 범용 액세스, 저지연 액세스를 보장하여 최신 AI 팩토리에 부합하는 새로운 데이터 아키텍처 패러다임을 구현합니다.
이 게시물에서는 기초 모델 학습과 같은 대규모 AI 워크로드를 지원할 수 있는 통합 데이터 플랫폼의 아키텍처 요소에 대해 간략하게 설명합니다. 또한 다음과 같은 방법도 설명합니다 아마존 세이지메이커 하이퍼팟, 와 페어링 클라우드 네이티브 쿠물로(CNQ) 는 분산형 AI/ML 학습을 위한 엔드투엔드 환경을 제공합니다. 세이지메이커 하이퍼팟은 GPU 클러스터의 탄력적인 오케스트레이션과 확장을 제공하며, 클라우드 데이터 패브릭(CDF)이 포함된 CNQ는 지역 또는 사이트 전반에서 짧은 지연 시간으로 데이터에 액세스할 수 있도록 보장합니다. 단일 지역(그림 1 참조) 및 다중 지역(그림 2 참조) 배포에서 SageMaker HyperPod와 CNQ를 결합한 검증된 레퍼런스 아키텍처와 Qumulo 및 SageMaker HyperPod의 통합 세부 사항을 설명합니다.
조직은 Qumulo를 SageMaker HyperPod(및 기타 클라우드 또는 온프레미스 AI 툴링)와 페어링하여 다음과 같은 이점을 누릴 수 있습니다:
교육 전후의 결과를 도출하는 시간을 25% 이상 단축합니다.
지리적으로 분산된 데이터에 AI 워크로드를 배포하고 가속화되는 컴퓨팅 부족 문제를 극복하세요.
제로 오케스트레이션으로 AI 데이터 루프에 대한 운영 오버헤드 감소
환경 전반에서 데이터 거버넌스 및 보안 정책을 통합하세요.
그림 1: Qumulo 아키텍처의 Amazon Sagemaker 하이퍼포드(단일 지역 데이터세트)
기초 모델 교육을 위한 통합 데이터 플랫폼
다음은 로컬 데이터 또는 지리적으로 분산된 데이터를 사용하여 기초 모델 학습을 지원하기 위한 핵심 요소입니다:
높은 처리량, 짧은 지연 시간 액세스 를 데이터에 연결하여 로컬 및 원격으로 지속적인 GPU 활용을 지원합니다.
탄력적인 확장성 를 사용하여 멀티 페타바이트 데이터 세트와 동적 규모의 컴퓨팅 클러스터를 처리할 수 있습니다.
멀티프로토콜 지원 와 같은 최적의 파일 기반 라이브러리를 제공합니다
글로벌 가시성 및 거버넌스 를 사용하여 데이터 보존 및 규정 준수 요건을 충족할 수 있습니다.
Qumulo는 컴퓨팅, 메모리, 스토리지의 모든 조합에서 고유한 기능을 구현할 수 있는 고유한 런-어웨어 아키텍처를 통해 이러한 각 기능을 제공합니다. 이를 통해 데이터 플랫폼은 클라우드(AWS, Azure, GCP, OCI)는 물론 HPE, Cisco, Penguin 등 온프레미스의 모든 서버 하드웨어에서 동급 최고의 비용과 성능으로 운영할 수 있습니다. 이는 통합 플랫폼의 기반이지만, 그에 못지않게 중요한 것은 애플리케이션이 이러한 위치 전반에서 데이터에 액세스하고 관리할 수 있도록 Qumulo 멀티프로토콜을 지원하는 것입니다. 이를 통해 파이토치, 텐서플로우, JAX와 같은 다양한 AI 개발 도구 체인을 포함한 엔터프라이즈 애플리케이션 에코시스템 전반에 걸쳐 쉽게 통합할 수 있습니다. 이는 또한 Amazon SageMaker Hyperpod와의 손쉬운 통합을 가능하게 하는 핵심 요소이기도 합니다.
높은 성능을 보장하는 것은 비용이 많이 드는 훈련 실행에서 핵심입니다 NeuralCache 기능은 로컬 및 지리적으로 분산된 데이터 아키텍처에서 최적의 성능을 제공합니다. 예를 들어, 여러 개의 AWS P5e EC2 인스턴스(각각 8개의 Nvidia H200 텐서 코어 GPU)를 사용하여 llama-3.1-8B를 학습할 때 평균 지연 시간은 밀리초 미만이었습니다. 단일 지역 및 다중 지역 배포 모두에 대해 별도로 게시될 추가 성능 데이터를 수집했습니다.
AI 팀의 경우, 모델을 개발하려면 일반적으로 가속화된 컴퓨팅 리소스를 통해 외부의 데이터를 사용하는 여러 번의 트레이닝 실행이 필요합니다. 예를 들어 지역 1에서 트레이닝 실행을 실행해야 하지만 GPU 부족 문제로 인해 며칠에서 몇 주까지 지연되는 경우를 들 수 있습니다. DIY 접근 방식은 가속화된 컴퓨팅 사이트에서 훈련 및 검증 실행을 위해 미리 선택된 각 데이터 세트를 스테이징하기 위한 수백 개의 파이프라인을 생성합니다. 이로 인해 학습 시간이 지연되고, 데이터가 급증하며, 데이터 세트의 일관성이 부족하고, 거버넌스 문제가 발생합니다. 다른 접근 방식은 통합 데이터 플랫폼이 사용자를 대신하여 온디맨드 방식으로 데이터를 이동하여 사이트 간의 성능, 비용 효율성 및 일관성을 보장하는 것입니다. With 클라우드 데이터 패브릭(CDF) 는 지역 인식 데이터 플랫폼을 제공합니다. CDF는 디렉터리/접두사를 '허브'에서 하나 또는 여러 개의 '스포크'로 효과적으로 확장합니다. 스포크는 완전히 일관되며 Neural Cache의 지역 인식 및 모델 앙상블을 사용해 각 워크로드에 대해 어떤 데이터를 프리페치할지 결정합니다. CDF를 통해 스포크는 결과적으로 애플리케이션에 로컬 성능을 제공할 수 있습니다. 그림 1과 그림 2에는 SageMaker HyperPod와 Qumulo를 통해 검증된 아키텍처가 나와 있습니다.
이는 최적화된 제로 오케스트레이션 데이터 루프를 통해 엔지니어의 결과 도출 시간을 단축하고 새로운 모델의 성능을 향상시키는 AI 팀을 위한 새로운 데이터 패러다임이라고 할 수 있습니다. 비용 모델링에 따르면 이 접근 방식을 사용하면 TCO를 30% 이상 절감할 수 있습니다. 이러한 목표를 달성하기 위한 통합 데이터 플랫폼의 주요 기능은 다음과 같습니다;
가속화된 컴퓨팅을 위한 탄력적인 고성능 데이터 액세스
다음에서 확장 1GB/s ~ 1TB/s 밀리초 미만의 지연 시간으로 처리량을 보여줍니다 AI 이미지 벤치마크.
데이터 로딩, 샤딩, 체크포인트 또는 미세 조정 중에 I/O가 멈추는 현상을 제거하여 GPU를 최대한 활용하세요.
NeuralCache™ AI 기반 캐싱과 로컬 및 원격 프리페칭을 사용하여 각 교육 워크로드에 자동으로 적응합니다.
워크로드 모빌리티를 위한 통합 데이터 패브릭
NeuralCache™ AI 기반 캐싱을 사용하여 스포크의 지연 시간을 최적화하고 허브 Qumulo 클러스터에서 여러 스포크 Qumulo 클러스터로 원활하게 프리페칭합니다.
데이터 전송을 압축, 중복 제거, WAN 최적화를 통해 수동 복사본에 비해 전송되는 데이터를 30% 이상 줄일 수 있습니다.
버전 정보 등의 메타데이터를 공유하여 모든 환경에 일관된 데이터를 적용하세요.
멀티 프로토콜 유연성
다음에 대한 기본 지원 S3, NFS, SMB, REST 및 SFTP 리팩토링, 재설계 또는 중복 복사본을 제거합니다.
데이터 과학자, 엔지니어, 시뮬레이션 팀은 각자가 선호하는 도구를 사용하여 동일한 데이터 세트에 액세스할 수 있습니다.
기존의 사일로형 스토리지에 비해 데이터 오케스트레이션 오버헤드를 최대 4배까지 줄여줍니다.
세이지메이커 하이퍼팟과 큐물로
이를 시연하기 위해 Qumulo는 다음을 사용하여 일반적인 기초 모델 워크플로우를 검증했습니다 세이지메이커 하이퍼팟 학습 데이터와 동일한 지역에 배포할 수도 있고 학습 데이터 세트와 별도의 지역에 배포할 수도 있습니다. 그 결과 데이터 중복이나 오케스트레이션 없이 글로벌 모델 학습이 가능하면서도 일관성을 유지하고 총소유비용을 절감할 수 있습니다. 한 가지 중요한 세부 사항은 대부분의 AI 모델 개발 작업에서 학습 실행당 라벨링된 데이터의 30%만 사용되며, 첫 번째 실행과 후속 실행 간에 상당한 중복이 발생한다는 것입니다. 이는 대부분의 팀이 오케스트레이션 작업에서 흔히 사용하는 시나리오인 실행당 데이터 세트를 복제하는 것에 비해 더 높은 ROI로 이어집니다. ROI 개선에 더욱 큰 영향을 미치는 것은 많은 팀이 이러한 목적으로 중복을 피하기 위해 복잡한 데이터 카탈로그를 구축해왔는데, Qumulo CDF를 활용하면 더 이상 구축, 유지, 발전할 필요가 없다는 점입니다.
세이지메이커 하이퍼팟과 큐뮬로 - 단일 지역 데이터 세트
이 배포에서는 세이지메이커 하이퍼팟을 통해 동일한 지역에 훈련 데이터와 함께 CNQ를 배포했습니다. CNQ는 P5e EC2 노드와 함께 배치되지 않은 단일 가용 영역 접근 방식으로 배포되었습니다. 아키텍처는 그림 1에 나와 있습니다.
세이지메이커 하이퍼팟과 큐뮬로 - 다중 지역 데이터 세트
이 배포에서는 지역 2에 CNQ를 허브로, 지역 1을 스포크로 배포했습니다. CDF는 CNQ 스포크 폴더에 데이터를 최적으로 배포합니다. 이렇게 하면 훈련에 필요한 데이터만 스포크에 배포할 수 있습니다.
그림 2: 다중 지역 데이터 세트를 위한 Qumulo 아키텍처의 Amazon Sagemaker 하이퍼포드
세이지메이커 하이퍼포드(Qumulo 포함) - 하이브리드 또는 멀티 클라우드 옵션
많은 기업들이 이미 한 환경에서 GPU 클러스터를 운영하고 데이터 세트는 다른 환경에서 유지하고 있습니다. 큐뮬로의 클라우드 데이터 패브릭은 오케스트레이션 없이도 원활한 하이브리드 또는 멀티클라우드 토폴로지를 지원합니다:
온프레미스에서 클라우드로: 온-프레미스 Qumulo 클러스터를 신뢰할 수 있는 데이터 소스로 사용하여 SageMaker HyperPod 또는 Azure AI Foundry에서 학습합니다. 그림 2에서 이를 설명합니다.
멀티클라우드: 통합 네임스페이스 및 정책 제어를 통해 AWS, Azure, GCP에서 Qumulo 인스턴스를 사용하세요.
엣지에서 코어로: 복잡한 복제 작업 없이 엣지에서 생성된 데이터를 수집, 큐레이션, 학습할 수 있습니다.
그림 3: 하이브리드 데이터세트를 위한 Qumulo 아키텍처의 Amazon Sagemaker 하이퍼포드
쿰루로와 세이지메이커 하이퍼포드 통합하기
다음을 사용하여 단일 리전 배포를 위한 검증된 레시피를 아래에 제공합니다 AWS 마켓플레이스의 클라우드 네이티브 쿠물로(CNQ) 를 사용하여 세이지메이커 하이퍼팟과 통합할 수 있습니다. 이 레시피에서 CNQ는 교육 데이터와 체크포인트를 지원할 뿐만 아니라 NFS CSI 드라이버를 사용하여 SageMaker Hyperpod에서 동적 컨테이너 배포를 가능하게 합니다.
검증된 구성을 재현하기 위해 다음 단계를 간략하게 설명합니다;
1단계: Amazon EKS 및 HyperPod 클러스터 프로비저닝
우리는 EKS 및 HyperPod 설정 가이드 를 사용하여 EKS 클러스터를 배포하고 SageMaker HyperPod를 통합합니다.
# 관리되는 노드 그룹으로 EKS 클러스터 만들기
eksctl create cluster \
--name hyperpod-eks \
--버전 1.29 \
--지역 us-west-2 \
--nodegroup-name workers \
--node-type P5.4xlarge \
--nodes 2 \
--nodes-min 2 \
--nodes-max 8
# 노드가 준비되었는지 확인한다
kubectl get 노드
2단계: Terraform을 통한 Qumulo 클러스터 배포
Terraform과 함께 AWS에 Cloud Native Qumulo(CNQ)를 배포하려면 영구 저장소를 위해 AWS S3를 활용하고 컴퓨팅 및 캐시 리소스를 위해 EC2 인스턴스를 활용하는 완전히 탄력적인 파일 데이터 플랫폼을 설정해야 합니다. 배포 프로세스는 확장성, 보안, 운영 효율성을 보장하는 AWS Well-Architected Framework를 따릅니다. 시작하기 전에 환경은 적절한 IAM 권한, Qumulo의 엔드포인트에 대한 아웃바운드 인터넷 연결, S3 VPC 게이트웨이를 사용하는 경우 설정 등 몇 가지 전제 조건을 충족해야 합니다. Terraform 배포 패키지는 필요한 모든 AWS 리소스의 프로비저닝을 자동화하는 모듈식 템플릿을 제공합니다.
배포는 크게 두 단계로 진행됩니다. 먼저, Terraform 구성을 사용하여 Qumulo 데이터를 저장할 S3 버킷을 생성하여 영구 저장소를 구축합니다. 스토리지가 생성되면 두 번째 단계에서는 Qumulo Core를 호스팅하는 EC2 인스턴스를 배포합니다. Terraform은 구성 일관성, 명명 규칙, 종속성 관리를 자동으로 처리하여 모든 리소스에 고유한 배포 식별자를 태그하여 여러 클러스터에서 충돌을 방지합니다.
배포 후, 배포 후 작업에는 클러스터 구성의 유효성 검사, AWS 시스템 관리자를 통한 성공적인 프로비저닝 확인, 선택적으로 Qumulo Authoritative DNS를 사용한 DNS 확인 설정이 포함됩니다. 그 결과 페타바이트 규모의 데이터를 탄력적으로 관리할 수 있는 완전히 작동하는 클라우드 네이티브 Qumulo 클러스터가 탄생합니다, 멀티 프로토콜 액세스 에 대한 S3, NFS, SMB, FTP 및 RestAPI 액세스 그리고 AWS의 통합 혜택을 누릴 수 있습니다.
다음을 따르십시오 Terraform을 사용하여 AWS에 CNQ 배포 가이드 를 클릭하여 자세한 단계를 확인하세요.
3단계: Qumulo 사용자 생성 및 NFS 내보내기
사용 Qumulo GUI 도구 (http 브라우저를 통해 액세스 가능):
새 사용자 및 권한을 추가했습니다.
NFS 내보내기 경로 /ai-factory-data를 만듭니다.
참조: NFS 내보내기를 만드는 방법.
4단계: CSI 드라이버 설치 및 PVC 구성하기
Kubernetes 워크로드를 Qumulo에 연결하기 위해 CSI 드라이버를 설치하고 PVC를 정의했습니다.
# 쿠물로 CSI 드라이버 설치
헬름 리포지토리 추가 csi-driver-nfs https://raw.githubusercontent.com/kubernetes-csi/csi-driver-nfs/master/charts
헬름 설치 csi-driver-nfs csi-driver-nfs/csi-driver-nfs --네임스페이스 큐브-시스템 --버전 4.12.0
# PV 구성 예시
apiVersion: v1
kind: 퍼시스턴트볼륨
메타데이터:
이름: pv-qumulo-static
spec:
용량:
storage: 50Ti
accessModes:
- 읽기-쓰기-다수
퍼시스턴트볼륨리클레임폴리시: Retain
저장소 클래스 이름: ""
마운트옵션:
- vers=3
- proto=tcp
- nolock
csi:
드라이버: nfs.csi.k8s.io
# 이 디렉터리/볼륨의 고유 ID; 안정적인 경로 기반 핸들 사용 volumeHandle: qumulo-nfs-root
볼륨 어트리뷰트:
서버: qumulo.qumulo-hub.com
share: "/csi"
# PVC 구성 예시
apiVersion: v1
종류: 퍼시스턴트볼륨클레임
메타데이터:
이름: pvc-큐뮬로-정적
spec:
accessModes:
- 읽기-쓰기-다수
리소스:
요청
storage: 50Ti
storageClassName: ""
볼륨 이름: pv-큐뮬로-정적
참조: CSI 드라이버로 쿠버네티스 연결하기.
5단계: 워크로드 실행
우리는 라마 2 모델 사용 PyTorch FSDP 를 사용합니다.
# FSDP로 분산된 라마 2 작업 시작하기
kubectl create -f llama2-fsdp-job.yaml
구성은 AWS 샘플을 따랐습니다: Llama 2 FSDP 예제.
이 설정은 프로덕션 준비가 완료되었으며 단일 지역 및 다중 지역 운영 모두에 대해 검증되었으며 하이브리드 및 멀티 클라우드 AI 팩토리의 청사진을 형성합니다.
결론
기업이 AI의 야망을 확장함에 따라 데이터가 있는 곳으로 이동하지 않고도 컴퓨팅이 가능한 곳에서 학습할 수 있는 기능은 운영 효율성과 비즈니스 라인의 전반적인 결과 도출 시간을 개선합니다. 온프레미스, 클라우드, 엣지에서 Qumulo를 사용하면 기초 모델 개발에 필요한 성능과 단순성으로 가장 비용 최적화된 방식으로 이를 달성할 수 있습니다. 조직은 Qumulo를 SageMaker HyperPod(및 기타 클라우드 또는 온프레미스 AI 개발 프레임워크)와 페어링하여 다음과 같은 이점을 누릴 수 있습니다:
교육 전후의 결과를 도출하는 시간을 25% 이상 단축합니다.
지리적으로 분산된 데이터에 AI 워크로드를 배포하고 가속화되는 컴퓨팅 부족 문제를 극복하세요.
제로 오케스트레이션으로 AI 데이터 루프에 대한 운영 오버헤드 감소
환경 전반에서 데이터 거버넌스 및 보안 정책을 통합하세요.
GPU가 AWS, Azure, GCP 또는 온프레미스에서 실행되는지 여부에 관계없이 Qumulo는 어디서나 트레이닝하고 어디서나 관리할 수 있는 AI 전략을 지원합니다.
자세한 내용은 다음에서 확인하세요 qumulo.com/ai