소개
인공지능(AI)과 머신러닝(ML)의 시대에는 방대한 양의 비정형 데이터를 효율적으로 처리하는 것이 관건입니다. 기업과 정부 기관에서는 인사이트를 얻고, 운영을 개선하고, 혁신을 추진하기 위해 AI를 점점 더 많이 활용하고 있습니다. 그러나 데이터 관리 문제는 특히 하이브리드 및 멀티 클라우드 환경에서 AI 이니셔티브를 방해할 수 있습니다. 큐물로 클라우드 데이터 플랫폼은 퍼블릭 클라우드에서 AI 데이터 가속화를 위한 원활한 고성능 솔루션을 제공함으로써 이러한 문제를 해결합니다.
Qumulo 클라우드 데이터 플랫폼 개요
큐물로 클라우드 데이터 플랫폼은 온프레미스 및 퍼블릭, 프라이빗, 하이브리드 클라우드 환경 전반에서 데이터 저장과 관리를 통합하는 종합 솔루션입니다. 이 솔루션은 세 가지 핵심 구성 요소로 이루어져 있습니다:
온프레미스 Qumulo 클러스터: 데이터센터, 연구 캠퍼스, 병원 및 기타 주요 위치에 구축되어 엑사바이트 규모의 비정형 파일 및 오브젝트 데이터를 호스팅합니다. 가격 대비 성능 곡선의 모든 지점에서 대규모 워크로드에 최적화된 고성능 스토리지를 제공합니다.
클라우드 네이티브 Qumulo 인스턴스: AWS, Azure, Google 클라우드 플랫폼(GCP), Oracle 클라우드 인프라(OCI) 등 주요 클라우드 제공업체에 배포된 이러한 인스턴스는 Qumulo의 기능을 클라우드로 확장하여 병렬 파일 시스템과 비슷한 성능 속도와 온프레미스 스토리지 제품과 비슷한 경제성으로 확장 가능하고 유연한 데이터 스토리지 솔루션을 구현합니다.
글로벌 데이터 패브릭: 이는 온프레미스 및 멀티클라우드 인스턴스를 일관된 시스템으로 통합하는 데이터 백본입니다. 이를 통해 가용성 및 가격에 따라 GPU가 온프레미스인지 클라우드인지에 관계없이 모든 AI 모델 및/또는 서비스를 채택하여 동일한 데이터에 동시에 액세스할 수 있습니다. 제공합니다:
엄격하게 일관된 글로벌 네임스페이스(GNS): 모든 위치에서 데이터 일관성을 보장합니다.
엣지 읽기/쓰기 GNS 캐싱: 엣지 및 지리적으로 분산된 데이터센터, 클라우드 또는 이 두 가지의 조합에서 자주 사용하는 데이터에 대한 저지연 액세스를 제공합니다.
클러스터형 읽기/쓰기 영구 데이터 저장소 캐싱: 데이터를 컴퓨팅 리소스에 더 가깝게 캐싱하여 성능을 향상하고 S3/Blob/GCS API 트랜잭션 비용을 줄입니다.
네트워크를 인식하는 서비스 품질과 효율적인 네트워크 활용: 이 기술은 네트워크 조건에 따라 광역 네트워크(WAN)에서 데이터 전송을 최적화합니다.
AI 워크로드 가속화
지능형 데이터 이동
큐물로 클라우드 데이터 플랫폼은 글로벌 데이터 패브릭 전반에서 지능적이고 효율적인 데이터 이동을 지원합니다. 데이터는 어느 위치에서든 블록 단위로 온디맨드 스트리밍할 수 있으며, WAN 전반에 걸쳐 클라우드 기반 읽기/쓰기 클러스터로 표현할 수 있습니다. 이러한 클러스터는 지속성 계층으로 저비용, 고내구성의 S3 스토리지를 사용하고 EC2의 NVMe 인스턴스 연결 디스크에 지능형 캐싱을 사용합니다. 이를 통해 기존 클라우드 기반 파일 스토리지 제품과는 비교할 수 없는 속도로 GPU 인스턴스에 데이터를 쉽게 공급할 수 있습니다.
성능 향상
GPU 실행 시간 단축: Qumulo는 클라우드 네이티브 Qumulo 기반 파일 스토리지에서 클라우드 호스팅 GPU 시스템으로의 데이터 전송을 가속화하여 S3에서 GPU로의 데이터 복사 단계를 피함으로써 GPU 실행 시간을 최대 40%까지 개선합니다. 이 최적화는 훈련 실행이 시작되기 전에 오브젝트 또는 파일 저장소에서 GPU 인스턴스의 로컬 NVMe 스토리지로 데이터를 로드할 때 종종 발생하는 병목 현상과 비용을 해결합니다.
S3 API 호출에 대한 비용 절감: 클라우드 데이터 플랫폼은 머신 러닝 기반의 지능형 예측 읽기 캐싱과 압축을 사용하며, 쓰기 캐시를 압축하는 동시에 S3 API 호출을 결합합니다. 이 접근 방식은 S3 API 요금을 최대 90%까지 줄여 비용을 크게 절감할 수 있습니다.
최적화된 GPU 인스턴스: 이 기능을 사용하면 GPU EC2 인스턴스에 로컬 NVMe 스토리지가 필요하지 않으므로 성능 저하 없이 저렴한 비용으로 GPU 인스턴스를 사용할 수 있습니다.
엔터프라이즈용 클라우드 기반 AI
많은 기업과 정부 기관은 트레이닝 워크로드에 풀타임 GPU 클러스터를 필요로 하지 않습니다. Qumulo의 입장은 다음과 같습니다 생성 AI(GenAI) 워크로드(교육, 튜닝 및 추론)는 대부분의 조직에서 주로 클라우드 기반이 될 것입니다. 다음과 같은 이점이 있습니다:
데이터 거버넌스 유지 관리 를 사용하면 기존의 데이터 출처 및 거버넌스 요건을 유지하면서 컴플라이언스 및 데이터 보안을 보장하고 위험을 줄일 수 있습니다.
자본 지출 감소 를 사용하면 GPU 획득에 상당한 투자를 할 필요가 없으며 런타임 처리 비용이 절감됩니다.
탄력적인 리소스 소비 는 워크로드 수요에 따라 리소스를 확장하거나 축소할 수 있는 유연성을 제공하여 운영 비용을 최적화합니다. AI 개발의 80%는 학습 작업을 실행하기 전에 데이터를 랭글링하고 모델을 개선하는 작업이 포함되므로 이는 매우 중요합니다.
처리 시간 단축 aI 워크플로우를 최대 50%까지 가속화합니다 40% 를 통해 민첩성과 인사이트 도출 시간을 개선합니다.
공공 및 상업용 GenAI 모델 활용하기
Qumulo는 대부분의 기업이 독자적인 모델을 구축하기보다는 퍼블릭 또는 상용 GenAI 모델을 사용할 것이라는 점을 잘 알고 있습니다. 이를 지원하기 위해 Qumulo는 다음을 개발했습니다:
강력한 API 통합: 큐물로 클라우드 데이터 플랫폼은 오늘날 Microsoft, AWS와 같은 주요 클라우드 제공업체에서 제공하는 대규모 언어 모델(LLM) 및 AI/ML 개발 도구를 비롯하여 클라우드 기반 AI 서비스와 인터페이스할 수 있는 강력한 API를 제공합니다.
안전한 데이터 처리: 다음과 같은 기술 활용 검색 증강 세대(RAG) 및 적절한 데이터 거버넌스 정책을 통해 기업은 공개 또는 개방형 LLM을 활용하면서 향후 학습 데이터 세트에 데이터가 사용되지 않도록 보장하여 데이터 프라이버시 및 지적 재산 보호를 유지할 수 있습니다.
결론
Qumulo 클라우드 데이터 플랫폼은 퍼블릭 클라우드에서 AI 데이터 워크플로우를 가속화할 수 있는 강력한 솔루션을 제공합니다. 글로벌 데이터 패브릭을 통해 온프레미스와 클라우드 환경을 통합함으로써 Qumulo는 대규모 데이터 관리 및 이동의 문제를 해결합니다. 기업은 상당한 성능 향상과 비용 절감을 달성하고 데이터 거버넌스 표준을 준수할 수 있습니다. 또한, 데이터를 보호하면서 퍼블릭 GenAI 모델과의 통합을 용이하게 함으로써 기업은 보안을 손상시키거나 불필요한 비용을 발생시키지 않고도 AI 기술을 효과적으로 활용할 수 있습니다.
주요 이점
유연성: 데이터 수집, 데이터 변환, 데이터 로딩 등 전체 AI 데이터 라이프사이클의 성능, 용량, 보안 요구 사항을 해결하여 원활한 엔드투엔드 데이터 파이프라인을 지원합니다.
성능: 데이터 로드 시간이 빨라지면 GPU 실행 시간과 경제성이 향상됩니다.
무한한: 퍼블릭 클라우드와 프라이빗 클라우드 간, 조직 간에 원활하고 안전한 데이터 액세스를 지원하여 혁신적인 비즈니스 및 연구 기회를 창출할 수 있습니다.
비용 효율성: S3 API 요금 최대 90% 절감, 로컬 NVMe 없이도 저비용 GPU 인스턴스를 활용할 수 있습니다.
확장성: GPU 리소스의 탄력적인 소비
데이터 거버넌스: 기존 데이터 출처 및 규정 준수 요건을 유지합니다.
데이터 내구성: 멀티 AZ 지원 및 병렬 S3 삭제 코딩으로 AWS S3의 전설적인 내구성을 더욱 강화합니다
보안: 안전한 API 통합을 통해 기업 데이터가 외부 모델 학습에 사용되는 것을 방지합니다.
Qumulo 클라우드 데이터 플랫폼을 채택함으로써 조직은 최신 AI 워크로드의 수요를 효율적이고 안전하게 처리할 수 있는 도구를 갖추게 됩니다. 이를 통해 AI 혁신의 선두에 서서 경쟁 우위를 확보하고 혁신적인 비즈니스 기회를 창출할 수 있습니다.