다음 AI/ML 솔루션을 계획하는 데 한창입니다. 스토리지와 관련된 모든 결정에 대해 마음을 정하셨나요? 온프레미스 대 클라우드? 오브젝트 대 파일? AI/ML 솔루션을 어디에서 실행할 예정인가요?
그런데 시작하기 전에 한 가지 말씀드릴 게 있습니다. 저는 인공 지능. 정말이지, AI는 문 손잡이보다 덜 똑똑합니다! 단지 수십 년 전 전 세계에 존재했던 것보다 더 많은 처리 장치에서 매시간 엄청난 양의 데이터가 실행되는 수학, 통계일 뿐입니다.
다음은 다음에 대한 유용한 기사입니다 chatGPT에서 실제로 일어나는 일들. 저는 AI라는 용어가 너무 싫어서 이 글에서는 ML이라는 용어를 사용하려고 합니다.
자, 제 주제에서 벗어났습니다. AI, 즉 ML에 스토리지가 중요한 이유에 대해 이야기해 보겠습니다
ML은 데이터에 관한 모든 것입니다. 데이터를 찾기만 하면 됩니다!
ML 워크로드를 지원하는 데이터는 다음과 같습니다 어디서나. ML 솔루션의 필요성도 마찬가지입니다. 몇 가지 예시(모두 고객의 실제 워크플로에서 파생된 것임)를 살펴보겠습니다:
공장. 곳곳에 배치된 카메라는 자동화된 제조 작업에서 실시간으로 모든 종류의 정보를 캡처합니다. 이 모든 정보는 로컬 스토리지에 지속적으로 집계됩니다.
모든 제조 라인의 데이터는 중앙 집중화(클라우드 또는 온프레미스)되어 고장 감지를 자동화하기 위한 모델 학습의 소스가 됩니다. 각 공장의 ML 솔루션과 그 결과물인 추론 모델을 통해 수율을 개선할 수 있습니다.
그런데 바로 이 워크플로에서 Qumulo를 활용하고 있는 고객들이 있습니다!
자율 주행 차량. 처음에는 수백 대의 테스트 차량, 그다음에는 수천 대의 실험 차량, 그리고 최종적으로는 수백만 대의 일반 차량에서 실제 세계의 고화질 멀티 스펙트럼 비디오를 지속적으로 캡처합니다.
자동차는 Wi-Fi를 통해 이러한 동영상을 모선으로 다시 전송합니다(테슬라, 당신을 보고 있습니다!). 위는 운전자를 지원하고, 오토파일럿을 활성화하고, 자율 주행 자동차를 현실화하기 위해 모델을 훈련시키기 위한 소스 데이터입니다.
위에서 도출된 추론 모델은 차량의 추론 엔진에서 실행되어 실시간 데이터를 처리합니다.
그리고 네, 이 워크플로에서도 Qumulo를 사용하는 고객이 있습니다!
ML 지원 보안: 수십만 대의 네트워크 디바이스가 로컬에서 통합되고 집계되는 활동 로그를 생성합니다(클라우드, 온프레미스 또는 둘 다에서). 이는 무단 네트워크 침입을 탐지하기 위한 모델의 학습 데이터 세트를 형성합니다.
최신 네트워크 디바이스는 이러한 추론 모델을 사용하여 실시간으로 관찰된 이벤트를 분석하여 무단 침입을 찾아냅니다.
오늘도 고객이 이 작업을 수행합니다!
공통점을 발견할 수 있나요? 네트워크의 엣지, 코어, 퍼블릭 클라우드에 이르기까지 '어디에나' 있는 워크플로입니다.
선택, 선택, 선택
ML 솔루션은 어떻습니까? 당신 작업하고 계신가요? 이러한 사용 사례와 마찬가지로 모델을 구축할 위치와 방법에 대해 일련의 중요한 선택을 해야 합니다. 설명해 드리겠습니다
엣지, 코어, 클라우드? 데이터는 어디에 저장되나요? 모델은 어디에 저장되나요? 솔루션은 어디에 저장될까요? 클라우드 담당자들은 클라우드에 있다고 주장하며 앞으로도 항상 클라우드에 있을 것이라고 말합니다. 물론 편견이 있긴 하지만 일리 있는 지적이기도 합니다.
결국, 거의 모든 스택이 매주 바뀌는 상황에서 어떤 조직이 교육용 ML을 운영하는 데 필요한 인프라를 따라잡을 수 있을까요? 저는 내부 클라우드 대 온프레미스 논쟁과 관련하여 ML이 마지막 지푸라기였다고 말하는 많은 조직과 이야기를 나눴습니다.
하지만 "게임 오버"라고 말하기 전에 흥미로운 트렌드가 있습니다. 저는 수억 달러를 소비하는 많은 고객과 이야기를 나눕니다 매 분기 클라우드에서 정상 상태 워크로드를 온프레미스로 다시 송환하고 있습니다. 왜 그럴까요? 그들은 다음과 같은 이유로 성숙 온프레미스 ML 솔루션은 보다 안정적이고 비용 최적화된 솔루션을 제공합니다.
즉, 신속한 실험과 초기 운영은 클라우드에서 이루어지는 반면, 성숙한 ML 솔루션은 소유 및 운영 데이터 센터에서 더 안정적이고 더 나은 경제성을 누릴 수 있습니다. 하지만 이는 하나의 선택일 뿐입니다..
오브젝트 대 파일? 대답하기 전에 이 점을 고려하세요. 클라우드는 오브젝트 스토리지를 매우 잘 처리하지만 파일 데이터는 형편없습니다. 그리고 온프레미스는 파일 데이터는 매우 잘 처리하지만 오브젝트 데이터는 형편없습니다. 그리고 방금 클라우드와 온프레미스가 모두 필요할 것이라고 말씀드렸습니다. ML에는 어느 쪽이 더 낫나요? 글쎄요.. 복잡한.
한편으로, 대부분의 LLM은 오픈 소스이며 로컬 스토리지 인터페이스를 통해 데이터에 액세스할 것으로 예상됩니다. 이는 클라우드의 경우 문제가 되는데, 데이터를 많이 사용하는 GPU에 데이터를 공급하기 전에 오브젝트에서 로컬 디스크(인스턴스 연결 NVMe 또는 EBS/관리형 디스크)로 데이터를 복사하는 맞춤형 데이터 로더를 만들어야 합니다. Google GCP 는 이에 대해 이렇게 말합니다:
"하지만 AI 워크로드가 실제로 [AI] 데이터에 액세스해야 할 때, 대부분의 AI 워크로드에는 클라우드 스토리지가 제공하는 객체 의미론이 아닌 파일 시스템 의미론이 필요하기 때문에 항상 간단한 것은 아닙니다."
어떻게 해야 하나요?
질문이 너무 많습니다! AI/ML 워크로드를 위한 온프레미스 또는 클라우드? LLM을 구동하는 데이터의 저장소로 파일 또는 오브젝트? 다양한 위치에서 데이터를 수집하고 전체 수명 주기 동안 어떻게 관리할 것인가요? 이러한 결정에 따라 Dell, VAST, NetApp 중 어떤 스토리지 솔루션이 가장 적합한지 결정할 수 있습니다.
아니면 .. 그들은?
100% 소프트웨어 기반의 비정형 데이터 스토리지 및 관리 솔루션인 Qumulo의 Scale Anywhere™를 소개합니다. 핵심 데이터센터 솔루션이 필요하신가요? 퍼블릭 클라우드가 필요하신가요? 확인해보세요. 파일? 체크. 오브젝트? 확인. 원하는 ML 의사 결정을 내릴 수 있습니다 관심 없음. Qumulo는 고객이 필요로 하는 곳이면 어디든 달려갑니다.
온프레미스 및 여러 퍼블릭 클라우드에 걸쳐 여러 스토리지 서버 하드웨어 플랫폼을 사용하는 고객이 있습니다. 이 고객들의 장점은 Qumulo 기반 비정형 데이터 워크로드가 이 모든 플랫폼에서 통합된다는 점입니다.
저는 항상 고객과 마주하고 있고 이에 대한 긍정적인 피드백을 많이 받습니다. 다른 회사에서 일했던 것과 비교하면 새로운 일이지만 금방 익숙해졌어요!
Qumulo의 Scale Anywhere™로 ML 선택의 폭을 넓히세요.
ML을 구현하려면 많은 어려운 결정을 내려야 합니다. 하지만 어떤 스토리지 플랫폼을 사용할지는 그 중 하나가 아닙니다. 어떤 결정을 내리든 관계없이 모든 ML 워크로드를 관리할 수 있는 Scale Anywhere™와 Qumulo를 사용해 보세요
엣지, 코어 또는 클라우드
파일 또는 개체
트레이닝 데이터 수집, 집계 및 큐레이션용
또는... 추론 모델을 분산된 에지로 푸시할 수 있습니다
Qumulo는 가장 쉬운 ML 선택입니다.