다음 AI/ML 솔루션을 계획하는 데 열중하고 있습니다. 스토리지와 관련된 모든 결정을 내리셨나요? 온프레미스와 클라우드? 객체 대 파일? AI/ML 솔루션을 어디에서 실행할 예정인가요?
그런데 시작하기 전에 가슴에서 뭔가를 꺼내야 합니다. 나는 그 용어를 싫어한다. 인공 지능. 진지하게, AI는 문 손잡이보다 지능이 떨어집니다! 그것은 단지 수십 년 전에 전 세계에 존재했던 것보다 더 많은 처리 장치에서 시간당 실행되는 엄청난 양의 데이터에 대한 통계이자 수학일 뿐입니다.
여기에 대한 훌륭한 기사가 있습니다. ChatGPT의 무대 뒤에서 실제로 무슨 일이 일어나고 있는지. 저는 AI라는 용어를 너무 싫어해서 이 게시물에서는 ML을 사용하겠습니다.
알았어, 내 연단에서 나가자. AI에서 스토리지가 왜 그렇게 중요한지에 대해 이야기해 보겠습니다. 즉, ML을 의미합니다.
ML은 데이터에 관한 것입니다. 당신은 그것을 찾기만 하면 됩니다!
ML 워크로드를 지원하는 데이터는 다음과 같습니다. 모든 곳. ML 솔루션의 필요성도 마찬가지입니다. 몇 가지 예(모두 고객의 실제 작업 흐름에서 파생됨):
- 공장. 곳곳에 배치된 카메라는 실시간 자동화 제조 작업에서 모든 형태의 정보를 캡처합니다. 이 모든 것은 로컬 스토리지에 지속적으로 집계됩니다.
모든 제조 라인의 데이터는 중앙 집중화되어(클라우드 또는 온프레미스) 오류 감지를 자동화하는 훈련 모델의 소스가 됩니다. 각 공장의 ML 솔루션과 그에 따른 추론 모델을 통해 수율을 향상합니다.
그런데 바로 이 워크플로에서 Qumulo를 활용하는 고객이 있습니다!
- 자율주행차. 실제 세계의 고화질 다중 스펙트럼 비디오는 처음에는 수백 대의 테스트 차량, 그 다음에는 수천 대의 실험 차량, 최종적으로는 수백만 대의 일반 차량에서 지속적으로 캡처됩니다.
자동차는 Wi-Fi를 통해 이러한 비디오를 모선으로 다시 보냅니다(테슬라, 보고 있어요!). 위는 운전자 지원, 자동 조종 장치 활성화, 자율 주행 자동차 현실화를 위한 모델 훈련을 위한 소스 데이터입니다.
위에서 도출된 추론 모델은 자동차의 추론 엔진에 의해 실행되어 실시간 데이터를 처리합니다.
그리고 그렇습니다. 이 워크플로에서도 Qumulo를 사용하는 고객이 있습니다!
- ML 지원 보안: 수십만 개의 네트워크 장치가 로컬로 통합되고 집계되는 활동 로그를 생성합니다(클라우드, 온프레미스 또는 둘 다). 이는 무단 네트워크 침입을 탐지하기 위한 모델의 훈련 데이터 세트를 형성합니다.
최신 네트워크 장치는 이러한 추론 모델을 사용하여 실시간으로 관찰된 이벤트를 분석하고 무단 침입을 찾아냅니다.
짐작하셨겠지만, 오늘 고객이 이 작업을 수행합니다!
공통점을 찾을 수 있나요? 이는 네트워크 에지, 코어, 퍼블릭 클라우드 등 "어디서나" 워크플로우입니다.
선택, 선택, 선택
ML 솔루션은 어떻습니까? 당신 작업 중이야? 이러한 사용 사례와 마찬가지로 모델을 구축할 위치와 방법에 대해 일련의 중요한 선택을 해야 합니다. 설명하자면…
- 엣지, 코어 또는 클라우드? 귀하의 데이터는 어디에 저장되나요? 모델은 어디에 살까요? 솔루션은 어디에 있습니까? 클라우드 전문가들은 그것이 클라우드에 있고 항상 클라우드에 있을 것이라고 주장합니다. 그리고 그렇습니다. 그들은 편견이 있지만 좋은 지적도 합니다.
결국, 거의 전체 스택이 매주 변경되는 상황에서 LLM 교육을 운영하는 데 필요한 인프라를 따라잡을 수 있는 조직은 무엇일까요? 저는 ML이 내부 클라우드 대 온프레미스 논쟁의 마지막 지푸라기라고 말하는 많은 조직과 이야기를 나눴습니다.
하지만 "게임 종료"라고 말하기 전에 흥미로운 추세가 있습니다. 나는 수억 달러를 지출하는 많은 고객과 이야기를 나눕니다. 분기마다 클라우드에 있고 안정적인 상태의 워크로드를 온프레미스로 다시 송환하는 사람입니다. 왜? 그들은 한동안 그것을 느낀다 성숙한 온프레미스 ML 솔루션은 더욱 안정적이고 비용 최적화된 솔루션을 제공합니다.
즉, 신속한 실험과 초기 운영화가 클라우드에 있는 반면, 성숙한 ML 솔루션은 소유하고 운영하는 데이터 센터에서 더 높은 안정성과 더 나은 경제성을 누리고 있습니다. 하지만 그건 하나의 선택일 뿐이고…
- 객체와 파일? 대답하기 전에 이것을 고려하십시오. 클라우드는 객체 스토리지를 매우 잘 처리하지만 파일 데이터를 제대로 처리하지 못합니다. 온프레미스에서는 파일 데이터를 정말 잘 처리하지만 개체에는 좋지 않습니다. 그리고 방금 클라우드와 온프레미스가 모두 필요할 것이라고 논의했습니다. ML에는 어느 것이 더 좋나요? 음... 그렇군요 복잡한.
한편으로 대부분의 LLM은 오픈 소스이며 로컬 스토리지 인터페이스를 통해 데이터에 액세스할 것으로 예상됩니다. 이는 데이터가 부족한 GPU에 공급되기 전에 객체에서 로컬 디스크(인스턴스 연결 NVMe 또는 EBS/관리 디스크)로 데이터를 복사하는 맞춤형 데이터 로더를 생성해야 하는 클라우드의 문제입니다. 구글이 뭔지 봐 GCP 이에 대해 이렇게 말합니다.
"그러나 AI 워크로드가 실제로 [AI] 데이터에 액세스하는 것이 항상 간단하지는 않습니다. 왜냐하면 대부분의 AI 워크로드에는 Cloud Storage가 제공하는 객체 의미 체계가 아닌 파일 시스템 의미 체계가 필요하기 때문입니다."
무엇을 하는가?
질문이 너무 많아요! AI/ML 워크로드를 위한 온프레미스 또는 클라우드? LLM을 지원하는 데이터 저장소로 파일 또는 개체가 있습니까? 다양한 위치에서 데이터를 어떻게 집계하고 전체 수명 주기에 걸쳐 관리할 예정입니까? 귀하가 내리는 결정은 Dell, VAST, NetApp 중 귀하에게 가장 적합한 스토리지 솔루션에 영향을 미칩니다.
또는 … 그들은 할?
100% 소프트웨어 기반의 비정형 데이터 저장 및 관리 솔루션인 Qumulo의 Scale Anywhere™를 소개합니다. 핵심 데이터 센터 솔루션이 필요하십니까? 퍼블릭 클라우드? 확인하다. 파일? 확인하다. 물체? 확인하다. 원하는 ML 결정을 내리세요. 우리는 간단히 상관 없어. Qumulo는 필요한 곳이면 어디든 달려갑니다.
우리는 온프레미스 및 여러 퍼블릭 클라우드에 걸쳐 여러 스토리지 서버 하드웨어 플랫폼을 포괄하는 고객을 보유하고 있습니다. 장점은 Qumulo 기반 비정형 데이터 워크로드가 이들 전반에 걸쳐 통합된다는 것입니다.
나는 항상 고객 앞에 있으며 이에 대해 많은 긍정적인 피드백을 받습니다. 제가 일했던 다른 회사들에 비하면 저에게는 새로운 일이지만 금방 익숙해졌어요!
Qumulo의 Scale Anywhere™를 사용하여 ML을 빠르게 선택하세요.
ML을 구현하려면 어려운 결정을 많이 내려야 합니다. 그러나 어떤 스토리지 플랫폼을 사용할지는 그 중 하나가 아닙니다. Qumulo와 함께 Scale Anywhere™를 사용해 보세요. 어떤 결정을 내리든 상관없이 모든 ML 워크로드를 관리할 수 있습니다.
- 엣지, 코어 또는 클라우드
- 파일 또는 개체
- 학습 데이터 수집, 집계, 큐레이션용
- 또는… 추론 모델을 분산 에지로 푸시할 수 있도록 하기 위해
Qumulo는 가장 쉬운 ML 선택입니다.
