고성능 데이터 전략을 위한 예산을 어떻게 책정할 수 있습니까? 원래에 출연 Quora, 지식을 얻고 공유하는 곳, 사람들이 다른 사람들로부터 배우고 세상을 더 잘 이해할 수 있도록 합니다.
우리의 첫 번째에 오신 것을 환영합니다 쿠물로 온 쿼라 인사이트 정리!
XNUMXD덴탈의 기술 공간의 Quora 전문가 기술 분야의 사상가들이 가장 시급한 질문에 답하기 위해 협력하는 곳입니다. 2021년 XNUMX월, Quora는 Ben Gitenstein을 환영했습니다., Qumulo의 제품 관리 부사장으로서 Quora의 최신 기술 전문가 중 한 명으로서 지식, 경험, 실행 가능한 단계 및 조언을 공유하는 사고 리더 커뮤니티에 합류했습니다. 그리고 그는 당신의 가장 시급한 질문에 기꺼이 답해 줄 것입니다!
쿠물로 온 쿼라
오늘 우리는 블로그에서 새로운 러닝 시리즈를 시작합니다. 쿠물로 온 쿼라 — 독자들이 기술 여정에서 성공하는 데 도움이 되는 몇 가지 추가 실행 가능한 단계 및 분석과 함께 Ben의 통찰력을 공유할 것입니다.
첫 번째 이야기에서는 Ben이 고성능 데이터 전략을 위한 예산 책정 방법에 대해 답변한 질문을 다룹니다. 몇 가지 추가 통찰력과 분석을 통해 그의 답변을 자세히 살펴보겠습니다.
그러나 이 질문에 대한 답을 찾기 전에 독자들이 비용 통제는 예측 가능한 비용을 기반으로 한 데이터 스토리지 예산으로 시작해야 하며 효율적인 데이터 아키텍처 없이는 어려울 수 있다는 점을 이해하는 것이 중요합니다. 이것을 더 분석해 봅시다.
스토리지 효율성은 핵심 데이터 아키텍처에 구축되어야 합니다.
스토리지 효율성은 다음과 같습니다. 볼트로 고정 대신 파일 시스템에 내장 크고 작은 파일의 저장을 가능하게 하는 핵심 소프트웨어 아키텍처. 예를 들어, Qumulo의 파일 시스템은 낮은 계산 오버헤드와 100% 사용 가능한 용량으로 매우 큰 저장 용량을 지원합니다.
효율적인 스토리지의 이러한 속성은 다음으로 구성됩니다. 고성능 전력을 덜 소모하는 시스템으로 에너지를 절약할 수 있습니다. 고급의, 지속 가능한 소프트웨어– 더 낮은 전력 소비로 더 높은 성능 – 더 적은 공간에 더 많이 저장하는 효율적인 소프트웨어 아키텍처에서 시작됩니다.
규모에 따른 효율성에서 스토리지 밀도의 역할
스토리지 밀도는 규모의 효율성에 중요한 역할을 합니다. 쿠물로스 소프트웨어 정의 파일 데이터 스토리지에 대한 접근 방식은 하드웨어 유연성 제조업체와 OEM이 제공하는 밀도가 가장 높은 미디어가 제공되는 즉시 지원합니다.
Qumulo 코어 동적으로 확장할 수 있는 기능이 있으므로 기존 클러스터에 새 노드 유형을 추가하여 밀도를 높일 수 있습니다. 예를 들어:
- 밀도가 높은 노드는 동일한(또는 종종 더 작은) 에너지 엔벨로프에서 더 많은 용량을 제공하여 효율성과 에너지 절약을 제공합니다.
- 하이브리드의 풍부한 DRAM 및 SSD/HDD 비율은 지능형 머신 러닝(ML) 캐싱을 통해 에너지 소비를 더욱 줄입니다.
“결국 통합에 이르렀다” 말했다 49ers의 리바이스 스타디움 총괄 부사장 겸 총괄 매니저 짐 머큐리오(Jim Mercurio). “우리는 하루에 약 44TB를 롤링하고 있었습니다. IT는 투박했습니다. [...] Qumulo를 사용하면 모든 것을 통합하고 작업을 훨씬 단순하게 만들 수 있습니다.
고성능 데이터 전략을 위한 예산을 어떻게 책정할 수 있습니까?
기업이 고성능을 요구하는 방대한 양의 비정형 데이터를 관리할 때 대부분의 현대 조직에서 가장 큰 과제 중 하나는 청구서를 얼마나 쉽게 올릴 수 있는지입니다. 데이터는 계속 증가하지만 일반적으로 예산은 그에 따라 증가하지 않습니다. Ben on Quora는 "공급업체에 과도한 비용을 지불하는 함정에 빠질 수 있으며 더 나쁜 것은 해당 공급업체에 몇 년 동안 갇혀 있을 수 있습니다."라고 말했습니다.
그의 조언? Ben은 다음을 제안했습니다.
효율성을 최적화하고 데이터 관행을 간소화하는 전략을 만들어 비용을 절감할 수 있습니다. 이를 위해서는 데이터 사일로를 무너뜨리고 단일 데이터 플랫폼으로 통합해야 모든 과학자, 연구원, 개발자 및 아티스트가 제품을 구축하고 질문에 답하는 데 필요한 데이터에 액세스할 수 있습니다. 스토리지 관점에서 볼 때, 제공할 수 있는 용량이나 성능에 제한 없이 대규모로 확장 가능한 네임스페이스를 생성할 수 있는 제품과 사용자가 클라이언트 애플리케이션에 관계없이 모든 데이터에 액세스할 수 있도록 단일 통합 ID 모델을 찾아야 함을 의미합니다. 쓰는 데 사용한 것입니다.
마지막으로 꼭 사용하세요 실시간 분석 조직에서 대역폭을 사용하는 위치를 이해하고 인프라가 용량과 성능 모두에서 어떻게 수행되고 있는지 모니터링합니다. 가시성이 없으면 예산을 세울 수 없습니다.
결국 가장 비용 효율적인 솔루션을 사용하면 사용하지 않는 기능에 대해 과도한 비용을 청구하지 않고 워크로드를 크고 작은 수십억 개의 파일로 확장할 수 있습니다.
관련 이야기 : 엔터프라이즈 데이터 스토리지 솔루션을 평가할 때 고려해야 할 사항
이제 스토리지 용량 이상에 대한 데이터 전략 예산의 균형을 맞추는 것부터 시작하여 몇 가지 추가 통찰력과 분석을 통해 그의 답변을 살펴보겠습니다.
스토리지 용량 이상의 예산
데이터 전략 예산은 데이터 워크로드를 관리하고 실행하기 위한 인건비와 이를 저장하기 위한 하드웨어 용량 및 유지 관리 비용으로 확장되어야 합니다. 그러나 전체에 걸쳐 달러당 달러를 간과하지 마십시오. IOPS, 시작 비용 또는 계속 확장되는 데이터 센터와 함께 누적되는 기술적 부채.
고성능 데이터 전략의 일부로 데이터 스토리지 예산을 관리하는 전략에 대해서는 다음을 읽어보십시오. 레거시 소프트웨어, 가용성 및 예산의 스토리지 문제를 해결하는 방법.
하이브리드 클라우드 파일 시스템 아키텍처로 컴퓨팅 리소스 최적화
하이브리드 클라우드 파일 시스템 아키텍처 고성능 워크로드에 대한 규모의 클라우드 효율성을 활용하면서 데이터 센터 '무분별한 확장'으로 인해 위에서 언급한 비용을 줄이는 데 도움이 됩니다. 일부 워크로드를 온프레미스에서 실행하는 것이 합리적이지만 다른 워크로드에는 클라우드 용량이 필요합니다. 기업은 클라우드로 버스트하거나 단순히 데이터의 하위 집합을 클라우드 네이티브 서비스, 앱 및 스토리지를 활용하기 위해 클라우드로 이동할 수 있습니다.
IT 책임자인 Jeremy Brousseau는 "우리 팀은 한 번에 1.3시간 이상 동안 5만 IOPS의 속도로 버스트 확장을 유지할 수 있었고 최대 2만 IOPS를 유지할 수 있었습니다."라고 말했습니다. 시네사이트 밴쿠버. "이것은 과거에 들어본 적 없는 수준이며, 필요할 때 제작 일정을 단축하고 아티스트가 더 짧은 시간에 더 많은 반복 작업을 수행할 수 있도록 하여 전체적으로 고품질의 최종 작업을 가능하게 하는 데 Qumulo가 얼마나 도움이 되었는지를 강조합니다."
클라우드 컴퓨팅을 통한 더 나은 리소스 공유는 비용을 줄이고 더 효율적으로 운영하는 데 도움이 될 수 있습니다. 비용을 합리화하는 것 외에도 탄소 발자국을 줄이는 데 도움이 됩니다. 지원하기 위해 하이브리드 클라우드 전략 데이터는 인프라 온프레미스 및 퍼블릭 클라우드에서 다중 프로토콜 파일 액세스를 통해 단일 네임스페이스에 저장되어야 합니다. 이를 통해 다양한 사용자 그룹이 Linux, Windows 또는 Mac 응용 프로그램을 사용하는지 여부에 관계없이 동일한 데이터 세트에서 공동 작업을 수행할 수 있습니다.
Qumulo의 파일 시스템은 하이브리드 클라우드 환경용으로 구축되어 자체 데이터 센터에서 하드웨어 구매 및 유지 관리 비용을 절감하는 동시에 다음을 가능하게 합니다.
- 필요 없이 클라우드로 마이그레이션 리팩토링 애플리케이션 또는 워크플로
- 데이터 이동 아마존 S3 Qumulo Core 파일 데이터 플랫폼에서 표준으로 제공되는 내장 데이터 서비스 사용
- 추가 기능을 통해 고성능을 위한 적절한 크기의 클라우드 워크로드 저장 용량 필요한 경우 피크 대비 프로비저닝
- Azure의 Qumulo 비용을 통제하고 사용한 만큼만 지불하는 완전 관리형 SaaS
데이터 시각화를 통해 실시간으로 데이터 액세스 및 사용 제어
효과적인 예산 책정 능력은 데이터에 어떤 일이 일어나고 있는지 파악하는 데 달려 있으므로 사전에 관리하고 제어할 수 있습니다. 예를 들어, 실시간 분석의 데이터 시각화는 병목 현상과 오버런을 방지하기 위해 대역폭을 사용하는 위치를 이해하는 데 도움이 됩니다. 이를 통해 인프라의 용량과 성능을 모니터링하여 추세를 파악하고 그에 따라 조정할 수 있습니다.
데이터 시각화는 클라우드에서 실행할 때 특히 유용합니다. 예를 들어, 클라우드 또는 온프레미스, Qumulo의 실시간 분석 대시보드를 사용하면 연결된 클라이언트 수, 가장 많은 대역폭을 사용하는 사용자, 시스템이 빠르게 성장하는 위치를 확인할 수 있습니다.
소프트웨어 최적화를 통해 하드웨어에서 더 많은 수율 확보
효율성은 "기본 제공"이 아니라 "고정"이어야 한다는 원래의 신조로 돌아가십시오. Qumulo 코어 소프트웨어는 낭비적인 과잉 프로비저닝을 줄이기 위해 최적화되었습니다. 동일한 전력 범위 내에서 더 많은 성능을 제공하기 위해 당사 소프트웨어는 HDD에서 큰 청크를, SSD에서 작은 청크를 읽습니다. 소프트웨어 정의(하드웨어 판매에 종속되지 않음)는 고객이 100% 하드웨어 모델을 계속 지원하면서 고정 자산 수명 주기를 최대한 활용할 수 있음을 의미합니다.
기술 분야의 선구자들과 토론에 참여
로가요 기술 공간의 Quora 전문가 여기에서 자신의 사려 깊은 토론에 참여하고 질문을 하고 데이터 전략 동향과 오늘날 데이터 관리 및 스토리지 산업을 형성하는 역동적인 힘에 대한 Ben Gitenstein의 전문가 답변을 더 읽을 수 있습니다.
그리고 물론, 우리의 다음을 주시하십시오. 쿠물로 온 쿼라 모으다!
