XNUMX부로 구성된 이 블로그 시리즈에서는 대규모 스토리지 환경의 가장 일반적인 XNUMX가지 파일 데이터 관리 문제에 대해 설명합니다. 하지만 먼저, 약간의 컨텍스트입니다.
초대형 파일 스토리지 환경에 대한 보편적인 문제 규모
많은 분들이 보셨을 보편적인 통증 척도 병원이나 응급실에서 의사가 "1에서 10까지의 척도로 얼마나 심하게 아플까요?"라고 묻는 경우 답변 방법은 의료 전문가가 통증의 심각성을 평가하는 데 도움이 되므로 치료를 처방하고 리소스를 적절하게 할당할 수 있습니다.
이와 같은 차트는 대용량 파일 스토리지 환경을 평가할 때 식별된 문제를 분류하는 데에도 도움이 됩니다. 스토리지 아키텍처, 엔지니어링 및 관리를 볼 때 가장 큰 문제는 사용자 생산성에 미치는 영향을 정성적으로 측정하는 것입니다.
예를 들어, 2 또는 "무시할 수 있는" 것으로 평가될 수 있는 쉬운 해결 방법에 간단한 문제가 있을 수 있습니다. 그러나 컴퓨팅 팜이 물리학 시뮬레이션, 법적 증거 발견 또는 게놈 분석과 같은 고성능 워크로드를 실행할 때마다 성능 문제가 발생할 수 있습니다. 이 경우 통증은 사용자가 집중하고 프로젝트를 완료하는 능력을 방해하여 통증 척도를 6으로 설정합니다("집중을 방해함").
또는 스토리지 시스템에 버그가 남아 한 번에 한 시간 동안 무작위로 다운될 수 있습니다. 그것은 데이터 저장을 완전히 멈추고 꽤 고통스럽습니다. 거의 8입니다("기본 요구 사항을 방해합니다."). 그런 다음 10인 완전한 데이터 손실이 있습니다("침대에서 휴식이 필요합니다!").
요점은 편집자, 과학자, 클라우드 설계자, 아티스트, 스토리지 관리자, 엔지니어 등 스토리지 환경에 많은 어려움이 있을 수 있다는 것입니다. 조직이 더 적은 장비, 더 적은 인력, 더 적은 시간으로 더 많은 생산성과 비용을 짜내려고 함에 따라 워크로드가 증가하고 있습니다. 또한 프로젝트 규모, 전체 성능 또는 처리 시간에 관한 비즈니스 요구 사항이 지속적으로 증가하고 있습니다.
한 번에 몇 가지 가장 일반적인 스토리지 문제 10가지 살펴보기
Qumulo에서 우리는 많은 기업, 조직 및 사용자와 데이터 저장 문제에 대해 이야기합니다. 우리는 매우 데이터 중심적이며 비즈니스 리더 및 사용자와의 인터뷰를 통해 무엇이 효과가 있고 무엇이 효과가 없으며 변경해야 할 사항을 파악하는 데 도움이 됩니다. 우리의 대화를 통해 스토리지 문제의 가장 일반적인 원인에는 다음 XNUMX가지가 포함됩니다.
- 용량 문제(스토리지가 충분히 크지 않음)
- 성능 저하(스토리지가 충분히 빠르지 않음)
- 확장성 문제(온프레미스와 클라우드 모두에서 성능이나 용량을 효과적으로 늘릴 수 없습니다!)
- 레거시 소프트웨어 문제(오래된 시스템이 사용자 성능에 영향을 미침)
- 가용성 문제(스토리지가 탄력성이 없고 가끔 다운되어 생산성에 영향을 미침)
- 예산 문제(스토리지는 항상 너무 비쌉니다)
- 데이터 맹목성(데이터가 어떻게 사용되는지 또는 스토리지 저장소에서 무슨 일이 일어나고 있는지 모름)
- 데이터 손실 문제(최악의 시나리오)
- 데이터 지역성 문제
- 데이터 마이그레이션의 어려움
스토리지 용량, 성능 및 확장 문제 해결
위의 각 고통의 원인에 대해, 나는 그것이 나타나는 이유, 고통의 종류, 스토리지 관리자가 특정 문제를 해결할 수 있는 방법에 대해 논의할 것입니다.
1. 스토리지 용량 문제 - 스토리지가 충분히 크지 않음
가장 오래된 스토리지 불만은 "더 많은 공간이 필요합니다!"입니다. 이것은 우리가 곡물 창고에 음식을 저장했던 고대 시대로 거슬러 올라갑니다. 저장하고 싶은 중요한 물건을 위한 더 많은 공간이 항상 필요합니다.
관리자로서 완전히 꽉 찬 파일 시스템을 처리해야 했던 적이 있습니까? 또는 사용자로서 하던 일을 멈추고 파일을 정리하거나 관리자가 더 많은 공간을 제공할 때까지 기다려야 했던 적이 있습니까? 전체 파일 시스템은 현실입니다. 때로는 사용자 실수, 때로는 엔지니어링 실수, 때로는 정상적인 작업 과정에서 발생합니다.
아무도 물건을 버리는 것을 좋아하지 않으며 사용자처럼 데이터의 미세한 가치를 아는 사람도 없습니다. 결과적으로 관리자는 사용자를 대신하여 안전하게 정리할 수 없는 경우가 많습니다. 불행히도 이것은 일반적으로 생산을 재개하는 데 필요한 첫 번째 단계입니다.
가장 먼저 파악해야 할 사항: 디렉토리 구조를 분석하여 트리에서 문제가 있는 위치. 이 작업을 수행하는 몇 가지 일반적인 도구가 있습니다. Linux 상자의 경우 du, Mac의 정보 가져오기 또는 Windows 상자의 경우 마우스 오른쪽 버튼 클릭->속성. 이 모든 도구는 나무를 걷고, 찾은 모든 것을 통계하고, 용량을 추가하고, 마침내 답을 제시합니다. 이것은 파일 시스템에 10,000개의 파일만 있으면 훌륭하게 작동하지만 100억 개 또는 수십억 개의 파일이 있는 경우에는 문제가 될 것입니다. XNUMX억 개의 파일을 방문하여 답을 찾는 데 하루가 걸릴 수 있으며, 검색할 때 파일 시스템으로 내려가면서 해당 프로세스를 헹구고 반복해야 할 수도 있습니다.
스토리지 용량 문제 해결에 대한 몇 가지 생각:
- 용량을 분석하는 현대적인 방법을 찾으십시오. 기존 도구는 스캔해야 하므로 불필요한 IO 작업과 응답을 위한 긴 대기 시간이 발생합니다.
- 고려 중인 스토리지 시스템이 가급적이면 API를 통해 용량 메타데이터에 프로그래밍 방식으로 액세스할 수 있는지 확인하십시오. 해당 용량 데이터를 프로덕션 관리 시스템, 미디어 자산 관리자 또는 네트워크 모니터링 시스템 등과 통합할 수 있습니다. 해당 용량 데이터를 쉽게 사용하고 조작할 수 있기를 원합니다.
- 할당량 또는 볼륨을 사용하여 작업 데이터의 끝없는 복사본이나 거대한 개인 영화 컬렉션으로 스토리지를 채우는 것과 같은 사용자 행동을 제어할 수 있습니다.
- 용량을 투명하고 쉽게 확장할 수 있는 시스템을 찾으십시오(자세한 내용은 잠시 후에!).
스토리지는 기본적으로 데이터의 소방 호스인 우리 비즈니스에 매우 중요합니다. 어떤 종류의 고성능, 고밀도 확장 가능한 솔루션 없이는 작업을 수행할 수 없었습니다.
Nathan Conwell, 수석 플랫폼 엔지니어, Vexcel 이미징
2. 스토리지 성능 문제 - 스토리지가 충분히 빠르지 않음
성능은 꽤 모호한 용어일 수 있지만 스토리지 사람들이 그것에 대해 이야기할 때 일반적으로 단일 시스템 또는 시스템 모집단의 처리량, iops 또는 대기 시간의 관점에서 말합니다. 대기 시간에 매우 민감한 사용자와 일반적으로 처리량에 중점을 둔 컴퓨팅 팜 간의 균형을 맞춰야 계산 대상으로 메모리 공간을 채울 수 있습니다.
초고성능은 공유 SAN 및 병렬 고속 파일 시스템의 유일한 영역이었습니다. 오늘날 우리는 NAS가 실제로 따라잡기 시작했음을 알게 되었습니다. 우리는 더 빠른 하드웨어, 플래시 스토리지, 더 나은 데이터 레이아웃 기술, 더 나은 프로토콜 접근 방식을 가지고 있습니다. 이 모든 것들이 SAN/대역폭 요구 사항에서 NAS 칩을 제거하는 데 도움이 되었습니다. SAN의 복잡성보다 NAS의 단순성을 선호하는 이해 관계자가 점점 더 많아질 것이라고 생각합니다.
스토리지 성능 문제에 대한 기타 해결책:
- 잠재적인 성능 문제를 미리 해결하십시오. 가능하면 인프라를 자르기 전에 예상되는 워크플로를 잘 이해하십시오.
- 시스템에 적합한 크기의 시스템을 선택했는지 확인하십시오. 확장 가능한 시스템을 사용하고 지금 필요한 스토리지만 구입하면 비용을 절약할 수 있습니다. 가능하면 추가 헤드룸이 필요한지 여부와 더 필요할 때의 가능성을 계산하십시오.
- 위 사항 외에도 스핀업 및 스핀다운할 수 있는 시스템이 필요할 수 있습니다. 프로젝트 사이에 며칠 또는 몇 주를 갈 계획이고 다른 용도로 스토리지 시스템이 필요하지 않은 경우 온프레미스 설치보다 원격 액세스를 활용하는 온디맨드 퍼블릭 클라우드 작업 모델을 고려하는 것이 합리적일 수 있습니다. .
- 원격 인력을 지원해야 하는 필요성은 세계적 대유행으로 인한 또 다른 요인입니다. 미디어 및 엔터테인먼트 산업은 극심한 수요를 경험하고 있습니다. 제작 기한을 준수하고 크리에이티브 팀이 가상으로 협업할 수 있도록 하기 위해 많은 스튜디오에서 클라우드를 고려했습니다. 원격 비디오 편집 포스트 프로덕션 환경의 가상 워크스테이션에서
- 단일 고속 워크스테이션과 같이 매우 무거운 워크로드 이상값이 있는 경우 포인트 솔루션으로 해결할 수 있는지 확인하십시오. 하나의 워크스테이션이 엄청난 양의 고속 스토리지를 구매하는 드라이버가 되어서는 안 됩니다. 대부분의 워크로드에서 낭비될 뿐입니다.
- 반면에 통합할 워크로드가 많은 경우 다음을 고려하십시오. 저장 효율성 동일한 시스템에서 저성능 및 고성능 워크로드를 결합하는 이점. 워크로드에 부정적인 영향을 미치지 않으면서 더 큰 시스템에서 스토리지 효율성의 이점을 얻을 수 있습니다.
3. 스토리지 확장 문제 - 온프레미스와 퍼블릭 클라우드 모두에서 성능이나 용량을 효과적으로 늘릴 수 없습니다.
데이터 스토리지 확장은 흥미롭습니다. 비즈니스가 성장하는 경우 워크로드도 증가할 수 있으며 이는 용량 또는 성능 증가에 대해 생각할 때 워크로드에 대해 많은 고려 사항의 균형을 맞춰야 함을 의미합니다.
지난 XNUMX년 동안 스토리지 파일 시스템 확장이 개선되었지만 대부분은 확장하기가 쉽지 않고 대부분은 처음부터 크게 만들기가 어렵습니다. 몇 가지 특정 문제를 살펴보겠습니다.
- 예측할 수 없는 작업 부하가 있는 경우 확장 작업 부하 또는 새로운 작업 부하를 자신 있게 처리할 수 있도록 확장하기 쉬운 파일 시스템을 찾으십시오.
- 워크로드를 이해합니다. 워크플로 및 프로세스의 실제 인프라 비용(예: 용량, 성능, 연결 요구 사항)을 파악하십시오. 비즈니스에 확장 요구 사항이 있을 때 수용할 수 있도록 인프라 확장 규모를 자신 있게 조정할 수 있습니다.
- 일부 워크로드를 클라우드에서 실행하는 것이 합리적인지 고려하십시오. 파일 시스템이 하이브리드 클라우드 전략을 지원하는 경우 클라우드의 성능과 용량을 활용하여 버스트 워크로드 필요할 때.
“우리 팀은 한 번에 1.3시간 이상 동안 5만 IOPS의 속도로 버스트 확장을 유지할 수 있었고 최대 2만 IOPS에 도달했습니다. 이것은 과거에 들어본 적 없는 수준이며, 필요할 때 생산 일정을 단축하고 아티스트가 더 적은 시간에 더 많은 반복 작업을 수행하여 전반적으로 고품질 최종 작업을 가능하게 하는 데 Qumulo가 얼마나 도움이 되었는지를 강조합니다.”
Jeremy Brousseau, Cinesite Vancouver IT 책임자
다음 제공: 레거시 소프트웨어, 가용성 및 예산 문제
. 다음 기사, 초대형 파일 스토리지 환경의 10가지 일반적인 스토리지 문제 중 XNUMX가지를 더 살펴보겠습니다. 이것은 사용자의 성능에 대한 오래된 시스템의 고통, 생산성에 대한 가용성 부족, 스토리지 확장 비용입니다.
쿠물로의 모던 파일 데이터 관리 및 저장 소프트웨어 대규모 고성능 워크로드를 위한 하이브리드 클라우드 전략을 지원하기 위해 특별히 제작되었습니다.
