평가에 대한 4부작 시리즈에서 엔터프라이즈 데이터 스토리지 솔루션, 현재 사용 가능한 스토리지 옵션에 대한 개요를 제공하고 이러한 솔루션을 비교하며 기업이 저장하는 데이터 유형을 기반으로 이상적인 스토리지 솔루션을 선택하는 데 도움을 줄 것입니다. 또한 이 시리즈는 고성능 컴퓨팅(HPC)을 필요로 하는 기업이 데이터 수명 주기 내에서 접하는 구체적인 실제 사례를 통해 확장형 NAS(Network Attached Storage) 솔루션이 귀하의 비즈니스에 가장 적합한지 판단하는 데 도움이 됩니다. 그들은 데이터를 원시 상태에서 유용한 상태로 변환했습니다.
귀사의 엔터프라이즈 데이터 관리는 얼마나 효율적입니까?
엔터프라이즈 IT 아키텍처를 유지 관리하는 것은 수리점에 계속 있는 오래된 자동차를 소유하는 것과 같습니다. 증분 비용이 추가되고 소비된 리소스는 더 나은 수익을 위해 새 모델에 투자될 수 있습니다. 마찬가지로, 비효율적이고 비용이 많이 들고 관리하기 어려운 모놀리식 독점 하드웨어에 구축된 스토리지 기술에 제약을 받는 IT 시스템 관리자라면 따라잡을 뿐만 아니라 데이터 변환 이니셔티브를 지원하는 데 어려움을 겪을 수 있습니다.
확장 가능한 엔터프라이즈 데이터 스토리지 솔루션을 찾고 있는 경우 선택한 스토리지가 기본 형식의 데이터 및 애플리케이션과 함께 작동하도록 설계되었는지 여부를 이해하는 것이 중요합니다. HPC 워크플로를 평가할 때 몇 가지 주요 고려 사항을 간략하게 설명할 뿐만 아니라 아래에서 이에 대해 더 자세히 설명합니다. 이는 현재와 미래의 기업 요구 사항에 가장 적합한 솔루션을 선택하는 데 도움이 될 것입니다.
고성능 컴퓨팅 워크플로 평가
대부분의 데이터는 파일에서 시작되며 기본 애플리케이션 또는 탑재된 파일 시스템에서 직접 생성 및 액세스됩니다. 이 파일 데이터로 작업하는 것은 기본적으로 다음을 통해 액세스하는 것을 의미합니다. 산업 표준 프로토콜 NFS(네트워크 파일 시스템), SMB(서버 메시지 블록) 또는 직접 파일 시스템 전달(차단)과 같은
기본 형식으로 저장된 데이터는 비정형 데이터로 간주됩니다. 즉, 사전 정의된 데이터 모델이나 스키마가 없고 기존 관계형 데이터베이스에 저장할 수 없습니다(자세한 내용은 나중에 설명). 이러한 종류의 비정형 데이터는 단순히 열과 행을 사용하여 일련의 테이블에 저장할 수 없기 때문에 기업은 전통적으로 복잡하고 복잡한 문제로 인해 비정형 데이터를 의미 있는 방식으로 관리, 분석 및 활용해야 하는 근본적인 문제와 씨름해 왔습니다. 귀중한 통찰력을 추출하는 데 필요한 시간 소모적인 데이터 분석 프로세스.
Gartner의 분석가들은 다음과 같이 추정합니다. 구조화되지 않은 데이터는 놀라운 80~90%를 나타냅니다. 모든 새로운 엔터프라이즈 데이터의 놀랍게 들릴 수도 있지만 현실은 기업 데이터가 수십 년 동안 대부분 비정형 데이터로 구성되어 있다는 것입니다. 사실 1998년 메릴린치 주장, "비정형 데이터는 조직에서 발견되는 대부분의 데이터를 구성하며 일부 추정치는 80%에 달합니다." Lynch는 본질적으로 다음과 같이 주장했습니다. 전 세계 데이터 생성량 매년 지속적으로 성장함에 따라 의미 있는 방식으로 이 데이터를 효과적으로 활용할 수 있는 확장성이 뛰어난 엔터프라이즈 데이터 관리 솔루션이 더욱 중요해질 것입니다.
이러한 "구조화되지 않은 데이터의 폭발"은 비디오 카메라, 기록 장치, 위성, 센서, 게놈 데이터, 항공 이미지 및 기타 IoT 연결 기술에서 생성되고 있으며 잠재적인 통찰력의 금광을 나타냅니다.
데이터를 기본 형식으로 활용하고 있습니까?
성공적인 기업은 로컬로 마운트된 파일 시스템(NFS 내보내기 및 SMB 공유를 생성하여 액세스 가능)과 기본적으로 통합된 데이터 서비스를 활용하여 파일 데이터를 기본 형식으로 사용하여 HPC(고성능 컴퓨팅) 워크플로 및 애플리케이션을 저장, 관리 및 구축합니다. 클라우드 개체 저장소(예: 아마존 S3 과 Microsoft Azure) — 해당 데이터를 가치로 변환합니다. 이러한 혁신가들은 모든 형태의 데이터를 수용하고 관리하여 새로운 비즈니스 모델, 의료, 소비자 제품, 비즈니스 인텔리전스 도구 및 디지털 미디어를 생성합니다.
비정형 데이터를 추적하고 관리할 수 있습니까?
레거시 스토리지 및 클라우드 네이티브 애플리케이션을 활용하는 많은 HPC 기업에게 비정형 데이터를 처리, 관리 및 파일에서 개체로 변환하는 작업은 큰 도전입니다. 대부분의 기술은 이 문제를 해결하도록 구축되지 않았습니다. 즉, 기업은 아키텍처를 재구축하거나 애플리케이션을 리팩터링하거나 타사 데이터 이동 패키지를 사용하여 데이터에서 가치를 생성해야 합니다. 많은 경우 이 데이터에 대한 가시성이 거의 없는 방대한 데이터 사일로로 이어집니다. . 또한 조직은 특정 응용 프로그램이나 최종 사용자에게 지원되지 않거나 적절하지 않을 수 있는 특정 프로토콜로만 제한되는 경우가 많습니다. 전 세계의 많은 선두 기업이 겪는 어려운 결과는 이 귀중한 데이터가 결코 사용되지 않고, 비효율적으로 액세스되며, 종종 제대로 이해되지 않는다는 것입니다.
2019년 NewVantage Partners'에서 빅데이터 및 AI 경영진 설문조사, 64명의 C급 기술 및 초대형 기업을 대표하는 비즈니스 임원으로 구성된 설문 조사 응답자의 53%는 "아직 데이터를 비즈니스 자산으로 취급하지 않고 있다"고 말했습니다. 이러한 놀라운 결과는 응답자의 92%가 빅 데이터 및 인공 지능(AI) 투자 속도가 가속화되고 있다고 보고했음에도 불구하고 나온 것입니다.
특정 엔터프라이즈 데이터 스토리지 요구 사항 평가
비정형 데이터가 있는 HPC 환경에서 대규모 데이터 세트를 활성화해야 하는 기업은 데이터를 처리하고 제공할 수 있는 능력을 보유하는 것이 비즈니스의 일부임을 의미합니다. 이를 위해 최적의 엔터프라이즈 데이터 스토리지 솔루션을 고려할 때 데이터를 처리하고 잠재적으로 밀도가 높은 고성능 워크플로를 제공하는 데 필요한 용량, 성능, 데이터 무결성 및 확장 요구 사항을 충족하는지 평가하는 것이 중요합니다.
HPC 워크플로에 이상적인 엔터프라이즈 데이터 스토리지 솔루션 평가
최적의 엔터프라이즈 데이터 스토리지 솔루션은 워크플로에서 HPC 리소스를 활용하는 데 필요한 인프라를 제공해야 합니다. 에 따르면 포브스 조사, 95% 이상의 기업이 비정형 데이터를 관리해야 하는 필요성에 직면하고 있으며 150년까지 2025조 기가바이트 이상의 데이터에 대한 분석이 필요합니다. 즉, 파일 스토리지가 그 어느 때보다 중요해지고 있습니다.
효율적인 비정형 데이터 관리
비정형 데이터가 매일 생성되는 대부분의 새로운 데이터를 나타낸다는 점을 감안할 때 HPC 기업이 이 데이터를 보다 효율적으로 통합, 처리 및 활용할 수 있을수록 결과는 더 성공적일 것입니다. 따라서 이상적인 엔터프라이즈 데이터 스토리지 솔루션이 기본적으로 이러한 유형의 데이터와 함께 작동하도록 설계되었다는 것은 놀라운 일이 아닙니다.
오브젝트 스토리지와 파일 스토리지
현대의 클라우드 시대에 오브젝트 스토리지는 많은 비즈니스에서 가장 우선시되는 경향이 있지만 대부분의 데이터는 파일로 생성되고 사용됩니다. 개체 저장소 파일 시스템과 같은 스토리지 아키텍처와 달리 데이터를 객체로 관리하는 아키텍처입니다. 파일 저장 파일이 디렉토리 구조(일반적으로 계층적 트리 구조로 표시됨)에서 식별 가능한 파일 계층으로 데이터를 저장하고 관리하기 위한 형식 또는 프로그램입니다.
파일 시스템은 컴퓨터와 인간이 의미론적으로 흥미로운 데이터 그룹에서 작업할 수 있도록 하는 계층 구조의 기본적인 추상화를 제공합니다. 물론, 엔터프라이즈 데이터 스토리지 사용자는 하나의 큰 스토리지 버킷이 있는 것을 높이 평가합니다. 그러나 개체 스토리지 시스템은 예측할 수 없는 많은 차세대 문제를 제시합니다. 예를 들어 개체 스토리지는 성능이 좋지 않습니다.
가이드 받기: 엔터프라이즈 데이터 스토리지 플레이북 다운로드
비정형 데이터 관리 요구 사항 평가
페타바이트 규모의 데이터를 처리하려면 분석해야 하는 데이터 유형에 따라 적합한 엔터프라이즈 데이터 스토리지 솔루션이 필요합니다. 예를 들어, 클라우드 및 온프레미스에 존재하는 비정형 데이터를 처리하고 분석하기 위해 기업은 하이브리드 스토리지 인프라의 요구를 충족하는 동시에 실시간 분석 및 통찰력을 제공할 수 있는 파일 데이터 플랫폼이 필요합니다. 엔터프라이즈 데이터 스토리지 유형을 평가할 때 현재와 미래의 엔터프라이즈 요구 사항에 가장 적합한 솔루션을 선택하는 것이 그 어느 때보다 중요합니다.
최신 엔터프라이즈 스토리지 솔루션으로 HPC 워크플로 조정
레거시 파일 스토리지 시스템
레거시 파일 스토리지 시스템 원하는 데이터 블록을 저장하고 검색하는 역할을 하는 하드웨어에 대한 추상화 수준으로서 블록 장치를 기반으로 합니다. 그러나 파일 시스템의 블록 크기는 물리적 블록 크기의 배수일 수 있습니다. 이는 결핍으로 이어진다. 확장성 및 공간 비효율성 내부 단편화로 인해 파일 길이가 블록 크기의 정수 배수가 아닌 경우가 많습니다. 따라서 파일의 마지막 블록은 부분적으로 비어 있을 수 있습니다. 이는 스토리지 공간이 비효율적으로 사용되는 단편화를 생성하여 용량과 성능을 감소시킵니다.
레거시 개체 스토리지 시스템
일부 기업은 채택을 시도하고 있습니다. 레거시 개체 스토리지 시스템 비정형 데이터의 규모 및 지리적 분포 문제에 대한 솔루션입니다. 그러나 의도하지 않은 사용 사례에서 개체 스토리지를 채택하는 것은 기술적으로 적합하지 않습니다. 이를 달성하기 위해 개체 저장소는 트랜잭션 일관성, 파일 수정, 세분화된 액세스 제어, NFS 및 SMB와 같은 표준 프로토콜 사용 등 많은 사용자가 필요로 하고 기대하는 기능을 의도적으로 절충합니다. 오브젝트 스토리지는 또한 데이터를 구성하는 문제를 그대로 유지합니다. 대신 사용자가 일종의 외부 데이터베이스에서 데이터 자체를 인덱싱하도록 권장합니다. 이것은 독립 실행형 응용 프로그램의 스토리지 요구 사항에 충분할 수 있지만 응용 프로그램 간, 사람과 해당 응용 프로그램 간의 협업을 복잡하게 만듭니다.
놀라운 양의 귀중한 비즈니스 로직이 엔터프라이즈 파일 시스템의 디렉토리 구조에 인코딩되어 있습니다. 따라서 대규모 파일 스토리지에 대한 필요성은 여전히 강력합니다.
최신 HPC 워크플로
최신 HPC 워크플로 거의 항상 독립적으로 개발되었지만 파일 기반 데이터를 교환하여 함께 작동하는 응용 프로그램을 포함합니다. 이는 개체 저장소로는 불가능한 상호 운용성 시나리오입니다. 또한 개체 저장소는 거버넌스를 위한 파일 시스템의 이점을 제공하지 않습니다.
최신 파일 스토리지 시스템
최신 파일 스토리지 시스템 등 Qumulo 코어, 라는 기술을 통해 이 문제를 해결하려고 했습니다. 확장 가능한 블록 스토어 (SBS). Qumulo 파일 시스템은 가상화된 블록 계층인 SBS를 기반으로 구축되었으며, 이는 대규모로 확장 가능한 분산 데이터베이스의 원칙을 사용하고 파일 기반 데이터의 특수한 요구 사항에 최적화되어 있습니다.
블록 스토리지 관점에서 SBS는 Qumulo 파일 시스템의 블록 레이어이자 데이터를 저장하는 기본 메커니즘으로, 파일 시스템에 대규모 확장성, 최적화된 성능 및 데이터 보호. 보호, 재구축 및 파일 시스템 아래의 SBS 계층에서 발생하는 데이터를 저장할 디스크 결정과 같은 시간 소모적인 작업. 이러한 방식으로 구조화되지 않은 데이터 파일은 파일 시스템 아키텍처와 블록 저장소 아키텍처의 장점을 결합한 계층적 파일 시스템 유형 레이아웃으로 추출할 수 있습니다.
SBS의 가상화된 보호 블록 기능은 Qumulo 파일 시스템에 큰 이점입니다. Qumulo 파일 시스템은 블록 기반 보호를 사용하기 때문에 작은 파일도 큰 파일만큼 효율적입니다. 그 결과 타의 추종을 불허하는 확장 특성을 가진 파일 시스템이 탄생했습니다. 대조적으로 레거시 스토리지 어플라이언스는 작은 파일 및 시스템 메타데이터에 비효율적인 미러링을 사용하는 오늘날의 방대한 데이터 공간을 처리하도록 설계되지 않았습니다.
스케일 아웃 NAS(Network Attached Storage)는 EDM(Enterprise Data Storage Management)의 미래입니까?
레거시 수직 확장 및 수평 확장 파일 시스템은 온프레미스 및 클라우드에서 대규모로 스토리지를 관리해야 하는 새로운 요구 사항을 충족할 수 없습니다. 20년 전에 이를 설계한 엔지니어는 최신 워크로드를 특징짓는 파일과 디렉터리의 수와 혼합 파일 크기를 전혀 예상하지 못했습니다. 그들은 또한 클라우드 컴퓨팅을 예측할 수 없었습니다.
비정형 데이터의 부상
기업은 규제, 분석 및 의사 결정을 위해 비정형 데이터 스토리지 관리(EDM)에 점점 더 의존하고 있습니다. 비정형 데이터는 분석, 기계 학습 및 비즈니스 인텔리전스의 중추입니다.
EDM(엔터프라이즈 데이터 관리)에는 확장성이 필요합니다.
활성화해야 하는 기업 넓은 비정형 데이터가 있는 HPC 환경의 데이터 세트는 데이터를 처리하고 제공할 수 있는 능력을 갖는 것이 비즈니스의 일부임을 의미합니다. 이러한 이유로 엔터프라이즈 IT 시스템 및 스토리지 관리자는 기본적으로 이러한 유형의 데이터를 사용하도록 설계된 솔루션을 찾고 있습니다. 이를 위한 이상적인 스토리지 솔루션은 데이터를 처리하고 잠재적으로 밀도가 높은 고성능 워크플로를 제공하는 데 필요한 용량, 성능, 데이터 무결성 및 확장 요구 사항을 충족합니다.
스케일 아웃 NAS를 통한 확장 가능한 엔터프라이즈 데이터 스토리지 솔루션
Qumulo는 파일 스토리지의 위기가 정점에 도달하기 시작한 2012년에 설립되었습니다. 스토리지 개척자 그룹, 스케일 아웃 NAS의 발명가, 손을 잡고 이러한 새로운 요구 사항을 정면으로 해결할 다른 종류의 스토리지 회사를 설립했습니다. 그들의 작업과 그들이 모은 팀은 데이터 센터, 사설 클라우드 및 공용 클라우드를 포괄하는 세계 최초의 기업에서 입증된 하이브리드 클라우드 파일 스토리지 시스템을 개발한 Qumulo입니다. 수십억 개의 파일로 확장되며 기존 스토리지 솔루션보다 비용이 적게 들고 총 소유 비용(TCO)이 낮습니다. 실시간 분석을 통해 관리자는 크기나 위치에 관계없이 데이터에 쉽게 액세스하고 관리할 수 있습니다. Qumulo의 지속적인 복제를 통해 필요할 때 필요한 곳으로 데이터를 이동할 수 있습니다. 예를 들어, 온프레미스와 클라우드에서 실행되는 클러스터 간 또는 다른 클라우드 인스턴스에서 실행되는 클러스터 간.
적합한 엔터프라이즈 데이터 스토리지 솔루션 선택
엔터프라이즈 데이터 스토리지 솔루션을 평가하고 이러한 솔루션을 비교하는 방법에 대한 간략한 개요를 통해 이제 엔터프라이즈가 저장하는 데이터 유형을 기반으로 이상적인 데이터 스토리지 솔루션을 선택하는 방법을 더 잘 이해할 수 있을 것입니다. 더 많은 통찰력을 얻으려면 다양한 데이터 스토리지 유형에 대한 보다 철저한 비교를 제공하는 이 시리즈의 파트 2를 참조하십시오. 블록 스토리지 대 객체 스토리지 대 파일 스토리지.
이 기사는 에 대한 4부작 시리즈의 첫 번째 기사일 뿐입니다. 기업이 기업 데이터 스토리지 솔루션을 평가할 때 파일 데이터를 고려해야 하는 이유 —그리고 이러한 중요한 고려 사항에 대해 표면을 긁었을 뿐입니다. 자세히 알아보려면 새로운 엔터프라이즈 플레이북 다운로드 급증하는 비정형 데이터를 관리하는 데 도움이 되는 올바른 데이터 스토리지 솔루션 선택에 대한 가장 포괄적인 가이드입니다.
계속 지켜봐 주세요!
레거시 파일 스토리지 시스템과 최신 파일 스토리지 시스템을 비교 및 평가하고 비교하는 이 시리즈의 3부와 4부를 계속 지켜봐 주십시오. Qumulo Scalable Block Store(SBS)는 대규모 확장성, 최적화된 성능 및 데이터 보호를 제공하는 최첨단 파일 스토리지 시스템으로 엔터프라이즈 데이터 스토리지 산업에 혁명을 일으켰습니다.
