"정의에 따르면 데이터 레이크는 감독이나 거버넌스 없이 모든 데이터를 수용합니다. 설명 메타데이터가 없으면 데이터 레이크는 데이터 늪으로 변할 위험이 있습니다." - 닉 호데커, 전 가트너 연구원
소개
지난 10년 동안 데이터 레이크라는 용어는 너무 광범위하게 사용되어 명확한 의미보다 모호한 경우가 많았습니다. 오늘날 대부분의 조직이 실제로 운영하는 데이터 레이크는 온프레미스 어레이, 여러 하이퍼스케일 클라우드, 엣지 시설에 흩어져 있는 파일 시스템과 개체 버킷의 모자이크입니다. 그 비용은 단순히 페타바이트와 달러로 측정되는 것이 아니라 인사이트 손실, 운영 지연, 피할 수 없는 보안 허점으로 측정됩니다.
암호학적으로 격리된 테넌트 인식 데이터 플랫폼인 큐물로 스트라투스 아키텍처를 도입함으로써, 프라이빗 데이터 센터에서 모든 주요 클라우드에 이르기까지 주권이나 성능 저하 없이 확장할 수 있는 경계 없는 정책 중심 데이터 에코시스템인 '유니버설 데이터 레이크'를 향한 결정적인 발걸음을 내디뎠습니다.
유니버설 데이터 레이크의 기반
Qumulo Stratus는 데이터 암호화를 사용하여 데이터 격리 및 개인 정보 보호를 유지하는 소버린급 테넌트 인프라 격리의 이점을 공유되지 않는 데이터 코어와 결합합니다. Stratus에 연결된 각 테넌트는 AD, DNS, SIEM 등을 포함한 자체 암호화 키와 엔터프라이즈 서비스를 유지합니다. 데이터가 Stratus 프로토콜 엔진에서 수신되면 테넌트의 키로 암호화되어 Qumulo DataCore에 저장됩니다. 결과는 간단하지만 심오합니다:
데이터 로컬리티가 선택이 되는 시대 제약이 아닙니다. 애플리케이션 리팩토링이나 사용자 재교육 없이 워크플로를 오늘 AWS로 버스트하고, 내일 온프레미스 GPU 팜으로 다시 전송하고, 다음 분기에는 Azure로 아카이브할 수 있습니다.
보안은 "볼트 체결"이 아닙니다 각 테넌트는 암호화 대상(키, KMS, 감사 추적)을 소유하므로 파일 및 개체 페이로드는 다른 모든 테넌트, 심지어 Qumulo 데이터 코어 관리자에게도 불투명하게 유지됩니다.
성능은 선형적으로 확장됩니다. 컴퓨팅을 많이 사용하는 테넌트는 자체 NeuralCache 레이어를 배포하고 필요에 따라 I/O 용량을 확장하고, 용량 중심 테넌트는 Kubernetes 컨테이너 또는 VM에서 풀링된 DataCore를 소비하기만 하면 됩니다. 시끄러운 이웃으로 인해 누구도 불이익을 받지 않습니다.
이러한 속성은 시민 회복력, 학문적 혁신, 국가 안보 등 우리 모두에게 중요한 세 가지 영역에서 시장의 기대와 기술 역량을 재편합니다.
지방 정부: 사일로 없이 중요 서비스 격리
시와 카운티의 인프라 책임자 및 CIO는 ArcGIS 매핑/이미지, 바디캠 아카이브, Splunk 가시성, Rubrik 백업, Genetec 비디오 감시, 공공 작업 CAD 및 공중 보건 기록이 각각 맞춤형 보안 태세를 갖춘 근본적으로 다른 장소에 있다는 동일한 이야기를 들려줍니다. Stratus를 사용하면 지자체는 도시 행정, 경찰, 공공 사업 및 보건 부서를 위해 암호로 봉인된 구획을 유지하면서 이러한 섬을 단일 네임스페이스로 축소할 수 있습니다.
안타깝게도 랜섬웨어가 발생하면 사고 대응팀은 도시의 나머지 서비스에 대한 부수적인 피해 없이 영향을 받은 테넌트를 외과적으로 분리하고 복구할 수 있습니다. 한편, 예산이 부족한 IT 팀은 하나의 분석 세트, 하나의 복제 정책, 훨씬 더 효율적인 리소스 활용, 퍼블릭 클라우드를 서비스에 영향을 미치는 자연 재해의 '폭발 반경'에서 멀리 떨어진 온디맨드 재해 복구 데이터 센터로 사용할 수 있는 기능을 확보할 수 있습니다.
연구 대학: 학문의 자유와 기업 수준의 통제의 융합
현대의 대학은 개방적이고 협력적인 과학과 기업 수준의 비즈니스 운영이라는 두 가지 세계에 걸쳐 있습니다. 역사적으로 이러한 이중성으로 인해 대학은 학적 기록, 재무 및 행정 시스템과 엔지니어링, 유전체학, 단백질체학 또는 기상 모델링을 위한 인프라를 병렬로 구축해야 했습니다. 스트라투스는 이러한 상황을 뒤집습니다.
계산 화학 대학원생은 지원금 예산에 맞는 클라우드 리전에서 격리된 고성능 캐시를 스핀업할 수 있고, 재무팀은 동일한 논리적 데이터 레이크 내에서 철통 보안을 갖춘 온프레미스 호스트에서 원장을 계속 운영할 수 있습니다. 감독 위원회는 학생 기록의 PII가 수출 통제가 적용되는 연구 데이터와 절대 섞이지 않는다는 감사 가능한 증거를 확보합니다. 혁신이 번창하고, 스토리지 엔지니어는 일과 삶의 균형이 개선되며, 규정 준수 담당자는 밤에 잠을 잘 수 있습니다.
특별 액세스 프로그램: 기밀 규모에서의 운영 무결성
저는 수년간 국방 및 정보 기관을 위한 시스템을 구축하면서 얻은 한 가지 교훈은 침해가 오픈 소스 코드에서 시작되는 경우는 드물고 비공개 소스 코드와 자격 증명에서 시작된다는 것입니다. 과도한 권한을 가진 관리자는 제로데이 익스플로잇보다 더 많은 기밀을 유출했으며, 비공개 소스 소프트웨어는 OSS보다 훨씬 적은 검사를 받습니다. Stratus는 이러한 '폭발 반경'을 설계적으로 줄입니다. 각 프로그램 사무실(예: 우주 기반 ISR 디렉터리)은 자체 에어 갭 ID 공급자, DNS, Active Directory, HSM 계층 및 NeuralCache 표면을 수신합니다. 물류 테넌트의 관리자는 분석 테넌트에 있는 데이터 세트의 존재 여부조차 열거할 수 없으며, 데이터에 액세스할 수도 없습니다. 그러나 분석가가 원격 분석 피드의 교차 도메인 클라우드 데이터 패브릭 스트리밍을 승인하면 Stratus는 해당 정책을 즉시 실행하고, 암호화하고, 유효성을 검사하고, 관리 체인을 위해 로그를 기록합니다. 그 결과, 스노든부터 최근의 클라우드 자격 증명 유출에 이르기까지 민감한 임무를 괴롭혔던 내부자 위협을 스토브 파이프 인프라의 비효율성 없이도 방지할 수 있는 플랫폼이 탄생했습니다.
큐물로 스트라투스: 데이터의 미래
스트라투스의 출시는 단순한 제품 이벤트나 멋진 새 아키텍처가 아니라 '모든 것을 공유하는' 스토리지의 시대가 한계에 도달했다는 신호입니다. '모든 것을 공유하는' 아키텍처에서는 '아무것도 공유하지 않는' 효과적인 멀티테넌시를 제공할 수 없습니다 이제 고객들은 노출 없는 탄력성과 성능 저하 없는 멀티 테넌시를 요구합니다. 이러한 속성은 더 이상 상호 배타적인 것이 아니라 서로 맞물려 있습니다. 저는 Stratus의 뛰어난 엔지니어링 능력도 자랑스럽지만, 재난이 발생해도 온라인 상태를 유지하는 도시 서비스, 개인 데이터를 보호하면서 검색을 가속화하는 대학, 특권 침해에 대한 두려움 없이 구획화된 규모로 협업할 수 있는 국가 보안 프로그램 등 Stratus를 통해 실현할 수 있는 것이 훨씬 더 기대가 큽니다. 이것이 바로 우리가 Stratus를 구축하여 제공하고자 하는 시장 영향력이며, 이제 시작에 불과합니다. 사일로를 무너뜨리고 제어권을 되찾고 데이터 전략을 보편적인 시대로 가속화할 준비가 되셨다면, 여러분을 초대합니다 더글라스 굴레이 는 큐뮬로의 사장 겸 CEO이자 컴퓨터 덕후입니다. Stratus에 대한 자세한 내용은 다음을 방문하세요 https://discover.qumulo.com/qumulo-stratus-webinar