도전 과제
매트릭스 포인트 소프트웨어는 수년 동안 전적으로 AWS에서 운영해 왔으며, AWS 스토리지 게이트웨이를 활용해 Amazon S3를 기반으로 한 파일 서비스를 제공해 왔습니다. 시간이 지남에 따라 이 조직은 여러 가지 아키텍처상의 한계에 직면하게 되었고, 이로 인해 기존 환경의 확장 및 관리가 점점 더 어려워졌습니다.
주요 과제는 다음과 같았습니다:
● 애플리케이션 성능에 영향을 미치는 처리량 병목 현상
● 파일 수 및 ACL 제한 사항
● 캐시 디스크 일관성 문제
● 용량 확장 제약 사항
● 기존 클러스터 환경 내 성능 저하
● 제한적인 고가용성 및 재해 복구 기능
또한 이 조직은 수십억 개의 파일과 대규모 디렉터리 구조가 포함된 향후 중소기업(SMB) 워크로드를 지원할 수 있는 솔루션이 필요했는데, 이는 AWS 스토리지 게이트웨이 환경이 높은 부하 상황에서 종종 어려움을 겪는 부분입니다.
기존 AWS 스토리지 게이트웨이 아키텍처의 추가적인 한계는 다음과 같았습니다:
● 최대 처리량 약 0.6 GB/초
● 단일 컴퓨팅 인스턴스 아키텍처
● 네이티브 멀티-AZ 배포를 지원하지 않음
● 내장형 재해 복구 기능이 없음
● 동시 파일 경합에 대한 제한적인 지원
● 스냅샷, 할당량, 실시간 분석 및 다중 프로토콜 기능의 부재
매트릭스 포인트 소프트웨어는 다음과 같은 기능을 제공할 수 있는 대체 플랫폼을 원했습니다:
● 향상된 성능
● 운영상의 제약이 적음
● 간소화된 재해 복구
● 향상된 확장성
● 전반적으로 비슷한 인프라 비용
해결책
Matrix Pointe Software는 온라인 커뮤니티의 추천과 기술 토론을 통해 Qumulo를 알게 된 후, 자사의 AWS Storage Gateway 인프라를 직접 대체할 솔루션으로 Cloud Native Qumulo(CNQ)를 검토했습니다.
이번 최종 배포는 AWS 내에서 클라우드 간 완전한 마이그레이션을 의미하며, 해당 조직의 스토리지 게이트웨이(Storage Gateway)와 S3 직접 파일 인프라를 AWS상의 Qumulo로 대체했습니다.
새로운 환경에는 다음이 포함됩니다:
● 멀티-AZ 핫 프로덕션 클러스터
● 멀티-AZ 콜드 스토리지 클러스터
● 베타/RC 환경
● 재해 복구 인스턴스
● 멀티-AZ 배포 아키텍처
● Terraform 기반의 자동화된 배포 워크플로우
기존 아키텍처와 달리, Qumulo는 다음과 같은 기능을 제공했습니다:
● 스케일아웃 클러스터 아키텍처
● 내장형 고가용성
● 멀티-AZ 지원
● 통합 재해 복구
● 즉시 캐시 일관성
● SMB 및 NFS 멀티 프로토콜 액세스 지원
● 실시간 분석 및 스냅샷
● 수백 개의 노드와 TB/s 수준의 처리량을 지원하는 확장성
구축에 앞서, 고객사는 확장성, SMB 성능 및 운영 준비 상태를 검증하기 위해 3개월간의 개념 검증(PoC)을 성공적으로 완료했습니다.
결과
운영 탄력성 강화
매트릭스 포인트 소프트웨어는 통합된 고가용성 및 재해 복구 기능을 제공하는 다중 가용 영역(multi-AZ) Qumulo 아키텍처를 구축했습니다. 이제 네임스페이스 변경을 통해 페일오버를 신속하게 처리할 수 있게 되어, 복구 작업이 간소화되고 운영 리스크가 감소했습니다.
확장 시 향상된 SMB 성능
이 조직은 수십억 개의 파일과 대규모 디렉터리 구조가 포함된 고부하 중소기업(SMB) 워크로드에 대한 지원을 개선함으로써, 이전에 AWS Storage Gateway에서 발생했던 성능 병목 현상을 해결했습니다.
간소화된 클라우드 배포
Terraform 기반의 배포 워크플로를 통해 고객사의 기술 팀은 AWS 내에서 새로운 환경을 신속하게 배포하고 가동할 수 있었습니다.
확장성 및 처리량 향상
Matrix Pointe Software는 Qumulo의 클러스터형 스케일아웃 아키텍처로 전환함으로써, 기존의 단일 인스턴스 게이트웨이 모델에 비해 훨씬 더 높은 처리량과 확장성을 확보할 수 있게 되었습니다. Qumulo 환경은 처리량을 GB/sec 단위에서 TB/sec 이상으로 확장할 수 있을 뿐만 아니라, 수백만 IOPS를 지원하고 파일 시스템 용량 제한도 훨씬 더 크게 설정할 수 있습니다.
장점
스토리지 게이트웨이의 제한 사항 해소
Matrix Pointe Software는 AWS Storage Gateway를 대체함으로써 ACL 제한, 처리량 병목 현상, 파일 수 제한, 캐시 일관성 문제 등 여러 운영상의 제약을 해소했습니다.
엔터프라이즈급 고가용성 및 재해 복구
Qumulo는 해당 조직의 기존 아키텍처에서는 제공되지 않았던 내장형 재해 복구 및 고가용성 기능을 제공했습니다.
비용 중립에 가까운 현대화
총 소유 비용(TCO) 분석 결과, 기존 환경에 비해 월 약 36달러 정도만 증가하는 반면, 복원력과 운영 유연성은 크게 향상된 것으로 나타났습니다.
미래에 대비한 확장성
새로운 클라우드 네이티브 아키텍처를 통해 Matrix Pointe Software는 기존 환경에서 발생하던 파일 시스템 및 성능상의 제약 없이 향후 법률 애플리케이션 워크로드를 확장할 수 있게 되었습니다.
확장된 엔터프라이즈 파일 서비스
이 조직은 스냅샷, 디렉터리 할당량, 다중 프로토콜 파일 액세스, 다중 작성자에 대한 엄격한 잠금 기능, 실시간 분석 등 AWS 스토리지 게이트웨이에서는 제공되지 않는 엔터프라이즈급 기능을 활용할 수 있게 되었습니다.
앞으로의 전망
매트릭스 포인트 소프트웨어는 대규모 중소기업(SMB) 워크로드를 지속적으로 검증하고, 수십억 개의 파일과 대규모 디렉터리 구조가 포함된 실제 애플리케이션 요구 사항에 대비해 환경에 대한 부하 테스트를 진행할 계획입니다.
AWS 기반 클라우드 네이티브 Qumulo를 도입함으로써, 해당 조직은 향후 성장을 뒷받침하도록 설계된 확장 가능한 클라우드 파일 플랫폼을 갖추게 되었으며, 이를 통해 복원력을 강화하고 운영을 간소화하며 기존 스토리지 아키텍처의 한계를 해소할 수 있게 되었습니다.