Komprise를 사용하여 Azure 네이티브 Qumulo 확장 가능한 파일 서비스로 마이그레이션

이 문서에서는 Komprise를 사용하여 타사 NAS 시스템에서 Azure Native Qumulo(ANQ)로 파일 데이터를 마이그레이션하는 솔루션에 대해 설명합니다. Komprise는 이기종 NAS 환경에서 플랫폼에 구애받지 않는 대규모 파일 마이그레이션 서비스를 제공합니다.

Komprise를 사용하여 Azure 네이티브 Qumulo 확장 가능한 파일 서비스로 마이그레이션

서로 다른 스토리지 플랫폼과 파일 시스템 아키텍처 간의 파일 마이그레이션은 복잡한 프로세스일 수 있습니다. 이 문서에서는 Komprise를 사용하여 타사 NAS 시스템에서 Azure Native Qumulo(ANQ)로 파일 데이터를 마이그레이션하는 솔루션에 대해 설명합니다. Komprise는 이기종 NAS 환경에서 플랫폼에 구애받지 않는 대규모 파일 마이그레이션 서비스를 제공합니다. 이 솔루션은 혼합 스토리지 플랫폼 간에 파일 데이터를 원활하게 마이그레이션하여 고성능 데이터 이동을 제공하고 데이터 무결성을 보장하며 레거시 NAS에서 ANQ 인스턴스로의 데이터 마이그레이션 프로젝트를 성공적으로 완료할 수 있도록 지원합니다.

컴프라이즈를 통한 ANQ로의 마이그레이션의 이점

아키텍처

이 솔루션은 구성 가능한 성능 옵션과 함께 Azure에 배포되며, 다음 다이어그램과 같이 Azure Native Qumulo의 엑사바이트급 파일 데이터 플랫폼과 Komprise가 결합되어 있습니다.

클릭 여기 를 클릭하여 솔루션의 고해상도 Visio 다이어그램을 다운로드하세요.

솔루션 아키텍처

이 솔루션은 가상 네트워크 게이트웨이를 비롯한 고객 리소스가 있는 단일 Azure 지역의 Azure 고객 테넌트에 배포됩니다.
Komprise는 동적 데이터 분석, 투명한 아카이빙, 핫 데이터와 사용자 활동에 중단 없이 액세스할 수 있는 직접 데이터 마이그레이션 기능으로 돋보입니다. Komprise의 HyperTransfer 기술은 이러한 기능을 더욱 강화하여 대규모 마이그레이션 및 데이터 관리 작업에 필수적인 고속 데이터 전송을 보장합니다.
또한, 컴퍼니는 스토리지 플랫폼과 협력하여 소스 스토리지와 대상 스토리지를 지속적으로 비교하여 적용할 변경 사항을 찾고, 데이터가 제대로 저장되고 이동 시 다시 읽혀지는지 확인하는 해싱 메커니즘을 포함함으로써 마이그레이션이 진행되는 동안 데이터 가용성과 안정성을 유지합니다.
Komprise를 통한 관리는 데이터 이동 활동을 오케스트레이션하는 관리 콘솔인 Komprise Director를 통해 이루어집니다. 이 콘솔은 중앙 집중식 제어 기능을 제공하여 사용자가 단일 또는 여러 사이트를 포함한 고객의 전체 스토리지 환경에서 활동을 관리, 분석, 마이그레이션 및 모니터링할 수 있도록 지원합니다.
Komprise 아키텍처의 핵심은 Komprise 옵저버와 프록시입니다. 이들은 데이터 관리 및 마이그레이션 작업 중 고성능을 보장하기 위해 전략적으로 배치할 수 있는 데이터 이동 엔진입니다. 일반적으로 옵저버는 로컬 마이그레이션에 도움이 되는 빠른 로컬 액세스를 위해 레거시 스토리지 시스템과 가까운 곳에 배치됩니다. Azure ANQ 클러스터로의 마이그레이션의 경우, Komprise HyperTransfer는 Azure 테넌트 내에서 호스팅되는 프록시를 활용하여 Azure에서 로컬로 데이터 쓰기 및 유효성 검사를 처리합니다. 이 아키텍처는 일반적인 마이그레이션 도구와 비교했을 때 지연 시간을 크게 줄여주는 WAN을 통한 효율적인 데이터 전송을 가능하게 합니다. 참고: 데이터는 고객이 직접 보호하고 관리하는 네트워크만 전송합니다.
ANQ 인스턴스는 Qumulo의 Azure 테넌트에 배포됩니다.
ANQ 클러스터에 대한 액세스는 고객의 Azure 테넌트의 전용 서브넷에서 VNet 인젝션을 통해 활성화되며, 이 서브넷은 Qumulo 테넌트에서 고객의 ANQ 서비스에 연결됩니다. ANQ의 모든 데이터는 고객의 위임된 서브넷의 네트워크 인터페이스를 통해서만 액세스할 수 있습니다. 참고: Qumulo는 ANQ 서비스 인스턴스의 데이터에 액세스할 수 없습니다.
Komprise 제품군에 통합된 HyperTransfer 기술은 데이터 이동 프로세스를 가속화하는 데 핵심적인 역할을 합니다. 이 기술은 네트워크 사용량을 최적화하여 대용량 데이터 세트를 빠르게 전송함으로써 데이터 마이그레이션과 동기화에 필요한 시간을 크게 줄여줍니다. 이러한 효율성은 다운타임을 최소화하고 클라우드 확장성과 유연성을 빠르게 활용하고자 하는 조직에 매우 중요합니다.

솔루션 워크플로

마이그레이션 프로젝트는 5단계로 구성됩니다:

1단계: 데이터 분석

Komprise는 계획 분석 및 심층 분석 기능을 통해 모든 스토리지 플랫폼에서 비정형 데이터에 대한 빠른 인사이트를 제공합니다. 계획 분석은 고객이 데이터를 옮기기 전에 알고 싶어하는 중요한 파일 시스템 문제를 발견하면 사용량 그래프와 분석 활동 페이지로 요약 결과를 즉시 제공합니다. 심층 분석을 통해 고객은 사용자 지정 쿼리 기능과 그래프를 통해 특정 데이터 세트, 고아 파일 등을 찾아내어 데이터를 더 깊이 이해할 수 있습니다.

기업 도구의 분석 활동 페이지에서는 데이터를 옮기기 전에 잠재적인 문제를 미리 파악하는 데 도움이 됩니다. 마이그레이션 시퀀스를 시작하기 전에 주의해야 할 잠재적 문제에는 다음이 포함될 수 있습니다:

파일 및 디렉터리 통계를 파악하고 액세스 제한 또는 해결 문제를 파악하세요
경로 및 파일 이름이 지나치게 길거나 잘못된 문자가 포함되어 있지 않나요?
빈 디렉터리가 많은 경우, 지나치게 많은 수의 작은 파일을 식별합니다
잠재적으로 실적이 저조한 주식 파악하기
드문드문 파일이 있거나 디렉터리를 연결하는 순환 심볼릭 링크가 있는지 미리 파악하세요

2단계: 네트워크 및 스토리지 성능 평가

마이그레이션은 인프라가 허용하는 만큼만 빠르게 진행됩니다. 따라서 네트워크와 스토리지 시스템의 결합된 성능 능력을 함께 파악하는 것이 중요합니다. 네트워크와 스토리지 성능을 개별적으로 측정하면 포트 구성, 라우팅, 파일 시스템 과부하 등의 숨겨진 한계를 파악하지 못할 수 있습니다.

마이그레이션은 고객의 네트워크에 비정형적이고 매우 과중한 워크로드를 초래할 수 있습니다. Komprise는 데이터를 이동하기 전에 레거시 NAS 시스템과 ANQ 인스턴스 간의 연결 문제를 파악하기 위해 네트워크와 스토리지 성능을 통합적으로 평가하는 것이 중요하다는 것을 잘 알고 있습니다.

고객 환경 평가(ACE) 도구는 쉽게 배포하고 실행할 수 있습니다. 이 도구는 온프레미스 소스 레거시 NAS 공유와 대상 ANQ 인스턴스 간의 일련의 데이터 이동 시나리오를 시뮬레이션합니다. 일련의 읽기, 쓰기, 체크섬 작업을 수행하고 그 결과 전체 성능 수치를 수집합니다. 이러한 결과를 통해 잠재적인 성능 위험과 인프라 병목 현상을 파악하여 네트워크 토폴로지가 준비되었는지 확인할 수 있습니다.

3단계: 마이그레이션: 초기 동기화

마이그레이션 프로세스는 마이그레이션할 전체 데이터 세트에 대한 광범위한 분석을 캡처하고 레거시 NAS 시스템에서 ANQ 타겟으로 데이터를 처음 이동하는 것으로 시작됩니다. 이 첫 번째 반복 작업은 기초적인 기준선을 설정하며, 소스 데이터에 대한 사용자의 액세스를 방해하지 않고 수행되는 초기 실질적인 데이터 전송의 중추적인 역할을 합니다. Komprise는 HyperTransfer 기술을 활용하여 사용 가능한 옵저버 및 프록시 리소스와 사용 가능한 네트워크 대역폭에 따라 병렬화를 동적으로 조정함으로써 최적화된 전송 프로세스를 보장합니다.

4단계: 마이그레이션: 증분 반복

이 단계에서는 마지막 동기화 이후 소스 데이터에 변경된 사항만 추적하고 전송하기 위해 Komprise의 지능형 알고리즘이 작동합니다. 이 접근 방식은 네트워크 중단을 최소화하면서 대상 스토리지를 최신 상태로 유지하는 데 필수적입니다. 데이터 활동에 대한 향상된 이해를 반영하고 보다 정확하고 효율적인 동기화 프로세스를 보장합니다. 이 반복 작업을 최종 전환을 위한 시험 실행으로 간주하세요. 오류, 총 전송 시간, 이동된 데이터의 양 등을 보여주는 전체 시스템 파일 비교 검사를 통해 현재 상태를 파악할 수 있습니다. 이 정보는 최종 컷오버 시기와 기간을 계획하는 데 도움이 됩니다.

5단계: 마이그레이션: 최종 반복(컷오버)

이 중요한 단계에서는 마이그레이션이 완료되며, Komprise가 남은 데이터를 대상 스토리지로 전송합니다. 컷오버 지점에서 원본의 정확한 복제를 보장하기 위해 마지막 파일 시스템 검사를 위해 원본 NAS에 대한 쓰기 액세스가 일시적으로 일시 중단됩니다. 이 단계는 운영에 미치는 영향을 최소화하기 위한 철저한 계획과 조정의 중요성을 강조합니다.

기업용 기능

다음은 모든 마이그레이션에 포함되는 Komprise의 몇 가지 항목입니다.

콤프라이즈 클라우드 디렉터는 콤프라이즈 데이터 관리 프로세스의 배포와 관리를 감독합니다. 이 단일 관리 인터페이스를 통해 고객은 조직 전체에서 여러 마이그레이션 작업을 관리할 수 있습니다. 단일 콘솔에서 마이그레이션을 시작하고, 나중에 시작하도록 마이그레이션을 예약하고, 레거시 NAS 시스템과 ANQ 간의 데이터 이동 일정과 이동을 보여주는 명확한 상태 추적을 확인하고, 진행 상황을 추적하고, 진행 보고서를 수집하고, 문제를 검토하고, 컷오버를 계획할 수 있습니다.
Komprise는 지능적으로 리소스를 풀링하여 전체 워크로드를 분산하고 중복성을 제공함으로써 처리량과 효율성을 향상시키며, 이는 대규모 데이터 세트 마이그레이션에 필요한 시간을 단축하는 데 매우 중요합니다. Komprise는 기존 리소스를 동적으로 확장할 수 있을 뿐만 아니라 옵저버와 프록시를 추가하여 스케일아웃할 수도 있습니다.
기내 암호화를 통해 안전한 데이터 전송을 지원하며, Azure VPN Gateway 또는 ExpressRoute를 통해 촉진된 온-프레미스 환경과 Azure 기반 리소스 간의 고객 연결을 사용합니다. 이는 Komprise의 HyperTransfer 기술과 결합되어 안전한 가속 전송과 효율적인 데이터 이동을 보장합니다.
컴퍼니는 SMB 공유의 모든 파일에 대한 전체 액세스 권한을 보장하고 NTFS 및 ACL 권한의 이전을 보장하기 위해 레거시 NAS 시스템과 ANQ 인스턴스 모두에서 Active Directory 사용자를 사용하여 실행해야 합니다.
소스 NAS 시스템에 SMB 데이터와 NFS 데이터가 모두 포함되어 있는 경우, NTFS 및 POSIX 권한이 포함된 데이터 세트를 마이그레이션할 수 있습니다. SMB 데이터와 NFS 데이터가 모두 포함된 레거시 NAS 시스템을 처리할 때, Komprise는 NTFS 및 POSIX 권한을 유지하면서 마이그레이션을 관리할 수 있습니다.
단일 데이터 세트가 POSIX 권한과 ACL 권한 모두를 통해 공유되는 교차 프로토콜 권한은 성공적으로 마이그레이션하려면 추가 단계가 필요할 수 있습니다. 초기 동기화의 경우, NFS 우선 접근 방식(및 데이터의 POSIX 권한 구조 마이그레이션)은 일반적으로 NFS 프로토콜의 오버헤드가 낮기 때문에 더 빠른 방법입니다. 그 후, 동일한 데이터에 NTFS 권한을 적용하기 위해 추가 마이그레이션 작업을 만들 수 있습니다.
Komprise는 다음과 같은 시스템별 디렉토리를 지능적으로 제외하여 레거시 NAS 시스템에서 ANQ로 마이그레이션하기 위한 소스 디렉토리 선택을 간소화합니다 .스냅샷 또는 .스냅샷 를 사용하여 깔끔하게 전송할 수 있습니다.
컴퍼니는 병렬화를 통해 마이그레이션 프로세스를 신속하게 처리하여 여러 개의 동시 데이터 스트림을 생성합니다. 이 프로세스는 사용 가능한 대역폭 사용을 극대화하고 마이그레이션 기간을 최소화하도록 동적으로 조정하는 HyperTransfer 기술에 의해 최적화됩니다.
Komprise는 마이그레이션 프로세스 전반에 걸쳐 데이터 무결성을 보장하며, 적절한 해싱 알고리즘을 활용하여 성능 저하 없이 데이터를 검증합니다.

구성 요소

솔루션 아키텍처는 다음과 같은 구성 요소로 이루어져 있습니다:

Azure 네이티브 Qumulo 확장 가능한 파일 서비스 클러스터를 사용하여 솔루션을 사용하여 생성된 모든 콘텐츠에 대한 통합 데이터 스토리지를 제공합니다
기업 클라우드 디렉터 를 사용하여 로컬 스토리지에서 ANQ로 데이터를 마이그레이션할 수 있습니다.
- 옵저버
- 프록시 서버 - Windows Server에서 실행되는 기업용 프록시 서비스(최소 16코어 CPU, 32GB 메모리 및 10GbE 네트워크)로 구성됩니다
Azure ExpressRoute 및/또는 Azure VPN 게이트웨이
Azure VNet 주입
Azure 가상 네트워크
레거시 NAS(예: 온프레미스 Dell EMC Isilon/PowerScale)

고려 사항

Komprise를 사용하여 Azure 네이티브 Qumulo Scalable File Service로 파일을 마이그레이션하려면 계획 및 설계 프로세스에 다음과 같은 고려 사항을 포함해야 합니다.

잠재적 사용 사례

데이터 마이그레이션: 클라우드 마이그레이션은 애플리케이션과 데이터를 온프레미스 시스템에서 퍼블릭 클라우드로 옮기는 과정입니다. 하지만 시중의 레거시 NAS 옵션은 퍼블릭 클라우드에서의 기능이나 확장성이 제한적입니다. ANQ는 Azure에서 향상된 기능과 확장성을 제공합니다. Komprise는 데이터 무결성을 보장하면서 파일 데이터를 ANQ로 고성능 마이그레이션할 수 있도록 지원합니다.
재해 복구: ANQ는 보조 DR 사이트로 활용되어 조직이 데이터를 클라우드로 복제할 수 있습니다. 재해가 발생하여 기본 온프레미스 사이트에 영향을 미치는 경우, 조직은 ANQ에 복제된 데이터로 전환하여 중단을 최소화하면서 운영을 계속할 수 있습니다. Komprise는 소스 레거시 NAS에서 복제할 파일을 빠르게 감지합니다.
계층화: Komprise의 계층화 기능은 비활성 데이터 또는 콜드 데이터를 지능적으로 분석하고 ANQ로 이동하여 파일 스토리지 관리 및 최적화를 위한 원활한 솔루션을 제공하며, Komprise TMT(Transparent Move Technology)를 활용합니다. 이 기술은 사용자 액세스를 방해하지 않고 데이터를 이동하여 기본 파일 액세스를 유지하며 ANQ에서 직접 액세스할 수 있도록 합니다. 스토리지 및 백업 비용을 절감하고, 직관적인 대시보드와 API 통합으로 데이터 관리를 간소화하며, 클라우드에 종속되지 않는 유연한 경로를 제공하므로 데이터 증가와 클라우드 스토리지 비용을 효율적으로 관리하고자 하는 고객에게 매우 유용합니다.

확장성 및 성능

기업 설계자 및 기타 이해관계자는 Qumulo 및 Komprise를 사용하여 데이터 마이그레이션 솔루션을 계획할 때 솔루션에 다음 사항을 포함할 수 있습니다:

용량 및 성장 - ANQ는 필요에 따라 쉽게 확장할 수 있으므로 데이터를 생성하거나 마이그레이션하는 것만으로 필요한 만큼 용량을 추가할 수 있습니다.
Komprise를 사용하면 완전한 자동화, 로드 밸런싱, 매크로 및 마이크로 레벨 보고 기능을 통해 파일, 폴더, ACL 데이터를 레거시 NAS에서 ANQ로 마이그레이션할 수 있습니다. 멀티 스트리밍, 멀티 스레딩 Komprise 옵저버 및 프록시 서버 덕분에 도구의 성능을 확장할 수 있습니다.
처리량 - ANQ를 사용하면 필요에 따라 1GB/s 단위로 처리량을 조정하여 항상 필요한 처리량을 확보할 수 있습니다.
Komprise를 사용하면 소스 스토리지와 대상 스토리지 간의 전송 속도가 엔드투엔드 연결의 네트워크 속도에 근접할 수 있습니다. 데이터 유형과 레이아웃에 따라 성능에 영향을 받을 수 있습니다. 특정 데이터 세트 내에 작은 파일이 많거나 디렉토리 수가 많으면 프록시 시스템의 부하가 증가하여 전체 처리량이 느려질 수 있습니다. 또한 데이터 전송을 가속화하기 위해 Komprise의 HyperTransfer 기술을 최대한 활용합니다.

보안

Azure Native Qumulo 확장 가능한 파일 서비스는 완전히 라우팅 가능하고 안전하며 리소스만 볼 수 있는 VNet Injection을 사용하여 Azure 환경에 연결합니다. 사용자 환경과 ANQ 클러스터 간에 IP 공간을 조정할 필요가 없습니다.

솔루션의 보안이 업계 모범 사례, 기업 내부 정책 및 해당 법률/규제 요건을 준수하도록 설계 및 구현 과정에서 주의를 기울여야 합니다.

솔루션의 다른 모든 측면에 대해서는 고객이 해당 업계 및 지역에 적용되는 모든 법적 및 규제 요건을 충족하도록 솔루션의 보안을 계획, 구현 및 유지 관리할 책임이 있습니다.

비용 최적화

비용 최적화는 솔루션에서 발생하는 실제 비용의 가치를 최대화하면서 불필요한 비용을 최소화하는 것을 의미합니다. 자세한 내용은 비용 최적화 기둥 개요 페이지로 이동합니다.

Azure의 종량제 모델을 사용하면 필요할 때 용량을 사용하도록 리소스를 확장하여 비용을 최적화할 수 있습니다. 따라서 리소스를 과도하게 프로비저닝하지 않고도 비용을 효율적으로 관리할 수 있습니다.
Qumulo의 비용은 Azure Native Qumulo 확장 가능한 파일 서비스의 데이터 양과 성능 티어에 따라 다릅니다. 자세한 내용은 다음을 참조하세요 Azure 네이티브 Qumulo 확장 가능한 파일 서비스 가격.
Komprise의 아키텍처는 확장성과 병렬화된 데이터 흐름을 제공하도록 설계되었습니다. 더 많은 성능과 더 높은 성능이 필요한 경우, 필요에 맞는 옵저버 또는 프록시를 추가하고 해당 VM의 리소스 비용만 고려하면 됩니다.

가용성

조직마다 동일한 애플리케이션에 대해서도 가용성 및 복구성 요구 사항이 다를 수 있습니다. 가용성이란 솔루션이 구축된 성능 수준에서 서비스를 지속적으로 제공할 수 있는 솔루션의 기능을 의미합니다.

데이터 및 스토리지 가용성

ANQ 배포에는 기본 하드웨어의 장애로부터 데이터 가용성을 보장하기 위해 데이터 수준에서 중복성이 내장되어 있습니다. 실수로 인한 삭제, 손상, 멀웨어 또는 기타 사이버 공격으로부터 데이터를 보호하기 위해 ANQ에는 파일 시스템 내의 모든 수준에서 스냅샷을 생성하여 데이터의 특정 시점, 읽기 전용 사본을 생성하는 기능이 포함되어 있습니다.

ANQ는 Azure, 다른 클라우드 또는 온프레미스에서 호스팅할 수 있는 보조 Qumulo 스토리지 인스턴스로의 데이터 복제를 지원합니다. ANQ는 파일 기반 백업 솔루션과 호환되어 외부 데이터를 보호할 수 있습니다.

서비스 안정성 및 연속성

마이그레이션하는 데이터의 범위와 중요도에 따라 일부 상황에서는 단계적 접근 방식이 적절할 수 있습니다. 단계적 접근 방식은 레거시 스토리지의 전체 콘텐츠를 한 번에 마이그레이션하는 것이 아니라, 중요도가 낮은 소규모 데이터 세트를 사용하여 더 크고 중요한 데이터로 이동하기 전에 프로세스를 개발하고 마무리하는 방식으로 한 번에 하나의 워크플로우를 마이그레이션하는 것입니다.

이 접근 방식의 추가적인 이점은 마이그레이션 작업에서 발생할 수 있는 모든 문제가 단일 워크플로 또는 데이터 집합으로 범위가 제한된다는 점입니다.