S3 버킷과 클러스터 간에 객체를 복사하는 방법(2부)

이 2부작 시리즈는 다음을 탐구합니다. AWS에서 Qumulo의 스케일 아웃 파일 시스템이 고유한 이유. 1부에서는 성능, 동적 확장성, 다중 프로토콜 파일 액세스를 위해 Qumulo Cloud Q 소프트웨어 아키텍처를 구축하는 방법을 설명했습니다. 이는 Qumulo가 클라우드에서 실행되는 고성능 워크로드에 제공하는 모든 속성입니다. 다음으로 아래 2부에서는 AWS에서 Qumulo를 고유하게 만드는 요소에 대해 계속해서 설명합니다. Amazon S3로(및에서) 객체 복사 사용 쿠물로 시프트; 배포를 자동화하는 방법 AWS의 Qumulo Cloud Q 클라우드 마이그레이션을 단순화합니다. 

데이터 센터 클러스터와 Amazon S3 간의 복제 및 데이터 이동 이해

파일 시스템과 S3 버킷 간에 데이터를 이동해야 하는 워크플로가 점점 늘어나고 있습니다. 예를 들어 미디어 콘텐츠 편집자나 아티스트는 일반적으로 공유 파일 시스템을 사용하여 특수 효과를 병합하거나 다른 아티스트와 공동 작업을 수행합니다. 그런 다음 S3 버킷에 있는 파일을 트랜스코딩하기 위해 다른 AWS 서비스를 사용할 수 있습니다. 또 다른 예는 게놈 시퀀싱, 시퀀서가 SMB에 쓰는 경우 분석 프로세스는 NFS를 통해 데이터를 읽고 S3에서 아카이브가 수행됩니다.

위의 사항을 감안할 때 클러스터와 Amazon S3 간의 데이터 이동성은 더욱 중요해졌습니다.

오브젝트 스토리지와 파일 스토리지

역사적으로 객체 스토리지 솔루션은 파일 기반 데이터를 클라우드 서비스와 함께 사용할 수 있도록 클라우드 객체 저장소(Amazon S3 버킷)로 쉽게 이동할 수 있도록 설계되지 않았습니다. (관련 : 블록 스토리지 대 오브젝트 스토리지 대 파일 스토리지: 차이점은 무엇입니까?) 비디오 편집, 특수 효과, 게놈 시퀀싱과 같은 고성능 활성 워크로드를 사용합니다. 이러한 워크플로를 완전히 실현하려면 트랜스코딩 또는 미디어 처리, 기계 학습 및 데이터 분석과 같은 전문 서비스가 필요합니다. AWS 서비스.

Qumulo의 파일 기반 스토리지 기술에는 쿠물로 시프트, 이를 통해 데이터 관리자는 디렉터리와 S3 버킷 간의 관계를 생성할 수 있습니다. 필요한 경우 디렉터리에서 S3 버킷으로 데이터를 복사할 수 있습니다.

현대에서 예상대로 엔터프라이즈 데이터 스토리지 솔루션, Qumulo는 서로 다른 클러스터 간에 데이터를 복제할 수 있으며 Qumulo Shift는 이를 가능하게 합니다. 이 경우 Qumulo 클러스터의 위치는 관련이 없습니다. 소스 및 대상 클러스터는 온프레미스의 서로 다른 가용 영역(예: Qumulo 클러스터용 및 재해 복구 Qumulo 클러스터), 다양한 가상 사설 클라우드(VPC), 심지어 다른 클라우드.

Amazon S3용 Qumulo Shift란 무엇입니까?

Amazon S3용 Qumulo Shift 의 일부로 제공되는 무료 클라우드 서비스입니다. AWS용 Qumulo Cloud Q 클러스터의 디렉터리에서 Amazon S3 버킷의 폴더로 네이티브 객체 형식으로 네이티브 파일을 복사할 수 있습니다. Qumulo Shift는 데이터 기반 기업이 고성능 데이터 전략을 위한 비용 관리, 따라서 ROI를 향상시킵니다.

Qumulo Shift는 모든 Qumulo 배포의 필수 구성 요소이며 S3 스토리지와 주고받는 원활한 데이터 파이프라인을 제공합니다. 기업은 Amazon S3용 Qumulo Shift를 사용하여 온프레미스이든 이미 선택한 클라우드에서 실행 중이든 상관없이 모든 Qumulo 클러스터의 객체를 Amazon의 Simple Storage Service 클라우드 객체 저장소(Amazon S3)로 복사할 수 있습니다.

파일 기반 애플리케이션으로 데이터를 생성하든 백업/아카이브 리포지토리 또는 AWS가 제공하는 수백 가지 클라우드 네이티브 데이터 분석 및 변형 도구를 위한 스테이징 포인트가 필요하든 Qumulo Shift를 사용하면 사용자 간에 파일을 쉽게 이동할 수 있습니다. Qumulo 스토리지 및 Amazon S3.

이 기능을 사용하면 네이티브 파일 온프레미스이든 클라우드이든 Qumulo 클러스터의 데이터를 AWS S3의 S3 버킷으로 기본 개체 체재. 그리고 그 출신 독점 형식이 적용되지 않는다는 의미이기 때문에 중요한 부분입니다. 따라서 S3 데이터 세트에 대해 강력한 AWS 서비스 및 마켓플레이스 앱을 자유롭게 활용하고 혁신할 수 있습니다.

Qumulo Shift 작동 방식

온프레미스 Qumulo 클러스터와 Amazon S3의 다른 클러스터 간에 복제 관계를 생성하는 것은 Qumulo Shift를 사용하여 가능합니다. 작동 방식을 보려면 짧은 데모를 시청하세요. 비디오 아래에. Qumulo 제품 관리자인 Scott Gentry가 S3 스토리지를 사용하여 데이터 센터 클러스터에서 생성된 데이터를 AWS 서비스에서 사용할 수 있도록 하는 방법을 보여줍니다.

Qumulo Shift를 사용하여 S3 버킷과 클러스터 간에 객체를 복사하는 방법

Qumulo Shift 복제를 사용하면 클러스터의 디렉터리에서 Amazon S3 버킷(클라우드 객체 저장소)의 폴더로 객체를 복사할 수 있습니다. 클러스터와 S3 버킷 간의 복제 관계를 생성할 때, Qumulo 코어 다음 단계를 수행합니다.

1. Qumulo는 지정된 소스 디렉토리가 파일 시스템에 존재하는지, S3 버킷이 존재하는지, 지정된 자격 증명을 사용하여 액세스할 수 있는지, 다운로드 가능한 객체를 포함하는지 확인합니다.
2. 관계가 성공적으로 생성되면 클러스터의 노드 중 하나를 사용하여 작업이 시작됩니다.
   [상자 유형 = "그림자"]참고 : 여러 Shift 작업을 수행할 때 여러 노드가 사용됩니다.[/box]
3. 이 작업은 복사본이 특정 시점에 일관성이 있는지 확인하기 위해 소스 디렉터리의 임시 스냅샷을 만듭니다. 예를 들어, replication_to_bucket_my_bucket</var/www/wordpress>.
4. 그런 다음 Qumulo Shift는 해당 스냅샷의 디렉터리와 파일을 재귀적으로 순회하여 각 파일을 S3의 해당 개체에 복사합니다.
5. 원본 디렉터리의 파일 경로는 복제된 개체의 키에 보존됩니다. 예를 들어 기본 파일 /my-dir/my-project/file.txt</var/www/wordpress> will be uploaded as the native object https://my-bucket.s3.us-west-2.amazonaws.com/my-folder/my-project/file.txt</var/www/wordpress>.

데이터는 어떤 식으로든 인코딩되거나 변환되지 않지만 일반 파일의 기본 스트림에 있는 데이터만 복제됩니다(대체 데이터 스트림 및 ACL과 같은 파일 시스템 메타데이터는 포함되지 않음). 복제 소스 디렉터리 내의 파일에 대한 모든 하드 링크는 동일한 콘텐츠와 메타데이터를 포함하는 객체의 전체 복사본으로 Amazon S3에도 복제됩니다. 이 복사는 인터넷을 통한 데이터 전송을 방지하기 위해 서버 측 S3 복사 작업을 사용하여 수행됩니다.

S3 버킷과 클러스터 간에 객체를 복사할 때 Qumulo Shift는 파일이 이전에 Shift를 사용하여 S3에 복제되었는지 확인합니다. 결과 객체가 여전히 대상 S3 버킷에 존재하고 마지막으로 성공한 복제 이후 파일이나 객체가 수정되지 않은 경우 해당 데이터는 S3로 다시 전송되지 않습니다. Qumulo Shift는 마지막 복제 이후 소스 디렉터리에서 제거된 경우에도 S3의 대상 폴더에 있는 파일을 삭제하지 않습니다.

클러스터에서 Amazon S3 버킷으로 객체를 복사하는 방법

다음을 사용하여 클러스터의 디렉터리에서 Amazon S3 버킷의 폴더로 객체를 복사하려면 Qumulo Shift 웹 UI. 3.2.5 이상에서 다음 단계를 따르세요.

1. Qumulo Core에 로그인합니다.
2. 클러스터 > S3로/에서 복사.
3. 에 S3로/에서 복사 페이지 클릭 사본 만들기.
4. 에 S3로/에서 사본 만들기 페이지 클릭 로컬 ⇨ 원격 다음을 입력합니다.
   ㅏ. 그만큼 디렉토리 경로 클러스터에서(/</var/www/wordpress> by default)
b. The S3 버킷 이름
   c. The 폴더 in your S3 bucket
d. The 지역 for your S3 bucket
e. Your AWS 지역 (/</var/www/wordpress> by default)
f. Your AWS 액세스 키 ID and 비밀 액세스 키.
5. (선택 사항) 추가 구성을 보려면 다음을 클릭하십시오. 고급 S3 서버 설정.
6. 사본 만들기.
7. . S3에 복사본을 생성하시겠습니까? 대화 상자에서 Shift 관계를 검토한 다음 예, 생성합니다.

복사 작업이 시작됩니다.

Qumulo Shift를 사용하여 클러스터에서 Amazon S3 버킷으로 객체를 복사하는 방법에 대한 자세한 내용은 문서 포털(docs.qumulo.com)을 방문하여 단계별 가이드를 참조하십시오. 복사 작업 문제 해결 및 기타 모범 사례.

S3 버킷에서 클러스터로 객체를 복사하는 방법

Qumulo Shift-From이라는 Qumulo Shift의 새로운 기능이 다음과 같이 출시되었습니다. Qumulo 웹 UI 4.2.3. 이 기능을 사용하면 데이터 관리자가 S3 버킷이 소스이고 Qumulo 디렉터리가 대상인 관계를 생성하여 사용자가 S3에서 Qumulo로, Qumulo에서 S3으로 데이터를 이동할 수 있습니다.

Amazon S3 버킷의 폴더에서 Qumulo 클러스터의 디렉터리로 객체를 복사하려면 다음 단계를 따르십시오.

1. Qumulo Core에 로그인합니다.
2. 클러스터 > S3로/에서 복사.
3. 에 S3로/에서 복사 페이지 클릭 사본 만들기.
4. 에 S3로/에서 사본 만들기 페이지 클릭 로컬 ⇦ 원격 다음을 입력합니다.
   ㅏ. 그만큼 디렉토리 경로 클러스터에서(/</var/www/wordpress> by default)
b. The S3 버킷 이름
   c. The 폴더 in your S3 bucket
d. The 지역 for your S3 bucket
e. Your AWS 지역 (/</var/www/wordpress> by default)
f. Your AWS 액세스 키 ID and 비밀 액세스 키.
5. (선택 사항) 추가 구성을 보려면 다음을 클릭하십시오. 고급 S3 서버 설정.
6. 사본 만들기.
7. . S3에서 복사본을 생성하시겠습니까? 대화 상자에서 Shift 관계를 검토한 다음 예, 생성합니다.

복사 작업이 시작되고 Qumulo Core가 수행할 작업을 예측합니다. 추정이 완료되면 웹 UI에 관계에 대한 백분율과 함께 진행률 표시줄이 표시됩니다. 복제 관계 페이지. 이 페이지에는 예상 총 작업, 남은 바이트 및 파일, 실행 중인 복사 작업의 예상 완료 시간도 표시됩니다.

[상자 유형 = "그림자"]참고 : 작업 추정을 위해 S3 작업의 Qumulo Shift는 작업의 버킷 접두사에 있는 총 파일 및 바이트 수를 계산합니다. 이를 위해서는 작업에서 다음을 사용해야 합니다. ListObjectV2 S3 작업 개체 5,000개당 200회(또는 개체 1만개당 XNUMX회).[/box]

Amazon S3 버킷에서 Qumulo 클러스터의 디렉터리로 객체를 복사하는 방법에 대한 자세한 내용은 Qumulo 설명서 포털을 참조하십시오. 복사 작업 문제 해결 및 기타 모범 사례.

클라우드 마이그레이션을 간소화하는 배포 자동화

코드를 사용하여 인프라를 배포하면 많은 이점이 있습니다. 항상 일관되고 반복 가능한 배포가 가능합니다. 훨씬 빠르며 구성에서 드리프트를 식별할 수 있습니다. 또한 오류 발생 가능성이 적고 대규모 배포에 적합합니다.

AWS에서 Qumulo 클러스터를 배포하는 방법

자동화된 방식으로 AWS에 Qumulo 클러스터를 배포하는 세 가지 옵션이 있습니다. 이것들은:

1. 을 사용해서 바이 Qumulo Cloud Q용 AWS Quick Start. Amazon Web Services(AWS) 및 Qumulo에서 구축한 자동 참조 배포입니다. 기본 AWS CloudFormation 템플릿은 모범 사례에 따라 Qumulo 클러스터를 구축하는 데 필요한 모든 단계를 자동화하므로 몇 분 안에 환경을 구축하고 사용할 수 있습니다.
2. 클러스터 유형별로 제공되는 CloudFormation 템플릿은 AWS Marketplace.
3. 에서 제공하는 AWS Terraform 템플릿 GitHub의 Qumulo.

Qumulo Cloud Q용 AWS Quick Start를 사용하여 클러스터를 배포해야 하는 이유

Qumulo Cloud Q용 AWS Quick Start를 사용하여 Qumulo 클러스터를 배포하는 것이 좋습니다. 이는 주로 Quick Start가 배포를 간소화하고 가속화하는 몇 가지 AWS CloudFormation 템플릿으로 뒷받침되기 때문입니다. Quick Start를 사용하여 자동화된 배포 프로세스인 Qumulo Cloud Q on AWS의 전체 기능 배포 약 15 분 소요.

그러나 다음에서 제공되는 CloudFormation 템플릿을 사용할 수도 있습니다. AWS 마켓플레이스; 기본 클러스터와 XNUMX개만 배포합니다. Lambda 함수. 이러한 서버리스 기능은 클러스터에서 원격 측정 데이터를 수집하여 AWS CloudWatch로 보냅니다. 또한 모든 EBS 볼륨의 상태를 모니터링하고 EBS 볼륨 장애 시 자동으로 교체합니다.

Qumulo 클러스터 배포를 위한 자동화된 배포 옵션

다음 표에는 현재 Qumulo 클러스터를 배포하는 데 사용할 수 있는 다양한 자동 배포 옵션이 나열되어 있습니다.

고유한 기능이 Qumulo의 AWS 파일 스토리지와 함께 표준으로 제공됩니다.

쿠물로스 AWS의 하이브리드 클라우드 파일 스토리지 데이터 액세스가 SMB, NFS, FTP 또는 HTTP를 통해 이루어졌는지 여부에 관계없이 구조화되지 않은 데이터가 파일 시스템에 저장되는 클라우드로의 마이그레이션을 단순화합니다. 파일 잠금 및 액세스 제어는 모든 프로토콜에서 작동합니다. 따라서 각 프로토콜에 대한 중복 데이터 배치를 피할 수 있습니다.

Qumulo의 클라우드 네이티브 소프트웨어, AWS용 Qumulo Cloud Q, 대기 시간이 0.5-5ms인 처리량에서 GB/s의 경향을 제공할 수 있습니다. 파일 시스템과 Amazon S3 버킷 간에 데이터를 쉽게 이동할 수 있습니다. 배포 템플릿을 통해 통합되며 사용자는 AWS 마켓플레이스를 통해 구독할 수 있습니다.

아래에 표시되고 설명된 대로 일부 1 이 시리즈의 Qumulo Cloud Q 소프트웨어 구독과 함께 표준으로 제공되는 여러 가지 고유한 기능은 다양한 고성능 사용 사례 및 워크플로를 위한 AWS의 매력적인 선택입니다.

AWS와 Qumulo 파일에 대한 궁금증을 불러일으킵니다. 데이터 서비스. 에 대한 자세한 정보를 찾을 수 있습니다. Qumulo 케어, 여기: AWS의 Qumulo: 시작하기.

다른 옵션은 Qumulo Studio Q 빠른 시작, 원격 비디오 편집을 위해 클라우드에서 완전한 포스트 프로덕션 환경을 가동하고 편집을 위한 Qumulo 클러스터 및 Adobe Creative Cloud를 포함합니다. 마지막으로 Qumulo는 AWS 님블 스튜디오 파일 시스템에 대한 옵션입니다.