AWS용 Qumulo는 데이터 세트를 AWS의 Qumulo 클러스터로 이동하고 클라우드 기반 노드에서 렌더링한 다음 온프레미스 Qumulo 클러스터로 다시 이동합니다. 이 워크플로는 많은 Qumulo 고객이 정기적으로 경험하는 워크플로이며 고객이 이 작업을 수행하는 데 도움이 되도록 제가 배운 몇 가지를 공유하고 싶습니다.
문제
너무 자주, 큰 작업 또는 아마도 많은 작업을 렌더링할 때 더 많은 리소스가 필요하다는 것이 고통스러울 정도로 명백해집니다. 이러한 깨달음은 일반적으로 마감일이 위험할 정도로 다가오면서 발생합니다. 너 뭐하니?
임대 노드 대 클라우드, 비용 대 시간 계산
클라우드 제공업체의 컴퓨팅/저장 시간 대비 하드웨어 노드 임대 비용을 계산하는 것은 매우 간단합니다. 손익분기점이 있습니다. 사용 가능한 임대 하드웨어와 충분한 데이터 센터 공간, 전력, 네트워킹 및 냉각을 찾는 것은 물론이고 노드를 주문, 제공, 랙 및 스택하는 데 걸리는 시간을 고려할 때 클라우드가 시작됩니다. 수요가 충분히 높으면 꽤 좋은 대안처럼 들립니다. 그렇다면 렌더링을 클라우드로 어떻게 버스트합니까? 개체 게이트웨이가 있지만 가장 일반적으로 사용되는 렌더링 응용 프로그램은 모두 파일 기반이며 누가 이러한 불일치를 처리하고 싶습니까? AWS용 Qumulo와 일부 구성을 사용하면 완료할 수 있습니다!
https://qumulo.wistia.com/medias/716hfg21h7
인프라 결정
기본적으로 물리적 온프레미스 렌더 팜(및 수반되는 모든 인프라)을 클라우드로 확장하려고 합니다. WAN 링크를 통한 NFS/SMB는 대기 시간으로 인해 엄청나게 느릴 수 있습니다. 반면에 클라우드 렌더 노드에 로컬로 파일을 제공할 수 있는 클라우드 클러스터를 설정하는 것이 합리적입니다. 데이터 세트를 클라우드에 복제할 수 있고 결과를 다시 이동할 수 있습니다. 분명히 클라우드에서 다양한 수준의 컴퓨팅을 사용할 수 있으며 이는 비용 계산에 반영되어야 합니다. 더 빠르고 강력한 컴퓨팅에 더 많은 비용을 지불하거나 더 느리고 중단 가능한 리소스에 대해 더 적은 비용을 지불하십시오.
또한 렌더에서 합리적인 체크포인트를 설정하는 것에 대해서도 생각해야 합니다. 중단될 수 있는 계층을 선택하면 구성에 따라 마지막 체크포인트에서 렌더를 다시 시작하는 것이 쉽거나 어려울 수 있습니다.
스크립트 또는 배포 자동화 도구를 사용하여 클라우드 리소스 구성을 자동화할 수 있습니다. 거기에는 많은 패키지가 있으며 자신을 롤링하는 것은 그렇게 어렵지 않습니다.
VPN을 올바르게 구성
물론 보안이 주요 관심사이므로 VPN을 올바르게 구성해야 합니다. 해당 연결은 클라우드 노드에 대한 명령 및 제어 통신을 제공하고 온프레미스 라이선스 서버에서 라이선스를 체크아웃할 수 있도록 합니다. OpenVPN은 훌륭하고 클라이언트는 Linux와 Windows 모두에서 쉽게 사용할 수 있습니다. 일부 방화벽은 기본적으로 지원하기도 합니다! 각 클라우드 노드에 키와 구성 파일을 배포해야 합니다. 온프레미스 네트워크만 액세스할 수 있도록 클라우드 인스턴스의 IP 연결을 제한할 수도 있습니다(반대의 경우 클라우드 인스턴스만 네트워크에 액세스하기를 원함).
라이선스 서버에 액세스
라이선스 서버 없이는 렌더링할 수 없습니다! 불행히도 대부분의 라이선스(및 라이선스 서버)는 물리적 MAC 주소로 지정되며 환경에 이미 하나 이상의 설정이 있을 수 있습니다. 클라우드에서 가상 인스턴스를 생성하는 것은 가능하지만 시작할 때마다 다른 IP(및 MAC 주소)를 얻게 되며, 이는 새 라이선스를 받아야 하는 경우 고통스럽습니다. VPN을 사용하면 클라우드에서 보안 채널을 통해 인프라로 다시 모든 라이선스 쿼리를 보낼 수 있습니다. (이는 클라우드 렌더 노드에 사용할 수 있는 유동 라이선스가 있다고 가정합니다.)
대기열 제어 사용
렌더링을 어떻게 관리하고 제어합니까? 예전에 내가 사용했던 마감 시간, 그러나 모든 대기열 관리 소프트웨어가 작동해야 합니다. VPN 연결은 클라우드 인스턴스에 대한 큐 관리자에 대한 연결을 다시 제공하며 일반 클라이언트로 표시되어야 합니다(모든 적절한 패키지를 설치한다고 가정). 여기서도 라이선스는 VPN 연결을 통해 작동합니다. 클라우드 노드에 대해서만 별도의 그룹을 구성하는 것이 좋습니다.
복제 사용
클라우드에서 데이터를 어떻게 가져오나요? 쿠물로, 복제를 쉽게 구성할 수 있음. 디렉토리를 설정하고 작업을 시작하거나 예약합니다. 데이터는 온프레미스 클러스터에서 Qumulo의 클라우드 인스턴스로 원활하게 복제됩니다. 다시 말하지만, 이 트래픽은 보안 VPN 연결을 통해 흐를 수 있습니다.
해!
이제 인프라가 준비되었으므로 일부 장면을 렌더링해 보겠습니다! 온프레미스 클러스터에서 AWS용 Qumulo 인스턴스로 렌더링해야 하는 데이터 세트를 복제합니다. 렌더 노드에는 클라우드 Qumulo 인스턴스에서 마운트된 NFS 내보내기(또는 SMB 공유)가 있으므로 클라우드에서 "로컬로" 마운트됩니다. 모든 렌더 노드와 Qumulo 인스턴스가 동일한 지역에 있기를 원하는 것은 당연합니다. 큐 관리자를 실행하고 클라우드 노드에 작업을 보냅니다. 로컬 노드와 동일한 방식으로 작동해야 합니다. 작업이 완료되면 결과 프레임을 온프레미스 클러스터에 다시 복제합니다.
폐쇄
작업이 완료되면 Qumulo 클러스터 및 렌더 노드를 종료하거나 종료할 수 있습니다. 인스턴스를 종료하면 클라우드 스토리지 요금만 발생합니다. 다음에 클라우드로 버스트해야 할 때 클러스터 백업을 다시 시작하십시오. 또는 클러스터를 종료하고 필요할 때 다시 설정할 수 있습니다.
행복한 렌더링!
