Qumulo를 사용한 하이브리드 클라우드로의 FuseFX 여정

클라우드 혁신으로 FuseFX의 해결할 수 없는 용량 문제 해결

오늘날 FuseFX의 세 곳에서는 다양한 상업 및 장편 영화 프로젝트 외에도 60개 이상의 TV 프로그램을 동시에 제작하고 있습니다. 이 회사는 American Horror Story, Marvel's Agents of SHIELD 및 The Tick과 같은 프로덕션의 모든 주요 스튜디오에 시각 효과를 제공했습니다.

FuseFX의 공동 설립자이자 CTO인 Jason Fotter는 렌더 팜을 구축하고 실행하는 데 따르는 어려움을 잘 알고 있습니다. “저에게 그것은 '가면서 배우는' 과정이었습니다. 나는 회사가 성장하는 동안 여러 번 놀랐습니다. 렌더 팜이 생성하는 전력과 열, 그리고 이를 수행하는 데 필요한 인프라는 방대합니다.”라고 그는 말했습니다.

“나는 농장의 규모에 상관없이 주어진 순간에 쉽게 그것을 넘을 수 있다는 것을 수년에 걸쳐 발견했습니다. 더 많이 가질수록 더 많이 사용할 것입니다. 문제는 배달을 거부하고 시간이 당신 편이 아닐 때 발생합니다. 우리는 이 순간에 신속하게 조치를 취할 수 있어야 하며 이는 물리적 인프라로 하기 어려운 일입니다. 전력, 냉각 및 물리적 공간은 모두 달성할 수 있는 것을 제한하는 유한한 리소스입니다."

항상 존재하는 제약은 에피소드 TV 쇼의 마감 시간이 촉박하다는 것입니다. “[에피소드 텔레비전으로] 작업을 완료하려면 XNUMX~XNUMX주가 있습니다. 장편 영화는 XNUMX개월에서 XNUMX년 이상입니다. 광고는 자신의 일정을 정의합니다. TV는 휘젓는 과정입니다. 촬영을 시작하고 XNUMX~XNUMX주 동안 촬영을 하면 굉음을 내며 다음 에피소드, 같은 내용, 다음 에피소드, 같은 내용이 나옵니다. 정말 빠르게 진행됩니다.”라고 Fotter가 말했습니다.

빡빡한 일정으로 인해 성공에는 자체 문제가 발생할 수 있습니다. 장비를 임대하는 것조차 실현 가능한 솔루션이 아닐 수 있습니다. 노드를 주문, 배송 및 랙앤스택하는 데 걸리는 시간을 고려할 때 사용 가능한 임대 하드웨어를 찾는 문제; 충분한 데이터 센터 공간, 전력, 네트워킹 및 냉각을 찾는 조직이 클라우드를 살펴보기 시작하지 않는 한 답이 없는 것처럼 보일 수 있습니다.

“클라우드 이전에는 솔루션이 있었는지 모르겠습니다. 정말 값비싼 공동 배치 또는 다른 미친 시나리오일 수 있지만 클라우드는 우리가 더 시급한 렌더 작업을 완료하는 데 합리적인 방법이 되기 시작했습니다.”라고 Fotter가 말했습니다.

Qumulo는 FuseFX가 퍼블릭 클라우드에서 찾고 있던 파일 워크플로를 지원합니다.

2016년 말까지 Fotter는 Bracket Computing이 더 이상 선택 사항이 아님을 알았고 대안을 찾기 시작했습니다. “저는 가격과 성능에 정말 집중했습니다. 우리가 찾던 기능을 가진 사람은 누구입니까? 누가 VFX 렌더링에서 우리와 관계를 발전시키고 싶었습니까? 나는 우리의 과정이 정말 혁신적이라고 생각했고 같은 느낌을 가진 사람을 원했습니다.”

그가 옵션을 평가하는 동안 Amazon은 렌더링 파이프라인을 관리하는 소프트웨어 Deadline의 제작자인 Thinkbox를 인수했습니다. FuseFX는 이미 클라우드에서 Deadline을 실행하고 있었고 AWS는 바로 그런 고객을 찾고 있었기 때문에 Fotter는 FuseFX가 찾고 있는 파트너를 찾았다는 것을 알았습니다.

Fotter와 FuseFX의 목표 중 하나는 가상 렌더 팜을 확장하는 것이었습니다. Bracket 솔루션을 사용하여 Fotter는 AWS에서 단일 고성능 Linux 인스턴스를 실행하고 있었지만 스토리지 아키텍처는 200~300개 이상의 가상 머신을 처리할 수 없었습니다.

Fotter는 더 많은 인스턴스를 실행하려면 빠른 클러스터 스토리지가 필요하다는 것을 알고 있었습니다. “우리는 모든 종류의 아이디어를 생각해 냈습니다. 우리는 S3를 활용하고 모든 것을 로컬 머신에 동기화하는 방법을 생각했지만 우리의 작업 방식에는 맞지 않았습니다. 우리는 Avere와 여러 번 이야기했지만 그들은 매우 NFS 중심적이며 우리는 Windows 상점입니다. 내가 찾던 것과 정확히 일치하는 것은 아무것도 없었습니다.”

FuseFX에는 이미 Qumulo 클러스터가 온프레미스에 있었습니다. Fotter는 클라우드 기반 솔루션의 필요성에 대해 Qumulo와 이야기를 나누었고 회사가 AWS에서 소프트웨어를 제공한다는 것을 알았을 때 사용해 볼 수 있는 기회에 뛰어들었습니다. AWS의 Qumulo Cloud Q는 Amazon EC2 및 EBS를 활용합니다. 그만큼; 팀은 초기에 단일 인스턴스를 실험했고 그들이 본 것을 좋아했기 때문에 XNUMX노드 클러스터를 사용할 수 있게 되자 Fotter는 이를 프로덕션 워크플로에 통합할 준비가 되었습니다.

FuseFX는 The Tick을 렌더링하는 동안 솔루션을 궁극적인 테스트에 적용합니다.

Qumulo 클러스터는 회사가 Tick의 에피소드를 작업할 때 테스트를 거쳤습니다. Fotter는 "저희 프로세스는 사람들이 낮에 일하고 작업을 제출한 다음 밤새 렌더링하는 것입니다."라고 설명했습니다. "다음 날 방문하면 프레임을 보고 현재 위치를 평가하고 다음 작업으로 보내거나 다시 렌더링해야 한다고 결정할 수 있습니다."

“그리고 다시, 우리는 한 에피소드에 50-1,000주 밖에 없습니다. 우리는 종종 첫 번째 에피소드의 전달에 가까운 프로젝트를 시작합니다. 낭비할 시간이 많지 않습니다. 문제가 있으면 항상 중요한 문제입니다. 우리는 어느 날 아침에 와서 밤새 문제가 있음을 발견했습니다. 단일 프레임을 렌더링하지 않은 2개의 작업이 대기열에 있어야 합니다. 당시 제작진의 스트레스 수준은 꽤 높았다. 우리는 최대 용량 목표로 32대의 머신을 목표로 삼았습니다. 나는 우리가 그렇게 높이 폭발하고 싶은 순간이 올 것이라는 것을 알았고 지금이 그 때임이 분명했습니다. 각 EC32,000 스팟 인스턴스는 XNUMX개의 코어였으므로 한 번에 XNUMX개의 코어입니다!”

"저는 렌더링 랭글러에게 렌더링할 프레임이 있으면 해당 노드를 켜라고 말했습니다. 그냥 끝내세요. 우리는 Qumulo를 사용하여 이러한 종류의 처리량을 지원할 수 있다는 것을 알고 있었습니다. 그리고 우리는 해냈습니다. 클라우드에서 프레임을 렌더링하고 온프레미스로 다시 가져왔습니다. 실제로 렌더링 속도가 너무 빨라 병목 현상이 클라우드 클러스터에서 프레임을 다시 가져오고 있었습니다."

“우리는 우리 자신을 구했습니다. 이것이 솔루션이 작동한다는 실제 증거입니다. 여기 우리 네트워크에 1,000대의 기계를 설치할 수 있는 방법은 없습니다. 그들을 지원할 전력이나 냉각 장치가 없습니다. 우리는 결정을 내릴 수 있었고 1,000시간 이내에 XNUMX대의 컴퓨터에서 렌더링할 수 있었습니다. 작업이 완료된 후 우리는 단순히 인스턴스를 종료했습니다. 그게 얼마나 쉬웠는지 생각해보면 아직도 실감이 나지 않는다”고 말했다.

스마트 애플리케이션 활용으로 FuseFX의 인프라가 작동합니다.

Qumulo 외에도 FuseFX 파이프라인은 확장 가능한 저비용 컴퓨팅을 위한 EC2 스팟 인스턴스, 스팟 인스턴스에 대한 대기열 관리 및 입찰 관리를 위한 Deadline, 유연한 라이선스를 위한 Thinkbox Marketplace 사용 기반 라이선스(UBL), 렌더링을 위한 V-Ray를 사용합니다.

“로컬 라이선스가 소진되면 Deadline 및 V-Ray의 분당 또는 시간당 라이선스를 구입할 수 있습니다. 로컬 라이선스 한도에 도달하면 소프트웨어가 해당 요청을 스토어로 보내고 사용량을 모니터링하고 해당 시간에서 차감합니다. 그것은 전화 카드와 같습니다. XNUMX시간의 통화 시간이 적힌 전화 카드를 구입하면 모든 통화에서 공제됩니다.” 모든 것은 VPN으로 클라우드 인스턴스에 연결된 온프레미스 서버에 의해 조정됩니다.

AWS의 Qumulo 클러스터와 동기화되면 로컬과 클라우드에서 동시에 렌더링이 발생할 수 있습니다. 예를 들어 로컬 시스템은 첫 번째 프레임을 선택할 수 있고 클라우드 노드는 두 번째 프레임을 선택할 수 있습니다. Deadline은 클라우드가 단순히 온프레미스 렌더 팜의 확장이 되도록 배포를 관리합니다.

FuseFX는 여전히 자동화 작업을 하고 있습니다. “우리는 내부 자동화가 있는 사용자 지정 AMI를 사용합니다. 이를 위해 CloudFormation을 사용합니다. 네트워크에 연결되고, Qumulo 스토리지를 마운트하고, Deadline Slave 및 기타 몇 가지를 설정합니다. 지금은 수동으로 Qumulo 인스턴스를 시작하고 종료합니다.”라고 Leslie가 말했습니다.

“Qumulo를 사용하지 않을 것이라는 장기간의 기간이 있는 경우 이를 종료하고 Qumulo 지원 팀에 알립니다. 우리는 그들이 그것을 아주 훌륭하게 모니터링하기 때문에 우리가 그것을 끌 때 그들에게 알려야 한다는 것을 배웠습니다. 그렇지 않으면 우리가 그것을 종료할 때 사람들이 제 클라우드 클러스터가 다운되었다고 나에게 전화를 걸기 시작합니다.”

잘 짜여진 워크플로우의 중요성

Fotter는 FuseFX가 처음 클라우드를 사용하기 시작한 이후로 많은 것을 배웠습니다. “워크플로를 올바르게 만드는 것이 가장 큰 과제입니다. 렌더링은 복잡하고 시각 효과는 본질적으로 비효율적인 프로세스입니다. 워크플로에서 효율성을 높일 수 있을수록 더 나은 결과를 얻을 수 있습니다.”라고 그는 말했습니다.

"렌더 작업에는 많은 자산, 텍스처, 지오메트리, 시뮬레이션 캐시 및 최종 이미지를 생성하는 데 필요한 모든 것이 필요하기 때문에 데이터 동기화 문제를 해결하는 것이 가장 어려운 부분입니다. 클라우드에서 렌더링할 때 작은 텍스처가 하나 누락되어 해당 작업이 잘못 렌더링되면 그 돈을 모두 낭비하게 됩니다. 우리는 그 고통을 겪었습니다.

“우리는 어렵게 배웠지만 프로세스에 전념하고 솔루션을 만들 수 있다는 것을 아는 것이 항상 제 초점이었습니다. 요약하자면 내 조언은 테스트하는 것입니다. 계획을 세우고, 테스트하고, 약속하고, 처음부터 끝까지 워크플로를 진정으로 이해하십시오.”

결국 시각효과 프로세스의 핵심은 객체가 아닌 파일

Fotter는 또한 자신의 워크플로에서 파일 기반 데이터의 중요성을 확인했습니다. “오브젝트 스토리지를 사용할 수 있으면 좋겠지만 우리 환경에는 이를 사용하는 단일 제품이 없습니다. 말도 안돼 우리는 파일 기반 워크플로입니다. 이것이 시각 효과 프로세스가 작동하는 방식입니다. 파일 시스템에는 많은 양의 파일이 있습니다. 우리는 그것들을 읽습니다. 우리는 그것들을 우리의 응용 프로그램으로 끌어옵니다. 우리는 그것들을 연구합니다. 우리는 창의적인 작업을 하고 더 많은 파일을 만듭니다.”

“파일은 반드시 같은 회사에서 작성하지 않아도 되는 애플리케이션 간의 교환 매체입니다. 애니메이션 패키지에서 렌더링 패키지로 어떻게 가져오나요? 이는 두 가지 다른 분야, 두 가지 다른 초점 영역이므로 애플리케이션 간에 통합되는 워크플로를 만들어야 하며 파일이 이를 수행하는 방법입니다."

“따라서 클라우드에 고성능 파일 시스템이 없으면 워크플로가 불가능합니다. Qumulo는 AWS 스토리지 솔루션의 기반입니다. 그것 없이는 우리가 가진 용량으로 확장할 수 없었을 것입니다.”