Como a Orca Studios oferece desempenho previsível para a produção de efeitos visuais com o Qumulo, uma solução nativa da nuvem
Ampliação dos fluxos de trabalho de efeitos visuais (VFX) e produção virtual na AWS com armazenamento em nuvem consistente e de alto desempenho
A Orca Studios é um estúdio independente de efeitos visuais e produção virtual com sede na Espanha. A empresa oferece serviços de VFX (efeitos visuais) para produções cinematográficas e televisivas e atua em Madri, Barcelona e Las Palmas. Com uma equipe criativa distribuída que colabora entre regiões e fusos horários, a Orca Studios apoia clientes em todo o mundo em projetos que abrangem desde a pré-produção até a pós-produção.
Assim como muitos estúdios modernos, a Orca Studios depende fortemente da infraestrutura em nuvem para dar suporte a fluxos de trabalho de produção flexíveis. Artistas e equipes técnicas ajustam regularmente o número de estações de trabalho virtuais e os recursos de renderização, de acordo com a demanda de cada projeto. À medida que as produções se tornaram maiores e mais complexas, manter um desempenho consistente do armazenamento na nuvem tornou-se cada vez mais importante para garantir a produtividade das equipes criativas.
“Nossos artistas trabalham sob prazos muito apertados, por isso o desempenho do armazenamento não pode se tornar um gargalo. Precisávamos de um desempenho previsível que se adaptasse à produção.”
— Yukio Satoh, Diretor de Tecnologia (CTO) da Orca Studios
O Desafio
Antes de adotar uma nova solução, a Orca Studios operava uma infraestrutura totalmente baseada na nuvem na AWS, construída em torno de um servidor de armazenamento ZFS autogerenciado, apoiado por volumes do Amazon EBS. O uso de armazenamento ficava em média em torno de 250 TB, mas os ciclos de produção faziam com que a capacidade oscilasse entre aproximadamente 150 TB e 600 TB.
O estúdio costumava operar entre 40 e 110 estações de trabalho virtuais, dependendo do número de projetos ativos. Embora a arquitetura tivesse apresentado bom desempenho nas fases iniciais, tornou-se mais difícil dimensionar o sistema de forma eficiente à medida que as cargas de trabalho aumentavam.
Durante cargas de trabalho exigentes, como simulações e renderização, o desempenho do armazenamento podia se tornar inconsistente. O desempenho de pico dos volumes baseados no ST1 funcionava bem por curtos períodos, mas a atividade contínua podia esgotar os créditos de pico. Quando isso ocorria, a taxa de transferência e as IOPS caíam, e as operações de metadados ficavam mais lentas. Essas flutuações afetavam os tempos de resposta das versões e, ocasionalmente, interrompiam os fluxos de trabalho dos artistas.
Manter o desempenho também exigiu maior atenção operacional da equipe de TI. Arquiteturas baseadas em ZFS podem oferecer excelente desempenho, mas escalá-las e otimizá-las muitas vezes requer trabalho adicional de monitoramento, ajuste e engenharia. Para a pequena equipe de infraestrutura da Orca Studios, isso representou uma complexidade operacional adicional em um momento em que as cargas de trabalho de produção estavam se tornando mais exigentes.
Ao mesmo tempo, manter um desempenho consistente muitas vezes exigia a migração para volumes EBS de maior desempenho e instâncias de computação maiores, o que aumentava os custos de infraestrutura. A equipe começou a buscar uma solução que pudesse oferecer desempenho previsível e, ao mesmo tempo, simplificar as operações.
A dificuldade em escalar de forma flexível, as interrupções no fluxo de trabalho dos artistas e o aumento dos custos foram os fatores que motivaram a busca por uma solução melhor.
A Solução
A Orca Studios avaliou várias opções. Entre elas estavam a continuação da expansão de sua arquitetura existente e a análise de plataformas de armazenamento comerciais e gerenciadas, como Weka, EditShare, Pixit Media, MayaNAS e Amazon FSx para OpenZFS.
A equipe concentrou-se em três requisitos essenciais para sua infraestrutura de última geração. Eles precisavam de uma solução capaz de oferecer desempenho consistente para cargas de trabalho exigentes, escalar facilmente à medida que os projetos crescessem e simplificar as operações para uma equipe de infraestrutura reduzida. Especificamente, eles buscavam:
Desempenho previsível com IOPS e taxa de transferência consistentes durante cargas de trabalho de produção contínuas
Escalabilidade elástica para aumentar a capacidade e o desempenho sem migrações complexas ou mudanças na infraestrutura
Simplicidade operacional isso reduziria a carga administrativa para uma equipe de infraestrutura pequena
O Cloud Native Qumulo (CNQ), a plataforma escolhida, proporcionou um desempenho consistente ao mesmo tempo em que simplificou o gerenciamento de armazenamento na AWS. Sua arquitetura utiliza o Amazon S3 como camada de armazenamento subjacente, permitindo que a capacidade seja dimensionada de acordo com o uso real de dados e eliminando a necessidade de provisionamento excessivo de armazenamento.
O clustering nativo permite que o desempenho se adapte à demanda, enquanto o monitoramento integrado, as ferramentas de gerenciamento e o acesso à API simplificam as operações e a automação. A infraestrutura é implantada usando o Terraform, em consonância com as práticas existentes de infraestrutura como código do estúdio.
A jornada de implantação
A implantação seguiu um plano de implementação em fases, elaborado para minimizar os transtornos.
Uma Prova de Conceito (POC) teve início em abril e já estava operacional em meados de abril. Ao longo do mês de maio, a equipe realizou testes extensivos para validar o desempenho sob cargas de trabalho reais de produção.
Em até 4 semanas após a demonstração de conceito (POC), dois projetos de produção exigentes já estavam em operação na nova plataforma. O sistema manteve um desempenho estável mesmo sob cargas de trabalho simultâneas intensas.
Em vez de migrar todos os dados de uma só vez, a Orca Studios migrou os projetos gradualmente. Conjuntos de dados e servidores individuais foram migrados passo a passo, permitindo que a equipe avaliasse o desempenho enquanto mantinha as operações de produção ininterruptas.
A arquitetura resultante inclui um cluster de três nós rodando em instâncias AWS i4i.4xlarge, com o Amazon S3 Intelligent Tiering como camada de armazenamento subjacente. O acesso dos clientes é fornecido tanto por NFS quanto por SMB, e a autenticação é integrada ao Active Directory.
A implantação foi simples, exigindo apenas pequenos ajustes de configuração durante os testes, como o alinhamento das permissões do SMB. Nenhum obstáculo significativo afetou a implantação.
Impacto nos negócios
Uma vez em produção, a plataforma apresentou desempenho consistente em cargas de trabalho exigentes.
A latência, a taxa de transferência e o IOPS permaneceram estáveis mesmo durante atividades prolongadas. Dois projetos de produção de alta intensidade puderam ser executados simultaneamente sem a degradação de desempenho observada anteriormente.
Os artistas perceberam a diferença rapidamente. Com menos interrupções causadas pelo desempenho do armazenamento, as equipes conseguiram manter o foco criativo e trabalhar com mais eficiência.
“Se nossos artistas não estão reclamando do desempenho do armazenamento, sabemos que ele está cumprindo sua função. A plataforma oferece desempenho consistente, mesmo durante cargas de trabalho pesadas de produção.”
— Orca Studios
As despesas operacionais também diminuíram. A equipe de infraestrutura agora dedica muito menos tempo à resolução de problemas de desempenho ou ao ajuste da infraestrutura de armazenamento. Em vez disso, ela pode se concentrar em melhorias no pipeline e na automação que apoiam diretamente as equipes de produção.
A eficiência econômica do armazenamento também melhorou. Agora, a capacidade se adapta ao uso real de dados, eliminando a necessidade de pagar por capacidade provisionada não utilizada e acabando com a necessidade de migrações à medida que os ambientes de armazenamento crescem ou encolhem.
Embora os aspectos econômicos exatos variem de acordo com o projeto, a Orca tem observado, de modo geral, que o CNQ apresenta melhor desempenho, com uma redução indicativa no custo por TB de cerca de 20% em relação à abordagem anterior baseada no ZFS, sendo que alguns projetos apresentam uma redução de até aproximadamente 33%.
No entanto, o valor real foi além dos custos de armazenamento. Ao combinar um alto desempenho previsível com uma redução significativa dos custos operacionais, a Orca Studios rapidamente obteve benefícios mensuráveis e atingiu o ponto de equilíbrio financeiro em aproximadamente dois a quatro meses.