Laboratório de Geofísica de Alto Desempenho

Acelerando o conhecimento sísmico: como o HPG da UNICAMP e a Azimuta utilizaram o Qumulo para escalar cargas de trabalho de HPC na AWS

Fornecendo análises sísmicas mais rápidas por meio do “cloud bursting” híbrido, ajudando a UNICAMP a acelerar os fluxos de trabalho e maximizar o desempenho de computação de alta performance (HPC) na AWS.

No Laboratório de Geofísica de Alto Desempenho (HPG) — integrado à UNICAMP, a “Universidade Estadual de Campinas” no Brasil — pesquisadores desafiam os limites da computação para revelar insights sísmicos essenciais que impulsionam a exploração e a inovação no setor de petróleo e gás. Liderado por Jorge Henrique Faccipoeri Jr., o laboratório desenvolve modelos matemáticos avançados e softwares otimizados para GPUs para processar terabytes de dados sísmicos, revelando características sutis do subsolo, como fraturas, cavernas e armadilhas onde petróleo e gás podem ser encontrados.

Faccipoeri se associou a Caian Benedicto, um desenvolvedor de software da HPG, e a vários outros profissionais para fundar a AZIMUTA GeoSolutions (AZIMUTA), uma empresa independente de serviços geofísicos especializada em soluções de processamento sísmico de alto desempenho e geração de imagens para o setor de petróleo e gás. Juntas, a HPG e a AZIMUTA se concentram no avanço das técnicas de computação de alto desempenho (HPC) para acelerar e aprimorar a interpretação sísmica.

À medida que as cargas de trabalho e os volumes de dados aumentavam, a infraestrutura local do laboratório deixou de ser capaz de atender à demanda de pico. Para acelerar a pesquisa e, ao mesmo tempo, manter a flexibilidade, a HPG firmou parceria com a Qumulo e a AWS para explorar uma solução de “cloud bursting” que conectasse de forma integrada os ambientes locais e na nuvem.

O Desafio

O processamento sísmico exige tanto alto rendimento quanto desempenho paralelo. Cada conjunto de dados pode chegar a vários terabytes, com softwares distribuídos baseados em GPUs lendo dados de vários nós de computação simultaneamente. A infraestrutura de armazenamento local da HPG funcionava bem para as cargas de trabalho diárias, mas, como vários departamentos compartilhavam os recursos, a disponibilidade de computação e armazenamento ficou limitada.

Para manter os projetos dentro do cronograma, a equipe precisava ter a capacidade de ampliar rapidamente a capacidade na nuvem sob demanda, aproveitando os recursos de computação da AWS sem precisar reformular seus fluxos de trabalho existentes nem duplicar conjuntos de dados de grande porte. A solução também precisava preservar a visibilidade total entre o armazenamento local e o armazenamento na nuvem, ao mesmo tempo em que oferecesse o mesmo nível de desempenho que os pesquisadores esperavam no laboratório.

A Solução

Em parceria com a Qumulo, a HPG implantou uma configuração híbrida que utiliza o Qumulo Core no local e o Cloud Native Qumulo (CNQ) na AWS, conectados por meio do Qumulo Cloud Data Fabric (CDF).

O CDF atua como uma ponte de dados entre ambientes, permitindo que os pesquisadores acessem e processem os mesmos arquivos a partir de qualquer um dos locais, sem a necessidade de migrar ou replicar conjuntos de dados completos. Os portais de dados foram configurados com o cluster local como hub e o cluster CNQ da AWS como spoke, criando uma camada de cache inteligente na nuvem.

Quando os pesquisadores iniciaram tarefas de processamento sísmico na AWS, o NeuralCache da Qumulo pré-carregou automaticamente apenas os blocos de dados necessários. Esse armazenamento em cache adaptativo, baseado em aprendizado de máquina, permitiu a rápida repetição de experimentos com tempos de acesso significativamente mais rápidos.

A jornada de implantação

A prova de conceito foi projetada para validar o desempenho, a escalabilidade e a facilidade de integração. Em poucos dias, o Qumulo Core estava operacional no data center da HPG, o CNQ foi implantado em minutos na AWS e o Cloud Data Fabric conectou os dois ambientes de maneira integrada. Uma vez configurado, o data fabric da Qumulo sincroniza automaticamente os dados entre os ambientes locais e na nuvem, atualizando apenas os blocos de dados alterados e mantendo os dois ambientes perfeitamente alinhados.

Esse cache inteligente e altamente consistente eliminou a necessidade de manter manualmente cópias de arquivos ou reconciliar versões, garantindo que cada acesso aos dados na AWS fizesse referência a uma única fonte de verdade. Os pesquisadores puderam transferir com confiança cargas de trabalho de computação para a nuvem, sabendo que suas aplicações estavam sempre utilizando os dados mais atualizados, sem alterar os fluxos de trabalho existentes.

Esses resultados demonstraram como o cache inteligente e a experiência de sistema de arquivos consistente da Qumulo permitem que os fluxos de trabalho de HPC sejam executados de forma integrada em diversos ambientes, sem a necessidade de alterações nas aplicações.

Impacto nos negócios

• Maior agilidade na obtenção de insights: O cloud bursting reduziu a latência no acesso aos dados em até três vezes, acelerando os experimentos sísmicos iterativos e o ajuste dos modelos.

• Escalabilidade elástica: Os pesquisadores agora podem dimensionar recursos de computação acelerados por GPU na AWS sob demanda, sem ficarem limitados pela disponibilidade de hardware local.

• Acesso híbrido contínuo aos dados: O Cloud Data Fabric oferece uma camada de dados unificada entre os ambientes locais e na nuvem, eliminando a necessidade de migração manual ou duplicação.

• Infraestrutura simplificada: A instalação foi simples, e a configuração híbrida não exigiu nenhuma reformulação da arquitetura das aplicações ou dos fluxos de trabalho.

Perspectivas para o futuro

Juntas, a Qumulo, a HPG e a AZIMUTA estão abrindo caminho para a próxima geração de fluxos de trabalho híbridos de HPC, combinando a elasticidade da computação em nuvem com o desempenho dos sistemas locais. Com o armazenamento em cache inteligente de dados e o expansionamento contínuo para a nuvem, a Qumulo permite que os pesquisadores se concentrem no avanço da ciência sísmica, em vez de na gestão da infraestrutura.