A criomicroscopia eletrônica (Cryo-EM) está ajudando a redefinir o futuro da biologia estrutural, do desenvolvimento de vacinas e da inovação farmacêutica, ao possibilitar a visualização 3D em nível atômico de proteínas, vírus e complexos moleculares. Essas capacidades permitem o estudo detalhado de estruturas celulares finas e de estruturas biológicas complexas em escalas subcelulares e moleculares.
Embora sejam os avanços científicos que costumam ganhar as manchetes, os desafios de infraestrutura por trás deles raramente são discutidos.
A realidade é que os fluxos de trabalho de criomicroscopia eletrônica (Cryo-EM) estão entre os processos que mais exigem dados nas ciências da vida modernas.
Cada projeto pode gerar de 10 TB a mais de 200 TB de dados de microscopia de alta resolução, frequentemente compostos por dezenas de milhares de pequenos arquivos de imagem e sequências de vídeo. Esses dados geralmente são gerados no laboratório físico, onde os microscópios capturam amostras biológicas, mas o intenso trabalho computacional — incluindo correção de movimento, estimativa de CTF, seleção de partículas, classificação 2D e refinamento 3D — requer capacidade computacional com grande densidade de GPUs, a maior parte da qual só é encontrada em grandes data centers ou em uma das plataformas de nuvem pública.
Para muitas organizações, isso gera um problema oneroso e operacionalmente complexo.
Os dados devem ser copiados de ambientes de laboratório para infraestruturas de HPC ou na nuvem, o que significa que é necessário ter muito mais recursos disponíveis para cada projeto. É preciso provisionar armazenamento adicional para abrigar conjuntos de dados replicados – até 200 TB de capacidade por projeto por local. Pipelines de replicação devem ser implementados e mantidos para cada projeto e cada ponto de extremidade, e o valioso tempo da equipe é consumido na validação da construção de pipelines de dados, no monitoramento de tarefas de replicação ativas e na verificação da integridade dos dados após cada transferência significativa.
Toda essa duplicação de dados e complexidade do ambiente não só aumentam o custo de cada projeto, como também podem prolongar os prazos dos projetos. Os cientistas muitas vezes ficam esperando horas, ou até dias, antes que o processamento possa começar, enquanto os resultados finais frequentemente precisam ser transferidos de volta mais uma vez para validação, visualização e colaboração mais ampla.
Existem ainda mais custos ocultos que vão muito além da mera capacidade de armazenamento. A replicação amplia a pegada da infraestrutura, aumenta as demandas de rede, adiciona complexidade aos scripts operacionais, exige um acompanhamento mais rigoroso da TI e cria uma dependência significativa de mão de obra em várias equipes. Especialistas em microscópios, administradores de TI, arquitetos de nuvem, equipes de bioinformática, engenheiros de armazenamento e pesquisadores tornam-se elos de uma frágil cadeia operacional, todos trabalhando horas extras para garantir que os dados cheguem onde precisam estar, de forma consistente e dentro do prazo.
Imagine uma abordagem mais simples: um sistema de arquivos que abrangesse todos os pontos da organização simultaneamente; em que os dados criados em um local fossem acessíveis instantaneamente de qualquer outro lugar.
Considere uma empresa farmacêutica que executa três programas simultâneos de descoberta de medicamentos em unidades localizadas em Palo Alto, Boston e em uma CRO parceira no Reino Unido. Em um modelo tradicional de replicação, cada local mantém sua própria cópia de cada conjunto de dados — capacidade de armazenamento multiplicada por três, pipelines de replicação mantidos em todos os terminais e uma janela de preparação de 12 a 24 horas antes que qualquer cluster de GPU na nuvem possa iniciar o processamento. Com uma estrutura de dados unificada, essa mesma empresa opera a partir de uma única cópia de cada conjunto de dados: os dados de instrumentos registrados em Palo Alto ficam imediatamente visíveis para os clusters de GPU na AWS, os pipelines de análise em execução em Boston e a equipe da CRO no Reino Unido — simultaneamente, sem que nenhuma tarefa de replicação esteja em execução. A complexidade de TI é reduzida, a sobrecarga de armazenamento diminui proporcionalmente e o tempo entre a aquisição de dados e os resultados acionáveis passa de dias para horas.
A arquitetura de dados híbrida da Qumulo muda radicalmente essa equação.
O sistema de arquivos da Qumulo disponibiliza dados em todos os terminais por meio de protocolos padrão do setor — NFS v3/v4.1, SMB 3.0 e API de objetos compatível com S3 — o que significa que pipelines de bioinformática existentes, agendadores de tarefas de HPC e ferramentas nativas da nuvem podem montar ou acessar o espaço de nomes sem necessidade de modificações. O namespace global mantém um único plano de metadados coerente entre nós locais e instâncias na nuvem simultaneamente: listagens de diretórios, atributos de arquivos e o estado dos inodes são consistentes, independentemente de qual terminal emita a solicitação, eliminando as condições de “split-brain” e falhas de cache desatualizado comuns em arquiteturas de replicação tradicionais. Os Cloud Accelerators se apresentam como pontos de montagem NFS padrão para instâncias de computação na nuvem, permitindo que as cargas de trabalho de GPU comecem o processamento assim que os primeiros arquivos fiquem visíveis no namespace — com leitura antecipada e pré-busca inteligentes lidando com a lacuna de latência entre a localização física dos dados e o endpoint na nuvem — enquanto os aparelhos do Edge Accelerator nos locais dos instrumentos absorvem fluxos de gravação de alta largura de banda provenientes de detectores e scanners diretamente na malha, sem armazenamento intermediário.
Ao eliminar a replicação desnecessária e possibilitar o acesso global unificado aos conjuntos de dados, a Qumulo permite que as organizações transformem a criomicroscopia eletrônica (Cryo-EM) de um desafio logístico fragmentado em um fluxo de trabalho científico otimizado. Em vez de submeter os dados a ciclos repetidos de cópia, validação, transferência e reorganização, a Cloud Data Platform oferece disponibilidade global imediata, permitindo que o processamento ocorra onde quer que os recursos de computação sejam mais eficazes, ao mesmo tempo em que garante que os resultados estejam instantaneamente acessíveis em qualquer lugar onde forem necessários.
Ao conectar laboratórios físicos, ambientes de HPC na nuvem e equipes de pesquisa em tempo real por meio de um espaço de nomes global unificado, a Qumulo permite que uma única cópia dos dados exista em um único local físico, mantendo-se, ao mesmo tempo, instantaneamente acessível em todos os locais, plataformas e nuvens. Não há necessidade de conjuntos de dados duplicados, nem dependência de scripts de transferência instáveis, nem ciclos repetidos de validação, nem atrasos operacionais causados por métodos tradicionais de replicação.
Tudo isso ocorre sem a replicação de nenhum conjunto de dados, o que significa que há apenas uma cópia dos dados para armazenar e gerenciar; assim, as equipes de TI da organização reduzem drasticamente os custos de armazenamento, a complexidade do gerenciamento e o tempo para obter retorno.
Criada a partir da combinação do sistema de arquivos escalável e de alto desempenho da Qumulo — disponível no Marketplace dos principais hiperescaladores, como AWS, Azure e GCP, ou implantado localmente usando hardware do seu fabricante de equipamento original (OEM) preferido – com os recursos de sistema de arquivos estendido do Qumulo Cloud Data Fabric, a Qumulo Cloud Data Platform cria um verdadeiro ambiente híbrido para as ciências da vida, que conecta a geração de dados, a aceleração por GPU e a colaboração global em tempo real. Os dispositivos opcionais Edge Accelerator conectam locais remotos e laboratórios físicos de volta à malha, enquanto os Cloud Accelerators abrem portais temporários que projetam os dados de onde eles estão armazenados para a nuvem, permitindo que as cargas de trabalho utilizem a capacidade disponível de GPU na nuvem e dimensionem a computação sob demanda quando os recursos locais estiverem limitados – tudo isso sem precisar mover nenhum dado.
Para as empresas farmacêuticas e de biotecnologia, isso significa acelerar as iniciativas de modelagem molecular, reduzir os prazos de descoberta de terapêuticas de semanas para dias, possibilitar um desenvolvimento mais ágil de vacinas, maximizar a utilização de recursos de GPU, que são caros, e, por fim, reduzir o custo e a complexidade da própria pesquisa e desenvolvimento.
À medida que a IA, a computação de alto desempenho (HPC) e a imagem biológica avançada continuam a convergir, as organizações que obterão vantagem estratégica não serão simplesmente aquelas que possuírem os melhores microscópios ou os maiores clusters de GPUs, mas sim aquelas que construírem uma infraestrutura capaz de eliminar completamente a gravidade dos dados.
A próxima fronteira nas ciências da vida não se resume apenas à computação.
Trata-se de uma arquitetura de dados inteligente, e soluções como o Qumulo Cloud Data Fabric estão ajudando a tornar esse futuro possível.