O San Diego Supercomputer Center amplia significativamente sua infraestrutura de armazenamento avançado com a Qumulo
A comunidade global de pesquisa científica abrange diversos setores, pessoas e especialidades. No entanto, há um ponto em comum: a necessidade de recursos computacionais e de armazenamento de dados em grande escala.
Apenas algumas instituições de pesquisa têm recursos para adquirir seu próprio supercomputador e sistemas avançados de armazenamento. Muitas recorrem a provedores especializados de serviços gerenciados (MSPs) para oferecer capacidade remota de computação e armazenamento a clientes de pesquisa que lidam com grandes volumes de dados.
O Centro de Supercomputação de San Diego lidera a iniciativa
O San Diego Supercomputer Center, ou SDSC, é um dos principais provedores de serviços de supercomputação (MSP) para a comunidade científica nos setores governamental, acadêmico e empresarial.
O SDSC é membro do XSEDE (eXtreme Science and Engineering Discovery Environment), um sistema virtual único que permite aos pesquisadores compartilhar de forma interativa recursos de computação, coleções de dados e ferramentas avançadas de pesquisa.
Como unidade de pesquisa da Universidade da Califórnia em San Diego, o SDSC utiliza seus supercomputadores locais para realizar cálculos avançados e lidar com todos os aspectos do armazenamento e da análise de big data, incluindo integração de dados, modelagem de desempenho, mineração de dados e análise preditiva.
O SDSC trabalha em parceria com seus clientes para personalizar recursos de supercomputadores e sistemas de armazenamento para projetos que envolvem volumes extremos de dados, incluindo visualização em astrofísica para o Museu Americano de História Natural, simulações em grande escala do “Big One” no sul da Califórnia e modelagem sofisticada da temporada de gripe para os Centros de Controle de Doenças.
Dois projetos importantes do SDSC atendem à comunidade de pesquisa em neurociência, que está em rápido crescimento – o Neuroscience Gateway (NSG) do Centro, financiado pela Fundação Nacional de Ciências (NSF) e pelo Instituto Nacional de Saúde (NIH), que é uma colaboração entre o Centro, a Universidade de Yale e o University College London. O NSGportal permite que pesquisadores da área de neurociência tenham acesso a computação em grande escala para modelagem e processamento de dados, o que requer o gerenciamento de grandes volumes de dados de neurociência armazenados em seus sistemas de armazenamento de dados intensivos.
Outra iniciativa na área de neurociência em desenvolvimento é o portal NEMAR (Arquivo de Dados Neuroeletromagnéticos Humanos e Recursos de Ferramentas), financiado pelo NIH. O portal está desenvolvendo o acesso aberto a dados arquivados de EEG (eletroencefalografia) e MEG (magnetoencefalografia) para neurocientistas, sendo que o armazenamento e o gerenciamento de dados em grande escala são partes essenciais do projeto.
“Com a Qumulo, conseguimos reduzir significativamente as despesas operacionais em comparação com outras soluções de armazenamento. Além disso, dobramos o tamanho do nosso cluster e provavelmente o dobraremos novamente em breve.”
Brian Balderston
Diretor de Infraestrutura
As demandas dos clientes podem superar os recursos da Super
O SDSC enfrentou um desafio relacionado à sua infraestrutura de armazenamento. Esses gateways com uso intensivo de dados e as pilhas de tecnologia dos clientes precisam oferecer armazenamento de dados de alto desempenho e alta capacidade para volumes enormes de big data — grande parte deles não estruturados. Embora os supercomputadores do Centro realizem tarefas computacionais com facilidade, os sistemas de armazenamento da área de neurociência careciam de grande capacidade de expansão horizontal e dos recursos de armazenamento necessários para suportar big data, acesso rápido e análises avançadas.
“Nossas necessidades de armazenamento para os projetos de dados NSG e EEG/MEG estão aumentando de dezenas de terabytes para centenas de terabytes”, afirmou Amit Majumdar, Ph.D., diretor de Computação Científica Baseada em Dados do SDSC. “Transferência e armazenamento de grandes volumes de dados, acesso em alta velocidade, compartilhamento e funcionalidades de pesquisa — tudo isso está se tornando cada vez mais importante para nossos projetos.”
Para atender com sucesso às necessidades de seus clientes, o SDSC precisava de uma solução de armazenamento que oferecesse um equilíbrio ideal entre desempenho, capacidade, escalabilidade, durabilidade e funcionalidades avançadas, tudo a um custo razoável.
“No SDSC, fornecer análises e resultados essenciais é fundamental, mas as cargas de trabalho de computação de alto desempenho dependem enormemente do sistema de armazenamento. Como organização, estamos avançando na integração da nuvem tanto para computação quanto para armazenamento, como parte de nossos portais científicos. Por isso, é importante para nós disponibilizar as tecnologias de ponta em nuvem por meio de nossa divisão de Serviços de Dados de Pesquisa”, acrescentou Majumdar.
“Transferência e armazenamento de grandes volumes de dados, acesso em alta velocidade, compartilhamento e funcionalidades de pesquisa — tudo isso está se tornando cada vez mais importante para nossos projetos.”
Amit Majumdar, Ph.D.
Diretor de Computação Científica Baseada em Dados
Parceria com a Qumulo
O que motivou o Centro a buscar um novo tipo de provedor de armazenamento foi um grupo de novos clientes que precisava de mais de 1 PB de capacidade de armazenamento. O SDSC estava preocupado com o desempenho, a confiabilidade e o gerenciamento de suas soluções de armazenamento existentes nessa escala.
Brian Balderston, diretor de infraestrutura do SDSC, concluiu que deveria haver uma solução melhor. Ele testou vários sistemas de armazenamento de alto desempenho e escolheu o armazenamento de arquivos em nuvem híbrida da Qumulo como a opção mais promissora em infraestrutura de computação e armazenamento com uso intensivo de dados para a comunidade nacional de pesquisa.
“Acreditei que poderíamos criar um sistema de armazenamento melhor para nosso cliente, que não exigisse tanto cuidado e manutenção operacional. Por isso, entrei em contato com a equipe da Qumulo para apresentar nossos requisitos”, disse Balderston. “O sistema de arquivos NAS distribuído e escalável deles atendeu aos nossos requisitos de capacidade, desempenho, integridade de dados e escalabilidade a um preço aceitável para o nosso cliente.”
O armazenamento de arquivos da Qumulo diferia da infraestrutura existente no SDSC e daquela utilizada pelas organizações clientes. A maioria dos clientes acadêmicos do Centro estava acostumada a sistemas de arquivos paralelos de código aberto para cargas de trabalho de dados de pesquisa. A pilha de software proprietária e o sistema de arquivos distribuído da Qumulo representavam um novo tipo de armazenamento e rapidamente se mostraram mais avançados e capazes de gerenciar cargas de trabalho massivas de pesquisa científica, tanto no presente quanto no futuro.
O Qumulo lida com dados não estruturados de forma mais eficiente do que os sistemas de arquivos paralelos, tornando-o ideal para ambientes com um grande número de arquivos, estruturas de diretórios e bilhões de arquivos pequenos. O sistema de arquivos NAS com escalabilidade horizontal oferece rápida importação e acesso, além de ser altamente pesquisável. A alta disponibilidade e os tempos mínimos de reconstrução mantêm os dados seguros e sempre disponíveis – sem perda de dados.
Os custos de capital do SDSC com o Qumulo ficaram dentro do orçamento, e os custos operacionais se mostraram menores do que o esperado. “Com o Qumulo, tivemos despesas operacionais muito menores do que as que tivemos com outras soluções de armazenamento”, observou Balderston. “Além disso, dobramos o tamanho do nosso cluster e provavelmente o dobraremos novamente em breve.” O SDSC repassou a economia aos seus clientes MSP, o que torna sua plataforma de hospedagem ainda mais atraente.
“É só colocar mais um nó no rack, apertar um botão e, adivinhem só? Mais espaço.”
Ben Hayes
Arquiteto de Sistemas Sênior
Escalabilidade massiva, alto desempenho
Atualmente, a Qumulo fornece ao SDSC e aos seus clientes armazenamento persistente para cargas de trabalho de alta capacidade e alto desempenho. Os principais componentes da infraestrutura incluem máquinas virtuais (VMs), o armazenamento da Qumulo montado em um supercomputador e redes de alta largura de banda. O SDSC está avançando na integração do armazenamento local e na nuvem para atender aos seus gateways científicos. Como o armazenamento de arquivos da Qumulo é nativo da nuvem, ele oferece suporte perfeito à integração entre o ambiente local e a nuvem.
A Qumulo otimiza seu software exclusivo para leituras rápidas e gravações diretas. A arquitetura acelerada oferece latência extremamente baixa, além de alto desempenho em IOPS e taxa de transferência. O cache preditivo e o pré-busca identificam proativamente os padrões de E/S e transferem os dados de forma eficiente para a mídia mais rápida.
O Qumulo também é simples de implantar, gerenciar e acessar — aspectos essenciais tanto para o SDSC quanto para seus clientes. “O Qumulo tem sido incrivelmente fácil de gerenciar para o SDSC”, afirmou Balderston.
“Em vez de concentrar nossa equipe e nossos recursos na gestão de vários sistemas de armazenamento ineficientes, dedicamos nosso tempo de engenharia a projetos de grande impacto e bem financiados pela Fundação Nacional de Ciências, pelo Instituto Nacional de Saúde e por outras agências de financiamento. Isso é uma grande conquista para todos nós.”
A Qumulo provou que é uma empresa de armazenamento diferente — uma empresa que desenvolveu sua solução de armazenamento para a era moderna. Alguns sistemas de armazenamento legados ainda funcionam para dados estruturados em ambientes tradicionais bem definidos. Mas esses produtos nunca foram projetados para o enorme crescimento de dados atual, os tipos de dados não estruturados, as cargas de trabalho científicas intensivas e as aplicações complexas.
Para atender e superar esses novos requisitos de armazenamento, a Qumulo desenvolveu seu software com base nos princípios que fundamentam os bancos de dados modernos, distribuídos e em grande escala. O resultado é um sistema de arquivos exclusivo, com desempenho e escalabilidade inigualáveis.
A adesão dos clientes comprova isso no SDSC. “Provavelmente, minha maior conquista foi implementar esse sistema de armazenamento e, em seguida, conseguir uma adesão em grande escala”, disse Balderston. “Desde a prova de conceito inicial, o SDSC alcançou um novo grupo de clientes, incluindo mais de duas dúzias de laboratórios de pesquisa e departamentos da Universidade da Califórnia. Não consigo pensar em nenhum outro serviço que tenha sido adotado tão rapidamente.”