Como a Universidade de Waikato construiu uma base para o futuro
Modernização da infraestrutura de dados de pesquisa com o Qumulo para simplificar o gerenciamento, melhorar a resiliência e possibilitar o crescimento futuro.
A Universidade de Waikato precisava substituir um ambiente Dell PowerScale já antigo — ainda comumente chamado pelo nome original, Isilon — que suportava centenas de milhões de arquivos em cargas de trabalho relacionadas à pesquisa, ao ensino e à administração. Em vez de tratar o projeto como uma simples atualização de hardware, a Universidade aproveitou a oportunidade para repensar como o armazenamento de arquivos corporativo deveria ser operado, utilizado, dimensionado e gerenciado.
A Universidade escolheu o Qumulo rodando no HPE GreenLake, criando uma arquitetura multissítio baseada em consumo, projetada para atender às crescentes necessidades de pesquisa e, ao mesmo tempo, reduzir a carga operacional do armazenamento corporativo. A universidade migrou aproximadamente 540 TB, distribuídos por 327 milhões de arquivos, do Isilon para o Qumulo, planejando cuidadosamente a transição de acordo com as necessidades acadêmicas e de pesquisa para minimizar as interrupções.
Atualmente, a Universidade utiliza o Qumulo em seu ambiente principal em Hamilton e em um local secundário de recuperação de desastres em Auckland. A infraestrutura dá suporte às cargas de trabalho acadêmicas e de pesquisa atuais, ao mesmo tempo em que oferece à Universidade opções para ampliar o uso do S3, aprimorar a análise de dados e o gerenciamento do ciclo de vida, apoiar colaborações externas em pesquisa e estender os dados para locais adicionais ou para a nuvem, à medida que as necessidades evoluem.
O desafio: a atualização do Isilon se tornou uma oportunidade para repensar o armazenamento
A Universidade vinha utilizando o Isilon como parte de sua infraestrutura de armazenamento de arquivos corporativos. À medida que esse ambiente se aproximava do fim de sua vida útil, a equipe de infraestrutura precisava decidir o que o substituiria. Em vez de implantar automaticamente outra geração da mesma plataforma, a Universidade avaliou se uma arquitetura diferente poderia atender melhor à sua estratégia de infraestrutura de longo prazo.
A magnitude do projeto tornou essa decisão significativa. A Universidade gerenciava aproximadamente 540 TB distribuídos por 327 milhões de arquivos, 140 compartilhamentos SMB e 30 compartilhamentos NFS. Os dados de pesquisa continuavam crescendo, enquanto os serviços de ensino, pesquisa e administração dependiam de um acesso confiável a essas informações. Qualquer substituição precisava preservar o acesso familiar via SMB e NFS, ao mesmo tempo em que se adaptasse ao calendário acadêmico e às cargas de trabalho ativas de pesquisa, o que deixava pouco espaço para interrupções ou migrações definitivas.
A Universidade também buscava maior simplicidade operacional, maior visibilidade do consumo de capacidade, uma sólida recuperação de desastres e escalabilidade mais flexível. Em vez de outro grande investimento inicial de capital com base na capacidade futura prevista, a Universidade desejava adotar uma estrutura de despesas operacionais (OpEx) baseada no consumo por meio do HPE GreenLake.
Uma maior visibilidade sobre o consumo de dados foi outra consideração. A Universidade queria entender quais áreas estavam consumindo capacidade, onde estava ocorrendo o crescimento e, eventualmente, como os custos de infraestrutura poderiam estar mais intimamente vinculados aos grupos que os geravam. A substituição do Isilon, portanto, ofereceu uma oportunidade de estabelecer um modelo operacional diferente para os dados de pesquisa, e não simplesmente adquirir um novo sistema de armazenamento.
Por que a Qumulo?
A Qumulo proporcionou à Universidade uma maneira de modernizar sua infraestrutura de arquivos sem exigir que pesquisadores e aplicativos abandonassem os fluxos de trabalho com os quais já estavam familiarizados. A plataforma oferece serviços unificados de SMB e NFS, instantâneos, replicação, controles de acesso e visibilidade da capacidade em tempo real dentro do modelo de consumo do HPE GreenLake.
A Universidade mantém o acesso tradicional aos arquivos corporativos, ao mesmo tempo em que simplifica a administração nos bastidores. A capacidade cresce de acordo com a demanda, em vez de ser tratada exclusivamente como uma grande aquisição periódica de hardware, e a arquitetura da Qumulo oferece opções para expandir além do ambiente atual da Universidade, à medida que as necessidades inevitavelmente mudam. Um requisito fundamental é uma base de dados que ofereça agilidade no núcleo, na periferia e na nuvem.
Tão importante quanto isso, a Universidade precisava ter certeza de que poderia migrar centenas de milhões de arquivos existentes do Isilon sem que a transição do armazenamento se tornasse um evento que causasse transtornos aos pesquisadores.
Transferência de 540 TB e 327 milhões de arquivos do Isilon
A universidade precisava migrar aproximadamente 540 TB, compreendendo cerca de 327 milhões de arquivos, incluindo 140 compartilhamentos SMB e 30 compartilhamentos NFS. O projeto teve que se adaptar ao calendário acadêmico e às cargas de trabalho de pesquisa em andamento, o que deixou janelas de tempo limitadas para interrupções e transições finais.
A Universidade adotou uma abordagem em fases para transferir as cargas de trabalho em etapas controladas, concluindo a migração em apenas alguns meses, ao mesmo tempo em que manteve a integridade dos dados, preservou as permissões e minimizou as interrupções. O Atempo Miria transferiu os dados por meio de uma rede de 25 Gb. A universidade escolheu um ritmo de migração adequado às suas necessidades acadêmicas e de pesquisa, mas a solução pode acelerar as migrações quando prazos mais curtos forem necessários.
A Qumulo oferece suporte a uma variedade de tecnologias e abordagens de migração, de acordo com o ambiente e os requisitos de cada cliente. Desde a migração da Universidade, a Qumulo lançou o Qumulo SLURP (Simple Lightweight Universal Replication Program), um mecanismo de transferência de dados em alta velocidade projetado para simplificar migrações em grande escala a partir de plataformas NAS de terceiros, incluindo o Dell PowerScale. O SLURP ainda não estava disponível quando a Universidade realizou sua migração.
Independentemente da tecnologia de migração, a experiência da Universidade mostra um ponto importante: a migração de um ambiente com arquivos de grande porte do Isilon ou do NetApp não precisa causar interrupções para as pessoas ou os aplicativos que utilizam os dados. Como Robert Jurgensen, chefe de infraestrutura digital da Universidade de Waikato, descreveu a transição:
“Foi praticamente uma transição sem sobressaltos. Tudo seguiu como de costume. Os pesquisadores continuaram utilizando o armazenamento basicamente da mesma forma que faziam com o Isilon. Seus fluxos de trabalho SMB e NFS permaneceram familiares, mesmo que a infraestrutura subjacente tivesse mudado.”
Para organizações que estão pensando em abandonar o Isilon, essa continuidade é importante. Um projeto de modernização de armazenamento não precisa necessariamente se tornar um projeto de modernização de usuários ou de cargas de trabalho.
Menos trabalho de administração de armazenamento, mais flexibilidade de infraestrutura
As diferenças entre o ambiente antigo e o novo ficaram mais evidentes nos bastidores. Um dos objetivos da Universidade era reduzir a administração especializada necessária para gerenciar o armazenamento corporativo. Hoje, a Universidade não precisa mais de um administrador de armazenamento dedicado exclusivamente ao Qumulo. Em vez disso, a equipe de infraestrutura como um todo divide essa responsabilidade com facilidade.
Jurgensen afirmou que a plataforma tem sido simples o suficiente para que novos membros da equipe aprendam a utilizá-la sem a necessidade de meses de treinamento especializado. Três ou quatro membros da equipe de infraestrutura já se sentem à vontade para operar o Qumulo, reduzindo a dependência de um único especialista em armazenamento.
A experiência de atualização da Universidade seguiu um padrão semelhante. A equipe de suporte da Qumulo auxilia nas atualizações de software e de segurança, enquanto o processo continua sendo simples. O resultado é um ambiente capaz de suportar grandes volumes de dados de pesquisa sem que o armazenamento exija constantemente a atenção da equipe de infraestrutura.
Maior visibilidade dos dados de pesquisa
A modernização da plataforma de armazenamento também proporcionou à Universidade uma melhor compreensão dos dados que gerencia. O Qumulo oferece visibilidade sobre a utilização e o desempenho, enquanto a equipe de infraestrutura da Universidade está explorando as APIs do Qumulo e recursos adicionais de visualização para obter uma visão mais aprofundada do ambiente.
Para uma instituição de pesquisa, o gerenciamento de capacidade envolve mais do que apenas saber quantos terabytes ainda estão disponíveis. A Universidade deseja entender quem está consumindo capacidade, a que ritmo cada área específica está crescendo e se os dados armazenados no armazenamento primário ainda estão sendo utilizados ativamente.
Jurgensen descreveu um futuro em que a equipe de infraestrutura poderia identificar, por exemplo, um grupo de pesquisa com 150 TB de dados que não fossem acessados há vários anos. Essa informação poderia servir de base para uma discussão sobre se os dados ainda precisam ocupar o armazenamento primário, se poderiam ser transferidos para outro nível ou se a capacidade poderia ser recuperada para pesquisas ativas. Em vez de responder ao crescimento simplesmente comprando mais armazenamento, a Universidade quer tomar decisões de infraestrutura com base na forma como utiliza seus dados.
Ampliando o Qumulo para além do armazenamento tradicional de arquivos
A Universidade já está utilizando o Qumulo para além dos serviços convencionais de arquivos SMB e NFS. Um exemplo é o sistema de gestão de aprendizagem da Universidade, no qual a equipe de infraestrutura utilizou os recursos S3 do Qumulo para criar uma cópia ativa somente para leitura dos dados de produção para os ambientes de suporte e desenvolvimento.
Anteriormente, a manutenção desses ambientes podia exigir a transferência repetida das exportações de produção para eles. A nova abordagem oferece um ponto de preparação comum e reduz a necessidade de transferir continuamente as exportações de produção entre os ambientes. Trata-se de um dos primeiros exemplos de como a Universidade pode utilizar o Qumulo para muito mais do que simplesmente recriar o ambiente Isilon que ele substituiu.
Soberania dos dados e a importância da escolha
A estratégia de modernização da Universidade não se baseia na migração de tudo para a nuvem pública. Para certas partes de seu ambiente de pesquisa, manter os dados no local continua sendo importante devido a considerações de governança e soberania de dados. Os conjuntos de dados de pesquisa podem incluir informações confidenciais, como dados médicos e dados maoris, e, nesses casos, a Universidade deve avaliar cuidadosamente onde as informações são armazenadas e como são gerenciadas.
Isso fez com que uma arquitetura local robusta se tornasse um requisito importante quando a Universidade avaliou a substituição do Isilon. Ao mesmo tempo, a Universidade não queria que a decisão atual sobre a infraestrutura limitasse as opções futuras. Jurgensen vê valor na expansão do ambiente Qumulo à medida que as necessidades mudam, seja por meio de locais adicionais no próprio local, infraestrutura em nuvem, centros de pesquisa de ponta ou uma combinação de todos esses elementos.
O Futuro: Aproximando os dados de pesquisa dos pesquisadores
A pesquisa universitária envolve, cada vez mais, a colaboração entre instituições, locais e países. A Universidade de Waikato trabalha com pesquisadores e organizações em nível internacional, e o acesso remoto tradicional pode gerar atritos quando pesquisadores externos precisam de conexão por VPN, credenciais institucionais ou outros mecanismos apenas para acessar os conjuntos de dados necessários ao trabalho colaborativo.
A Universidade está estudando maneiras de oferecer uma experiência mais próxima dos serviços modernos de compartilhamento de arquivos, mantendo ao mesmo tempo os controles de governança e infraestrutura necessários. Outra possibilidade é disponibilizar os conjuntos de dados apropriados mais próximos dos pesquisadores que trabalham com eles, em vez de exigir que todos os colaboradores tenham que recorrer à sede em Hamilton.
“Uma prioridade fundamental é tornar a colaboração com pesquisadores externos muito mais integrada. À medida que nossas necessidades evoluem, estamos confiantes de que a Qumulo nos proporcionou a plataforma de dados certa para lidar com isso e com tudo o que vier a seguir.” – Robert Jurgensen
A Universidade, portanto, está analisando detalhadamente todo o portfólio da Qumulo, especialmente os serviços S3 mais abrangentes, o acesso distribuído a dados, o monitoramento, a integração com o login único, o armazenamento em camadas, o arquivamento, a conectividade com a nuvem, a proteção contra ransomware e a recuperação cibernética. Jurgensen descreveu a oportunidade mais ampla como a expansão da “estrutura da Qumulo” para locais adicionais, à medida que as necessidades da Universidade evoluem.
O objetivo não é adotar a nuvem apenas por adotar. Trata-se de oferecer à Universidade mais opções sobre onde os dados devem ser armazenados, com base em acessibilidade, aspectos econômicos, desempenho, colaboração e governança.
Impacto nos negócios
540 TB foram transferidos do Isilon. A equipe migrou aproximadamente 327 milhões de arquivos distribuídos por 140 compartilhamentos SMB e 30 compartilhamentos NFS, mantendo a continuidade das atividades de pesquisa, ensino e serviços administrativos.
Mínimo de transtorno para os usuários. Os pesquisadores continuaram acessando os dados por meio de fluxos de trabalho familiares do SMB e do NFS, mesmo com as mudanças na infraestrutura subjacente.
Resiliência em dois locais. A Qumulo opera no ambiente principal da Universidade em Hamilton e em seu local de recuperação de desastres em Auckland, com 10 nós em cada local e replicação quase em tempo real.
Menor dependência da administração especializada de armazenamento. Vários membros da equipe de infraestrutura podem gerenciar o Qumulo, em vez de depender de um especialista em armazenamento dedicado.
Maior visibilidade dos dados de pesquisa. As informações sobre capacidade e utilização servem de base para a tomada de decisões mais acertadas sobre o crescimento dos dados, a retenção, a hierarquização e as necessidades futuras de infraestrutura.
Uma plataforma para futuras colaborações em pesquisa. A Universidade está analisando como o S3, o acesso distribuído, a organização em camadas, o arquivamento, a integração com a nuvem, o monitoramento, o SSO e outros recursos de recuperação cibernética poderiam apoiar pesquisas cada vez mais distribuídas.
Conclusão: Abandonar o Isilon não precisa significar transtornos para seus usuários
A experiência da Universidade de Waikato teve início quando a instituição precisou substituir seu ambiente Isilon. Em vez de simplesmente adquirir a próxima geração da mesma arquitetura, a universidade aproveitou a renovação para repensar como deveria adquirir, administrar, escalar, proteger e utilizar o armazenamento de arquivos corporativo.
A universidade migrou cerca de 540 TB e 327 milhões de arquivos do Isilon para o Qumulo, enquanto os pesquisadores continuavam trabalhando com os fluxos de trabalho habituais do SMB e do NFS. A universidade facilitou a distribuição da administração de armazenamento entre a equipe de infraestrutura, criou resiliência entre dois locais e utilizou o modelo HPE GreenLake para adotar uma abordagem mais flexível no uso da infraestrutura à medida que as necessidades mudavam.
Para organizações que estejam pensando em abandonar o Isilon, a NetApp ou outras plataformas, a Universidade de Waikato demonstra que a mudança da plataforma de armazenamento subjacente não precisa causar interrupções para as pessoas e os aplicativos que utilizam os dados. A migração foi apenas o começo. A universidade agora conta com uma plataforma capaz de evoluir em sintonia com sua abordagem em relação a dados de pesquisa, colaboração, gerenciamento do ciclo de vida, expansão para a nuvem e infraestrutura.