Há cerca de duas décadas, várias empresas desenvolveram um sistema de armazenamento de arquivos paralelo e distribuído. O motivo foi que, quando os dados começaram a crescer exponencialmente, ficou claro que o armazenamento escalável horizontalmente era o paradigma a ser seguido para grandes conjuntos de dados. WAFL, IBM Spectrum Scale (também conhecido como GPFS), Lustre, ZFS e OneFS são todos exemplos de sistemas de armazenamento de arquivos com escalabilidade horizontal. Todos esses sistemas têm algo em comum: tiveram sua “primeira inicialização” por volta do ano 2000. Além disso, todos apresentam pontos fortes e fracos. Alguns desses sistemas não são realmente escaláveis; outros são difíceis de instalar e operar; alguns exigem hardware especial ou não oferecem suporte a protocolos NAS comuns; podem ter limites de escalabilidade ou carecer de velocidade de inovação.
O fato de esses sistemas terem sido projetados há 20 anos é um problema. Muitas tendências importantes da tecnologia da Internet, como DevOps, big data, infraestrutura convergente, contêineres, IoT ou tudo o que é virtual foram inventados muito depois de 2000; por isso, esses sistemas de armazenamento de arquivos são agora utilizados em situações para as quais nunca foram projetados. É claramente hora de adotar uma nova abordagem para o armazenamento de arquivos.
O Qumulo foi projetado por vários dos mesmos engenheiros que desenvolveram e criaram o armazenamento escalável há cerca de 15 anos, e, obviamente, suas experiências os levaram a uma solução muito moderna e flexível.
O sistema moderno de armazenamento de arquivos é independente de hardware
Vários fornecedores afirmam que seus produtos são independentes de requisitos específicos de hardware. É possível que tenham utilizado o termo “definido por software”. De acordo com a Wikipédia, duas características de um produto definido por software são:
Independente de quaisquer dependências específicas de hardware
Extensível programaticamente
O Qumulo atende a ambos os requisitos de forma admirável. É possível executar o Qumulo em hardware padrão fornecido pela Qumulo, em Servidores HPE Apollo 4200, e na AWS. Para fins de desenvolvimento e teste, a Qumulo oferece um pacote OVA gratuito para que você possa executar um cluster totalmente funcional no VMware Workstation ou no Fusion. Você também pode executar uma instância independente do Qumulo, com 5 TB de armazenamento, na AWS gratuitamente. Você paga apenas pela infraestrutura da AWS.
Como o Qumulo é totalmente gerenciável por meio de uma API, ele é totalmente extensível e pode ser integrado a qualquer ambiente operacional.
O sistema moderno de armazenamento de arquivos é executado no espaço do usuário
O sistema operacional Qumulo é baseado em Ubuntu. Os desenvolvedores da Qumulo podem aproveitar todos os recursos do ecossistema Linux.
Os processos do sistema de armazenamento de arquivos Qumulo são executados no espaço do usuário do Linux, e não no espaço do kernel, o que traz várias vantagens:
O Qumulo possui suas próprias implementações de protocolos como SMB, NFS e LDAP, que são independentes do sistema operacional subjacente. Por exemplo, o NFS é executado como um serviço com suas próprias definições de usuários e grupos. Isso torna o Qumulo mais portátil.
O modo kernel destina-se principalmente a drivers de dispositivos que funcionam com hardware específico. Ao operar no espaço do usuário, o Qumulo reforça sua independência em relação ao hardware. Ele pode ser executado em uma ampla variedade de configurações e ambientes
O fato de rodar no espaço do usuário significa que a Qumulo pode desenvolver e disponibilizar recursos em um ritmo muito mais rápido.
A execução no espaço do usuário aumenta a confiabilidade do Qumulo. Por ser um processo independente no espaço do usuário, o Qumulo fica isolado de outros componentes do sistema que poderiam causar corrupção de memória, e as equipes de desenvolvimento do Qumulo podem utilizar ferramentas avançadas de verificação de memória que permitem a detecção de erros de codificação relacionados à memória antes do lançamento do software. Ao utilizar uma estratégia de partição dupla para atualizações de software, o Qumulo pode atualizar automaticamente tanto o sistema operacional quanto o software do Qumulo, garantindo atualizações rápidas e confiáveis. É possível reiniciar facilmente o Qumulo sem precisar reiniciar o sistema operacional, o nó ou o cluster.
API interativa, análises em tempo real e cotas
O Qumulo é programaticamente extensível. Possui uma API completa, que pode ser ampliada e integrada a qualquer ambiente de data center.
Se desejar, você pode usar a API como interface principal para todas as suas tarefas de gerenciamento e operação. No entanto, por uma questão de conveniência, também há uma interface de usuário (UI) na web e uma interface de linha de comando (CLI) disponíveis. Tanto a UI quanto a CLI utilizam a mesma API que qualquer pessoa pode usar para interagir com o Qumulo. A API e as ligações para Python são documentado e disponível no GitHub. O mesmo se aplica ao wrapper de linha de comando, qq.
Um dos recursos mais inteligentes do Qumulo são suas capacidades de análise em tempo real. Metadados, como bytes utilizados e número de arquivos, são agregados quando os arquivos e diretórios são criados ou modificados, o que significa que as informações ficam disponíveis para processamento imediato, sem a necessidade de consultas dispendiosas à árvore do sistema de armazenamento de arquivos.
A interface de usuário da web inclui um grande número de painéis e gráficos em tempo real, como pontos críticos de E/S e pontos críticos de taxa de transferência, e todos os dados podem ser recuperados por meio da API bem documentada, caso você também queira processá-los com outras ferramentas.