Antes de poder comparar efetivamente as soluções de armazenamento de nível empresarial, é importante conhecer os diferentes tipos de dados que sua empresa armazena, bem como as diferenças entre as soluções de armazenamento em bloco, armazenamento de objetos e armazenamento de arquivos no que diz respeito à abordagem de gerenciamento de dados.
Na parte 2 desta série de quatro partes sobre a avaliação de armazenamento de dados corporativos soluções, oferecemos uma análise detalhada sobre como identificar os tipos específicos de dados que sua empresa armazena e como escolher a plataforma de armazenamento de dados mais adequada para gerenciar esses dados.
Armazenamento em bloco, armazenamento de objetos e armazenamento de arquivos: são as três principais arquiteturas utilizadas para criar soluções personalizadas de armazenamento de dados, que determinam como os dados são processados, armazenados, organizados e recuperados. Cada tipo de armazenamento possui recursos e limitações exclusivos, o que significa que os sistemas de armazenamento de dados corporativos não são soluções do tipo “tamanho único”.
Está com pouco tempo? Baixe nosso Guia de Armazenamento de Dados Corporativos gratuito — O guia definitivo para encontrar uma solução que o ajude a gerenciar a explosão de dados não estruturados
Comparando tipos de armazenamento de dados
Na era moderna da nuvem, o armazenamento de objetos costuma ser uma das principais preocupações de muitas empresas; no entanto, a maior parte dos dados é criada e consumida como arquivos. Antes de poder comparar efetivamente as soluções de armazenamento de nível empresarial, é importante conhecer os diferentes tipos de dados que sua empresa armazena, bem como as diferenças entre as soluções de armazenamento em bloco, armazenamento de objetos e armazenamento de arquivos no que diz respeito à abordagem de gerenciamento de dados.
O que é armazenamento em bloco?
Armazenamento em bloco, também conhecido como armazenamento em nível de bloco ou armazenamento em bloco elástico, é uma sequência de bytes de dados que contém um número de registros completos com um comprimento máximo (o tamanho do bloco). O processo de armazenamento de dados em blocos é chamado de bloqueio, e o processo de recuperação de dados dos blocos é chamado de desbloqueio. Os dados bloqueados são geralmente armazenados em um buffer de dados e lidos ou gravados um bloco por vez, o que visa reduzir a sobrecarga e acelerar o processamento do fluxo de dados.
A verdade é que todo armazenamento é baseado em blocos. As empresas precisam ter blocos de dados organizados de uma determinada maneira, de modo que esses blocos façam sentido quando se tenta lê-los por meio de um protocolo; tudo é armazenado na forma de blocos. O mais importante é como esses dados são organizados no nível do bloco e como são acessados, o que determina o tipo de armazenamento.
Prós e contras do armazenamento em bloco
Uma das principais vantagens do armazenamento em bloco é a capacidade de acessar e recuperar com eficiência dados estruturados de um banco de dados, geralmente por meio de uma conexão de rede de área de armazenamento (SAN) que utiliza diferentes tipos de protocolos, como iSCSI e Fibre Channel, Armazenamento Conectado Diretamente (DAS), entre outros. O armazenamento em bloco é excelente para dados estruturados devido à forma como as soluções de armazenamento legadas recuperam os metadados que indicam onde um determinado bloco está localizado no disco rígido, utilizando o que é conhecido como registro em diário. O sistema de registro em diário mantém um registro de todos os dados já gravados ao longo do tempo. Portanto, do ponto de vista de um banco de dados estruturado, se você estiver lendo e acessando dados dessa forma, o processo é muito rápido.
Como o armazenamento em blocos utiliza esse sistema de registro cronológico que acumula cada vez mais dados ao longo do tempo, e cada bloco individual de dados pode existir de forma independente em vários ambientes, as solicitações de dados são atendidas rapidamente por meio da recuperação e remontagem dos blocos pelo caminho mais eficiente possível. Embora o armazenamento em blocos represente um método eficiente e confiável para gerenciar dados estruturados, infelizmente ele é muito menos adequado para gerenciar dados não estruturados. Considerando que o armazenamento em blocos é tão limitado em sua capacidade de lidar com metadados, os aplicativos desenvolvidos para dados não estruturados terão, por natureza, dificuldades com operações que dependem de metadados, incluindo funções básicas de busca e recuperação.
O que é armazenamento de objetos?
Armazenamento de objetos, também conhecido como armazenamento baseado em objetos, é uma arquitetura que gerencia dados como objetos, o que representa uma diferença fundamental em relação a uma arquitetura de armazenamento como um sistema de arquivos. As empresas podem implementar o armazenamento de objetos em vários níveis, incluindo: nível de dispositivo, nível de sistema e nível de interface. Um dispositivo de armazenamento de objetos permite a criação e o gerenciamento de armazenamento compartilhado e seguro para redes de armazenamento corporativas.
O armazenamento por objetos foi criado para resolver os desafios da arquitetura de armazenamento, possibilitando recursos como interfaces diretamente programáveis pela aplicação. Esse armazenamento autogerenciado, compartilhado e seguro transfere funcionalidades de nível inferior, como o gerenciamento de espaço, para o próprio dispositivo de armazenamento, com acesso a ele por meio de uma interface de objetos padrão. O armazenamento baseado em objetos também visa possibilitar recursos como um namespace que pode abranger várias instâncias de hardware físico, além de funções de gerenciamento de dados, como replicação e distribuição de dados com detalhes no nível do objeto.
Prós e contras do armazenamento de objetos
O armazenamento de objetos pode funcionar bem para dados não estruturados, nos quais os dados são gravados uma vez e lidos uma vez (ou várias vezes). Conteúdo online estático, backups de dados, arquivos de imagens, vídeos, fotos e arquivos de música podem ser armazenados como objetos. Os bancos de dados em um ambiente corporativo de armazenamento de objetos geralmente contêm conjuntos de dados não estruturados, o que sugere que os dados não exigirão um grande número de gravações ou atualizações incrementais.
Um dos desafios do armazenamento por objetos é que ele não é ideal para dados transacionais; além disso, o armazenamento por objetos não foi criado para substituir o acesso e o compartilhamento de arquivos via NAS. Talvez o maior problema do armazenamento por objetos seja o fato de ele não oferecer suporte aos mecanismos de bloqueio e compartilhamento necessários para manter uma única versão do arquivo, atualizada com precisão.
Nossas pegadas digitais geram aumentos exponenciais nos dados, e esses dados nunca são descartados. Portanto, entender quais dados você possui, como eles crescem ao longo do tempo e quais podem ter valor (e quais não têm) torna-se um problema difícil de resolver, especialmente com soluções legadas de armazenamento do tipo scale-out e scale-up.
Para acompanhar o crescimento exponencial dos dados, as soluções tradicionais de armazenamento de objetos exigem que as empresas adquiram um grande espaço de armazenamento, como um data center local, mas isso não revela nada sobre os dados em si. Como resultado, algumas empresas recorrem à compra de softwares prontos para uso que ajudem a compreender os dados; no entanto, esses softwares tendem a ser muito caros e não escalam de forma eficaz — na verdade, eles entram em colapso quando atingem um bilhão de arquivos ou um petabyte de armazenamento.
O que pode ser considerado uma solução provisória para o gerenciamento de dados foi as empresas começarem a escrever seu próprio código para catalogar todos os dados que possuem, o que consome muito tempo e exige muitos recursos. Esse problema foi ainda mais agravado pelo fato de que, embora um sistema de armazenamento de dados em si saiba imediatamente o que há nele — por fazer parte de sua própria estrutura de dados —, qualquer software externo utilizado não conseguia fornecer insights em tempo real. Os sistemas de armazenamento de objetos simplesmente não escalam bem e não conseguem transformar dados em informações valiosas.
Felizmente, existe um solução escalável para o armazenamento de dados corporativos.
Conheça o armazenamento de arquivos, onde a aplicação de tecnologia inteligente aos dados não estruturados não é apenas o futuro, mas uma realidade atual; onde a escalabilidade entre ambientes locais e na nuvem se alia ao controle de custos, graças a uma gestão de dados não estruturados fundamentalmente mais inteligente.
O que é armazenamento de arquivos?
Armazenamento de arquivos, também conhecido como armazenamento baseado em arquivos (FBS) ou sistema de arquivos, é um formato ou plataforma utilizada para armazenar e gerenciar dados em uma estrutura hierárquica em forma de árvore (como uma hierarquia de arquivos), na qual os arquivos são identificáveis em uma estrutura de diretórios.
Os sistemas de arquivos armazenam dados como um conjunto de arquivos individuais caminhos, que são sequências de caracteres utilizadas para identificar de forma exclusiva o arquivo em uma estrutura de diretórios. Esses identificadores exclusivos incluem o nome do arquivo, extensão, e seu caminho, são a forma como um sistema de arquivos controla o armazenamento, a recuperação e a exibição gráfica dos dados para um usuário.
Em termos simples, “localização” é o termo genérico para caminho—como em “Pesquise o local dos seus dados” ou “Vá até o local dos seus dados”—que especifica como localizar o arquivo no disco. Cada caminho de arquivo também contém informações específicas, como o nome do arquivo, a data de acesso, o diretório do arquivo e muito mais. Extensões indicar que tipo de dados o arquivo contém, por exemplo, .txt, .png, .java, .html, .doc e assim por diante. A estrutura de diretórios é a maneira como um sistema de arquivos organiza os arquivos para torná-los acessíveis ao usuário.
Prós e contras do armazenamento de arquivos
Os sistemas de armazenamento de arquivos se baseiam em um dispositivo de bloco como nível de abstração para o hardware responsável por armazenar e recuperar os blocos de dados desejados; no entanto, o tamanho do bloco em um sistema de arquivos pode ser um múltiplo do tamanho do bloco físico. Isso leva à falta de escalabilidade e ineficiência de espaço devido à fragmentação interna, já que o comprimento dos arquivos muitas vezes não é um múltiplo inteiro do tamanho do bloco; assim, o último bloco de um arquivo pode permanecer parcialmente vazio. Isso gera fragmentação, na qual o espaço de armazenamento é utilizado de forma ineficiente, reduzindo, consequentemente, a capacidade e o desempenho.
Sistemas modernos de armazenamento de arquivos, como o Qumulo, buscaram uma solução para esse problema por meio de uma técnica chamada Armazenamento em bloco escalável (SBS), que, do ponto de vista do armazenamento em blocos, é a camada de blocos do sistema de armazenamento de arquivos Qumulo e seu mecanismo subjacente para armazenar dados. O resultado é um sistema de armazenamento de arquivos com enorme escalabilidade, desempenho otimizado e proteção de dados. Dessa forma, arquivos de dados não estruturados podem ser organizados em um layout do tipo sistema de arquivos hierárquico — combinando o melhor da arquitetura de sistema de arquivos e da arquitetura de armazenamento em blocos.
Uma vantagem fundamental da arquitetura do sistema de armazenamento de arquivos da Qumulo é a capacidade de pré-carregar o cache de forma preditiva para acelerar o desempenho de leitura por meio da pré-busca preditiva — e reduzir latência de leitura. O sistema de armazenamento de arquivos da Qumulo compensa alguns dos problemas de desempenho do armazenamento em bloco, utilizando cache e outros métodos para torná-lo mais rápido. O cientista de dados da Qumulo, Tommy Unger, apresenta uma breve demonstração no vídeo abaixo, onde mostra a eficácia do sistema com algumas cargas de trabalho reais em um cluster.
Uma das principais vantagens do sistema de arquivos é a maior flexibilidade, que permite suportar diferentes tipos de cargas de trabalho e oferece capacidade de escalabilidade. Essa é uma das principais razões pelas quais um sistema de arquivos é tão excelente, pois as empresas podem expandir horizontalmente (scale-out) e também verticalmente (scale-up); é possível escalar o armazenamento muito além das limitações do armazenamento em bloco. Também é possível escalar a capacidade de computação.
As soluções tradicionais de armazenamento de objetos, por outro lado, apresentam limitações de cluster. O que acaba acontecendo é que elas precisam, essencialmente, “remendar” os clusters uns aos outros, pois utilizam uma tecnologia do tipo bloco. Ao contrário, o Qumulo utiliza uma tecnologia do tipo arquivo, na qual os dados podem ser armazenados em qualquer lugar — no na nuvem ou no local, ou ambos — e é mais aleatório.
A plataforma de dados de arquivos da Qumulo, Qumulo Core, simplifica a consolidação de dados não estruturados por meio de uma solução única que oferece visibilidade dos dados em tempo real, automação e facilidade de uso para atender às suas necessidades de desempenho, processamento e retenção de dados.
Tudo isso nos leva à próxima parte desta série, na qual abordaremos mais detalhadamente as principais diferenças entre os sistemas de armazenamento de arquivos tradicionais e os modernos.
Fiquem ligados!
Este artigo é apenas o segundo de uma série de quatro partes, na qual abordamos tudo o que você precisa saber ao avaliar soluções de armazenamento de dados corporativos—e mal tocou na superfície dessas importantes questões. Para saber mais, baixe nosso novo Guia para Empresas Confira nosso guia mais completo sobre como escolher a solução certa de armazenamento de dados para ajudar a gerenciar a explosão de dados não estruturados.