“Por definição, um data lake aceita qualquer tipo de dado, sem supervisão nem governança. Sem metadados descritivos… o data lake corre o risco de se transformar em um pântano de dados.” – Nick Heudecker, ex-funcionário da Gartner
Introdução
Na última década, o termo “data lake” tem sido usado de forma tão indiscriminada que, muitas vezes, acaba confundindo mais do que esclarecendo. O que a maioria das organizações realmente opera hoje é um mosaico de sistemas de arquivos e buckets de objetos espalhados por matrizes locais, várias nuvens de hiperescala e instalações de borda. Os custos não são medidos simplesmente em petabytes e dólares, mas em insights perdidos, atrasos operacionais e — com muita frequência — falhas de segurança que poderiam ser evitadas.
Com a introdução da arquitetura Qumulo Stratus, nossa plataforma de dados criptograficamente isolada e adaptada a cada locatário, demos um passo decisivo em direção ao “Universal Data Lake” — um ecossistema de dados sem fronteiras e orientado por políticas, capaz de se estender de data centers privados a todas as principais nuvens, sem nunca sacrificar a soberania ou o desempenho.
Uma base para o Data Lake universal
O Qumulo Stratus combina os benefícios do isolamento de infraestrutura por locatário com nível de soberania com um núcleo de dados do tipo “share-nothing”, utilizando criptografia de dados para manter o isolamento e a privacidade dos dados. Cada locatário conectado ao Stratus mantém suas próprias chaves de criptografia e serviços corporativos, incluindo AD, DNS, SIEM etc. À medida que os dados são recebidos nos mecanismos de protocolo do Stratus, eles são criptografados com a chave do locatário e armazenados no Qumulo DataCore. O resultado é simples, mas significativo:
A localidade dos dados passa a ser uma escolha, e não uma limitação. Os fluxos de trabalho podem ser transferidos para a AWS hoje, retornar a um parque de GPUs local amanhã e ser arquivados no Azure no próximo trimestre, sem a necessidade de refatorar aplicativos ou treinar novamente os usuários.
A segurança não é algo “acrescentado posteriormente”. Cada locatário é responsável por seu próprio destino criptográfico — chaves, KMS e trilhas de auditoria —, de modo que os conteúdos dos arquivos e objetos permanecem opacos para todos os demais locatários e até mesmo para os administradores do núcleo de dados da Qumulo.
O desempenho varia linearmente. Os locatários com alta demanda computacional implantam sua própria camada do NeuralCache e dimensionam a capacidade de E/S de acordo com a demanda; os locatários com foco na capacidade simplesmente utilizam o DataCore compartilhado a partir de contêineres do Kubernetes ou VMs. Ninguém é prejudicado por um “vizinho barulhento”.
Essas características redefinem as expectativas do mercado e as capacidades técnicas em três áreas que são importantes para todos nós: resiliência cívica, inovação acadêmica e segurança nacional.
Administração Municipal: Isolando serviços essenciais sem criar silos
Os responsáveis por infraestrutura e os diretores de TI (CIOs) de cidades e condados me contam a mesma história: seus mapas e imagens do ArcGIS, arquivos de câmeras corporais, observabilidade do Splunk, backups do Rubrik, vigilância por vídeo da Genetec, CAD de obras públicas e registros de saúde pública estão armazenados em locais radicalmente diferentes, cada um com políticas de segurança específicas. O Stratus permite que um município agrupe essas “ilhas” em um único espaço de nomes, mantendo compartimentos criptograficamente isolados para a administração municipal, a polícia, as obras públicas e os departamentos de saúde.
Quando um ransomware atacar — e, infelizmente, isso vai acontecer —, as equipes de resposta a incidentes podem isolar e restaurar com precisão um locatário afetado sem causar danos colaterais ao restante dos serviços da cidade. Enquanto isso, equipes de TI com orçamento limitado passam a contar com um único conjunto de análises, uma única política de replicação, uma utilização de recursos muito mais eficiente e a capacidade de usar a nuvem pública como um data center de recuperação de desastres sob demanda, localizado bem fora do “raio de ação” de desastres naturais que afetam os serviços.
Universidades de pesquisa: combinando liberdade acadêmica com controle de nível empresarial
As universidades modernas estão divididas entre dois mundos: a ciência aberta e colaborativa e as operações empresariais de nível corporativo. Historicamente, essa dualidade obrigou as instituições a adotarem infraestruturas paralelas — uma para registros acadêmicos, finanças e sistemas administrativos, e outra para engenharia, genômica, proteômica ou modelagem climática. A Stratus inverte esse cenário.
Alunos de pós-graduação em química computacional podem ativar caches isolados e de alto desempenho em qualquer região da nuvem que se encaixe nos orçamentos de suas bolsas de estudo, enquanto o departamento financeiro continua a manter seus livros contábeis em servidores locais extremamente seguros — tudo dentro do mesmo data lake lógico. Os comitês de supervisão obtêm provas auditáveis de que as informações de identificação pessoal (PII) dos registros dos alunos nunca se misturam com dados de pesquisa sujeitos a controles de exportação. A inovação prospera, os engenheiros de armazenamento têm um melhor equilíbrio entre vida profissional e pessoal, e os responsáveis pela conformidade dormem tranquilos à noite.
Programas de Acesso Especial: Integridade Operacional em Escala Classificada
Passei muitos anos desenvolvendo sistemas para e em parceria com agências de defesa e inteligência, e uma lição é incontestável: as brechas de segurança raramente começam com código-fonte aberto, mas sim com código-fonte fechado e credenciais. Administradores com privilégios excessivos já vazaram mais segredos do que as explorações de dia zero jamais vazarão, e o software de código-fonte fechado é submetido a muito menos inspeção do que o software de código-fonte aberto (OSS). O Stratus reduz esse “raio de impacto” – por design. Cada unidade de programa — digamos, uma diretoria de ISR espacial — recebe seu próprio provedor de identidade isolado, DNS, Active Directory, camada de HSM e superfície do NeuralCache. Os administradores no ambiente de logística não conseguem nem mesmo identificar a existência de conjuntos de dados no ambiente de análise, muito menos acessá-los. No entanto, quando os analistas aprovam o streaming entre domínios do Cloud Data Fabric de um feed de telemetria, a Stratus executa essa política instantaneamente, de forma criptografada, validada e registrada para a cadeia de custódia. O resultado é uma plataforma que previne exatamente o tipo de ameaça interna que tem atormentado missões confidenciais — desde o caso Snowden até os recentes vazamentos de credenciais na nuvem —, sem as ineficiências de uma infraestrutura compartimentada.
Qumulo Stratus: O futuro dos dados
O lançamento do Stratus não é apenas um evento de produto ou uma nova arquitetura sofisticada; é um sinal de que a era do armazenamento “tudo compartilhado” atingiu seu limite — simplesmente não é possível oferecer multilocação eficaz em uma arquitetura “tudo compartilhado” quando a intenção é “não compartilhar nada”. Os clientes agora exigem elasticidade sem exposição e multilocação sem concessões. Esses atributos não são mais mutuamente exclusivos — eles são requisitos básicos. Tenho orgulho da genialidade da engenharia por trás do Stratus, mas estou ainda mais entusiasmado com o que ele possibilita: serviços municipais que permanecem online quando ocorrem desastres; universidades que aceleram as descobertas enquanto protegem dados pessoais; e programas de segurança nacional que podem finalmente colaborar em uma escala compartimentada, sem medo da perda gradual de privilégios. Esse é o impacto no mercado para o qual criamos o Stratus, e estamos apenas começando. Se você está pronto para derrubar silos, recuperar o controle e acelerar sua estratégia de dados rumo à era universal, convido você a se juntar a nós. dg Douglas Gourlay é presidente e diretor executivo da Qumulo e um pouco nerd de informática. Para saber mais sobre a Stratus, acesse https://discover.qumulo.com/qumulo-stratus-webinar