Introdução
Na era da inteligência artificial (IA) e do aprendizado de máquina (ML), o processamento eficiente de grandes volumes de dados não estruturados é um requisito básico. Empresas e órgãos governamentais utilizam cada vez mais a IA para obter insights, aprimorar operações e impulsionar a inovação. No entanto, os desafios de gerenciamento de dados podem prejudicar as iniciativas de IA, especialmente em ambientes híbridos e multicloud. A Qumulo Cloud Data Platform supera esses desafios ao oferecer uma solução integrada e de alto desempenho para a aceleração de dados de IA na nuvem pública.
Visão geral da plataforma de dados em nuvem Qumulo
A Qumulo Cloud Data Platform é uma solução abrangente que unifica o armazenamento e o gerenciamento de dados em ambientes locais e em nuvens públicas, privadas e híbridas. Ela é composta por três componentes principais:
Clusters do Qumulo em ambiente local: Essas soluções estão implantadas em data centers, campi de pesquisa, hospitais e outros locais importantes, hospedando exabytes de dados não estruturados, tanto em formato de arquivo quanto de objeto. Elas oferecem armazenamento de alto desempenho, otimizado para cargas de trabalho em grande escala em todos os pontos da curva preço/desempenho.
Instâncias do Qumulo nativas da nuvem: Implantadas nos principais provedores de nuvem, como AWS, Azure, Google Cloud Platform (GCP) e Oracle Cloud Infrastructure (OCI), essas instâncias ampliam os recursos da Qumulo para a nuvem, possibilitando soluções de armazenamento de dados escaláveis e flexíveis com taxas de desempenho comparáveis às dos sistemas de arquivos paralelos, mas com custos comparáveis aos das ofertas de armazenamento local.
Estrutura Global de Dados: Essa é a espinha dorsal de dados que integra as instâncias locais e multicloud em um sistema coeso. Isso permite a adoção de qualquer modelo e/ou serviço de IA para acessar os mesmos dados simultaneamente, independentemente de as GPUs estarem no local ou na nuvem, com base na disponibilidade e no preço. Ela oferece:
Espaço de nomes global estritamente consistente (GNS): Garante a consistência dos dados em todas as unidades.
Cache GNS de leitura/gravação na borda: Oferece acesso de baixa latência a dados usados com frequência na borda e em data centers geograficamente dispersos, na nuvem ou em uma combinação de ambos.
Armazenamento em cache de dados persistentes de leitura/gravação em cluster: Melhora o desempenho ao armazenar dados em cache mais próximo dos recursos de computação e reduz os custos de transação das APIs do S3, Blob e GCS.
Qualidade de serviço com consideração à rede e utilização eficiente da rede: Essa tecnologia otimiza a transferência de dados em redes de longa distância (WANs) com base nas condições da rede.
Acelerando cargas de trabalho de IA
Movimentação Inteligente de Dados
A Qumulo Cloud Data Platform permite a movimentação inteligente e eficiente de dados pela Global Data Fabric. Os dados podem ser transmitidos sob demanda, em nível de bloco, a partir de qualquer local e encaminhados para clusters de leitura/gravação baseados na nuvem através da WAN. Esses clusters utilizam armazenamento S3 de baixo custo e alta durabilidade como camada de persistência, além de cache inteligente em um disco conectado a uma instância NVMe no EC2. Dessa forma, os dados ficam prontamente disponíveis para alimentar instâncias de GPU a velocidades inigualáveis pelas ofertas tradicionais de armazenamento de arquivos na nuvem.
Melhorias no desempenho
Tempo de execução da GPU reduzido: O Qumulo melhora o tempo de execução da GPU em até 40% ao acelerar a transferência de dados do armazenamento de arquivos nativo da nuvem, baseado no Qumulo, para o sistema de GPU hospedado na nuvem, evitando a fase de cópia de dados do S3 para a GPU. Essa otimização resolve o gargalo e os custos frequentemente causados pelo carregamento de dados de armazenamentos de objetos ou arquivos para o armazenamento NVMe local nas instâncias de GPU antes do início da execução do treinamento.
Economia de custos nas chamadas à API do S3: A Cloud Data Platform utiliza técnicas preditivas inteligentes baseadas em aprendizado de máquina, cache de leitura inteligente e compactação, ao mesmo tempo em que comprime o cache de gravação, combinando chamadas à API do S3. Essa abordagem reduz as cobranças da API do S3 em até 90%, resultando em uma economia significativa de custos.
Instâncias de GPU otimizadas: Esse recurso elimina a necessidade de as instâncias EC2 com GPU possuírem armazenamento NVMe local, permitindo a criação de instâncias com GPU de menor custo sem comprometer o desempenho.
IA baseada em nuvem para empresas
Muitas empresas e órgãos governamentais não precisam de clusters de GPUs em tempo integral para cargas de trabalho de treinamento. A posição da Qumulo é que IA generativa (GenAI) As cargas de trabalho — treinamento, ajuste e inferência — serão, em grande parte, baseadas na nuvem para a maioria das organizações. As vantagens incluem:
Governança de dados mantida permite que os requisitos existentes de proveniência e governança de dados sejam cumpridos, garantindo a conformidade e a segurança dos dados, com risco reduzido.
Redução das despesas de capital elimina a necessidade de investimentos significativos na aquisição de GPUs e reduz os custos de processamento em tempo de execução.
Consumo de recursos do Elastic oferece flexibilidade para aumentar ou reduzir os recursos de acordo com as demandas da carga de trabalho, otimizando as despesas operacionais. Isso é de extrema importância, pois 80% do desenvolvimento de IA envolve o processamento de dados e o aprimoramento de modelos antes da execução do trabalho de treinamento.
Tempo de processamento acelerado agiliza os fluxos de trabalho de IA em até 40%, aumentando a agilidade e reduzindo o tempo necessário para obter insights.
Aproveitando modelos de IA gerativa públicos e comerciais
A Qumulo reconhece que a maioria das empresas utilizará modelos de IA gerativa (GenAI) públicos ou comerciais, em vez de desenvolver seus próprios modelos. Para dar suporte a isso, a Qumulo desenvolveu o seguinte:
Integração robusta com a API: A Qumulo Cloud Data Platform oferece APIs robustas capazes de se integrar a serviços de IA baseados na nuvem, incluindo grandes modelos de linguagem (LLMs) e ferramentas de desenvolvimento de IA/ML disponíveis atualmente nos principais provedores de nuvem, como a Microsoft e a AWS.
Tratamento seguro de dados: Aproveitando técnicas como Geração Aumentada por Recuperação (RAG) Com políticas adequadas de governança de dados, as empresas podem utilizar LLMs públicos ou abertos, garantindo ao mesmo tempo que seus dados não sejam utilizados em futuros conjuntos de dados de treinamento, preservando assim a privacidade dos dados e a proteção da propriedade intelectual.
Conclusão
A Qumulo Cloud Data Platform oferece uma solução robusta para acelerar os fluxos de trabalho de dados de IA na nuvem pública. Ao unificar ambientes locais e na nuvem por meio de sua Global Data Fabric, a Qumulo supera os desafios do gerenciamento e da movimentação de dados em grande escala. As empresas podem obter ganhos significativos de desempenho e reduções de custo, além de manter a conformidade com os padrões de governança de dados. Além disso, ao facilitar a integração com modelos públicos de GenAI e, ao mesmo tempo, proteger os dados, a Qumulo permite que as organizações aproveitem as tecnologias de IA de maneira eficaz, sem comprometer a segurança nem incorrer em despesas desnecessárias.
Principais benefícios
Flexível: Ele atende às necessidades de desempenho, capacidade e segurança de todo o ciclo de vida dos dados de IA — captação, transformação e carregamento de dados —, possibilitando um pipeline de dados contínuo de ponta a ponta.
Desempenho: Tempos de carregamento de dados mais rápidos melhoram o tempo de execução da GPU e a eficiência econômica.
Sem limites: Permite o acesso contínuo e seguro aos dados entre nuvens públicas e privadas e entre organizações, a fim de possibilitar oportunidades transformadoras de negócios e pesquisa.
Eficiência de custos: Redução de até 90% nas tarifas da API S3; permite a utilização de instâncias de GPU de menor custo sem NVMe local.
Escalabilidade: Consumo elástico de recursos da GPU
Governança de dados: Mantém os requisitos existentes relativos à proveniência dos dados e à conformidade.
Durabilidade dos dados: O suporte a Multi-AZ e a codificação de apagamento paralela do S3 aumentam ainda mais a durabilidade lendária do AWS S3
Segurança: Impede que os dados da empresa sejam utilizados no treinamento de modelos externos por meio de integrações seguras de API.
Ao adotar a Qumulo Cloud Data Platform, as organizações passam a contar com as ferramentas necessárias para lidar com as demandas das cargas de trabalho modernas de IA de maneira eficiente e segura. Isso lhes permite posicionar-se na vanguarda da inovação em IA, proporcionando vantagem competitiva e possibilitando oportunidades de negócios transformadoras.