O mundo de inteligência artificial (IA) tem experimentado um crescimento exponencial e possui uma fome insaciável por dados. De carros autônomos a chatbots que imitam conversas humanas, a IA está revolucionando os setores a um ritmo alucinante. O poder da IA deriva de sua infraestrutura de dados. O acesso aos dados, a velocidade de processamento e o desempenho escalável do armazenamento são fatores essenciais que determinam a eficiência de um pipeline de IA. É nesse ponto que a Qumulo provou ser a melhor solução de armazenamento de dados do mundo para cargas de trabalho de IA, sendo a solução de dados em arquivos na nuvem com o maior desempenho e a melhor relação custo-benefício do setor.
Por que a Qumulo é ideal para cargas de trabalho de IA baseadas em arquivos
As aplicações de IA, sejam elas modelos de aprendizado profundo ou redes neurais, exigem um conjunto específico de características de armazenamento, todas atendidas pela Qumulo:
Escalabilidade: Os conjuntos de dados de IA são dinâmicos. Eles crescem com o tempo, à medida que mais dados são coletados e processados. A capacidade do Qumulo de se expandir com alto desempenho previsível garante que, à medida que as cargas de trabalho de IA crescem, o Qumulo possa atender às suas demandas em qualquer escala.
Custo-efetividade: O financiamento de iniciativas de IA pode representar um investimento significativo. Economizar em custos de armazenamento sem comprometer o desempenho pode liberar recursos para outras áreas essenciais, seja em pesquisa, desenvolvimento ou implantações de produção.
Capacidade de expansão em qualquer lugar™: Os proprietários de infraestrutura e os cientistas de dados se beneficiam da flexibilidade de treinar em um local e implantar em outro, com uma infraestrutura altamente segura. O sistema de armazenamento definido por software da Qumulo pode ser implantado e executado em qualquer lugar. Isso facilita o treinamento de um modelo de IA no data center central, mas permite levá-lo à produção em qualquer lugar.
Desempenho: Os modelos de IA, especialmente aqueles utilizados em cenários como veículos autônomos ou transações financeiras, precisam de acesso a dados em tempo real, tanto antes quanto depois do treinamento do modelo. A recuperação de dados em alta velocidade da Qumulo garante que os dados estejam disponíveis no momento em que for necessário.
Vamos nos aprofundar no ponto nº 4 e ressaltar a importância da recuperação contínua e ultrarrápida de dados e metadados. Isso é fundamental para aplicações de IA que exigem armazenamento de arquivos escalável – seja no local ou na nuvem.
Ao testar cargas de trabalho sintéticas de IA, descobrimos que somos, de fato, a solução em nuvem baseada em arquivos mais rápida do mercado para IA, na qual os cientistas de dados podem utilizar o Qumulo para coleta de dados, pré-treinamento, treinamento em produção e inferência contínua — independentemente da escala.
Continue lendo.
Teste de desempenho de IA de ampla aplicabilidade
Para colocar em perspectiva os recursos de desempenho do Qumulo, vamos analisar os resultados mais recentes alcançados com o Qumulo em execução na nuvem, na infraestrutura da AWS. Utilizamos o SPECstorage para caracterizar o desempenho de IA no Qumulo. Esse benchmark (apropriadamente chamado de AI_Image) utiliza tamanhos de arquivos e padrões de E/S que simulam de forma sintética e precisa cargas de trabalho comuns de IA:
Baseado no TensorFlow melhores práticas – a estrutura de IA/ML mais amplamente implantada do mundo
Baseado em três modelos diferentes: ResNet, VGG (Visual Geometry Group) e SSD (Single Shot Detector)
Utilizando conjuntos de dados de código aberto do CityScape, ImageNet e COCO
Devido à ampla difusão do TensorFlow no setor de IA, o benchmark se aplica a uma ampla gama de cargas de trabalho de modelos de IA que geram resultados de IA para:
Classificação de imagens e detecção de objetos
Processamento de Linguagem Natural (PLN)
Reconhecimento de fala
Sistemas de recomendação
Modelos generativos
Saúde e Ciências da Vida
…e MUITOS outros
Descrição do teste de desempenho e resultados alcançados
O objetivo do teste de desempenho é fornecer dados rapidamente do armazenamento Qumulo para a camada de aplicativos (utilizando GPUs) que executam as tarefas de IA. O teste avalia o desempenho do armazenamento e a latência a partir de um conjunto realista de padrões de E/S provenientes de um grupo de clientes. Os clientes aumentam gradualmente o número de tarefas de IA até atingirem a meta, que, no caso deste teste, é um total de 480 tarefas. Há quatro operações principais no benchmark, com quatro subcargas de trabalho independentes e simultâneas:
AI_SF – Leitura de arquivos de imagem pequenos
AI_TF – Grava arquivos maiores (de preferência, arquivos com mais de 100 MB)
AI_TR – Lê arquivos TFRecord de grande porte
AI_CP – Realiza verificações pontuais
Resultados
A Fig. 1 abaixo apresenta os seguintes resultados:
O eixo X mostra o número de tarefas executando o teste de desempenho de IA ao longo do tempo
O eixo Y mostra a latência total ao longo da duração do teste
A latência demonstra que o desempenho do armazenamento continua rápido e previsível à medida que o número de tarefas de IA aumenta!
Aplicabilidade no local
Embora os testes de benchmark do SPECstorage tenham sido realizados em um ambiente baseado em nuvem, esses resultados podem ser facilmente extrapolados para estimar resultados com hardware local semelhante. Quando a Qumulo publicar esse benchmark no site da SPEC (previsão para dezembro de 2023), será possível consultar os detalhes e o custo do ambiente, incluindo os tipos de instâncias do EC2 (número de núcleos, memória disponível etc.) utilizados e a largura de banda disponível no ambiente de rede. Enquanto isso, incluímos os detalhes complementares no apêndice deste blog para os leitores curiosos.
Cientistas de dados e engenheiros de dados, prestem atenção. Experimentem vocês mesmos!
No mundo da IA, que avança rapidamente, contar com uma solução de armazenamento robusta, rápida e escalável não é um luxo, mas uma necessidade. A Qumulo, com seu desempenho e custo-benefício líderes do setor, destaca-se como a solução de arquivos baseada em nuvem preferida para cargas de trabalho de IA. O teste de desempenho não apenas ressalta a capacidade da Qumulo, mas também consolida sua posição como a solução de armazenamento mais rápida e com maior aplicabilidade para IA.
Veja resultados completos publicado no Spec.org
Apêndice
Desempenho
Tempo de resposta total = 1,22 milissegundos
Negócios
Métrica
(AI_Jobs) Média
de latência
(ms) AI_Jobs
Operações/seg AI_Jobs
MB/s161,36069601565321,281139213127481,313208824691641,213278436255801,201348047822961,1474176593851121,15848726109501281,12355687125141441,12262648140821601.10969609156441761.14476570172081921.11783530187742081.11290491203402241,11297452218992401,121104413234702561,271111374250372721.143118335265982881,155125296281613041.197132257297293201,205139218312893361,257146178328593521.323153139344183681.430160100359843841.503167061375524001.63217402239112
Informações sobre o produto e os testes
Qumulo – Nuvem Pública de Referência Testado pela Qumulo, Inc. Hardware disponível em novembro de 2023 Software disponível em novembro de 2023 Data do teste: novembro de 2023 Número da licença: 6738 Localizações do licenciado: Seattle, WA, EUA
O Qumulo é uma solução de armazenamento de arquivos em nuvem híbrida que oferece escalabilidade superior a um exabyte em um único namespace, recursos idênticos tanto no ambiente local quanto na nuvem e suporte completo a múltiplos protocolos, garantindo flexibilidade e compatibilidade com diversas aplicações. Ao se integrar perfeitamente à infraestrutura de nuvem pública, o Qumulo oferece armazenamento de dados não estruturados em qualquer escala, com visibilidade em tempo real do desempenho do armazenamento e do uso dos dados.
O sistema de arquivos nativo da nuvem da Qumulo permite que as organizações migrem, de forma integrada, aplicativos e cargas de trabalho baseados em arquivos para o ambiente de nuvem pública. Com a Qumulo, as empresas podem gerenciar com eficiência exabytes de dados, seja no local ou na nuvem. As conclusões a seguir demonstram claramente que o sistema de arquivos da Qumulo se destaca por oferecer desempenho excepcional quando implantado na AWS.
Lista de materiais da solução em teste
Item NºQtd.TipoFornecedorModelo/NomeDescrição116Instâncias AWS EC2AWSc5n.18xlargeNós do Qumulo – Instâncias EC2 Amazon c5n (as instâncias c5n.18xlarge possuem 72 vCPU, 192 GiB de memória e rede de 100 Gbps)216Instâncias EC2 da AWSAWSc5n.18xlargeClientes Ubuntu – Cluster Qumulo – Instâncias EC2 c5n da Amazon (as instâncias c5n.18xlarge possuem 72 vCPU, 192 GiB de memória e rede de 100 Gbps)
Diagramas de configuração
Qumulo na AWS
Software de Componentes
N.º do itemTipo de componenteNome e versãoDescrição1Qumulo CoreSistema de arquivos6.2.2O sistema de arquivos nativo da nuvem da Qumulo permite que as organizações migrem com facilidade aplicativos e cargas de trabalho baseados em arquivos para a nuvem pública.2UbuntuSistema Operacional22.04O sistema operacional Ubuntu está implantado nos dezesseis nós de computação c5n.18xlarge. Eles são utilizados como clientes que executam os benchmarks SPEC Storage 2020.
Configuração e ajuste de hardware – Físico
Nome do componenteNome do parâmetroValorDescriçãoSR-IOVAtivadoAtiva a tecnologia de virtualização da CPUVelocidade da porta100 GbECada nó possui conectividade de 100 GbE
Notas sobre configuração e ajuste de hardware
Nenhum
Configuração e ajuste de software – Virtual
Parâmetros de redeNome do parâmetroValorDescriçãoJumbo Frames9001Habilita quadros jumbo de Ethernet de até 9001 bytesParâmetros de montagem NFS para clientes UbuntuNome do parâmetroValorDescriçãovers3Usa NFSv3nconnect16Aumenta o número de conexões de clientes NFS para até 16tcpProtocolo de transporte TCP protocolo de transporte de rede para comunicação com o cluster Qumulo local_lockall O cliente assume que os bloqueios flock e POSIX são locais Parâmetro do volume EBS Nome do parâmetro Valor Descrição IOPS 16000 IOPS máximo para o volume EBS Throughput 1000 Taxa de transferência máxima para o volume EBS
Notas sobre configuração e ajuste de software
Nenhum
Notas sobre o SLA do serviço
A AWS envida esforços comercialmente razoáveis para disponibilizar cada um dos Produtos e Serviços Incluídos com uma Porcentagem de Tempo de Atividade Mensal de pelo menos 99,99%, em cada caso, durante qualquer ciclo de faturamento mensal. A porcentagem mensal de disponibilidade é calculada subtraindo-se de 100% a porcentagem de minutos durante o mês em que qualquer um dos Produtos e Serviços Incluídos, conforme aplicável, esteve no estado de “Região Indisponível”.
Armazenamento e sistemas de arquivos
Nº do itemDescriçãoProteção de dadosArmazenamento estávelQtd. 1Volume de Elastic Block Storage, com capacidade de 1 TB gp3. Cada nó do Qumulo possui 6 volumes EBS. 2 Proteção por unidade ou por nó com codificação de apagamento AWS EBS 96 Número de sistemas de arquivos 1 Capacidade total 78,54 TB Tipo de sistema de arquivos Qumulo
Observações sobre a criação do sistema de arquivos
O sistema de arquivos do Qumulo Core é implantado na AWS por meio de um modelo do CloudFormation ou do Terraform. A AMI do Qumulo Core é implantada e o sistema de arquivos é configurado como parte do processo automatizado do CloudFormation ou por meio do Terraform. Não são necessárias etapas adicionais para a criação do sistema de arquivos.
Observações sobre armazenamento e sistema de arquivos
Nenhum
Configuração de transporte – Virtual
N.º do itemTipo de transporteNúmero de portas utilizadasObservações1NIC virtual Ethernet de 1.100 Gbps16Utilizada pelas máquinas clientes2NIC virtual Ethernet de 2.100 Gbps16Utilizada pelo Qumulo Core para comunicações entre nós, bem como para comunicações com quaisquer clientes.
Observações sobre a configuração do transporte
Nenhum
Switches – Virtuais
Nº do itemNome do switchTipo do switchNúmero total de portasNúmero de portas utilizadasObservações1AWSEthernet de 100 Gbps com rede aprimorada1616Utilizado por máquinas clientes2AWSEthernet de 100 Gbps com rede aprimorada1616Utilizado por nós do Qumulo Core
Elementos de processamento – Virtuais
Nº do itemQuantidadeTipoLocalizaçãoDescriçãoFunção de processamento11152vCPUc5n.18xlarge Qumulo CoreProcessadores Intel Xeon Platinum de 3,5 GHzQumulo Core, Comunicação de rede, Funções de armazenamento21152vCPUc5n.18xlarge Qumulo CoreProcessadores Intel Xeon Platinum de 3,5 GHzProcessadores de benchmark do cliente de armazenamento específico
Notas sobre o elemento de processamento
Nenhum
Memória – Virtual
DescriçãoTamanho em GiBNúmero de instânciasNão volátilTotal de GiBMemória da instância AWS EC2 c5n.18xlarge19216V3072Memória da instância AWS EC2 c5n.18xlarge19216V3072Total geral de memória em Gibibytes6144
Notas sobre a memória
Nenhum
Armazenamento estável
O Qumulo Core utiliza dispositivos de armazenamento em bloco elástico (EBS), que oferecem armazenamento estável.
Notas sobre a configuração da solução em teste
A solução testada foi um cluster distribuído padrão construído com o Qumulo Core. Os clusters do Qumulo Core são capazes de lidar com E/S de arquivos grandes e pequenos, bem como com aplicativos que fazem uso intensivo de metadados. Não é necessário nenhum ajuste especializado para cargas de trabalho diferentes ou de uso misto.