Escrito em coautoria por: Bryan Berezdivin e Marcos Seoane
Empresas de todos os setores estão correndo para adotar IA generativa e modelos de base (FMs). Mesmo com investimentos maciços em infraestrutura acelerada, um desafio persistente permanece: os dados e a capacidade de computação raramente estão no mesmo local. Os modelos de base modernos exigem uma escala sem precedentes. O treinamento de um FM pode exigir milhares de instâncias aceleradas por GPU em execução por dias ou semanas, consumindo conjuntos de dados que variam de centenas de terabytes para modelos de linguagem a dezenas de petabytes para sistemas multimodais que combinam texto, imagens e vídeo. Esses conjuntos de dados não são estáticos e evoluem continuamente à medida que as organizações retreinam e ajustam os modelos para capturar novos casos extremos, feedback dos usuários ou dados específicos do domínio.
A realidade para a maioria das grandes empresas é que seus dados estão armazenados em data centers locais e em várias nuvens. Essa desconexão entre a localização dos dados e a disponibilidade acelerada de recursos computacionais tornou-se um dos maiores obstáculos ao escalonamento da inteligência artificial (IA). A transferência de conjuntos de dados na escala de petabytes entre regiões ou nuvens aumenta a sobrecarga operacional, os custos, a latência e a complexidade da governança, impactando diretamente o tempo de treinamento e o retorno sobre o investimento (ROI). Uma malha de dados unificada e sensível à localização preenche essa lacuna. A plataforma de dados unificada da Qumulo garante consistência global, acesso universal e acesso de baixa latência em topologias multirregionais ou híbridas, possibilitando um novo paradigma de arquitetura de dados alinhado às modernas fábricas de IA.
Nesta publicação, descrevemos os elementos arquitetônicos dessa plataforma de dados unificada, capaz de suportar cargas de trabalho de IA em grande escala, como o treinamento de modelos de base. Também mostramos como Amazon SageMaker HyperPod, em conjunto com Qumulo Nativo da Nuvem (CNQ), oferece um ambiente completo para treinamento distribuído de IA/ML. O SageMaker HyperPod proporciona orquestração e escalonamento resilientes de clusters de GPU, enquanto o CNQ com o Cloud Data Fabric (CDF) garante que os dados estejam acessíveis, com baixa latência, entre regiões ou locais. Ilustramos arquiteturas de referência verificadas que combinam o SageMaker HyperPod com o CNQ em uma implantação em uma única região (veja a Figura 1) e em várias regiões (veja a Figura 2), juntamente com detalhes de integração entre o Qumulo e o SageMaker HyperPod.
Ao combinar o Qumulo com o SageMaker HyperPod (e outras ferramentas de IA na nuvem ou no local), as organizações podem:
Acelere o tempo para obter resultados das etapas pré e pós-treinamento em mais de 25%.
Implemente cargas de trabalho de IA em seus dados geograficamente distribuídos e supere a escassez crescente de recursos computacionais.
Reduzir os custos operacionais do ciclo de dados de IA sem necessidade de orquestração
Unificar as políticas de governança e segurança de dados em todos os ambientes.
Figura 1: Arquitetura do Amazon Sagemaker Hyperpod no Qumulo (conjunto de dados de uma única região)
Uma plataforma de dados unificada para o treinamento de modelos de base
A seguir estão os principais elementos para o treinamento do modelo de base de apoio utilizando dados locais ou dados distribuídos geograficamente:
Acesso de alta capacidade e baixa latência aos dados relativos à utilização sustentada da GPU, tanto localmente quanto remotamente.
Escalabilidade elástica para lidar com conjuntos de dados de vários petabytes e clusters de computação com tamanho dinâmico.
Suporte a múltiplos protocolos para oferecer bibliotecas baseadas em arquivos ideais, como o PyTorch
Visibilidade e governança globais para atender aos requisitos de residência de dados e conformidade.
A Qumulo oferece cada uma dessas funções por meio de sua arquitetura exclusiva “run-anywhere”, que permite que os recursos diferenciados sejam implementados em qualquer combinação de recursos de computação, memória e armazenamento. Isso permitiu que a plataforma de dados operasse com os melhores custos e desempenho da categoria na nuvem (AWS, Azure, GCP e OCI), bem como em qualquer hardware de servidor local, incluindo equipamentos da HPE, Cisco, Penguin e outros. Essa é a base de uma plataforma unificada, mas tão importante quanto isso é o suporte multiprotocolo da Qumulo para que os aplicativos acessem e gerenciem os dados nessas diferentes localizações. Isso facilita a integração em todo o ecossistema de aplicativos corporativos, incluindo várias cadeias de ferramentas de desenvolvimento de IA, como PyTorch, TensorFlow e JAX. Isso também é fundamental para permitir uma integração fácil com o Amazon SageMaker Hyperpod.
Garantir alto desempenho é fundamental em execuções de treinamento que exigem alto custo, nas quais o Qumulo NeuralCache Essa funcionalidade oferece desempenho ideal em arquiteturas de dados locais e geograficamente distribuídas. A título de exemplo, as latências médias ficaram abaixo de um milissegundo no treinamento do llama-3.1-8B utilizando várias instâncias EC2 P5e da AWS (cada uma com 8 GPUs Nvidia H200 Tensor Core). Coletamos mais dados de desempenho que serão publicados separadamente para implantações em uma única região e em várias regiões.
Para equipes de IA, o desenvolvimento de modelos exige várias execuções de treinamento, que geralmente utilizam dados fora do local com recursos de computação acelerados. Um exemplo disso é a necessidade de realizar uma execução de treinamento na região 1, mas que acaba sendo adiada por dias ou até semanas devido a problemas de escassez de GPUs. A abordagem “faça você mesmo” (DIY) resulta em centenas de pipelines para preparar cada conjunto de dados pré-selecionado para sessões de treinamento e validação em um local de computação acelerada. Isso resulta em atrasos no tempo de treinamento, dispersão de dados, falta de consistência dos conjuntos de dados e problemas de governança. Uma abordagem alternativa é utilizar uma plataforma de dados unificada para transferir os dados sob demanda em seu nome, a fim de garantir desempenho, eficiência de custos e consistência entre os locais. Com Cloud Data Fabric (CDF), a Qumulo oferece uma plataforma de dados com reconhecimento de localidade. O CDF estende efetivamente um diretório/prefixo de um “hub” para um ou vários “spokes”. Os “spokes” são totalmente coerentes e utilizam o reconhecimento de localidade e o conjunto de modelos do Neural Cache para decidir quais dados devem ser pré-buscados para cada carga de trabalho. Como resultado, o CDF permite que os “spokes” ofereçam às aplicações desempenho local. Ilustramos uma arquitetura verificada com o SageMaker HyperPod e o Qumulo nas Figuras 1 e 2.
Trata-se, na prática, de um novo paradigma de dados para equipes de IA que reduzirá o tempo necessário para os engenheiros obterem resultados e aumentará o desempenho de novos modelos, graças a um ciclo de dados otimizado e sem orquestração. A modelagem de custos mostra que o uso dessa abordagem pode reduzir o TCO em mais de 30%. Para atingir essas metas, os principais recursos de uma plataforma de dados unificada com o Qumulo estão descritos a seguir;
Acesso a dados elástico e de alto desempenho para computação acelerada
Escala de 1 GB/s a 1 TB/s taxa de transferência com latência inferior a um milissegundo, conforme mostrado em Testes de desempenho de imagens com IA.
Mantenha as GPUs totalmente utilizadas, eliminando os atrasos de E/S durante o carregamento de dados, o particionamento, a criação de pontos de verificação ou o ajuste fino.
Adapte-se automaticamente a cada carga de trabalho de treinamento utilizando o NeuralCache™, que emprega inteligência artificial para armazenamento em cache e pré-busca, tanto local quanto remotamente.
Estrutura de Dados Unificada para Mobilidade de Cargas de Trabalho
Latências otimizadas nos “spokes” por meio do NeuralCache™, que utiliza cache e pré-busca baseados em IA, transferindo dados de forma integrada dos clusters “hub” do Qumulo para/de vários clusters “spoke” do Qumulo.
Compactar, deduplicar e otimizar as transferências de dados para a WAN, a fim de reduzir o volume de dados transferidos em mais de 30% em comparação com as cópias manuais.
Aplique dados consistentes em todos os ambientes por meio de metadados compartilhados, como informações de versão.
Flexibilidade multiprotocolo
Suporte nativo para S3, NFS, SMB, REST e SFTP elimina a necessidade de refatoração, reestruturação ou cópias redundantes...
Cientistas de dados, engenheiros e equipes de simulação podem acessar os mesmos conjuntos de dados com suas ferramentas preferidas.
Reduz a sobrecarga de orquestração de dados em até 4 vezes em comparação com o armazenamento tradicional em silos.
SageMaker HyperPod com Qumulo
Para demonstrar isso, a Qumulo verificou um fluxo de trabalho comum de modelo de base utilizando SageMaker HyperPod implantado na mesma região que os dados de treinamento, bem como em uma região separada do conjunto de dados de treinamento. O resultado é um treinamento global do modelo, sem duplicação de dados nem orquestração, mas preservando a consistência e reduzindo o custo total de propriedade. Um detalhe importante é que, na maioria dos esforços de desenvolvimento de modelos de IA, observamos que apenas 30% dos dados rotulados são utilizados por rodada de treinamento, além de haver uma sobreposição significativa entre a primeira rodada e as subsequentes. Isso leva a um ROI mais alto em comparação com a replicação do conjunto de dados a cada rodada, o que é um cenário comum para a maioria das equipes em seus esforços de orquestração. Ainda mais impactante para a melhoria do ROI é o fato de que muitas equipes criaram catálogos de dados complexos para evitar redundâncias com esse objetivo, o que não é mais necessário construir, manter e evoluir quando o Qumulo CDF é utilizado.
SageMaker HyperPod com Qumulo – Conjunto de dados em uma única região
Nesta implantação, implantamos o CNQ com os dados de treinamento na mesma região do SageMaker HyperPod. O CNQ foi implantado em uma única zona de disponibilidade, que não estava localizada junto aos nós EC2 P5e. A arquitetura é mostrada na Figura 1.
SageMaker HyperPod com Qumulo – Conjunto de dados multirregional
Nesta implantação, implantamos o CNQ na região 2 como hub e na região 1 como spoke. O CDF distribuiria os dados de maneira otimizada de e para a pasta “CNQ Spoke”. Isso permite que apenas os dados necessários para o treinamento sejam distribuídos para o spoke.
Figura 2: Arquitetura do Amazon Sagemaker Hyperpod no Qumulo para conjuntos de dados multirregionais
SageMaker HyperPod com Qumulo – Opção híbrida ou multicloud
Muitas empresas já operam clusters de GPU em um ambiente, enquanto seus conjuntos de dados permanecem em outro. O Cloud Data Fabric da Qumulo permite topologias híbridas ou multicloud sem interrupções, sem a necessidade de orquestração:
Do ambiente local para a nuvem: Realize o treinamento no SageMaker HyperPod ou no Azure AI Foundry utilizando clusters locais do Qumulo como fonte de dados oficial. Ilustramos isso na Figura 2.
Multicloud: Utilize instâncias do Qumulo na AWS, no Azure e no GCP com controles unificados de namespace e políticas.
Da periferia ao centro: Colete, organize e utilize dados gerados na borda para treinamento — sem tarefas complexas de replicação.
Figura 3: Arquitetura do Amazon Sagemaker Hyperpod no Qumulo para conjuntos de dados híbridos
Integração do Qumulo com o SageMaker HyperPod
Apresentamos a seguir uma receita comprovada para uma implantação em uma única região utilizando Qumulo Cloud Native (CNQ) no AWS Marketplace para integração com o SageMaker Hyperpod. Nesta receita, o CNQ oferece suporte aos dados de treinamento e aos pontos de verificação, além de utilizar o driver CSI do NFS para permitir implantações dinâmicas de contêineres no SageMaker Hyperpod.
Para reproduzir uma configuração validada, apresentamos as seguintes etapas:
Etapa 1: Provisionamento do Amazon EKS e do cluster HyperPod
Seguimos o Guia de configuração do EKS e do HyperPod para implantar um cluster do EKS e integrar o SageMaker HyperPod.
# Criar cluster EKS com grupos de nós gerenciados
eksctl create cluster \
--name hyperpod-eks \
--version 1.29 \
--region us-west-2 \
--nodegroup-name workers \
--node-type P5.4xlarge \
--nodes 2 \
--nodes-min 2 \
--nodes-max 8
# Confirme se os nós estão prontos
kubectl get nodes
Etapa 2: Implantar o cluster do Qumulo por meio do Terraform
A implantação do Qumulo Cloud Native (CNQ) na AWS com o Terraform envolve a configuração de uma plataforma de dados em arquivo totalmente elástica que utiliza o AWS S3 para armazenamento persistente e instâncias EC2 para recursos de computação e cache. O processo de implantação segue a Estrutura de Boa Arquitetura da AWS, garantindo escalabilidade, segurança e eficiência operacional. Antes de começar, o ambiente deve atender a vários pré-requisitos, incluindo permissões adequadas do IAM, conectividade de saída à Internet para os endpoints do Qumulo e a configuração de um gateway VPC do S3, caso seja utilizado. O pacote de implantação do Terraform fornece modelos modulares que automatizam o provisionamento de todos os recursos necessários da AWS.
A implantação ocorre em duas fases principais. Primeiro, o armazenamento persistente é configurado por meio da criação dos buckets do S3 que armazenarão os dados do Qumulo, utilizando configurações do Terraform. Após a criação do armazenamento, a segunda fase implanta as instâncias do EC2 que hospedam o Qumulo Core. O Terraform lida automaticamente com a consistência da configuração, as convenções de nomenclatura e o gerenciamento de dependências, marcando todos os recursos com um identificador de implantação exclusivo para evitar conflitos entre vários clusters.
Após a implantação, as tarefas pós-implantação incluem validar a configuração do cluster, confirmar o provisionamento bem-sucedido por meio do AWS Systems Manager e, opcionalmente, configurar a resolução de DNS usando o DNS autoritativo da Qumulo. O resultado é um cluster Qumulo nativo da nuvem e totalmente operacional, capaz de gerenciar dados na escala de petabytes com a elasticidade, acesso multiprotocolo para Acesso via S3, NFS, SMB, FTP e REST API e os benefícios de integração da AWS.
Siga o Guia para implantar o CNQ na AWS usando o Terraform para obter instruções detalhadas.
Etapa 3: Criar usuário do Qumulo e exportação NFS
Usando o Ferramenta GUI do Qumulo (acessível por meio de um navegador HTTP):
Adicionei um novo usuário e permissões.
Crie um caminho de exportação NFS /ai-factory-data.
Referência: Como criar uma exportação NFS.
Etapa 4: Instalar o driver CSI e configurar os PVCs
Para conectar as cargas de trabalho do Kubernetes ao Qumulo, instalamos o driver CSI e definimos os PVCs.
# Instalar o driver CSI do Qumulo
helm repo add csi-driver-nfs https://raw.githubusercontent.com/kubernetes-csi/csi-driver-nfs/master/charts
helm install csi-driver-nfs csi-driver-nfs/csi-driver-nfs --namespace kube-system --version 4.12.0
# Exemplo de configuração de PV
apiVersion: v1
kind: PersistentVolume
metadata:
name: pv-qumulo-static
spec:
capacity:
storage: 50Ti
accessModes:
- ReadWriteMany
persistentVolumeReclaimPolicy: Retain
storageClassName: ""
mountOptions:
- vers=3
- proto=tcp
- nolock
csi:
driver: nfs.csi.k8s.io
# ID exclusivo para este diretório/volume; use um identificador estável baseado no caminho volumeHandle: qumulo-nfs-root
volumeAttributes:
server: qumulo.qumulo-hub.com
share: "/csi"
# Exemplo de configuração de PVC
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: pvc-qumulo-static
spec:
accessModes:
- ReadWriteMany
resources:
requests:
storage: 50Ti
storageClassName: ""
volumeName: pv-qumulo-static
Referência: Como conectar o Kubernetes ao driver CSI.
Etapa 5: Executar a carga de trabalho
Implementamos um Modelo Llama 2 usando PyTorch FSDP no Kubernetes.
# Iniciar um trabalho distribuído do Llama 2 com o FSDP
kubectl create -f llama2-fsdp-job.yaml
A configuração seguiu o exemplo da AWS: Exemplo do Llama 2 FSDP.
Essa configuração está pronta para produção, foi validada tanto para operações em uma única região quanto em várias regiões e serve de modelo para fábricas de IA híbridas e multicloud.
Conclusão
À medida que as empresas ampliam suas ambições em IA, a capacidade de treinar modelos onde há recursos de computação disponíveis, sem precisar se deslocar até onde os dados estão armazenados, melhora a eficiência operacional e reduz o tempo total para a obtenção de resultados nas linhas de negócios. O Qumulo, seja no local, na nuvem ou na borda, é um facilitador para alcançar isso da maneira mais econômica, com o desempenho e a simplicidade necessários para o desenvolvimento de modelos de base. Ao combinar o Qumulo com o SageMaker HyperPod (e outras estruturas de desenvolvimento de IA na nuvem ou no local), as organizações podem:
Acelere o tempo para obter resultados das etapas pré e pós-treinamento em mais de 25%.
Implemente cargas de trabalho de IA em seus dados geograficamente distribuídos e supere a escassez crescente de recursos computacionais.
Reduzir os custos operacionais do ciclo de dados de IA sem necessidade de orquestração
Unificar as políticas de governança de dados e de segurança em todos os ambientes.
Independentemente de suas GPUs estarem na AWS, no Azure, no GCP ou no ambiente local, a Qumulo possibilita uma estratégia de IA que permite treinar em qualquer lugar e gerenciar em qualquer lugar.
Saiba mais em qumulo.com/ai