Você está de cabeça em planejar sua próxima solução de IA/ML. Já tomou todas as decisões relacionadas ao armazenamento? Local versus nuvem? Objeto versus arquivo? Onde você vai executar suas soluções de IA/ML?
A propósito, antes de começar, preciso desabafar uma coisa. Eu odeio o termo inteligência artificial. Sério, a IA é menos inteligente do que uma maçaneta! É só matemática e estatística, com volumes simplesmente gigantescos de dados processados a cada hora, em mais unidades de processamento do que existiam no mundo inteiro há apenas algumas décadas.
Aqui está um ótimo artigo sobre O que está REALMENTE acontecendo nos bastidores do ChatGPT?. Eu detesto tanto o termo IA que vou usar ML neste post.
Bom, vou parar de dar sermão. Vamos falar sobre por que o armazenamento é tão importante para a IA — quer dizer, para o aprendizado de máquina…
O aprendizado de máquina gira em torno de dados. Basta encontrá-los!
Os dados que alimentam as cargas de trabalho de aprendizado de máquina são em todos os lugares. O mesmo vale para a necessidade de soluções de aprendizado de máquina. Alguns exemplos (todos extraídos dos fluxos de trabalho reais de nossos clientes):
Fábricas. Câmeras instaladas em todos os lugares capturam todo tipo de informação em tempo real durante as operações de fabricação automatizadas. Tudo isso é agregado continuamente em um armazenamento local.
Os dados de todas as linhas de produção são centralizados (na nuvem ou no local) e passam a servir de base para o treinamento de modelos destinados a automatizar a detecção de falhas. Soluções de aprendizado de máquina em cada fábrica e, em seguida, os modelos de inferência resultantes para melhorar os rendimentos.
A propósito, temos clientes que estão utilizando o Qumulo exatamente nesse fluxo de trabalho!
Veículos autônomos. Vídeos multiespectrais em alta definição do mundo real são capturados continuamente, inicialmente por centenas de veículos de teste, depois por milhares de veículos experimentais e, por fim, por milhões de veículos comuns.
O carro envia esses vídeos de volta para a sede por meio do seu Wi-Fi (Tesla, estou falando com você!). Os dados acima são a fonte utilizada para treinar os modelos que auxiliam os motoristas, ativam o piloto automático e tornam os carros autônomos uma realidade.
Os modelos de inferência derivados do exposto acima são executados por mecanismos de inferência instalados nos carros para processar dados em tempo real.
E sim, também temos clientes que utilizam o Qumulo nesse fluxo de trabalho!
Segurança assistida por IA: Centenas de milhares de dispositivos de rede geram registros de atividade que são consolidados localmente e agregados (na nuvem, no local ou em ambos). Isso constitui o conjunto de dados de treinamento para os modelos que detectam invasões não autorizadas na rede.
Os dispositivos de rede modernos utilizam esses modelos de inferência para analisar eventos observados em tempo real, com o objetivo de detectar invasões não autorizadas.
Você adivinhou: temos clientes que fazem isso hoje em dia!
Você consegue identificar o ponto em comum? Trata-se de um fluxo de trabalho “onipresente”, desde a borda da rede até o núcleo e nas nuvens públicas.
Escolhas, escolhas, escolhas
E quanto à solução de aprendizado de máquina? você em que estão trabalhando? Assim como nesses casos de uso, você terá que tomar uma série de decisões importantes sobre onde e como construir seus modelos. Deixe-me explicar…
Edge, Core ou nuvem? Onde ficarão seus dados? Onde ficará o modelo? Onde ficará a solução? O pessoal da nuvem insiste que é (e sempre estará) na nuvem. E, sim, eles têm um viés, mas também têm razão.
Afinal, que organização seria capaz de acompanhar a infraestrutura necessária para colocar em operação os LLMs de treinamento, quando praticamente toda a pilha de tecnologias muda semanalmente? Conversei com muitas organizações que afirmam que o aprendizado de máquina (ML) foi o fator decisivo no debate interno entre a nuvem e as instalações locais.
Mas antes de darmos o “fim do jogo”, eis uma tendência interessante. Converso com muitos clientes que gastam centenas de milhões de dólares a cada trimestre na nuvem e que estão repatriando suas cargas de trabalho em estado estacionário de volta para o ambiente local. Por quê? Elas consideram que, para um maduro A solução de ML implantada no local oferece uma opção mais estável e com custo otimizado.
Em outras palavras, a experimentação rápida e a operacionalização precoce ocorrem na nuvem, enquanto soluções maduras de aprendizado de máquina (ML) oferecem mais estabilidade e melhor custo-benefício em data centers próprios e operados pela própria empresa. Mas essa é apenas uma opção…
Objeto x Arquivo? Antes de responder, pense nisso. A nuvem lida muito bem com armazenamento de objetos, mas é péssima com dados em arquivos. Já o ambiente local lida muito bem com dados em arquivos, mas é péssimo com objetos. E acabamos de discutir que você provavelmente precisará tanto da nuvem quanto do ambiente local. O que é melhor para ML? Bem… é complicado.
Por um lado, a maioria dos LLMs é de código aberto e depende de uma interface de armazenamento local para acessar dados. Isso representa um problema na nuvem, onde é necessário criar carregadores de dados personalizados que copiem os dados do armazenamento de objetos para o disco local (NVMe conectado à instância ou EBS/Discos Gerenciados) antes que as GPUs, que consomem muitos dados, possam ser alimentadas. Veja o que o Google GCP diz o seguinte a respeito:
“Mas, quando chega a hora de uma carga de trabalho de IA realmente acessar dados [de IA], isso nem sempre é simples, já que a maioria das cargas de trabalho de IA requer a semântica do sistema de arquivos, em vez da semântica de objetos que o Cloud Storage oferece.”
O que fazer?
Tantas perguntas! Local ou na nuvem para suas cargas de trabalho de IA/ML? Arquivo ou objeto como repositório dos dados que alimentam seus LLMs? Como você vai agregar dados de vários locais e gerenciá-los ao longo de todo o ciclo de vida? As decisões que você tomar determinam qual solução de armazenamento é a melhor para você – Dell, VAST, NetApp.
Ou… será que eles?
Apresentamos o Scale Anywhere™ da Qumulo, uma solução 100% baseada em software para armazenamento e gerenciamento de dados não estruturados. Precisa de uma solução para o data center principal? Nuvem pública? Temos. Arquivos? Temos. Objetos? Temos. Tome as decisões de aprendizado de máquina que quiser – nós simplesmente não me importo. O Qumulo funciona onde você precisar.
Temos clientes que utilizam diversas plataformas de hardware de servidores de armazenamento no local e em várias nuvens públicas. O melhor é que suas cargas de trabalho de dados não estruturados baseadas no Qumulo são unificadas em todos esses ambientes.
Estou sempre em contato com os clientes e recebo muitos comentários positivos sobre isso. Isso é uma novidade para mim em comparação com outras empresas em que já trabalhei, mas me acostumei rapidamente!
Encare as decisões de ML com tranquilidade com o Scale Anywhere™ da Qumulo.
A implementação de ML exige muitas decisões difíceis. Mas a escolha da plataforma de armazenamento não é uma delas. Experimente o Scale Anywhere™ com a Qumulo e você poderá gerenciar todas as suas cargas de trabalho de ML, independentemente das decisões que tomar…
Edge, Core ou Nuvem
Arquivo ou objeto
Para coleta, agregação e curadoria de dados de treinamento
Ou… para permitir que você implante seus modelos de inferência em sua infraestrutura distribuída de borda
A Qumulo é a sua opção mais simples para ML.