Une vitesse boostée par l'IA pour un budget de stockage objet

Non, NeuralCache est intégré à la plate-forme Qumulo et n'est pas une fonctionnalité facturée séparément.

Certes, certains flux de travail bénéficieront d'une plus grande accélération que d'autres, mais NeuralCache améliorera les performances de chaque flux de travail.

Dans un flux de travail traditionnel basé sur les fichiers, vous devez attendre que l'ensemble du fichier ou du projet soit téléchargé à partir du stockage distant avant de pouvoir commencer à travailler. Imaginez que vous lisiez une vidéo de plusieurs Go et que vous deviez attendre qu'elle soit entièrement téléchargée avant d'appuyer sur "play". Avec Qumulo NeuralCache, nous déplaçons intelligemment de petits morceaux du système de fichiers dans votre nuage local ou votre cluster sur site au fur et à mesure que vous l'utilisez. NeuralCache prédit efficacement les blocs qui seront probablement nécessaires ensuite et apporte ces données avant que vous ne les demandiez. Si vous changez d'activité, par exemple, si vous nettoyez un fichier vidéo, NeuralCache s'adaptera rapidement à vos nouveaux modèles et récupérera les données pertinentes pour votre travail en cours.

NeuralCache réduit les frais en servant la grande majorité des demandes de lecture directement à partir du cache local, évitant ainsi les coûteuses demandes GET au stockage d'objets. Pour ce qui est de l'écriture, le système regroupe, compacte et compresse les nouvelles modifications de données dans des objets plus grands et très efficaces avant de les envoyer au magasin d'objets. Ce processus peut regrouper des centaines d'opérations d'écriture individuelles en une seule requête PUT, réduisant ainsi les coûts globaux de l'API jusqu'à 99 %.

Pour l'IA, NeuralCache permet des pipelines sans copie où les modèles peuvent ingérer des données directement à partir de l'espace de noms avec une latence inférieure à la milliseconde, ce qui se traduit par des temps de démarrage des tâches plus rapides et des performances d'entraînement très cohérentes. Pour les VFX et la production de médias, le système précharge de manière proactive les ressources critiques (comme les séquences brutes, les textures et les fichiers de projet), ce qui permet une lecture fluide des médias, élimine les retards de scrubbing de la ligne de temps et évite les pics de latence lors de l'édition et du rendu.

Plutôt que d'attendre qu'une application demande des données, NeuralCache utilise des modèles prédictifs d'apprentissage automatique formés sur des trillions de transactions de fichiers réelles. Il utilise un "jumeau numérique" continuellement mis à jour pour analyser le comportement des applications en direct, la disposition des fichiers et les schémas d'accès. En combinant ces signaux avec des scores de chaleur à court et à long terme, le système anticipe avec précision les données qui seront nécessaires par la suite et les précharge de manière proactive dans des caches locaux hautes performances (tels que NVMe et DRAM) avant même que la demande ne soit faite.