Le San Diego Supercomputer Center optimise son stockage avancé grâce à Qumulo
La communauté mondiale de la recherche scientifique s'étend sur plusieurs secteurs, individus et spécialités. Elle a cependant un point commun : la nécessité de disposer de ressources massives de calcul et de stockage de données.
Seuls quelques organismes de recherche peuvent s'offrir leur propre superordinateur et des systèmes de stockage avancés. Nombre d'entre eux se tournent vers des fournisseurs de services gérés (MSP) spécialisés pour offrir une capacité de calcul et de stockage à distance à des clients chercheurs très gourmands en données.
Le centre de supercalculateurs de San Diego mène la charge
Le San Diego Supercomputer Center, ou SDSC, est un MSP de premier plan pour la communauté scientifique du gouvernement, des universités et des entreprises.
Le SDSC est membre de XSEDE (eXtreme Science and Engineering Discovery Environment), un système virtuel unique qui permet aux chercheurs de partager de manière interactive des ressources informatiques, des collections de données et des outils de recherche avancés.
En tant qu'unité de recherche de l'Université de Californie à San Diego, SDSC utilise ses superordinateurs sur site pour exécuter des calculs avancés et tous les aspects du stockage et de l'analyse des données volumineuses, y compris l'intégration des données, la modélisation des performances, l'exploration des données et l'analyse prédictive.
SDSC travaille avec ses clients pour personnaliser les ressources des superordinateurs et des systèmes de stockage pour les projets de données extrêmes, y compris la visualisation de l'astrophysique pour l'American Museum of Natural History, les simulations à grande échelle du Big One dans le sud de la Californie, et la modélisation sophistiquée de la saison de la grippe pour les Centers for Disease Control.
Deux projets importants du SDSC sont au service de la communauté de recherche en neurosciences en plein essor : le portail NSG (Neuroscience Gateway), financé par la National Science Foundation (NSF) et le National Institute of Health (NIH), qui est le fruit d'une collaboration entre le centre, l'université de Yale et l'University College London. Le NSGportal permet aux chercheurs en neurosciences d'accéder au calcul à grande échelle pour la modélisation et le traitement des données, ce qui nécessite la gestion de données neuroscientifiques volumineuses stockées sur ses systèmes de stockage à forte intensité de données.
Une autre offre neuroscientifique en cours de développement est la passerelle NEMAR (human NeuroElectroMagnetic data Archive and tools Resources) financée par le NIH. Cette passerelle développe un accès ouvert aux données EEG (électroencéphalographie) et MEG (magnétoencéphalographie) archivées pour les neuroscientifiques. Le stockage et la gestion des données à grande échelle sont des éléments clés du projet.
"Avec Qumulo, nous avons réalisé des dépenses opérationnelles beaucoup plus faibles que celles que nous avons connues avec d'autres solutions de stockage. De plus, nous avons doublé la taille de notre cluster et nous allons probablement la doubler à nouveau bientôt."
Brian Balderston
Directeur de l'infrastructure
Les demandes des clients peuvent dépasser les super ressources
Le SDSC a été confronté à un défi concernant son infrastructure de stockage. Ces passerelles à forte intensité de données et les piles technologiques des clients doivent prendre en charge le stockage de données de haute performance et de grande capacité pour des quantités massives de données volumineuses (big data), dont la plupart ne sont pas structurées. Bien que les superordinateurs du Centre puissent facilement gérer les tâches de calcul, les systèmes de stockage des neurosciences manquaient de capacité d'extension massive et des fonctions de stockage nécessaires pour prendre en charge les données volumineuses, l'accès rapide et l'analyse avancée.
"Nos besoins en stockage pour les projets de données NSG et EEG/MEG passent de dizaines de téraoctets à des centaines de téraoctets", a déclaré Amit Majumdar, Ph.D., directeur de Data Enabled Scientific Computing au SDSC. "Le transfert et le stockage de grandes quantités de données, l'accès à grande vitesse, le partage, les fonctionnalités de recherche - tout cela devient de plus en plus important pour nos projets
Pour répondre aux exigences de ses clients, le SDSC avait besoin d'une solution de stockage qui offrirait un équilibre optimal entre performance, capacité, évolutivité, durabilité et fonctionnalité avancée, le tout à un coût raisonnable.
"Au SDSC, il est primordial de fournir des analyses et des résultats critiques, mais les charges de travail informatiques à haute performance sont incroyablement dépendantes de leur système de stockage. En tant qu'organisation, nous nous dirigeons vers l'intégration de l'informatique en nuage pour le calcul et le stockage, dans le cadre de nos passerelles scientifiques. Il est donc important pour nous de mettre à disposition des technologies cloud de pointe par l'intermédiaire de notre division Research Data Services", a ajouté M. Majumdar.
"Le transfert et le stockage de grandes quantités de données, l'accès à grande vitesse, le partage, les fonctionnalités de recherche - tous ces éléments deviennent de plus en plus importants pour nos projets
Amit Majumdar, Ph.D.
Directeur de l'informatique scientifique basée sur les données
Partenariat avec Qumulo
Le désir du Centre de trouver un nouveau type de fournisseur de stockage a été motivé par un ensemble de nouveaux clients qui avaient besoin d'une capacité de stockage de plus d'un Po. Le SDSC s'inquiétait des performances, de la fiabilité et de la gestion de ses solutions de stockage existantes à cette échelle.
Brian Balderston, directeur de l'infrastructure du SDSC, a décidé qu'il devait y avoir une meilleure solution. Il a testé plusieurs systèmes de stockage haute performance et a opté pour le stockage de fichiers dans le nuage hybride de Qumulo en tant que chef de file en matière d'infrastructure de calcul et de stockage à forte intensité de données pour la communauté de recherche nationale.
"Je pensais que nous pouvions construire un meilleur système de stockage pour notre client, qui ne nécessiterait pas autant de soins opérationnels et d'alimentation. J'ai donc contacté l'équipe de Qumulo avec nos exigences", a déclaré Balderston. "Leur système de fichiers NAS distribué et évolutif répondait à nos exigences en matière de capacité, de performance, d'intégrité des données et d'évolutivité, à un prix acceptable pour notre client
Le stockage de fichiers de Qumulo différait de l'infrastructure existante au SDSC et de celle utilisée par ses organisations clientes. La plupart des clients universitaires du Centre étaient habitués à des systèmes de fichiers parallèles à source ouverte pour les charges de travail des données de recherche. La pile logicielle propriétaire et le système de fichiers distribués de Qumulo constituaient un nouveau type de stockage et se sont rapidement révélés plus avancés et capables de gérer les charges de travail massives de la recherche scientifique, aujourd'hui et à l'avenir.
Qumulo met à l'échelle les données non structurées plus efficacement que les systèmes de fichiers parallèles, ce qui le rend idéal pour les environnements avec des nombres massifs de fichiers, des structures de répertoires et des milliards de petits fichiers. Le système de fichiers NAS évolutif prend en charge l'ingestion et l'accès rapides et offre une grande capacité de recherche. La haute disponibilité et les temps de reconstruction minimaux garantissent la sécurité et la disponibilité permanente des données, sans perte de données.
Les coûts d'investissement de Qumulo pour le SDSC ont été conformes à son budget, et les coûts opérationnels se sont avérés inférieurs aux prévisions. "Avec Qumulo, nous avons réalisé des dépenses opérationnelles bien inférieures à celles que nous avons connues avec d'autres solutions de stockage", a noté Balderston. "De plus, nous avons doublé la taille de notre cluster et nous allons probablement la doubler à nouveau bientôt SDSC a répercuté les économies réalisées sur ses clients MSP, ce qui rend sa plateforme d'hébergement encore plus attrayante.
"Il suffit de placer un autre nœud dans le rack, d'appuyer sur un bouton, et devinez quoi ? Plus d'espace"
Ben Hayes
Architecte principal des systèmes
Mise à l'échelle massive, haute performance
Aujourd'hui, Qumulo fournit au SDSC et à ses clients un stockage permanent pour les charges de travail à haute capacité et à haute performance. Les composants clés de l'infrastructure comprennent des machines virtuelles (VM), le stockage Qumulo monté sur un superordinateur et des réseaux à large bande passante. Le SDSC s'oriente vers l'intégration du stockage sur site et en nuage pour desservir ses passerelles scientifiques. Étant donné que le stockage de fichiers de Qumulo est "cloud-native", il prend en charge de manière transparente l'intégration sur site et dans le nuage.
Qumulo optimise son logiciel unique pour des lectures et des écritures rapides. L'architecture accélérée offre une latence extrêmement faible et des performances élevées en termes d'IOPS et de débit. La mise en cache prédictive et le préchargement identifient de manière proactive les modèles d'E/S et déplacent efficacement les données vers les supports les plus rapides.
Qumulo est également simple à déployer, à gérer et à accéder - des éléments essentiels pour SDSC et ses clients. "Qumulo a été incroyablement facile à gérer pour SDSC", a déclaré Balderston.
"Au lieu de concentrer notre personnel et nos ressources sur la gestion d'un certain nombre de systèmes de stockage inefficaces, nous utilisons notre temps d'ingénieur pour travailler sur des subventions à fort impact et bien financées par la National Science Foundation, le National Institute of Health et d'autres agences de financement. C'est une grande victoire pour nous tous"
Qumulo a prouvé qu'elle était une entreprise de stockage d'un genre différent - une entreprise qui a conçu son stockage pour l'ère moderne. Certains systèmes de stockage hérités fonctionnent encore pour les données structurées dans des environnements de stockage traditionnels bien définis. Mais ces produits n'ont jamais été conçus pour la croissance massive des données, les types de données non structurées, les charges de travail scientifiques intensives et les applications complexes d'aujourd'hui.
Pour satisfaire et dépasser ces nouvelles exigences en matière de stockage, Qumulo a conçu son logiciel en s'appuyant sur les principes qui sous-tendent les bases de données distribuées modernes à grande échelle. Il en résulte un système de fichiers unique aux performances et à l'évolutivité inégalées.
L'adoption par les clients en est la preuve au SDSC. "Ma plus grande réussite est probablement d'avoir mis en place ce système de stockage et de l'avoir fait adopter massivement", a déclaré M. Balderston. "Depuis la validation initiale du concept, le SDSC a atteint un nouvel ensemble de clients, dont plus de deux douzaines de laboratoires de recherche et de départements de l'Université de Californie. Je ne connais aucun autre service qui ait été adopté aussi rapidement