Accélérer l'analyse sismique : comment HPG d'UNICAMP et Azimuta ont utilisé Qumulo pour mettre à l'échelle les charges de travail HPC dans AWS
Fournir des informations sismiques plus rapidement grâce au cloud hybride, en aidant UNICAMP à accélérer les flux de travail et à maximiser les performances HPC dans AWS.
A l'occasion de la Laboratoire de géophysique à haute performance (HPG) - Au sein de l'UNICAMP (Universidade Estadual de Campinas) au Brésil, les chercheurs repoussent les limites de l'informatique pour découvrir des informations sismiques cruciales qui stimulent l'exploration et l'innovation dans l'industrie pétrolière et gazière. Dirigé par Jorge Henrique Faccipoeri Jr, le laboratoire développe des modèles mathématiques avancés et des logiciels optimisés par le GPU pour traiter des téraoctets de données sismiques, révélant des caractéristiques subtiles du sous-sol telles que des fractures, des grottes et des pièges où l'on peut trouver du pétrole et du gaz.
M. Faccipoeri s'est associé à Caian Benedicto, un développeur de logiciels de HPG, et à plusieurs autres personnes pour fonder AZIMUTA GeoSolutions (AZIMUTA), une société indépendante de services géophysiques spécialisée dans le traitement sismique à haute performance et les solutions d'imagerie pour l'industrie pétrolière et gazière. Ensemble, HPG et AZIMUTA se concentrent sur l'avancement des techniques de calcul à haute performance (HPC) pour accélérer et améliorer l'interprétation sismique.
Au fur et à mesure que les charges de travail et les volumes de données augmentaient, l'infrastructure sur site du laboratoire ne pouvait plus répondre à la demande de pointe. Pour accélérer la recherche tout en maintenant la flexibilité, HPG s'est associé à Qumulo et à AWS pour explorer une solution de cloud bursting qui connecte de manière transparente les environnements sur site et dans le cloud.
Notre logiciel est conçu pour fonctionner partout - sur site ou dans le nuage. Pour y parvenir, nous avions besoin d'une solution de stockage qui pouvait également fonctionner n'importe où. C'est exactement ce que Qumulo a fourni.
Caian Benedicto
Développeur de logiciels chez HPG et cofondateur d'AZIMUTA
Le défi
Le traitement sismique exige à la fois un débit élevé et des performances parallèles. Chaque ensemble de données peut atteindre plusieurs téraoctets, avec un logiciel distribué basé sur le GPU qui lit les données de nombreux nœuds de calcul simultanément. L'infrastructure de stockage sur site de HPG fonctionnait bien pour les charges de travail quotidiennes, mais comme plusieurs départements partageaient les ressources, la disponibilité des calculs et du stockage est devenue limitée.
Pour respecter le calendrier des projets, l'équipe devait pouvoir accéder au cloud à la demande, en exploitant les ressources informatiques d'AWS sans modifier ses flux de travail existants ni dupliquer d'énormes ensembles de données. La solution devait également préserver une visibilité totale entre le stockage sur site et le stockage en nuage, tout en offrant le même profil de performance que celui attendu par les chercheurs en laboratoire.
Lorsque nos machines locales sont occupées, nous devons pouvoir nous développer instantanément. L'éclatement dans le nuage nous offre cette flexibilité, mais seulement si nos données peuvent être déplacées et exécutées comme elles le sont sur place.
Caian Benedicto
Développeur de logiciels chez HPG et cofondateur d'AZIMUTA
La solution
En travaillant avec Qumulo, HPG a déployé une configuration hybride qui utilise Qumulo Core sur site et Cloud Native Qumulo (CNQ) sur AWS, connecté via Qumulo Cloud Data Fabric (CDF).
Le CDF sert de pont de données entre les environnements, permettant aux chercheurs d'accéder aux mêmes fichiers et de les traiter à partir de l'un ou l'autre emplacement sans avoir à migrer ou à répliquer des ensembles de données complets. Les portails de données ont été configurés avec le cluster sur site en tant que hub et le cluster AWS CNQ en tant que spoke, créant ainsi une couche de cache intelligente dans le cloud.
Lorsque les chercheurs ont lancé des tâches de traitement sismique dans AWS, le NeuralCache de Qumulo a automatiquement mis en cache les blocs de données nécessaires. Cette mise en cache adaptative, alimentée par l'apprentissage automatique, a permis de répéter rapidement les expériences avec des temps d'accès nettement plus courts.
Le parcours du déploiement
La démonstration de faisabilité a été conçue pour valider les performances, l'évolutivité et la facilité d'intégration. En quelques jours, Qumulo Core était opérationnel dans le centre de données de HPG, CNQ a été déployé en quelques minutes sur AWS et Cloud Data Fabric a connecté de manière transparente les deux environnements. Une fois configuré, le tissu de données de Qumulo synchronise automatiquement les données entre les environnements sur site et en nuage, en mettant à jour uniquement les blocs de données modifiés et en maintenant les deux environnements parfaitement alignés.
Ce cache intelligent et fortement cohérent a supprimé la nécessité de maintenir manuellement des copies de fichiers ou de rapprocher les versions, garantissant que chaque accès aux données dans AWS se réfère à une source unique de vérité. Les chercheurs pouvaient en toute confiance transférer des charges de travail informatiques dans le nuage, sachant que leurs applications utilisaient toujours les données les plus récentes sans modifier les flux de travail existants.
Ces résultats ont démontré comment la mise en cache intelligente de Qumulo et l'expérience cohérente du système de fichiers permettent aux flux de travail HPC de s'exécuter de manière transparente dans tous les environnements, sans qu'aucun changement d'application ne soit nécessaire.
Impact sur les entreprises
Un temps de réflexion plus rapide : Le cloud bursting a permis de réduire jusqu'à trois fois la latence d'accès aux données, ce qui a accéléré les expériences sismiques itératives et la mise au point des modèles.
Évolutivité élastique : Les chercheurs peuvent désormais faire évoluer à la demande les ressources de calcul accélérées par le GPU dans AWS, sans être limités par la disponibilité du matériel local.
Accès transparent aux données hybrides : Cloud Data Fabric offre une couche de données unifiée sur site et dans le nuage, éliminant ainsi la nécessité d'une migration manuelle ou d'une duplication.
Infrastructure simplifiée : L'installation a été simple et la configuration hybride n'a nécessité aucune réorganisation des applications ou des flux de travail.
Nous n'avons pas eu à repenser nos systèmes ni à changer notre façon de travailler. Qumulo nous a permis d'exécuter le HPC n'importe où, avec la même visibilité et les mêmes performances.
Caian Benedicto
Développeur de logiciels chez HPG et cofondateur d'AZIMUTA
Perspectives d'avenir
Ensemble, Qumulo, HPG et AZIMUTA ouvrent la voie à la prochaine génération de flux de travail HPC hybrides en combinant l'élasticité de l'informatique en nuage avec la performance des systèmes sur site. Grâce à la mise en cache intelligente des données et au cloud bursting transparent, Qumulo permet aux chercheurs de se concentrer sur l'avancement de la science sismique plutôt que sur la gestion de l'infrastructure.
En accélérant le traitement des données sismiques, nous pouvons prendre plus rapidement de meilleures décisions en matière de forage, ce qui permet d'éviter les puits secs coûteux et d'optimiser notre retour sur investissement.
Caian Benedicto
Développeur de logiciels chez HPG et cofondateur d'AZIMUTA