Schnellere Erkenntnisse in der Seismik: Wie das HPG der UNICAMP und Azimuta mit Qumulo HPC-Workloads in AWS skalierten
Schnellere seismische Erkenntnisse durch Hybrid-Cloud-Bursting – so unterstützt UNICAMP die Beschleunigung von Arbeitsabläufen und die Maximierung der HPC-Leistung in AWS.
Bei der Labor für Hochleistungsgeophysik (HPG) — Als Teil der UNICAMP, der „Universidade Estadual de Campinas“ in Brasilien — loten Forscher die Grenzen der Rechenleistung aus, um wichtige seismische Erkenntnisse zu gewinnen, die die Exploration und Innovation in der Öl- und Gasindustrie vorantreiben. Unter der Leitung von Jorge Henrique Faccipoeri Jr. entwickelt das Labor fortschrittliche mathematische Modelle und GPU-optimierte Software zur Verarbeitung von Terabytes an seismischen Daten, um subtile unterirdische Merkmale wie Klüfte, Höhlen und Fallen aufzudecken, in denen Öl und Gas vorkommen könnten.
Faccipoeri gründete gemeinsam mit Caian Benedicto, einem Softwareentwickler von HPG, und mehreren weiteren Partnern das Unternehmen AZIMUTA GeoSolutions (AZIMUTA), einen unabhängigen Anbieter geophysikalischer Dienstleistungen, der sich auf leistungsstarke Lösungen zur seismischen Datenverarbeitung und Bildgebung für die Öl- und Gasindustrie spezialisiert hat. Gemeinsam konzentrieren sich HPG und AZIMUTA auf die Weiterentwicklung von Hochleistungsrechentechniken (HPC), um die seismische Interpretation zu beschleunigen und zu verbessern.
Angesichts steigender Arbeitslasten und Datenmengen konnte die lokale Infrastruktur des Labors den Spitzenbedarf nicht mehr decken. Um die Forschung zu beschleunigen und gleichzeitig die Flexibilität zu wahren, ging HPG eine Partnerschaft mit Qumulo und AWS ein, um eine Cloud-Bursting-Lösung zu erproben, die lokale und Cloud-Umgebungen nahtlos miteinander verbindet.
Unsere Software ist so konzipiert, dass sie überall eingesetzt werden kann – vor Ort oder in der Cloud. Um dies zu erreichen, benötigten wir eine Speicherlösung, die ebenfalls überall eingesetzt werden kann. Genau das hat Qumulo uns geboten.
Caian Benedicto
Softwareentwickler bei HPG und Mitbegründer von AZIMUTA
Die Herausforderung
Die seismische Datenverarbeitung erfordert sowohl einen hohen Durchsatz als auch parallele Rechenleistung. Jeder Datensatz kann mehrere Terabyte umfassen, wobei verteilte, GPU-basierte Software Daten gleichzeitig von vielen Rechenknoten ausliest. Die lokale Speicherinfrastruktur von HPG funktionierte für die täglichen Arbeitslasten gut, doch da sich mehrere Abteilungen die Ressourcen teilten, kam es zu Engpässen bei der Verfügbarkeit von Rechenleistung und Speicherplatz.
Um Projekte im Zeitplan zu halten, musste das Team in der Lage sein, bei Bedarf auf die Cloud zurückzugreifen und AWS-Rechenressourcen zu nutzen, ohne dabei bestehende Arbeitsabläufe umstellen oder riesige Datensätze duplizieren zu müssen. Die Lösung musste zudem die vollständige Transparenz zwischen lokalen und Cloud-Speichern gewährleisten und gleichzeitig das gleiche Leistungsprofil bieten, das die Forscher aus dem Labor gewohnt waren.
Wenn unsere lokalen Rechner ausgelastet sind, müssen wir sofort skalieren können. Cloud-Bursting bietet uns diese Flexibilität – allerdings nur, wenn unsere Daten genauso übertragen werden und genauso funktionieren können wie vor Ort.
Caian Benedicto
Softwareentwickler bei HPG und Mitbegründer von AZIMUTA
Die Lösung
In Zusammenarbeit mit Qumulo hat HPG eine Hybridkonfiguration implementiert, bei der Qumulo Core vor Ort und Cloud Native Qumulo (CNQ) auf AWS zum Einsatz kommen, die über Qumulo Cloud Data Fabric (CDF) miteinander verbunden sind.
CDF fungiert als Datenbrücke zwischen den Umgebungen und ermöglicht es Forschern, von beiden Standorten aus auf dieselben Dateien zuzugreifen und diese zu verarbeiten, ohne vollständige Datensätze migrieren oder replizieren zu müssen. Die Datenportale wurden so konfiguriert, dass der lokale Cluster als Hub und der AWS-CNQ-Cluster als Spoke fungieren, wodurch eine intelligente Caching-Ebene in der Cloud geschaffen wurde.
Als die Forscher in AWS Aufträge zur seismischen Datenverarbeitung starteten, lud Qumulos NeuralCache automatisch nur die erforderlichen Datenblöcke vorab. Dieses adaptive Caching, das auf maschinellem Lernen basiert, ermöglichte eine schnelle Wiederholung der Experimente mit deutlich kürzeren Zugriffszeiten.
Der Weg zur Einführung
Der Proof-of-Concept diente dazu, die Leistung, Skalierbarkeit und einfache Integration zu überprüfen. Innerhalb weniger Tage war Qumulo Core im Rechenzentrum von HPG betriebsbereit, CNQ wurde innerhalb von Minuten auf AWS bereitgestellt, und Cloud Data Fabric verband die beiden Umgebungen nahtlos miteinander. Nach der Konfiguration synchronisiert die Data Fabric von Qumulo automatisch die Daten zwischen den lokalen und den Cloud-Umgebungen, wobei nur geänderte Datenblöcke aktualisiert werden und beide Umgebungen perfekt aufeinander abgestimmt bleiben.
Dieser intelligente, stark konsistente Cache machte die manuelle Pflege von Dateikopien oder den Abgleich von Versionen überflüssig und stellte sicher, dass jeder Datenzugriff in AWS auf eine einzige verlässliche Datenquelle zurückgriff. Forscher konnten Rechenlasten bedenkenlos in die Cloud verlagern, da sie wussten, dass ihre Anwendungen stets die aktuellsten Daten verwendeten, ohne dass bestehende Arbeitsabläufe verändert werden mussten.
Diese Ergebnisse zeigten, wie das intelligente Caching und das konsistente Dateisystem von Qumulo es ermöglichen, dass HPC-Workflows nahtlos über verschiedene Umgebungen hinweg ausgeführt werden können, ohne dass Änderungen an den Anwendungen erforderlich sind.
Auswirkungen auf das Geschäft
Schnellere Erkenntnisse: Durch Cloud-Bursting konnte die Latenz beim Datenzugriff um das bis zu Dreifache reduziert werden, wodurch iterative seismische Experimente und die Modelloptimierung beschleunigt wurden.
Elastische Skalierbarkeit: Forscher können nun GPU-beschleunigte Rechenressourcen in AWS bedarfsgerecht skalieren, ohne durch die Verfügbarkeit lokaler Hardware eingeschränkt zu sein.
Nahtloser hybrider Datenzugriff: Cloud Data Fabric bietet eine einheitliche Datenebene, die lokale Systeme und die Cloud miteinander verbindet, wodurch manuelle Migrationen oder Duplikate überflüssig werden.
Vereinfachte Infrastruktur: Die Einrichtung war unkompliziert, und die Hybridkonfiguration erforderte keine Neugestaltung von Anwendungen oder Arbeitsabläufen.
Wir mussten weder unsere Systeme neu gestalten noch unsere Arbeitsweise ändern. Mit Qumulo konnten wir HPC überall ausführen – mit derselben Transparenz und Leistung.
Caian Benedicto
Softwareentwickler bei HPG und Mitbegründer von AZIMUTA
Ein Blick in die Zukunft
Gemeinsam ebnen Qumulo, HPG und AZIMUTA den Weg für die nächste Generation hybrider HPC-Workflows, indem sie die Flexibilität des Cloud-Computing mit der Leistung lokaler Systeme verbinden. Dank intelligentem Daten-Caching und nahtlosem Cloud-Bursting ermöglicht Qumulo Forschern, sich auf die Weiterentwicklung der Seismik zu konzentrieren, anstatt sich um die Verwaltung der Infrastruktur kümmern zu müssen.
Durch die Beschleunigung der Verarbeitung seismischer Daten können wir schneller fundiertere Bohrentscheidungen treffen, kostspielige Trockenbohrungen vermeiden und unsere Kapitalrendite optimieren.
Caian Benedicto
Softwareentwickler bei HPG und Mitbegründer von AZIMUTA