Laboratorio de geofísica de alto rendimiento

Aceleración de la información sísmica: cómo HPG de UNICAMP y Azimuta utilizaron Qumulo para escalar cargas de trabajo de HPC en AWS

Proporcionar información sísmica más rápida mediante la explosión de la nube híbrida, ayudando a UNICAMP a acelerar los flujos de trabajo y maximizar el rendimiento de HPC en AWS.

En el Laboratorio de Geofísica de Alto Rendimiento (HPG) - parte de UNICAMP, la Universidade Estadual de Campinas (Brasil), los investigadores superan los límites de la computación para descubrir datos sísmicos críticos que impulsen la exploración y la innovación en la industria del petróleo y el gas. Dirigido por Jorge Henrique Faccipoeri Jr, el laboratorio desarrolla modelos matemáticos avanzados y software optimizado para GPU con el fin de procesar terabytes de datos sísmicos y revelar características sutiles del subsuelo como fracturas, cuevas y trampas en las que puede encontrarse petróleo y gas.

Faccipoeri se asoció con Caian Benedicto, un desarrollador de software de HPG, y varias personas más para fundar AZIMUTA GeoSolutions (AZIMUTA), una empresa independiente de servicios geofísicos especializada en soluciones de procesamiento sísmico y de imágenes de alto rendimiento para la industria del petróleo y el gas. Juntos, HPG y AZIMUTA se centran en el avance de las técnicas de computación de alto rendimiento (HPC) para acelerar y mejorar la interpretación sísmica.

A medida que las cargas de trabajo y los volúmenes de datos aumentaban, la infraestructura on-premise del laboratorio ya no podía satisfacer los picos de demanda. Para acelerar la investigación y mantener la flexibilidad, HPG se asoció con Qumulo y AWS para explorar una solución de cloud bursting que conectara a la perfección los entornos on-prem y en la nube.

El desafío

El procesamiento sísmico exige un alto rendimiento y un alto grado de paralelismo. Cada conjunto de datos puede abarcar varios terabytes, con software distribuido basado en GPU que lee datos de muchos nodos de cálculo simultáneamente. La infraestructura de almacenamiento local de HPG funcionaba bien para las cargas de trabajo diarias, pero a medida que varios departamentos compartían recursos, la disponibilidad de cálculo y almacenamiento se vio limitada.

Para mantener los proyectos según lo previsto, el equipo necesitaba la capacidad de irrumpir en la nube bajo demanda, aprovechando los recursos informáticos de AWS sin modificar sus flujos de trabajo existentes ni duplicar conjuntos de datos masivos. La solución también debía preservar la visibilidad completa entre el almacenamiento on-premise y en la nube, al tiempo que proporcionaba el mismo perfil de desempeño que los investigadores esperaban en el laboratorio.

La solución

Trabajando con Qumulo, HPG implementó una configuración híbrida que utiliza Qumulo Core on-premises y Cloud Native Qumulo (CNQ) en AWS, conectados a través de Qumulo Cloud Data Fabric (CDF).

CDF sirve como puente de datos entre entornos, lo que permite a los investigadores acceder y procesar los mismos archivos desde cualquier ubicación sin necesidad de migrar o replicar conjuntos de datos completos. Los portales de datos se configuraron con el clúster on-premise como centro y el clúster AWS CNQ como radio, creando una capa de almacenamiento en caché inteligente en la nube.

Cuando los investigadores lanzaron trabajos de procesamiento sísmico en AWS, NeuralCache de Qumulo precargó automáticamente solo los bloques de datos necesarios. Este almacenamiento en caché adaptable, basado en el aprendizaje automático, permitió repetir experimentos rápidamente con tiempos de acceso mucho más rápidos.

El viaje de la implantación

La prueba de concepto se diseñó para validar el rendimiento, la escalabilidad y la facilidad de integración. En cuestión de días, Qumulo Core estaba operativo en el centro de datos de HPG, CNQ se desplegó en cuestión de minutos en AWS y Cloud Data Fabric conectó sin problemas los dos entornos. Una vez configurado, el tejido de datos de Qumulo sincroniza automáticamente los datos entre los entornos en las instalaciones y en la nube, actualizando solo los bloques de datos modificados y manteniendo ambos entornos perfectamente alineados.

Esta caché inteligente y de gran coherencia eliminó la necesidad de mantener manualmente copias de archivos o conciliar versiones, garantizando que cada acceso a los datos en AWS hiciera referencia a una única fuente de verdad. Los investigadores podían transferir cargas de trabajo informáticas a la nube con confianza, sabiendo que sus aplicaciones siempre utilizaban los datos más recientes sin alterar los flujos de trabajo existentes.

Estos resultados demostraron cómo el almacenamiento en caché inteligente de Qumulo y la experiencia coherente del sistema de archivos permiten que los flujos de trabajo de HPC se ejecuten sin problemas en distintos entornos, sin necesidad de realizar cambios en las aplicaciones.

Impacto empresarial

• Mayor rapidez de comprensión: Las ráfagas en la nube redujeron la latencia de acceso a los datos hasta 3 veces, acelerando los experimentos sísmicos iterativos y el ajuste de modelos.

• Escalabilidad elástica: Ahora, los investigadores pueden escalar los recursos informáticos acelerados en la GPU en AWS bajo demanda, sin estar limitados por la disponibilidad de hardware local.

• Acceso a datos híbridos sin fisuras: Cloud Data Fabric ofrece una capa de datos unificada en la nube y en las instalaciones locales, lo que elimina la necesidad de migración manual o duplicación.

• Infraestructura simplificada: La instalación fue sencilla y la configuración híbrida no requirió la reestructuración de aplicaciones o flujos de trabajo.

De cara al futuro

Juntos, Qumulo, HPG y AZIMUTA están allanando el camino para la próxima generación de flujos de trabajo HPC híbridos combinando la elasticidad de la computación en nube con el rendimiento de los sistemas locales. Gracias al almacenamiento inteligente de datos en caché y a la irrupción sin fisuras de la nube, Qumulo permite a los investigadores centrarse en el avance de la ciencia sísmica en lugar de en la gestión de la infraestructura.