El Centro de Supercomputación de San Diego amplía su almacenamiento avanzado con Qumulo
La comunidad mundial de la investigación científica abarca industrias, individuos y especialidades. Sin embargo, tiene algo en común: la necesidad de recursos informáticos y de almacenamiento de datos masivos.
Sólo unas pocas organizaciones de investigación pueden permitirse su propio superordenador y sistemas de almacenamiento avanzados. Muchos recurren a proveedores de servicios gestionados (MSP) especializados para ofrecer capacidad de computación y almacenamiento remotos a clientes de investigación con gran volumen de datos.
El Centro de Supercomputación de San Diego, a la vanguardia
El Centro de Supercomputación de San Diego, o SDSC, es un MSP líder para la comunidad científica en los ámbitos gubernamental, académico y empresarial.
El SDSC es miembro de XSEDE (eXtreme Science and Engineering Discovery Environment), un sistema virtual único que permite a los investigadores compartir de forma interactiva recursos informáticos, colecciones de datos y herramientas avanzadas de investigación.
Como unidad de investigación de la Universidad de California en San Diego, el SDSC utiliza sus superordenadores in situ para ejecutar cálculos avanzados y todos los aspectos del almacenamiento y el análisis de macrodatos, incluida la integración de datos, el modelado del rendimiento, la minería de datos y el análisis predictivo.
El SDSC trabaja con sus clientes para personalizar los recursos de superordenadores y sistemas de almacenamiento para proyectos de datos extremos, como la visualización astrofísica para el Museo Americano de Historia Natural, simulaciones a gran escala de The Big One en el sur de California y sofisticados modelos de la temporada de gripe para los Centros de Control de Enfermedades.
Dos de los proyectos más importantes del SDSC están al servicio de la comunidad investigadora en neurociencia, en rápido crecimiento: el Portal de Neurociencia del Centro (NSG), financiado por la Fundación Nacional de la Ciencia (NSF) y el Instituto Nacional de la Salud (NIH), que es fruto de la colaboración entre el Centro, la Universidad de Yale y el University College de Londres. NSGportal permite a los investigadores en neurociencia acceder a la informática a gran escala para el modelado y procesamiento de datos que requiere la gestión de grandes datos neurocientíficos almacenados en sus sistemas de almacenamiento intensivo de datos.
Otra oferta neurocientífica en desarrollo es la pasarela NEMAR (human NeuroElectroMagnetic data Archive and tools Resources), financiada por los NIH. Esta pasarela está desarrollando el acceso abierto a datos archivados de EEG (electroencefalografía) y MEG (magnetoencefalografía) para neurocientíficos, y el almacenamiento y gestión de datos a gran escala son partes fundamentales del proyecto.
"Con Qumulo, nos dimos cuenta de que los gastos operativos eran mucho más bajos que los que habíamos experimentado con otras soluciones de almacenamiento. Además, hemos duplicado el tamaño de nuestro clúster y es probable que volvamos a duplicarlo pronto."
Brian Balderston
Director de Infraestructuras
La demanda de los clientes puede superar los recursos de los supermercados
El SDSC se enfrentaba a un reto en relación con su infraestructura de almacenamiento. Estas pasarelas de datos intensivos y pilas de tecnología cliente deben soportar un almacenamiento de datos de alto rendimiento y gran capacidad para cantidades masivas de big data, gran parte de ellos no estructurados. Aunque los superordenadores del centro gestionan fácilmente las tareas informáticas, los sistemas de almacenamiento de neurociencia carecían de la capacidad de escalabilidad masiva y de las funciones de almacenamiento necesarias para soportar big data, acceso rápido y análisis avanzados.
"Nuestros requisitos de almacenamiento para los proyectos de datos NSG y EEG/MEG están creciendo de decenas de terabytes a cientos de terabytes", afirma Amit Majumdar, Doctor y Director de Computación Científica Habilitada para Datos del SDSC. "La transferencia y el almacenamiento de grandes volúmenes de datos, el acceso a alta velocidad, el uso compartido, las funcionalidades de búsqueda... todo ello es cada vez más importante para nuestros proyectos"
Para cumplir con éxito los requisitos de sus clientes, SDSC necesitaba una solución de almacenamiento que ofreciera un equilibrio óptimo de rendimiento, capacidad, escalabilidad, durabilidad y funcionalidad avanzada, todo ello a un coste razonable.
"En el SDSC, la entrega de análisis y resultados críticos es primordial, pero las cargas de trabajo informáticas de alto rendimiento dependen en gran medida de su sistema de almacenamiento. Como organización, estamos avanzando hacia la integración de la nube tanto para computación como para almacenamiento, como parte de nuestras pasarelas científicas. Por ello, es importante que pongamos a su disposición las principales tecnologías en la nube a través de nuestra división Research Data Services", añadió Majumdar.
"Gran transferencia y almacenamiento de datos, acceso de alta velocidad, uso compartido, funcionalidades de búsqueda... todo esto es cada vez más importante para nuestros proyectos"
Doctor Amit Majumdar
Director de Informática Científica Facilitada por Datos
Asociación con Qumulo
El impulso para que el Centro deseara un nuevo tipo de proveedor de almacenamiento fue un conjunto de nuevos clientes que necesitaban más de 1 PB de capacidad de almacenamiento. El SDSC estaba preocupado por el rendimiento, la fiabilidad y la gestión de sus soluciones de almacenamiento existentes a esa escala.
Brian Balderston, Director de Infraestructura del SDSC, decidió que tenía que haber una forma mejor. Probó varios sistemas de almacenamiento de alto rendimiento y se decidió por el almacenamiento híbrido de archivos en la nube de Qumulo como pionero en infraestructuras de almacenamiento y computación intensiva de datos para la comunidad investigadora nacional.
"Creía que podíamos crear un sistema de almacenamiento mejor para nuestro cliente que no necesitara tanto cuidado y alimentación operativos. Así que me puse en contacto con el equipo de Qumulo para exponerles nuestros requisitos", afirma Balderston. "Su sistema de archivos NAS escalable distribuido cumplía nuestros requisitos de capacidad, rendimiento, integridad de datos y escalabilidad a un precio aceptable para nuestro cliente"
El almacenamiento de archivos de Qumulo difería de la infraestructura existente en el SDSC y de la utilizada por sus organizaciones clientes. La mayoría de los clientes académicos del Centro estaban acostumbrados a sistemas de archivos paralelos de código abierto para cargas de trabajo de datos de investigación. La pila de software propietario y el sistema de archivos distribuidos de Qumulo eran un nuevo tipo de almacenamiento, y rápidamente demostraron ser más avanzados y capaces de gestionar cargas de trabajo masivas de investigación científica, ahora y en el futuro.
Qumulo escala los datos no estructurados de forma más eficiente que los sistemas de archivos paralelos, lo que lo hace ideal para entornos con recuentos masivos de archivos, estructuras de directorios y miles de millones de archivos pequeños. El sistema de archivos NAS de escalabilidad horizontal permite una ingesta y un acceso rápidos, así como una gran capacidad de búsqueda. La alta disponibilidad y los tiempos mínimos de reconstrucción mantienen los datos seguros y siempre disponibles, sin pérdida de datos.
Los costes de capital de SDSC para Qumulo se ajustaron a su presupuesto, y sus costes operativos resultaron ser más bajos de lo esperado. "Con Qumulo, nos dimos cuenta de gastos operativos mucho más bajos que los que hemos experimentado con otras soluciones de almacenamiento", señaló Balderston. "Además, hemos duplicado el tamaño de nuestro clúster y es probable que volvamos a duplicarlo pronto" SDSC trasladó el ahorro a sus clientes MSP, lo que hace que su plataforma de alojamiento sea aún más atractiva.
"Simplemente colocamos otro nodo en el bastidor, pulsamos un botón, ¿y adivina qué? Más espacio"
Ben Hayes
Arquitecto de sistemas sénior
Escalado masivo, alto rendimiento
En la actualidad, Qumulo proporciona a SDSC y a sus clientes almacenamiento persistente para cargas de trabajo de alta capacidad y alto rendimiento. Los componentes clave de la infraestructura incluyen máquinas virtuales (VM), almacenamiento Qumulo montado en un superordenador y redes de gran ancho de banda. El SDSC está avanzando hacia la integración del almacenamiento on-prem y en la nube para dar servicio a sus pasarelas científicas. Dado que el almacenamiento de archivos de Qumulo es nativo de la nube, admite sin problemas la integración on-prem y en la nube.
Qumulo optimiza su software único para lecturas y escrituras rápidas. La arquitectura acelerada ofrece una latencia extremadamente baja y un alto rendimiento de IOPS y rendimiento. La caché predictiva y la precarga identifican de forma proactiva los patrones de E/S y mueven los datos de forma eficiente a los medios más rápidos.
Qumulo también es fácil de desplegar, gestionar y acceder, componentes críticos tanto para SDSC como para sus clientes. "Para SDSC, Qumulo ha sido increíblemente fácil de gestionar", afirma Balderston.
"En lugar de centrar nuestro personal y nuestros recursos en gestionar una serie de sistemas de almacenamiento ineficaces, empleamos nuestro tiempo de ingeniería en trabajar en subvenciones de gran repercusión y bien financiadas por la National Science Foundation, el National Institute of Health y otros organismos de financiación. Es una gran victoria para todos"
Qumulo demostró que es un tipo diferente de empresa de almacenamiento: una empresa que construyó su almacenamiento para la era moderna. Algunos sistemas de almacenamiento heredados siguen funcionando para datos estructurados en entornos de almacenamiento tradicionales bien definidos. Pero estos productos nunca se diseñaron para el crecimiento masivo de datos actual, los tipos de datos no estructurados, las cargas de trabajo científicas intensivas y las aplicaciones complejas.
Para cumplir y superar estos nuevos requisitos de almacenamiento, Qumulo diseñó su software utilizando los principios que subyacen a las modernas bases de datos distribuidas a gran escala. El resultado es un sistema de archivos único con un rendimiento y una escalabilidad inigualables.
La adopción por parte de los clientes lo demuestra en el SDSC. "Probablemente, mi mayor logro ha sido poner en marcha este sistema de almacenamiento y conseguir una adopción masiva", afirma Balderston. "Desde la prueba de concepto inicial, SDSC ha llegado a un nuevo conjunto de clientes, incluidos más de dos docenas de laboratorios y departamentos de investigación de la Universidad de California. No se me ocurre ningún otro servicio que se haya adoptado tan rápidamente"