Descubra cómo los servidores HPE y la plataforma de datos de archivos Qumulo brindan almacenamiento Flash totalmente NVMe para cargas de trabajo de IA y ML / DL para respaldar las crecientes demandas de datos no estructurados con un rendimiento de alto rendimiento y facilidad de uso.
Por qué AI, ML y DL son casos de uso óptimos para el almacenamiento flash NVMe
Los flujos de trabajo de aprendizaje profundo (DL) utilizan un tamaño de archivo entre 64 KB y 1 MB. Para saturar un servidor basado en GPU de inteligencia artificial (AI), como el HPE Apollo 6500 sistema que necesita al menos 20 GB — requiere miles de HDD. NVMe es la respuesta para cargas de trabajo de aprendizaje automático (ML) y DL porque NVMe Las unidades flash pueden ofrecer hasta 1000 veces el rendimiento de los HDD y pueden superar 5 veces el rendimiento de los SSD SATA más rápidos en escenarios de entrenamiento de IA. *
Como hemos visto en los blogs anteriores en este serie de almacenamiento de datos, tres dimensiones principales entran en juego al seleccionar una plataforma de datos para cargas de trabajo de IA, ML y DL:
- Rendimiento—ML / DL requiere velocidades de E / S de varios gigabytes por segundo. Los sistemas de almacenamiento deben ofrecer el rendimiento requerido durante el entrenamiento de AI / ML para evitar que la GPU se "muera de hambre" y, por lo tanto, prolongar la duración de la ejecución.
- Escalabilidad—¡Más datos, mejor! Este es el mantra de la IA. Los proyectos de aprendizaje automático requieren enormes conjuntos de datos para el entrenamiento de modelos, lo que resulta en un crecimiento constante de datos a lo largo del tiempo.
- Operaciones—Los sistemas de plataformas de datos deben ser fáciles de usar, ofrecer un rendimiento constante a las aplicaciones y tener tiempos de inactividad limitados. El tiempo de inactividad excesivo, el rendimiento irregular o las habilidades operativas extensas retrasarán los proyectos de IA y aumentarán el TCO de la plataforma.
Generalmente, los sistemas de almacenamiento existentes sacrifican una o más de estas dimensiones:
- Almacenamiento adjunto directo (DAS) es generalmente la elección inicial de los proyectos de IA porque puede proporcionar un rendimiento constante, pero presenta límites de escalabilidad, crea conjuntos de datos aislados y desafíos para compartir conjuntos de datos entre múltiples unidades informáticas.
- Sistemas de archivos compartidos como el sistema de archivos distribuido de Hadoop (HDFS) resuelve los problemas de capacidad, pero presentan límites de rendimiento, especialmente para patrones de E / S pequeños y aleatorios que son comunes en muchos casos de uso de DL.
- Sistemas de archivos paralelos como GPFS y Lustre, han sido diseñados para un alto rendimiento y para compartir un gran conjunto de datos, pero son extremadamente complicados de operar.
La plataforma de datos de archivos Qumulo optimiza estas tres dimensiones: rendimiento, escala y facilidad de uso
Con su arquitectura de escalamiento horizontal, flash-first, y una plataforma de datos de archivos diseñada específicamente para la concurrencia masiva en todos los tipos de datos, cumple con todas estas dimensiones. Qumulo mantiene la complejidad de gestión y configuración requerida al mínimo. Permite una escalabilidad lineal y transparente de TB a PB, todo en un solo espacio de nombres. Y, por último, proporciona el alto rendimiento y la simultaneidad persistentes necesarios para acelerar las cargas de trabajo de IA y ML a escala.
Plataforma de datos de archivos Qumulo flash-first
La plataforma de datos de archivos multiprotocolo de Qumulo facilita que las organizaciones almacenen, administren y creen aplicaciones y flujos de trabajo con datos en su forma de archivo nativo en las instalaciones y en la nube, con visibilidad en tiempo real y total libertad.
Qumulo es más económico que el almacenamiento heredado con un rendimiento líder. La solución proporciona análisis en tiempo real para ayudar a ahorrar tiempo y dinero mientras aumenta el rendimiento. La replicación continua permite que los datos se muevan donde se necesitan cuando se necesitan, ya sea en las instalaciones, en la nube pública o en entornos de múltiples nubes. La protección de datos incorporada proporciona instantáneas integradas y copia al S3 nativo.
La plataforma de datos de archivos flash-first de Qumulo ha sido certificada y optimizada en el HPE Apollo 4000 sistemas y el Familia de servidores HPE ProLiant DL325 Gen 10 Plus, para ofrecer una solución extremadamente rentable, a escala de petabytes, y de alto rendimiento diseñada para AI-cargas de trabajo centradas.
Aquí hay un diagrama de arquitectura de alto nivel de la plataforma de datos de archivos de Qumulo.
La Plataforma de datos de archivos Qumulo incluye potentes análisis en tiempo real para conocer el uso y el rendimiento de los datos, seguridad de los datos con cifrado basado en software y protección de datos con servicios de datos como la replicación continua y las instantáneas. También simplifica la gestión de grandes cantidades de datos no estructurados. La plataforma de datos de archivos de Qumulo está diseñada para escalar bajo demanda con facilidad.
Servicios de datos
Servicios de datos de Qumulo permiten que los datos almacenados en una plataforma de datos de archivos de Qumulo se vean tanto en su forma actual como en versiones anteriores a través de instantáneas. Estas instantáneas utilizan una metodología única de escritura fuera de lugar que solo consume espacio cuando se producen cambios. Las políticas de instantáneas también se pueden vincular con políticas de replicación. Esto permite que las instantáneas se repliquen en una segunda plataforma de datos de archivos de Qumulo y permite que las instantáneas frecuentes se mantengan en un Qumulo y las instantáneas menos frecuentes en otro, que es una empresa común. recuperación ante desastres en la nube estrategia.
La replicación permite a los usuarios copiar, mover y sincronizar datos en múltiples plataformas de datos de archivos de Qumulo. Esta tecnología de replicación ofrece dos capacidades principales: movimiento de datos eficiente e identificación granular de datos modificados. La replicación de Qumulo es continua, lo que significa que cualquier cambio nuevo en un directorio replicado será identificado y movido, asíncrono y unidireccional.
La replicación del almacén de objetos permite que cualquier plataforma de datos de archivos de Qumulo trate un servicio de almacenamiento de objetos en la nube (por ejemplo, Amazon S3) como un objetivo de replicación adecuado. Los usuarios pueden copiar datos de un espacio de nombres de Qumulo a un almacén de objetos en la nube a través de Qumulo Shift una vez, o de forma continua, y viceversa. Los datos que se mueven a un almacén de objetos se almacenan en un formato abierto y no propietario que permite a los creadores aprovechar esos datos a través de aplicaciones que se conectan directamente al almacén de objetos en la nube de Amazon S3, en formato nativo de Amazon S3.
Las cuotas permiten a los usuarios controlar el crecimiento de cualquier subconjunto de un espacio de nombres de Qumulo. Las cuotas actúan como límites independientes en el tamaño de cualquier directorio, evitando el crecimiento de datos cuando se alcanza el límite de capacidad.
Sistema de archivos Qumulo
La plataforma de datos de archivos de Qumulo es una arquitectura no compartida, distribuida y definida por software que se ejecuta sin sistema operativo en el hardware del centro de datos, incluido HPE ProLiant Gen 10 servidores y HPE Apolo Gen 10 servidores. También se ejecuta de forma nativa en la infraestructura de nube pública. Qumulo escala linealmente a medida que aumenta la cantidad de datos. Simplemente agregue nodos y el software Qumulo reequilibra automáticamente los datos y el rendimiento en todo el clúster.
El sistema de archivos Qumulo organiza todos los datos almacenados en un sistema de archivos Qumulo en un solo espacio de nombres. Este espacio de nombres es compatible con POSIX y mantiene los permisos y la información de identidad que admiten la semántica completa disponible en los protocolos NFS o SMB, así como una API REST. Como todos los sistemas de archivos, el sistema de archivos Qumulo organiza los datos en directorios y los presenta a los clientes SMB y NFS. Sin embargo, Qumulo File Data Platform tiene varias propiedades únicas: el uso de árboles B, un motor de análisis en tiempo real y permisos de protocolo cruzado (XPP).
Almacenamiento en bloque escalable de Qumulo
El almacenamiento en bloque escalable (SBS) es la base de Qumulo File Data Platform. El SBS aprovecha estas tecnologías centrales para permitir escala, portabilidad, protección y rendimiento: un sistema de bloques virtualizados, codificación de borrado, un sistema de transacciones global y una caché inteligente.
La capacidad de almacenamiento de un sistema Qumulo se organiza conceptualmente en un único espacio de direcciones virtuales protegido. Cada dirección protegida dentro de ese espacio almacena un bloque de bytes de 4K. Cada uno de esos "bloques" está protegido mediante un esquema de codificación de borrado para garantizar la redundancia ante una falla del dispositivo de almacenamiento. Todo el sistema de archivos se almacena dentro del espacio de direcciones virtuales protegido proporcionado por SBS, incluida la estructura del directorio, los datos del usuario, los metadatos de los archivos, los análisis y la información de configuración.
SBS utiliza los principios de bases de datos distribuidas masivamente escalables y está optimizado para las necesidades especializadas de datos basados en archivos. El SBS es la capa de bloque de Qumulo File Data Platform, lo que la hace más simple de implementar y extremadamente robusta. SBS también brinda al sistema de archivos escalabilidad masiva, rendimiento optimizado y protección de datos.
La protección basada en bloques de Qumulo, implementada por SBS, proporciona un rendimiento excepcional en entornos que tienen petabytes de datos y cargas de trabajo con tamaños de archivo mixtos. SBS tiene muchos beneficios, incluyendo:
- Tiempos de reconstrucción rápidos en caso de una unidad de disco fallida
- Capacidad para continuar con las operaciones normales de archivos durante las operaciones de reconstrucción
- Sin degradación del rendimiento debido a la discordancia entre las grabaciones normales de archivos y las escrituras de reconstrucción
- Igual eficiencia de almacenamiento para archivos pequeños y archivos grandes
- Informes precisos en tiempo real del espacio utilizable
- Transacciones eficientes que permiten a los clústeres Qumulo escalar a muchos cientos de nodos
- Nivelación incorporada de datos calientes / fríos que brinda rendimiento flash a precios de archivo
La plataforma de datos de archivos de Qumulo incluye recuperación ante desastres basada en la nube, seguimiento y análisis de tendencias:
- El monitoreo en la nube incluye la detección proactiva de eventos como fallas de disco para prevenir problemas antes de que ocurran.
- Las tendencias históricas ayudan a reducir los costos y optimizar los flujos de trabajo para aprovechar al máximo su inversión en almacenamiento.
Para obtener más información sobre Qumulo, consulte la Guía técnica de Qumulo.
Alto rendimiento
La plataforma de datos de archivos de Qumulo se ha optimizado para HPE ProLiant DL325 Gen 10 Plus servidores que utilizan All-NVMe y los últimos componentes estándar de la industria. Los servidores HPE ProLiant permiten el almacenamiento de archivos extremadamente consistente, escalable y de alto rendimiento que se necesita para admitir cargas de trabajo de IA y ML.
Además de la configuración All-NVMe, Qumulo File Data Platform se puede configurar en modo híbrido, combinando un nivel SSD totalmente flash para un alto rendimiento y un nivel HDD por un costo menor. En esta configuración, los archivos se pueden mover automáticamente entre niveles para optimizar el rendimiento y los costos a lo largo del ciclo de vida del desarrollo de la IA. Qumulo tiene una arquitectura flash-first donde el 100% de las escrituras van a SSD, con la caché de aprendizaje automático inteligente, la mayoría de las lecturas provienen de RAM o SSD.
Por qué HPE y Qumulo son mejores juntos
Los sistemas HPE All-NVMe Flash con la plataforma de datos de archivos de Qumulo abordan de manera efectiva:
- Crecientes necesidades de datos no estructurados—Escale y administre miles de millones de archivos con control instantáneo a un costo menor y alto rendimiento, en las instalaciones, en la nube o en ambos, ahora y en el futuro.
- Necesidades de rendimiento de alto rendimiento para aplicaciones y servicios de IA y ML—Alimentar GB / sa servidores basados en GPU.
- Necesidad de operación fácil—Menor TCO y tiempo de inactividad del sistema
Publicación de invitado: El almacenamiento flash totalmente NVMe para cargas de trabajo de archivos de AI y ML se publicó originalmente en Blog de la comunidad de HPE.
Más información
Lean sobre Soluciones HPE para Qumulo. Y permanezca atento a esta serie de blogs para obtener más información sobre Soluciones de almacenamiento de datos de HPE para inteligencia artificial y análisis avanzado.
Vea este seminario web bajo demanda para saber cómo Qumulo y HPE ofrecen simplicidad y rendimiento en entornos de datos no estructurados. Con Ben Gitenstein, vicepresidente de producto de Qumulo, y Stephen Bacon, director de gestión de productos e ingeniería de sistemas para plataformas de almacenamiento de datos y análisis de datos escalables en HPE.
*Velocidad de SSD frente a HDD
Contáctanos
- Haz una prueba de manejo. Haga una demostración de Qumulo en nuestros laboratorios prácticos interactivos.
- Suscríbete al blog de Qumulo para historias de clientes, conocimientos técnicos, tendencias de la industria y noticias de productos.
