Introducción
En la era de la inteligencia artificial (IA) y el aprendizaje automático (ML), el procesamiento eficiente de cantidades masivas de datos no estructurados es una apuesta segura. Las empresas y los organismos públicos aprovechan cada vez más la IA para obtener información, mejorar las operaciones e impulsar la innovación. Sin embargo, los retos de la gestión de datos pueden obstaculizar las iniciativas de IA, especialmente en entornos híbridos y multi-nube. La Plataforma de Datos en la Nube de Qumulo aborda estos retos proporcionando una solución fluida y de alto rendimiento para la Aceleración de Datos de IA en la nube pública.
Descripción general de Qumulo Cloud Data Platform
Qumulo Cloud Data Platform es una solución integral que unifica el almacenamiento y la gestión de datos en entornos locales y en nubes públicas, privadas e híbridas. Consta de tres componentes principales:
Clusters Qumulo locales: Se despliegan en centros de datos, campus de investigación, hospitales y otras ubicaciones importantes, albergando exabytes de datos de archivos y objetos no estructurados. Proporcionan almacenamiento de alto rendimiento optimizado para cargas de trabajo a gran escala en todos los puntos de la curva precio/rendimiento.
Instancias de Qumulo nativas de la nube: Desplegadas en los principales proveedores de nube como AWS, Azure, Google Cloud Platform (GCP) y Oracle Cloud Infrastructure (OCI), estas instancias extienden las capacidades de Qumulo a la nube, permitiendo soluciones de almacenamiento de datos escalables y flexibles con tasas de rendimiento comparables a los sistemas de archivos paralelos, pero con un coste comparable a las ofertas de almacenamiento locales.
Tejido global de datos: Se trata de la columna vertebral de datos que integra las instancias locales y multi-nube en un sistema cohesionado. Esto permite la adopción de cualquier modelo y/o servicio de IA para acceder a los mismos datos simultáneamente, independientemente de si las GPU están en las instalaciones o en la nube, en función de la disponibilidad y el precio. Ofrece:
Espacio de nombres global estrictamente coherente (GNS): Garantiza la coherencia de los datos en todas las ubicaciones.
Caché GNS de lectura/escritura de bordes: Proporciona acceso de baja latencia a datos de uso frecuente en el perímetro y a través de centros de datos geográficamente dispersos, nubes o una combinación de ambos.
Almacenamiento de datos persistente de lectura/escritura en clúster: Mejora el rendimiento almacenando los datos en caché más cerca de los recursos informáticos y reduce los costes de transacción de la API de S3/Blob/GCS.
Calidad de servicio consciente de la red y utilización eficiente de la red: Esta tecnología optimiza la transferencia de datos a través de redes de área extensa (WAN) en función de las condiciones de la red.
Aceleración de las cargas de trabajo de IA
Movimiento inteligente de datos
La Plataforma de Datos en la Nube de Qumulo permite el movimiento inteligente y eficiente de datos a través del Tejido Global de Datos. Los datos se pueden transmitir bajo demanda a nivel de bloque desde cualquier ubicación y expresarse a clústeres de lectura/escritura basados en la nube a través de la WAN. Estos clústeres utilizan almacenamiento S3 de bajo coste y alta durabilidad como capa de persistencia y almacenamiento en caché inteligente en un disco conectado a instancia NVMe en EC2. De este modo, los datos están fácilmente disponibles para alimentar las instancias de la GPU a velocidades inigualables por las ofertas tradicionales de almacenamiento de archivos en la nube.
Mejoras de rendimiento
Reducción del tiempo de ejecución de la GPU: Qumulo mejora el tiempo de ejecución de la GPU hasta en un 40 % al acelerar la transferencia de datos desde el almacenamiento de archivos nativo de Qumulo en la nube al sistema de GPU alojado en la nube, evitando la fase de copia de datos de S3 a GPU. Esta optimización resuelve el cuello de botella y los costes que suele ocasionar la carga de datos desde almacenes de objetos o archivos al almacenamiento NVMe local en las instancias de GPU antes de iniciar la ejecución del entrenamiento.
Ahorro de costes en llamadas a la API de S3: Cloud Data Platform emplea un almacenamiento en caché de lectura y compactación inteligente y predictivo basado en el aprendizaje automático, al tiempo que comprime la caché de escritura, lo que combina las llamadas a la API de S3. Este enfoque reduce los cargos de la API de S3 hasta en un 90 %, lo que se traduce en un importante ahorro de costes.
Instancias de GPU optimizadas: Esta función elimina la necesidad de que las instancias EC2 de GPU tengan almacenamiento NVMe local, lo que permite crear instancias de GPU de menor coste sin comprometer el rendimiento.
IA basada en la nube para empresas
Muchas empresas y organismos públicos no necesitan clusters de GPU a tiempo completo para las cargas de trabajo de formación. La posición de Qumulo es que iA generativa (GenAI) las cargas de trabajo (formación, ajuste e inferencia) se basarán principalmente en la nube para la mayoría de las organizaciones. Las ventajas incluyen:
Mantenimiento de la gobernanza de datos permite mantener los requisitos existentes de procedencia y gobernanza de datos, garantizando el cumplimiento de la normativa y la seguridad de los datos, con un riesgo reducido.
Reducción de los gastos de capital elimina la necesidad de realizar importantes inversiones en la adquisición de GPU y reduce los costes de procesamiento en tiempo de ejecución.
Consumo elástico de recursos ofrece la flexibilidad de ampliar o reducir los recursos en función de las demandas de carga de trabajo, optimizando los gastos operativos. Esto es de vital importancia porque el 80 % del desarrollo de la IA implica la manipulación de datos y el perfeccionamiento de los modelos antes de ejecutar el trabajo de formación.
Tiempo de procesamiento acelerado agiliza los flujos de trabajo de IA hasta 40% mejorando la agilidad y el tiempo de obtención de información.
Aprovechar los modelos públicos y comerciales de GenAI
Qumulo reconoce que la mayoría de las empresas consumirán modelos GenAI públicos o comerciales en lugar de construir los suyos propios. Para ello, Qumulo ha desarrollado lo siguiente:
Sólida integración de API: La plataforma de datos en la nube de Qumulo ofrece API sólidas que pueden interactuar con servicios de IA basados en la nube, incluidos grandes modelos lingüísticos (LLM) y herramientas de desarrollo de IA/ML disponibles actualmente en los principales proveedores en la nube, como Microsoft y AWS.
Tratamiento seguro de datos: Aprovechando técnicas como Generación mejorada por recuperación (RAG) y unas políticas adecuadas de gobernanza de datos, las empresas pueden utilizar LLM públicos o abiertos y garantizar al mismo tiempo que sus datos no se utilicen en futuros conjuntos de datos de formación, manteniendo así la privacidad de los datos y la protección de la propiedad intelectual.
Conclusión
Qumulo Cloud Data Platform ofrece una solución sólida para acelerar los flujos de trabajo de datos de IA en la nube pública. Al unificar los entornos locales y en la nube a través de su Global Data Fabric, Qumulo aborda los retos de la gestión y el movimiento de datos a escala. Las empresas pueden lograr importantes mejoras de rendimiento y reducciones de costes, así como mantener el cumplimiento de las normas de gobernanza de datos. Además, al facilitar la integración con modelos GenAI públicos al tiempo que salvaguarda los datos, Qumulo permite a las organizaciones aprovechar las tecnologías de IA de forma eficaz sin comprometer la seguridad ni incurrir en gastos innecesarios.
Principales ventajas
Flexible: Responde a las necesidades de rendimiento, capacidad y seguridad de todo el ciclo de vida de los datos de IA (ingesta, transformación y carga de datos), lo que permite una canalización de datos integral y sin fisuras.
Rendimiento: Los tiempos de carga de datos más rápidos mejoran el tiempo de ejecución y la economía de la GPU.
Sin límites: Permite un acceso seguro y sin fisuras a los datos entre nubes públicas y privadas y entre organizaciones para posibilitar oportunidades transformadoras de negocio e investigación.
Rentabilidad: Reducción de hasta un 90% en los cargos de la API de S3; permite la utilización de instancias de GPU de menor coste sin NVMe local.
Escalabilidad: Consumo elástico de recursos de la GPU
Gobernanza de datos: Mantiene la procedencia de los datos existentes y los requisitos de conformidad.
Durabilidad de los datos: El soporte Multi-AZ y la codificación de borrado paralela de S3 mejoran aún más la legendaria durabilidad de AWS S3
Seguridad: Evita que los datos de la empresa se utilicen en la formación de modelos externos mediante integraciones API seguras.
Al adoptar la Plataforma de Datos en la Nube de Qumulo, las organizaciones están equipadas con las herramientas para manejar las demandas de las cargas de trabajo modernas de IA de forma eficiente y segura. Esto les permite posicionarse a la vanguardia de la innovación en IA, proporcionando una ventaja competitiva y permitiendo oportunidades de negocio transformadoras.