NPR informó recientemente sobre un nuevo método fascinante de los científicos de California para contar la población marina en las aguas protegidas del estado, realizando pruebas de ADN en solo un litro de agua de mar. La antigua forma de realizar un censo marino era que un buzo registrara la cantidad de peces y otros animales salvajes en un tablero impermeable. La nueva forma utiliza secuenciación genómica para detectar el ADN dejado por la vida marina y determinar qué especies han estado en el área.
La historia es un ejemplo vívido de un enfoque tradicional, "tonto" para un desafío de datos masivo que se reemplaza, gracias a la tecnología, por un nuevo método que desbloquea el valor de los datos de manera radicalmente más perspicaz, eficiente y rentable.
Una transformación igualmente dramática se está desarrollando en almacenamiento de big data.
Evolución del almacenamiento de Big Data: una breve historia
Durante décadas, el almacenamiento esencialmente ha servido como poco más que un vertedero de datos. En los '90s, había almacenamiento en bloque para datos altamente transaccionales y almacenamiento de archivos para datos no estructurados y departamentales. Surgió el almacenamiento conectado a la red y mejoró el rendimiento y la escalabilidad. Cuando el almacenamiento de archivos escalados NAS no podía mantenerse al día con la capacidad necesaria para los requisitos de escala web, el almacenamiento de objetos y el flash se hicieron populares.
Pero a pesar de todos los avances, el almacenamiento empresarial ha tenido dificultades para proporcionar un nivel de rendimiento que pueda satisfacer las necesidades de Big Data y Cargas de trabajo de IA. Y no ha podido responder preguntas básicas para las organizaciones: ¿Qué tengo realmente? ¿A dónde va mi actuación en este momento? ¿Qué ha impulsado el crecimiento en los últimos seis meses? ¿Qué va a impulsar el crecimiento en los próximos seis meses?
En las entrevistas que Qumulo realizó con más de administradores de almacenamiento, compradores y usuarios de 600, encontramos dos cosas que los mantienen más despiertos por la noche: cómo administrar el crecimiento de datos y una falta de comprensión acerca de todos estos datos.
Esta es la razón por la cual el análisis en tiempo real es uno de los principales beneficios que los clientes obtienen de Qumulo Core. Como la primera y única solución del mundo que integra el conocimiento del sistema de archivos en tiempo real directamente en un NAS de ampliación de escala de software, Qumulo Core permite la gestión de miles de millones de archivos y petabytes de datos al hacerlos visibles a través de la capacidad en tiempo real y análisis de rendimiento.
Gestionar miles de millones de archivos sin afectar el rendimiento del sistema de archivos
Al ofrecer analíticas en tiempo real que agregan metadatos en una escala masiva (decenas de miles de millones de archivos y muchos petabytes de almacenamiento), Qumulo Core descifra lo que antes eran misterios: cuál es el crecimiento, hacia dónde se dirige el rendimiento y cómo se ve la huella de almacenamiento a lo largo del tiempo.
Un problema con los sistemas de archivos tradicionales es que los procesos manuales o incluso automáticos para comprender los detalles sobre los datos almacenados, como recorridos por árboles, escaneos de metadatos y búsquedas del sistema de archivos, pueden llevar mucho tiempo y afectar en gran medida el rendimiento. Qumulo aprovecha un nivel flash como parte de su primer diseño híbrido flash y actualiza el análisis de metadatos de archivos en tiempo real sin afectar el rendimiento del sistema de archivos.
Evolución de la analítica en tiempo real en el almacenamiento de archivos
Las métricas en tiempo real son sorprendentemente difíciles de obtener de los sistemas de almacenamiento tradicionales. Cuando los sistemas de archivos se diseñaron hace décadas, solo tenían que recorrer el directorio y "estadísticas" unos pocos miles de archivos para obtener el uso del disco y otros datos analíticos. Esto podría lograrse con relativa rapidez. Con el tiempo, llegaron los sistemas de archivos de escalamiento horizontal y tuvimos cientos de millones de archivos a la estadística, lo que dio lugar a problemas.
Supongamos que se necesitan 5ms para crear un archivo (que es común con los archivos basados en HDD) para obtener datos analíticos. Con un millón de archivos toma 1.4 horas recorrer el directorio; Si tienes un billón de archivos, lleva 57.8 días. Se han ideado varias técnicas para acelerar el proceso, pero éstas tienen problemas. El problema básico es que los sistemas de archivos tradicionales y los comandos POSIX no fueron diseñados para tratar con la gran cantidad de archivos que se almacenan en los sistemas de archivos actuales.
"Incluso una de las tareas más triviales, determinar cuánto espacio consumen los archivos en un sistema de archivos, es muy complicada de responder en los sistemas de archivos de primera generación", afirma el analista Grupo Taneja dice. "Los sistemas de archivos de segunda generación deben diseñarse para que sean conscientes de los datos, no solo del almacenamiento".
Qumulo moderniza el almacenamiento del sistema de archivos con análisis en tiempo real
Los análisis en tiempo real de Qumulo Core ayudan a las empresas a obtener respuestas instantáneas sobre su huella de datos al explicar los patrones de uso y qué usuarios o cargas de trabajo están afectando su rendimiento y capacidad.
Qumulo Core funciona con QSFS, el Sistema de archivos escalable Qumulo que integra análisis escalables directamente en el propio sistema de archivos. Qumulo Core puede informar análisis de millones y miles de millones de archivos almacenados en su sistema de archivos en tiempo real, no en horas ni en días.
Eso no es una simple teoría: los clientes de Qumulo disfrutan de estos beneficios hoy. Al igual que los científicos en California, están viendo los increíbles beneficios de utilizar un enfoque consciente de los datos para comprender mejor su entorno.
