En esta serie de 4 partes sobre la evaluación soluciones de almacenamiento de datos empresariales, le brindaremos una descripción general de las opciones de almacenamiento disponibles en la actualidad, compararemos esas soluciones y lo ayudaremos a elegir una solución de almacenamiento ideal en función de los tipos de datos que almacena su empresa. Además, esta serie ayudará a determinar si una solución de almacenamiento conectado a la red (NAS) escalable es el mejor camino para su negocio, con ejemplos específicos del mundo real que las empresas que requieren informática de alto rendimiento (HPC) encuentran dentro de los ciclos de vida de los datos y cómo transformaron los datos de un estado sin procesar a uno útil.
¿Qué tan eficiente es la gestión de datos de su empresa?
Mantener una arquitectura de TI empresarial es como tener un automóvil viejo que está constantemente en el taller de reparaciones: los costos incrementales se acumulan y los recursos consumidos podrían invertirse en un modelo más nuevo para obtener un mejor rendimiento. Del mismo modo, si usted es un administrador de sistemas de TI restringido a la tecnología de almacenamiento basada en hardware monolítico y propietario que es ineficiente, costoso y difícil de administrar, es posible que tenga dificultades no solo para ponerse al día sino también para respaldar las iniciativas de transformación de datos.
Cuando se busca una solución de almacenamiento de datos empresarial escalable, es fundamental comprender si el almacenamiento que elige está diseñado para trabajar con datos y aplicaciones en su forma nativa. Cubriremos esto con más detalle a continuación, así como también describiremos algunas de las principales consideraciones al evaluar sus flujos de trabajo de HPC. En total, esto ayudará a guiar su decisión al elegir la solución que mejor se adapte a las necesidades de su empresa hoy y en el futuro.
Evalúe sus flujos de trabajo informáticos de alto rendimiento
La mayoría de los datos se originan en archivos, creados y a los que se accede directamente desde aplicaciones nativas o sistemas de archivos montados. Trabajar con estos datos de archivo de forma nativa significa acceder a ellos a través de protocolos estándar de la industria como el sistema de archivos de red (NFS), el bloque de mensajes del servidor (SMB) o el paso (bloque) directo del sistema de archivos.
Los datos almacenados en su formato nativo se consideran datos no estructurados, lo que significa que carecen de un modelo o esquema de datos predefinidos y no se pueden almacenar en una base de datos relacional tradicional (más sobre esto más adelante). Debido a que este tipo de datos no organizados no se pueden almacenar simplemente en un conjunto de tablas usando columnas y filas, las empresas tradicionalmente han luchado con el desafío fundamental de administrar, analizar y aprovechar sus datos no estructurados de una manera significativa, debido a la complejidad y Se requieren procesos de análisis de datos que requieren mucho tiempo para extraer información valiosa.
Los analistas de Gartner estiman que Los datos no estructurados representan un asombroso 80 a 90% de todos los datos empresariales nuevos. Esto puede sonar sorprendente, pero la realidad es que los datos empresariales han estado compuestos predominantemente por datos no estructurados durante décadas. De hecho, en 1998 Merrill Lynch afirmó, "Los datos no estructurados comprenden la gran mayoría de los datos que se encuentran en una organización, algunas estimaciones llegan al 80%". Lynch esencialmente hizo la afirmación de que como volumen de creación de datos en todo el mundo continúa creciendo año tras año, más importante será para las soluciones de administración de datos empresariales altamente escalables que puedan aprovechar estos datos de manera efectiva de manera significativa.
Esta "explosión de datos no estructurados" se genera a partir de cámaras de video, dispositivos de grabación, satélites, sensores, datos genómicos, imágenes aéreas y otras tecnologías conectadas a IoT, y representa una potencial mina de oro de conocimientos.
¿Está aprovechando sus datos en su forma nativa?
Las empresas exitosas almacenan, administran y crean flujos de trabajo y aplicaciones de Computación de alto rendimiento (HPC) con datos de archivo en su forma nativa, aprovechando los sistemas de archivos montados localmente (a los que se puede acceder mediante la creación de exportaciones NFS y recursos compartidos SMB) y servicios de datos que están integrados de forma nativa con almacenes de objetos en la nube (como Amazon S3 y microsoft Azure) —Y transformar esos datos en valor. Estos innovadores están adoptando y administrando datos en todas sus formas para crear nuevos modelos comerciales, tratamientos médicos, productos de consumo, herramientas de inteligencia comercial y medios digitales.
¿Puede rastrear y administrar sus datos no estructurados?
Para muchas corporaciones de HPC que aprovechan el almacenamiento heredado y las aplicaciones nativas de la nube, la tarea de procesar, administrar y transformar datos no estructurados de archivo a objeto es un gran desafío. La mayoría de la tecnología no está diseñada para resolver este problema, lo que significa que las empresas deben reconstruir su arquitectura, refactorizar aplicaciones o utilizar paquetes de movimiento de datos de terceros para generar valor a partir de sus datos; en muchos casos, esto conduce a grandes silos de datos con poca visibilidad de estos datos. . Además, las organizaciones se limitan con frecuencia a solo determinados protocolos que pueden no ser compatibles o no ser adecuados para determinadas aplicaciones o usuarios finales. Los resultados difíciles para muchas corporaciones líderes en todo el mundo son que estos datos valiosos nunca se utilizan, se accede a ellos de manera ineficiente y, a menudo, no se comprenden bien.
En un 2019 NewVantage Partners ' Encuesta a ejecutivos de Big Data e IA, que consta de 64 ejecutivos de empresas y tecnología de nivel C que representan a corporaciones muy grandes, el 53% de los encuestados dice que "todavía no están tratando los datos como un activo empresarial". Estos resultados alarmantes se producen a pesar de que el 92% de los encuestados informan que el ritmo de sus inversiones en Big Data e Inteligencia Artificial (IA) se está acelerando.
Evalúe sus necesidades específicas de almacenamiento de datos empresariales
Las empresas que necesitan habilitar grandes conjuntos de datos en entornos HPC con datos no estructurados significan que tener la capacidad de procesar y servir datos es parte de su negocio. Con ese fin, al considerar una solución de almacenamiento de datos empresarial óptima, es importante evaluar si cumplirá con sus requisitos de capacidad, rendimiento, integridad de datos y escalamiento horizontal necesarios para procesar datos y atender flujos de trabajo potencialmente densos y de alto rendimiento.
Evalúe las soluciones de almacenamiento de datos empresariales ideales para sus flujos de trabajo de HPC
Una solución de almacenamiento de datos empresarial óptima debe proporcionar la infraestructura necesaria para aprovechar los recursos de HPC en sus flujos de trabajo. De acuerdo a una Encuesta de Forbes, más del 95% de las empresas enfrentan algún tipo de necesidad de administrar datos no estructurados, y más de 150 billones de gigabytes de datos necesitarán análisis para 2025, lo que significa que el almacenamiento de archivos se está volviendo más importante que nunca.
Gestión eficiente de datos no estructurados
Dado que los datos no estructurados representan la mayor parte de todos los datos nuevos que se crean todos los días, cuanto más eficientemente las empresas de HPC puedan consolidar, procesar y aprovechar estos datos, más exitosos serán sus resultados. No es de extrañar, entonces, que una solución de almacenamiento de datos empresarial ideal esté diseñada para trabajar con este tipo de datos de forma nativa.
Almacenamiento de objetos frente a almacenamiento de archivos
En la era moderna de la nube, el almacenamiento de objetos tiende a ser una prioridad para muchas empresas, pero la mayoría de los datos se crean y consumen como archivos. Almacenamiento de objetos es una arquitectura que gestiona datos como objetos, a diferencia de una arquitectura de almacenamiento como un sistema de archivos. Almacenamiento de archivos es un formato o programa para almacenar y administrar datos como una jerarquía de archivos, en el que los archivos se pueden identificar en una estructura de directorio (generalmente se muestra como una estructura de árbol jerárquica).
Los sistemas de archivos proporcionan la abstracción fundamental de la jerarquía que permite a las computadoras y a los humanos operar en agrupaciones de datos semánticamente interesantes. Por supuesto, los usuarios de almacenamiento de datos empresariales aprecian tener un gran depósito de almacenamiento. Sin embargo, los sistemas de almacenamiento de objetos presentan una serie de problemas imprevistos de próxima generación; por ejemplo, el almacenamiento de objetos no es tan eficaz.
Obtenga la guía: Descargue el libro de estrategias de almacenamiento de datos empresariales
Evalúe sus necesidades de gestión de datos no estructurados
El procesamiento de datos a escala de petabytes requiere la solución de almacenamiento de datos empresarial adecuada según el tipo de datos que necesita analizar. Por ejemplo, para procesar y analizar datos no estructurados que existen en la nube y en las instalaciones, las empresas necesitarían una plataforma de datos de archivos que pueda satisfacer las demandas de una infraestructura de almacenamiento híbrida y, al mismo tiempo, proporcionar análisis e información en tiempo real. Al evaluar los tipos de almacenamiento de datos empresariales, es más importante que nunca elegir la solución que mejor se adapte a las necesidades de su empresa hoy y en el futuro.
Alinee sus flujos de trabajo de HPC con una solución de almacenamiento empresarial moderna
Sistemas de almacenamiento de archivos heredados
Sistemas de almacenamiento de archivos heredados se basan en un dispositivo de bloque como nivel de abstracción para el hardware responsable de almacenar y recuperar los bloques de datos deseados; sin embargo, el tamaño del bloque en un sistema de archivos puede ser un múltiplo del tamaño del bloque físico. Esto conduce a la falta de escalabilidad e ineficiencia espacial debido a la fragmentación interna, ya que las longitudes de los archivos a menudo no son múltiplos enteros del tamaño del bloque; por tanto, el último bloque de un archivo puede quedar parcialmente vacío. Esto crea una fragmentación en la que el espacio de almacenamiento se utiliza de manera ineficiente, lo que reduce la capacidad y el rendimiento.
Sistemas de almacenamiento de objetos heredados
Algunas empresas están intentando adoptar sistemas de almacenamiento de objetos heredados como una solución a los desafíos de escala y distribución geográfica de los datos no estructurados. Sin embargo, adoptar el almacenamiento de objetos en casos de uso para los que nunca fue diseñado es un ajuste técnico deficiente. Para lograr esto, el objeto almacena intencionalmente las características que muchos usuarios necesitan y esperan: consistencia transaccional, modificación de archivos, control de acceso detallado y uso de protocolos estándar como NFS y SMB, por nombrar algunos. El almacenamiento de objetos también deja intacto el problema de organizar los datos; en su lugar, animar a los usuarios a indexar los datos ellos mismos en algún tipo de base de datos externa. Esto puede ser suficiente para las necesidades de almacenamiento de aplicaciones independientes, pero complica la colaboración entre aplicaciones y entre humanos y esas aplicaciones.
Una cantidad sorprendente de lógica empresarial valiosa está codificada en la estructura de directorios de los sistemas de archivos empresariales. Por lo tanto, la necesidad de almacenamiento de archivos a escala sigue siendo imperiosa.
Flujos de trabajo modernos de HPC
Flujos de trabajo modernos de HPC casi siempre involucran aplicaciones que se desarrollaron de forma independiente pero que funcionan juntas mediante el intercambio de datos basados en archivos, un escenario de interoperabilidad que simplemente no es posible con el almacenamiento de objetos. Además, los almacenes de objetos no ofrecen los beneficios de un sistema de archivos para la gobernanza.
Sistemas modernos de almacenamiento de archivos
Sistemas de almacenamiento de archivos modernos como Qumulo Core, buscó resolver este problema a través de una técnica llamada Tienda de bloques escalable (SBS). El sistema de archivos Qumulo se basa en SBS, una capa de bloques virtualizados, que utiliza los principios de bases de datos distribuidas masivamente escalables y está optimizado para las necesidades especializadas de datos basados en archivos.
Desde una perspectiva de almacenamiento de bloques, el SBS es la capa de bloques del sistema de archivos Qumulo y su mecanismo subyacente para almacenar datos, lo que le da al sistema de archivos escalabilidad masiva, rendimiento optimizado, y protección de datos. Trabajo que requiere mucho tiempo, como la protección, las reconstrucciones y la decisión de qué discos contienen qué datos ocurren en la capa SBS, debajo del sistema de archivos. De esta manera, los archivos de datos no estructurados se pueden extraer en un diseño de tipo de sistema de archivos jerárquico, combinando lo mejor de la arquitectura del sistema de archivos y la arquitectura del almacén de bloques.
La funcionalidad de bloque protegido virtualizado de SBS es una gran ventaja para el sistema de archivos Qumulo. Debido a que el sistema de archivos Qumulo usa protección basada en bloques, los archivos pequeños son tan eficientes como los archivos grandes. El resultado es un sistema de archivos con características de escala incomparables. Por el contrario, los dispositivos de almacenamiento heredados simplemente no se diseñaron para manejar la escala masiva de la huella de datos actual, que utiliza una duplicación ineficiente para archivos pequeños y metadatos del sistema.
¿Es el almacenamiento adjunto en red (NAS) escalable el futuro de la gestión de almacenamiento de datos empresarial (EDM)?
Los sistemas de archivos de escalamiento horizontal y vertical heredados no son capaces de cumplir con los requisitos emergentes de administrar el almacenamiento local y en la nube a escala. Los ingenieros que los diseñaron hace 20 años nunca anticiparon la cantidad de archivos y directorios, ni los tamaños de archivo mixtos, que caracterizan las cargas de trabajo modernas. Tampoco podían prever la computación en la nube.
El auge de los datos no estructurados
Las empresas confían cada vez más en la gestión de almacenamiento de datos no estructurados (EDM) para la regulación, el análisis y la toma de decisiones. Los datos no estructurados son la columna vertebral de la analítica, el aprendizaje automático y la inteligencia empresarial.
La gestión de datos empresariales (EDM) requiere escalabilidad
Empresas que necesitan habilitar large conjuntos de datos en entornos de HPC con datos no estructurados significa que tener la capacidad de procesar y entregar datos es parte de su negocio. Por este motivo, los administradores de sistemas y almacenamiento de TI de las empresas buscan una solución diseñada para trabajar con este tipo de datos de forma nativa. La solución de almacenamiento ideal para esto cumplirá con los requisitos de capacidad, rendimiento, integridad de datos y escalamiento horizontal necesarios para procesar datos y atender flujos de trabajo potencialmente densos y de alto rendimiento.
Soluciones de almacenamiento de datos empresariales escalables con NAS escalable
Qumulo se fundó en 2012, cuando la crisis en el almacenamiento de archivos comenzaba a llegar a su punto de inflexión. Un grupo de pioneros del almacenamiento, el inventores de NAS escalables, unió fuerzas y formó un tipo diferente de empresa de almacenamiento, una que abordaría estos nuevos requisitos de frente. El resultado de su trabajo, y del equipo que formaron, es Qumulo, que desarrolló el primer sistema de almacenamiento de archivos en la nube híbrida probado para empresas del mundo que abarca el centro de datos, las nubes privadas y las nubes públicas. Escala a miles de millones de archivos, cuesta menos y tiene un costo total de propiedad (TCO) más bajo que las soluciones de almacenamiento heredadas. Los análisis en tiempo real permiten a los administradores acceder y administrar fácilmente los datos independientemente del tamaño o la ubicación. La replicación continua de Qumulo permite que los datos se muevan donde se necesitan, cuando se necesitan; por ejemplo, entre clústeres locales y que se ejecutan en la nube o entre clústeres que se ejecutan en diferentes instancias de la nube.
Elección de la solución de almacenamiento de datos empresarial adecuada
Con esta breve descripción general de cómo evaluar las soluciones de almacenamiento de datos empresariales y comparar esas soluciones, ahora debería tener una mejor comprensión de cómo elegir una solución de almacenamiento de datos ideal en función de los tipos de datos que almacena su empresa. Para obtener más información, consulte la parte 2 de esta serie en la que proporcionamos una comparación más exhaustiva de los diferentes tipos de almacenamiento de datos: almacenamiento de bloques vs almacenamiento de objetos vs almacenamiento de archivos.
Este artículo es solo el primero de una serie de 4 partes en Por qué las empresas deberían considerar los datos de archivos al evaluar las soluciones de almacenamiento de datos empresariales:y solo ha arañado la superficie de estas importantes consideraciones. Aprender más, descargue nuestro nuevo Enterprise Playbook para obtener nuestra guía más completa sobre cómo elegir la solución de almacenamiento de datos adecuada para ayudar a administrar la explosión de datos no estructurados.
¡MANTÉNGANSE AL TANTO!
Estén atentos a las partes 3 y 4 de esta serie, donde evaluaremos y compararemos los sistemas de almacenamiento de archivos heredados con los modernos, y luego analizaremos cómo Qumulo Scalable Block Store (SBS) ha revolucionado la industria del almacenamiento de datos empresariales con un sistema de almacenamiento de archivos de última generación que proporciona escalabilidad masiva, rendimiento optimizado y protección de datos.
