Una era de escala de datos sin precedentes.
La naturaleza fundamental de cómo las empresas utilizan la informática para impulsar la innovación, la agilidad y la capacidad de respuesta ha cambiado significativamente en los últimos cinco años. Si bien las organizaciones históricamente han confiado en los datos para impulsar el negocio, a menudo los datos eran costosos de adquirir y almacenar.
Durante los últimos cinco años, hemos visto una reducción dramática en la economía de la creación de datos y una reducción igualmente dramática en el costo del almacenamiento de datos. Hemos evolucionado desde la era de "¿Cómo almaceno los datos?" a "¿Cómo gestiono los datos de forma inteligente y eficiente?Además, estamos en una era en la que miles de millones de archivos, o más, son la norma.
Esta es la era de una escala de datos sin precedentes. Estos datos son producidos y consumidos por aplicaciones y sistemas basados en archivos que constituyen la base de las modernas canalizaciones de producción digital. Esto significa que las empresas ahora están generando significativamente más datos basados en archivos que nunca.
Como resultado, las empresas están superando rápidamente sus sistemas de archivos heredados y ya no pueden administrar sus colecciones masivas de activos digitales. Sin embargo, estos activos siguen siendo el núcleo del negocio, y los flujos de trabajo basados en archivos son los canales cruciales para esos activos.
En el mundo actual de datos abundantes, no hay límite en la cantidad de archivos: miles de millones o billones de archivos no son solo posibles, sino que se están volviendo algo común. Tampoco hay límite en el tamaño de los archivos en los extremos, pequeños y grandes, y no hay límite en la disponibilidad, ya sea en las instalaciones, en la nube o en centros de datos distribuidos geográficamente.
El paso de la gran escala a la hiperescala.
IDC predice que la cantidad de datos creados alcanzará zettabytes 40 (un zettabyte es mil millones de terabytes) por 2020, y que habrá más de 163 zettabytes de 2025. Esto es diez veces los datos generados en 2016.
Aproximadamente 90 por ciento de este crecimiento será para el almacenamiento de archivos y objetos.
Hay cuatro tendencias que contribuyen a la cantidad de datos que las empresas deben almacenar:
- El gran aumento en los datos generados por la máquina;
- La prevalencia del video como tipo de datos en todas las industrias;
- La resolución y fidelidad cada vez mayores de estos activos digitales, y
- Mayor vida útil de los datos y tendencias hacia la globalización que crean recursos de almacenamiento y computación distribuidos.
Datos generados por máquina
Las compañías exitosas dependen cada vez más de los datos generados por máquinas para las operaciones y el conocimiento del negocio principal. El Internet de las cosas (IoT) está impulsando una transformación en el valor de los datos para empresas de todo tipo, que abarcan todas las industrias de uso intensivo de datos.
Los datos están potenciando el valor y el crecimiento como nunca antes. Por ejemplo, grande Conjuntos de datos generados por máquina en ciencias de la vida. están haciendo descubrimientos revolucionarios y están disponibles tratamientos médicos que salvan vidas. Debido a su enorme valor para los investigadores, los proveedores de atención médica y los pacientes, la necesidad de estos datos solo aumentará.
Como otro ejemplo, las empresas de petróleo y gas están utilizando datos para crear un valor tremendo para sus clientes. No es una exageración decir que los mayores activos para estas organizaciones son los datos sísmicos basados en archivos que se utilizan para el descubrimiento de gas natural y petróleo.
Activos digitales de mayor resolución.
Los avances técnicos en sistemas de hardware y software están permitiendo nuevas capacidades para empresas de todo tipo.
Por ejemplo, las empresas de medios y entretenimiento ahora pueden estandarizarse en torno a video 4K sin comprimir, con 8K en el horizonte. Este nivel de fidelidad para experiencias de visualización realmente envolventes era impensable hace unos años.
La resolución de los sensores digitales y los equipos científicos también aumenta constantemente. Una resolución más alta hace que el tamaño de los archivos crezca más que linealmente; por ejemplo, duplicar la resolución de una fotografía digital aumenta su tamaño cuatro veces.
A medida que el mundo exige más fidelidad de los activos digitales, sus requisitos de almacenamiento crecen.
Mayor vida útil de los datos
Al mismo tiempo, la llegada del aprendizaje automático ha permitido fuentes de valor completamente nuevas para las empresas y sus clientes. Ahora es posible aprovechar millones o miles de millones de datos individuales y hacer que los sistemas identifiquen patrones, fuentes de valor, áreas de oportunidad y riesgo que antes simplemente no eran posibles. Estos enormes avances en el análisis de datos y el aprendizaje automático hacen que los datos sean más valiosos con el tiempo.
Para las empresas, esto ha supuesto una gran carga para sus aplicaciones y sobre el almacenamiento del que dependen esas aplicaciones. Luchando por adaptarse al nuevo panorama de posibilidades, las empresas se ven obligadas a adoptar una filosofía de "es mejor conservarlo que perderlo más tarde" cuando se trata de sus datos.
La nube pública ha cambiado la naturaleza misma de cómo se construyen e implementan las aplicaciones. Las tendencias hacia las empresas que brindan un valor tremendo a sus clientes a partir de huellas de datos masivas y el desarrollo de herramientas analíticas sofisticadas fueron paralelas a la llegada de la nube pública. Su llegada anuló las suposiciones básicas sobre cómo se podía hacer la computación y cómo debería funcionar el almacenamiento.
Esto ha creado un cambio profundo no solo en el ritmo de la innovación empresarial, sino en quién está marcando ese ritmo. La facilidad con que los gerentes de línea de negocios pueden crear y administrar datos, y desplegar aplicaciones para aprovechar estos datos, está poniendo presión en muchas de las organizaciones de tecnología que apoyan a las empresas.
Alcance global
La nube significa que los líderes empresariales pueden impulsar la innovación y el valor para sus clientes de forma más rápida y eficiente, al tiempo que aprovechan los recursos que se comportan de forma elástica.
El cambio de gastos de tecnología basados en gasto de capital a gastos de operación ha transferido la toma de decisiones y el ritmo de la innovación de las organizaciones de tecnología centralizada a los gerentes de negocios. Ha resultado en una rápida adopción de nuevas tecnologías, habilitada por el acceso elástico a los recursos de cómputo requeridos para entregarlas. Y esta elasticidad se extiende a las geografías, haciendo que el alcance global sea alcanzable sin construir centros de datos físicos en todo el mundo.
Han llegado nuevas formas de resolver problemas y entregar valor al cliente, y están aquí para quedarse. Todas las empresas se dan cuenta de que, en el futuro, ya no ejecutarán sus cargas de trabajo en centros de datos únicos y autogestionados.
En cambio, se moverán a centros de datos múltiples, con uno o más en la nube pública. Esta flexibilidad los ayudará a adaptarse a un mundo con empleados distribuidos y socios comerciales.
Las compañías enfocarán los recursos en sus líneas de negocio principales en lugar de los gastos de TI. La mayoría mejorará sus planes de recuperación de desastres y continuidad de negocios, y muchos lo harán aprovechando la elasticidad que proporciona la nube.
Las realidades disruptivas del almacenamiento de archivos desafían a las compañías a encontrar nuevas soluciones y enfoques para sus flujos de trabajo y activos basados en archivos.
El desafío al que se enfrentan las soluciones de almacenamiento
Los usuarios de aplicaciones que dependen de sistemas de archivos heredados de escalamiento horizontal y vertical (los caballos de trabajo tradicionales de los datos basados en archivos) encuentran que esos sistemas son inadecuados para la realidad informática elástica actual y su potencial futuro.
Un desafío clave es la incapacidad de comprender la naturaleza misma de los datos que tiene; Su valor es alcanzar una limitación crítica impuesta por los sistemas heredados. Esa limitación afecta la forma en que los sistemas heredados administran los metadatos de los sistemas de archivos grandes: sus propias estructuras de directorios y atributos de archivos se convierten en grandes datos.
Las soluciones heredadas que dependen de la fuerza bruta para obtener información sobre el sistema de almacenamiento han sido derrotadas por escala. Los métodos de fuerza bruta son fundamentales para la forma en que los sistemas de archivos heredados están diseñados y no se pueden reparar con parches.
Otra limitación que impide que los sistemas tradicionales funcionen en este nuevo mundo elástico es que nunca fueron diseñados para escalas "elásticas", lo que significa escalar a través de tamaños de archivo pequeños y grandes, así como ubicaciones geográficas.
Tradicionalmente, las empresas enfrentaban dos problemas al implementar sistemas de almacenamiento basados en archivos: necesitaban escalar tanto la capacidad como el rendimiento.
Con almacenamiento elástico, la capacidad significa más que crear un gran depósito de terabytes de almacenamiento sin procesar. En el mundo actual, todos los datos son valiosos, la escala ya no se limita a estos dos ejes.
Han surgido nuevos criterios para la escala. Incluyen la cantidad de archivos almacenados, la capacidad de controlar enormes huellas de datos en tiempo real, la distribución global de datos y la flexibilidad para aprovechar el cálculo elástico en la nube pública de manera que también abarque el centro de datos.
En este contexto de profunda interrupción, los criterios de compra tradicionales no han perdido relevancia. El precio, el rendimiento, la facilidad de uso y la confiabilidad siguen siendo tan importantes como siempre, sin importar cuánto haya evolucionado el paisaje.
Hoy cambio de paisaje de almacenamiento coloca a los clientes empresariales en una encrucijada. Lucharán para hacer frente a grandes cantidades de datos. Lucharán para cumplir con las demandas de alcance global, con pocas opciones buenas para datos basados en archivos que abarquen el centro de datos y la nube pública.
Soluciones intentadas: Objeto y subdivisión por volumen
Comprensiblemente, ha habido intentos incrementales para abordar esta creciente necesidad de almacenamiento de archivos elásticos a gran escala. Pero por las razones que se detallan a continuación, estos enfoques son arquitectónicamente inadecuados para abordar las demandas significativas de almacenamiento elástico y las demandas que las empresas requieren en esta era de almacenamiento elástico.
Almacenamiento de objetos
Almacenamiento de objetos permite sistemas muy grandes con petabytes de datos y miles de millones de objetos, y funciona bien para su uso previsto. De hecho, se está convirtiendo en una sabiduría convencional para afirmar que las tecnologías de almacenamiento de objetos son la solución a los desafíos de escala y geo-distribución del almacenamiento no estructurado.
Proveedores de la nube creer de todo corazón en el almacenamiento de objetos. Hoy en día, un cliente que desee almacenar datos en la nube está prácticamente obligado a usarlos independientemente del caso de uso.
Algunas compañías intentan adoptar el almacenamiento de objetos en casos de uso para los que nunca fue concebido y para los que no es adecuado. Para alcanzar sus propiedades de escala y geo-distribución, los almacenes de objetos han intercambiado intencionalmente características que muchos usuarios necesitan y esperan: consistencia transaccional, modificación de objetos (por ejemplo, archivos), control de acceso detallado y uso de protocolos estándar como NFS y SMB, por nombrar algunos.
El almacenamiento de objetos también deja sin resolver el problema de organizar los datos. En su lugar, se recomienda a los usuarios que indexen los datos ellos mismos en algún tipo de base de datos externa. Esto puede ser suficiente para las necesidades de almacenamiento de las aplicaciones independientes, pero complica la colaboración entre las aplicaciones, y entre los humanos y esas aplicaciones.
Los flujos de trabajo modernos casi siempre involucran aplicaciones que se desarrollaron de forma independiente pero que trabajan juntas intercambiando datos basados en archivos, un escenario de interoperabilidad que simplemente no es posible con el almacenamiento de objetos. Además, las tiendas de objetos no ofrecen los beneficios de un sistema de archivos para el gobierno.
Subdividir en volúmenes
Otro enfoque para manejar grandes cantidades de datos en sistemas de archivos heredados es dividir los archivos en volúmenes separados, lo que significa múltiples espacios de nombres. Los volúmenes son silos de datos de archivos.
Volúmenes separados siempre significan espacio de almacenamiento desperdiciado. Cada volumen contiene capacidad de reserva, y si suma toda la capacidad de reserva de todos los volúmenes, tiene una cantidad sustancial de capacidad desperdiciada.
Los volúmenes separados implican ineficiencia, lo que se traduce en mayores costos de almacenamiento e infraestructura.
La colaboración es fundamental para muchos flujos de trabajo basados en archivos, pero solo puede suceder si todos tienen acceso a los datos. Debido a que los volúmenes crean silos de datos aislados, la información debe copiarse de un silo a otro, lo que requiere tanto tiempo como inconveniente.
En un espacio de nombre único sistema, hay un repositorio de almacenamiento centralizado al que cualquier persona con los permisos correctos puede acceder.
Un solo espacio de nombres hace posible la colaboración y la cooperación.
Los enfoques de múltiples volúmenes pueden limitar el rendimiento del sistema de archivos, ya que los administradores deben asignar el rendimiento a volúmenes específicos. Esto significa que los altos volúmenes de tráfico pueden convertirse en cuellos de botella. Con un solo espacio de nombres, el rendimiento agregado se distribuye en un conjunto más amplio de usuarios y aplicaciones, lo que reduce la posibilidad de cuellos de botella.
Es difícil gestionar volúmenes separados en términos de permisos, planificación de capacidad, cuotas de usuario o proyecto, copias de seguridad y otras tareas porque los administradores tienen una vista fragmentada del sistema de archivos. Un único espacio de nombres brinda una vista unificada, lo que facilita mucho más ver cómo se está utilizando el sistema de archivos.
El tejido de archivos de almacenamiento elástico permite el consumo flexible de almacenamiento de archivos
Almacenamiento elástico de archivos escalas a billones y billones de archivos.
La noción de que la capacidad solo se mide en términos de bytes de almacenamiento sin procesar está dando paso a una comprensión más amplia de que la capacidad se define con la misma frecuencia por la cantidad de activos digitales que se pueden almacenar. Los flujos de trabajo modernos basados en archivos incluyen una combinación de archivos grandes y pequeños, especialmente si involucran cualquier cantidad de datos generados por la máquina.
A medida que los sistemas de archivos heredados alcanzan los límites de los activos digitales que pueden almacenar de manera efectiva, los compradores ya no pueden asumir que tendrán la capacidad de archivos adecuada.
El almacenamiento de archivos elástico se adapta a los entornos operativos, incluida la nube pública. El hardware propietario es cada vez más un punto muerto para los usuarios de almacenamiento de archivos a gran escala. Las empresas de hoy necesitan flexibilidad y elección. Quieren almacenar archivos en centros de datos y en la nube pública, optando por uno u otro basándose únicamente en decisiones de negocios, y no en limitaciones técnicas de su plataforma de almacenamiento.
Las empresas desean beneficiarse de los rápidos avances técnicos y económicos del hardware estándar, que incluyen unidades más densas y componentes de menor costo. Quieren reducir la complejidad del mantenimiento del hardware a través de la estandarización y las configuraciones optimizadas.
La tendencia del software inteligente sobre el hardware estándar que supera al hardware propietario solo aumentará.
Los usuarios de almacenamiento de archivos a gran escala requieren que sus sistemas de almacenamiento se ejecuten en una variedad de entornos operativos y no estén vinculados a hardware propietario.
Un tejido de archivo elástico permite el consumo flexible de almacenamiento de archivos. Un modelo de uso flexible y bajo demanda es un sello distintivo de la nube pública. Sin embargo, el cambio a la nube ha dejado a los usuarios varados del almacenamiento de archivos a gran escala, que no tienen una forma efectiva de aprovechar el poder que ofrece la nube.
Un tejido de archivos elástico se escala a través de ubicaciones geográficas con movilidad de datos. Las empresas son cada vez más globales. Sus sistemas de almacenamiento basados en archivos ahora deben escalarse a través de ubicaciones geográficas. Esto puede involucrar múltiples centros de datos, y casi con seguridad la nube pública.
Un enfoque fragmentario y una etiqueta que diga "CLOUD-READY" no funcionarán. Ahora se requiere verdadera movilidad y alcance geográfico.
Un tejido de archivo elástico proporciona visibilidad y control en tiempo real. A medida que las colecciones de activos digitales han crecido a una escala de miles de millones de dólares, la capacidad de controlar los recursos de almacenamiento en tiempo real se ha convertido en un nuevo requisito urgente.
Los administradores de almacenamiento deben poder supervisar todos los aspectos del rendimiento y la capacidad, independientemente del tamaño del sistema de almacenamiento.
Una tela de archivo elástica da acceso a la innovación rápida.
Moderno almacenamiento de archivos Necesita un diseño simple, elegante y una ingeniería avanzada. Empresas que desarrollan modernos archivos de almacenamiento. utilizará procesos de desarrollo ágiles que hacen hincapié en los ciclos de liberación rápida y el acceso continuo a la innovación. Los ciclos de actualización de tres años son una reliquia del pasado que los clientes ya no pueden tolerar.
El tejido elástico es el futuro del almacenamiento de archivos.
Los datos basados en archivos se transforman cuando dan a las personas la libertad de colaborar, innovar y crear. Alimenta el crecimiento y la rentabilidad a largo plazo de los modernos, empresas intensivas en datos.
Los datos basados en archivos son más importantes que nunca y las empresas deben encontrar mejores formas de acceder y administrar esos datos. Para enfrentar el desafío, las empresas deben adoptar tecnologías modernas de sistemas de archivos que permitan una estructura de archivos elástica.
Confiabilidad, alta capacidad y actuación Son apuestas de mesa. Más allá de eso, las empresas necesitan acceso global y escala elástica, incluida la capacidad de escalar a miles de millones de archivos. El sistema de almacenamiento de archivos debe mover los datos donde sea necesario, cuando sea necesario, y hacer todo esto con menor costo, mayor rendimiento, más confiabilidad y mayor facilidad de uso que los sistemas heredados.
El tejido elástico es el futuro del almacenamiento de archivos para las empresas que seguirán siendo competitivas, innovadoras y ágiles en la era digital.