Índice del contenido

Beneficios de la migración a ANQ con Komprise

Arquitectura de soluciones
Flujo de trabajo de la solución
Componentes

Consideraciones

Posibles casos de uso
Escalabilidad y rendimiento
Seguridad
Optimización de costos
Disponibilidad
- Disponibilidad de datos y almacenamiento
- Estabilidad y continuidad del servicio.

Migración al servicio de archivos escalable Qumulo nativo de Azure con Komprise

La migración de archivos entre diferentes plataformas de almacenamiento y arquitecturas de sistemas de archivos puede ser un proceso complejo. Este artículo describe una solución que utiliza Komprise para migrar datos de archivos desde sistemas NAS de terceros a Azure Native Qumulo (ANQ). Komprise proporciona servicios de migración de archivos independientes de la plataforma a escala masiva en entornos NAS heterogéneos. Esta solución facilita la migración fluida de datos de archivos entre plataformas de almacenamiento mixtas, proporcionando un movimiento de datos de alto rendimiento, garantizando la integridad de los datos y permitiéndole completar con éxito proyectos de migración de datos desde su NAS heredado a una instancia ANQ.

Beneficios de la migración a ANQ con Komprise

Escalabilidad	Una única instancia de ANQ puede escalar hasta un tamaño de exabyte y más en un único espacio de nombres. Komprise está diseñado para el movimiento de datos de alto rendimiento a una escala ilimitada, simplificando el proceso de migración de miles de millones de archivos desde cualquier sistema NAS heredado a ANQ. Las capacidades de análisis de datos, migración inteligente de datos, organización de datos en niveles y archivado de Komprise están diseñadas para operaciones a gran escala, lo que las hace ideales para la estrategia de nube de cualquier organización.
Eficiencia de costo	El TCO general de ANQ es comparable al de los servicios de archivos locales, incluso a escala. Los clientes pagan sólo por la capacidad y el rendimiento que utilizan mientras la utilizan. Las estrategias de migración de datos inteligentes de Komprise generan ahorros de más del 70 % al ubicar correctamente los datos en el almacenamiento de archivos, lo que garantiza migraciones rentables. Con sus funciones de paralelización, Komprise for Migration hace que la migración de archivos sea más fluida y rápida, eliminando largos ciclos de migración y optimizando sus costos. Agregar o eliminar Proxies y Observadores no genera costos adicionales para las licencias Komprise.
Rendimiento	ANQ supera a otras plataformas de archivos basadas en la nube y ofrece un mayor rendimiento y una menor latencia para la mayoría de las cargas de trabajo. ANQ también admite un aumento temporal del rendimiento según sea necesario para el procesamiento en ráfagas. Komprise ofrece velocidades de migración NFS y SMB más rápidas, superando drásticamente a las herramientas y métodos convencionales. Al utilizar la tecnología Hypertransfer de Komprise, pendiente de patente, los datos se migran entre 25 y 27 veces más rápido, lo que garantiza un alto rendimiento incluso en migraciones extensas.
Alcance mundial	ANQ se puede implementar en una o más regiones de Azure en todo el mundo. Los Komprise Observers y Proxies se pueden implementar en su centro de datos y en la misma región de Azure que su ANQ para un mejor rendimiento.
Seguridad y cumplimiento	Komprise garantiza que todos los permisos de archivos y controles de acceso se incluyan durante la migración, manteniendo la integridad y seguridad de los datos. La cadena de custodia y los informes de suma de verificación MD5 a nivel de archivo son parte integral del enfoque de Komprise y esenciales para las industrias reguladas.
Simplicidad de gestión	Komprise permite realizar análisis integrales antes de la migración, lo que ayuda en la planificación al comprender los datos por antigüedad, tamaño, uso, costos, propiedad y ayuda a identificar problemas potenciales antes de iniciar una migración, lo que ayuda a garantizar una transición rápida y exitosa. Para las migraciones a la nube y WAN, Komprise incluye una evaluación no intrusiva del entorno de red, que ayuda a los clientes a identificar posibles cuellos de botella, problemas de enrutamiento y otros problemas que pueden permanecer ocultos hasta que se produzca la gran carga de una migración. Esta evaluación antes de comenzar a mover datos ayuda a garantizar una migración sin problemas.

Arquitectura

La solución se implementa en Azure con opciones de rendimiento configurables y combina la plataforma de datos de archivos de escala de exabytes de Azure Native Qumulo y Komprise, como se muestra en el siguiente diagrama.

Haga Clic en esta página para descargar un diagrama de Visio de alta resolución de la solución.

Arquitectura de soluciones

Esta solución se implementa en un inquilino de cliente de Azure en una única región de Azure con recursos del cliente, incluida una puerta de enlace de red virtual.

Komprise se destaca por su análisis dinámico de datos, archivado transparente y capacidades de migración directa de datos que permiten el acceso ininterrumpido a datos importantes y actividades de los usuarios. La tecnología HyperTransfer de Komprise amplifica aún más estas capacidades, asegurando transferencias de datos de alta velocidad que son cruciales para migraciones a gran escala y tareas de gestión de datos.

Komprise también mantiene la disponibilidad y confiabilidad de los datos durante una migración activa al trabajar junto con las plataformas de almacenamiento para comparar continuamente el almacenamiento de origen y de destino en busca de cambios a aplicar, además de incluir un mecanismo de hash para validar que los datos se hayan almacenado y leído correctamente a medida que se mueven. .

La gestión con Komprise se realiza a través de Komprise Director, una consola de gestión que organiza las actividades de movimiento de datos. Proporciona control centralizado, lo que permite a los usuarios administrar, analizar, migrar y monitorear actividades en todo el panorama de almacenamiento del cliente, incluidos sitios únicos o múltiples.

En el corazón de la arquitectura de Komprise se encuentran los observadores y proxies de Komprise. Estos son los motores de movimiento de datos que se pueden colocar estratégicamente para garantizar un alto rendimiento durante las operaciones de migración y gestión de datos. Por lo general, los observadores se ubican cerca de sistemas de almacenamiento heredados para un acceso local rápido que beneficia las migraciones locales. Para la migración al clúster ANQ de Azure, Komprise HyperTransfer aprovecha los servidores proxy alojados en el inquilino de Azure para manejar la escritura y validación de datos localmente en Azure. Esta arquitectura permite una transferencia de datos eficiente a través de WAN, lo que reduce significativamente la latencia en comparación con las herramientas de migración comunes. Nota: los datos transitan únicamente por redes protegidas y administradas directamente por el cliente.

La instancia ANQ se implementa en el inquilino de Azure de Qumulo.

El acceso al clúster ANQ se habilita mediante inyección de VNet desde una subred dedicada en el inquilino de Azure del cliente, que se conecta al servicio ANQ del cliente en el inquilino de Qumulo. Solo se puede acceder a todos los datos de ANQ a través de las interfaces de red en la subred delegada del cliente. Nota: Qumulo no tiene acceso a ningún dato en ninguna instancia de servicio ANQ.

La tecnología HyperTransfer integrada en la suite Komprise es fundamental para acelerar el proceso de movimiento de datos. Optimiza el uso de la red para transferir grandes conjuntos de datos rápidamente, reduciendo significativamente el tiempo necesario para las migraciones y sincronizaciones de datos. Esta eficiencia es fundamental para las organizaciones que buscan minimizar el tiempo de inactividad y aprovechar rápidamente la escalabilidad y flexibilidad de la nube.

Flujo de trabajo de la solución

Un proyecto de migración consta de 5 pasos:

Paso 1: Analizar tus datos

Komprise proporciona información rápida sobre sus datos no estructurados en todas las plataformas de almacenamiento con capacidades de análisis de planes y análisis profundo. Plan Analysis proporciona inmediatamente resultados resumidos con gráficos de uso y las páginas de actividades de análisis que muestran problemas importantes del sistema de archivos descubiertos que los clientes querrán saber antes de mover datos. Deep Analytics permite a los clientes profundizar en la comprensión de sus datos con capacidades de consulta personalizadas y gráficos para encontrar conjuntos de datos seleccionados, archivos huérfanos y más.

La página Actividad de análisis de la herramienta Komprise ayuda a identificar problemas potenciales por adelantado, antes de mover los datos. Los posibles problemas a tener en cuenta antes de iniciar la secuencia de migración podrían incluir:

Conocer las estadísticas de archivos y directorios e identificar cualquier problema de resolución o acceso restringido
¿Hay rutas y nombres de archivos excesivamente largos? ¿Contienen caracteres no válidos?
Identificar cantidades excesivamente grandes de archivos pequeños, si hay una gran cantidad de directorios vacíos
Identificar acciones potencialmente de bajo rendimiento
Sepa de antemano si hay archivos dispersos o enlaces simbólicos cíclicos que cruzan directorios

Paso 2: Evaluación del rendimiento de la red y el almacenamiento

Las migraciones avanzan tan rápido como lo permite la infraestructura. Es vital conocer las capacidades de rendimiento combinadas de la red y los sistemas de almacenamiento en conjunto. Es posible que medir el rendimiento de la red y del almacenamiento por separado no revele limitaciones ocultas en las configuraciones de puertos, el enrutamiento, la sobrecarga del sistema de archivos y más.

Las migraciones pueden suponer una carga de trabajo atípica y muy pesada en la red del cliente. Komprise conoce la importancia de evaluar el rendimiento combinado de la red y el almacenamiento para identificar cualquier problema de conectividad entre el sistema NAS heredado y la instancia ANQ antes de transferir datos.

La herramienta Komprise Assessment of Customer Environment (ACE) es fácil de implementar y ejecutar. La herramienta simula una serie de escenarios de movimiento de datos entre recursos compartidos NAS heredados de origen local y la instancia ANQ de destino. Realiza un conjunto de operaciones de lectura, escritura y suma de verificación, y recopila las cifras de rendimiento general resultantes. Estos resultados pueden resaltar posibles riesgos de rendimiento y cuellos de botella de infraestructura que se deben investigar para garantizar que la topología de la red esté lista.

Paso 3: Migración: Sincronización inicial

El proceso de migración comienza cuando Komprise captura un análisis extenso del conjunto de datos general que se va a migrar y realiza el movimiento inicial de datos desde el sistema NAS heredado al objetivo ANQ. Esta primera iteración establece una base fundamental y es fundamental para la transferencia inicial sustancial de datos, que se produce sin interrumpir el acceso de los usuarios a los datos de origen. Komprise aprovecha la tecnología HyperTransfer para garantizar un proceso de transferencia optimizado ajustando dinámicamente la paralelización según los recursos de Observer y Proxy disponibles y el ancho de banda de red disponible.

Paso 4: Migración: iteraciones incrementales

En esta fase, los algoritmos inteligentes de Komprise entran en juego para rastrear y transferir solo aquellos cambios realizados en los datos de origen desde la última sincronización. Este enfoque es vital para mantener actualizado el almacenamiento de destino con una interrupción mínima de la red. Refleja una mejor comprensión de la actividad de los datos y garantiza un proceso de sincronización más preciso y eficiente. Vea esta iteración como una prueba para una transición final. Usted sabe cuál es su situación con una verificación completa de la comparación de archivos del sistema que muestra los errores, los tiempos totales de transferencia, la cantidad de datos movidos y más. Esta información ayuda a planificar cuándo programar una transición final y la duración.

Paso 5: Migración: iteración final (transición)

Esta fase crucial marca la finalización de la migración, y Komprise transfiere los datos restantes al almacenamiento de destino. Para garantizar una replicación exacta del origen en el punto de transición, el acceso de escritura al NAS de origen se suspende temporalmente para una última verificación del sistema de archivos. Este paso subraya la importancia de una planificación y coordinación exhaustivas para minimizar el impacto en las operaciones.

Capacidades de la empresa

A continuación se muestran algunos elementos que Komprise incluye en todas las migraciones.

El Komprise Cloud Director supervisa la implementación y gestión de los procesos de gestión de datos de Komprise. Esta interfaz de administración única ayuda a los clientes a administrar múltiples operaciones de migración en toda la organización. Desde una única consola puede iniciar migraciones, programar migraciones para una hora de inicio posterior, ver un seguimiento de estado claro que muestra la programación y el movimiento de datos entre los sistemas NAS heredados y ANQ, realizar un seguimiento del progreso, recopilar informes de progreso, revisar problemas y planificar transiciones.
Komprise agrupa recursos de forma inteligente para distribuir la carga de trabajo general y proporcionar redundancia, mejorando el rendimiento y la eficiencia, lo cual es fundamental para acortar el tiempo necesario para migrar grandes conjuntos de datos. Komprise puede ampliar dinámicamente los recursos existentes, así como escalarlos, añadiendo observadores y proxys adicionales.
Admite transferencias de datos seguras con cifrado en tránsito y el uso de la conectividad del cliente entre entornos locales y recursos basados en Azure facilitados a través de Azure VPN Gateway o ExpressRoute. Esto, combinado con la tecnología HyperTransfer de Komprise, garantiza transferencias aceleradas seguras y un movimiento de datos eficiente.
Komprise debe ejecutarse utilizando un usuario de Active Directory tanto en el sistema NAS heredado como en la instancia ANQ para garantizar el acceso completo a todos los archivos para recursos compartidos SMB y garantizar la transferencia de permisos NTFS y ACL.
Si el sistema NAS de origen incluye datos SMB y NFS, es posible migrar conjuntos de datos que incluyan permisos NTFS y POSIX. Al manejar sistemas NAS heredados que contienen datos SMB y NFS, Komprise puede gestionar las migraciones conservando los permisos NTFS y POSIX.
Los permisos entre protocolos, en los que se comparte un único conjunto de datos a través de permisos POSIX y ACL, pueden requerir un paso adicional para migrar correctamente. Para la sincronización inicial, el enfoque NFS primero (y la migración de la estructura de permisos POSIX de los datos) suele ser el método más rápido debido a la menor sobrecarga del protocolo NFS. Posteriormente, se puede crear una tarea de migración adicional para aplicar los permisos NTFS a los mismos datos.
Komprise simplifica la selección de directorios de origen de sistemas NAS heredados para la migración a ANQ, excluyendo de manera inteligente directorios específicos del sistema, como .instantánea or .instantáneas para garantizar una transferencia limpia.
Komprise emplea paralelización para acelerar el proceso de migración, creando múltiples flujos de datos simultáneos. Este proceso está optimizado por la tecnología HyperTransfer, que se ajusta dinámicamente para maximizar el uso del ancho de banda disponible y minimizar las ventanas de migración.
Komprise garantiza la integridad de los datos durante todo el proceso de migración, utilizando algoritmos hash adecuados para verificar los datos sin sacrificar el rendimiento.

Componentes

La arquitectura de la solución comprende los siguientes componentes:

Servicio de archivos escalables Qumulo nativo de Azure Clúster para proporcionar almacenamiento de datos consolidado para todo el contenido creado con la solución.

Director de nube de Komprise para migrar datos del almacenamiento local a ANQ.
- Los observadores
- Servidores proxy: consisten en Komprise Proxy Services que se ejecutan en Windows Server con (CPU de 16 núcleos mínimo, 32 GB de memoria y red de 10 GbE)
Ruta Express de Azure y/o Puerta de enlace VPN de Azure
Inyección de red virtual de Azure
Red virtual de Azure
NAS heredado (por ejemplo, Dell EMC Isilon/PowerScale local)

Consideraciones

La migración de archivos al servicio de archivos escalable Qumulo nativo de Azure con Komprise debe incluir las siguientes consideraciones en sus procesos de planificación y diseño.

Posibles casos de uso

Migración de datos: La migración a la nube es el proceso de mover aplicaciones y datos desde sistemas locales a una nube pública. Sin embargo, las opciones de NAS heredadas del mercado tienen una funcionalidad o escalabilidad limitadas en la nube pública. ANQ ofrece funcionalidad y escalabilidad mejoradas en Azure. Komprise facilita la migración de alto rendimiento de los datos de sus archivos a ANQ al tiempo que garantiza la integridad de los datos.
Recuperación de desastres: ANQ se puede utilizar como un sitio de recuperación ante desastres secundario, lo que permite a las organizaciones replicar sus datos en la nube. En caso de un desastre que afecte al sitio local principal, las organizaciones pueden cambiar a los datos replicados en ANQ y continuar las operaciones con una interrupción mínima. Komprise detecta rápidamente los archivos que se replicarán desde un NAS heredado de origen.
Escalonado: Las capacidades de niveles de Komprise ofrecen una solución perfecta para administrar y optimizar el almacenamiento de archivos mediante el análisis y el movimiento inteligente de datos inactivos o fríos a ANQ, aprovechando la tecnología Komprise Transparent Move (TMT). Esta tecnología garantiza que los datos se muevan sin interrumpir el acceso de los usuarios, manteniendo el acceso a los archivos nativos y permitiendo el acceso directo en ANQ. El valor único radica en su capacidad para reducir los costos de almacenamiento y respaldo, simplificar la administración de datos con paneles intuitivos e integración de API, y proporcionar un camino flexible y sin bloqueos hacia la nube, lo que lo hace muy útil para los clientes que buscan administrar eficientemente el crecimiento de los datos. y costos de almacenamiento en la nube.

Escalabilidad y rendimiento

Al planificar una solución de migración de datos utilizando Qumulo y Komprise, es posible que los arquitectos empresariales y otras partes interesadas quieran incluir lo siguiente en la solución:

Capacidad y crecimiento: ANQ se escala fácilmente según demanda, lo que le permite agregar tanta capacidad como sea necesario simplemente creando o migrando datos.
Komprise le permite migrar archivos, carpetas y datos ACL desde un NAS heredado a ANQ con automatización completa, equilibrio de carga e informes a nivel macro y micro. Podemos escalar el poder de nuestras herramientas gracias a Komprise Observers y Proxy Servers de transmisión múltiple y subprocesos múltiples.
Rendimiento: ANQ le permite ajustar el rendimiento según demanda en incrementos de 1 GB/s para garantizar la disponibilidad del rendimiento que necesita en todo momento.
Con Komprise, las tasas de transferencia entre el almacenamiento de origen y de destino pueden acercarse a la velocidad de la red de la conexión de extremo a extremo. El rendimiento puede verse afectado por el tipo y el diseño de los datos: una gran cantidad de archivos pequeños o un número elevado de directorios dentro de un conjunto de datos determinado pueden ralentizar el rendimiento general al aumentar la carga en las máquinas Proxy. Además, el uso de la tecnología HyperTransfer de Komprise en toda su extensión para acelerar las transferencias de datos.

Seguridad

El servicio de archivos escalable Qumulo nativo de Azure se conecta a su entorno de Azure mediante inyección de VNet, que es completamente enrutable, seguro y visible solo para sus recursos. No se requiere coordinación del espacio IP entre su entorno y el clúster ANQ.

Se debe tener cuidado durante el diseño y la implementación para garantizar que la seguridad de la solución cumpla con las mejores prácticas de la industria, las políticas internas de la empresa y cualquier requisito legal o reglamentario aplicable.

Para todos los demás aspectos de la solución, los clientes son responsables de planificar, implementar y mantener la seguridad de la solución para satisfacer todos los requisitos legales y reglamentarios aplicables a su industria y ubicación.

Optimización de costos

La optimización de costos se refiere a minimizar los gastos innecesarios mientras se maximiza el valor de los costos reales incurridos por la solución. Para obtener más información, visite el Descripción general del pilar de optimización de costos .

El modelo de pago por uso de Azure le permite optimizar los costos escalando los recursos para utilizar la capacidad cuando sea necesario. Esto le ayuda a gestionar los costos de manera eficiente, sin aprovisionar recursos en exceso.
El costo de Qumulo depende de la cantidad de datos en el servicio de archivos escalable nativo de Azure Qumulo y del nivel de rendimiento. Para más detalles, consulte Precios de Azure Native Qumulo Scalable File Services.
La arquitectura de Komprise está diseñada para ofrecer escalabilidad y proporcionar flujos de datos paralelizados. Cuando necesite más potencia y mayor rendimiento, solo necesita agregar otro observador o proxy para satisfacer sus necesidades y considerar solo los costos de recursos de las máquinas virtuales.

Disponibilidad

Diferentes organizaciones pueden tener diferentes requisitos de disponibilidad y recuperabilidad incluso para la misma aplicación. El término disponibilidad se refiere a la capacidad de la solución para brindar continuamente el servicio al nivel de desempeño para el cual fue creada.

Disponibilidad de datos y almacenamiento

La implementación de ANQ incluye redundancia incorporada a nivel de datos para garantizar la disponibilidad de los datos contra fallas del hardware subyacente. Para proteger los datos contra la eliminación accidental, la corrupción, el malware u otros ataques cibernéticos, ANQ incluye la capacidad de tomar instantáneas en cualquier nivel dentro del sistema de archivos para crear copias de sus datos en un momento dado y de solo lectura.

ANQ admite la replicación de los datos en una instancia de almacenamiento secundaria de Qumulo, que puede alojarse en Azure, en otra nube o localmente. ANQ es compatible con soluciones de copia de seguridad basadas en archivos para permitir la protección de datos externos.

Estabilidad y continuidad del servicio.

Dependiendo del alcance y la importancia de los datos que se migran, un enfoque gradual puede ser apropiado en algunas circunstancias. En lugar de migrar todo el contenido de su almacenamiento heredado en una sola operación, un enfoque por fases implicaría migrar un flujo de trabajo a la vez, utilizando conjuntos de datos más pequeños y menos críticos para desarrollar y finalizar el proceso antes de pasar a datos más grandes e importantes.

Un beneficio adicional de este enfoque es que cualquier problema que pueda surgir de una operación de migración tiene un alcance limitado a un único flujo de trabajo o conjunto de datos.

Implementar este escenario

Para obtener una guía para implementar ANQ, consulte Introducción a Azure Native Qumulo Scalable File Service and Deployment
Para obtener más información sobre las redes entrantes y salientes, consulte Puertos de red necesarios para Qumulo Core
Para obtener más información sobre el análisis y la migración con Komprise