Migración a Azure Native Qumulo Scalable File Service con Komprise

Este artículo describe una solución que utiliza Komprise para migrar datos de archivos de sistemas NAS de terceros a Azure Native Qumulo (ANQ). Komprise proporciona servicios de migración de archivos independientes de la plataforma a escala masiva en entornos NAS heterogéneos.

Migración a Azure Native Qumulo Scalable File Service con Komprise

La migración de archivos entre diferentes plataformas de almacenamiento y arquitecturas de sistemas de archivos puede ser un proceso complejo. Este artículo describe una solución que utiliza Komprise para migrar datos de archivos de sistemas NAS de terceros a Azure Native Qumulo (ANQ). Komprise proporciona servicios de migración de archivos independientes de la plataforma a escala masiva en entornos NAS heterogéneos. Esta solución facilita la migración perfecta de datos de archivos entre plataformas de almacenamiento mixtas, proporcionando un movimiento de datos de alto rendimiento, garantizando la integridad de los datos y permitiéndole completar con éxito proyectos de migración de datos desde su NAS heredado a una instancia ANQ.

Ventajas de la migración a ANQ con Komprise

Arquitectura

La solución se despliega en Azure con opciones de rendimiento configurables y combina la plataforma de datos de archivos a escala de exabytes de Azure Native Qumulo y Komprise, como se muestra en el siguiente diagrama.

Haga clic en aquí para descargar un diagrama Visio de alta resolución de la solución.

Arquitectura de soluciones

Esta solución se despliega en un tenant de cliente Azure en una única región Azure con recursos de cliente, incluida una pasarela de red virtual.
Komprise destaca por sus capacidades de análisis dinámico de datos, archivado transparente y migración directa de datos que permiten un acceso ininterrumpido a los datos en caliente y a las actividades de los usuarios. La tecnología HyperTransfer de Komprise amplía aún más estas capacidades, garantizando transferencias de datos de alta velocidad que son cruciales para migraciones a gran escala y tareas de gestión de datos.
Komprise también mantiene la disponibilidad y fiabilidad de los datos durante una migración activa trabajando junto con las plataformas de almacenamiento para comparar continuamente el almacenamiento de origen y de destino en busca de cambios que aplicar, además de incluir un mecanismo hash para validar que los datos se han almacenado y vuelto a leer correctamente a medida que se trasladan.
La gestión con Komprise se realiza a través de Komprise Director, una consola de gestión que orquesta las actividades de movimiento de datos. Proporciona un control centralizado, permitiendo a los usuarios gestionar, analizar, migrar y supervisar las actividades en todo el entorno de almacenamiento del cliente, incluyendo uno o varios sitios.
En el corazón de la arquitectura de Komprise se encuentran los Komprise Observers y Proxies. Estos son los motores de movimiento de datos que pueden colocarse estratégicamente para garantizar un alto rendimiento durante las operaciones de gestión y migración de datos. Normalmente, los observadores se colocan cerca de los sistemas de almacenamiento heredados para un acceso local rápido que beneficie a las migraciones locales. Para la migración al clúster Azure ANQ, Komprise HyperTransfer aprovecha los Proxies alojados dentro del tenant Azure para gestionar la escritura y validación de datos localmente en Azure. Esta arquitectura permite una transferencia de datos eficiente a través de la WAN reduciendo significativamente la latencia en comparación con las herramientas de migración comunes. Nota: los datos sólo transitan por redes seguras y gestionadas directamente por el cliente.
La instancia ANQ se despliega en el tenant Azure de Qumulo.
El acceso al clúster ANQ se habilita a través de la inyección VNet desde una subred delegada en el tenant Azure del cliente, que se conecta al servicio ANQ del cliente en el tenant Qumulo. Todos los datos en ANQ son accesibles sólo a través de las interfaces de red en la subred delegada del cliente. Nota: Qumulo no tiene acceso a ningún dato en ninguna instancia de servicio ANQ.
La tecnología HyperTransfer integrada en el paquete Komprise es fundamental para acelerar el proceso de movimiento de datos. Optimiza el uso de la red para transferir rápidamente grandes conjuntos de datos, reduciendo significativamente el tiempo necesario para las migraciones y sincronizaciones de datos. Esta eficiencia es fundamental para las organizaciones que buscan minimizar el tiempo de inactividad y aprovechar rápidamente la escalabilidad y flexibilidad de la nube.

Flujo de trabajo de la solución

Un proyecto de migración consta de 5 pasos:

Paso 1: Analizar los datos

Komprise proporciona información rápida sobre sus datos no estructurados en todas las plataformas de almacenamiento gracias a las funciones de análisis de planes y análisis en profundidad. El análisis de planes ofrece inmediatamente resultados resumidos con gráficos de uso y las páginas de actividades de análisis, que revelan importantes problemas del sistema de archivos que los clientes querrán conocer antes de mover los datos. Deep Analytics permite a los clientes profundizar en el conocimiento de sus datos con funciones de consulta personalizadas y gráficos para encontrar conjuntos de datos seleccionados, archivos huérfanos y mucho más.

La página Actividad de análisis de la herramienta Komprise ayuda a identificar posibles problemas por adelantado, antes de mover los datos. Algunos de los posibles problemas a los que hay que prestar atención antes de iniciar la secuencia de migración son:

Conocer las estadísticas de Archivos y Directorios, e identificar cualquier acceso restringido o problema de resolución
¿Hay nombres de ruta y de archivo excesivamente largos, contienen caracteres no válidos?
Identificar un número excesivamente grande de archivos pequeños, si hay un gran número de directorios vacíos
Identificar las acciones potencialmente de bajo rendimiento
Sepa de antemano si hay archivos dispersos o enlaces simbólicos cíclicos que crucen directorios de conexión

Paso 2: Evaluación del rendimiento de la red y el almacenamiento

Las migraciones avanzan sólo tan rápido como lo permite la infraestructura. Es vital conocer las capacidades de rendimiento combinadas de los sistemas de red y almacenamiento juntos. Medir el rendimiento de la red y el almacenamiento por separado puede no revelar las limitaciones ocultas en las configuraciones de puertos, enrutamiento, sobrecarga del sistema de archivos y más.

Las migraciones pueden suponer una carga de trabajo atípica y muy pesada para la red del cliente. Komprise conoce la importancia de evaluar el rendimiento combinado de la red y el almacenamiento para identificar cualquier problema de conectividad entre el sistema NAS heredado y la instancia ANQ antes de mover los datos.

La herramienta Komprise Assessment of Customer Environment (ACE) es fácil de desplegar y ejecutar. La herramienta simula una serie de escenarios de movimiento de datos entre los recursos compartidos NAS heredados de origen locales y la instancia ANQ de destino. Realiza una serie de operaciones de lectura, escritura y suma de comprobación, y recopila las cifras de rendimiento global resultantes. Estos resultados pueden poner de manifiesto posibles riesgos de rendimiento y cuellos de botella en la infraestructura que deben investigarse para garantizar que la topología de la red está preparada.

Paso 3: Migración: Sincronización inicial

El proceso de migración comienza con la captura por parte de Komprise de un análisis exhaustivo del conjunto de datos global que se va a migrar, y realiza el movimiento inicial de datos desde el sistema NAS heredado al objetivo ANQ. Esta primera iteración establece una línea de base fundamental y es crucial para la transferencia de datos inicial y sustancial, que se produce sin interrumpir el acceso de los usuarios a los datos de origen. Komprise aprovecha la tecnología HyperTransfer para garantizar un proceso de transferencia optimizado ajustando dinámicamente la paralelización en función de los recursos de observador y proxy disponibles y del ancho de banda de red disponible.

Paso 4: Migración: Iteraciones incrementales

En esta fase, los algoritmos inteligentes de Komprise entran en juego para rastrear y transferir únicamente los cambios realizados en los datos de origen desde la última sincronización. Este enfoque es vital para mantener actualizado el almacenamiento de destino con una interrupción mínima de la red. Refleja una mejor comprensión de la actividad de los datos y garantiza un proceso de sincronización más preciso y eficaz. Considere esta iteración como un ensayo para la transición final. Sabrá a qué atenerse gracias a la comprobación comparativa de todos los archivos del sistema, que muestra cualquier error, los tiempos totales de transferencia, la cantidad de datos movidos y mucho más. Esta información ayuda a planificar cuándo programar un corte final y su duración.

Paso 5: Migración: Iteración final (Cutover)

Esta fase crucial marca la finalización de la migración y Komprise transfiere los datos restantes al almacenamiento de destino. Para garantizar una réplica exacta de la fuente en el punto de corte, el acceso de escritura al NAS de origen se suspende temporalmente para realizar una última comprobación del sistema de archivos. Este paso subraya la importancia de una planificación y coordinación minuciosas para minimizar el impacto en las operaciones.

Capacidades Komprise

A continuación se indican algunos elementos que Komprise incluye en todas las migraciones.

Komprise Cloud Director supervisa el despliegue y la gestión de los procesos de gestión de datos de Komprise. Esta interfaz de gestión única ayuda a los clientes a gestionar múltiples operaciones de migración en toda la organización. Desde una única consola, podrá iniciar migraciones, programarlas para un momento de inicio posterior, ver un seguimiento de estado claro que muestre la programación y el movimiento de datos entre los sistemas NAS heredados y ANQ, realizar un seguimiento del progreso, recopilar informes de progreso, revisar problemas y planificar cortes.
Komprise agrupa de forma inteligente los recursos para distribuir la carga de trabajo global y proporcionar redundancia, mejorando el rendimiento y la eficiencia, lo que es fundamental para acortar el tiempo necesario para migrar grandes conjuntos de datos. Komprise puede ampliar dinámicamente los recursos existentes, así como ampliarlos, añadiendo observadores y proxies adicionales.
Admite transferencias de datos seguras con cifrado en vuelo y utilizando la conectividad del cliente entre entornos locales y recursos basados en Azure facilitados a través de Azure VPN Gateway o ExpressRoute. Esto, combinado con la tecnología HyperTransfer de Komprise, garantiza transferencias aceleradas seguras y un movimiento de datos eficiente.
Komprise debe ejecutarse utilizando un usuario de Active Directory tanto en el sistema NAS heredado como en la instancia ANQ para garantizar el acceso completo a todos los archivos de los recursos compartidos SMB y asegurar la transferencia de permisos NTFS y ACL.
Si el sistema NAS de origen incluye tanto datos SMB como NFS, es posible migrar conjuntos de datos que incluyan permisos NTFS y POSIX. Cuando se manejan sistemas NAS heredados que contienen datos SMB y NFS, Komprise puede gestionar migraciones conservando los permisos NTFS y POSIX.
Los permisos entre protocolos, en los que un único conjunto de datos se comparte a través de permisos POSIX y ACL, pueden requerir un paso adicional para migrar con éxito. Para la sincronización inicial, el enfoque NFS primero (y la migración de la estructura de permisos POSIX de los datos) suele ser el método más rápido debido a la menor sobrecarga del protocolo NFS. Posteriormente, se puede crear una tarea de migración adicional para aplicar los permisos NTFS a los mismos datos.
Komprise simplifica la selección de los directorios de origen de los sistemas NAS heredados para la migración a ANQ, excluyendo de forma inteligente los directorios específicos del sistema, tales como .instantánea o .instantáneas para garantizar una transferencia limpia.
Komprise emplea la paralelización para acelerar el proceso de migración, creando múltiples flujos de datos concurrentes. Este proceso se optimiza mediante la tecnología HyperTransfer, que se ajusta dinámicamente para maximizar el uso del ancho de banda disponible y minimizar las ventanas de migración.
Komprise garantiza la integridad de los datos durante todo el proceso de migración, utilizando algoritmos hash apropiados para verificar los datos sin sacrificar el rendimiento.

Componentes

La arquitectura de la solución consta de los siguientes componentes:

Servicio de archivos escalable Qumulo nativo de Azure clúster para proporcionar un almacenamiento de datos consolidado para todos los contenidos creados con la solución
Director de Komprise Cloud para migrar datos del almacenamiento local a ANQ.
- Observadores
- Servidores proxy: consisten en servicios proxy de Komprise que se ejecutan en Windows Server con (CPU de 16 núcleos como mínimo, 32 GB de memoria y red de 10 GbE)
Azure ExpressRoute y/o Puerta de enlace VPN Azure
Inyección Azure VNet
Red virtual Azure
NAS heredados (por ejemplo, Dell EMC Isilon / PowerScale en las instalaciones)

Consideraciones

La migración de archivos a Azure Native Qumulo Scalable File Service con Komprise debe incluir las siguientes consideraciones en sus procesos de planificación y diseño.

Posibles casos de uso

Migración de datos: La migración a la nube es el proceso de trasladar aplicaciones y datos de sistemas locales a una nube pública. Sin embargo, las opciones NAS heredadas del mercado tienen una funcionalidad o escalabilidad limitadas en la nube pública. ANQ ofrece funcionalidad y escalabilidad mejoradas en Azure. Komprise facilita la migración de alto rendimiento de sus datos de archivos a ANQ al tiempo que garantiza la integridad de los datos.
Recuperación en caso de catástrofe: ANQ puede utilizarse como sitio de DR secundario, permitiendo a las organizaciones replicar sus datos en la nube. En caso de un desastre que afecte al sitio primario en las instalaciones, las organizaciones pueden cambiar a los datos replicados en ANQ y continuar las operaciones con una interrupción mínima. Komprise detecta rápidamente los archivos que deben replicarse desde un NAS heredado de origen.
Nivelación: Las funciones de gestión por niveles de Komprise ofrecen una solución perfecta para gestionar y optimizar el almacenamiento de archivos mediante el análisis inteligente y el traslado de datos inactivos o fríos a ANQ, aprovechando la tecnología Komprise Transparent Move Technology (TMT). Esta tecnología garantiza que los datos se muevan sin interrumpir el acceso de los usuarios, manteniendo el acceso nativo a los archivos y permitiendo el acceso directo en ANQ. El valor único reside en su capacidad para reducir los costes de almacenamiento y copia de seguridad, simplificar la gestión de datos con paneles intuitivos e integración API, y proporcionar una ruta flexible y sin bloqueo a la nube, por lo que es muy útil para los clientes que pretenden gestionar de forma eficiente el crecimiento de los datos y los costes de almacenamiento en la nube.

Escalabilidad y rendimiento

Al planificar una solución de migración de datos utilizando Qumulo y Komprise, los arquitectos empresariales y otras partes interesadas pueden querer incluir lo siguiente en la solución:

Capacidad y crecimiento: ANQ se amplía fácilmente bajo demanda, lo que le permite añadir tanta capacidad como necesite simplemente creando o migrando datos.
Komprise le permite migrar archivos, carpetas y datos ACL de NAS heredados a ANQ con automatización completa, equilibrio de carga e informes a nivel macro y micro. Podemos escalar la potencia de nuestras herramientas gracias a Komprise Observers y Proxy Servers multi-streaming y multi-threading.
Rendimiento: ANQ le permite ajustar el rendimiento bajo demanda en incrementos de 1 GB/s para garantizar la disponibilidad del rendimiento que necesita en todo momento.
Con Komprise, las tasas de transferencia entre el almacenamiento de origen y el de destino pueden aproximarse a la velocidad de red de la conexión de extremo a extremo. El rendimiento puede verse afectado por el tipo y la disposición de los datos: un gran número de archivos pequeños o un elevado número de directorios dentro de un conjunto de datos determinado pueden ralentizar el rendimiento general al aumentar la carga de los equipos Proxy. Asimismo, el uso de la tecnología HyperTransfer de Komprise en toda su extensión para acelerar las transferencias de datos.

Seguridad

El Azure Native Qumulo Scalable File Service se conecta a su entorno Azure utilizando VNet Injection, que es totalmente enrutable, seguro y visible solo para sus recursos. No se requiere coordinación de espacio IP entre su entorno y el clúster ANQ.

Se debe tener cuidado durante el diseño y la implementación para garantizar que la seguridad de la solución cumple con las mejores prácticas de la industria, las políticas internas de la empresa y cualquier requisito legal/regulatorio aplicable.

Para todos los demás aspectos de la solución, los clientes son responsables de planificar, implantar y mantener la seguridad de la solución para satisfacer todos los requisitos legales y reglamentarios aplicables a su sector y ubicación.

Optimización de costes

La optimización de costes se refiere a minimizar los gastos innecesarios al tiempo que se maximiza el valor de los costes reales incurridos por la solución. Para más información, visite la página Visión general del pilar de optimización de costes página.

El modelo de pago por uso de Azure le permite optimizar los costes escalando los recursos para utilizar la capacidad cuando sea necesario. Esto le ayuda a gestionar los costes de forma eficiente, sin aprovisionar recursos en exceso.
El coste de Qumulo depende de la cantidad de datos en Azure Native Qumulo Scalable File Service y del nivel de rendimiento. Para obtener más información, consulte Precios de Azure Native Qumulo Scalable File Services.
La arquitectura de Komprise está diseñada para la escalabilidad y para proporcionar flujos de datos paralelos. Cuando necesite más potencia y mayor rendimiento, solo tendrá que añadir otro observador o proxy que se ajuste a sus necesidades y tener en cuenta únicamente los costes de recursos de esa máquina virtual.

Disponibilidad

Diferentes organizaciones pueden tener diferentes requisitos de disponibilidad y recuperabilidad incluso para la misma aplicación. El término disponibilidad se refiere a la capacidad de la solución para prestar continuamente el servicio al nivel de rendimiento para el que fue construida.

Disponibilidad de datos y almacenamiento

La implantación de ANQ incluye redundancia integrada a nivel de datos para garantizar la disponibilidad de los datos frente a fallos del hardware subyacente. Para proteger los datos contra el borrado accidental, la corrupción, el malware u otros ciberataques, ANQ incluye la capacidad de tomar instantáneas en cualquier nivel dentro del sistema de archivos para crear copias puntuales de solo lectura de sus datos.

ANQ admite la replicación de los datos en una instancia de almacenamiento secundaria de Qumulo, que puede estar alojada en Azure, en otra nube o en las instalaciones. ANQ es compatible con soluciones de copia de seguridad basadas en archivos para permitir la protección externa de los datos.

Estabilidad y continuidad del servicio

Dependiendo del alcance y la importancia de los datos que se migren, en algunas circunstancias puede resultar adecuado un planteamiento por fases. En lugar de migrar todo el contenido del almacenamiento heredado en una sola operación, un enfoque por fases implicaría migrar un flujo de trabajo cada vez, utilizando conjuntos de datos más pequeños y menos críticos para desarrollar y finalizar el proceso antes de pasar a datos más grandes e importantes.

Una ventaja añadida de este enfoque es que cualquier problema que pueda surgir de una operación de migración se limita a un único flujo de trabajo o conjunto de datos.