Migración a Azure Native Qumulo con Atempo Miria

Esta solución facilita la migración fluida de datos de archivo entre plataformas de almacenamiento mixtas, proporcionando un movimiento de datos de alto rendimiento, garantizando la integridad de los datos y permitiéndole completar con éxito proyectos de migración de datos desde su NAS heredado a una instancia ANQ.

Migración a Azure Native Qumulo Scalable File Service con Atempo Miria

La migración de archivos entre diferentes plataformas de almacenamiento y arquitecturas de sistemas de archivos puede ser un proceso complejo. Este artículo describe una solución que utiliza Atempo Miria para migrar datos de archivos de sistemas NAS de terceros a Azure Native Qumulo (ANQ). Atempo Miria proporciona servicios de migración de archivos independientes de la plataforma a escala masiva en entornos NAS heterogéneos. Esta solución facilita la migración fluida de datos de archivos entre plataformas de almacenamiento mixtas, proporcionando un movimiento de datos de alto rendimiento, garantizando la integridad de los datos y permitiéndole completar con éxito proyectos de migración de datos desde su NAS heredado a una instancia ANQ.

Ventajas de la migración a ANQ con Atempo Miria

Arquitectura

La solución se despliega en Azure con opciones de rendimiento configurables y combina la plataforma de datos de archivos a escala de exabytes Azure Native Qumulo y Atempo Miria, como se muestra en el siguiente diagrama.

Arquitectura de soluciones

Esta solución se despliega en un tenant de cliente Azure en una única región Azure con recursos de cliente, incluida una pasarela de red virtual.
Atempo Miria ofrece varias características clave, como transferencia de datos optimizada, paralelización, multihilo, tecnología FastScan para la rápida identificación de modificaciones de objetos, migraciones automáticas de archivos, ciclos de migración iterativos, comprobaciones de integridad y ajustes de rendimiento. También mantiene la fiabilidad de los datos comparando constantemente el almacenamiento de origen y de destino, así como la capacidad de utilizar un mecanismo hash durante la sincronización.
El servidor Miria es el componente central de gestión del proceso de migración de datos.
Los Data Movers de Atempo Miria gestionan el movimiento de datos y son componentes clave para el rendimiento global de la operación de migración. Un conjunto de Data Movers se despliega junto al sistema NAS heredado existente. Un segundo conjunto de Data Movers se encuentra en el inquilino Azure del cliente para un rendimiento óptimo, lo que les permite preprocesar y postprocesar trabajos sin problemas de latencia.
El clúster ANQ utilizado en la solución está desplegado en el tenant Azure de Qumulo.
El acceso al clúster ANQ se habilita a través de la inyección VNet desde una subred dedicada en el tenant Azure del cliente, que se conecta al clúster ANQ dedicado del cliente en el tenant Qumulo. Todos los datos del clúster ANQ son accesibles únicamente a través de las interfaces de red de la subred delegada del cliente. Nota: Qumulo no tiene acceso a ningún dato de ninguna instancia ANQ.

Qumulo: Arquitectura de referencia Migración a Qumulo nativo 1

Haga clic aquí para descargar un diagrama Visio de alta resolución de la solución.

Flujo de trabajo de la solución

Un proyecto de migración consta de 3 pasos:

Primer paso: Primera sincronización: poner en marcha la transferencia inicial de datos y realizar una primera instantánea de la fuente. La instantánea se utiliza como punto de referencia en el tiempo. A continuación, la transferencia copia los datos del almacenamiento de origen en el almacenamiento de destino.

Paso 2: Sincronización incremental: propaga cualquier modificación realizada en el almacenamiento de origen (desde la sincronización incremental anterior) al almacenamiento de destino.

Paso 3: Sincronización final (Cutover): completar la migración de datos al almacenamiento de destino mientras se detiene el acceso de producción a los datos de la plataforma NAS de origen.

Paso 4 opcional: Sincronizaciones programadas: Si se siguen utilizando sistemas NAS heredados para aplicaciones específicas de centros de datos locales, es esencial garantizar la coherencia de los datos entre el sistema NAS heredado y ANQ. La función de sincronización de Miria se puede utilizar para garantizar que cualquier cambio de datos en un sistema se sincronice con el otro.

Qumulo: Arquitectura de referencia Migración aazurenativequmulo 2

El Servidor Miria gestiona los Data Movers Miria desplegados. Las cargas de trabajo NFS y SMB requieren diferentes despliegues de SO para los Data Movers. El propio servidor Miria puede desplegarse en Linux o Windows.
Los Data Movers pueden combinarse dentro de Linux Pools o Windows Pools para añadir redundancia (en caso de fallo de un Data Mover), aumentar el rendimiento global o acortar el tiempo de migración de grandes conjuntos de datos.
El acceso entre los Data Movers on-prem y el entorno basado en Azure puede realizarse a través de Azure VPN Gateway o mediante una conexión ExpressRoute.
El servicio Atempo Miria debe ejecutarse utilizando una cuenta de usuario de administrador o de nivel raíz tanto en el sistema NAS heredado como en la instancia ANQ para garantizar el acceso completo a todos los archivos.
Se requieren conexiones API a NAS heredados y almacenamiento ANQ para habilitar la compatibilidad con FastScan, SnapStor y las opciones de gestión de instantáneas integradas. () La integración avanzada de almacenamiento permite la replicación de las Exportaciones NFS o las Comparticiones SMB y sus respectivos ajustes de configuración desde el NAS heredado al clúster ANQ con la tarea de Sincronización. Además de Qumulo, las funciones FastScan están disponibles al migrar desde sistemas de archivos compartidos Isilon, OceanStor, Nutanix NAS y GPFS.
Si el sistema NAS heredado incluye datos SMB y NFS, es posible migrar conjuntos de datos que incluyan permisos NTFS y POSIX. Utilice Data Movers de un grupo de Windows al mover datos SMB. Para los archivos de origen compartidos a través de NFS, los Data Movers deben seleccionarse de un pool de Linux. Los permisos entre protocolos, en los que un único conjunto de datos se comparte a través de permisos POSIX y ACL, pueden requerir un paso adicional para migrar correctamente. La sincronización inicial (y la migración de la estructura de permisos POSIX de los datos) puede realizarse utilizando Data Movers en un pool Linux. Debido a la menor sobrecarga del protocolo NFS, el enfoque NFS-first suele ser el método más rápido. Posteriormente, se puede crear una tarea adicional en los Data Movers de un grupo de Windows para migrar los permisos NTFS de los mismos datos.
Seleccione uno o varios directorios de origen del NAS heredado y designe sus destinos en ANQ. Tenga cuidado de excluir las definiciones de directorio para los directorios .snapshot e .snapshots.
Tipo de sincronización - Echo aplica la sincronización desde el directorio de origen al directorio de destino.
La paralelización acorta la ventana de migración creando múltiples flujos concurrentes para migrar los datos. Se iniciará un nuevo trabajo cada vez que se alcance un umbral durante el proceso de exploración. Un umbral puede ser un límite de tiempo, un tamaño de selección de archivos, un número de archivos o una combinación de estos.
Seleccione el algoritmo hash correcto para las comprobaciones de integridad en función de las necesidades de rendimiento y prevención de colisiones.
Pruebe la conectividad del cliente a los recursos compartidos SMB y/o exportaciones NFS en ANQ.
Las tareas son trabajos automáticos que se pueden programar o iniciar manualmente. Una tarea define el alcance de un trabajo Miria, el origen y el destino de los datos que procesa y su programación. La programación define las horas a las que se inician las tareas automáticas entre el sistema NAS heredado y ANQ.

Qumulo: Arquitectura de referencia Migración aazurenativequmulo 3

Componentes

La arquitectura de la solución consta de los siguientes componentes:

Servicio de archivos escalable Qumulo nativo de Azure clúster para proporcionar un almacenamiento de datos consolidado para todos los contenidos creados con la solución
Atempo Miria para migrar datos del almacenamiento local a ANQ.
- Servicio Miria
- Miria Data Movers (Agente) (CPU de 16 núcleos como mínimo, 32 GB de memoria y red de 10 GbE)
Azure ExpressRoute y/o Puerta de enlace VPN Azure
Inyección Azure VNet
Red virtual Azure
NAS heredados (por ejemplo, Dell EMC Isilon / PowerScale locales)

Consideraciones

La migración de archivos a Azure Native Qumulo Scalable File Service con Atempo Miria debe incluir las siguientes consideraciones en sus procesos de planificación y diseño.

Posibles casos de uso

Migración de datos: La migración a la nube es el proceso de trasladar aplicaciones y datos de sistemas locales a una nube pública. Sin embargo, las opciones NAS heredadas del mercado tienen una funcionalidad o escalabilidad limitadas en la nube pública. ANQ ofrece mayor funcionalidad y escalabilidad en Azure. Atempo Miria facilita la migración de alto rendimiento de sus datos de archivo a ANQ al tiempo que garantiza la integridad de los datos.
Recuperación en caso de catástrofe: ANQ puede utilizarse como sitio de DR secundario, permitiendo a las organizaciones replicar sus datos en la nube. En caso de desastre que afecte al sitio primario en las instalaciones, las organizaciones pueden cambiar a los datos replicados en ANQ y continuar las operaciones con una interrupción mínima. La función FastScan de Atempo Miria detecta rápidamente los archivos que se van a replicar desde un NAS heredado de origen.

Escalabilidad y rendimiento

Al planificar una solución de migración de datos utilizando Qumulo y Atempo Miria, los arquitectos empresariales y otras partes interesadas pueden querer incluir lo siguiente en la solución:

Capacidad y crecimiento: ANQ se amplía fácilmente bajo demanda, lo que le permite añadir tanta capacidad como necesite simplemente creando o migrando datos.
Las herramientas de Atempo le permiten migrar datos de archivos, carpetas y ACL de NAS heredados a ANQ con total automatización, equilibrio de carga e informes a nivel macro y micro. Podemos escalar la potencia de nuestras herramientas gracias a los Atempo Miria Data Movers multi-streaming y multi-threading.
Rendimiento: ANQ le permite ajustar el rendimiento bajo demanda en incrementos de 1 GB/s para garantizar la disponibilidad del rendimiento que necesita en todo momento.
Con el software Miria, las tasas de transferencia entre el almacenamiento de origen y el de destino pueden aproximarse a la velocidad de red de la conexión de extremo a extremo. El rendimiento puede verse afectado por el tipo y la disposición de los datos: un gran número de archivos pequeños o un elevado número de directorios dentro de un conjunto de datos determinado pueden ralentizar el rendimiento general al aumentar la carga del Data Mover.

Seguridad

El Azure Native Qumulo Scalable File Service se conecta a su entorno Azure utilizando VNet Injection, que es totalmente enrutable, seguro y visible solo para sus recursos. No se requiere coordinación de espacio IP entre su entorno y el clúster ANQ.

Se debe tener cuidado durante el diseño y la implementación para garantizar que la seguridad de la solución cumple con las mejores prácticas de la industria, las políticas internas de la empresa y cualquier requisito legal/regulatorio aplicable.

Para todos los demás aspectos de la solución, los clientes son responsables de planificar, implantar y mantener la seguridad de la solución para satisfacer todos los requisitos legales y reglamentarios aplicables a su sector y ubicación.

Optimización de costesLa optimización de costes se refiere a minimizar los gastos innecesarios al tiempo que se maximiza el valor de los costes reales incurridos por la solución. Para más información, visite la página Visión general del pilar de optimización de costes página.

El modelo de pago por uso de Azure le permite optimizar los costes escalando los recursos para utilizar la capacidad cuando sea necesario. Esto le ayuda a gestionar los costes de forma eficiente, sin aprovisionar recursos en exceso.
El coste de Qumulo depende de la cantidad de datos en Azure Native Qumulo Scalable File Service y del nivel de rendimiento. Para obtener más información, consulte Precios de Azure Native Qumulo Scalable File Services.
La arquitectura de Miria está diseñada para la escalabilidad y para proporcionar flujos de datos paralelizados. Cuando necesite más potencia y mayor rendimiento, solo tendrá que añadir otro Data Mover que se adapte a sus necesidades.

Disponibilidad

Diferentes organizaciones pueden tener diferentes requisitos de disponibilidad y recuperabilidad incluso para la misma aplicación. El término disponibilidad se refiere a la capacidad de la solución para prestar continuamente el servicio al nivel de rendimiento para el que fue construida.

Disponibilidad de datos y almacenamiento

La implantación de ANQ incluye redundancia integrada a nivel de datos para garantizar la disponibilidad de los datos frente a fallos del hardware subyacente. Para proteger los datos contra el borrado accidental, la corrupción, el malware u otros ciberataques, ANQ incluye la capacidad de tomar instantáneas en cualquier nivel dentro del sistema de archivos para crear copias puntuales de solo lectura de sus datos.

ANQ admite la replicación de los datos en una instancia de almacenamiento secundaria de Qumulo, que puede estar alojada en Azure, en otra nube o en las instalaciones. ANQ es compatible con soluciones de copia de seguridad basadas en archivos para permitir la protección externa de los datos.

Estabilidad y continuidad del servicio

Dependiendo del alcance y la importancia de los datos que se migren, en algunas circunstancias puede resultar adecuado un planteamiento por fases. En lugar de migrar todo el contenido del almacenamiento heredado en una sola operación, un enfoque por fases implicaría migrar un flujo de trabajo cada vez, utilizando conjuntos de datos más pequeños y menos críticos para desarrollar y finalizar el proceso antes de pasar a datos más grandes e importantes.

Una ventaja añadida de este enfoque es que cualquier problema que pueda surgir de una operación de migración se limita a un único flujo de trabajo o conjunto de datos.