Migración al servicio de archivos escalable Qumulo nativo de Azure con Atempo Miria

La migración de archivos entre diferentes plataformas de almacenamiento y arquitecturas de sistemas de archivos puede ser un proceso complejo. Este artículo describe una solución que utiliza Atempo Miria para migrar datos de archivos desde sistemas NAS de terceros a Azure Native Qumulo (ANQ). Atempo Miria proporciona servicios de migración de archivos independientes de la plataforma a escala masiva en entornos NAS heterogéneos. Esta solución facilita la migración fluida de datos de archivos entre plataformas de almacenamiento mixtas, proporcionando un movimiento de datos de alto rendimiento, garantizando la integridad de los datos y permitiéndole completar con éxito proyectos de migración de datos desde su NAS heredado a una instancia ANQ.

Beneficios de la migración a ANQ con Atempo Miria

Escalabilidad	Una única instancia de ANQ puede escalar hasta un tamaño de exabyte y más en un único espacio de nombres. Miria está diseñado para el movimiento de datos de alto rendimiento a escala ilimitada, simplificando el proceso de migración de miles de millones de archivos desde cualquier sistema NAS heredado a ANQ.
Eficiencia de costo	El TCO general de ANQ es comparable al de los servicios de archivos locales, incluso a escala. Los clientes pagan sólo por la capacidad y el rendimiento que utilizan mientras la utilizan. Con sus funciones inteligentes de paralelización y subprocesos múltiples, Miria for Migration hace que la migración de archivos sea más fluida y rápida, eliminando ciclos de migración largos y optimizando sus costos. Agregar o eliminar Data Movers no genera costos adicionales para las licencias de Miria.
Rendimiento	ANQ supera a otras plataformas de archivos basadas en la nube y ofrece un mayor rendimiento y una menor latencia para la mayoría de las cargas de trabajo. ANQ también admite un aumento temporal del rendimiento según sea necesario para el procesamiento en ráfagas. Rendimiento superior con integración de Fastscan en proveedores de almacenamiento líderes para acelerar la migración a ANQ desde Isilon/PowerScale, GPFS, etc. Aumente o reduzca el rendimiento general simplemente agregando o eliminando Data Movers a la solución. FastScan permite la detección rápida de archivos creados, modificados o eliminados desde el último ciclo de migración.
Alcance mundial	ANQ se puede implementar en una o más regiones de Azure en todo el mundo. Miria Data Movers se puede implementar en su centro de datos y en la misma región de Azure que su ANQ para un mejor rendimiento.
Seguridad y cumplimiento	Miria Migration recopila archivos con sus permisos de acceso asignados y garantiza la integridad completa del acceso y los datos en el protocolo y el almacenamiento de destino.
Simplicidad de gestión	Los informes detallados en cada paso del proceso permiten calcular el punto de convergencia de la migración, indicando cuántos datos quedan por migrar y cualquier problema por resolver. El proceso de migración se puede transformar en protección de datos para el nuevo almacenamiento utilizando la misma solución.

Arquitectura

La solución se implementa en Azure con opciones de rendimiento configurables y combina la plataforma de datos de archivos a escala de exabytes de Azure Native Qumulo y Atempo Miria, como se muestra en el siguiente diagrama.

Arquitectura de soluciones

Esta solución se implementa en un inquilino de cliente de Azure en una única región de Azure con recursos del cliente, incluida una puerta de enlace de red virtual.
Atempo Miria ofrece varias características clave, que incluyen transferencia de datos optimizada, paralelización, subprocesos múltiples, tecnología FastScan para una identificación rápida de modificaciones de objetos, migraciones automáticas de archivos, ciclos de migración iterativos, comprobaciones de integridad y ajustes de rendimiento. También mantiene la confiabilidad de los datos al comparar constantemente el almacenamiento de origen y de destino, así como la capacidad de utilizar un mecanismo de hash durante la sincronización.
Miria Server es el componente de gestión central para el proceso de migración de datos.
Atempo Miria Data Movers gestionan el movimiento de datos y son componentes clave para el desempeño global de la operación de migración. Se implementa un conjunto de Data Movers junto al sistema NAS heredado existente. Un segundo conjunto de Data Movers se encuentra en el inquilino de Azure del cliente para lograr un rendimiento óptimo, lo que les permite preprocesar y posprocesar trabajos sin problemas de latencia.
El clúster ANQ utilizado en la solución se implementa en el inquilino de Azure de Qumulo.
El acceso al clúster ANQ se habilita mediante inyección de VNet desde una subred dedicada en el inquilino de Azure del cliente, que se conecta al clúster ANQ dedicado del cliente en el inquilino de Qumulo. Solo se puede acceder a todos los datos del clúster ANQ a través de las interfaces de red en la subred delegada del cliente. Nota: Qumulo no tiene acceso a ningún dato en ninguna instancia de ANQ.

Haga Clic en esta página para descargar un diagrama de Visio de alta resolución de la solución.

Flujo de trabajo de la solución

Un proyecto de migración consta de 3 pasos:

Paso 1: Primera sincronización: active la transferencia de datos inicial y realice una primera instantánea de la fuente. La instantánea se utiliza como punto de referencia en el tiempo. Luego, la transferencia copia los datos del almacenamiento de origen en el almacenamiento de destino.

Paso 2: Sincronización incremental: propaga cualquier modificación realizada en el almacenamiento de origen (desde la sincronización incremental anterior) al almacenamiento de destino.

Paso 3: Sincronización final (transición): Complete la migración de datos al almacenamiento de destino mientras se detiene el acceso de producción a los datos en la plataforma NAS de origen.

Paso opcional 4: Sincronizaciones programadas: Si los sistemas NAS heredados siguen utilizándose para aplicaciones específicas del centro de datos local, es esencial garantizar la coherencia de los datos entre el sistema NAS heredado y ANQ. La función de sincronización de Miria se puede utilizar para garantizar que cualquier cambio de datos en un sistema se sincronice con el otro.

Miria Server gestiona los Miria Data Movers implementados. Las cargas de trabajo NFS y SMB requieren diferentes implementaciones de sistema operativo para los Data Movers. El propio servidor Miria se puede implementar en el sistema operativo Linux o Windows.
Los Data Mover se pueden combinar dentro de grupos de Linux o Windows para agregar redundancia (en caso de una falla en un Data Mover), aumentar el rendimiento general o acortar el tiempo de migración para grandes conjuntos de datos.
El acceso entre los Data Movers locales y el entorno basado en Azure puede realizarse a través de Azure VPN Gateway o mediante una conexión ExpressRoute.
El servicio Atempo Miria debe ejecutarse utilizando una cuenta de administrador o de usuario de nivel raíz tanto en el sistema NAS heredado como en la instancia ANQ para garantizar el acceso completo a todos los archivos.
Se requieren conexiones API al almacenamiento NAS y ANQ heredado para permitir la compatibilidad con FastScan, SnapStor y las opciones integradas de administración de instantáneas. () La integración de almacenamiento avanzada permite la replicación de las exportaciones NFS o recursos compartidos SMB y sus respectivos ajustes de configuración desde el NAS heredado al clúster ANQ con la tarea de sincronización. Además de Qumulo, las funciones FastScan están disponibles al migrar desde sistemas de archivos compartidos Isilon, OceanStor, Nutanix NAS y GPFS.
Si el sistema NAS heredado incluye datos SMB y NFS, es posible migrar conjuntos de datos que incluyan permisos NTFS y POSIX. Utilice Data Movers de un grupo de Windows al mover datos de SMB. Para archivos fuente compartidos a través de NFS, los Data Movers deben seleccionarse de un grupo de Linux. Los permisos entre protocolos, en los que se comparte un único conjunto de datos a través de permisos POSIX y ACL, pueden requerir un paso adicional para migrar correctamente. La sincronización inicial (y la migración de la estructura de permisos POSIX de los datos) se puede realizar utilizando Data Movers en un grupo de Linux. Debido a la menor sobrecarga del protocolo NFS, el enfoque de NFS primero suele ser el método más rápido. Posteriormente, se puede crear una tarea adicional en los Data Movers en un grupo de Windows para migrar los permisos NTFS para los mismos datos.
Seleccione uno o varios directorios de origen del NAS heredado y designe sus destinos en ANQ. Tenga cuidado de excluir las definiciones de directorios para los directorios .snapshot y .snapshots.
Tipo de sincronización: Echo aplica la sincronización desde el directorio de origen al directorio de destino.
La paralelización acorta la ventana de migración al crear múltiples flujos simultáneos para migrar los datos. Se iniciará un nuevo trabajo cada vez que se alcance un umbral durante el proceso de escaneo. Un umbral puede ser un límite de tiempo, un tamaño de selección de archivos, una cantidad de archivos o una combinación de estos.
Seleccione el algoritmo hash correcto para las comprobaciones de integridad según las necesidades de rendimiento y prevención de colisiones.
Pruebe la conectividad del cliente con los recursos compartidos de SMB y/o las exportaciones de NFS en ANQ.
Las tareas son trabajos automáticos que puedes programar o iniciar manualmente. Una tarea define el alcance de un trabajo de Miria, el origen y el destino de los datos que procesa y su programación. El cronograma define los momentos en que se inician las tareas automáticas entre el sistema NAS heredado y ANQ.

Componentes

La arquitectura de la solución comprende los siguientes componentes:

Servicio de archivos escalables Qumulo nativo de Azure Clúster para proporcionar almacenamiento de datos consolidado para todo el contenido creado con la solución.
Atempo Miria para migrar datos del almacenamiento local a ANQ.
- Servicio Miria
- Miria Data Movers (Agente) (CPU de 16 núcleos mínimo, 32 GB de memoria y red de 10 GbE)
Ruta Express de Azure y/o Puerta de enlace VPN de Azure
Inyección de red virtual de Azure
Red virtual de Azure
NAS heredado (por ejemplo, Dell EMC Isilon/PowerScale local)

Consideraciones

La migración de archivos al servicio de archivos escalable Qumulo nativo de Azure con Atempo Miria debe incluir las siguientes consideraciones en sus procesos de planificación y diseño.

Posibles casos de uso

Migración de datos: La migración a la nube es el proceso de mover aplicaciones y datos desde sistemas locales a una nube pública. Sin embargo, las opciones de NAS heredadas del mercado tienen una funcionalidad o escalabilidad limitadas en la nube pública. ANQ ofrece funcionalidad y escalabilidad mejoradas en Azure. Atempo Miria facilita la migración de alto rendimiento de los datos de sus archivos a ANQ al tiempo que garantiza la integridad de los datos.
Recuperación de desastres: ANQ se puede utilizar como un sitio de recuperación ante desastres secundario, lo que permite a las organizaciones replicar sus datos en la nube. En caso de un desastre que afecte al sitio local principal, las organizaciones pueden cambiar a los datos replicados en ANQ y continuar las operaciones con una interrupción mínima. La función Atempo Miria FastScan detecta rápidamente los archivos que se replicarán desde un NAS heredado de origen.

Escalabilidad y rendimiento

Al planificar una solución de migración de datos utilizando Qumulo y Atempo Miria, es posible que los arquitectos empresariales y otras partes interesadas quieran incluir lo siguiente en la solución:

Capacidad y crecimiento: ANQ se escala fácilmente según demanda, lo que le permite agregar tanta capacidad como sea necesario simplemente creando o migrando datos.
Las herramientas de Atempo le permiten migrar archivos, carpetas y datos ACL desde un NAS heredado a ANQ con automatización completa, equilibrio de carga e informes a nivel macro y micro. Podemos escalar el poder de nuestras herramientas gracias a los Atempo Miria Data Movers de transmisión múltiple y subprocesos múltiples.
Rendimiento: ANQ le permite ajustar el rendimiento según demanda en incrementos de 1 GB/s para garantizar la disponibilidad del rendimiento que necesita en todo momento.
Con el software Miria, las tasas de transferencia entre el almacenamiento de origen y de destino pueden acercarse a la velocidad de la red de la conexión de extremo a extremo. El rendimiento puede verse afectado por el tipo y el diseño de los datos: una gran cantidad de archivos pequeños o un número elevado de directorios dentro de un conjunto de datos determinado pueden ralentizar el rendimiento general al aumentar la carga en el Data Mover.

Seguridad

El servicio de archivos escalable Qumulo nativo de Azure se conecta a su entorno de Azure mediante inyección de VNet, que es completamente enrutable, seguro y visible solo para sus recursos. No se requiere coordinación del espacio IP entre su entorno y el clúster ANQ.

Se debe tener cuidado durante el diseño y la implementación para garantizar que la seguridad de la solución cumpla con las mejores prácticas de la industria, las políticas internas de la empresa y cualquier requisito legal o reglamentario aplicable.

Para todos los demás aspectos de la solución, los clientes son responsables de planificar, implementar y mantener la seguridad de la solución para satisfacer todos los requisitos legales y reglamentarios aplicables a su industria y ubicación.

Optimización de costos

La optimización de costos se refiere a minimizar los gastos innecesarios mientras se maximiza el valor de los costos reales incurridos por la solución. Para obtener más información, visite el Descripción general del pilar de optimización de costos .

El modelo de pago por uso de Azure le permite optimizar los costos escalando los recursos para utilizar la capacidad cuando sea necesario. Esto le ayuda a gestionar los costos de manera eficiente, sin aprovisionar recursos en exceso.
El costo de Qumulo depende de la cantidad de datos en el servicio de archivos escalable nativo de Azure Qumulo y del nivel de rendimiento. Para más detalles, consulte Precios de los servicios de archivos escalables nativos de Azure Qumulo.
La arquitectura de Miria está diseñada para ofrecer escalabilidad y proporcionar flujos de datos paralelizados. Cuando necesite más potencia y mayor rendimiento, solo necesita agregar otro Data Mover que se ajuste a sus necesidades.

Disponibilidad

Diferentes organizaciones pueden tener diferentes requisitos de disponibilidad y recuperabilidad incluso para la misma aplicación. El término disponibilidad se refiere a la capacidad de la solución para brindar continuamente el servicio al nivel de desempeño para el cual fue creada.

Disponibilidad de datos y almacenamiento

La implementación de ANQ incluye redundancia incorporada a nivel de datos para garantizar la disponibilidad de los datos contra fallas del hardware subyacente. Para proteger los datos contra la eliminación accidental, la corrupción, el malware u otros ataques cibernéticos, ANQ incluye la capacidad de tomar instantáneas en cualquier nivel dentro del sistema de archivos para crear copias de sus datos en un momento dado y de solo lectura.

ANQ admite la replicación de los datos en una instancia de almacenamiento secundaria de Qumulo, que puede alojarse en Azure, en otra nube o localmente. ANQ es compatible con soluciones de copia de seguridad basadas en archivos para permitir la protección de datos externos.

Estabilidad y continuidad del servicio.

Dependiendo del alcance y la importancia de los datos que se migran, un enfoque gradual puede ser apropiado en algunas circunstancias. En lugar de migrar todo el contenido de su almacenamiento heredado en una sola operación, un enfoque por fases implicaría migrar un flujo de trabajo a la vez, utilizando conjuntos de datos más pequeños y menos críticos para desarrollar y finalizar el proceso antes de pasar a datos más grandes e importantes.

Un beneficio adicional de este enfoque es que cualquier problema que pueda surgir de una operación de migración tiene un alcance limitado a un único flujo de trabajo o conjunto de datos.