Cómo la Universidad de Waikato sentó las bases para el futuro
Modernización de la infraestructura de datos de investigación con Qumulo para simplificar la gestión, mejorar la resiliencia y facilitar el crecimiento futuro.
La Universidad de Waikato necesitaba sustituir un entorno Dell PowerScale obsoleto —al que todavía se suele llamar por su nombre original, Isilon— que albergaba cientos de millones de archivos relacionados con la investigación, la docencia y las tareas administrativas. En lugar de abordar el proyecto como una simple renovación del hardware, la universidad aprovechó la oportunidad para replantearse cómo debía gestionarse, utilizarse, ampliarse y administrarse el almacenamiento de archivos empresarial.
La universidad eligió Qumulo, que se ejecuta en HPE GreenLake, creando así una arquitectura multisitio basada en el consumo, diseñada para dar respuesta a las crecientes necesidades de investigación y, al mismo tiempo, reducir la carga operativa que supone el almacenamiento empresarial. La universidad migró aproximadamente 540 TB repartidos en 327 millones de archivos de Isilon a Qumulo, planificando cuidadosamente la transición en función de las necesidades académicas y de investigación para minimizar las interrupciones.
En la actualidad, la Universidad utiliza Qumulo tanto en su entorno principal de Hamilton como en un centro secundario de recuperación ante desastres situado en Auckland. La infraestructura da soporte a las cargas de trabajo académicas y de investigación actuales, al tiempo que ofrece a la Universidad la posibilidad de ampliar el uso de S3, mejorar el análisis de datos y la gestión del ciclo de vida de los mismos, facilitar la colaboración en investigación con entidades externas y trasladar los datos a otras ubicaciones o a la nube a medida que evolucionen las necesidades.
El reto: la renovación del sistema Isilon se convirtió en una oportunidad para replantearse el almacenamiento
La universidad había confiado en Isilon como parte de su infraestructura de almacenamiento de archivos corporativos. A medida que ese entorno se acercaba al final de su vida útil, el equipo de infraestructura tuvo que decidir con qué sustituirlo. En lugar de implementar automáticamente otra generación de la misma plataforma, la universidad evaluó si una arquitectura diferente podría adaptarse mejor a su estrategia de infraestructura a largo plazo.
La magnitud del proyecto hizo que esa decisión fuera trascendental. La universidad gestionaba aproximadamente 540 TB repartidos en 327 millones de archivos, 140 recursos compartidos SMB y 30 recursos compartidos NFS. Los datos de investigación no dejaban de crecer, mientras que los servicios docentes, de investigación y administrativos dependían de un acceso fiable a esa información. Cualquier solución sustitutiva debía mantener el acceso habitual a SMB y NFS, al tiempo que se adaptara al calendario académico y a las cargas de trabajo de investigación en curso, lo que dejaba poco margen para interrupciones del servicio o transiciones definitivas.
La universidad también buscaba una mayor simplicidad operativa, una visión más clara del consumo de capacidad, una sólida capacidad de recuperación ante desastres y una escalabilidad más flexible. En lugar de realizar otra gran inversión inicial de capital basada en previsiones de capacidad futura, la universidad quería pasar a una estructura de gastos operativos (OpEx) basada en el consumo a través de HPE GreenLake.
Otra de las consideraciones fue lograr una mayor visibilidad del consumo de datos. La universidad quería saber qué áreas consumían capacidad, dónde se estaba produciendo el crecimiento y, en última instancia, cómo se podían vincular más estrechamente los costes de infraestructura a los grupos que los generaban. Por lo tanto, la sustitución de Isilon ofrecía la oportunidad de establecer un modelo operativo diferente para los datos de investigación, y no simplemente de adquirir nuevo almacenamiento.
¿Por qué Qumulo?
Qumulo ofreció a la Universidad una forma de modernizar su infraestructura de archivos sin que los investigadores y las aplicaciones tuvieran que abandonar los flujos de trabajo con los que ya estaban familiarizados. La plataforma ofrece servicios unificados SMB y NFS, instantáneas, replicación, controles de acceso y visibilidad de la capacidad en tiempo real dentro del modelo de consumo de HPE GreenLake.
La universidad mantiene el acceso tradicional a los archivos de la empresa al tiempo que simplifica la administración en segundo plano. La capacidad crece al ritmo de la demanda, en lugar de considerarse exclusivamente como una gran adquisición periódica de hardware, y la arquitectura de Qumulo ofrece opciones para ampliar el entorno actual de la universidad a medida que, inevitablemente, cambien los requisitos. Un requisito clave es contar con una base de datos que proporcione agilidad en el núcleo, el perímetro y la nube.
Igualmente importante era que la Universidad tuviera la seguridad de que podría trasladar cientos de millones de archivos existentes desde Isilon sin que la transición del almacenamiento supusiera una interrupción para los investigadores.
Traslado de 540 TB y 327 millones de archivos desde Isilon
La universidad necesitaba migrar aproximadamente 540 TB, lo que suponía unos 327 millones de archivos, entre los que se incluían 140 recursos compartidos SMB y 30 recursos compartidos NFS. El proyecto debía adaptarse al calendario académico y a las cargas de trabajo de investigación en curso, lo que dejaba un margen de tiempo limitado para las interrupciones del servicio y las transiciones finales.
La universidad adoptó un enfoque por fases para trasladar las cargas de trabajo en oleadas controladas, completando la migración en tan solo unos meses, al tiempo que se mantenía la integridad de los datos, se conservaban los permisos y se minimizaban las interrupciones. Atempo Miria trasladó los datos a través de una red de 25 Gb. La universidad eligió un ritmo de migración que se ajustaba a sus necesidades académicas y de investigación, pero la solución permite acelerar las migraciones cuando se requieren plazos más cortos.
Qumulo es compatible con diversas tecnologías y métodos de migración, en función del entorno y los requisitos de cada cliente. Desde que la Universidad llevó a cabo su migración, Qumulo ha presentado Qumulo SLURP (Simple Lightweight Universal Replication Program), un motor de transferencia de datos de alta velocidad diseñado para simplificar las migraciones a gran escala desde plataformas NAS de terceros, incluida Dell PowerScale. SLURP aún no estaba disponible cuando la Universidad realizó su migración.
Independientemente de la tecnología de migración utilizada, la experiencia de la Universidad pone de manifiesto un aspecto importante: trasladar un entorno de archivos de gran tamaño desde Isilon o NetApp no tiene por qué suponer una interrupción para las personas o las aplicaciones que utilizan los datos. Como Robert Jurgensen, responsable de Infraestructura Digital de la Universidad de Waikato, describió la transición:
«Todo fue prácticamente sin contratiempos. Todo siguió como de costumbre. Los investigadores siguieron utilizando el almacenamiento prácticamente de la misma forma que lo hacían con Isilon. Sus flujos de trabajo SMB y NFS siguieron siendo los mismos, aunque la infraestructura subyacente hubiera cambiado».
Para las organizaciones que se plantean abandonar Isilon, esa continuidad es importante. Un proyecto de modernización del almacenamiento no tiene por qué convertirse necesariamente en un proyecto de modernización de los usuarios o de las cargas de trabajo.
Menos gestión del almacenamiento, más flexibilidad de la infraestructura
Las diferencias entre el entorno antiguo y el nuevo se hicieron más evidentes entre bastidores. Uno de los objetivos de la universidad era reducir la administración especializada necesaria para gestionar el almacenamiento empresarial. Hoy en día, la universidad ya no necesita un administrador de almacenamiento dedicado que se centre exclusivamente en Qumulo. En su lugar, el equipo de infraestructura en general comparte fácilmente esa responsabilidad.
Jurgensen afirmó que la plataforma ha resultado lo suficientemente sencilla como para que otros miembros del equipo puedan aprender a utilizarla sin necesidad de meses de formación especializada. En la actualidad, tres o cuatro miembros del departamento de infraestructura se sienten cómodos manejando Qumulo, lo que reduce la dependencia de un único especialista en almacenamiento.
La experiencia de actualización de la universidad ha seguido un patrón similar. El equipo de asistencia técnica de Qumulo colabora en las actualizaciones de software y de seguridad, mientras que el proceso sigue siendo sencillo. El resultado es un entorno capaz de gestionar grandes volúmenes de datos de investigación sin que el almacenamiento requiera constantemente la atención del equipo de infraestructura.
Mayor transparencia en los datos de investigación
La modernización de la plataforma de almacenamiento también ha permitido a la Universidad conocer mejor los datos que gestiona. Qumulo ofrece visibilidad sobre la utilización y el rendimiento, mientras que el equipo de infraestructura de la Universidad está explorando las API de Qumulo y otras funciones de visualización para obtener una visión más detallada del entorno.
Para una institución de investigación, la gestión de la capacidad implica algo más que saber cuántos terabytes quedan disponibles. La Universidad quiere saber quién está consumiendo capacidad, a qué ritmo crecen las distintas áreas y si los datos que ocupan el almacenamiento primario siguen utilizándose de forma activa.
Jurgensen describió un futuro en el que el equipo de infraestructura pudiera identificar, por ejemplo, un grupo de investigación con 150 TB de datos a los que no se hubiera accedido desde hacía varios años. Esa información podría servir de base para debatir si los datos aún deben ocupar espacio en el almacenamiento primario, si podrían trasladarse a otro nivel o si se podría recuperar esa capacidad para la investigación activa. En lugar de responder al crecimiento simplemente comprando más almacenamiento, la Universidad quiere tomar decisiones sobre la infraestructura basándose en cómo utiliza sus datos.
Ampliar las posibilidades de Qumulo más allá del almacenamiento de archivos tradicional
La universidad ya está utilizando Qumulo más allá de los servicios de archivos SMB y NFS convencionales. Un ejemplo es el sistema de gestión del aprendizaje de la universidad, en el que el equipo de infraestructura ha utilizado las capacidades S3 de Qumulo para crear una copia activa de solo lectura de los datos de producción destinada a los entornos de soporte y desarrollo.
Anteriormente, el mantenimiento de esos entornos podía requerir trasladar repetidamente las exportaciones de producción a los mismos. El nuevo enfoque ofrece un punto de transición común y reduce la necesidad de trasladar continuamente las exportaciones de producción entre entornos. Se trata de un primer ejemplo de cómo la Universidad puede utilizar Qumulo para algo más que simplemente recrear el entorno Isilon al que sustituyó.
La soberanía de los datos y la importancia de poder elegir
La estrategia de modernización de la Universidad no se basa en trasladar todo a la nube pública. En algunos ámbitos de su entorno de investigación, sigue siendo importante mantener los datos en las propias instalaciones debido a consideraciones relacionadas con la gobernanza y la soberanía de los datos. Los conjuntos de datos de investigación pueden incluir información sensible, como datos médicos y datos sobre los maoríes, por lo que la Universidad debe valorar cuidadosamente dónde se almacena la información y cómo se gestiona.
Esto hizo que contar con una arquitectura local sólida fuera un requisito importante cuando la Universidad evaluó la sustitución de su sistema Isilon. Al mismo tiempo, la Universidad no quería que la decisión sobre la infraestructura actual limitara las opciones futuras. Jurgensen considera que ampliar el entorno de Qumulo a medida que cambian los requisitos es una ventaja, ya sea mediante ubicaciones locales adicionales, infraestructura en la nube, centros de investigación periféricos o una combinación de todo ello.
El futuro: acercar los datos de investigación a los investigadores
La investigación universitaria implica, cada vez más, la colaboración entre instituciones, lugares y países. La Universidad de Waikato colabora con investigadores y organizaciones a nivel internacional, y el acceso remoto tradicional puede generar dificultades cuando los investigadores externos necesitan conexión a una VPN, credenciales institucionales u otros mecanismos simplemente para acceder a los conjuntos de datos necesarios para el trabajo colaborativo.
La Universidad está estudiando formas de ofrecer una experiencia más parecida a la de los servicios modernos de intercambio de archivos, al tiempo que se mantienen los controles de gobernanza e infraestructura que requiere. Otra posibilidad es situar los conjuntos de datos pertinentes más cerca de los investigadores que trabajan con ellos, en lugar de exigir que todos los colaboradores tengan que recurrir a Hamilton.
«Una prioridad clave es hacer que la colaboración con investigadores externos sea mucho más fluida. A medida que nuestras necesidades evolucionan, estamos seguros de que Qumulo nos ha proporcionado la plataforma de datos adecuada para abordar esto y cualquier otro reto que surja en el futuro». — Robert Jurgensen
Por ello, la Universidad está analizando detenidamente la cartera completa de Qumulo, en particular los servicios S3 más amplios, el acceso distribuido a los datos, la supervisión, la integración del inicio de sesión único, la organización por niveles, el archivado, la conectividad en la nube, la protección contra el ransomware y la recuperación tras ciberataques. Jurgensen describió esta oportunidad más amplia como la expansión de la «estructura de Qumulo» a nuevas ubicaciones a medida que evolucionen las necesidades de la Universidad.
El objetivo no es la nube por la nube en sí misma. Se trata de ofrecer a la Universidad más opciones sobre dónde deben almacenarse los datos, teniendo en cuenta la accesibilidad, los aspectos económicos, el rendimiento, la colaboración y la gobernanza.
Repercusión en la empresa
Se han trasladado 540 TB desde Isilon. El equipo migró aproximadamente 327 millones de archivos repartidos en 140 recursos compartidos SMB y 30 recursos compartidos NFS, al tiempo que garantizó la continuidad de los servicios de investigación, docencia y administración.
Mínimas molestias para los usuarios. Los investigadores siguieron accediendo a los datos mediante los flujos de trabajo habituales de SMB y NFS, a pesar de que la infraestructura subyacente había cambiado.
Resiliencia en dos emplazamientos. Qumulo opera en el entorno principal de la Universidad en Hamilton y en su centro de recuperación ante desastres de Auckland, con 10 nodos en cada emplazamiento y replicación casi en tiempo real.
Menor dependencia de la administración especializada del almacenamiento. Varios miembros del equipo de infraestructuras pueden gestionar Qumulo, en lugar de depender de un especialista en almacenamiento específico.
Mayor transparencia en los datos de investigación. La información sobre capacidad y utilización sirve de base para tomar mejores decisiones sobre el crecimiento de los datos, su conservación, la organización por niveles y las necesidades futuras de infraestructura.
Una plataforma para la colaboración en investigación en el futuro. La Universidad está estudiando cómo el S3, el acceso distribuido, la organización por niveles, el archivado, la integración en la nube, la supervisión, el inicio de sesión único (SSO) y otras capacidades de recuperación cibernética podrían contribuir a una investigación cada vez más distribuida.
Conclusión: dejar de utilizar Isilon no tiene por qué suponer una interrupción del servicio para tus usuarios
La experiencia de la Universidad de Waikato comenzó cuando se vio en la necesidad de sustituir su entorno Isilon. En lugar de limitarse a adquirir la siguiente generación de la misma arquitectura, la universidad aprovechó esta renovación para replantearse cómo debía adquirir, administrar, ampliar, proteger y utilizar el almacenamiento de archivos corporativo.
La universidad trasladó unos 540 TB y 327 millones de archivos de Isilon a Qumulo, mientras los investigadores seguían trabajando con los flujos de trabajo habituales de SMB y NFS. La universidad facilitó la distribución de la administración del almacenamiento entre el equipo de infraestructura, garantizó la resiliencia en dos ubicaciones y utilizó el modelo HPE GreenLake para adoptar un enfoque más flexible en el uso de la infraestructura a medida que cambiaban los requisitos.
Para las organizaciones que estén planteándose abandonar Isilon, NetApp u otras plataformas, la Universidad de Waikato demuestra que cambiar la plataforma de almacenamiento subyacente no tiene por qué suponer una interrupción para las personas y las aplicaciones que utilizan los datos. La migración fue solo el principio. La Universidad cuenta ahora con una plataforma capaz de evolucionar al mismo tiempo que su enfoque en materia de datos de investigación, colaboración, gestión del ciclo de vida, expansión a la nube e infraestructura.