Comment l'université de Waikato a posé les bases de l'avenir
Moderniser l'infrastructure des données de recherche grâce à Qumulo afin de simplifier la gestion, d'améliorer la résilience et de favoriser la croissance future.
L'université de Waikato devait remplacer un environnement Dell PowerScale vieillissant, encore couramment désigné par son nom d'origine, Isilon, qui prenait en charge des centaines de millions de fichiers dans le cadre de ses activités de recherche, d'enseignement et d'administration. Plutôt que de considérer ce projet comme un simple renouvellement matériel à l'identique, l'université a saisi cette occasion pour repenser la manière dont le stockage de fichiers d'entreprise devait être exploité, utilisé, évolutif et géré.
L'université a choisi Qumulo sur HPE GreenLake, créant ainsi une architecture multisite basée sur la consommation, conçue pour répondre aux besoins croissants en matière de recherche tout en réduisant la charge opérationnelle liée au stockage d'entreprise. L'université a migré environ 540 To répartis sur 327 millions de fichiers d'Isilon vers Qumulo, en organisant soigneusement la transition en fonction des exigences académiques et de recherche afin de minimiser les perturbations.
Aujourd'hui, l'université utilise Qumulo sur son environnement principal à Hamilton ainsi que sur un site secondaire de reprise après sinistre situé à Auckland. Cette infrastructure prend en charge les charges de travail actuelles liées à la recherche et à l'enseignement, tout en offrant à l'université la possibilité d'étendre son utilisation de S3, d'améliorer l'analyse des données et la gestion de leur cycle de vie, de faciliter les collaborations de recherche externes et de déployer ses données vers d'autres sites ou dans le cloud à mesure que ses besoins évoluent.
Le défi : la mise à niveau d'un système Isilon s'est transformée en une occasion de repenser le stockage
L'université s'était appuyée sur Isilon dans le cadre de son infrastructure de stockage de fichiers d'entreprise. Cet environnement arrivant en fin de vie, l'équipe chargée de l'infrastructure devait déterminer quelle solution le remplacerait. Plutôt que de déployer automatiquement une nouvelle génération de la même plateforme, l'université a cherché à déterminer si une architecture différente pourrait mieux répondre à sa stratégie d'infrastructure à long terme.
L'ampleur de la situation a rendu cette décision cruciale. L'université gérait environ 540 To répartis entre 327 millions de fichiers, 140 partages SMB et 30 partages NFS. Les données de recherche ne cessaient de croître, tandis que l'enseignement, la recherche et les services administratifs dépendaient d'un accès fiable à ces informations. Toute solution de remplacement devait préserver les accès SMB et NFS habituels tout en s'adaptant au calendrier universitaire et aux charges de travail liées à la recherche, ce qui ne laissait guère de marge pour des interruptions de service ou des migrations définitives.
L'université souhaitait également bénéficier d'une plus grande simplicité opérationnelle, d'une meilleure visibilité sur l'utilisation des capacités, d'une solide stratégie de reprise après sinistre et d'une évolutivité plus flexible. Plutôt que de réaliser un nouvel investissement initial important basé sur des prévisions de capacités futures, l'université souhaitait s'orienter vers une structure de dépenses d'exploitation (OpEx) basée sur la consommation grâce à HPE GreenLake.
Une meilleure visibilité sur la consommation des données constituait un autre enjeu. L'université souhaitait identifier les domaines qui mobilisaient de la capacité, déterminer où se situait la croissance et, à terme, trouver comment lier plus étroitement les coûts d'infrastructure aux groupes qui les généraient. Le remplacement d'Isilon offrait donc l'occasion de mettre en place un modèle opérationnel différent pour les données de recherche, et non pas simplement d'acquérir un nouveau système de stockage.
Pourquoi Qumulo ?
Qumulo a permis à l'université de moderniser son infrastructure de fichiers sans que les chercheurs et les applications aient à renoncer aux flux de travail auxquels ils étaient déjà habitués. La plateforme offre des services SMB et NFS unifiés, des instantanés, la réplication, des contrôles d'accès et une visibilité en temps réel sur la capacité, le tout dans le cadre du modèle de consommation HPE GreenLake.
L'université conserve un accès traditionnel aux fichiers d'entreprise tout en simplifiant la gestion en arrière-plan. La capacité évolue en fonction de la demande, plutôt que d'être considérée uniquement comme un achat matériel périodique de grande envergure, et l'architecture Qumulo offre des possibilités d'extension au-delà de l'environnement actuel de l'université, à mesure que les besoins évoluent inévitablement. L'une des exigences clés est de disposer d'une infrastructure de données offrant une agilité à la fois au cœur du réseau, en périphérie et dans le cloud.
Tout aussi important, l'université devait avoir l'assurance de pouvoir transférer des centaines de millions de fichiers existants hors d'Isilon sans que cette transition en matière de stockage ne perturbe le travail des chercheurs.
Transfert de 540 To et 327 millions de fichiers depuis Isilon
L'université devait migrer environ 540 To, soit quelque 327 millions de fichiers, dont 140 partages SMB et 30 partages NFS. Le projet devait s'adapter au calendrier universitaire et aux charges de travail liées à la recherche, ce qui ne laissait que peu de marges de manœuvre pour les interruptions de service et les basculements définitifs.
L'université a adopté une approche par étapes pour transférer les charges de travail par vagues contrôlées, menant à bien la migration en quelques mois seulement tout en garantissant l'intégrité des données, en préservant les droits d'accès et en minimisant les perturbations. Atempo Miria a transféré les données via un réseau de 25 Gb. L’université a choisi un rythme de migration adapté à ses besoins en matière d’enseignement et de recherche, mais la solution permet d’accélérer les migrations lorsque des délais plus courts sont nécessaires.
Qumulo prend en charge diverses technologies et approches de migration, en fonction de l'environnement et des besoins de chaque client. Depuis la migration de l'université, Qumulo a lancé Qumulo SLURP (Simple Lightweight Universal Replication Program), un moteur de transfert de données à haut débit conçu pour simplifier les migrations à grande échelle à partir de plateformes NAS tierces, notamment Dell PowerScale. SLURP n'était pas encore disponible lorsque l'université a effectué sa migration.
Quelle que soit la technologie de migration utilisée, l'expérience de l'université met en évidence un point important : la migration d'un environnement de fichiers volumineux depuis Isilon ou NetApp ne doit pas nécessairement perturber les utilisateurs ou les applications qui exploitent ces données. Comme Robert Jurgensen, responsable de l'infrastructure numérique à l'université de Waikato, a décrit cette transition :
« La transition s'est faite de manière pratiquement transparente. Tout s'est déroulé comme d'habitude. Les chercheurs ont continué à utiliser l'espace de stockage pratiquement de la même manière qu'avec Isilon. Leurs flux de travail SMB et NFS sont restés identiques, même si l'infrastructure sous-jacente avait changé. »
Pour les entreprises qui envisagent de se détourner d’Isilon, cette continuité est essentielle. Un projet de modernisation du stockage ne doit pas nécessairement se transformer en projet de modernisation des utilisateurs ou des charges de travail.
Moins de gestion du stockage, plus de flexibilité de l'infrastructure
Les différences entre l'ancien et le nouvel environnement sont devenues plus évidentes en coulisses. L'un des objectifs de l'université était de réduire les tâches administratives spécialisées nécessaires à la gestion du stockage d'entreprise. Aujourd'hui, l'université n'a plus besoin d'un administrateur de stockage dédié se consacrant exclusivement à Qumulo. À la place, l'équipe chargée de l'infrastructure dans son ensemble se partage facilement cette responsabilité.
M. Jurgensen a déclaré que la plateforme était suffisamment simple pour que de nouveaux membres de l'équipe puissent la maîtriser sans avoir besoin de suivre des mois de formation spécialisée. Trois ou quatre membres de l'équipe chargée de l'infrastructure sont désormais à l'aise avec l'utilisation de Qumulo, ce qui réduit la dépendance vis-à-vis d'un seul spécialiste du stockage.
L'expérience de mise à niveau de l'université a suivi un schéma similaire. L'équipe d'assistance de Qumulo apporte son aide pour les mises à niveau logicielles et les mises à jour de sécurité, tandis que le processus reste simple. Il en résulte un environnement capable de prendre en charge d'importants volumes de données de recherche sans que le stockage ne sollicite constamment l'attention de l'équipe chargée de l'infrastructure.
Une meilleure visibilité sur les données de recherche
La modernisation de la plateforme de stockage a également permis à l'université de mieux comprendre les données qu'elle gère. Qumulo offre une visibilité sur l'utilisation et les performances, tandis que l'équipe chargée de l'infrastructure de l'université explore actuellement les API de Qumulo et d'autres fonctionnalités de visualisation afin d'approfondir sa compréhension de l'environnement.
Pour un établissement de recherche, la gestion des capacités ne se limite pas à connaître le nombre de téraoctets encore disponibles. L'université souhaite savoir qui utilise ces capacités, à quel rythme chaque domaine se développe et si les données stockées sur le stockage primaire sont toujours activement utilisées.
Jurgensen a décrit un avenir dans lequel l’équipe chargée de l’infrastructure pourrait, par exemple, identifier un groupe de recherche disposant de 150 To de données auxquelles personne n’a accédé depuis plusieurs années. Cette information pourrait servir de base à une réflexion visant à déterminer si ces données doivent encore occuper de l’espace de stockage primaire, si elles pourraient être transférées vers un autre niveau de stockage, ou si cette capacité pourrait être réaffectée à des recherches en cours. Plutôt que de répondre à la croissance en se contentant d’acheter davantage de stockage, l’université souhaite prendre des décisions en matière d’infrastructure en fonction de la manière dont elle utilise ses données.
Aller au-delà du stockage de fichiers traditionnel avec Qumulo
L'université utilise déjà Qumulo au-delà des services de fichiers SMB et NFS classiques. Citons par exemple le système de gestion de l'apprentissage de l'université, dans le cadre duquel l'équipe chargée de l'infrastructure a exploité les fonctionnalités S3 de Qumulo pour créer une copie en temps réel en lecture seule des données de production, destinée aux environnements de support et de développement.
Auparavant, la maintenance de ces environnements pouvait nécessiter de transférer à plusieurs reprises les exportations de production vers ceux-ci. La nouvelle approche offre un point de transit commun et réduit la nécessité de transférer en permanence les exportations de production d'un environnement à l'autre. Il s'agit là d'un premier exemple illustrant comment l'université peut utiliser Qumulo pour bien plus que la simple recréation de l'environnement Isilon qu'il a remplacé.
La souveraineté des données et l'importance du choix
La stratégie de modernisation de l'université ne repose pas sur la migration de l'ensemble de ses données vers le cloud public. Pour certaines parties de son environnement de recherche, il reste important de conserver les données sur site pour des raisons liées à la gouvernance et à la souveraineté des données. Les ensembles de données de recherche peuvent contenir des informations sensibles, notamment des données médicales et des données concernant les Māoris, ce qui oblige l'université à réfléchir soigneusement au lieu de stockage et au mode de gestion de ces informations.
C'est pourquoi une architecture sur site robuste est devenue une exigence majeure lorsque l'université a évalué le remplacement de son système Isilon. Parallèlement, l'université ne souhaitait pas que la décision prise aujourd'hui en matière d'infrastructure limite ses options futures. M. Jurgensen estime qu’il est judicieux d’étendre l’environnement Qumulo à mesure que les besoins évoluent, qu’il s’agisse de sites sur site supplémentaires, d’une infrastructure cloud, de sites de recherche en périphérie ou d’une combinaison de tous ces éléments.
L'avenir : rapprocher les données de recherche des chercheurs
La recherche universitaire repose de plus en plus sur la collaboration entre établissements, sites et pays. L'université de Waikato collabore avec des chercheurs et des organisations du monde entier, et les méthodes traditionnelles d'accès à distance peuvent être source de difficultés lorsque des chercheurs externes ont besoin d'une connexion VPN, d'identifiants institutionnels ou d'autres moyens simplement pour accéder aux ensembles de données nécessaires à leur travail collaboratif.
L’université étudie actuellement des moyens d’offrir une expérience plus proche des services modernes de partage de fichiers, tout en conservant les contrôles de gouvernance et d’infrastructure dont elle a besoin. Une autre possibilité consiste à placer les ensembles de données appropriés plus près des chercheurs qui les exploitent, plutôt que d’obliger chaque collaborateur à se connecter à Hamilton.
« L’une de nos principales priorités est de rendre la collaboration avec les chercheurs externes beaucoup plus fluide. À mesure que nos besoins évoluent, nous sommes convaincus que Qumulo nous a fourni la plateforme de données idéale pour relever ce défi et faire face à tout ce que l’avenir nous réserve. » – Robert Jurgensen
L'université examine donc de près l'ensemble de l'offre de Qumulo, en particulier les services S3 étendus, l'accès distribué aux données, la surveillance, l'intégration de l'authentification unique, la hiérarchisation des données, l'archivage, la connectivité au cloud, la protection contre les ransomwares et la reprise après sinistre informatique. M. Jurgensen a décrit cette opportunité plus large comme un moyen d’étendre l’« infrastructure de Qumulo » à d’autres sites à mesure que les besoins de l’université évoluent.
L'objectif n'est pas d'adopter le cloud pour le simple plaisir de le faire. Il s'agit plutôt d'offrir à l'université davantage de choix quant à l'emplacement où stocker ses données, en fonction de critères tels que l'accessibilité, les aspects économiques, les performances, la collaboration et la gouvernance.
Impact sur l'activité
540 To ont été transférés hors d'Isilon. L'équipe a migré environ 327 millions de fichiers répartis sur 140 partages SMB et 30 partages NFS, tout en assurant la continuité des activités de recherche, d'enseignement et des services administratifs.
Perturbation minimale pour les utilisateurs. Les chercheurs ont continué à accéder aux données via les workflows SMB et NFS qu'ils connaissaient bien, même si l'infrastructure sous-jacente avait changé.
Résilience sur deux sites. Qumulo est déployé à la fois dans l'environnement principal de l'université à Hamilton et sur son site de reprise après sinistre à Auckland, avec 10 nœuds sur chaque site et une réplication en temps quasi réel.
Une moindre dépendance vis-à-vis de l'administration spécialisée du stockage. Plusieurs membres de l'équipe chargée des infrastructures peuvent gérer Qumulo sans avoir à faire appel à un spécialiste dédié au stockage.
Une meilleure visibilité sur les données de recherche. Les informations relatives à la capacité et au taux d'utilisation constituent une base permettant de prendre de meilleures décisions concernant la croissance des données, leur conservation, leur hiérarchisation et les besoins futurs en matière d'infrastructure.
Une plateforme pour de futures collaborations de recherche. L'université étudie actuellement comment les technologies S3, l'accès distribué, la hiérarchisation des données, l'archivage, l'intégration au cloud, la surveillance, l'authentification unique (SSO) et d'autres capacités de reprise après sinistre informatique pourraient soutenir une recherche de plus en plus décentralisée.
Conclusion : abandonner Isilon ne signifie pas nécessairement perturber vos utilisateurs
L'aventure de l'université de Waikato a commencé lorsqu'elle a dû remplacer son environnement Isilon. Plutôt que de se contenter d'acquérir la nouvelle génération d'une architecture identique, l'université a profité de ce renouvellement pour repenser sa stratégie d'achat, d'administration, d'évolutivité, de sécurisation et d'utilisation du stockage de fichiers d'entreprise.
L'université a transféré environ 540 To et 327 millions de fichiers d'Isilon vers Qumulo, tandis que les chercheurs continuaient à travailler selon leurs workflows habituels via SMB et NFS. L'université a facilité la répartition de la gestion du stockage au sein de l'équipe chargée de l'infrastructure, a renforcé la résilience sur deux sites et a adopté le modèle HPE GreenLake pour bénéficier d'une approche plus flexible de l'utilisation de l'infrastructure à mesure que les besoins évoluaient.
Pour les organisations qui envisagent d’abandonner Isilon, NetApp ou d’autres plateformes, l’université de Waikato démontre que le changement de plateforme de stockage sous-jacente ne doit pas nécessairement perturber les utilisateurs et les applications qui exploitent ces données. La migration n’était qu’un début. L'université dispose désormais d'une plateforme capable d'évoluer au rythme de son approche en matière de données de recherche, de collaboration, de gestion du cycle de vie, d'expansion vers le cloud et d'infrastructure.