Des solutions intelligentes pour des esprits brillants

Le Défi

Kablamo a été mandaté par l'une des plus prestigieuses universités australiennes, qui abrite certains des projets de recherche et développement les plus avancés du pays. Les besoins informatiques des différents départements de R&D de l'université dépassaient leurs capacités actuelles, engendrant des goulots d'étranglement lors des pics d'activité et un gaspillage de ressources pendant les périodes creuses.

La charge de travail académique est par nature irrégulière, avec des pics importants qui mettent les ressources à rude épreuve, suivis de périodes où l'infrastructure est largement sous-utilisée. Traditionnellement, les universités gèrent leur propre infrastructure informatique, ce qui implique des investissements importants en matériel, ainsi que des coûts élevés de maintenance et de développement. Les chercheurs de 16 départements étaient limités par une même capacité de calcul sur site, ce qui signifiait qu'une équipe de génomique effectuant des simulations intensives pouvait bloquer la capacité d'un groupe d'ingénieurs devant traiter des données expérimentales. Lorsqu'un département atteignait une échéance, tous les autres devaient patienter.

L'université avait besoin d'une solution rentable, facile à utiliser et compatible avec ses pratiques existantes d'exploitation et d'accès à l'infrastructure cloud, sans exiger des chercheurs qu'ils soient experts en technologies cloud. La plateforme devait fournir un accès à la demande aux ressources de calcul tout en garantissant la sécurité et les contrôles d'accès nécessaires à la protection des données de recherche sensibles. Point crucial, les chercheurs étaient d'horizons très divers, allant des informaticiens maîtrisant les outils en ligne de commande aux équipes de sciences sociales n'ayant jamais configuré de machine virtuelle. La solution devait donc convenir aux deux groupes sans nécessiter de formations distinctes.

L'approche

Kablamo a été mandaté pour déployer AWS Service Workbench (SWB), permettant ainsi à l'université d'évaluer son utilisation par les départements de recherche. SWB permet aux chercheurs de stocker et de partager des données en toute sécurité sans attendre la disponibilité des infrastructures informatiques universitaires. Après une première preuve de concept démontrant la viabilité de l'approche, la solution a rapidement été mise en production.

L'approche technique comprenait un pipeline de livraison continue avec des fonctionnalités personnalisées permettant à l'équipe interne de l'université de déployer des mises à jour et de nouvelles configurations en toute autonomie. Un pipeline complet de création d'AMI pour les environnements de recherche garantissait à chaque département des images de machines préconfigurées et adaptées à ses besoins spécifiques en matière de logiciels et d'outils. Par exemple, un groupe de recherche en sciences de la vie pouvait déployer un environnement avec R, Bioconductor et la suite logicielle d'analyse génomique sous licence de l'université déjà installés, tandis qu'une équipe d'ingénierie bénéficiait d'une image différente avec MATLAB, des solveurs d'éléments finis et des pilotes GPU prêts à l'emploi. Les chercheurs n'avaient aucune installation ni configuration à effectuer.

Des rôles et des politiques IAM personnalisés garantissaient un contrôle d'accès sécurisé et précis, permettant aux chercheurs d'accéder uniquement aux ressources et aux données pertinentes pour leurs projets. L'isolation des données était particulièrement importante pour les groupes travaillant avec des dossiers médicaux ou dans le cadre de partenariats industriels commercialement sensibles, où un accès accidentel entre départements pouvait enfreindre les conditions d'approbation éthique. Kablamo a également dispensé une formation à la méthodologie Agile au personnel de l'université, transmettant ainsi des connaissances sur les pratiques de développement et de déploiement itératifs afin que l'équipe interne puisse maintenir et étendre la plateforme de manière autonome.

La plateforme offrait une visibilité claire sur les rapports et la gestion des coûts, auparavant inexistante. Chaque département pouvait consulter sa propre utilisation et ses coûts, ce qui permettait de prendre des décisions éclairées sur l'allocation des ressources et d'éviter les factures surprises qui accompagnent souvent l'adoption précoce du cloud dans les contextes de recherche. Des alertes budgétaires ont été configurées par département afin qu'un traitement par lots excessif déclenche une notification avant que les coûts n'explosent.

Les résultats

Kablamo a intégré 80 chercheurs répartis dans 16 départements de recherche à sa plateforme, offrant ainsi des solutions hautement évolutives et faciles à prendre en charge pour les groupes de recherche de l'université. Les chercheurs ont bénéficié d'un accès à la demande à des ressources de calcul adaptées à leur charge de travail, éliminant les goulots d'étranglement qui retardaient auparavant les projets de recherche. La visibilité accrue sur la gestion des coûts a transformé la manière dont les départements planifient et budgétisent les ressources informatiques, remplaçant les coûts opaques des infrastructures partagées par des rapports d'utilisation transparents et détaillés par département.

Les chercheurs qui attendaient auparavant des jours, voire des semaines, pour obtenir de la capacité de calcul peuvent désormais déployer un environnement préconfiguré en quelques minutes et le libérer une fois le traitement terminé, en ne payant que ce qu'ils ont utilisé. Les départements initialement réticents à l'informatique en nuage ont adopté la plateforme après avoir constaté le succès de leurs homologues. Le modèle en libre-service a également libéré l'équipe informatique centrale de l'Université d'une file d'attente constante de demandes de provisionnement, lui permettant ainsi de se concentrer sur l'amélioration de la plateforme plutôt que sur le traitement des incidents au cas par cas.

Perspectives d'avenir

Cette approche a permis d'améliorer les compétences et les processus de l'équipe DevOps interne, tout en développant les connaissances de l'Université en matière de méthodologies agiles. Le transfert de compétences intégré au projet permet désormais à l'équipe interne de l'Université de gérer les opérations quotidiennes, d'intégrer de nouveaux départements et d'étendre les capacités de la plateforme sans repartir de zéro.

À mesure que de nouveaux groupes de recherche se connectent, le pipeline AMI simplifie la création d'environnements dédiés à chaque nouvelle discipline. L'Université étudie également une intégration plus étroite avec ses politiques de gestion des données de recherche, afin que les règles de classification et de conservation des données soient appliquées automatiquement lors de la création d'un espace de travail. Kablamo continue d'assurer un support produit continu, garantissant ainsi que la plateforme reste à jour avec les mises à jour des services AWS et évolue au rythme des ambitions de recherche de l'Université.