Des nuages de données pour prévenir les nuages pyrotechniques

Le défi

Le ministère de l'Environnement, des Terres, de l'Eau et de l'Aménagement du territoire (DELWP) de l'État de Victoria, devenu depuis DEECA, gère le risque d'incendies de brousse grâce à l'indicateur de « risque résiduel ». Ce dernier utilise la modélisation pour calculer la probabilité et la gravité des incendies en fonction des niveaux de combustible sur les terres publiques. Après quatre ans, l'indicateur nécessitait une technologie cloud pour gagner en précision. Le DELWP a donc recherché une infrastructure cloud AWS et un cadre d'apprentissage automatique pour une plateforme de modélisation des risques de nouvelle génération.

Le contexte était catastrophique. Durant la saison des feux de brousse 2019/2020, plus de 18 millions d'hectares ont brûlé, plus de 30 personnes ont perdu la vie, des milliards d'animaux ont péri et les estimations des dégâts ont dépassé 200 millions de dollars. PHOENIX RapidFire, le simulateur de comportement du feu qui place l'Australie à la pointe de l'analyse des feux de brousse, devait être modernisé.

Le système existant souffrait de couches de données et de modèles obsolètes, de goulots d'étranglement au niveau du post-traitement empêchant son passage à l'échelle, de processus manuels nécessitant une intervention humaine, d'un goulot d'étranglement lié à PostgreSQL au niveau du post-traitement et d'une résolution spatiale limitée à 5 km² alors qu'une résolution de 1 km² était nécessaire. La plateforme devait gérer six fois plus de points d'inflammation et doubler la résolution de simulation. Elle devait être accessible à la fois aux scientifiques et aux responsables des services d'incendie.

L'approche

Le projet s'est déroulé de décembre 2020 à mars 2021. L'équipe a construit une plateforme de données cloud AWS robuste et évolutive afin de fournir des modèles de prédiction des feux de brousse via une interface utilisateur intuitive et interactive.

L'architecture s'est concentrée sur le remplacement des goulots d'étranglement par des services AWS évolutifs. Amazon Glue a remplacé le goulot d'étranglement du post-traitement PostgreSQL par PySpark, exécutant les étapes de post-traitement simultanément au lieu de séquentiellement. Bien que les tâches individuelles n'aient pas été considérablement plus rapides (15 minutes contre 20 minutes), la possibilité de les exécuter simultanément avec une mise à l'échelle indépendante a été une véritable révolution. Les modifications SQL nécessaires pour l'utilisation de Spark SQL étaient minimes. Amazon Glue Crawlers et Athena ont permis d'interroger directement les données transformées dans S3, sans chargement dans une base de données.

Amazon SageMaker Batch Transform a intégré des modèles de recherche universitaires issus de l'écosystème R, grâce à des conteneurs personnalisés pour le code des modèles existants. L'inférence par lots s'est exécutée sur les résultats de Phoenix sans effort de développement important, avec une mise à l'échelle de la puissance de calcul selon les besoins, sans frais de serveur supplémentaires.

Amazon Lambda a assuré la mise à l'échelle automatique du cluster Phoenix, la compilation des données d'entrée, l'alimentation des files d'attente de tâches, la surveillance de l'état des tâches par lots, la conversion des résultats et le lancement de Glue Crawlers. Amazon AppSync a fourni une API GraphQL entièrement gérée pour l'interface utilisateur, avec Amazon Aurora comme base de données. Step Functions a connecté les tâches Glue et SageMaker Batch Transform dans un pipeline de machine à états.

L'architecture a respecté des principes fondamentaux : l'évolutivité grâce à la mise à l'échelle automatique pour s'adapter à l'augmentation du volume et de la variété des données ; l'automatisation pour réduire l'intervention humaine et les délais ; une conception native du cloud avec des ingénieurs DevOps et des data scientists certifiés AWS. Suppression des goulots d'étranglement du post-traitement grâce aux meilleures pratiques de pipeline de données massives ; réduction des coûts grâce à la mise hors service des ressources inutilisées, au calcul sans serveur et à l'optimisation du stockage ; et visibilité des performances via une interface web pour la gestion et le suivi des tâches.

Les concepteurs ont créé une interface utilisateur accessible affichant des prédictions et des conseils de gestion accompagnés de cartes précises, permettant une communication rapide entre les équipes en période de forte pression.

Résultats

La plateforme offre une solution cloud AWS entièrement évolutive et économique pour l'évaluation des risques d'incendies de forêt. Son interface utilisateur riche permet de créer rapidement des scénarios, de charger des données et de reproduire des simulations précédentes en y apportant des modifications. Cette solution cloud native entièrement automatisée élimine les contraintes de mise à l'échelle grâce à des pipelines de données automatisés et des processus sans serveur. Amazon Glue permet le post-traitement simultané et SageMaker permet l'inférence automatisée avec des capacités d'apprentissage automatique.

La plateforme gère six fois plus de points d'inflammation et une résolution de simulation deux fois supérieure à celle du système précédent, avec environ 2,75 millions d'exécutions par simulation. Elle assure l'interopérabilité avec les systèmes de cartographie existants (ArcGIS), les modèles de prédiction et les processus décisionnels.

Le temps de traitement des tâches de post-traitement a considérablement diminué. Alors que chaque tâche Glue s'exécutait en environ 15 minutes (contre 20 minutes avec l'ancien système), la possibilité d'exécuter des dizaines de tâches simultanément, au lieu d'un traitement séquentiel, a permis de réduire le temps de traitement total de plusieurs heures à quelques minutes. Les scientifiques et les chefs des pompiers peuvent désormais accéder à la même interface et effectuer des comparaisons de scénarios qui nécessitaient auparavant une coordination manuelle entre les équipes techniques et le personnel opérationnel. Grâce à la combinaison de pipelines de données automatisés, de calcul sans serveur et de stockage évolutif, la plateforme peut absorber les futures augmentations du volume de données et de la complexité des modèles sans modification de son architecture.

Perspectives d'avenir

La nouvelle plateforme de données aide les services de lutte contre les incendies des États et Territoires à mieux se préparer à des saisons des feux plus longues et plus intenses. L'intégration de modèles de recherche universitaires via SageMaker permet d'intégrer les avancées en sciences du comportement du feu à la plateforme sans refonte majeure. Cette plateforme évolutive permet une analyse de données plus poussée, des modèles de prédiction des incendies basés sur l'apprentissage automatique et des mécanismes automatisés d'intervention, notamment grâce à la robotique et aux drones. Son interopérabilité avec ArcGIS et les modèles de prédiction existants garantit son intégration aux processus de gestion des urgences établis, sans contraindre les organismes à modifier leurs méthodes de travail.

Face à des saisons des feux plus longues et plus imprévisibles, conséquences du changement climatique, la capacité de la plateforme à intégrer de nouvelles sources de données (dont l'imagerie satellite à haute résolution et des réseaux de capteurs IoT supplémentaires) en fait un pilier de la prochaine génération de préparation aux feux de brousse. Son architecture sans serveur assure des coûts opérationnels proportionnels à l'utilisation, la rendant ainsi accessible aux organismes de toutes tailles et de tous budgets. Ces travaux ont permis d'établir un modèle reproductible d'application des plateformes de données cloud et de l'apprentissage automatique à la prédiction des catastrophes naturelles, applicable non seulement aux feux de brousse, mais aussi à la modélisation des inondations, des tempêtes et des sécheresses.