RINA - Démonstrateur d’utilisation de l’intelligence artificielle pour la gestion opérationnelle des risques naturels gravitaires géologiques | FEREC 2020

12/20 Livrable – Projet RINA – AAP Fondation Ferec / Novembre 2021 Nous avons utilisé trois métriques, dérivées de la matrice de confusion pour évaluer la perfor- mance : 1. Le rappel permet de détecter la fraction d'événements de chutes de blocs prédits parmi tous les événements ayant eu lieu. Une augmentation du rappel signifie que nous sommes capables de mieux détecter les événements et donc d'améliorer la sécurité sur la route. = 2. La précision est la fraction de chutes de blocs réelles parmi tous les événements prédits. Une augmentation de la précision signifie que nous diminuons le nombre de faux positifs et que nous réduisons le nombre de jours de fermeture de la route inutiles puisque sans évènements réels. La conséquence directe d’une augmentation de la précision présente un avantage économique. é = + 3. L’exactitude est la fraction de bonnes prédictions parmi l’ensemble (“Accuracy” en anglais). Au vu du déséquilibre des classes dans nos jeux de données, on lui préfère l’exactitude pondérée. é é = + 3.4 Résultats Pour chaque type de modèles, une optimisation des hyper-paramètres a été conduite. Puis les modèles ont été entrainés sur le jeu de données d’entrainement (2000-2004) avant d’être évalués (2005-2007). La capacité de prédiction des différents modèles est maintenant présen- tée. 3.4.1 Modèle expert Les performances du modèle de référence (modèle expert) sont d'abord calculées. La règle opérationnelle implémentée sur les données de test, indique que les événements de chutes de blocs se produisent le jour J si les précipitations du jour précédent J-1 sont supérieures à 15 mm ou si les précipitations des jours J-2 ou J-3 sont supérieures à 30 mm Parmi les 146 jours avec des événements (données de test entre 2005 et 2007), le modèle expert a permis d'en identifier 43 (Tableau 2). L'exactitude pondérée est égale à 0,6, le rappel vaut 0,3 et la précision 0,37 (Tableau 6). Réalité Pas de chutes de blocs Chutes de blocs Prédic- tions Pas de chutes de blocs 870 103 Chutes de blocs 74 43 Tableau 2 : Matrice de confusion – Modèle expert (référence)