EASY-(DAI)² - Economical & Automated SYstem for Distresses Detection on Airfield Infrastructure with Artificial Intelligence | FEREC 2020

Vers un relevé simplifié et automatisé des dégradations par IA Lauréat de l’appel à projets 2020 Fondation FEREC « Intelligence artificielle (IA) appliquée aux infrastructures en service » 18 / 39 4.3 Critères utilisés pour caractériser le niveau de performance des résultats L’évaluation de la qualité des résultats obtenus par l’utilisation conjointe du dispositif expérimental et des modèles de deep learning a principalement été effectuée selon l’examen de : - La matrice de confusion ; - L’indicateur « F1-score » ; - Les longueurs estimées des dégradations. La matrice de confusion met en relation la prédiction (ou détection) du modèle et la vérité terrain par le recensement de plusieurs sous-ensembles : les « vrais positifs », les « faux positifs », les « faux négatifs » et les « vrais négatifs ». Le F1-score résulte de l’exploitation de la matrice de confusion ; il est couramment utilisé pour représenter le niveau de performance des classifieurs. Le F1-score est souvent assorti des critères dits de précision et de rappel qui sont définis dans le tableau ci-après. Prédiction (détection) Positif Négatif Vérité Vrai Vrai Positif (VP) Vrai Négatif (VN) Faux Faux Positif (FP) Faux Négatif (FN) Degré de Précision (Taux de détections positives exactes) P = TP/(TP+FP) Degré de Rappel (Taux de « vrais » cas correctement détectés) R = TP/(TP+FN) F1-score F1 = 2/(P -1 + R -1 ) = TP/(TP+(FP+FN)/2) Tableau 2. Matrice de confusion et critères utilisés pour le calcul du F1-score Le F1-score est une sorte de compromis entre le degré de précision et le degré de rappel ; plus le modèle performe, plus le F1-score tend vers 1. Le F1-score s’intéresse particulièrement aux groupes correspondant à des bonnes ou des mauvaises détections ; il ne tient pas compte du groupe des « vrais négatifs » (pour lequel les modèles ne détectent pas de dégradations sur les images et qu’il n’y en a effectivement pas). L’exploitation de ce dernier groupe peut être réalisé à travers le degré de spécificité (VN/(VN+FP)) qui caractérise le niveau de performance des modèles face à des images dépourvues de dégradations. Un autre critère permettant d’évaluer la performance des modèles de deep learning est l’estimation des longueurs des dégradations. Celle-ci résulte directement du rectangle de détection (appelé aussi boite de détection ou « bounding box » en anglais) qui est créé par le modèle autour de la dégradation. En plus d’être capable de détecter (reconnaitre et classer) une dégradation, la puissance des modèles de deep learning peut également s’apprécier par rapport à la délimitation géographique de la cible dans l’image qui est ensuite convertie en longueur de dégradations dans le système métrique. Ainsi, pour chaque détection de dégradation, une longueur (en mètre) a été calculée en l’assimilant au plus grand côté de la boite de détection.