MAADISON - Modèles par apprentissage automatisés pour la surveillance des ouvrages névralgiques | FEREC 2020

12 Figure 7 Schéma d’un LSTM (entre deux itérations) et d’une cellule LSTM . Le flux d’info rmation circule en quatre étapes : 1. Suppression des informations inutiles, 2. Rangement et accumulation des données, 3. Mise à jour de l’état des cellules , 4. Renvoi d’ une version filtrée en sortie. Cette approche nécessite de lire la séquence d’entrée en entier, ce qui peut être bloquant pour des applications en temps réel ou en flux continu. Pour cela, des réseaux avec des modèles d’ attention sont utilisés. II.C. Paramètres évalués II.C.1. Paramètres généraux L’algorithme d’entraînement : plusieurs algorithmes d’entraînement ont été considérés d ans le cadre de cette étude. L’algorithme représente la fonction de coût utilisée pour estimer les poids du réseau ainsi que la démarche d’ajustement des poids. Différents algorithmes existent pour répondre à des problématiques de nature variées. Les fonctions suivantes ont été considérées : - Levenberg-Marquardt - Bayesian Regularization - BFGS Quasi-Newton - Resilient Backpropagation - Scaled Conjugate Gradient - Conjugate Gradient with Powell/Beale Restarts - Fletcher-Powell Conjugate Gradient - Polak-Ribiére Conjugate Gradient - One Step Secant - Variable Learning Rate Gradient Descent - Gradient Descent with Momentum - Gradient Descent L’algorithme Gradient Descent est l’approche de base des réseaux de neurones à propagation avant, tandis que l’algorithme Levenberg -Marquardt fait partie des approches les plus couramment utilisées grâce à sa rapidité. La profondeur du réseau : qui correspond au nombre de couches utilisées dans le réseau. Manzini [2020] a mis en avant l’intérêt des réseaux peu profonds . Dans le cadre de ces travaux, des configurations allant de 1 à 5 couches ont été testées. Ces couches comportent 15 neurones.