CorrelTemp - Correction des températures | FEREC 2020

9/23 des capacités de représentation et de prédiction (par rapport au coefficient de détermination) généralement supérieures à celles obtenues par de simples arbres de décisions uniques. Nous utilisons l’implémentation des forêts aléatoires de la librairie Python « scikit-learn » [9]. Elle se base sur la méthode d’apprentissage d’arbres « perturb-and-combine » [16]. Les hyperparamètres de cette méthode, et leur valeurs (ou domaines) sont listés dans la Table 2. La méthode des forêts aléatoires a beaucoup d’hyperparamètres qui peuvent influencer sur leur résultats (par exemple le coefficient de détermination). Il est donc courant de tester plusieurs valeurs pour certains hyperparamètres (par exemple la profondeur maximale des arbres), et de ne garder que les meilleurs résultats pour chaque jeu de données. Pour ce faire, nous utilisons un processus nommé « Grid Search » dans lequel tous les sets d’hyperparamètres d'intérêt sont testés. La méthode RF utilise des variables d’entrées différentes (et plus complètes) de celles utilisées pour le modèle HST. En effet, le modèle RF n’a pas vocation à être un modèle facilement interprétable (modèles en « boites blanches » / « white box models »), mais plutôt un modèle qui permet de capturer le signal de la façon la plus précise possible (modèles en « boîtes noires » / « black box models »). Par conséquent, nous lui fournissons aussi des variables d’entrées qui ne peuvent pas facilement être interprétables, mais qui contiennent plus d'informations que celles utilisées pour le modèle HST. Il peut être judicieux (du point de vue des scores de coefficients de détermination des résultats) de ne prendre en compte qu’un sous-ensemble de variables d’entrées par le modèle RF, suivant le jeu de données. Pour ce faire, nous utilisons la méthode « RFE » (« Recursive Feature Elimination ») pour sélectionner soit 2, soit 3, soit toutes les variables d’entrées - comme pour la sélection des hyperparamètres, seuls les meilleurs résultats par jeu de données sont conservés. 1.1.4 LSTM : Méthode basée sur des réseaux de neurones récurrents Nous proposons une autre méthode par apprentissage automatique, et faisant appel à un modèle de réseaux de neurones. En effet, un modèle classique et d'expressivité élevée pour représenter des signaux temporels complexes est d’utiliser des “réseaux de neurones récurrents”. Ce sont des réseaux de neurones qui comportent des connexions récurrentes - contrairement aux réseaux de neurones « feed-forward », comme les MLP, qui n’en comportent pas. Ces connexions récurrentes permettent de capturer des états internes qui permettent de mieux représenter l'évolution de phénomènes temporels de pas de temps en pas de temps. Cependant, ces réseaux sont généralement plus difficiles à entraîner que de simples réseaux feed-forward (problème de “disparition du gradient” en utilisant un apprentissage par “rétropropagation du gradient”). Des architectures particulières permettent d’adresser partiellement ce problème -- en particulier les réseaux de type “Long Short-Term Memory” (ou LSTM ) [10] qui contiennent des mécanismes pour propager les erreurs aux pas d’apprentissage antérieurs, et éviter la plupart des problèmes de disparition du gradient. Ce type de réseau est constitué d’unités computationnelle modélisant des états interne de court et long termes -- une de ces unités est illustré dans la Figure suivante :