Alexis Bitaillou, doctorant au sein de l’équipe RIO soutiendra sa thèse intitulée « Réseaux cognitifs sans fil pour des applications industrielles 4.0 » / « Cognitive networks for Industrie 4.0 applications »
lundi 15 novembre 2021 à 14h, à Polytech Nantes, bâtiment Ireste, Amphi 1.

Jury :
– Directeur de thèse : Benoît PARREIN
– Co-encadrant : Guillaume ANDRIEUX, Maître de Conférence HDR, Université de Nantes
– Rapporteurs : Fabrice THEOLEYRE, Chargé de recherche CNRS, CNRS/Université de Strasbourg ; Fabrice VALLOIS Professeur des universités, INSA Lyon
– Autres membres : Nathalie MITTON, Directeur de recherche, INRIA Lille-Nord Europe ; Nicolas MONTAVONT, Professeur de l’Ecole des Mines, IMT Atlantique
– Invité : Dominique BARTHEL, Principal Research Engineer, Orange Labs Grenoble

Résumé : Dans le contexte de l’industrie du futur, les réseaux cognitifs sont une solution pour améliorer la fiabilité des réseaux informatiques et industriels. Ils sont capables d’optimiser automatiquement les différents paramètres protocolaires afin d’accomplir un ou plusieurs objectifs de qualité de service. Très peu de réseaux cognitifs ont été implémentés en totalité. La plupart des auteurs ont préféré se concentrer sur l’amélioration d’une fonctionnalité comme le routage. Dans cette thèse,nous suivons cette approche en proposant d’évaluer et d’améliorer l’algorithme Q-routing,algorithme de routage conçu par Boyan et Litt-man en 1994 et inspiré de Q-learning. Nous proposons une implémentation de Q-routing et des améliorations pour résoudre deux problèmes : les optimums locaux causés par la stratégie gloutonne de Q-routing et l’estimation du délai. Les optimums locaux privent Q-routing des routes ayant été congestionnées même momentanément. Pour résoudre ce problème, nous proposons deux approches inspirées des travaux sur l’apprentissage par renforcement. Par ailleurs, la qualité de l’estimation du délai est importante car elle est utilisée pour calculer la métrique de routage.Nous proposons d’utiliser une méthode de filtrage afin d’améliorer la qualité de l’estimation du délai de transmission. Nous évaluons notre implémentation et nos améliorations sur le simulateur réseau Qualnet incluant des topologies sans-fil et dans des scénarios avec mobilité. Nous montrons que Q-routing peut livrer plus de paquets et plus rapidement que le protocole de routage standardisé OLSRv2.

Mots-clés : Réseaux cognitifs, Industrie 4.0, Q-routing, apprentissage par renforcement

——————————————————————————————————————————————————————————————————————-
Abstract:
In the context of industry of the future, cognitive networks can help to increase robustness of computer and industrial networks. These networks are able to optimize automatically the different protocol parameters in order to perform one or more quality of service objectives. Unfortunately, cognitive networks have been rarely totally imple-mented. Most of the authors preferred improving only one functionality such as routing. In this PhD thesis, we follow this line by evaluating and improving Q-routing, a routing algorithm inspired by Q-learning and designed by Boyan and Littman in 1994. We propose an implementation of Q-routing and some improvements to solve two problems: local o-timums due to the greedy strategy and the quality of delay measure. When a brief congestion happens on a route, this route can be never reused because of the greedy strategy.We propose two solutions inspired from reinforcement learning to solve local optimums problem. Otherwise, the quality of the estimation delay is also important. As Q-routing uses delay to compute routing metric, noisy measurements can let Q-routing doing the wrong choice. We propose to use filtering to improve the estimation of delay. We evaluate Q-routing and its modifications on discrete event network simulator Qualnet on several scenarios including wireless topologies and mobility.We show that our implementation can deliver more packets and faster than the standardized routing protocol OLSRv2.

Keywords: Cognitive networks, Industrie 4.0, Q-routing, reinforcement learning