You are here

Optimisation énergétique de communications IoT à l’aide d’apprentissage par renforcement

Team and supervisors
Department / Team: 
DepartmentTeam
Team Web Site: 
https://www-granit.irisa.fr/fr/
PhD Director
Olivier Berder
Co-director(s), co-supervisor(s)
Baptiste Vrigneau
Contact(s)
PhD subject
Abstract

Motivation

La quête de l’objet communicant totalement autonome existe depuis plusieurs années maintenant. Les axes de recherche sont multiples comme l’amélioration des architectures matérielles, le choix et l’adaptabilité des paramètres de la transmission sans fil qui est un gros poste de consommation, la récupération d’énergie dans l’environnement (solaire, éolien, thermique…). Le contexte de cette thèse portera sur le choix des paramètres de communications en considérant un système aux capacités modulables allant d’un nœud très simple à un système complexe multi-antennaire. Aussi, les conditions de transmission pourront être symétriques jusqu’à fortement asymétriques. Les conditions de transmission sont également un facteur clé et celles de cette étude seront fortement contraintes de type industriel. Les nœuds de capteurs étant souvent disséminés dans des environnements difficiles (villes, industrie…), des phénomènes de propagation sévères altèreront le signal transmis et le bruit ne sera pas gaussien. La mobilité pourra aussi entrer en jeu au cas où la géolocalisation intervient dans les critères de la qualité de service (QoS) exigée.

Le travail s’orientera selon les axes suivants :

  • Une étude théorique de l’influence des paramètres clés (e.g. facteur d'étalement, renddement de code, largeur de bande pour LoRa) sur la qualité de la transmission ainsi que l’estimation en aveugle de l’environnement.
  • La mise au point d’une transmission de type IoT intelligente basée sur les techniques d’apprentissage comme l’apprentissage par renforcement qui exploitera les résultats précédents.
  • Une proposition de preuve de concept à l’aide des plateformes disponibles au sein de la cellule de développement (radio logicielle et capteurs).

Positionnement de la thèse

Comme introduit précédemment, les travaux de la thèse s’orienteront selon trois axes dont les objectifs et les challenges sont décrits ci-dessous.

  1. Étude théorique des performances et estimation de l’environnement

Les performances d’un système de transmission dépendent de plusieurs paramètres et prévoir la qualité de transmission est difficile. Le contexte de l’étude inclut un lien retour qui pourra être très limité comme dans la plupart des standards IoT actuels, mais aussi de débit plus important comme en MIMO car pour augmenter la QoS certains nœuds de capteurs seront sans doute bientôt équipés de plusieurs antennes. Cette hypothèse de lien retour est vérifiée dans beaucoup de normes, qu’elles soient à fort débit en full duplex ou fortement asymétriques comme le LoRa. De plus, le canal de propagation lié à l’environnement a un impact direct sur les performances. Le système devra en apprendre les caractéristiques afin d’extraire des valeurs clés. Ces dernières pourront alimenter l’apprentissage du système via le lien retour. Il s’agira de trouver les informations les plus pertinentes afin de limiter drastiquement le débit du lien retour. L’environnement considéré sera difficile et le système devra gérer à la fois l’estimation du canal de propagation mais aussi le bruit qui sera généralisé grâce aux distributions de gaussienne généralisée [Soury12] ou de Middleton [Madi11]. La transformée de Karhunen-Loeve semble une piste intéressante en termes de performances et d’implémentation et sera explorée [Jain76, Gastpar06, Bhairannawar18]. Une norme de transmission étudiée sera le LoRa où les études théoriques restent encore limitées [Vangelista17, Elshabrawy18]. Une collaboration avec le Pr. Manav Bhatnagar, d’Indian Institute of Technology Delhi, le plus prestigieux établissement scientifique d’Inde, avec qui nous avons déjà plusieurs publications communes [Garg18], est envisagée sur cette partie de la thèse.

  1. Apprentissage du système sans fil intelligent

Le second axe de recherche sera abondé par le premier. Maintenant que les performances de transmission sont disponibles à partir de paramètres clés estimés, le système complet peut apprendre et trouver la meilleure solution sous contrainte de QoS et de consommation d’énergie. La solution envisagée dans les travaux de la thèse est l’apprentissage par renforcement [Alvin12, Liu06, Ait-Aoudia18]. La solution devra s’attaquer aux deux verrous suivants : i) une forte plasticité afin de s’adapter au type de système considéré (MIMO, IoT, Qualité de service, récupération d’énergie) et à l’environnement fortement contraint, ii) et une convergence rapide lors d’un changement brusque des conditions. Pour ce faire, la radio-logicielle est une solution envisagée afin de mettre en place cet apprentissage et la reconfigurabilité. Il s’agira de trouver les meilleures fonctions de récompense du système pour répondre aux contraintes de débit du lien retour donc une forte compression, et les paramètres associés afin d’offrir la meilleure convergence lors d’un changement brutal.

  1. Preuve de concept

L’équipe possède un savoir-faire au sein d’une cellule de développement pour la fabrication de plateforme de nœuds sans fil. Tout un panel de solutions matérielles sont déjà disponibles avec plusieurs microcontrôleurs ou FPGA associés à des composants de transmission sans fil afin de développer des nœuds. Des modules de récupération d’énergie sont également disponibles. A cela, vient s’ajouter une plateforme de radio-logicielle basée sur des USRP E310 d’Ettus permettant de réaliser des systèmes MIMO. Ces cartes permettent d’associer une implémentation logicielle avec des FPGA. L’équipe possède actuellement tout le matériel nécessaire pour réaliser des preuves de concept de différentes configurations.

 

Le tissu industriel et académique de Lannion est très actif dans le domaine des objets connectés avec de grands groupes comme Orange et Nokia. Pour illustrer cette dynamique, un défi porté conjointement par Orange et Nokia est actuellement en cours et porte sur les normes 4G Cat-M (point d’accès disponible et unique en France) et LoRa [Defi19]. Plus spécifiquement, la mise au point d’un système de communication autonome et apprenant est un sujet qui intéresse Bell Labs. Des rapprochements pour des collaborations sont envisageables avec des extensions possibles sur le cloud Edge et la 5G.

 
Bibliography

[Madi11]: G. Madi, F. Sacuto, B. Vrigneau, B. Agba, R. Vauzelle, F. Gagnon, “Impacts of impulsive noise from partial discharges on wireless systems performance: application to MIMO precoders ”, Eurasip JWCN, 2011.

[Soury12] : H. Soury, F. Yilmaz and M. Alouini, "Average Bit Error Probability of Binary Coherent Signaling over Generalized Fading Channels Subject to Additive Generalized Gaussian Noise", in IEEE Communications Letters, vol. 16, no. 6, pp. 785-788, June 2012.

[Gastpar06] : M. Gastpar, P. L. Dragotti and M. Vetterli, “The Distributed Karhunen-Loeve Transform”, in IEEE Transactions on Information Theory, vol. 52, no. 12, pp. 5177-5196, Dec. 2006.

[Jain76] : A. Jain, "A Fast Karhunen-Loeve Transform for a Class of Random Processes", in IEEE Transactions on Communications, vol. 24, no. 9, pp. 1023-1029, September 1976.

[Bhairannawar18] : Bhairannawar, S.S., Sarkar, S. & Raja, “Implementation of Optimized Karhunen–Loeve Transform for Image Processing Applications“, Real-Time Image Proc (2018).

[Vangelista17] : L. Vangelista, “Frequency shift chirp modulation: The LoRa modulation”, IEEE  Signal  Processing  Letters,  vol.  24,  no.  12,  pp.  1818-1821,  Dec. 2017

[Elshabrawy18] : T. Elshabrawy and J. Robert, ‘’Closed-Form Approximation of LoRa Modulation BER Performance”, IEEE Communications Letters, June 2018.

[Garg18] : A. Garg, M.R. Bhatnagar, O. Berder, B. Vrigneau, ‘’Quantized Feedback-Based Diagonal Precoding for MISO System With Generalized Orthogonal Space-Time Block Codes’’, IEEE Transactions on Communications, vol. 66, no. 1, pp. 91-104 , January 2018.

 [Alvin12] : K.-L. Alvin Yau, P. Komisarczuk, P. D. Teal, “Reinforcement learning for context awareness and intelligence in wireless networks: Review, new features and open issues,” Elsevier Journal of network and computer applications, vol. 35, Jan. 2012

[Liu06] : Z. Liu and I. Elhanany, "RL-MAC: A QoS-Aware Reinforcement Learning based MAC Protocol for Wireless Sensor Networks," IEEE International Conference on Networking, Sensing and Control, Ft. Lauderdale, FL, 2006, pp. 768-773.

[Ait-Aoudia18] : F. Aït-Aoudia, M. Gautier, O. Berder “RLMan: an Energy Manager Based on Reinforcement Learning for Energy Harvesting Wireless Sensor Networks”, IEEE Transactions on Green Communications and Networking, vol. 2, no. 2, pp. 408-417, February 2018.

[Defi19] : http://www.testandplug.bzh/

Work start date: 
01/10/2019
Keywords: 
IoT, optimisation énergétique, intelligence artificielle, objets connectés, transmission sans fil
Place: 
IRISA -Site de Lannion, ENSSAT