You are here

Détection automatique des saillances et compression intelligente des vidéos de drones civiles

Team and supervisors
Department / Team: 
Team Web Site: 
http://people.irisa.fr/Olivier.Le_Meur/
PhD Director
Olivier Le Meur
Co-director(s), co-supervisor(s)
Olivier Deforges
Lu Zhang
Contact(s)
PhD subject
Abstract

La surveillance par des drones (civils et militaires) présente des enjeux majeurs tant des points de vue défense (e.g., surveillance de zones sensibles, de zones de conflits, de zones de guerre, de frontières, ...) que civile (e.g., surveillance de la sécurité urbaine, surveillance des ouvrages d'art, ...).

Les images captées sont transmises en temps réel sur l’écran déporté d’un “télépilote”. Néanmoins, les missions d’alerter, détecter, reconnaître et identifier des « événements » ou « menaces » sont actuellement exécutées par des humains qui n’ont pas la capacité à pleinement et efficacement exploiter et analyser l’intégralité des vidéos de drone disponibles. La science et la technologie de la modélisation de l’attention visuelle humaine et de la compression intelligente, ouvrent alors de nouvelles possibilités pour répondre à ces enjeux.

    Les modèles computationnels de l’attention visuelle prédisent les zones de l’environnement visuel qui vont attirer notre regard de façon réflexe et inconsciente. Dans la littérature, il existe de nombreux modèles reposant sur des approches différentes (approche bayésienne, approche théorie de l’information, approche apprentissage supervisé, etc). Plus récemment les modèles saccadiques (nouvelle génération), qui simulent le parcours visuel d’un observateur sur une image, présentent des avantages importants comparés à la précédente génération. Ils s’avèrent être plus proche de notre fonctionnement oculomoteur, peuvent être adaptés à une population particulière d’observateurs et permettent de prendre en compte la dimension temporelle dans la modélisation de l’attention visuelle. Encore plus récemment, plusieurs méthodes basées sur l’apprentissage profond (Deep Gaze I & II…) ont également eu un grand succès dans la détection de saillance sur les images naturelles. Le programme de la thèse consiste à :

  • Collecter des vidéos de drones civiles dans lesquelles les zones saillantes seront annotées.
  • Développer des modèles et algorithmes de saillance basés sur des techniques d’apprentissage profond et information géo-temporellement localisée.
  • Compression intelligente basée sur la saillance (HEVC+SVC).

Les résultats attendus de cette thèse ouvriront ainsi la voie vers la reconnaissance et l’identification d’évènements importants de scènes de drones.

Bibliography
  • Q. Wang, L. Zhang, K. Kpalma. “Fast filtering-based temporal saliency detection using minimum barrier distance”, ICMEw 2017.
  • L. Zhang, C. Cavaro-Ménard, P. Le Callet, J. Tanguy. “A Perceptually relevant Channelized Joint Observer (PCJO) for the detection-localization of parametric signals.” IEEE Transactions on Medical Imaging; October 2012; 31(10):1875-88.
  • Q. Wang, L. Zhang, K. Kpalma. “Complete salient object detection with accurate edges for video”. Soumis à Pattern Recognition en décembre 2017.
  • T. Biatek, W. Hamidouche, J.-F. Travers and O. Deforges. Optimal Bitrate Allocation in the Scalable HEVC Extension for UHD Broadcast. IEEE Transactions on Broadcasting, vol. 62, no. 4 pp. 826 - 841, 2016.
  • T.  Biatek, W. Hamidouche, J. F. Travers, and O. Deforges. Toward Optimal Bitrate Allocation in the Scalable HEVC Extension : Application to UHDTV. In IEEE International Conference on Consumer Electronics - Berlin, Berlin, Germany, September 2015.
  • Le Meur, O., Coutrot, A., Liu, Z., Rämä P., etc. (2017). Visual attention saccadic models learn to emulate gaze patterns from childhood to adulthood. IEEE transactions on image processing, 26(10), 4777-4789.
  • Le Meur, O., Le Callet, P., Barba, D., & Thoreau, D. (2006). A coherent computational approach to model bottom-up visual attention. IEEE transactions on pattern analysis and machine intelligence, 28(5), 802-817.
  • Le Meur, O., Le Callet, P., & Barba, D. (2007). Predicting visual fixations on video based on low-level visual features. Vision research, 47(19), 2483-2498.
  • Le Meur, O., & Baccino, T. (2013). Methods for comparing scanpaths and saliency maps: strengths and weaknesses. Behavior research methods, 45(1), 251-266.
  • Liu, Z., Zou, W., & Le Meur, O. (2014). Saliency tree: A novel saliency detection framework. IEEE Transactions on Image Processing, 23(5), 1937-1952.
Work start date: 
septembre 2018
Keywords: 
apprentissage profond, surveillance, drone
Place: 
IRISA - Campus universitaire de Beaulieu, Rennes