You are here

Détection automatique des saillances et compression intelligente des vidéos de drones civiles

Team and supervisors
Department / Team: 
Team Web Site: 
http://www-percept.irisa.fr/
PhD Director
Olivier LE MEUR
Co-director(s), co-supervisor(s)
Lu ZHANG
Contact(s)
PhD subject
Abstract

Contexte

La surveillance par des drones (civils et militaires) présente des enjeux majeurs tant des points de vue défense (e.g., surveillance de zones sensibles, de zones de conflits, de zones de guerre, de frontières, ...) que civile (e.g., surveillance de la sécurité urbaine, surveillance des ouvrages d'art, ...). A titre d’exemple, les gendarmes de la ville de Rennes déploient leurs drones pour :

  • le maintien de l’ordre : détection des casseurs embusqués et d’obstacles, comme les barrages de voitures ou de poubelles, des pièges incendiaires ou des engins explosifs improvisés.
  • la police judiciaire : survol de points sensibles pour faire des flagrants délits d’actes de vandalisme, de cambriolages ou au-dessus des points de vente de drogue.
  • la sécurité routière : des expérimentations vont être menées pour repérer à distance les conduites à risques telles que les franchissements de ligne continue, les dépassements dangereux, le non-respect de stop ou encore le doublement par la droite. Les constatations d’excès de vitesse ne sont pas à l’ordre du jour.

Les images captées sont transmises en temps réel sur l’écran déporté d’un “télépilote”. Néanmoins, les missions d’alerter, détecter, reconnaître et identifier des « événements » ou « menaces » sont actuellement exécutées par des humains qui n’ont pas la capacité à pleinement et efficacement exploiter et analyser l’intégralité des vidéos de drone disponibles. La science et la technologie de la modélisation de l’attention visuelle humaine et de la compression intelligente, ouvrent alors de nouvelles possibilités pour répondre à ces enjeux.

Objectifs

  • apporter du confort à l’action d’observation et réduire l’erreur humaine (e.g. due à la fatigue de l’observation attentive pendant des heures) ;
  • amplifier l’efficacité des opérations correspondantes par une meilleure détection (rapidité et précision) ;
  • faciliter la gestion des ressources humaines fortement sollicitées. L’automatisation et la semi-automatisation d’actions humaines favorisera une meilleure gestion du potentiel humain de nos armées et les agents

Verrous Technologiques

L’analyse du contexte technologique met clairement en évidence 4 verrous scientifiques et technologique qui font l’objet du cœur de cette proposition.

  • Comment obtenir une vérité terrain de saillance ?
  • Comment utiliser les informations géo-temporellement localisées pour aider à la détection des zones saillantes ?
  • Quels algorithmes d'apprentisssae profond à utiliser et comment les adapter pour la détection des zones saillantes dans les images de drone ?
  • Comment intégrer la saillance dans la compression scalable HEVC et quelles métadonnées à insérer dans le flux de vidéo ?

Bibliography
  • Q. Wang, L. Zhang, K. Kpalma. “fast filtering-based temporal saliency detection using minimum barrier distance”, ICMEw 2017.
  • L. Zhang, C. Cavaro-Ménard, P. Le Callet, J. Tanguy. “A Perceptually relevant Channelized Joint Observer (PCJO) for the detection-localization of parametric signals.” IEEE Transactions on Medical Imaging; October 2012; 31(10):1875-88.
  • Q. Wang, L. Zhang, K. Kpalma. “Complete salient object detection with accurate edges for video”. Soumis à Pattern Recognition en décembre 2017.
  • T. Biatek, W. Hamidouche, J.-F. Travers and O. Deforges. Optimal Bitrate Allocation in the Scalable HEVC Extension for UHD Broadcast. IEEE Transactions on Broadcasting, vol. 62, no. 4 pp. 826 - 841, 2016.
  • T.  Biatek, W. Hamidouche, J. F. Travers, and O. Deforges. Toward Optimal Bitrate Allocation in the Scalable HEVC Extension : Application to UHDTV. In IEEE International Conference on Consumer Electronics - Berlin, Berlin, Germany, September 2015.
  • Le Meur, O., Coutrot, A., Liu, Z., Rämä P., etc. (2017). Visual attention saccadic models learn to emulate gaze patterns from childhood to adulthood. IEEE transactions on image processing, 26(10), 4777-4789.
  • Le Meur, O., Le Callet, P., Barba, D., & Thoreau, D. (2006). A coherent computational approach to model bottom-up visual attention. IEEE transactions on pattern analysis and machine intelligence, 28(5), 802-817.
  • Le Meur, O., Le Callet, P., & Barba, D. (2007). Predicting visual fixations on video based on low-level visual features. Vision research, 47(19), 2483-2498.
  • Le Meur, O., & Baccino, T. (2013). Methods for comparing scanpaths and saliency maps: strengths and weaknesses. Behavior research methods, 45(1), 251-266.
  • Liu, Z., Zou, W., & Le Meur, O. (2014). Saliency tree: A novel saliency detection framework. IEEE Transactions on Image Processing, 23(5), 1937-1952.
Work start date: 
Septembre 2019
Keywords: 
Drones, détection de saillance, compression intelligente
Place: 
IRISA & IETR - Campus universitaire de Beaulieu, Rennes