Projet ACI masses de données DEMI-TON

Description multimodale pour la structuration automatique des flux de télévision

Projet

retenu lors de l'appel à projets 2004 de l'Action Concertée Incitative "Masse de données".
Démarrage : 5 avril 2005.
Durée : 3 ans

Partenaires

Équipe TEXMEX de l'IRISA : Techniques d'exploitation des documents multimédias/
Contact : Patrick Gros.
Équipe METISS de l'IRISA : Modélisation et expérimentation pour le traitement des informations et des signaux sonores
Contact : Guillaume Gravier.
Équipe DCA de l'INA : Description des contenus audiovisuels
Contact : Jean Carrive.

Rapports officiels

Publication des résultats du travail

Livres

L'indexation multimédia - Description et recherche automatiques. Sous la direction de Patrick Gros, Hermes - Lavoisier, Mai 2007.
Multimodal Processing and Interaction: Audio, Video, Text. Sous la direction de Petros Maragos, Alexandros Potamianos et Patrick Gros, Springer-Verlag, à paraître en 2008.

Thèses

Xavier Naturel. Structuration automatique de flux vidéos de télévision. Thèse de l'Université de Rennes 1, avril 2007. Xavier Naturel a reç une mention spéciale du prix de la recherche de l'Inathèque de France 2007 pour ses travaux de thèse.
Jean-Philippe Poli. Structuration automatique de flux télévisuels. Thèse de doctorat de l'Université Paul Cézanne, mai 2007.
Stéphane Huet. Informations morpho-syntaxiques et adaptation thématique pour améliorer la reconnaissance de la parole. Thèse de l'Université de Rennes 1, Décembre 2007.

Chapitres de livre

Fabienne Moreau, Vincent Claveau, Pascale Sébillot. Description des textes. In L'indexation multimédia - description et recherche automatiques, P. Gros (ed.), Chapitre 6, pages 163--190, Lavoisier - Hermès Science Publications, traité IC2, Juin 2007.
Guillaume Gravier. Description multimodale de documents multimédias. In L'indexation multimédia - description et recherche automatiques, P. Gros (ed.), Chapitre 7, pages 191--214, Lavoisier - Hermès Science Publications, traité IC2, Juin 2007.
Petros Maragos, Patrick Gros and Athanassios Katsmanis et George Papandreou. Cross-Modal Integration for Performance Improving in Multimedia: A Review. In Multimodal Processing and Interaction: Audio, Video, Text. Sous la direction de Petros Maragos, Alexandros Potamianos et Patrick Gros, Springer-Verlag, pp. 3--48, à paraître en 2008.
Manolis Delakis, Guillaume Gravier et Patrick Gros. Stochastic Models for Multimodal Video Analysis. In Multimodal Processing and Interaction: Audio, Video, Text. Sous la direction de Petros Maragos, Alexandros Potamianos et Patrick Gros, Springer-Verlag, pp. 91--110, à paraître en 2008.
Stéphane Huet, Gwénolé Lecorvé, Guillaume Gravier, Pascale Sébillot. Toward the Integration of Natural Language Processing and Automatic Speech Recognition: Using Morpho-syntax and Pragmatics for Transcription. In Multimodal Processing and Interaction: Audio, Video, Text. Sous la direction de Petros Maragos, Alexandros Potamianos et Patrick Gros, Springer-Verlag, pp. 201--220, à paraître en 2008.

Journaux internationaux

Xavier Naturel et Patrick Gros. Detecting Repeats for Video Structuring. In Multimedia Tools and Application, paru en ligne, http://www.springerlink.com/content/f417v67462m89067/, novembre 2007
Manolis Delakis, Guillaume Gravier et Patrick Gros. Audiovisual Integration with Segment Models for Tennis Video Parsing. In Computer Vision and Understanding, 111(2):142--154, August 2008.

Journaux nationaux

Patrick Gros. Description et indexation automatiques des documents multimédias~: du fantasme à la réalité. In Documentaliste - Sciences de l'information, 42(6):383-391, décembre 2005.
Bruno Bachimont et Patrick Gros. Recherche : des défis scientifiques. In Les nouveaux dossiers de l'audiovisuel, numéro spécial~: Internet~: quelle place pour la vidéo ?, (9):28-30, mars 2006.

Conférences internationales

Xavier Naturel, Patrick Gros. A Fast Shot Matching Strategy for detecting duplicate sequences in a television stream. In CVDB'05: Proceedings of the 2nd ACM SIGMOD International Workshop on Computer Vision meets DataBases, Baltimore, USA, juin 2005.
Daniel Moraru, Mathieu Ben, Guillaume Gravier. Experiments on speaker tracking and segmentation in radio broadcast news. In Proceedings of the European Conference on Speech Communication and Technology -- Interspeech, Lisbonne, Protugal, septembre 2005.
Jean-Philippe Poli Predicting program guides for video structuring. In Proceedings of the 17th IEEE International Conference on Tools with Artificial Intelligence, pp. 407-411, Hong-Kong, Chine, novembre 2005.
Jean-Philippe Poli, Jean Carrive Video Stream Structuring and Annotation Using Electronic Program Guides, in Proceedings of the 5th International Workshop on Knowledge Markup and Semantic Annotation, pp. 137-141, Galway, Irlande, novembre 2005.
Xavier Naturel, Guillaume Gravier, P. Gros. Fast Structuring of Large Television Streams using Program Guides. In Proceedings of the 4th International Workshop on Adaptive Multimedia Retrieval (AMR), Genève, Suisse, juillet 2006.
Stéphane Huet, Guillaume Gravier, Pascale Sébillot. Are Morphosyntactic Taggers Suitable to Improve Automatic Transcription?. In Proceedings of Text, Speech and Dialogue (TSD), Lecture Notes in Computer Science, Volume 4188/2006, pages 391-398, Brno, Tchéquie, septembre 2006.
Jean-Philippe Poli et Jean Carrive. Improving Program Guides for Reducing TV Stream Structuring Problem to a Simple Alignment Problem. In Proceedings of the International Conference on Computational Intelligence for Modelling, Control and Automation, Sydney, Australie, novembre 2006.
Jean-Philippe Poli et Jean Carrive. Television Stream Structuring with Program Guides. In Proceedings of the IEEE International Symposium on Multimedia (ISM2006), San Diego, Californie, USA, décembre 2006.
Jean-Philippe Poli et Jean Carrive. Modeling Television Schedules for Television Stream Structuring. In Proceedings of the ACM International MultiMedia Modeling Conference, Singapour, janvier 2007.
Marc Caillet, François Yvon, Cécile Roisin et Jean Carrive. Engineering Multimedia Applications on the Basis of Multi-Structured Descriptions of Audiovisual Documents. In Proceedings of the International Workshop on Semantically Aware Document Processing and Indexing, Montpellier, France, mai 2007.
Stéphane Huet, Guillaume Gravier et Pascale Sébillot. Morphosyntactic Processing of N-Best Lists for Improved Recognition and Confidence Measure Computation. In Proceedings of the 8th European Conference on Speech Communication and Technology, pages 1741--1744, Anvers, Belgique, août 2007.
Guillaume Gravier and Daniel Moraru. Towards phonetically-driven hidden {M}arkov models: {C}an we incorporate phonetic landmarks in {HMM}-based {ASR}? In Proc. ISCA Tutorial and Research Workshop on Non Linear Speech Processing, pp. 161--168, Lecture Notes in Artificial Inteliligence, vol. 4885, 2007.
Stéphane Huet, Guillaume Gravier et Pascale Sébillot. Morphosyntactic Resources for Automatic Speech Recognition. In Proceedings of the 6th International Conference on Language Resources and Evaluation, Marrakech, Morocco, mai 2008.
Gwénolé Lecorvé, Guillaume Gravier et Pascale Sébillot. On the use of Web resources and natural language processing techniques to improve automatic speech recognition systems. In Proceedings of the 6th International Conference on Language Resources and Evaluation, Marrakech, Morocco, mai 2008.
Gwénolé Lecorvé and Guillaume Gravier and Pascale Sébillot. An unsupervied {W}eb-based topic language model adaptation method. In IEEE Intl. Conf. on Acoustics, Speech and Signal Processing, 2008.

Conférences nationales ou francophones

Jean-Philippe Poli et Jean Carrive. Proposition d'une architecture pour un système de structuration automatique de flux audiovisuels. In Actes de la conférence sur la compression et la représentation des signaux audiovisuels, pp. 49-53, Rennes, France, novembre 2005.
Xavier Naturel, Guillaume Gravier, Patrick Gros. Étiquetage Automatique de Programmes de Télévision. In Actes de la conférence sur la compression et représentation des signaux audiovisuels, Rennes, France, novembre 2005.
Stéphane Huet, Guillaume Gravier, Pascale Sébillot. Peut-on utiliser les étiqueteurs morphosyntaxiques pour améliorer la transcription automatique ?. In Actes des 26èmes journées d'études sur la parole, Dinard, France, juin 2006.
Daniel Moraru, Guillaume Gravier. Ancres macrophonétiques pour la transcription automatique. In Actes des 26èmes journées d'études sur la parole, Dinard, France, juin 2006.
A. Dupuis et C. Dufouil. Une solution client/serveur pour l'analyse de corpus audiovisuels. In Actes de la conférence sur les systèmes d'information audiovisuels, Fribourg Suisse, septembre 2006.
Jean-Philippe Poli and Jean Carrive. Prédiction de séries temporelles : application à la structuration de flux audiovisuels. In Actes de la conférence sur la compression et la représentation des signaux audiovisuels, Caen, France, novembre 2006.
Xavier Naturel. Applications de la détection de texte pour l'indexation de vidéos de télévision. In Actes de la conférence sur la compression et la représentation des signaux audiovisuels, Montpellier, France, novembre 2007.
Stéphane Huet and Guillaume Gravier and Pascale Sébillot. Un modèle multi-sources pour la segmentation en sujets de journaux radiophoniques. In Proc. Traitement Automatique des Langues Naturelles, 2008.
Gwénolé Lecorvé and Guillaume Gravier and Pascale Sébillot. Vers une adaptation thématique non supervisée de modèles de langage~: utilisation d'{I}nternet comme un corpus ouvert. In Proc. Journées d'Étude sur la Parole, 2008.

Rapports de recherche

Stéphane Huet, Pascale Sébillot, Guillaume Gravier. Introduction de connaissances linguistiques en reconnaissance de la parole : un état de l'art. Rapport de Recherche IRISA, No1804, mai 2006.
Xavier Naturel, Patrick Gros. Detecting Repeats for Video Structuring. Rapport de Recherche IRISA, No 1790, mars 2006.