Une démarche XAI pour la caractérisation et la conceptualisation des Fake News.

Publié le
Equipe
Date de début de thèse (si connue)
01/10/2022
Lieu
Vannes
Unité de recherche
IRISA - UMR 6074
Description du sujet de la thèse

Les fausses nouvelles ou communément connues sous le nom de “Fake News” sont un sujet d'intérêt mondial et de plus en plus de travaux sont consacrés à l’étude de ce phénomène (Tandoc, 2017). En effet, les Fake News peuvent être créées et publiées en ligne très rapidement et à moindre coût par rapport aux médias d'information traditionnels tels que les journaux et la télévision (Shu et al, 2017). Elles ont un impact sociétal et économique considérable. Un exemple tout récent est celui de la période de pandémie de la Covid-19, qui a été l’occasion de voir, une fois de plus, la propagation quasiment néfaste et incontrôlée de ces Fake News sur Internet.

De nombreux travaux se sont intéressés à la compréhension et à l'identification de la nature des informations contenues dans les Fake News afin de mieux les distinguer des informations réelles.  Par exemple, (Zhou et al, 2020) ont mis en place un cadre pour la détection automatique des Fake News en ligne destiné à aider les utilisateurs à identifier les informations de valeur. Dans un contexte d'ingénierie des systèmes d'information, une gestion correcte des données relatives aux Fake News nécessite une caractérisation conceptuelle précise de "ce qu'est" une Fake News. Si une structure d'information doit représenter une conceptualisation, les entités qui représentent cette conceptualisation doivent être explicitement déterminées.

Un modèle conceptuel est un moyen naturel pour obtenir une représentation fiable du domaine qui est utilisée par les utilisateurs pour soutenir la communication, la discussion, les négociations, etc. Dans le contexte des Fake News, il nous permet de définir les Fake News avec une sémantique spécifique et précise. De plus, un modèle conceptuel offre une facilité dans la construction de modèles bien justifiés et explicables pour la détection et la génération de Fake News, qui, à ce jour, ont rarement été disponibles. En effet, comme le soulignent (Zhou et al, 2020), malgré la multiplication des travaux autour du concept de Fake News, la manière dont on peut évaluer automatiquement l'authenticité des nouvelles d'une manière efficace et explicable reste une question ouverte. 

Une question fondamentale concernant la terminologie et l'ontologie des Fake News : qu'est-ce qui constitue et qualifie une Fake News ? Une première réponse à cette question est proposée dans (Belloir et al, 2022) à travers un modèle conceptuel. Ce dernier offre une caractérisation conceptuelle bien fondée permettant d'aller au-delà de ce que proposent les approches classiques, en ouvrant la porte à la conception d'un processus de génération de Fake News entièrement guidé par le modèle conceptuel. De plus, ce modèle s’inscrit dans une démarche de production de modèles qui soient compréhensibles, dignes de confiance et gérables par les humains, comme suggéré dans (Gunning et al, 2019).  En effet, faciliter l'explicabilité et l'interprétabilité a suscité un grand intérêt dans la recherche en Intelligence Artificielle dans le but de produire des systèmes intelligents qui renforcent la confiance des utilisateurs par la compréhension du raisonnement et des automatismes sous-jacents (Gunning et al, 2019). Pour le contexte des Fake News, à notre connaissance, les travaux impliquant la fonction d'explicabilité dans les méthodes de détection de Fake News n'en sont qu'à leurs débuts (Shu et al, 2019).

Dans le cadre de cette thèse, nous souhaitons développer une approche d’intelligence artificielle explicable pour la détection/génération de fake news. Deux directions complémentaires doivent être creusées. L’aspect conceptuel qui permettra de caractériser le concept de fake news. L’aspect explicabilité qui visera à mettre en place une méthodologie et un outillage basé sur une intelligence artificielle dont les résultats seront explicables et interprétables. Nous investiguerons pour cela la méthode proposée par (Spreeuwenberg, 2019) et basée sur 6 étapes.

La première direction consiste donc à proposer un modèle de référence. Ce modèle devra permettre de caractériser de manière claire et discriminante le concept de Fake News. Ce travail a débuté par la définition d’un modèle conceptuel. Nous nous intéresserons dans un premier temps à l’enrichissement et à la validation du modèle conceptuel proposé dans (Belloir et al, 2022). En effet, le modèle doit être évalué en profondeur afin de qualifier sa pertinence. Pour ce faire, il conviendra de soumettre le modèle à un jeu de données constitué de Fake News variées et d’en analyser le résultat. Pour cela nous pouvons, par exemple, utiliser les jeux de données proposé sur Kaggle[1] ou celui de l’université de victoria[2]. Si des manques ou des imprécisions sont identifiées, il faudra alors les prendre en compte. Le défis avec cette tâche d’enrichissement et d’évaluation est d’une part la construction d’un processus automatique qui permettra soit de remplir le modèle dans le contexte de la détection ou d’instancier ce dernier dans le contexte de la génération. De plus, nous devons établir des métriques claires qui vont aider à juger de l’adéquation et de la pertinence du modèle. En parallèle, et vu la grande dynamique des travaux autour des Fake News, il faudra maintenir une veille bibliographique active sur le sujet. 

Dans un deuxième temps, on se posera la question de comment répondre à cette fonctionnalité d’explicabilité dans la construction d’un tel outil. Une première piste est de considérer l’approche XAI proposé par (Spreeuwenberg, 2019) et basée sur 6 étapes. Durant ces étapes, Le modèle conceptuel fournira les caractéristiques essentielles à considérer par la méthode d’IA que nous choisirons pour la tâche de classification d’une information en tant que Fake News ou pas. Un modèle d’explicabilité sera par la suite construit pour justifier et accompagner cette classification. Cette méthode mobilisera à la fois des informations de la part de la méthode d’IA,

du modèle conceptuel et d’autres éléments à définir qui contribueront à augmenter la confiance d’un utilisateur dans le résultat. L’explication peut être textuelle ou visuelle comme du texte avec des mots surlignés. Une étude sera menée pour choisir la plus appropriée selon le contexte considéré. Plus précisément, nous suivront la progression ci-après.

Après avoir obtenu à la première étape un modèle conceptuel permettant une compréhension commune de ce qu'est une Fake News, les autres étapes conduisant à la mise en place d’une démarche XAI présentée par (Spreeuwenberg, 2019) seront investiguées. Pour cela, la seconde étape consistera à identifier les tâches que devra mener l’intelligence artificielle utilisée. Par exemple, dans le cas d’une détection, cette tâche correspondra à de la classification pour distinguer les Fakes News des vrais news.  Pour cela une analyse statique pourra être menée et devra être spécifiée. Cela mènera à la troisième étape qui consistera à identifier les données permettant d’alimenter ma méthode d’intelligence artificielle. L’étape suivante consiste à sélectionner la ou les solutions techniques nécessaires. Il conviendra d’investiguer plusieurs aspects tels que le traitement automatique du langage naturel pour manipuler les Fake News, mais également des outils sémantiques permettant la détection d’émotions. Les deux dernières étapes à traiter seront de générer l’explication des résultats apportées par l’intelligence artificielle, de la communiquer et d’appliquer des correctifs en fonction des retours pour améliorer la démarche et le modèle. L’explication aura pour but de faire ressortir les caractéristiques et les éléments pertinents qui ont conduit à la décision de classer une information comme étant une Fake News.  Dans cette perspective, le modèle conceptuel jouera un rôle important dans le choix des caractéristiques. Par ailleurs, nous pensons qu'une explication efficace ne peut être donnée en une seule fois et qu'elle implique un processus itératif de communication entre l'homme et la machine. En effet, des études cognitives (Miller, 2019) ont montré qu'une explication ne peut être optimale que si elle est générée en tenant compte de la perception et des croyances de l'utilisateur.


Bibliographie
  • Belloir, N., Ouerdane, W., Pastor, O. Frugier, E. and De Barmon L-A., A Conceptual Characterization of Fake New : A Positioning Paper. Forum@RCIS22, Proceedings of the 16th International Conference on Research Challenges in Information Sciences  (2022).
  • Gunning, D., Stefik, M., Choi, J., Miller, T., Stumpf, S., Yang, G.: Xai: Explainable artificial intelligence. Science Robotics 4 (37), 7120 (2019)
  • Tim Miller. Explanation in artificial intelligence: Insights from the
    social sciences. Artificial Intelligence, vol. 267, pages 1 – 38, 2019
  • Shu, K., Cui, L., Wang, S., Lee, D., Liu, H.: Defend: Explainable fake news detection. In: Proc. of the 25th ACM SIGKDD. p. 395–405 (2019)
  • Shu, K., Sliva, A., Wang, S., Tang, J., Liu, H.: Fake news detection on social media: A data mining perspective. SIGKDD Explor. Newsl. 19 (1), 22–36 (2017)
  • Spreeuwenberg, S.: AIX:Artificial Intelligence needs eXplanation: Why and how transparency increases the success of AI solutions. LibRT BV, Amsterdam (2019)
  • Tandoc, E., Lim, Z., Ling, R.: Defining “Fake News”: A typology of scholarly definitions. Digital  Journalism 6 , 1–17 (2017)
  • Zhou, X., Zafarani, R.: A survey of fake news: Fundamental theories, detection methods, and opportunities. ACM Comput. Surv. 53 (5) (2020)
Liste des encadrants et encadrantes de thèse

Nom, Prénom
Fleurquin, Régis
Type d'encadrement
Directeur.trice de thèse
Unité de recherche
UMR 6074
Equipe

Nom, Prénom
Belloir, Nicolas
Type d'encadrement
2e co-directeur.trice (facultatif)
Unité de recherche
UMR 6074
Equipe
Contact·s
Nom
Belloir, Nicolas
Email
nicolas.belloir@irisa.fr
Mots-clés
Modélisation conceptuelle, fake news, intelligence artificielle explicable