Vous êtes ici

Evaluation de la qualité des contributions et des contributeurs sur plateforme de Crowdsourcing

Equipe et encadrants
Département / Equipe: 
Site Web Equipe: 
http://www-druid.irisa.fr/
Directeur de thèse
Arnaud Martin
Co-directeur(s), co-encadrant(s)
Yolande Le Gall
Jean-Christophe Dubois
Contact(s)
NomAdresse e-mailTéléphone
Yolande Le Gall
yolande-le-gall@univ-rennes1.fr
02.96.46.93.71
Arnaud Martin
Arnaud.Martin@irisa.fr
02.96.46.94.60
Sujet de thèse
Descriptif

Contexte

Le sujet proposé s’intègre dans le contexte du crowdsourcing [1-2], production participative consistant à faire appel à des utilisateurs en ligne pour réaliser des tâches difficilement automatisables [3] ou pour obtenir des données qui ne seraient pas aisément collectables par ailleurs [4-5]. Notre intérêt porte plus particulièrement sur des tâches permettant d’évaluer des ressources ou encore la qualité de services. Il peut s’agir d’enquêtes de satisfaction « user-oriented » mettant l’usager au centre de stratégies pour répondre à des logiques de marketing ou encore d’amélioration de services [6].

Ce contexte est particulièrement porteur car le développement du crowdsourcing devient un enjeu principal dans les nouvelles économies numériques.

D’un point de vue théorique, le sujet proposé porte sur la gestion de données imparfaites au sein de plateformes de crowdsourcing. En effet, si l’usage de ce type de production participative est en pleine expansion, des difficultés demeurent pour recueillir des données fiables et pertinentes. Les finalités de ce doctorat sont donc doubles : augmenter le pouvoir d’expressivité des contributeurs via des interfaces de saisie plus fine d’informations sur ces plates-formes et conserver uniquement les contributions pertinentes après évaluation des contributeurs sollicités. Ces points incontournables demeurent encore trop peu étudiés à ce jour.

 

Objectifs et challenges

Les objectifs de ce sujet de thèse s’articulent autour de plusieurs axes :

  • Définition d’une interface de recueil d’évaluation grand public pour le crowdsourcing : intégration d’informations sur l’incertitude et l’imprécision (choix des données pertinentes exploitables, guidage des utilisateurs) ;

  • Traitement des informations : élaboration d’une méthode robuste de détection d’expertise des contributeurs, élimination des réponses incohérentes ;

  • Modélisation des imperfections des informations recueillies pour améliorer l’évaluation de la qualité des séquences via une approche crédibiliste ;

  • Validation de la méthode proposée à l’aide de campagne(s) de test sur plateforme de crowdsourcing et développement d’un prototype expérimental de recueil d’informations.

Sujet

Après une étude de l’état de l’art dans les domaines du crowdsourcing, de la modélisation de données imprécises et imparfaites et de l’aide à la décision, le sujet comprendra plusieurs étapes afin de définir une interface de recueil d’informations, d’opérer une détection d’expertise permettant d’écarter les réponses incohérentes et de modéliser l’incertitude et l’imprécision inhérentes aux contributions humaines par une approche crédibiliste facilitant une prise de décision optimale.

 

Il conviendra tout d’abord de poursuivre des travaux menés en 2017 afin de proposer une interface dédiée aux contributeurs confrontés à des situations d’indécision. Cette interface leur permet d’exprimer avec plus de finesse leurs évaluations. Elle intègre la possibilité de fournir un ensemble de réponses plausibles ainsi qu’un degré de confiance sur la réponse, et ce afin de distinguer une donnée estimée sûre d’une donnée considérée comme incertaine. Une analyse sera menée sur les données issues de cette première expérimentation menée avec Orange Labs et définie en collaboration avec des chercheurs de l’INRIA travaillant dans le domaine de l’interaction homme-machine. Son premier objectif est d’exploiter les critères liés à la qualité des données afin de valider l’hypothèse avancée, à savoir que l’expression de cette imprécision par les contributeurs eux-mêmes, doit pouvoir contribuer à affiner le processus d’évaluation.

Le second objectif sera de définir une méthode efficace d’extraction des informations les plus pertinentes et les plus fiables parmi le volume de données recueillies. Le travail portera sur la détection d’expertise et le rejet de réponses incohérentes. Selon le nombre de contributions et la présence ou non de valeurs de référence (données d’or), différentes hypothèses, telles que celle de la majorité [7] associée à différentes mesures de distances pourront être envisagées.

Une approche fondée sur les fonctions de croyance, issues des théories de l’incertain, est proposée pour prendre en considération les imperfections des évaluations, telles que les imprécisions ou les incertitudes [8-9], ainsi que pour tenir compte de la fiabilité des contributeurs vus comme des sources d’information et de leurs éventuels conflits [10]. Elle permet d’optimiser la collecte de données et de maximiser le processus de prise de décision [11-12].

Enfin, l’étude des résultats de cette première expérimentation visera à affiner le recueil de données, améliorer le mode opératoire ainsi qu’à définir les caractéristiques de prochaines campagnes, en établissant les préconisations d’usage des plates-formes de crowdsourcing pour ce type d’évaluation.

Bibliographie

[1] D. Deutch et T. Milo. Mob Data Sourcing. SIGMOD’12, Tutorial, May 2012.

[2] Aniket Kittur, Jeffrey V. Nickerson, Michael S. Bernstein,Elizabeth M. Gerber, Aaron Shaw, John Zimmerman, Matthew Lease, and John J. Horton. The Future of Crowd Work. 16th ACM Conference on CSCW’13, San Antonio, USA, February 2013.

[3] http://www.tela-botanica.org/

[4] http://fr.wikipedia.org

[5] http://www.tripadvisor.fr/

[6] http://www.enssib.fr/recherche/enssiblab/les-billets-denssiblab/big-data-smart-culture-crowdsourcing-web-participatif

[7] Ben Rjab, A., M. Kharoune, Z. Miklos, A. Martin, et B. Ben Yaghlane Characterization of experts in crowdsourcing platforms. In 24ème Conférence sur la Logique Floue et ses Applications, Poitiers, France, November 2015.

[8] Arthur P. Dempster. Upper and Lower probabilities induced by a multivalued mapping. Annals of Mathematical Statistics, 38:325–339, 1967.

[9] G. Shafer. A mathematical theory of evidence. Princeton University Press, 1976.

[10] Arnaud Martin. About conflict in the theory of belief functions. In International Conference on Belief Functions, France, 8-10 May 2012.

[11] Didier Dubois, Henri Prade et Philippe Smets. Representing partial ignorance. IEEE Transactions on Systems, Man, and Cybernetics - Part A: Systems and Humans, 26(3):361–377, 1996.

[12] Philippe Smets. Imperfect information: Imprecision - Uncertainty. In A. Motro and Philippe Smets, editors, Uncertainty Management in Information Systems, pages 225–254. Kluwer Academic Publishers, 1997.

Début des travaux: 
01/09/2018
Mots clés: 
Corwdsourcing, qualité, théorie des foncitons de croyance
Lieu: 
IRISA - Lannion