Vous êtes ici

Evaluation de la qualité des contributions et des contributeurs sur plateformes de crowdsourcing

Equipe et encadrants
Département / Equipe: 
Site Web Equipe: 
https://www-druid.irisa.fr/
Directeur de thèse
Arnaud MARTIN
Co-directeur(s), co-encadrant(s)
Jean-Christophe DUBOIS
Yolande LE GALL
Contact(s)
NomAdresse e-mail
Jean-Christophe DUBOIS
jean-christophe.dubois@univ-rennes1.fr
Sujet de thèse
Descriptif

Contexte

Le sujet proposé s’intègre dans le contexte du crowdsourcing [1-2], production participative faisant appel à des utilisateurs en ligne (contributeurs), pour réaliser des tâches difficilement automatisables [3] ou pour obtenir des données qui ne seraient pas aisément collectables [4-5]. Le développement du crowdsourcing, présent dans de nombreux domaines (sciences, marketing, démocratie participative, etc.) devient un enjeu majeur dans les nouvelles économies numériques. Notre intérêt porte plus particulièrement sur des tâches permettant d’évaluer des ressources ou la qualité de services. Il peut s’agir d’enquêtes de satisfaction « user-oriented » mettant l’usager au centre de stratégies pour répondre à des logiques de marketing ou encore d’amélioration de services [6].

D’un point de vue théorique, le sujet proposé s’intéresse à la gestion de données imparfaites au sein de plateformes de crowdsourcing, ainsi qu’à l’évaluation des contributeurs sollicités sur laquelle l’équipe DRUID de l’IRISA a acquis de bonnes compétences [7,13]. En effet, si l’usage de ce type de production participative est en pleine expansion, des difficultés demeurent pour recueillir des données fiables et pertinentes. Ces points incontournables demeurent encore trop peu étudiés à ce jour.

Par ses aspects transversaux intégrant la gestion de données imparfaites au domaine du crowdsourcing, ce sujet de recherche apportera une contribution originale et innovante ouvrant des perspectives de futures collaborations nationales et internationales.

Sujet détaillé

Après une étude bibliographique dans les domaines du crowdsourcing et de la modélisation de données imprécises et imparfaites, le sujet de thèse proposé porte sur la définition d’une interface de recueil d’informations, la détection d’expertise des contributeurs afin d’écarter les réponses incohérentes, et la modélisation de l’incertitude et de l’imprécision inhérentes aux contributions humaines à l’aide d’une approche crédibiliste facilitant une prise de décision optimale.

L’étude de l’interface dédiée aux contributeurs a pour objectif de recueillir le plus finement possible leurs évaluations et d’augmenter leur pouvoir d’expressivité. En effet, les plateformes actuelles ne permettent pas aux utilisateurs de moduler leurs réponses, alors même qu’ils peuvent être confrontés à des situations d’indécision. Il serait pertinent d’introduire de l’information afin de distinguer une donnée estimée sûre par un contributeur, d’une donnée considérée comme incertaine ainsi que de permettre l'expression de l'imprécision, dans un cadre où l’évaluation est de nature subjective.

Le second objectif consiste à définir une méthode efficace d’extraction des informations les plus pertinentes et fiables parmi un volume de données. L’étude proposée se situe dans un cadre particulier applicable à de nombreuses situations : nombre limité de contributions ne permettant pas d’exploiter une hypothèse de majorité [7] et absence de valeurs de référence (données d’or). Une approche de comparaison de graphes pourra ainsi être explorée afin d’établir une validation des contributions.

Enfin la modélisation doit permettre de prendre en considération les imperfections des évaluations. Les théories de l'incertain, telles que  la théorie des fonctions de croyance, permettent de modéliser les imperfections comme les imprécisions et les incertitudes [8-9]. L’approche proposée pourra se fonder sur les fonctions de croyance pour quantifier l’imprécision des informations recueillies et tenir compte de la fiabilité des contributeurs, vus comme des sources d’information, ainsi que de leurs éventuels conflits [10]. Cette modélisation devra intégrer l’imperfection des données pour optimiser le processus de prise de décision [11-12].

Les méthodes théoriques proposées seront validées à l’aide de campagnes de test sur plateformes de crowdsourcing. Le travail comportera également le développement d’un prototype expérimental de recueil d’informations.

Bibliographie

[1]  D. Deutch et T. Milo. Mob Data Sourcing. SIGMOD’12, Tutorial, May 2012.

[2]  Aniket Kittur, Jeffrey V. Nickerson, Michael S. Bernstein, Elizabeth M. Gerber, Aaron Shaw, John Zimmerman, Matthew Lease, and John J. Horton. The Future of Crowd Work. 16th ACM Conference on CSCW’13, San Antonio, USA, February 2013.

[3]  http://www.tela-botanica.org/

[4]  http://fr.wikipedia.org

[5]  http://www.tripadvisor.fr/

[6]  http://www.enssib.fr/recherche/enssiblab/les-billets-denssiblab/big-data-smart-culture-crowdsourcing-web-participatif

[7]  Amal Ben Rjab, Mouloud Kharoune, Zoltan Miklos, Arnaud Martin, Characterization of experts in crowdsourcing platforms, The 4th International Conference on Belief Functions, Sep 2016, Prague, Czech Republic.

[8]  Arthur P. Dempster. Upper and Lower probabilities induced by a multivalued mapping. Annals of Mathematical Statistics, 38:325–339, 1967.

[9]  G. Shafer. A mathematical theory of evidence. Princeton University Press, 1976.

[10] Arnaud Martin. About conflict in the theory of belief functions. In International Conference on Belief Functions, France, 8-10 May 2012.

[11] Didier Dubois, Henri Prade et Philippe Smets. Representing partial ignorance. IEEE Transactions on Systems, Man, and Cybernetics - Part A: Systems and Humans, 26(3):361–377, 1996.

[12] Philippe Smets. Imperfect information: Imprecision - Uncertainty. In A. Motro and Philippe Smets, editors, Uncertainty Management in Information Systems, pages 225–254. Kluwer Academic Publishers, 1997.

[13] A. Ben Rjad, M. Kharoune, Z. Miklos, A. Martin, B. Ben Yaghlane, Caractérisation d'experts dans les plate-formes de crowdsourcing, la Logique Floue et ses Applications (LFA), novembre 2015, Poitiers.

[14] Hosna Ouni, Arnaud Martin, Laetitia Gros, Mouloud Kharoune, Zoltan Miklos, Une mesure d’expertise pour le crowdsourcing, Extraction et Gestion des Connaissances (EGC), Jan 2017, Grenoble, France.

Début des travaux: 
septembre 2017
Mots clés: 
Crowdsourcing, modélisation des réponses des utilisateurs, détection d’expertise, théories de l’incertain, qualité des données, satisfaction et acceptabilité des utilisateurs.
Lieu: 
IRISA - IUT de Lannion, Lannion