Data Centric Workflows for Crowdsourcing Application
Workflows centrés sur les données pour l’application Crowdsourcing
Résumé
Crowdsourcing uses human intelligence to solve tasks which are still difficult for machines. Tasks at existing crowdsourcing platform are batches of relatively simple microtasks. However, real-world problems are often more difficult than micro-tasks. They require data collection, organization, pre-processing, analysis, and synthesis of results. In this thesis, we study how to specify complex crowdsourcing tasks and realize them with the help of existing crowdsourcing platforms. The first contribution of this thesis is a complex workflows model that provides high-level constructs to describe a complex task through orchestration of simpler tasks. We provide algorithms to check termination and correctness of a complex workflow for a subset of the language (these questions are undecidable in the general case). A well-known drawback of crowdsourcing is that human answers might be wrong. To leverage this problem, crowdsourcing platforms replicate tasks, and forge a final trusted answer out of the produced results. Replication increases quality of data, but it is costly. The second contribution of this thesis is a set of aggregation techniques where merging of answers is realized using Expectation Maximization, and replication of tasks is performed online after considering the confidence estimated for aggregated data. Experimental results show that these techniques allow to aggregate the returned answers while achieving a good trade-off between cost and data quality, both for the realization of a batches of microtasks, and of complex workflow.
Le crowdsourcing utilise l’intelligence humaine pour résoudre des tâches difficiles à réaliser par des machines. Les plateformes de crowdsourcing existantes permettent de réaliser des lots de micro-tâches très simples. Cependant, de nombreux processus sont des tâches complexes, qui nécessitent d’enchaîner la collecte de données, des prétraitements, de l’analyse de données, de la synthèse, etc. Dans cette thèse, nous étudions comment spécifier ces tâches complexes, pour les faire réaliser par des plateformes de crowdsourcing. Nous proposons tout d’abord le modèle des workflows complexes qui fournit des constructions de haut niveau pour décrire une tâche complexe comme une orchestrations d’un ensemble de tâches simples. Nous fournissons des algorithmes permettant de vérifier la terminaison et la correction de ces workflows pour un sous-ensemble du langage (ces questions étant indécidables dans le cas général). Un des inconvénients du crowdsourcing est le fait que de mauvaises réponses peuvent être produites par les agents humains. Pour pallier à ce problème, il est habituel de répliquer les tâches, puis d’agréger les résultats pour fiabiliser une réponse finale. La réplication augmente la qualité des données, mais elle est coûteuse. Nous proposons des techniques d’agrégation de résultats dans lesquelles l’agrégation est réalisée à partir d’algorithmes d’Expectation Maximization, et la réplication est faite à la demande en tenant compte de la confiance estimée sur les agrégats. Les résultat expérimentaux montrent que ces techniques permettent de regrouper les réponses tout en obtenant un bon compromis coût-fiabilité pour des lots de micro-tâches, mais aussi pour des tâches complexes.
Origine : Fichiers produits par l'(les) auteur(s)