User evaluation of a multiple answer extraction system on the Web (Évaluation d'un système d'extraction de réponses multiples sur le Web par comparaison à des humains) [in French]
نویسندگان
چکیده
In this paper, we propose a user evaluation of Citron, a question-answering system in French which extracts answers for multiple answer questions (expecting different correct answers) in open domain from Web documents. We present here our experimental protocol and results for user evaluations which aim at (1) comparing multiple answer extraction performances of Citron and users, and (2) knowing user preferences about multiple answer presentation. Mots-clés : système de question-réponse, réponses multiples, évaluation utilisateur.
منابع مشابه
Evaluation modulaire d'un système de questions-réponses sur un corpus de questions semi-spontanées
RÉSUMÉ. Cet article présente une évaluation séquentielle du système de questions-réponses modulaire et stochastique SQuALIA. L’évaluation se fonde sur un corpus de question semispontanées obtenu en faisant poser 20 questions de référence à des adultes francophones, non francophones ou dyslexiques. Les expériences montrent que ce sont les fautes d’orthographe qui ont le plus d’impact sur les mod...
متن کاملفایل کامل مجلّه مطالعات زبان فرانسه دو فصلنامه علمی پژوهشی زبان فرانسه دانشکده زبانهای خارجی دانشگاه اصفهان
Tâ ÇÉÅ wx W|xâ Revue des Études de la Langue Française Revue semestrielle de la Faculté des Langues Étrangères de l'Université d'Ispahan Cinquième année, N° 8 Printemps-Eté 2013, ISSN 2008- 6571 ISSN électronique 2322-469X Cette revue est indexée dans: Ulrichsweb: global serials directory http://ulrichsweb.serialssolutions.com Doaj: Directory of Open Access Journals http://www.doaj.org ...
متن کاملLe Web sémantique n'est pas antisocial
Une série d'articles stimulants [5][6][31][32] a défendu l'importance de la dimension sociale dans la construction d'un cycle de vie du Web sémantique et propose une nouvelle approche (le Web socio-sémantique) que les auteurs opposent radicalement, à l' approche classique du Web sémantique. Loin de remettre en cause cette importance, cet article reprend ici le discours de ces contributions et m...
متن کاملUtilisation de la syntaxe pour valider les réponses à des questions par plusieurs documents
RÉSUMÉ. Cet article présente FIDJI, un système de questions-réponses pour le français, combinant des informations syntaxiques sur la question et les documents avec des techniques plus traditionnelles du domaine, telles que la reconnaissance des entités nommées et la pondération des termes. Notamment, nous expérimentons dans ce système la validation des réponses dans plusieurs documents, ainsi q...
متن کاملUn Web sémantique de formation par questionnement
Résumé. Nous présentons dans cet article un EIAH conçu et développé selon des méthodes et techniques du Web sémantique et de l’ingénierie des connaissances. L'environnement d'apprentissage est conçu comme une mémoire de formation et le système que nous avons développé constitue un Web sémantique de formation (par extension de la notion de Web sémantique d’entreprise). Une approche d'acquisition...
متن کامل