Apprentissage de modèles de langue neuronaux pour la recherche d'information
نویسندگان
چکیده
Information Retrieval (IR) faces different difficulties, notably those related to vocabulary mismatch issues and term dependencies. In the last few years, language models based on neural networks have been proposed to deal with both term dependencies and vocabulary mismatch issues in complex natural language processing tasks. However, to be efficient, these models require huge amounts of training data. They have thus never been employed for IR adhoc tasks directly, where the estimation of one language model per document is required. We propose an approach based on the specialization of a generic language model, learned on the whole document collection, by a set of document-specific parameters, to define neural language models fitted for ad-hoc IR tasks. MOTS-CLÉS : Apprentissage de Représentation, Recherche d’Information, Réseau de Neurones.
منابع مشابه
Continuous space models with neural networks in natural language processing. (Modèles neuronaux pour la modélisation statistique de la langue)
Les modèles de langage ont pour but de caractériser et d’évaluer la qualité des énoncés en langue naturelle. Leur rôle est fondamentale dans de nombreux cadres d’application comme la reconnaissance automatique de la parole, la traduction automatique, l’extraction et la recherche d’information. La modélisation actuellement état de l’art est la modélisation "historique" dite n-gramme associée à d...
متن کاملTraduction automatique de termes biomédicaux pour la recherche d'information interlingue
RÉSUMÉ. Dans cet article, nous présentons une méthode de traduction automatique de termes biomédicaux. Cette méthode s’appuie sur une technique originale d’apprentissage supervisé de règles de réécriture et sur l’utilisation de modèles de langue. Les évaluations présentées montrent que notre technique est très performante et permet de traduire à partir et à destination de n’importe quelle langu...
متن کاملRecherche d'information dans MEDLINE
RÉSUMÉ. Cet article décrit la banque documentaire MEDLINE depuis laquelle une collection test comprenant environ 4,5 million de documents structurés a été construite à partir des campagnes d’évaluation TREC. Dans une deuxième partie, nous évaluons et comparons l’efficacité du dépistage de l’information de dix modèles (probabiliste, modèle de langue, approches vectorielles). Cette évaluation est...
متن کاملApprentissage discriminant de modèles neuronaux pour la traduction automatique
RÉSUMÉ. Les méthodes utilisées pour entraîner des réseaux de neurones en traitement des langues reposent, pour la plupart, sur l’optimisation de critères qui sont décorrélés de l’application finale. Nous proposons un nouveau cadre d’apprentissage discriminant pour l’estimation des modèles neuronaux en traduction automatique. Ce cadre s’appuie sur la définition d’un critère d’apprentissage qui p...
متن کاملModèles d'information pour la recherche multilingue
RÉSUMÉ. Nous présentons dans cet article plusieurs extensions multilingues des modèles d’information, en particulier le modèle log-logistique (LL) et le modèle Smoothed Power Law (SPL), récemment introduits en recherche d’information (Clinchant et al., 2010). Ces extensions sont fondées sur (a) une généralisation de la notion d’information utilisée dans ces modèles, (b) une généralisation des v...
متن کامل