Continuous space models with neural networks in natural language processing. (Modèles neuronaux pour la modélisation statistique de la langue)
نویسنده
چکیده
Les modèles de langage ont pour but de caractériser et d’évaluer la qualité des énoncés en langue naturelle. Leur rôle est fondamentale dans de nombreux cadres d’application comme la reconnaissance automatique de la parole, la traduction automatique, l’extraction et la recherche d’information. La modélisation actuellement état de l’art est la modélisation "historique" dite n-gramme associée à des techniques de lissage. Ce type de modèle prédit un mot uniquement en fonction des n− 1 mots précédents. Pourtant, cette approche est loin d’être satisfaisante puisque chaque mot est traité comme un symbole discret qui n’a pas de relation avec les autres. Ainsi les spécificités du langage ne sont pas prises en compte explicitement et les propriétés morphologiques, sémantiques et syntaxiques des mots sont ignorées. De plus, à cause du caractère éparse des langues naturelles, l’ordre est limité à n = 4 ou 5. Sa construction repose sur le dénombrement de successions de mots, effectué sur des données d’entrainement. Ce sont donc uniquement les textes d’apprentissage qui conditionnent la pertinence de la modélisation n-gramme, par leur quantité (plusieurs milliards de mots sont utilisés) et leur représentativité du contenu en fonction de thématique, époque ou de genre. L’usage des modèles neuronaux ont récemment ouvert de nombreuses perspectives. Le principe de projection des mots dans un espace de représentation continu permet d’exploiter la notion de similarité entre les mots: les mots du contexte sont projetés dans un espace continu et l’estimation de la probabilité du mot suivant exploite alors la similarité entre ces vecteurs. Cette représentation continue confère aux modèles neuronaux une meilleure capacité de généralisation et leur utilisation a donné lieu à des améliorations significatives en reconnaissance automatique de la parole et en traduction automatique. Pourtant, l’apprentissage et l’inférence des modèles de langue neuronaux à grand vocabulaire restent très couteux. Ainsi par le passé, les modèles neuronaux ont été utilisés soit pour des tâches avec peu de données d’apprentissage,
منابع مشابه
Comparison of scheduling methods for the learning rate of neural network language models (Modèles de langue neuronaux: une comparaison de plusieurs stratégies d'apprentissage) [in French]
If neural networks play an increasingly important role in natural language processing, training issues still hinder their dissemination in the community. This paper studies different learning strategies for neural language models (including two new strategies), focusing on the adaptation of the learning rate. Experimental results show the impact of the design of such strategy. Moreover, provide...
متن کاملApprentissage de modèles de langue neuronaux pour la recherche d'information
Information Retrieval (IR) faces different difficulties, notably those related to vocabulary mismatch issues and term dependencies. In the last few years, language models based on neural networks have been proposed to deal with both term dependencies and vocabulary mismatch issues in complex natural language processing tasks. However, to be efficient, these models require huge amounts of traini...
متن کاملStatistical Model Building for Neural Networks - Proceedings AFIR 1996 - Nürnberg, Germany
Neural networks are a new, very flexible class of statistical and if applied to economic data econometric models. Basically, neural networks are a generalization of nonlinear regression models and can therefore be applied to all kinds of regression problems. Since neural networks do not require the specification of a certain structural form, they are particularly suited for modelling very compl...
متن کاملBumps in simple two-dimensional neural field models
Neural field models first appeared in the 50’s, but the theory really took off in the 70’s with the works of Wilson and Cowan [11, 12] and Amari [2, 1]. Neural fields are continuous networks of interacting neural masses, describing the dynamics of the cortical tissue at the population level. In this report, we study homogeneous stationary solutions (i.e independent of the spatial variable) and ...
متن کاملEnrichissement sémantique de méta-modèles XML et UML pour une transformation bidirectionnelle de modèles
RÉSUMÉ. XML est devenu depuis la fin des années 90 le standard pour échanger et envoyer de l’information sur Internet. Le W3C a ensuite préconisé l’utilisation de XML Schema pour définir la structure des documents XML. A ce jour, la modélisation graphique de modèles XML Schema n’est pas standardisée. L’introduction d’un formalisme de définition de modèles est un moyen de rendre la modélisation ...
متن کامل