Continuous space models with neural networks in natural language processing. (Modèles neuronaux pour la modélisation statistique de la langue)

نویسنده

  • Hai Son Le
چکیده

Les modèles de langage ont pour but de caractériser et d’évaluer la qualité des énoncés en langue naturelle. Leur rôle est fondamentale dans de nombreux cadres d’application comme la reconnaissance automatique de la parole, la traduction automatique, l’extraction et la recherche d’information. La modélisation actuellement état de l’art est la modélisation "historique" dite n-gramme associée à des techniques de lissage. Ce type de modèle prédit un mot uniquement en fonction des n− 1 mots précédents. Pourtant, cette approche est loin d’être satisfaisante puisque chaque mot est traité comme un symbole discret qui n’a pas de relation avec les autres. Ainsi les spécificités du langage ne sont pas prises en compte explicitement et les propriétés morphologiques, sémantiques et syntaxiques des mots sont ignorées. De plus, à cause du caractère éparse des langues naturelles, l’ordre est limité à n = 4 ou 5. Sa construction repose sur le dénombrement de successions de mots, effectué sur des données d’entrainement. Ce sont donc uniquement les textes d’apprentissage qui conditionnent la pertinence de la modélisation n-gramme, par leur quantité (plusieurs milliards de mots sont utilisés) et leur représentativité du contenu en fonction de thématique, époque ou de genre. L’usage des modèles neuronaux ont récemment ouvert de nombreuses perspectives. Le principe de projection des mots dans un espace de représentation continu permet d’exploiter la notion de similarité entre les mots: les mots du contexte sont projetés dans un espace continu et l’estimation de la probabilité du mot suivant exploite alors la similarité entre ces vecteurs. Cette représentation continue confère aux modèles neuronaux une meilleure capacité de généralisation et leur utilisation a donné lieu à des améliorations significatives en reconnaissance automatique de la parole et en traduction automatique. Pourtant, l’apprentissage et l’inférence des modèles de langue neuronaux à grand vocabulaire restent très couteux. Ainsi par le passé, les modèles neuronaux ont été utilisés soit pour des tâches avec peu de données d’apprentissage,

برای دانلود متن کامل این مقاله و بیش از 32 میلیون مقاله دیگر ابتدا ثبت نام کنید

ثبت نام

اگر عضو سایت هستید لطفا وارد حساب کاربری خود شوید

منابع مشابه

Comparison of scheduling methods for the learning rate of neural network language models (Modèles de langue neuronaux: une comparaison de plusieurs stratégies d'apprentissage) [in French]

If neural networks play an increasingly important role in natural language processing, training issues still hinder their dissemination in the community. This paper studies different learning strategies for neural language models (including two new strategies), focusing on the adaptation of the learning rate. Experimental results show the impact of the design of such strategy. Moreover, provide...

متن کامل

Apprentissage de modèles de langue neuronaux pour la recherche d'information

Information Retrieval (IR) faces different difficulties, notably those related to vocabulary mismatch issues and term dependencies. In the last few years, language models based on neural networks have been proposed to deal with both term dependencies and vocabulary mismatch issues in complex natural language processing tasks. However, to be efficient, these models require huge amounts of traini...

متن کامل

Statistical Model Building for Neural Networks - Proceedings AFIR 1996 - Nürnberg, Germany

Neural networks are a new, very flexible class of statistical and if applied to economic data econometric models. Basically, neural networks are a generalization of nonlinear regression models and can therefore be applied to all kinds of regression problems. Since neural networks do not require the specification of a certain structural form, they are particularly suited for modelling very compl...

متن کامل

Bumps in simple two-dimensional neural field models

Neural field models first appeared in the 50’s, but the theory really took off in the 70’s with the works of Wilson and Cowan [11, 12] and Amari [2, 1]. Neural fields are continuous networks of interacting neural masses, describing the dynamics of the cortical tissue at the population level. In this report, we study homogeneous stationary solutions (i.e independent of the spatial variable) and ...

متن کامل

Enrichissement sémantique de méta-modèles XML et UML pour une transformation bidirectionnelle de modèles

RÉSUMÉ. XML est devenu depuis la fin des années 90 le standard pour échanger et envoyer de l’information sur Internet. Le W3C a ensuite préconisé l’utilisation de XML Schema pour définir la structure des documents XML. A ce jour, la modélisation graphique de modèles XML Schema n’est pas standardisée. L’introduction d’un formalisme de définition de modèles est un moyen de rendre la modélisation ...

متن کامل

ذخیره در منابع من


  با ذخیره ی این منبع در منابع من، دسترسی به آن را برای استفاده های بعدی آسان تر کنید

برای دانلود متن کامل این مقاله و بیش از 32 میلیون مقاله دیگر ابتدا ثبت نام کنید

ثبت نام

اگر عضو سایت هستید لطفا وارد حساب کاربری خود شوید

عنوان ژورنال:

دوره   شماره 

صفحات  -

تاریخ انتشار 2012