On-line Learning for Very Large Datasets Apprentissage Stochastique pour Très Grands Echantillons

La conception de très grand systèmes d’apprentissage pose un grand nombre de problèmes non résolus. Savons nous, par exemple, construire un algorithme qui “regarde” la télévision pendant quelques semaines et apprend à énumérer les objets présents dans ces images. Les lois d’échelles de nos algorithmes ne nous permettent pas de traiter les quantités massives de données que cela implique. L’expérience suggère que les algorithmes les mieux adaptés sont les algorithmes stochastiques. Leur convergence est pourtant réputée beaucoup plus lente que celle des meilleurs algorithmes d’optimisation. Mais il s’agit de la convergence vers l’optimum empirique. Notre papier reformule la question en termes de convergence vers le point de meilleure généralisation et montre la superiorité d’un algorithme stochastique bien conçu.