Slope heuristics: overview and implementation

Model selection is a general paradigm which includes many statistical problems. One of the most fruitful and popular approaches to carry it out is the minimization of a penalized criterion. Birgé and Massart (2006) have proposed a promising data-driven method to calibrate such criteria whose penalties are known up to a multiplicative factor: the “slope heuristics”. Theoretical works validate this heuristic method in some situations and several papers report a promising practical behavior in various frameworks. The purpose of this work is twofold. First, an introduction to the slope heuristics and an overview of the theoretical and practical results about it are presented. Second, we focus on the practical difficulties occurring for applying the slope heuristics. A new practical approach is carried out and compared to the standard dimension jump method. All the practical solutions discussed in this paper in different frameworks are implemented and brought together in a Matlab graphical user interface called capushe. Key-words: Slope Heuristics, Data-driven slope estimation, Dimension jump ∗ Université Paris-Sud 11, INRIA Projet select, Laboratoire MAP5, Université Paris Descartes and CNRS † Institut de Mathématiques de Toulouse, INSA de Toulouse, Université de Toulouse ‡ Laboratoire de Statistique Théorique et Appliquée, Université Paris 6 ha l-0 04 61 63 9, v er si on 1 5 M ar 2 01 0 L’heuristique de pente : vue d’ensemble et mise en pratique Résumé : La sélection de modèles est un paradigme général incluant de nombreux problèmes statistiques. Une des approches les plus connues est fondée sur la minimisation d’un critère pénalisé. Birgé et Massart (2006) ont proposé une méthode pour calibrer de tels critères pour des pénalités connues à une constante multiplicative près : l’heuristique de pente. Cette heuristique est validée par des travaux théoriques dans quelques situations et son bon comportement en pratique est validé dans une plus large variété de contextes. L’objectif de cet article est double. Nous proposons tout d’abord une synthèse des travaux théoriques et pratiques concernant cette méthode. Puis, nous nous intéressons aux difficultés rencontrées lors de la mise en pratique de cette heuristique. Nous proposons une nouvelle approche qui sera comparée à la méthode standard du “saut de dimension”. Toutes les solutions pratiques discutées dans cet article dans différents contextes sont disponibles dans capushe, une interface graphique développée sous le logiciel Matlab. Mots-clés : Heuristique de pente, estimation de pente, saut de dimension ha l-0 04 61 63 9, v er si on 1 5 M ar 2 01 0 Slope Heuristics: Overview and Implementation 3