Variable selection in model-based discriminant analysis

A general methodology for selecting predictors for Gaussian generative classification models is presented. The problem is regarded as a model selection problem. Three different roles for each possible predictor are considered: a variable can be a relevant classification predictor or not, and the irrelevant classification variables can be linearly dependent on a part of the relevant predictors or independent variables. This variable selection model was inspired by the model-based clustering model of Maugis et al. (2009b). A BIC-like model selection criterion is proposed. It is optimized through two embedded forward stepwise variable selection algorithms for classification and linear regression. The model identifiability and the consistency of the variable selection criterion are proved. Numerical experiments on simulated and real data sets illustrate the interest of this variable selection methodology. In particular, it is shown that this well ground variable selection model can be of great interest to improve the classification performance of the quadratic discriminant analysis in a high dimension context. Key-words: Discriminant, redundant or independent variables, Variable selection, Gaussian classification models, Linear regression, BIC ∗ Institut de Mathématiques de Toulouse, INSA de Toulouse, Université de Toulouse † INRIA Saclay Île-de-France, Projet select, Université Paris-Sud 11 ‡ UMR AgroParisTech/INRA MIA 518, Paris § URGV UMR INRA 1165, UEVE, ERL CNRS 8196, Evry Sélection de variables pour l’analyse discriminante gaussienne Résumé : Nous proposons une méthodologie générale pour la sélection de variables en analyse discriminante par des modèles génératifs gaussiens. Le problème est vu sous un angle de choix de modèles. Les variables en compétition peuvent avoir trois rôles : ce sont soit des prédicteurs utiles pour la classification supervisée, soit des variables redondantes, liés aux prédicteurs par une régression linéaire, soit des variables indépendantes. Ce modèle s’inspire directement du modèle de Maugis et al. (2009b) pour la sélection de variables en classification non supervisée par des modèles de mélanges de lois gaussiennes. Un critère de type BIC est proposé pour choisir le rôle des variables. Ce critère est optimisé par deux algorithmes embôıtés de sélection ascendante avec remise en cause pour la classification et la régression. Nous établissons l’identifiabilité de notre modèle et nous prouvons l’optimalité asymptotique de notre critère. Nous illustrons les bonnes performances de notre approche par des expérimentations sur des données simulées et réelles. Nous montrons en particulier que notre méthodologie de sélection de variables peut être profitable pour l’analyse discriminante quadratique en grand dimension. Mots-clés : Variables discriminantes, redondantes ou indépendantes, Sélection de variables, Classification supervisée gaussienne, Régression linéaire, BIC Variable selection in model-based discriminant analysis 3