Risk bounds for purely uniformly random forests

Random forests, introduced by Leo Breiman in 2001, are a very effective statistical method. The complex mechanism of the method makes theoretical analysis difficult. Therefore, a simplified version of random forests, called purely random forests, which can be theoretically handled more easily, has been considered. In this paper we introduce a variant of this kind of random forests, that we call purely uniformly random forests. In the context of regression problems with a one-dimensional predictor space, we show that both random trees and random forests reach minimax rate of convergence. In addition, we prove that compared to random trees, random forests improve accuracy by reducing the estimator variance by a factor of three fourths. Key-words: Random Forests, Non-parametric regression, Rate of convergence, Randomization. ∗ Univ Paris-Sud, Laboratoire de Mathématique, UMR 8628, Orsay F-91405 † Inria Saclay Ile-de-France in ria -0 04 92 23 1, v er si on 1 15 J un 2 01 0 Bornes de risque pour les forêts purement uniformément aléatoires. Résumé : Introduites par Leo Breiman en 2001, les forêts aléatoires sont une méthode statistique très performante. D’un point de vue théorique, leur analyse est difficile, du fait de la complexité de l’algorithme. Pour expliquer ces performances, des versions de forêts aléatoires simplifiées, et donc plus faciles à analyser, ont été introduites. Ces versions ont été appelées forêts purement aléatoires. Dans cet article, nous introduisons une autre version simplifiée, que nous appelons forêts purement uniformément aléatoires. Dans un contexte de régression, avec une seule variable explicative, nous montrons que les arbres aléatoires ainsi que les forêts aléatoires atteignent la vitesse de convergence minimax. De plus, nous prouvons que les forêts aléatoires améliorent les performances des arbres aléatoires, en réduisant la variance des estimateurs associés d’un facteur de trois quarts. Mots-clés : Forêts aléatoires, Régression non-paramétrique, Vitesse de convergence, Randomisation. in ria -0 04 92 23 1, v er si on 1 15 J un 2 01 0 Risk bounds for purely uniformly random forests 3