Forêts Aléatoires

Méthode d’ensemble : Forêts Aléatoires (Random forest)

Une Forêt Aléatoire est un prédicteur constitué d’un ensemble de classifieurs élémentaires de type arbres de décision. Dans les cas spécifiques des modèles CART (arbres binaires), Breiman [1] propose une amélioration du bagging avec un algorithme d’induction de forêts aléatoires (ForestRI — pour Random Forest - Random Input —) qui utilise le principe de randomisation "Random Feature Selection" proposé par Amit et Geman [2].

L’induction des arbres se fait sans élagage et selon l’algorithme CART [4], toutefois, au niveau de chaque nœud, la sélection de la meilleure partition, basée sur l’index de Gini, s’effectue uniquement sur un sous-ensemble d’attributs de taille préfixée (généralement égale à la racine carrée du nombre total d’attributs) sélectionné aléatoirement depuis l’espace originel des caractéristiques [3].

La prédiction globale de la forêt aléatoire est calculée en prenant la majorité des votes de chacun de ses arbres. Cet algorithme appartient à la famille la plus large des forets aléatoires défini comme suit (Algorithme 2) par Breiman [1].

---

Algorithm 2 Pseudo code de l’algorithme des forêts aléatoires

Entrées : L’ensemble d’apprentissage L, Nombre d’arbres N.

Sortie : Ensemble d'arbres E

Processus : for i = 1 → N do

Ti ← BootstrapSample(T)

Ci ← ConstructTree(Ti) où à chaque nœud :

– Sélection aléatoire de K = √ M Variables à partir de l’ensemble d’attributs M

– Sélection de la variable la plus informative K en utilisant l’index de Gini

– Création d’un nœud fils en utilisant cette variable

E ← E{C i}

end for

Retourner E

---

[1] L. Breiman, “Random forests,” Machine Learning, vol. 45, pp. 5–32, 2001.

[2] Yali Amit and Donald Geman, “Shape quantization and recognition with randomized trees,” Neural Computation, vol. 9, no. 7, pp. 1545–1588, 1997.

[3] N. Sirikulviriya and S. Sinthupinyo, “Integration of rules from a random forest.,” in International Conference on Information and Electronics Engineering IPCSIT vol.6 (2011) IACSIT Press, Singapore, 2011.

[4] L. Breiman, J. H. Friedman, R. A. Olshen, and C. J. Stone, Classification And Regression Trees, Chapman and Hall, New York, 1984.