Séance 10: Arbres de classifications et Forêts aléatoires

S´ eance 10: Arbres de classifications et Forˆ ets
al´ eatoires
S´ ebastien Gadat
Laboratoire de Statistique et Probabilit´ es
UMR 5583 CNRS-UPS
www.lsp.ups-tlse.fr/gadat
S´ ebastien Gadat S´ eance 10: Arbres de classifications et Forˆ ets al´ eatoires

Introduction
Agr´ egation al´ eatoire
Strat´ egies adaptatives
Dixi` eme partie X
Agr´ egation de mod` eles
S´ ebastien Gadat S´ eance 10: Arbres de classifications et Forˆ ets al´ eatoires

Introduction
Agr´ egation al´ eatoire
Strat´ egies adaptatives
Introduction
Algorithmes tr ` es r´ ecents (ann´ ees 2000) pour la classification et
la r´ egression
Utilise des strat´ egies adaptatives (boosting) ou al´ eatoires
(bagging)
Id´ ee : Utiliser une combinaison ou une agr´ egation d’un grand
nombre de mod` eles tout en ´ evitant l’overfitting
Bagging ou Random Forests : utiliser le hasard pour am ´ eliorer
les performances d’algorithmes de «faibles »performances.
C’est applicable ` a diff´ erents algorithmes et RF est un
am´ enagement sp´ ecifique ` a CART.
Boosting : utiliser une strat´ egie adaptative pour booster des
performances, applicable l ` a aussi ` a tout type d’algorithme
(R´ eseau de neurones, cart, etc.)
Ces strat´ egies am´ eliorent principalement les performances des
algorithmes non lin ´ eaires plus instables. Ils sont en g´ en´ eral
moins efficace dans le cas des m´ ethodes lin´ eaires stables.
S´ ebastien Gadat S´ eance 10: Arbres de classifications et Forˆ ets al´ eatoires

Introduction
Agr´ egation al´ eatoire
Strat´ egies adaptatives
Introduction
Algorithmes tr ` es r´ ecents (ann´ ees 2000) pour la classification et
la r´ egression
Utilise des strat´ egies adaptatives (boosting) ou al´ eatoires
(bagging)
Id´ ee : Utiliser une combinaison ou une agr´ egation d’un grand
nombre de mod` eles tout en ´ evitant l’overfitting
Bagging ou Random Forests : utiliser le hasard pour am ´ eliorer
les performances d’algorithmes de «faibles »performances.
C’est applicable ` a diff´ erents algorithmes et RF est un
am´ enagement sp´ ecifique ` a CART.
Boosting : utiliser une strat´ egie adaptative pour booster des
performances, applicable l ` a aussi ` a tout type d’algorithme
(R´ eseau de neurones, cart, etc.)
Ces strat´ egies am´ eliorent principalement les performances des
algorithmes non lin ´ eaires plus instables. Ils sont en g´ en´ eral
moins efficace dans le cas des m´ ethodes lin´ eaires stables.
S´ ebastien Gadat S´ eance 10: Arbres de classifications et Forˆ ets al´ eatoires

Introduction
Agr´ egation al´ eatoire
Strat´ egies adaptatives
Introduction
Algorithmes tr ` es r´ ecents (ann´ ees 2000) pour la classification et
la r´ egression
Utilise des strat´ egies adaptatives (boosting) ou al´ eatoires
(bagging)
Id´ ee : Utiliser une combinaison ou une agr´ egation d’un grand
nombre de mod` eles tout en ´ evitant l’overfitting
Bagging ou Random Forests : utiliser le hasard pour am ´ eliorer
les performances d’algorithmes de «faibles »performances.
C’est applicable ` a diff´ erents algorithmes et RF est un
am´ enagement sp´ ecifique ` a CART.
Boosting : utiliser une strat´ egie adaptative pour booster des
performances, applicable l ` a aussi ` a tout type d’algorithme
(R´ eseau de neurones, cart, etc.)
Ces strat´ egies am´ eliorent principalement les performances des
algorithmes non lin ´ eaires plus instables. Ils sont en g´ en´ eral
moins efficace dans le cas des m´ ethodes lin´ eaires stables.
S´ ebastien Gadat S´ eance 10: Arbres de classifications et Forˆ ets al´ eatoires