Algorithme d`AdaBoost

MasterM2–Parcoursrecherche UPMC ModuleMIAD
Algorithmed’AdaBoost
1. A
LGORITHMEDE P ERCEPTRON
L’apprentissaged’unmodèleperceptronconsisteàdéterminerautomatiquementses
paramètresàpartird’unebaseétiquetéed’exemplesd’apprentissage.L’algorithmeestle
suivant(poursimplifieronconsidèrequeWestunvecteurligneetquelesxsontdesvecteurs
colonnes):
•D=(x
i
,y
i
)i=1..Nensembled’apprentissage,oùy
i
=C(x
i
)
•initialiserw,onnotecevecteurinitialw(0)
•t=0
•àt,choisiraléatoirementunexemplexdansD,onlenommex
t
osix(t)estcorrectementclassé,i.ey
t
(w(t).x
t
)>0
alorsw(t+1)=w(t)
osix(t)estmalclassé,i.e.y
t
(w(t).x
t
)<0 
alorsw(t+1)=w(t)+ εy
t
x
t
t=t+1
•jusqu’à(critèred’arrêtsatisfait).
Oùεestlepasdegradient,c’estunevaleurpositivenonnulle,engénéralrelativementfaible
(parexemple1/N).Onutilisedifférentscritèresd’arrêts(plusd’erreurdeclassificationdepuis
uncertaintemps,taatteintunevaleurmaximale,etc).
1.1 Fairetournerl’algorithmesurleproblèmedu«ET»logiquedansle casoùw(0)=
(w
0
=2;w
1
=2;w
2
=2),enitérantsurlabased’apprentissage(4exemples),prendreε = 1.
On se place dans le cas de classification bi-classe et on considère un ensemble
d’apprentissage {(x
i
, y
i
)}
i∈{1,…,m}.
On veut trouver l’hyperplan séparant les exemples avec
l’algorithmeduperceptron
1
.Onsupposepourcelaqueleproblèmeestlinéairementséparable
etqu’ilexistedoncunedroitedevecteurdirecteurw*quiséparelesexemples.Oninitialiseà
nullevecteurpoidsduperceptronàl’itération1,i.e.w(1)=0etonconsidèrequetousles
exemplessontàl’intérieurd’uneboulederayonR,i.e.∀i,||x
i
||≤R.
Aprèstitérations,onvafairekcorrectionsduvecteurpoids(t≥k)i.e.w(k)=w(k-1)+x
t
.y
t
1.2Exprimerladistanceentrelevecteurpoidsw(k)etw(1),||w(k)-w(1)||²,enfonctiondew(k-
1),x
t
.y
t
etw(1)
1.3Endéduireque||w(k)-w(1)||²≤k.R²
1
CethéorèmedeconvergenceestdeNovikoff,1966.

MasterM2–Parcoursrecherche UPMC ModuleMIAD
1.4Exprimerleproduitscalaireentrelevecteurpoidsw(k)et
*w*w
,<w(k),
*w*w
>,en
fonctiondew(k-1),x
t
.y
t
et
*w*w
.
1.5Onpose
=*w*w
xymin
ii
i
ρ
,montrerque< w ( k ),
*w*w
> ≥ k. ρ .
1.6Direpourquoia-t-on<
w ( k ),
*w*w
> ≤ || w ( k )||?
1.7Endéduireque||
w ( k )||² ≥ k ² . ρ ².
1.7Endéduiredesquestions2.2et2.6que
2
2
ρ
R
k≤etqu’ilfautdoncauplus
2
2
ρ
R
correctionsauperceptronpourtrouverladroiteséparatrice.Onnote
xlepluspetitentier
majorantx.
2. A DABOOST
Lisez les trois premières pages (jusqu’à Generalization Error non compris) de l’article joint :
•Robert E. Shapire. Theoritical Views of Boosting. EuroCOLT’99, 1999.
2.1 Décriresuccinctementl’algorithmed’Adaboosttelqu’ilestprésentédansl’article.
2.2QuelrôlejoueladistributionD
t
?
2.3Commentestobtenuel’hypothèsefinaleH?
2.4Lafonctionf,correspondàlaminimisationdequellefonctionobjective?Etquelestle
lienentrefetH?
2.5Quelleestlajustificationpourbornerl’erreurempiriqueparlafonctionexponentielleà
l’équation(2)?Représentergraphiquementlesdeuxfonctionsexponentiellesetl’erreurde
classification.
2.6Montrerque
∑∏ ∑
>
−−
=
it
)x(hy
i
)x(fy
ittiii
eZ)i(De
m
1
12
1
α
Où
∑
−
=
i
)x(hy
tt
itit
e)i(DZ
α
2.7
Parrécursion,endéduireque

MasterM2–Parcoursrecherche UPMC ModuleMIAD
∏
∑=
−
tt
i
)x(fy
Ze
m
ii
1
2.8
DériverZ
t
parrapportàα
t
etdirepourquellevaleurdeα
t
,Z
t
est-ilmaximum?
2.9
En supposant que
∑
≠
∼
=≠=
iit
t
y)x(h:i tiitDit
)i(D)y)x(h(P ε  et pour l’expression des α
t
trouvéeen2.8montrerque
)(Z
ttt
εε −= 12 
2.10
Comment l’auteur conclut à partir de l’inégalité (A) (dans le papier) que l’erreur
empirique de mauvaise classification de f sur la base d’apprentissage décroit
exponentiellementvers0?
2.11
Quelestl’intérêtdel’algorithmeAdaboostmisenavantparl’auteuràcestadedu
papier?