énoncé - Irisa

´
Ecole Nationale Sup´erieure de Techniques Avanc´ees
module : Commande des Syst`emes
examen du cours B7–1
“Filtrage bay´esien et approximation particulaire”
mercredi 15 octobre 2014, 8:30 `a 10:00
Probl` eme
L’objectif de ce probl`eme est d’´etudier l’approximation par ´echantillonnage pond´er´e
d’une distribution de Gibbs–Boltzman associ´ee `a une fonction positive et `a une distribu-
tion de probabilit´e particuli`ere, d´ecrite par un m´elange fini de distributions de probabilit´e.
On consid`ere donc une distribution de probabilit´e
m(dx) =
M
∑
j=1
wjmj(dx) avec
M
∑
j=1
wj= 1 ,
sous la forme d’un m´elange fini de Mdistributions de probabilit´es (m1,· · · , mM) affect´ees
des poids positifs normalis´es (w1,· · · , wM), et on consid`ere la distribution de Gibbs–
Boltzman associ´ee
µ=g·m=g m
⟨m, g⟩c’est–`a–dire que µ(dx) =
M
∑
j=1
wjg(x)mj(dx)
M
∑
j=1
wj⟨mj, g⟩
,
o`u gest une fonction positive. On d´efinit aussi la distribution non–normalis´ee
γ=g m c’est–`a–dire que γ(dx) =
M
∑
j=1
wjg(x)mj(dx).
Au lieu de l’hypoth`ese faite en cours qu’il est facile de simuler une variable al´eatoire
selon chacune des composantes du m´elange, on suppose ici que chacune des composantes
1

du m´elange poss`ede une densit´e par rapport `a une mesure positive de r´ef´erence λ, et que
l’expression de cette densit´e est connue explicitement. En d’autres termes
m(dx) =
M
∑
j=1
wjmj(x)λ(dx) avec
M
∑
j=1
wj= 1 ,
et
γ(dx) =
M
∑
j=1
wjg(x)mj(x)λ(dx),
et on suppose qu’il est facile, pour tout j= 1,· · · , M
•d’´evaluer le produit g(x)mj(x) pour tout x∈E.
L’approximation propos´ee repose sur la factorisation suivante, valide pour chacune des
composantes du m´elange : pour tout j= 1,· · · , M
wjg(x)mj(x) = rj(x)θjπj(x) avec rj(x) = wjg(x)mj(x)
θjπj(x),
pour tout x∈E, o`u
•la densit´e de probabilit´e πjne s’annule qu’aux points x∈Eo`u le produit g(x)mj(x)
est d´ej`a nul,
•le poids positif θjn’est nul que si le poids wjest d´ej`a nul,
et on adoptera la convention 0/0 = 0. En d’autres termes, cette factorisation permet de
r´e–´ecrire la distribution non–normalis´ee sous la forme ´equivalente
γ(dx) =
M
∑
j=1
rj(x)θjπj(x)λ(dx) avec
M
∑
j=1
θj= 1 ,
et on suppose qu’il est facile, pour tout j= 1,· · · , M
•de simuler une variable al´eatoire de densit´e πj,
•et d’´evaluer la fonction πj(x) pour tout x∈E.
Intuitivement, l’approximation propos´ee consiste `a ´echantillonner selon les densit´es
(π1,· · · , πM) et selon les poids (θ1,· · · , θM) et `a pond´erer judicieusement les ´echantillons
obtenus. Pour rendre rigoureuse cette approche jusqu’ici intuitive, l’id´ee consiste `a in-
terpr´eter la distribution non–normalis´ee γcomme la distribution marginale (d´efinie sur
E) d’une distribution non–normalis´ee d´efinie sur l’ensemble produit E′={1,··· , M}×E.
2

Soit (I, X) la variable al´eatoire `a valeurs dans l’ensemble produit E′={1,· · · , M}×E
et de distribution de probabilit´e jointe η′, vue comme une famille η′= (η1,· · · , ηM) de M
distributions de probabilit´e sur l’ensemble E, d´efinie par
P[I=j, X ∈dx] = ηj(dx) = θjπj(x)λ(dx),
pour tout j= 1,· · · , M.
(i) D´ecrire la distribution de probabilit´e marginale de la variable al´eatoire I
seulement, et la distribution de probabilit´e conditionnelle de la variable
al´eatoire Xsachant I=j. En d´eduire un moyen pratique de simuler la
variable al´eatoire (I, X).
Sur l’ensemble produit E′={1,· · · , M} × E, on introduit la distribution non–nor-
malis´ee γ′, vue comme une famille γ′= (γ1,· · · , γM) de Mdistributions non–normalis´ees
sur l’ensemble E, d´efinie par
γj(dx) = rj(x)θjπj(x)λ(dx),
pour tout j= 1,· · · , M.
(ii) Montrer que la distribution non–normalis´ee γpeut s’interpr´eter comme
la distribution marginale (d´efinie sur l’ensemble E) de la distribution
non–normalis´ee γ′= (γ1,· · · , γM)(d´efinie sur l’ensemble produit E′=
{1,· · · , M} × E).
(iii) Montrer que la distribution non–normalis´ee γ′d´efinie sur l’ensemble pro-
duit E′={1,· · · , M} × Epeut s’interpr´eter comme le produit
•d’une distribution de probabilit´e jointe d´efinie sur l’ensemble produit
E′, vue comme une famille de Mdistributions de probabilit´es d´efinies
sur l’ensemble E,
•et d’une fonction positive d´efinie sur l’ensemble produit E′, vue com-
me une famille de Mfonctions positives d´efinies sur l’ensemble E,
dont on donnera les expressions.
(iv) En utilisant cette factorisation, proposer une approximation par ´echantil-
lonnage pond´er´e de la distribution non–normalis´ee γ′= (γ1,· · · , γM)d´efinie
sur l’ensemble produit E′={1,· · · , M} × E.
(v) En utilisant le r´esultat ´enonc´e `a la question (ii), en d´eduire une approxi-
mation par ´echantillonnage pond´er´e de la distribution non–normalis´ee γ
d´efinie sur l’ensemble E.
3

(vi) En d´eduire une approximation par ´echantillonnage pond´er´e de la distri-
bution de Gibbs–Boltzmann µd´efinie sur l’ensemble E.
On consid`ere l’approximation
γ≈bγN=1
N
N
∑
i=1
rIi(ξi)δξi,
obtenue en r´eponse `a la question (v), o`u ind´ependemment pour tout i= 1,· · · , N la
variable al´eatoire (Ii, ξi) `a pour distribution de probabilit´e jointe η′= (η1,· · · , ηM) d´efinie
sur l’ensemble produit E′={1,· · · , M} × E. Concr`etement
⟨γ, ϕ⟩ ≈ ⟨bγN, ϕ⟩=1
N
N
∑
i=1
rIi(ξi)ϕ(ξi),
pour toute fonction mesurable born´ee ϕd´efinie sur l’ensemble E.
(vii) Montrer que ⟨bγN, ϕ⟩est un estimateur non–biais´e de ⟨γ, ϕ⟩.
(viii) Calculer la variance E| ⟨bγN, ϕ⟩−⟨γ, ϕ⟩ |2de l’erreur d’approximation.
Commentaire
Cette strat´egie s’applique notamment dans le cadre du filtrage bay´esien, et produit une
classe d’approximations particulaires connues sous le sigle APF, pour auxiliary particle
filter. Concr`etement, si on dispose d’une approximation particulaire du filtre bay´esien
sous la forme
µN
k−1=
N
∑
i=1
wi
k−1δξi
k−1
avec
N
∑
i=1
wj
k−1= 1 ,
alors on obtient `a l’instant suivant une approximation particulaire du filtre bay´esien sous
la forme
gk(x′) (µN
k−1Qk)(dx′) =
N
∑
i=1
wi
k−1gk(x′)Qk(ξi k−1, dx′) avec
N
∑
i=1
wj
k−1= 1 ,
`a une constante multiplicative pr`es. On remarque que cette distribution non–normalis´ee
est bien de la forme ´etudi´ee ici, c’est–`a–dire
γ(dx′) =
N
∑
i=1
wig(x′)mi(dx′).
avec les identifications
4

•g(x′) = gk(x′) pour tout x′∈E,
•wi=wi
k−1et mi(dx′) = Qk(ξi k−1, dx′) pour tout i= 1,· · · , N.
L’approximation particulaire propos´ee par le filtre APF repose sur la factorisation suiv-
ante : pour tout i= 1,· · · , N
wi
k−1gk(x′)mi k(x′) = ri k(x′)θi kπi k(x′) avec ri k(x′) = wi
k−1gk(x′)mi k(x′)
θi
kπi k(x′),
pour tout x′∈E, o`u on s’autorise `a d´efinir le nouveau poids θi
k=θ(ξi k−1) comme fonction
de la position ξi
k−1de la particule `a l’instant pr´ec´edent. Cette flexibilit´e offerte permet
par exemple de d´efinir
θi
k=∫E
gk(x′)mi
k(dx′),
si cette expression est disponible explicitement, ou sinon
θi
k=gk(∫E
x′mi
k(dx′)) ,
qui est plus souvent disponible, ce qui permet de s´electionner les particules dans la popula-
tion courante dont on sait pr´edire que les descendants seront consistants avec l’observation
recueillie `a l’instant suivant.
5