projet 2018 2019 monte carlo

Université Paris Dauphine
Département MIDO
Master 1 – Méthodes de Monte Carlo
2018–2019
Méthodes de Monte Carlo
– Projet –
[email protected]
Consignes.
À rendre avant le 08 janvier 2019
• Rapport contenant réponses/commentaires, codes utilisés et sorties (Notebook, Rmarkdown
ou LATEX+ knitr). À défaut, un rapport au format .pdf et un script contenant l’ensemble des
codes utilisés. Dans ce cas, il est interdit de copier-coller du code dans le corps du texte. Une
rédaction soignée et concise est attendue.
• seul le language R est autorisé.
• Les codes doivent :
• être bien commentés. Il est possible qu’une explication orale vous soit demandée.
• être optimisés (vectorisés) un minimum pour utiliser les spécificités du language.
• s’exécuter sans erreurs et permettre de reproduire l’intégralité des résultats présentés
dans le rapport.
• Les graphiques doivent être soigneusement annotés et présentés (titre, couleur, légendes, ...).
• Chaque jour de retard sera pénalisé d’un point.
Exercice 1 (Simulation de variables aléatoires).
Méthode du rejet. On souhaite simuler suivant une densité f de R2 proportionnelle à
µ
¶
cos2 (x) + 2 sin2 (y) cos4 (x)
{x − 2}2
˜
f (x, y) =
exp −
1{x∈[0,4]} 1{ y[0,2]} .
1 + 4(y − 1)2
2
(1)
1. Justifiez que pour obtenir une réalisation suivant la loi de densité f , on peut appliquer l’algorithme
du rejet à f˜.
2. Proposer une constante M et une densité g telles que pour tout (x, y) ∈ R2 , f˜(x, y) ≤ M g (x, y).
3. En déduire une méthode de simulation suivant f .
Algorithme de Metropolis–Hastings. L’algorithme de Metropolis–Hastings est un exemple particulier de méthode de Monte Carlo par chaîne de Markov, permetant de générer des chaînes de Markov,
¡ (t ) ¢
x t ≥1 irréductibles, apériodiques et de loi stationnaire de densité f connue à une constante de normalisation près. Il est fondé sur le choix d’une loi instrumentale de densité g , partout positive, et sur le
1
Projet
Méthodes de Monte Carlo
noyau de transition suivant

ξ ∼ g
x(t +1) =
x(t )
¡
¢
avec probabilité α x(t ) , ξ
¡
¢
avec probabilité 1 − α x(t ) , ξ
¡ ¢
¡ (t ) ¢
f (ξ) g x(t )
avec α x , ξ = 1 ∧ ¡ (t ) ¢
.
g (ξ)
f x
4. À l’aide de l’algorithme de Metropolis–Hastings et en utilisant la fonction g obtenue à la question 2,
¡
¢
produire une chaîne de Markov (xt )t ∈N = x 1(t ) , x 2(t ) de loi stationnaire f .
5. Comparer la distribution ainsi obtenue avec celle obtenue par la méthode du rejet.
Exercice 2 (Méthodes de Monte Carlo). On considère le graphe G dont chaque arête est munie
d’un poids X 1 , . . . , X 5 . On note x = (X 1 , . . . , X 5 ) le vecteur des poids et on suppose que les poids sont
indépendants et distribués suivant des lois ν1 , . . . , νn précisées ultérieurement.
A
X2
X4
1
∼ν
4
X 3 ∼ ν3
X
∼ν
1
∼ν
B
X5
2
∼ν
5
Un chemin simple entre A et B est défini par une suite d’arêtes consécutives de G reliant A à B , toutes les
arêtes de la suite étant distinctes. La longueur d’un chemin simple entre A et B correspond à la somme
des poids des arêtes constituant ce chemin. On note d (X) la longueur du chemin simple le plus court
entre A et B . Dans ce projet, on souhaite estimer par des méthodes de Monte Carlo
δ = P [X 1 + X 2 + X 3 ≥ t ] et p = P [d (X) ≥ t ] t ∈ R.
Les estimateurs doivent être donnés explicitement dans le rapport et les intervalles de confiance seront donnés au niveau 95%
Partie I – Estimation de δ
1. On suppose que X 1 + X 2 + X 3 est distribuée suivant une loi de Weibull de paramètre d’échelle λ = 1
et de paramètre de forme k = 2. Pour les applications numériques, on prendra t = 2.
(a) Proposer une estimation δbn de δ par la méthode de Monte Carlo classique.
(b) Proposer une estimation δbn (q 1 , . . . , q K ) de δ par la méthode de stratification avec allocation proportionnelle.
(c) Comparer les performances de ces deux méthodes.
2. On suppose maintenant que X 1 , X 2 et X 3 sont indépendantes avec X 1 et X 2 distribuées suivant la loi
2
Projet
Méthodes de Monte Carlo
exponentielle de paramètre λ = 1 et X 3 distribuée suivant la loi de fonction de répartition
µ
¶
t
t 1
F (t ) = 1{t ∈[0,1[} + + 1{t ∈[1,2]} + 1{t >2} .
4
4 2
Pour les applications numériques, on prendra t = 1.
(a) Proposer une estimation δbn de δ par la méthode de Monte Carlo classique.
(b) Montrer que δ = E [1 − F (t − X 1 − X 2 )] = E [1 −G(t − X 3 )] où G est la fonction de répartition de la
loi gamma Γ(2, 1).
(c) En déduire de nouvelles méthodes d’estimation de δ. Commenter leurs performances.
Partie II – Estimation de p
On considère n réalisations X1 , . . . , Xn du vecteur des poids X supposés indépendants et distribués suivant des lois exponentielles de paramètres respectifs λ1 , . . . , λ5 . On notera f (x ; λ1 , . . . , λ5 ) la densité du
vecteur X. Pour les applications numériques, on prend (λ1 , . . . , λ5 ) = (6, 7, 3, 2, 1) et t = 2.
1. Proposer une estimation pbn de p par la méthode de Monte Carlo classique.
Echantillonage préférentiel.
2. (a) Monter qu’en choisissant pour loi d’importance
g (x) =
1{d (x)≥t } f (x ; λ1 , . . . , λ5 )
p
on obtient un estimateur d’échantillonnage préférentiel de p de variance nulle.
(b) Proposer une méthode de simulation suivant la densité g .
(c) Quelle limitation voyez-vous quant au choix de cette loi d’importance ?
3. Soient Y1 , . . . , Yn des variables aléatoires i.i.d. de densité g .
(a) La quantité suivante converge-t-elle vers p,
Pn
k=1
1{d (Yk )≥t } w(Yk )
Pn
k=1
w(Yk )
,
avec w(Yk ) =
f (Yk ; λ1 , . . . , λ5 )
g (Yk )
?
(b) Peut-on en déduire une méthode d’estimation de p ? Commenter.
Dans la suite, on choisit comme loi d’importance, la densité du vecteur (Y1 , . . . , Y5 ) := Y tel que les variables Y1 , . . . , Y5 soient indépendantes et distribuées suivant les lois exponentielles de paramètres respectifs α1 , . . . , α5 . On la notera h(y ; α1 , . . . , α5 ).
4. Donner l’estimateur d’échantillonnage préférentiel pbn (α1 , . . . , α5 ) de p basé sur la loi d’importance
h.
3
Projet
Méthodes de Monte Carlo
On souhaite choisir les paramètres α1 , . . . , α5 de la loi d’importance de sorte que
?
(α?
1 , . . . , α5 ) = arg min Eg
α1 ,...,α5
· ½
ln
g (Z)
h(Z ; α1 , . . . , α5 )
¾¸
,
où Eg est l’espérance par rapport à la densité g .
5. Soient α01 , . . . , α05 les valeurs choisies initialement par l’utilisateur. Montrer que
"
?
(α?
1 , . . . , α5 ) = arg max Eα0 ,...,α0 1{d (Y)≥t }
α1 ,...,α5
5
1
f (Y ; λ1 , . . . , λ5 )
h(Y ; α01 , . . . , α05 )
#
ln h(Y ; α1 , . . . , α5 ) ,
où Eα0 ,...,α0 est l’espérance par rapport à la densité h(·; α01 , . . . , α05 ).
1
5
6. Étant donné Yk = (Yk,1 , . . . , Yk,5 ), k = 1, . . . , n, variables aléatoires indépendantes identiquement dis?
tribuées de densité h(· ; α01 , . . . , α05 ), en déduire que l’on peut estimer (α?
1 , . . . , α5 ) par
n
X
b?j =
α
1{d (Yk )≥t }
5 λ
Y
i
¡ ©
ª
¢
exp − λi − α0i Yk,i
0
i =1 αi
k=1
n
5 λ
X
Y
i
1{d (Yk )≥t } Yk, j
0
i =1 αi
k=1
,
j = 1, . . . , 5.
¡ ©
ª
¢
exp − λi − α0i Yk,i
?
7. Calculer pbn (α̂?
1 , . . . , α̂5 ) et l’intervalle de confiance au niveau 95% correspondant.
Réduction de variance. Soient U1,1 , . . . ,U1,5 , . . . ,Un,1 , . . . ,Un,5 des variables aléatoires indépendantes et
identiquement distribuées suivant la loi uniforme sur [0 , 1]. On pose, pour tout i = 1, . . . , n,
µ
1
1
1
1
1
ρ(Ui ,1 , . . . ,Ui ,5 ) = min − ? lnUi ,1 − ? lnUi ,4 ; − ? lnUi ,1 − ? lnUi ,3 − ? lnUi ,5 ;
α1
α4
α1
α3
α5
¶
1
1
1
1
1
− ? lnUi ,2 − ? lnUi ,5 ; − ? lnUi ,2 − ? lnUi ,3 − ? lnUi ,4 .
α2
α5
α2
α3
α4
8. (a) Montrer que l’estimateur suivant converge presque-sûrement vers p :
n Y
5 λ
1X
λk /α?
−1
k
k
1{ρ(Ui ,1 ,...,Ui ,5 )≥t }
? Ui ,k
n i =1 k=1 αk
(b) En déduire à l’aide de la méthode des variables antithétiques un estimateur pbn(1) de p.
?
(c) Comparez les performances de l’estimateur pbn(1) avec celles des estimateurs pbn et pbn (α̂?
1 , . . . , α̂5 ).
4