Université Paris Dauphine Département MIDO Master 1 – Méthodes de Monte Carlo 2018–2019 Méthodes de Monte Carlo – Projet – [email protected] Consignes. À rendre avant le 08 janvier 2019 • Rapport contenant réponses/commentaires, codes utilisés et sorties (Notebook, Rmarkdown ou LATEX+ knitr). À défaut, un rapport au format .pdf et un script contenant l’ensemble des codes utilisés. Dans ce cas, il est interdit de copier-coller du code dans le corps du texte. Une rédaction soignée et concise est attendue. • seul le language R est autorisé. • Les codes doivent : • être bien commentés. Il est possible qu’une explication orale vous soit demandée. • être optimisés (vectorisés) un minimum pour utiliser les spécificités du language. • s’exécuter sans erreurs et permettre de reproduire l’intégralité des résultats présentés dans le rapport. • Les graphiques doivent être soigneusement annotés et présentés (titre, couleur, légendes, ...). • Chaque jour de retard sera pénalisé d’un point. Exercice 1 (Simulation de variables aléatoires). Méthode du rejet. On souhaite simuler suivant une densité f de R2 proportionnelle à µ ¶ cos2 (x) + 2 sin2 (y) cos4 (x) {x − 2}2 ˜ f (x, y) = exp − 1{x∈[0,4]} 1{ y[0,2]} . 1 + 4(y − 1)2 2 (1) 1. Justifiez que pour obtenir une réalisation suivant la loi de densité f , on peut appliquer l’algorithme du rejet à f˜. 2. Proposer une constante M et une densité g telles que pour tout (x, y) ∈ R2 , f˜(x, y) ≤ M g (x, y). 3. En déduire une méthode de simulation suivant f . Algorithme de Metropolis–Hastings. L’algorithme de Metropolis–Hastings est un exemple particulier de méthode de Monte Carlo par chaîne de Markov, permetant de générer des chaînes de Markov, ¡ (t ) ¢ x t ≥1 irréductibles, apériodiques et de loi stationnaire de densité f connue à une constante de normalisation près. Il est fondé sur le choix d’une loi instrumentale de densité g , partout positive, et sur le 1 Projet Méthodes de Monte Carlo noyau de transition suivant ξ ∼ g x(t +1) = x(t ) ¡ ¢ avec probabilité α x(t ) , ξ ¡ ¢ avec probabilité 1 − α x(t ) , ξ ¡ ¢ ¡ (t ) ¢ f (ξ) g x(t ) avec α x , ξ = 1 ∧ ¡ (t ) ¢ . g (ξ) f x 4. À l’aide de l’algorithme de Metropolis–Hastings et en utilisant la fonction g obtenue à la question 2, ¡ ¢ produire une chaîne de Markov (xt )t ∈N = x 1(t ) , x 2(t ) de loi stationnaire f . 5. Comparer la distribution ainsi obtenue avec celle obtenue par la méthode du rejet. Exercice 2 (Méthodes de Monte Carlo). On considère le graphe G dont chaque arête est munie d’un poids X 1 , . . . , X 5 . On note x = (X 1 , . . . , X 5 ) le vecteur des poids et on suppose que les poids sont indépendants et distribués suivant des lois ν1 , . . . , νn précisées ultérieurement. A X2 X4 1 ∼ν 4 X 3 ∼ ν3 X ∼ν 1 ∼ν B X5 2 ∼ν 5 Un chemin simple entre A et B est défini par une suite d’arêtes consécutives de G reliant A à B , toutes les arêtes de la suite étant distinctes. La longueur d’un chemin simple entre A et B correspond à la somme des poids des arêtes constituant ce chemin. On note d (X) la longueur du chemin simple le plus court entre A et B . Dans ce projet, on souhaite estimer par des méthodes de Monte Carlo δ = P [X 1 + X 2 + X 3 ≥ t ] et p = P [d (X) ≥ t ] t ∈ R. Les estimateurs doivent être donnés explicitement dans le rapport et les intervalles de confiance seront donnés au niveau 95% Partie I – Estimation de δ 1. On suppose que X 1 + X 2 + X 3 est distribuée suivant une loi de Weibull de paramètre d’échelle λ = 1 et de paramètre de forme k = 2. Pour les applications numériques, on prendra t = 2. (a) Proposer une estimation δbn de δ par la méthode de Monte Carlo classique. (b) Proposer une estimation δbn (q 1 , . . . , q K ) de δ par la méthode de stratification avec allocation proportionnelle. (c) Comparer les performances de ces deux méthodes. 2. On suppose maintenant que X 1 , X 2 et X 3 sont indépendantes avec X 1 et X 2 distribuées suivant la loi 2 Projet Méthodes de Monte Carlo exponentielle de paramètre λ = 1 et X 3 distribuée suivant la loi de fonction de répartition µ ¶ t t 1 F (t ) = 1{t ∈[0,1[} + + 1{t ∈[1,2]} + 1{t >2} . 4 4 2 Pour les applications numériques, on prendra t = 1. (a) Proposer une estimation δbn de δ par la méthode de Monte Carlo classique. (b) Montrer que δ = E [1 − F (t − X 1 − X 2 )] = E [1 −G(t − X 3 )] où G est la fonction de répartition de la loi gamma Γ(2, 1). (c) En déduire de nouvelles méthodes d’estimation de δ. Commenter leurs performances. Partie II – Estimation de p On considère n réalisations X1 , . . . , Xn du vecteur des poids X supposés indépendants et distribués suivant des lois exponentielles de paramètres respectifs λ1 , . . . , λ5 . On notera f (x ; λ1 , . . . , λ5 ) la densité du vecteur X. Pour les applications numériques, on prend (λ1 , . . . , λ5 ) = (6, 7, 3, 2, 1) et t = 2. 1. Proposer une estimation pbn de p par la méthode de Monte Carlo classique. Echantillonage préférentiel. 2. (a) Monter qu’en choisissant pour loi d’importance g (x) = 1{d (x)≥t } f (x ; λ1 , . . . , λ5 ) p on obtient un estimateur d’échantillonnage préférentiel de p de variance nulle. (b) Proposer une méthode de simulation suivant la densité g . (c) Quelle limitation voyez-vous quant au choix de cette loi d’importance ? 3. Soient Y1 , . . . , Yn des variables aléatoires i.i.d. de densité g . (a) La quantité suivante converge-t-elle vers p, Pn k=1 1{d (Yk )≥t } w(Yk ) Pn k=1 w(Yk ) , avec w(Yk ) = f (Yk ; λ1 , . . . , λ5 ) g (Yk ) ? (b) Peut-on en déduire une méthode d’estimation de p ? Commenter. Dans la suite, on choisit comme loi d’importance, la densité du vecteur (Y1 , . . . , Y5 ) := Y tel que les variables Y1 , . . . , Y5 soient indépendantes et distribuées suivant les lois exponentielles de paramètres respectifs α1 , . . . , α5 . On la notera h(y ; α1 , . . . , α5 ). 4. Donner l’estimateur d’échantillonnage préférentiel pbn (α1 , . . . , α5 ) de p basé sur la loi d’importance h. 3 Projet Méthodes de Monte Carlo On souhaite choisir les paramètres α1 , . . . , α5 de la loi d’importance de sorte que ? (α? 1 , . . . , α5 ) = arg min Eg α1 ,...,α5 · ½ ln g (Z) h(Z ; α1 , . . . , α5 ) ¾¸ , où Eg est l’espérance par rapport à la densité g . 5. Soient α01 , . . . , α05 les valeurs choisies initialement par l’utilisateur. Montrer que " ? (α? 1 , . . . , α5 ) = arg max Eα0 ,...,α0 1{d (Y)≥t } α1 ,...,α5 5 1 f (Y ; λ1 , . . . , λ5 ) h(Y ; α01 , . . . , α05 ) # ln h(Y ; α1 , . . . , α5 ) , où Eα0 ,...,α0 est l’espérance par rapport à la densité h(·; α01 , . . . , α05 ). 1 5 6. Étant donné Yk = (Yk,1 , . . . , Yk,5 ), k = 1, . . . , n, variables aléatoires indépendantes identiquement dis? tribuées de densité h(· ; α01 , . . . , α05 ), en déduire que l’on peut estimer (α? 1 , . . . , α5 ) par n X b?j = α 1{d (Yk )≥t } 5 λ Y i ¡ © ª ¢ exp − λi − α0i Yk,i 0 i =1 αi k=1 n 5 λ X Y i 1{d (Yk )≥t } Yk, j 0 i =1 αi k=1 , j = 1, . . . , 5. ¡ © ª ¢ exp − λi − α0i Yk,i ? 7. Calculer pbn (α̂? 1 , . . . , α̂5 ) et l’intervalle de confiance au niveau 95% correspondant. Réduction de variance. Soient U1,1 , . . . ,U1,5 , . . . ,Un,1 , . . . ,Un,5 des variables aléatoires indépendantes et identiquement distribuées suivant la loi uniforme sur [0 , 1]. On pose, pour tout i = 1, . . . , n, µ 1 1 1 1 1 ρ(Ui ,1 , . . . ,Ui ,5 ) = min − ? lnUi ,1 − ? lnUi ,4 ; − ? lnUi ,1 − ? lnUi ,3 − ? lnUi ,5 ; α1 α4 α1 α3 α5 ¶ 1 1 1 1 1 − ? lnUi ,2 − ? lnUi ,5 ; − ? lnUi ,2 − ? lnUi ,3 − ? lnUi ,4 . α2 α5 α2 α3 α4 8. (a) Montrer que l’estimateur suivant converge presque-sûrement vers p : n Y 5 λ 1X λk /α? −1 k k 1{ρ(Ui ,1 ,...,Ui ,5 )≥t } ? Ui ,k n i =1 k=1 αk (b) En déduire à l’aide de la méthode des variables antithétiques un estimateur pbn(1) de p. ? (c) Comparez les performances de l’estimateur pbn(1) avec celles des estimateurs pbn et pbn (α̂? 1 , . . . , α̂5 ). 4