Algorithmes stochastiques
publicité
Marie Duflo Algorithmes stochastiques Springer TABLE DES MATIERES Chapitre 1. MODELES MARKOVIENS Tension et stabilité I. Introduction II. Stabilité de modèles linéaires II. 1. Convergence en loi sur un espace polonais II. 2. Rayon spectral II.3. Modèle autorégressif et fractale Exercices l.II III. Tension de modèles non linéaires III. 1. Martingale discrète 111.2. Borne supérieure des maxima 111.3. Contraction conditionnelle Exercices l.III IV. Chaînes de Markov stables IV. 1. Chaîne de Markov IV. 2. Probabilité invariante IV. 3. Chaîne de Markov stable IV. 4. Vitesse de convergence vers une loi stationnaire IV. 5. Récurrence Exercices l.IV V. Diffusions stables V.l. Mouvement Brownien V.2. Equation différentielle stochastique (EDS) V.3. Diffusion homogène V.4. Probabilité invariante d'une diffusion homogène V.5. Diffusion géométriquement récurrente Exercices l.V Références du chapitre 1 3 3 . 3 5 6 9 11 11 14 15 17 18 18 20 22 25 29 30 33 33 35 37 38 39 43 44 Chapitre 2. DES ALGORITHMES STOCHASTIQUES : POURQUOI ? COMMENT ? Exemples et outils de base I. De l'analyse numérique aux algorithmes stochastiques 1.1. Passages à un niveau et minima 1.2. Passage d'une fonction à un niveau fortement attractif 1.3. Minima d'un potentiel II. Premiers résultats déterministes de convergence II. 1. Théorème de Robbins-Siegmund déterministe 11.2. Algorithme déterministe à pas décroissant 11.3. Moyennisation de la perturbation Exercices 2. II III. Méthode de Robbins-Monro III. 1. Théorème de Robbins-Siegmund 111.2. Algorithme stochastique à pas décroissant 111.3. Méthode de Robbins-Monro Exercices 2. III 47 47 48 53 54 54 55 57. 58 59 59 60 61 63 Table des matières IV. Estimation et IV. 1. Estimateurs IV. 2. Estimateurs IV. 3. Estimateurs XI prédiction • du minimum de contraste récursifs du minimum de contraste approchés V. Neurones V.l. Des neurones humains aux réseaux logiques V.2. Utilisation du principe des sommes pondérées V.3. Apprentissage selon Kohonen Exercices 2.V Références du chapitre 2 64 64 65 67 73 73 74 77 80 81 Chapitre 3. CONVERGENCE D'ALGORITHMES A PAS DECROISSANTS Propriétés presque sûres - La méthode de l'EDO I. Introduction 1.1. Cadre étudié 1.2. Attraction, répulsion, cycle 1.3. Méthode de Lyapounov pour l'EDO 1.4. Flot et attracteur II. Critères de Lyapounov de stabilisation presque sûre II. 1. Un critère déterministe de Lyapounov II.2. Stabilisation d'un algorithme stochastique III. La méthode de l'équation différentielle ordinaire III. 1. Description de la méthode III. 2. Retour sur Robbins-Monro 111.3. Enchaînement des valeurs d'adhérence 111.4. Accompagnement de l'algorithme par l'EDO Exercices 3. III IV. Pièges IV. 1. Comment une excitation aléatoire évite les pièges IV. 2. Suite régressive IV. 3. Piège répulsif IV. 4. Piège régulier général IV. 5. Quelques pièges plus compliqués Exercices 3. IV V. Perturbation markovienne V.l. Petite perturbation markovienne V.2. Perturbation par une chaîne sur un espace fini V.3. Estimation d'un modèle de Gibbs paramétrique Références du chapitre 3 Chapitre 4. CIBLES ATTRACTIVES Vitesses de convergence 86 86 87 91 93 96 96 97 99 99 102 103 109 115 116 116 117 120 124 126 129 131 131 132 136 139 en loi - La méthode de l'EDS I. Tension , 1.1. Stabilisation d'une suite réelle 1.2. Pas réguliers 1.3. Critères de tension Exercice 4.1 II. La méthode de l'équation différentielle stochastique II. 1. Convergence en loi de processus continus 144 144 145 146 149 150 150 XII Table des matières 11.2. Méthode de l'EDS pour un algorithme fortement perturbé III. Vitesse de convergence vers une cible attractive III.l. Cible attractive presque régulière III. 2. Efficacité III.3. Moyennisation de l'algorithme Exercices 4. III Références du chapitre 4 151 160 160 165 168 171 173 Chapitre 5. VITESSES EN GRANDES DEVIATIONS Introduction I. Principe de grandes déviations 1.1. Taux et principes de grandes déviations 1.2. Grandes déviations pour des lois de Gibbs 1.3. Propriétés simples des grandes déviations . . 176 177 177 179 181 1.4. Fonctions de taux usuelles sur R 1.5. Fonctions de taux usuelles pour les processus cad-lag Exercices 5.1 II. Tension exponentielle II.l.' Critère de compacité en grandes déviations 183 186 189 191 191 H. 2. Grandes déviations sur R 11.3. Grandes déviations pour des processus continus II. 4. Grandes déviations pour des processus cad-lag II. 5. Principe de grande déviations uniformes III. Diffusions faiblement perturbées 111.1. Mouvement Brownien 111.2. Diffusions à petites perturbations IV. Grandes déviations pour des algorithmes IV. 1. PGD pour une suite régressive IV. 2. PGD pour un algorithme à pas fixe ou décroissant IV. 3. Convergence vers un attracteur asymptotiquement stable Exercices 5. IV Références du chapitre 5 197 198 202 206 208 208 208 215 215 219 223 225 227 Chapitre 6. RECUIT SIMULE SUR UN ESPACE FINI I. Algorithmes markoviens et recuit sur un espace fini 1.1. Loi de Gibbs 1.2. Chaînes de Markov avec effet moyen de Gibbs 1.3. Machine de Boltzmann 1.4. Algorithmes génétiques Exercices 6.1 II. Etude précise des chaînes de Markov sur un espace fini 11.1. Algèbre linéaire et chaînes de Markov 11.2. Graphes et chaînes de Markov 11.3. Distances entre probabilités II. 4. Chaîne de Markov récurrente réversible 11.4. Chaînes réversibles associées à une chaîne récurrente Exercices 6. II III. Famille exponentielle de chaînes de Markov III.l. Famille exponentielle irréductible 231 231 233 237 241 244 246 246 247 249 250 253 254 255 255 Table des matières III. 2. Famille exponentielle réversible ou réversibilisée III.3. Exemples Exercices 6.III IV. Recuit simulé IV. 1. Présentation IV. 2. Recuit simulé par étapes IV.3. Modèle markovien exponentiel à paramètre croissant Exercices 6.IV Références du chapitre 6 XIII 258 262 263 264 264 267 268 271 272 CHAPITRE 7. RECUIT SIMULE VECTORIEL I. Algorithme vectoriel markovien Exercices 7.1. II. Diffusion du gradient II.l. Potentiel et loi de Gibbs II. 2. Diffusion à grande dérive II.3. Grandes déviations pour l'EDS du gradient à petite perturbation III. Recuit simulé en temps continu III.l. Diffusion du gradient à perturbation lentement décroissante III. 2. Tension 111.3. Diffusion de dérive lentement croissante 111.4. Gradient stochastique avec recuit 111.5. Vitesse de convergence en loi du recuit simulé Exercice 7. III IV. Algorithme du gradient avec recuit (temps discret) Exercices 7. IV Références du chapitre 7 277 279 280 280 282 282 287 287 289 290 292 295 300 301 308 309 NOTATIONS ET CONVENTIONS 311 INDEX 313
