METHODES NUMERIQUES PAR CHAÎNES DE MARKOV

METHODES NUMERIQUES
PARCHAÎNES DEMARKOV
XavierGUYON
UniversitéParis1et
Universidad deLosAndes
Ecoled’étédeMathématiques
Mérida,Venezuela
Septembre1999

2

Tabledesmatières
1ChaînesdeMarkovànombre…nid’états7
1.1ChaînedeMarkov................................... 7
1.1.1Dé…nitionsetnotationsdebase........................ 7
1.1.2Loi invariante etErgodicité.......................... 8
1.1.3Chaîneirréductible:existence etunicitédelaloi invariante. . . . . . . . 8
1.1.4LeThéorèmedePerron-Frobénius...................... 9
1.2Résultatsd’ergodicité................................. 10
1.2.1Utilisation du théorèmedeFrobénius..................... 10
1.2.2Lemmede contraction pourP........................ 11
1.2.3Ergodicité etcouplagede chaînedeMarkov................. 11
1.3Réversibilité etmesureinvariante........................... 13
1.4Ergodicitépourun espace d’étatgénéral....................... 13
1.4.1Espace d’étatdiscret.............................. 13
1.4.2Espace d’étatgénéral ............................. 14
1.5Exercices........................................ 14
2Simulation parChaînedeMarkov19
2.1Leproblème etlaméthode.............................. 19
2.2L’échantillonneurdeGibbs.............................. 20
2.2.1EchantillonneurdeGibbs........................... 21
2.2.2EchantillonneurdeGibbsàbalayagealéatoire................ 23
2.2.3Echantillonneuravec balayages synchrones.................. 23
2.2.4EchantillonneurdeGibbs surE=Rn(ou(Rd)n).............. 24
2.3LadynamiquedeMetropolis-Hastings........................ 25
2.3.1Construction delatransition deM.H. .................... 25
2.3.2¼-réversibilitédeM.H.etergodicité..................... 26
2.3.3Exemples.................................... 27
2.3.4Quelquesrésultatsgénérauxsurlestransitions¼-réversibles. . . . . . . . 29
2.3.5Comparaison dedi¤érentesdynamiquesdeM.H. .............. 30
2.3.6AlgorithmedeM.H.pourun espace d’étatgénéral [98] . . . . . . . . . . . 32
2.4Exercices........................................ 35
3Chaîneinhomogène etrecuitsimulé41
3.1Coe¢cientde contraction deDobrushin....................... 41
3.1.1Préliminaires.................................. 41
3.1.2Coe¢cientde contractionetergodicités................... 42
3.2Optimisation par recuitsimulé............................ 47
3.2.1RecuitsimulépourladynamiquedeGibbs................. 48
3

4TABLEDESMATIÈRES
3.2.2RecuitsimulépourladynamiquedeMetropolis............... 50
3.3Simulationetoptimisationsouscontraintes..................... 53
3.3.1Simulationetoptimisationsouscontraintepourladynamiquedel’échan-
tillonneurdeGibbs............................... 53
3.3.2SimulationetoptimisationsouscontraintepourladynamiquedeMetropolis55
3.4Exercices........................................ 55
4Champ deMarkovetproblèmesinverses63
4.1ModèledeGibbsetchamp deMarkov........................ 63
4.1.1ModèledeGibbs................................ 63
4.1.2Spéci…cationconditionnelle etpropriétédeMarkov............. 64
4.1.3Champ deMarkovetchamp deGibbs.................... 64
4.1.4Exemples.................................... 65
4.2ProcessusponctuelsdeGibbs............................. 68
4.2.1PropriétésdeMarkov............................. 69
4.2.2Unexemple: leprocessusd’interaction d’aires............... 70
4.3Modélisation deGibbsetproblèmesinverses..................... 70
4.3.1Formation del’image etreconstruction bayésienne............. 71
4.4Quelquesexemples................................... 72
4.4.1Caractèremarkovien delaloiaposterioriP(xjy)............. 72
4.4.2Segmentation d’image............................. 73
4.4.3Détection derupturesdansun signal..................... 74
4.4.4Reconnaissance d’objet............................ 74
4.5Exercices........................................ 75
5Diagnosticdeconvergenced’unechaîne79
5.1PhénomènedeCuto¤et testd’arrêtd’une chaîne.................. 80
5.1.1Convergence abruptepourune chaîne.................... 80
5.1.2Exemple2(suite):tempsdefusionetrègled’arrêt[110].......... 83
5.2Simulationexacteparcouplagedepuislepassé................... 84
5.2.1Couplagedepuislepassé............................ 84
5.2.2Un uniquegermepourdé…nirS¡t=ff¡t(i);i2Ig............. 86
5.2.3AlgorithmedeMonte-Carlomonotone.................... 86
5.3Exercices........................................ 89

TABLEDESMATIÈRES5
Introduction
LesméthodesdeMonteCarloutilisentlasimulation devariablesaléatoiresdanslebut
derésoudreun problèmenumérique.Leurdéveloppement tientàlafoisauxcapacitéscroissantes
de calcul informatique etàleurfacilitéd’adaptationàdetrèsnombreuxcontextes.Le champ
desapplicationsestvaste:statistique,analysenumérique,optimisation,résolution deproblèmes
inverses,d’équationsdi¤érentielles,etc......
L’opération debase estlasimulation d’uneloi¼dé…niesurun espace d’étatE.Si
l’espace Eestcomplexe,parexemple…nimaisdegrand cardinal, lesméthodesdesimulation
classiquesnefonctionnentpas.Unealternative estde construireune chaînedeMarkovergodique
detransitionPetdeloi invariante¼.Alors,pourngrand etºuneloi initiale,onretiendraºPn
commeréalisationapproximativede¼.L’étudede cesméthodes,deleursvariantesetdeleurs
applicationsestl’objetde ce cours.L’articledesfrèresGeman(IEEE-PAMI,1984)ainitiéles
développementsthéoriquesautantqu’appliqués surlesujet.
Le chapitre1résumelesrésultatsdebasesurleschaînesdeMarkovànombre…ni
d’états.Lesdeuxprincipalesméthodesdesimulations sontensuiteprésentéesauchapitre2:(i)
l’échantillonneurdeGibbs,applicablesi l’espace d’étataunestructure exponentielle(E=FS);
(ii)lasimulation pardynamiquedeMetropolis.Danscesdeuxcas, leschaînesconsidérées sont
homogènes,c’est-à-direàtransitionconstantedansletemps.
Unproblèmed’optimisation,“minimiserlafonctionU:E!R+”,peutêtreinterprété
commeleproblèmedesimulationsuivant:“simuler¼1;laloiuniformesurl’ensembleE0où
Uatteintsonminimum”.Pource faire,on peutconstruireunesuitedetransitions(PT(n))n¸0,
dépendantd’un paramètreT(n);ditdetempérature,tellequelachaînedeMarkovinhomogène
convergevers¼1.C’estl’algorithmedeRecuitSimuléquenousprésenteronsauchapitre3.Au
préalable,onétabliradi¤érentsrésultatsd’ergodicitéd’une chaîneinhomogène.
Le chapitre4présentedesapplicationsàlarésolutiondeproblèmesinverses:onveut
reconstruire(…ltrer)un objetx2Eauvu d’uneobservationy=©(x;M).Mestun modèle
debruitage et©traduitleprocessusdeformation del’observationy.Pourcela,onvamunir
Ed’unestructurede champ deMarkova…n detraduirelesinformationsaprioriquel’expert
asurl’objetx.Couplée avec lasimulationet/oul’optimisation,cetteinformation permetune
reconstructionalgorithmique e¢cace dex.
Laquestioncentraledanslasimulation parchaînedeMarkovestlasuivante:“quand
faut-il arrêterlachaînepourêtreassréqueºPnestprochede¼?”.Nousprésentonsauchapitre
5deuxapprochespermettantderépondreàcettequestion.L’une, liée àl’étudedu phénomène
deconvergence abrupte(cuto¤)d’une chaînedeMarkov,permetdeproposerunerègled’arrêt
assurantquelachaîne estbienentrée dans sonrégimestationnaire(B.Ycart).L’autre estla
simulationexacteparcouplage depuislepassé(CouplingFromThePast,CFTP).L’idée,simple
et trèsnovatrice,revientàPropp etWilson(1996): l’algorithmetestautomatiquementquand il
doits’arrêter,produisantun échantillonsansbiaisde¼.Cetteapprocheafortementredynamisé
lesrecherches surlasimulation.
Leslivresderéférences surces sujets sontnombreux:surlesaspectsthéoriques,on peut
citerM.Du‡o(1997),S.Geman(St.Flour,1990),X.Guyon(1995),G.Winkler(1995);etsur
lesapplications,AartsetKorst (1989),S.Li(1995),B.Chalmond (2000)etB.Ycart (1997).