Les Modèles de Markov Cachés

1
1. INTRODUCTION
La notion de l’optimisation est un mécanisme par lequel on trouve la valeur Maximale ou
minimale d’une fonction objectif. Cette optimisation permet de résoudre différents problèmes
on utilise une méthode de résolution. Dans ce rapport on va donner une une approche
théorique sur la méthode classique,HMM (le modèle de markov caché).
2. LA CHAINE DE MARKOV :
Une chaîne de Markov est de manière générale un processus de Markov à temps discret et à
espace d'états discret. En mathématiques, un processus de Markov est un processus
stochastique (Le calcul classique des probabilités) possédant la propriété de Markov de
manière simplifiée, la prédiction du futur, sachant le présent, n'est pas rendue plus précise par
des éléments d'information supplémentaires concernant le passé ; toute l'information utile
pour la prédiction du futur est contenue dans l'état présent du processus. Les processus de
Markov portent le nom de leur découvreur, Andreï Markov.
2.1 HISTORIQUE :
Les chaînes de Markov sont inventées par Andreï Markov:( 2 juin 1856 - 20
juillet 1922 était un mathématicien russe), Ses travaux sur la théorie des
probabilités l'ont amené à mettre au point les chaînes de Markov qui l'ont rendu
célèbre. Il a publié les premiers résultats sur les chaînes de Markov à espace
d'états fini en 1906.
La théorie des modèles de Markov cachés a été développée dans les années 1960
et début 1970 par Baum, Eagon, Petrie, Soules et Weiss (Baum et Petrie, 1966;
Baum et Eagon 1967; Baum et al. 1970; Baum 1972), tandis que le nom de
«modèle de Markov caché» a été inventé par LP Neuwirth.
2.2 LES MODELES DE MARKOV A TEMPS DISCRETE :
2.2.1 Notions de base :
Un processus de Markov est un système à temps discret se trouvant à chaque
instant dans un état pris parmi N états distincts. Les transitions entre les états se
produisent entre deux instants discrets consécutifs, selon une certaine loi de
probabilité. Dans le cas de chaîne de Markov du premier ordre, les probabilités
de transition d’un état vers un autre ne dépendent que de l’état présent :
qt représentant l’état du système à l’instant t. Lorsque, en outre, ces probabilités
sont indépendantes du temps, les paramètres du modèle se réduisent aux
coefficients de transition suivants :

2
Lesquels obéissent aux contraintes habituelles des probabilités :
N.B : Modèle graphique = mariage entre la théorie des graphes et la théorie des
probabilités (graphe d’états et probabilités de transition). Diagramme d’états
d’un processus de Markov discret :
Ce processus stochastique peut être appelé modèle de Markov
observable, puisque chaque état correspond à un état physique observable du
système à chaque instant t. Un tel système peut se concevoir comme une
situation météorologique, changeant en des instants discrets, et présentant
différentes probabilités de transition d’un état du ciel à l’autre.
Exemple de Modèle de Markov discret :

3
Chaque séquence d’observations (constituée des temps successifs qu’il fait,
comme par exemple : (Ensoleillé, Nuageux, Pluvieux, Ensoleillé, E, N, P,E, …)
correspond à une suite d’états du modèle . La probabilité d’observer cette
séquence ENNPEENPP... se calcule selon :
Chaîne de Markov du premier ordre :
– l’état courant ne dépend que de l’état précédent :
P(st = S | sjt-1= S , si = St-2k ,…) = P(st = Sj | st-13 = Si ) = aij
Probabilité de transition entre l’état Si et l’état Sj
Les Modèles de Markov Cachés :
Soit l’expérience suivante : une personne dispose de trois urnes, numérotées de
1 à 3. Chacune de ces urnes contient des billes de quatre couleurs différentes, en
proportions diverses. A chaque instant, la personne prend une bille et en
annonce la couleur, mais ne dévoile pas le numéro de l’urne dont provient la
bille. La séquence d’observations est de la forme: rouge, bleu, jaune, jaune,
vert, …
Exemple de Modèle de Markov Caché à temps discret.

4
2.4.1 PARAMETRES D’UN MODELE DE MARKOV CACHE :
Les paramètres qui déterminent complètement un modèle de Markov caché sont
les suivants :
1. le nombre N d’états ;
2. le nombre M d’observations possibles, V={v}, k=1,2,…M étant l’alphabet
des symboles observables ;
3. la matrice A={aij} des probabilités de transition :
Ces paramètres contrôlant le processus stochastique caché ;
4. la matrice B={bj(k)}, des probabilités associées à chacune des observations
possibles vk , dans chacun des états j ;
Ces paramètres contrôlant la séquence d’observations ;
5. la probabilité initiale de chacun des N états, définies par : L’ensemble des
paramètres du modèle λ s’écrit alors :
L’ensemble des paramètres du modèle s’écrit alors :
2.4.2 LES TROIS PROBLEMES DE BASE :
La modélisation de processus réels par des modèles de Markov cachés nécessite
la résolution des trois problèmes de base suivants :
1. Etant donné un modèle λ(A,B,p) comment calculer la probabilité p(O|λ) d’une
séquence particulière d’observations O ={o1,o2,…,oT} ?
2. Etant donné un modèle λ(A,B,p) comment déterminer la séquence optimale
d’états Q={q1,q2,…,qT} qui a donné naissance à la séquence d’observations
O ={o1,o2,…,oT} ?
3. Etant donnée une séquence d’observations O ={o1,o2,…,o} comment ajuster
les paramètres du modèle λ(A,B,p) afin de maximiser la valeur de p(O|λ) ? Le
premier problème est celui de l’évaluation, qui consiste à déterminer, pour un

5
modèle et une séquence d’observations donnés, quelle est la probabilité que la
séquence observée ait été produite par le modèle. Cette évaluation permet de
mesurer la qualité avec laquelle un modèle donné représente une séquence
d’observations. Elle se montre donc particulièrement utile pour choisir, parmi
plusieurs modèles, celui qui correspond le mieux à cette séquence, c’est-à-dire
pour effectuer de la classification. Le deuxième problème est une tentative de
lever le voile recouvrant la partie cachée du modèle. Il consiste en effet en la
détermination de la séquence optimale d’états qui a donné lieu à la séquence
observée. Il peut avoir ou non une signification : si chaque état représente un
élément physique, par exemple une lettre de l’alphabet, l’estimation de la
séquence des états permettra d’identifier les lettres entrant dans la composition
d’un mot. Mais une telle interprétation physique des états du modèle n’est pas
toujours aussi aisée dans certaines applications. Le troisième problème est celui
de l’entraînement, consistant à adapter les paramètres du modèle de façon à
maximiser la probabilité de la séquence d’observations (rebaptisée alors
séquence d’entraînement) pour ce modèle.
3.4.3 RESOLUTION DES TROIS PROBLEMES DE BASE :
1) L’Evaluation :
T
La première solution qui vient à l’esprit consiste à calculer, pour l’ensemble des
chemins (séquences d’états) possibles, la probabilité de la séquence observée
étant donnés le modèle et la séquence d’états soit :
L’algorithme Forward/Backward :
La procédure dite “ Forward - Backward ” permet toutefois de réduire de
manière considérable la quantité de calcul nécessaire. L’algorithme “ Forward ”
introduit une nouvelle variable, appelée variable directe, et définie comme suit :
C’est la probabilité d’une séquence d’observations partielle Ot 1