TRPA2: Algorithme EM et apprentissage des param

TRPA2: Algorithme EM et apprentissage des
param`etres d’un GMM
R´eda Dehak
3 novembre 2009
Exercice 1 : Simulation d’une loi normale (utilisation de rand
et randn
A) Le but de cet exercice est d’´ecrire une fonction pour g´en´erer un ensemble de donn´ees en n
dimension suivant une loi normale de moyenne µet de matrice de variance covariance Σ. On
va proc´eder par ´etapes pour ´ecrire cette fonction :
1. Utiliser randn pour g´en´erer 1000 points en 1 dimension suivant la loi normale centr´ee
r´eduite. Afficher l’histogramme et v´erifier que c’est une gaussienne centr´ee r´eduite.
2. G´en´erer 1000 points en 1 dimension suivant une loi normale de moyenne 3 et de variance
4. V´erifier que la moyenne et l’´ecart type des donn´ees correspondent aux param`etres de
la gaussienne.
3. G´en´erer 1000 points en 2 dimension suivant une loi normale de moyenne µ= (3,−1)t
et de matrice de covariance Σ = 0.5 0
0 2. Afficher les points sur le plan et v´erifier que
c’est bien une gaussienne. V´erifier num´eriquement la moyenne et la matrice de variance
covariance des donn´ees.
4. G´en´erer 1000 points en 2 dimension suivant une loi normale de moyenne µ= (3,−1)t
et de matrice de covariance Σ = 1−0.5
−0.5 2 , afficher les points sur le plan et v´erifier
que c’est bien une gaussienne. V´erifier num´eriquement la moyenne et la matrice de
variance covariance des donn´ees.
B) Utiliser votre fonction de d´epart pour ´ecrire une fonction pour g´en´erer un GMM d’ordre K,
dont le vecteur de points est α, les vecteurs moyenne µ1, ..., µKet les matrice de variance
covariance Σ1, ..., ΣK.
Test : µ1= (−1,2)t,µ2= (1,2)tet µ3= (0,−1)t, Σ1=1 0
0 1, Σ2=2 0.5 0.5 1 et
Σ3=1−0.5
−0.5 1 
Exercice 2 : Algorithme EM
Pour cette exercice, on va ´ecrire un algorithme d’apprentissage qui permet d’apprendre les
param`etres d’un ensemble de donn´ees Xd´ecrivant un GMM d’ordre Ken dimension d.
A) Hypoth`ese : matrice de variance covariance diagonale
1. ´ Ecrire la fonction permettant d’apprendre les param`etres d’un GMM. Subdiviser votre
fonction en deux partie (E et M) afin de pouvoir faire facilement la suite.
1

2. Tester votre fonction sur un ´echantillon tir´e au sort en utilisant la fonction ´ecrite pr´ec´e-
demment. V´erifier que le log de vraissemblance des donn´ees d’apprentissage s’am´eliore
d’une it´eration `a l’autre. (vous pouvez tester visuellement votre algorithme en affichant
les centres des gaussiennes et leur matrice de covariance sous forme d’ellipse dans le
plan avec les donn´ees d’apprentissage)
Test : µ1= (−1,2)t,µ2= (1,2)tet µ3= (0,−1)t, Σ1=1 0
0 1, Σ2=2 0 0 1et
Σ3=1 0
0 2
3. Proposer et tester diff´erentes m´ethodes d’initialisation et ´etudier la convergence de
l’algorithme (vitesse et test d’arret).
4. Implementer les deux versions CEM et SEM vues en cours et comparer les algorithmes
avec la version classique.
B) Hypoth`ese : matrice de variance covariance pleine
1. Quel est le probl`eme de l’algorithme EM dans le cas des matrices pleine.
2. Essayer votre algorithme sur les donn´ees tests de l’exercice 1-question B.
2