CADRAL+ - Version 14.0.0

Mélanges de gaussiennes
distribués et incrémentaux
CRP Gabriel Lippmann, Luxembourg
Pierrick Bruneau
Plan

Introduction

Algorithme EM Variationnel Bayesien pour les GMM

Estimation automatique de la complexité

Apprentissage de GMM sur données distribuées

Extensions (réalisées et potentielles)

À propos du CRP Gabriel Lippmann
2
Introduction
3
Introduction
Contexte : clustering de données numériques
4
Introduction
Interprétation du mélange de gaussiennes
5
Introduction
Algorithme EM
Modèle de mélange
Avec
Maximum de vraisemblance d’un échantillon
Méthode itérative pour optimum local
Etape M :
6
Algorithme EM Variationnel Bayésien
pour les GMM
7
Algorithme EM variationnel Bayésien
Modèle :
8
Algorithme EM variationnel Bayésien

Objectif : A posteriori
 Compromis entre vraisemblance et a priori
 Déduction des a posteriori marginaux (e.g.

)
Mais : pas de forme analytique
 Recherche d’une solution approchée
9
Algorithme EM variationnel Bayésien
10
Algorithme EM variationnel Bayésien
11
Algorithme EM variationnel Bayésien
12
Algorithme EM variationnel Bayésien
13
Algorithme EM variationnel Bayésien

Résultat :
 Optimum local d’une approximation de l’a posteriori réel
 Utilisations possibles : best of N, ensemble, initialisation MCMC
(e.g. Gibbs, hybrid)
14
Estimation automatique de la complexité
15
Estimation automatique de la complexité
Stratégie EM

Estimation type BIC pour un K donné

Choix de K maximisant le critère
16
Estimation automatique de la complexité
Stratégie variationnelle “brute force”
 Initialisation avec K volontairement élevé

A priori sur
= Dirichlet avec
<1
 Réduction progressive et automatique du nombre de
composantes effectivement utilisées

Inconvénients :
 Définition d’une borne sup a priori de K
 Coût calculatoire
17
Estimation automatique de la complexité
Stratégie variationnelle “split and merge”

Initialisation avec K = 1 ou 2

À chaque convergence, tentative de split/merge de
composantes

Inconvénient :
 Plus compliqué à mettre en oeuvre
18
Apprentissage de GMM
sur données distribuées
19
Apprentissage de GMM sur données distribuées
20
Apprentissage de GMM sur données distribuées
Méthode Baseline
21
Apprentissage de GMM sur données distribuées
Approche étudiée

Utilisation d’échantillons virtuels
 Coût ne dépendant que du nombre de paramètres à traiter (i.e.
GMM à agréger)
 Bénéficier des possibilités offertes par les approches bayésiennes
variationnelles
22
Apprentissage de GMM sur données distribuées
23
Apprentissage de GMM sur données distribuées
24
Apprentissage de GMM sur données distribuées
25
Apprentissage de GMM sur données distribuées
26
Apprentissage de GMM sur données distribuées
27
Apprentissage de GMM sur données distribuées
28
Extensions (réalisées et potentielles)
29
Extensions (réalisées et potentielles)
30
Extensions (réalisées et potentielles)
31
Extensions (réalisées et potentielles)
32
Extensions (réalisées et potentielles)
33
Extensions (réalisées et potentielles)
34
Extensions (réalisées et potentielles)
35
Extensions (réalisées et potentielles)

Agrégation de mélanges d’ACP probabilistes
 Estimation conjointe
des composantes et
de leur sous-espace propre
 Estimation des complexités
associées
 Premiers résultats, mais trop de paramètres...
 Pistes de simplification
36
Extensions (réalisées et potentielles)

Traitements « online »

travaux théoriques sur l’adaptation online
des algorithmes variationnels
37
Extensions (réalisées et potentielles)

Implémentations pour les modèles discutés dans cette
présentation

Use case possible :
méthodes gossip
38
Extensions (réalisées et potentielles)

Package R “VBmix”
 http://cran.r-project.org/web/packages/VBmix/index.html
 unix-only (recours à GSL pour des implémentations efficaces)
 basé sur la stratégie “brute force”, essentiellement.
39
À propos du CRP Gabriel Lippmann
40
À propos du CRP Gabriel Lippmann

Environnement type
“Research and Technology Organization”
activités de “vraie” recherche…
 … mais importante vocation au transfert technologique


Participation à montages de projets européens
41
À propos du CRP Gabriel Lippmann
Département Informatique
42
Références
Bruneau, P., Gelgon, M., and Picarougne, F. (2010). Parsimonious
reduction of gaussian mixture models with a variational-bayes
approach. Pattern Recognition, pages 850–858.
Bruneau, P., Gelgon, M., and Picarougne, F. (2012). A low-cost
variational-bayes technique for merging mixtures of probabilistic
principal component analyzers. Information Fusion.
43
Bibliographie
Beal, M. J. (2003). Variational Algorithms for approximate inference.
PhD thesis, University of London.
Bishop, C. M. (2006). Pattern recognition and machine learning.
Springer.
Sato, M. (2001). Online model selection based on the variational
bayes. Neural Computation, 13(7):1649–1681.
Vasconcelos, N. (2001). Image indexing with mixture hierarchies.
Proceedings of IEEE Conference in Computer Vision and Pattern
Recognition, pages 3–10.
44