Estimation de mélange de Gaussiennes sur données

Estimation de m´elange de Gaussiennes sur donn´ees
compress´ees
Anthony Bourrier, R´emi Gribonval, Patrick P´erez
To cite this version:
Anthony Bourrier, R´emi Gribonval, Patrick P´erez. Estimation de m´elange de Gaussiennes sur
donn´ees compress´ees. 24`eme Colloque Gretsi, Sep 2013, France. pp.191, 2013.
HAL Id: hal-00839579
https://hal.archives-ouvertes.fr/hal-00839579
Submitted on 28 Jun 2013
HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.
L’archive ouverte pluridisciplinaire HAL, est
destin´ee au d´epˆot et `a la diffusion de documents
scientifiques de niveau recherche, publi´es ou non,
´emanant des ´etablissements d’enseignement et de
recherche fran¸cais ou ´etrangers, des laboratoires
publics ou priv´es.

Estimation de m´ elange de Gaussiennes sur donn´ ees compress´ ees
Anthony BOURRIER12, R´ emi GRIBONVAL2, Patrick P ´ EREZ1
1Technicolor
975 Avenue des Champs Blancs, 35576 Cesson-S´ evign´ e, France
2INRIA Rennes-Bretagne Atlantique
Campus de Beaulieu, 35042 Rennes, France
[email protected], [email protected],
[email protected]
R´ esum´ e – Estimer les param` etres d’un m´ elange de densit´ es ` a partir d’un ensemble de vecteurs requiert typiquement une utilisation de m´ emoire
d’autant plus importante que les donn´ ees sont volumineuses. Nous proposons ici un cadre dans lequel les donn´ ees sont collectivement com-
press´ ees en une repr´ esentation de taille fixe, appel´ ee sketch, repr´ esentant des moments empiriques calcul´ es sur les donn´ ees. Par analogie
avec un probl` eme de compressive sensing, nous proposons un algorithme d’estimation des param` etres ` a partir du sketch. Nous montrons
exp´ erimentalement que l’algorithme permet une estimation pr´ ecise des param` etres tout en consommant moins de m´ emoire qu’un algorithme
EM dans le cas de donn´ ees nombreuses. Il permet ´ egalement une estimation sans acc` es aux donn´ ees dans le cas o` u celles-ci sont confidentielles.
Abstract – Estimating a probability mixture model from a set of vectors typically requires a large amount of memory if the data is voluminous.
We propose a framework where the data is jointly compressed to a fixed-size representation called sketch, composed of empirical moments
calculated from the data. By analogy with compressive sensing, we derive a parameter estimation algorithm from the sketch. We experimentally
show that our algorithm allows precise estimation while consuming less memory than an EM algorithm for voluminous data. The algorithm also
provides a privacy-preserving estimation tool since the sketch does not disclose information about individual datum it is based on.
1 Introduction
L’exploitation d’une collection de donn´ ees pour des tˆ aches
d’apprentissage fait souvent intervenir une ´ etape d’approxima-
tion du nuage de points consid´ er´ e par un mod` ele probabiliste de
m´ elange de densit´ es pouvant servir plusieurs fins diff´ erentes.
Pour estimer les param` etres du m´ elange, les m´ ethodes clas-
siques consistent en une optimisation de fonction de coˆ ut et re-
qui` erent souvent de nombreux acc` es m´ emoire aux donn´ ees de
d´ epart. Dans le cas o` u les donn´ ees sont nombreuses, l’ensem-
ble de d´ epart est ainsi g´ en´ eralement sous-´ echantillonn´ e afin de
se conformer aux limitations des ressources informatiques di-
sponibles pour ex´ ecuter l’algorithme.
Nous proposons ici de calculer un sketch des donn´ ees ini-
tiales, que nous d´ efinissons comme une concat´ enation de mo-
ments empiriques al´ eatoires calcul´ es sur les donn´ ees en une
passe. Ce genre de repr´ esentation est classique dans le domaine
du traitement de bases de donn´ ees [7]. Nous cherchons ` a esti-
mer, ` a partir de cette forme compress´ ee, les param` etres d’un
m´ elange sans retourner aux donn´ ees de d´ epart. Cela permet
ainsi une ´ economie de m´ emoire dans le cas o` u celles-ci sont
nombreuses. La motivation de l’approche peut ˆ etre rapproch´ ee
de celle du compressed learning [11]. L’id´ ee g´ en´ erale est il-
lustr´ ee en Figure 1. Une liste de travaux li´ es exploitant des
repr´ esentations similaires est revue en Section 2.
Pour estimer les param` etres, la d´ emarche adopt´ ee est la re-
nx1. . . xN
Vecteurs
d’apprentissage
ˆ
A
=⇒mˆ
y
Sketch
L
=⇒Kθ
Param`etres
FIG. 1: Illustration de la m´ ethode propos´ ee. L’ensemble d’ap-
prentissage est compress´ e en un sketch ˆ ypar un op´ erateur ˆ A
et les param` etres θdu m´ elange sont estim´ es par un algorithme
d’apprentissage Lexploitant uniquement le sketch. Intuitive-
ment, on doit avoir K≤mpour que l’estimation soit possible
et mNn pour b´ en´ eficier d’une r´ eduction effective du vo-
lume de donn´ ees ` a traiter.
cherche de m´ elanges ayant un sketch similaire ` a celui calcul´ e
sur les donn´ ees. Ce probl` eme, d´ efini en Section 3 dans le ca-
dre de l’estimation d’un m´ elange de Gaussiennes, est analogue
`
a celui d’un probl` eme inverse et le calcul des moments em-
piriques al´ eatoires s’apparente ` a une projection al´ eatoire de la
densit´ e sous-jacente, inspir´ ee du compressed sensing [8]. Nous
proposons en Section 4 un algorithme inspir´ e de l’Iterative
Hard Thresholding (IHT) [2] pour le r´ esoudre. En Section 5,

nous testons exp´ erimentalement cet algorithme pour estimer
des m´ elanges en dimension 20 et comparons notre approche
avec un algorithme EM classique en terme de qualit´ e de l’ap-
proximation et de coˆ ut m´ emoire.
2 Travaux li´ es
Des algorithmes utilisant des sketchs apparaissent dans la
litt´ erature des bases de donn´ ees [9, 7]. Dans ce cas, un sketch
peut ˆ etre mis ` a jour ` a chaque ajout ou suppression d’´ el´ ement
de la base de donn´ ees sans reconsid´ erer toute la base. Une ap-
plication usuelle est la recherche de motifs r´ ecurrents d’un flux
de donn´ ees [6].
L’estimation d’histogramme ` a partir d’un sketch a´ et´ e ex-
plor´ ee [13] dans le cas des vecteurs de petite dimension (2et
3). Le sketch est une projection lin´ eaire al´ eatoire accumul´ ee des
vecteurs. Cette m´ ethode ne s’applique pas aux grandes dimen-
sions, la construction de l’histogramme ` a partir du sketch ayant
une complexit´ e exponentielle en la dimension.
Des probl` emes inverses sur des m´ elanges de densit´ es ont
´
egalement ´ et´ e consid´ er´ es [5, 1]. Les deux travaux proposent, ` a
partir de donn´ ees tir´ ees selon le m´ elange de densit´ es, de formu-
ler le probl` eme de reconstruction comme l’optimisation d’une
fonctionnelle favorisant la parcimonie des poids du m´ elange.
Les deux m´ ethodes requi` erent que l’ensemble des densit´ es de
probabilit´ e soit fini et que cet ensemble soit incoh´ erent. Ces
hypoth` eses ne sont pas v´ erifi´ ees dans notre cas : les centres des
Gaussiennes peuvent varier de fac¸on continue et peuvent ˆ etre
arbitrairement proches les uns des autres.
Dans [12], une repr´ esentation compress´ ee de lois de proba-
bilit´ es sur des vecteurs binaires est ´ etudi´ ee. La compression
est effectu´ ee en mesurant la distribution de probabilit´ e sous-
jacente via des perceptrons al´ eatoires. L’auteur prouve que la
repr´ esentation compress´ ee conserve assez d’information pour
pouvoir reconstruire la distribution initiale via une minimisa-
tion `1. Nous nous plac¸ons dans un cadre diff´ erent dans lequel
les donn´ ees peuvent prendre des valeurs continues.
3 D´ efinition du probl` eme
Soit F⊂L1(Rn)un ensemble de densit´ es de probabilit´ e,
i.e. ∀f∈F, f est positive et ||f||1=RRnf(x)dx= 1.
Soit X={x1,...,xN} ⊂ Rnun ensemble de vecteurs
ind´ ependants tir´ es selon le m´ elange p=Pk
s=1 αsfs, avec
∀s, fs∈F,αs≥0et Pk
s=1 αs= 1. On cherche `
a inf´ erer
αset fs` a partir de X.
On consid` ere le cas o` uFest une famille de Gaussiennes
isotropes dont la matrice de covariance est de la forme σ2Id,
o` uσ > 0:
F=fµ:x7→ 1
(2π)n
2σnexp kx−µk2
2
2σ2,µ∈Rn.
(1)
Etant donn´ ees mfr´ equences ω1,...,ωm∈Rn, l’op´ erateur
de sketch Aest d´ efini comme :
A:L1(Rn)→Cm, q 7→ (h1(q), . . . , hm(q)) ,(2)
o` uhj(q) = RRnq(x)e−ihx,ωjidxet h., .iest le produit scalaire
canonique de Rn. Le sketch d’un m´ elange qde densit´ es est
ainsi obtenu en ´ echantillonnant la fonction caract´ eristique de q
en mpoints. Les donn´ ees empiriques Xpermettent de calculer
une approximation ˆ yde la quantit´ eAppar la formule ˆ y=
ˆ
h1(X),...,ˆ hm(X), o` u :
ˆ
hj(X) = 1
N
N
X
i=1
e−ihxi,ωji.(3)
La reconstruction de pcomme un m´ elange de kfonctions de
Fpeut ˆ etre exprim´ ee comme la minimisation du coˆ ut suivant :
ˆp=argmin
q∈Σk
kˆ y− Aqk2
2,(4)
o` uΣk:= {f=Pk
s=1 αsfs|∀s, fs∈F∧αs≥0}. Il est `
a
noter que nous ne contraignons pas les αs` a sommer ` a1, ce qui
n’est pas pr´ ejudiciable ` a la qualit´ e de la reconstruction pour les
cas exp´ erimentaux ´ etudi´ es ci-apr` es.
Ce probl` eme de reconstruction rappelle un probl` eme de com-
pressed sensing, o` u l’on cherche ` a reconstruire un signal di-
scret xparcimonieux dans une certaine base ` a partir d’un nom-
bre restreint de ses images par des formes lin´ eaires souvent
al´ eatoires. Ici, la dimension ambiante est inifinie et l’on sup-
pose que le vecteur est parcimonieux dans un ensemble in-
fini et tr` es coh´ erent, i.e. compos´ e de vecteurs qui peuvent ˆ etre
tr` es corr´ el´ es (ce qui arrive pour deux Gaussiennes lorsque leurs
centres sont proches).
4 Algorithme
Pour r´ esoudre le probl` eme 4, nous proposons un algorithme
similaire ` a l’Iterative Hard Thresholding (IHT) [2], qui vise ` a
r´ esoudre le mˆ eme probl` eme dans le cas o` u le support est fini.
Son principe est r´ esum´ e ci-dessous.
4.1 Cas discret
L’IHT vise ` a reconstruire un signal xk-parcimonieux de di-
mension n` a partir de mmesures d´ efinies par ˆ y=Ax +e,
o` uAest une matrice de taille m×n(avec m < n) et eest
un bruit de mesure. ` A chaque it´ eration, l’estimation ˆ xde xest
mise ` a jour en diminuant la fonction objectif suivante :
Φ : z7→ 1
2kˆ
y−Azk2
2,(5)
tout en s’assurant de la k-parcimonie de ˆ x. La proc´ edure est
accomplie en deux ´ etapes :
1. Une descente de gradient est effectu´ ee sur Φet ˆ xest mis
`
a jour selon ˆ x←ˆ x−λg, o` uλest un pas de descente et
gest le gradient courant de Φ.

2. ˆ xest projet´ e sur l’ensemble des vecteurs k-parcimonieux :
ceci est effectu´ e en appliquant sur ˆ xun seuillage Hkqui
ne conserve que les kplus grands coefficients (en magni-
tude) du vecteur et fixe les autres ` a0.
4.2 Cas continu
Ici, le ”signal” ` a reconstruire est le m´ elange de densit´ es pet
l’estimation ˆp=Pk
s=1 ˆαsfˆ
µsest param´
etr´ ee par un vecteur
ˆ
αde poids positifs et par le support ˆ Γ = {ˆ µ1,...,ˆ µk}corre-
spondant aux moyennes des Gaussiennes. Le r´ esidu courant est
d´ efini par ˆ r=ˆ y− Aˆp, o` uˆ yjoue le rˆ ole de la mesure bruit´ ee,
analogue au cas pr´ ec´ edent.
Les diff´ erences de cadre d’application avec l’IHT requi` erent
une modification de la proc´ edure. La principale diff´ erence dans
notre cas est que le gradient n’est pas de dimension finie mais
index´ e continˆ ument sur Rn. Il est d´ efini par la fonction sui-
vante :
gˆp(µ) = ∂
∂t
1
2kˆ
y− A(ˆp+tfµ)k2
2t=0
=−hAfµ,ˆ ri.(6)
Cette fonction repr´ esente la variation infinit´ esimale de la fo-
nction de coˆ ut (4) lorsque fµest ajout´ ee au support courant.
Contrairement ` a l’IHT, on ne peut pas ajouter temporairement
tous les vecteurs du support ` a l’estimation courante, on doit
donc en choisir un nombre fini qui constituent de ”bons can-
didats”. Il s’agit de minima locaux de la quantit´ e (6). L’´ etape
de seuillage consiste ensuite en une projection du sketch ˆ ysur
les Afµ, o` uµest un param` etre du support courant. Enfin, une
´
etape de descente de gradient est effectu´ ee sur la fonction ob-
jectif avec une initialisation sur les param` etres courants. Une
it´ eration de notre algorithme comprend ainsi trois phases :
1. Mminima locaux de la fonction µ7→ gˆp(µ)sont re-
cherch´ es ` a l’aide d’une descente de gradient initialis´ ee
al´ eatoirement. Ces minima ν1,...,νMsont ajout´ es au
support courant : ˆ Γ0←ˆ Γ∪ {ν1,...,νM}.
2. Le sketch ˆ yest projet´ e sur ce support avec une contrainte
de positivit´ e sur les coefficients. Si ˆ Γ0={u1,...,uK},
on calcule ainsi ˆ α0solution du probl` eme :
argmin
β∈RK
+
||ˆ y−Uβ||2,(7)
avec U= [u1,...,uK].
Seuls les kplus grands coefficients et les vecteurs corre-
spondants du support sont gard´ es et respectivement con-
sign´ es dans le vecteur ˆ αet le support ˆ Γ = {ˆ µ1,...,ˆ µk}.
3. Un algorithme de descente de gradient est appliqu´ e sur
la fonction objectif afin de mettre ` a jour les poids et les
vecteurs du support tout en r´ eduisant le fonction de coˆ ut.
On cherche donc un minimum local de la fonction :
Rk×(Rn)k→R+
(β,ν1,...,νk)7→ kˆ z−[Afν1,...,Afνk]βk2,
avec une initialisation ` a(ˆ α,ˆ µ1,...,ˆ µk).
Les param` etres de l’algorithme sont donc le nombre Mde
minima locaux ` a chercher, le nombre kde composantes du
m´ elange, et le nombre niter d’it´ erations ` a effectuer. Une de-
scription plus d´ etaill´ ee de l’algorithme est disponible dans [4].
4.3 Estimation de la m´ emoire utilis´ ee
Consid´ erons que n,ket msont largement sup´ erieurs ` a1. Si
l’on suppose que les algorithmes d’optimisation n’utilisent que
des d´ eriv´ ees d’ordre 1, leurs coˆ uts m´ emoire sont en O(kn).
Le calcul de la fonction de coˆ ut de l’´ etape 3de l’algorithme
requiert O(km). Enfin, le stockage de l’op´ erateur A(via les
fr´ equences ωj) requiert O(mn).
Ainsi, la m´ emoire totale requise est en O((k+n)m+kn)
et ne d´ epend pas du nombre Nde vecteurs. En comparaison, la
m´ emoire requise pour un algorithme EM est en O((k+n)N)
pour stocker ` a la fois les vecteurs d’apprentissage et leurs pro-
babilit´ es d’appartenir ` a chaque composante du m´ elange. L’al-
gorithme compress´ e permet des gains en m´ emoire d` es que m+
kn
k+n.N. Puisque kn .m, cette condition est approximati-
vement ´ equivalente ` am.N.
5 Exp´ eriences
5.1 Cadre exp´ erimental
Pour ´ evaluer l’algorithme, des exp´ eriences ont ´ et´ e effectu´ ees
sur des vecteurs tir´ es selon un m´ elange de kGaussiennes iso-
tropes de covariance Id. Dans chaque cas, les poids des Gaus-
siennes ont ´ et´ e tir´ es uniform´ ement sur le simplexe 1, et les mo-
yennes ont ´ et´ e obtenues en tirant des vecteurs Gaussiens dont
tous les coefficients ´ etaient tir´ es selon une loi N(0,1).
Les exp´ eriences ont ´ et´ e effectu´ ees de la fac¸on suivante : apr` es
le choix du m´ elange p,Nvecteurs ont ´ et´ e tir´ es selon cette loi
et le sketch empirique de la distribution a ´ et´ e calcul´ e en un pas-
sage sur les donn´ ees. L’algorithme de reconstruction a ensuite
´
et´ e appliqu´ e au sketch pour obtenir un m´ elange approch´ eˆp.
Pour l’algorithme de reconstruction, nous avons fix´ eM= 2k.
5.2 Mesures de qualit´ e
Deux mesures de divergence ont ´ et´ e utilis´ ees pour mesurer
la proximit´ e entre le vrai m´ elange et le m´ elange estim´ e : une
version sym´ etris´ ee de la divergence de Kullback-Leibler (KL)
et la distance de Hellinger. Ces deux mesures sont estim´ ees em-
piriquement en tirant N0= 105vecteurs (yi)N0
i=1 selon p. Les
estimations sont alors respectivement donn´ ees par les quantit´ es
1
N0PN0
i=1 hln p(yi)
ˆp(yi)+ˆp(yi) p(yi)ln ˆp(yi) p(yi)i pour la divergence
KL et par 1−1
N0PN0
i=1 qˆp(yi)
p(yi)pour la distance de Hellinger.
La divergence KL peut prendre des valeurs dans R+, la dista-
nce de Hellinger dans [0,1]. Dans les deux cas, la valeur est
d’autant plus faible que les distributions sont proches.
1. Nous avons ´ egalement fait des exp´ eriences avec des poids tous ´ egaux ` a
1
ken observant des r´
esultats similaires.

NCompress´
e
Div. KL Hell. M´ em.
1030.68 ±0.28 0.06 ±0.01 0.6
1040.24 ±0.31 0.02 ±0.02 0.6
1050.13 ±0.15 0.01 ±0.02 0.6
NEM
Div. KL Hell. M´ em.
1030.68 ±0.44 0.07 ±0.03 0.24
1040.19 ±0.21 0.01 ±0.02 2.4
1050.13 ±0.21 0.01 ±0.02 24
TAB. 1: Comparaison entre l’algorithme compress´ e propos´ e et
un algorithme EM en termes de pr´ ecision de l’estimation et
d’utilisation de la m´ emoire (en M´ egaoctets). Les exp´ eriences
ont ´
et´ e effectu´ ees avec n= 20,k= 10,m= 1000. Dans cha-
que cellule, la valeur affich´ ee est la m´ ediane sur 10 exp´ eriences
ainsi que l’´ ecart-type pour la mesure de pr´ ecision consid´ er´ ee.
5.3 R´ esultats
La Table 1 compare notre algorithme avec un algorithme EM
standard pour n= 20,k= 10,m= 1000 et un nombre
Nde vecteurs d’apprentissage allant de 103` a105. Dans les
deux cas, la pr´ ecision de l’estimation augmente avec le nom-
bre d’´ echantillons. Dans le cas de l’algorithme compress´ e, cela
peut s’expliquer par le fait que les composantes du sketch sont
mieux estim´ ees avec plus de vecteurs. Nous pouvons remar-
quer que la m´ emoire requise par l’algorithme EM est propor-
tionnelle ` a la taille de l’ensemble d’apprentissage, alors que la
m´ emoire requise par l’algorithme compress´ e ne d´ epend pas de
ce param` etre, ce qui aboutit ` a un gain substantiel de m´ emoire
utilis´ ee pour N≥104. Mˆ eme avec ce coˆ ut m´ emoire r´ eduit,
l’algorithme compress´ e est capable de reconstruire le m´ elange
avec une pr´ ecision comparable ` a celle de l’algorithme EM.
6 Conclusion
Nous avons propos´ e une m´ ethode d’estimation de m´ elange
de densit´ es exploitant un sketch des donn´ ees au lieu des donn´ ees
elles-mˆ emes. Ce sketch est calculable en un passage sur les
donn´ ees, qui peuvent ˆ etre supprim´ ees directement, permettant
un gain de m´ emoire utilis´ ee et une confidentialit´ e des donn´ ees
pr´ eserv´ ee. Nous avons instanti´ e cette m´ ethode sur un probl` eme
d’estimation de m´ elange de Gaussiennes isotropes en d´ erivant
un alorithme par analogie avec l’IHT. Exp´ erimentalement, nous
avons montr´ e que cet algorithme permet une reconstruction de
pr´ ecision comparable ` a celle de l’EM standard tout en utilisant
sensiblement moins de m´ emoire lors de l’estimation dans le cas
de donn´ ees nombreuses.
Ces r´ esultats laissent ` a penser que le compressed sensing
peut ˆ etre ´ etendu ` a des mod` eles plus g´ en´ eraux que les mod` eles
discrets usuels. Des travaux futurs chercheront ` a pr´ eciser le ca-
ract` ere bien pos´ e de probl` emes tel que celui ´ etudi´ e ici.
Du cˆ ot´ e exp´ erimental, il serait int´ eressant de comparer notre
m´ ethode avec des algorithmes comme l’online EM[10] ou le
gradient stochastique[3].
Remerciements
Travaux partiellement financ´ es par le Conseil Europ´ een de
la Recherche, projet PLEASE (ERC-StG-2011-277906).
R´ ef´ erences
[1] K. Bertin, E. Le Pennec, and V. Rivoirard. Adaptive Dant-
zig density estimation. Annales de l’Institut Henri Poi-
ncar´ e (B) Probabilit´ es et Statistiques, 47(1):43–74, 2011.
[2] T. Blumensath and M. Davies. Iterative hard thresholding
for compressed sensing. Applied and Computational Har-
monic Analysis, 27(3):265–274, 2009.
[3] L. Bottou and O. Bousquet. The tradeoffs of large scale
learning. In Neural Information Processing Systems Con-
ference, 2008.
[4] Anthony Bourrier, R´ emi Gribonval, and Patrick P´ erez.
Compressive gaussian mixture estimation. In ICASSP,
2013.
[5] F. Bunea, A. Tsybakov, M. Wegkamp, and A. Barbu. Spa-
des and mixture models. Annals of Statistics, 38(4):2525–
2558, 2010.
[6] G. Cormode and M. Hadjieleftheriou. Methods for fin-
ding frequent items in data streams. VLDB Journal,
19(1):3–20, 2010.
[7] G. Cormode and S. Muthukrishnan. An improved data
stream summary: The count-min sketch and its applicati-
ons. Journal of Algorithms, 55(1):58–75, 2005.
[8] D.L. Donoho. Compressed sensing. IEEE Trans. Inform.
Theory, 52:1289–1306, 2006.
[9] A. C. Gilbert, Y. Kotidis, S. Muthukrishnan, and M. J.
Strauss. How to summarize the universe: Dynamic main-
tenance of quantiles. In Conference on Very Large Data-
bases, 2002.
[10] P. Liang and D. Klein. Online EM for unsupervised mo-
dels. In Conference of the North American Chapter of the
Association for Computational Linguistics, 2009.
[11] O.-A. Maillard and R. Munos. Compressed least-squares
regression. In Neural Information Processing Systems
Conference, 2009.
[12] X. Pitkow. Compressive neural representation of sparse,
high-dimensional probabilities. In Neural Information
Processing Systems Conference, 2012.
[13] N. Thaper, S. Guha, P. Indyk, and N. Koudas. Dynamic
multidimensional histograms. In ACM SIGMOD Interna-
tional conference on Management of data, 2002.