Groupage

1
Chapitre)7:)
Groupage)
Lecture Notes for E ALPAYDIN 2004 Introduction to Machine Learning © The MIT Press (V1.1)
2)
Estimation paramétrique de
densité
! Paramétrique: fait comme hypothèse d’une densité
de probabilité unique et simple pour p (x | Ci)
(Chapitres 4 et 5)
" Ex. distribution normale: pratique car nécessite peu de
paramètres de distribution (moyenne et covariance)
" Par contre, il faut que les données respectent cette
distribution sinon il y aura un biais et la modélisation sera
déficiente.
" Exemples:
! Différentes façons d’écrire 1
! Différentes prononciation des mots
Lecture Notes for E ALPAYDIN 2004 Introduction to Machine Learning © The MIT Press (V1.1)
3)
Estimation à partir de données
Tiré)de)Pa0ern)Recognition)
and)Machine)Learning)de)
Christopher)M.)Bishop;
Lecture Notes for E ALPAYDIN 2004 Introduction to Machine Learning © The MIT Press (V1.1)
4)
Estimation à partir de données
Tiré)de)Pa0ern)Recognition)
and)Machine)Learning)de)
Christopher)M.)Bishop;
Lecture Notes for E ALPAYDIN 2004 Introduction to Machine Learning © The MIT Press (V1.1)
5)
Estimation semi-paramétrique
de densité
! Semi-paramétrique: p (x | Ci) est un mélange de
densités afin de tenir compte de:
" Différentes explications/prototypes:
! Différentes prononciations, différentes callygraphies, etc.
" Somme de différentes estimations paramétriques
Lecture Notes for E ALPAYDIN 2004 Introduction to Machine Learning © The MIT Press (V1.1)
6)
Estimation non-paramétrique
! Aucun modèle de probabilité de densité, les
données parlent d’eux-même (Chapitre 8)

2
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
7)
Estimation semi-paramétrique:
Mélange de densités
où Gi est un composant (aussi appelé groupe/grappe)
1. P ( Gi ): pourcentage du mélange (apriori),
2. p ( x | Gi): densité du composant
3. k: nombre de composants fixé initialement
( ) ( ) ( )
∑
=
=
k
i
ii Ppp
1
|GGxx
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
8)
Estimation semi-paramétrique:
Mélange de densités
Exemple:
! Mélange gaussien où p(x|Gi) ~ N ( i , ∑i )
! paramètres = {P ( Gi ), i , ∑i }ki=1 estimées à partir
d’échantillons X={xt}t
! Contrairement à la classification, les échantillons X=
{xt}t ne sont pas étiquetés
Lecture Notes for E ALPAYDIN 2004 Introduction to Machine Learning © The MIT Press (V1.1)
9)
Classes .vs. Grappes
! Supervisé: X = { xt ,rt }t
! Classes Ci i=1,...,K
où p ( x | Ci) ~ N ( i , ∑i )
! = {P (Ci ), i , ∑i }Ki=1
! Non-supervisé : X = { xt }t
! Grappe Gi i=1,...,k
où p ( x | Gi) ~ N ( i , ∑i )
! = {P ( Gi ), i , ∑i }ki=1
Étiquettes, r ti ?
( ) ( ) ( )
∑
=
=
k
i
ii Ppp
1
|GGxx
( ) ( ) ( )
∑
=
=
K
i
ii Ppp
1
|CCxx
( )
( )( )
∑
∑
∑
∑∑
−−
=
==
t
t
i
T
i
t
ti
tt
i
i
t
t
i
t
tt
i
i
t
t
i
i
r
r
r
r
N
r
CP
ˆ
mxmx
x
m
S
Lecture Notes for E ALPAYDIN 2004 Introduction to Machine Learning © The MIT Press (V1.1)
10)
Groupage des k-moyennes
! Exemple: Soit une image couleurs de N pixels que
l’on veut coder. Supposons que chacun des pixels a
trois composantes de couleurs {R, G, B} et que
chacune des composantes de couleurs est codée
avec 8 bits de résolution.
! Combien de bits seront nécessaires pour coder
l’image entière?
Lecture Notes for E ALPAYDIN 2004 Introduction to Machine Learning © The MIT Press (V1.1)
11)
Tiré)de)Pa0ern)Recognition)and)Machine)Learning)de)Christopher)M.)Bishop;
Images originales: 240x180 pixels
Combien de bits il faut pour coder chacune de ces images?
Lecture Notes for E ALPAYDIN 2004 Introduction to Machine Learning © The MIT Press (V1.1)
12)
Compression de l’image
! Comment faire pour réduire le nombre de bits nécessaires
pour coder les images sans réduire le nombre de pixels?
! En réduisant la palette de couleurs {R, G, B}
" 24 bits: 16 millions de couleurs possibles
" 8 bits: 256 couleurs possibles
! On parlera alors de quantification ou de vecteur de
quantification de la palette de couleurs
! Comment quantifier?
" Quantification uniforme?
" Quantification non-uniforme?  groupage des k-moyennes
" Quelle est la meilleure quantification?

3
Lecture Notes for E ALPAYDIN 2004 Introduction to Machine Learning © The MIT Press (V1.1)
13)
Groupage des k-moyennes
! Trouver k vecteurs de référence (prototypes/
vecteurs du livre de codes/ mots de code) qui
représentent le mieux les données
! Vecteurs du livre de codes: mj, j =1,...,k
! Quel vecteur utilisé pour coder un échantillon?
" Utiliser la plus proche (plus similaire) référence:
1,
min
tt
ij
jk=
−=−xm xm
Lecture Notes for E ALPAYDIN 2004 Introduction to Machine Learning © The MIT Press (V1.1)
14)
Encodage/Décodage
1,
1 si min
0 autrement
tt
ij
tjk
i
b=
!−=−
#
=$
#
%
xm xm
Livre de codes
Lecture Notes for E ALPAYDIN 2004 Introduction to Machine Learning © The MIT Press (V1.1)
15)
Groupage des k-moyennes
! Questions:
" Comment trouver les k valeurs les plus représentatives des
échantillons X={xt}t ? En d’autres mots, comment trouver
les k mots de codes mj
" Pour notre exemple de réduction du nombre de couleurs
dans notre palette de couleurs, ça revient à dire comment
choisir les k couleurs les plus représentatives de nos
images?
Lecture Notes for E ALPAYDIN 2004 Introduction to Machine Learning © The MIT Press (V1.1)
16)
Comment calculer les mi
! Quand xt est représenté par mi , il y a une erreur de
quantification de l’ordre de :
! Pour l’image entière, nous voulons que ces distances pour
chacun des pixels soient les plus petites (minimales). En
d’autres mots, nous voulons que l’erreur de reconstruction
suivant soit le plus petit possible :
t
i
−xm
{ }
( )
1 (équation 1)
1 si min
où (équation 2)
0 sinon
ktt
iii
iti
tt
ij
tj
i
Eb
b
==−
"−=−
#
=$
#
%
∑∑
mxm
xm xm
X
Lecture Notes for E ALPAYDIN 2004 Introduction to Machine Learning © The MIT Press (V1.1)
17)
Groupage des k-moyennes
! Le meilleur livre de codes sera celui qui aura la plus
petite erreur de reconstruction.
! Il faut déterminer bti et mi des équations 1 et 2 du
transparent précédent
! Puisque bti et mi sont dépendants, nous ne pouvons
pas les estimer analytiquement. Nous allons plutôt
une approche itérative pour estimer le meilleur
livre de codes soit l’approche du groupage des k-
moyennes
Lecture Notes for E ALPAYDIN 2004 Introduction to Machine Learning © The MIT Press (V1.1)
18)
Technique du groupage des k-moyennes
1. Partir de k valeurs aléatoires pour mi
2. Utiliser l’équation 2 pour étiqueter les échantillons.
Si bti= 1 alors nous disons que xt est du groupe mi
3. Nous minimisons alors l’équation 1 i.e. prendre la dérivée
par rapport à mi et égaliser le tout à 0.
4. …
1 si min
0 sinon
tt
ij
tj
i
b
!−=−
#
=$
#
%
xm xm
{ }
( )
1
ktt
iii
iti
Eb
==−
∑∑
mxmX

4
Lecture Notes for E ALPAYDIN 2004 Introduction to Machine Learning © The MIT Press (V1.1)
19)
{ }
( )
1
t
t
0
minimun quand =
ktt
iiii
ti
ii
tt
i
it
i
Eb
bx
b
=
∂∂−
==
∂∂
∑∑
∑
∑
mxm
mm
m
X
Somme des échantillons étiquetés i
Nombre d’échantillons étiquetés i
On calcule la moyenne des échantillons étiquetés i.
En d’autres mots, on ré-estime mi
Lecture Notes for E ALPAYDIN 2004 Introduction to Machine Learning © The MIT Press (V1.1)
20)
Algorithme du groupage des k-moyennes
1. Partir de k valeurs aléatoires pour mi
2. Utiliser l’équation 2 pour étiqueter les échantillons.
Si bti= 1 alors nous disons que xt est du groupe mi
3. Ré-estimons mi selon
4. Revenons au point 2.
1 si min
0 sinon
tt
ij
tj
i
b
!−=−
#
=$
#
%
xm xm
t
t
=
tt
i
it
i
bx
b
∑
∑
m
Lecture Notes for E ALPAYDIN 2004 Introduction to Machine Learning © The MIT Press (V1.1)
21)
Groupage des k-moyennes
Lecture Notes for E ALPAYDIN 2004 Introduction to Machine Learning © The MIT Press (V1.1)
22)
Lecture Notes for E ALPAYDIN 2004 Introduction to Machine Learning © The MIT Press (V1.1)
23)
Tiré)de)Pa0ern)Recognition)and)Machine)Learning)de)Christopher)M.)Bishop;
Lecture Notes for E ALPAYDIN 2004 Introduction to Machine Learning © The MIT Press (V1.1)
24)
Tiré)de)Pa0ern)Recognition)and)Machine)Learning)de)Christopher)M.)Bishop;

5
Lecture Notes for E ALPAYDIN 2004 Introduction to Machine Learning © The MIT Press (V1.1)
25)
Tiré)de)Pa0ern)Recognition)and)Machine)Learning)de)Christopher)M.)Bishop;
k=2 k=10 k=3
Images originales
Lecture Notes for E ALPAYDIN 2004 Introduction to Machine Learning © The MIT Press (V1.1)
26)
Tiré)de)Pa0ern)Recognition)and)Machine)Learning)de)Christopher)M.)Bishop;
Images originales
k=2 k=10
k=3
Lecture Notes for E ALPAYDIN 2004 Introduction to Machine Learning © The MIT Press (V1.1)
27)
Exemple en audio
[ ] [ ] [ ] [ ]
12 10
12 10sn asn asn asn=−+−++ −
%L
! Prédiction linéaire (Linear Predictive Coding: LPC)
! Essaie de prédire un échantillon audio à partir des 10
échantillons précédents
! Comment?
Lecture Notes for E ALPAYDIN 2004 Introduction to Machine Learning © The MIT Press (V1.1)
28)
CELP
! Estimons l’erreur de codage
! Erreur de codage:
! Codons l’erreur avec le groupage par k-moyennes et
transmettons-la avec les LPC.
! Ça devient le Code-Excited Linear Prediction (CELP)
[ ]
[ ]
[ ] [ ] [ ]
: signal de parole
: signal de parole estimée par régressions linéaire
sn
sn
en sn sn=−
%
%
Lecture Notes for E ALPAYDIN 2004 Introduction to Machine Learning © The MIT Press (V1.1)
29)
CELP
! Code-Excited Linear Prediction:
" On code l’erreur par quantification vectorielle
" Objectif: générer un livre de code (codebook) d’échantillon-
type d’erreurs. Un peu comme générer une palette de
couleur.
! Au lieu de transmettre l’erreur, on transmet un index qui
pointe sur l’erreur-type le plus proche.
" Cela augmente le débit par rapport à LPC mais cela produit
une qualité de voix beaucoup plus naturelle.
Lecture Notes for E ALPAYDIN 2004 Introduction to Machine Learning © The MIT Press (V1.1)
30)
Quantification vectorielle