Analyse discriminante

Analyse et codage des
signaux
Mohamed CHETOUANI
[email protected]
2
Plan
• Composantes d’un système de reconnaissance des formes
• Méthodes statistiques pour la réduction de dimension
• Sélection de caractéristiques
• Techniques d’apprentissage
Plan
Composantes d’un système
Réduction d e dimension
Sélection de caractéristiques
Apprentissage
3
Système de reconnaissance des
formes
Définition générale:
A partir de mesures d’une forme inconnue, il s’agit de:
• Trouver une représentation pertinente de la forme
• Classer en catégorie
Plan
Composantes d’un
système
Réduction d e dimension
Sélection de caractéristiques
Apprentissage
4
Système de reconnaissance des
formes
• Capteur
• Pré-traitements
• Extraction de paramètres
• Algorithme de classification
• Mais également des données (étiquetées ou non)
Plan
Composantes d’un
système
Réduction d e dimension
Sélection de caractéristiques
Apprentissage

5
Terminologie
Caractéristiques, codes: ensemble de variables déterminé à partir de
propriétés de l’objet.
« Choisir » des caractéristiques discriminantes et indépendantes est
un point clé de tout problème de reconnaissance des formes.
Vecteur de caractéristique: Association de plusieurs caractéristiques.
Vecteur de dimension d représentant l’objet.
Plan
Composantes d’un
système
Réduction d e dimension
Sélection de caractéristiques
Apprentissage
6
Terminologie
Espace des caractéristiques: espace de dimension d
formé par l’ensemble des caractéristiques.
Espace 3D
Distribution des données dans
l’espace des caractéristiques
Plan
Composantes d’un
système
Réduction d e dimension
Sélection de caractéristiques
Apprentissage
7
Terminologie
Classe: Catégorie à laquelle appartient l’objet.
Forme: Ensemble des caractéristiques de l’objet traité.
Dans certains cas, on associe au vecteur caractéristique
la classe de l’objet.
Exemple: une des instances d’un même objet
⇒ Objet: lettre A
Variabilité entre
scripteurs
Exemple de l’objet « A »
Plan
Composantes d’un
système
Réduction d e dimension
Sélection de caractéristiques
Apprentissage
8
Terminologie
Frontière de décision:
Hyper-plan, fonction de dimension d permettant la séparation des
formes en différentes classes.
Plan
Composantes d’un
système
Réduction d e dimension
Sélection de caractéristiques
Apprentissage

9
Terminologie
Données/Base d’apprentissage: données utilisées pour
la conception du système de reconnaissance.
Ces données sont a priori étiquetées.
Données/Base de test: données utilisées pour
l’estimation des performances du système de
reconnaissance.
⇒ Utilisation industrielle: lecteur de chèques, code
postaux, biométrie …
Plan
Composantes d’un
système
Réduction d e dimension
Sélection de caractéristiques
Apprentissage
10
Problème de dimension des
vecteurs caractéristiques
Explosion du nombre et de la dimension des données…
Plan
Composantes d’un système
Réduction de dimension
Sélection de caractéristiques
Apprentissage
11
Problème de dimension des
vecteurs caractéristiques
Aspects pratiques:
Relation dimension des vecteurs caractéristiques /
performances du classifieur
Plan
Composantes d’un système
Réduction de dimension
Sélection de caractéristiques
Apprentissage
Rechercher une solution optimale
12
Problème de dimension des
vecteurs caractéristiques
Approches pour la réduction de dimension:
• extraction de caractéristiques: créer un sous-
ensemble de nouvelles caractéristiques par
combinaison des caractéristiques existantes
• sélection de caractéristiques: choisir un sous-
ensemble de caractéristiques pertinent
Plan
Composantes d’un système
Réduction de dimension
Sélection de caractéristiques
Apprentissage

13
Problème de dimension des
vecteurs caractéristiques
Formalisation du problème de la réduction de
dimension:
La réduction de dimension consiste à transformer le
vecteur le x (dimension N) en un vecteur y (dimension
M) avec M<N: y=f(x)
La fonction f réalise la réduction de dimension.
La réduction de dimension ne doit pas diminuer les
performances en classification.
Plan
Composantes d’un système
Réduction de dimension
Sélection de caractéristiques
Apprentissage
14
Problème de dimension des
vecteurs caractéristiques
Réduction de dimension par projection du vecteur
caractéristique:
y=f(x)=Wx
Projection (combinaison) linéaire ou non-linéaire,
séparation des classes (discriminantes).
Plan
Composantes d’un système
Réduction de dimension
Sélection de caractéristiques
Apprentissage
15
Stratégies de réduction de
dimension
Plan
Composantes d’un système
Réduction de dimension
Sélection de caractéristiques
Apprentissage
•La projection de données nécessite la minimisation d’un critère.
•Deux types de critères:
•Représentation du signal: Représenter
les données dans un espace de plus
petite dimension.
Analyse en Composantes
Principales
•Classification:
Projection dans un espace (de plus
petite dimension) qui maximise la
séparabilité des classes.
Analyse Discriminante
16
Données
Plan
Composantes d’un système
Réduction de dimension
Sélection de caractéristiques
Apprentissage
Ensemble d’apprentissage : S exemples étiquetés formés de N
descripteurs (variables)
X = {x(1), x(2)…, x(S)} avec x(j) = (x1, x2, … , xN)
X : réalisation d’un échantillon de taille S d’un vecteur aléatoire de
dimension N
Statistiques associées à X
- moyenne :
- matrice de covariance :
!
x =1
S
(j)
x
j
"
! ! ""
=
j
(j)(j) T
))((
S
1x
x
x
x

17
Analyse en Composantes
Principales
Plan
Composantes d’un système
Réduction de dimension
Sélection de caractéristiques
Apprentissage
Analyse de la variabilité des données à travers la
matrice de variance-covariance
Excepté si l’une des variables peut s’exprimer comme une fonction
d’autres variables, N variables sont nécessaires pour rendre
compte de toute la variabilité
Objectif de l’ACP : décrire à l’aide de M < N variables
un maximum de cette variabilité
 compression des données décrites par M nouvelles variables
 visualisation des données en 2D ou 3D (si M = 2 ou 3)
 interprétation des données : liaisons inter-variables
18
Analyse en Composantes
Principales
Plan
Composantes d’un système
Réduction de dimension
Sélection de caractéristiques
Apprentissage
Composantes : b1, b2 … bM
bk : nouvelle variable = combinaison linéaire des variables
bk = u1k x1 + u2k x2 + … + uMk xM
 Coefficients uik à déterminer pour que les bk soient :
- 2 à 2 décorrélés
- de variance maximale
- d’importance décroissante
19
Analyse en Composantes
Principales
Plan
Composantes d’un système
Réduction de dimension
Sélection de caractéristiques
Apprentissage
•Données image = un vecteur, 1 composante / pixel
•Données codées = un vecteur, 1 composante /
descripteur
=
60
70
N = 4200 pixels
= x 2 R4200
vecteur « texture »
20
Analyse en Composantes
Principales
Plan
Composantes d’un système
Réduction de dimension
Sélection de caractéristiques
Apprentissage
 Trouver le sous-espace de dimension M approchant
au mieux les données