Structuration de la base - LIRIS

Accès aux base d’images par
navigation visuelle
Guillaume LAVOUE
LIRIS, FRE 2672 CNRS
Problématiques
 Accès aux bases d’images.
 Recherche d’images par le contenu.
 Les systèmes RIPC traditionnels :
• Indexation.
• Recherche par image-clef.
 Inconvénients:
• Représentation linéaire des résultats.
• Pas de vue globale du contenu de la base.
 Intérêt d’un système de navigation.
PLAN
 Les méthodes de segmentation et d’indexation.
 Mise en place de la structure de navigation.
 Extension à l’approche locale.
La segmentation
 Segmentation nécessaire:
• Extractions des descripteurs.
• Extractions des régions clefs.
 Deux étapes:
• Partitionnement de l’espace couleur (quantification).
• Régularisation spatiale.
 L’espace CIE Lab.
• Transformation non-linéaire depuis l’espace RVB.
• Perceptuellement uniforme.
Partitionnement de l’espace couleur
Histogramme
Couleur (ab)
Image couleur
C11
C11
Niveau 1
(2 classes)
niveau 2
(3 classes)
C22
C21
C 21  C 22
Niveau 3
(4 classes)
C31
C32
C33 C31 C32  C33
Régularisation spatiale
 Pourquoi?
• Image quantifiée = Image sur-segmentée
Réduction de cette sur-segmentation.
= 1243 régions
 Principe:
• Fusion des régions
Obtention des régions significatives
correspondant aux objets de la scène.
Algorithme général
1.
2.
3.
4.
5.
Filtrage des pixels isolés.
Extraction et étiquetage des régions connexes.
Construction du graphe d’adjacence.
Réduction du graphe
Fusion des régions.
Construction de l’image finale à partir des régions
restantes.
Mesure des différences couleur
 Espace Lab uniforme
distance euclidienne EDij .
 Facteur de pondération
• C ij : Mesure de l’imbrication entre deux régions.
• Aij : Filtrage des régions jugées trop petites.
 Distance finale D entre deux régions i et j:
ij
Dij  EDij  Cij  Aij
Mesure des différences couleur
 C ij : Prise en compte de la disposition spatiale [ Schettini ].
C ij 
min( Pi , Pj )
4 Pij
Pi : Périmètre de la ième région.
Pij : Longueur du périmètre entre
la ième et la jème région.
 Aij : Facteur de filtrage des petites régions.
 si ( Ni  NbPixMin ou N j  NbPixMin)
Aij 
1 sinon
N i : Nombre de pixels de la ième région.
NbPixMin : Nombre minimal fixé.
 : Réel positif  0,1.
Résultats de la segmentation
Image originale
Image quantifiée
16 classes
1243 régions
Image Segmentée
5 classes
6 régions
Résultats de la segmentation
Images originales
Images quantifiées Images Segmentées
(Respectivement 2 et 6 régions)
16 classes
Description des Images Couleur
 Deux approches:
• Globale: Orientée Image.
• Locale. Orientée Région.
 Descripteurs colorimétriques:
• Couleurs dominantes CDi .
• Pourcentages des classes pi .
• Variances des classes: Vi .
 Descripteur spatio-colorimétriques
• Cohérence spatiale SCR .
PLAN
 Les méthodes de segmentation et d’indexation.
 Mise en place de la structure de navigation.
 Extension à l’approche locale.
Les étapes de traitement
3 étapes de traitement hors ligne:
Quantification de l’histogramme couleur
Structuration de la base
•Quantification par Nuées Dynamiques
•Quantification floue
Élaboration d ’un mécanisme de visualisation
•ACP
Quantification de l’histogramme couleur
 Quantification uniforme de l ’histogramme
Discrétisation des histogrammes L,a,b en k intervalles :
3  k valeurs normalisées C i .
 Création d ’un vecteur représentatif D0  Dn par
image avec n  3  k  1 .
Ci  (1  w)
Di 
3 k
Di  w.SCE
0  i  3 k
i  3 k 1
w  0 1
Structuration de la base
Structure d’arbre hiérarchique
Niveau N-2
Niveau N-1
Niveau N
A
B1
B2
B3
B4
Structuration de la base
 Algorithme des nuées dynamiques
– Données:
• N points Pi dans l’espace de dimension n.
• k groupes G caractérisés par leur centre de classe G 0 k .
k
– Initialisation:
• Choix de k images qui formerons les G 0 k initiaux.
– Algorithme:
• On assigne à chaque classe G , les points Pi Les plus
k
proche de G 0 k .
Pi  Gk
si k '  k
Pi  G 0 k  Pi  G 0 k '
• Calcul, pour chaque G ,des centres de gravité
k
G0k.
Structuration de la base
 La quantification floue (Fuzzy k-mean) [ Bezdek ]:
• Initialisation des  ik .   1 si P  G
ik
i
k
 ik  0 si Pi  Gk
• Algorithme
- Calcul des centres de classes floues
GFk .
N
GF 0 k 
m
(

)
 ik Pi
i 1
N
m
(

)
 ik
k  1 K
i 1
Avec m  1   facteur de poids. Plus m est
grand plus la quantification est floue.
Structuration de la base
- Mis à jour des pourcentages d’appartenance
1
 ik  K
2
d ik m 1
( )

j 1 d ij
.
k  1 K
i  1 N
- Comparaison des matrices d’appartenance avant et
après l’itération.
P le numéro de l’itération actuelle.
U p  U p 1  
 le seuil d’arrêt.
U telle que : U [i ][ j ] 
 ij .
Mécanisme de visualisation
 Projection de l’ espace de dimension n à un espace
de dimension 2.
 Méthode choisie: L’Analyse en Composantes
Principales (ACP).
• ACP appliquée sur les images représentatives
des sous groupes.
• Quantité d’information moyenne portée par les
deux axes  80%.
Fonctionnement
Niveau N-2
Niveau N-1
Niveau N
A
B1
B2
B3
B4
Interface du système
a
b
a : Fenêtre de
navigation.
b : Résultats
affichage
paramétrique.
c : Images présentes
dans le nœud.
d : Image
sélectionnée.
e : Image requête.
f : Résultats
affichage linéaire.
c
d
e
f
PLAN
 Les méthodes de segmentation et d’indexation.
 mise en place de la structure de navigation.
 Extension à l’approche locale.
Intégration de l ’approche locale
 Principe:
• Vecteurs représentatifs associés aux régions.
• Base = nuage de points-régions.
• Région représentée par l’image qui la contient.
 Intégration de la recherche
• Sur une région de la base.
• Sur une région choisie d’une image de la base.
Intégration de l ’approche locale
Image
Sélection zone
Extraction zone
Région
Segmentation
Région finale
Conclusion
 Intégration Navigation / Recherche
Efficacité, flexibilité.
 Travail sur la couleur
Extension à la forme, la texture.
 Ouvertures:
– Pré-classification sémantique.
– Terminal intelligent, intégration du profil utilisateur.
– Généralisation à d’autre bases (ex: objets 3D).