METHODE DE MISE EN CORRESPONDANCE HIERARCHIQUE

MASTER 2 RECHERCHE
Imagerie, Vision, Robotique
INSTITUT NATIONAL POLYTECHNIQUE DE GRNOBLE
Rapport
Trong-Tôn PHAM
METHODE DE MISE EN
CORRESPONDANCE HIERARCHIQUE
EN RECONNAISSANCE D’OBJETS
Réalisé sous la supervision de
M. Augustin LUX, Professeur à l’INPG
au sein de l’équipe PRIMA du laboratoire GRAVIR
à l’INRIA Rhône-Alpes
Soutenu le 7 septembre 2005 devant le jury
M. Augustin LUX, Professeur, Président
M. James L. CROWLEY, Professeur, Examinateur
M. Frédéric JURIE, Chercheur, Examinateur
Grenoble, septembre 2005.

METHODE DE MISE EN CORRESPONDANCE HIERARCHIQUE EN RECONNAISSANCE D’OBJETS
2
Table des matières
1 Introduction.................................................................................................................. 3
1.1 Contexte du stage................................................................................................... 3
1.2 Le problème de reconnaissance multi-échelle d’objets ......................................... 4
1.2.1 Représentation d’objets par caractéristiques visuelles ................................. 4
1.2.2 Construction du modèle d’objets à multi-échelle .......................................... 5
1.2.3 Mise en correspondance des modèles hiérarchiques..................................... 6
1.3 Les résultats obtenus.............................................................................................. 6
1.4 Plan du rapport....................................................................................................... 7
2 Construction du modèle d’objets................................................................................ 8
2.1 Méthodes de reconnaissance d’objets par caractéristiques locales....................... 8
2.2 Détection des caractéristiques symboliques......................................................... 10
2.2.1 Définition ..................................................................................................... 10
2.2.2 Détection de crête ........................................................................................ 10
2.3 Approche multi-échelle........................................................................................ 12
2.3.1 Espace d’échelles......................................................................................... 12
2.3.2 Echelle intrinsèque....................................................................................... 13
2.3.3 Représentation des caractéristiques symboliques à multi-échelles ............. 14
2.4 Notre méthode de construction du modèle hiérarchique ..................................... 16
2.4.1 Modèle proposé............................................................................................ 16
2.4.2 Modélisation des nœuds............................................................................... 18
2.4.3 Connexion par des liens............................................................................... 21
3 Mise en correspondance hiérarchique ..................................................................... 22
3.1 Rappel de la théorie des graphes.......................................................................... 22
3.2 Algorithme d’appariement de deux graphes........................................................ 24
3.2.1 Algorithme d’Ullmann (1976)...................................................................... 24
3.2.2 Algorithme VF (L. P. Cordella, 1998) ......................................................... 26
3.2.3 Comparaison des algorithmes Ullmann et VF............................................. 27
3.3 Algorithme proposé ............................................................................................. 28
3.3.1 Mise en correspondance hiérarchique......................................................... 28
3.3.2 Les contrains symboliques ........................................................................... 31
3.3.3 Mesure de la similarité ................................................................................ 31
3.3.4 Discussion .................................................................................................... 32
4 Expérimentations et résultats ................................................................................... 33
4.1 Tests de reconnaissance d’objets simples............................................................ 33
4.1.1 Base d’images d’objets ................................................................................ 33
4.1.2 La démarche expérimentale......................................................................... 35
4.1.3 Critères et paramètres d’évaluation ............................................................ 36
4.1.4 Construction du graphe modèle................................................................... 37
4.1.5 Résultats de la mise en correspondance ...................................................... 39
4.2 Programme réalisé ............................................................................................... 43
4.2.1 Structure du programme .............................................................................. 43
4.2.2 Fonctions importantes des modules............................................................. 43
5 Conclusions et perspectives....................................................................................... 45
Bibliographie ...................................................................................................................... 47

METHODE DE MISE EN CORRESPONDANCE HIERARCHIQUE EN RECONNAISSANCE D’OBJETS
3
1 Introduction
1.1 Contexte du stage
La reconnaissance d'objets est un problème fondamental dans la vision par ordinateur. Les
applications concernées sont très variées : intégration dans les systèmes de vision
artificielle, suivi d’objets, classification d'objets, appariement stéréo, etc. La
reconnaissance, en terme général, peut être définie par le processus d’association d’un
nouvel élément à un élément connu (ou bien un modèle). Donc le problème de la
reconnaissance d'objets peut être converti en un problème d'appariement d'une image avec
une image modèle. Pour une reconnaissance visuelle, une représentation d’objets et un
modèle d’apparence préalablement appris sont requis. Le modèle d’objet nécessite ainsi
une représentation robuste aux différents types de perturbations habituelles dans une image
comme :
• transformations géométriques telles que les transformations affines (translation,
rotation, échelle, etc.) ou les distorsions dues au bruit et aux occultations partielles
• transformations photométriques telles que des changements d'illumination ou de
texture et de couleur
D’ailleurs, l’approche multi-échelle est un outil très puissant en vision. Une représentation
d’objets à multi-échelle offre certaines propriétés attractives telles que la redondance des
informations, la structure hiérarchique, etc. Du point de vue de la représentation, l’espace
échelle octroie un traitement des informations plus approprié pour chaque niveau d’échelle.
De plus, l’espace d’échelles facilite la recherche de correspondances grâce à la
décomposition des formes à divers niveaux de résolution (approche coarse-to-fine). Le
calcul est énormément réduit grâce à cette approche de représentation hiérarchique car les
résultats du traitement à échelle grossière peuvent être utilisés comme contraintes pour les
échelles plus fines. Cependant, une reconnaissance multi-échelle d’objets ajoute aussi des
problèmes à résoudre :
• quelles caractéristiques de nature hiérarchique peut-on utiliser pour une
représentation multi-échelle ? et quelles sont leurs propriétés ?
• comment organise-t-on ces caractéristiques pour formuler une structure homogène
d’objet ?
• quelle stratégie efficace peut-on appliquer pour une mise en correspondance
hiérarchique de ces structures en présentant des perturbations au-dessus ?
Donc le but de ce projet est de chercher notamment une méthode de reconnaissance multi-
échelle d’objets. Pour parvenir à ce but, nous construisons d’abord un modèle d’objets en
se basant sur les caractéristiques symboliques détectées à multi-échelle. Puis, ces
caractéristiques sont rassemblées dans un graphe relationnel attribué. Résoudre le
problème de mise en correspondance de deux objets revient alors à résoudre un problème
d’appariement de graphe.
Il existe de nombreuses méthodes de mise en correspondance de graphes dans la littérature.
Cependant, les problèmes généraux de mise en correspondance – par exemple
isomorphisme/homomorphisme de graphes, cliques maximales – sont d’une complexité

METHODE DE MISE EN CORRESPONDANCE HIERARCHIQUE EN RECONNAISSANCE D’OBJETS
4
prohibitive. Il n’y a pas d’algorithme efficace pour les résoudre. Pour cette raison, nous
utilisons une classe de graphes plus restrictive, pour laquelle nous avons proposé un
processus de mise en correspondance hiérarchique et les mesures accompagnées pour
calculer la similarité entre deux objets.
Ce projet de Master2 a été effectué au sein de l'équipe PRIMA du laboratoire GRAVIR à
l'INRIA Rhône-Alpes, dans le cadre du projet de vision par ordinateur. Dans ce cadre, le
travail est une continuation des travaux précédents de l'équipe, notamment des thèses de
Colin de Verdière, Daniela Hall et de Thi-Thanh-Hai Tran.
1.2 Le problème de reconnaissance multi-échelle d’objets
En ce qui concerne la tâche de reconnaissance d’objets en vision, on peut décomposer le
processus en trois modules principaux (cf. figure 1-1) :
1. Module d’extraction de caractéristiques visuelles à partir d’images,
2. Module de fusion de données pour la construction de modèles,
3. La mise en correspondance du modèle existant avec les nouvelles données.
Dans la suite de ce rapport, nous allons principalement traiter les points 2 et 3.
Figure 1-1 Processus de reconnaissance d’objets
1.2.1 Représentation d’objets par caractéristiques visuelles
Il existe en général plusieurs approches pour ce problème qui sont différenciées par les
caractéristiques utilisées lors du processus de reconnaissance. Les approches usuelles
construisent un modèle d’apparence de l'objet à partir d’une collection d'images
représentant ses différentes apparences. Cette méthode est simple et efficace pour la
reconnaissance d’objets 3D car elle contient des informations très concrètes sur cet objet.
Par contre, elle demande plus d'espace mémoire pour stocker les modèles.
Algorithme de mise en
correspondance hiérarchique
Image
Module de construction du
graphe
modèle
Module de détection des
caractéristiques
Classification ou indexation
d’objet …

METHODE DE MISE EN CORRESPONDANCE HIERARCHIQUE EN RECONNAISSANCE D’OBJETS
5
Récemment, une nouvelle approche de modélisation d’objets basée sur les caractéristiques
locales a été développée. L'essentiel de cette méthode est la détection de points d'intérêt
comme le détecteur SIFT [Low99] et l’opérateur de détection de coins de Harris [Sch96]
ou la détection de points pertinents [Hal99]. Ces caractéristiques s’accompagnent souvent
d’un vecteur de description par exemple le vecteur des dérivés chromatique de Hall et
Colin de Verdière [Ver99, Hal01] ou le descripteur SIFT de 128 dimensions. L'avantage de
ces méthodes est de transformer l’ensemble des pixels primitifs de l’image aux points les
plus informatifs et les plus représentatifs. Ceci permet de rendre le système plus
discriminant et plus robuste. De ce fait, le système de reconnaissance pourrait réaliser, de
façon numérique, une tâche avec précision et invariante à l’orientation [Low99] ou à des
transformations affines [Sch99]. Pourtant elles sont peu adaptées à une reconnaissance
d’objets plus génériques, où l’on a besoin d’une caractérisation de la forme abstraite.
A cet égard, nous proposons d’utiliser des caractéristiques de nature "symbolique" telles
que "blob" et "crête" [CP84, Lin98, HL04] développées dans notre équipe pour
construire le modèle d’objets. Le point de crête (de pic) est défini comme le point réalisant
le maximum local dans sa direction principale (dans toutes les directions) dans la surface
locale [HL04]. Puis les points de crêtes ayant la même direction sont chaînés pour former
une ligne de crête. En effet, ces caractéristiques sont mois spécifiques pour un type d’objets
concret. Donc on peut étendre la reconnaissance aux classes d’objets plus générales. De
plus, elles permettent en même temps d’utiliser les propriétés numériques et aussi le côté
symbolique comme les contraintes spécifiques de nature symbolique.
1.2.2 Construction du modèle d’objets à multi-échelle
L’approche multi-échelle permet une reconnaissance d’objets plus fiable. Une
représentation multi-échelle offre certaines propriétés importantes :
• la redondance d’informations à travers les échelles permet de retenir une partie des
informations perdues et donne au modèle de la stabilité en cas de visibilité partielle,
de données bruitées ;
• la nature hiérarchique de l’objet dans l’espace échelle correspond bien à la structure
d’un graphe ;
• chaque niveau représente l’objet à une échelle spécifique et permet une
reconnaissance indépendante de la taille de l’objet dans l’image s;
• la topologie de graphe rend l’invariance à l’orientation et à certaines
transformations spatiales de l’objet dans l’image ;
• le graphe permet de reconnaître les structures globales qui le rend particulièrement
adapté à la classification d’objet.
Pour ces raisons, nous choisissons de modéliser l’objet à multi-échelle par une structure
hiérarchique de graphe relationnel. Le graphe relationnel est un outil général en vision pour
la représentation des informations et des structures d’objets. Il permet d’assigner aux
nœuds des attributs numériques ou des attributs relationnels.
Nous considérons deux problèmes principaux dans la construction d’un graphe :
• la modélisation de nœuds et leurs attributs ;
• la formation des liens entre les nœuds.