Introduction sur la vision par ordinateur - LIRIS

Laboratoire d'InfoRmaique
en Image et Systèmes d'information
UMR 5205 CNRS/
INSA de Lyon/Université Claude Bernard Lyon 1/
université Lumière Lyon 2/Ecole Centrale de Lyon
Christine LEIGNEL 20-01-2008
Jean-Michel JOLION
Projet ANR CAnADA
« Comportements Anormaux Analyse Détection Alerte »
Étude bibliographique suivi de personnes et trajectoire
dans un réseau de caméras
1 « sur »146

Les machines un jour pourront résoudre tous les problèmes, mais jamais
aucune d'entre elles ne pourra en poser un.
Albert Einstein
2 « sur »146

Table des matières
Introduction...............................................................................................................................................7
Chapitre 1 – Estimation de mouvement.....................................................................................11
1Mouvement réel, mouvement apparent, mouvement estimé...........................................................................12
1.1L'occultation.........................................................................................................................................12
1.2Le problème de l'ouverture....................................................................................................................13
2Modèles paramétriques pour l'estimation de mouvement...............................................................................14
3Modèles non paramétriques pour l'estimation de mouvement.........................................................................16
3.1Algorithmes de mise en correspondance de blocs..................................................................................16
3.1.1Critères de comparaison entre deux blocs......................................................................................16
3.1.1.1La somme des différences au carré SSD...............................................................................17
3.1.1.2La valeur absolue AV............................................................................................................17
3.1.2Prédictions avant-forward et arrière-backward..............................................................................17
3.1.3Algorithme de recherche « Full Search ».......................................................................................18
3.1.4Algorithme de recherche « Three Step Search Algorithm »............................................................18
3.1.5Algorithme de recherche « Diamond Search Algorithm »..............................................................19
3.1.6Algorithme de recherche « Hexagon-Based Search Algorithm »....................................................21
3.2L'estimation de mouvement par une approche Markovienne..................................................................23
3.2.1Estimation stochastique du mouvement avec le MAP....................................................................24
3.2.2Algorithmes de minimisation du critère du MAP...........................................................................25
3.2.2.1Approche multi résolution.....................................................................................................26
3.2.2.2Approche à base du mouvement des contours.......................................................................26
4Suivi de trajectoires.......................................................................................................................................27
4.1Les techniques de suivi..........................................................................................................................27
4.1.1Le MHT « Multiple Hypothesis Tracking »..................................................................................28
4.1.2Le PMHT « Probabilistic Multiple Hypothesis Tracking »...........................................................29
4.1.3Le JPDAF « Joint Probabilistic Data Association Filter ».............................................................29
4.1.4Le JPDAF « Joint Probabilistic Data Association Filter ».............................................................29
4.1.5L'approche par optimisation combinatoire ....................................................................................30
4.1.6L'appariement temporel.................................................................................................................30
4.1.6.1La mise en correspondance...................................................................................................30
4.1.6.2Le filtre de Kalman............................................................................................................30
4.2Les techniques de suivi de trajectoires...................................................................................................31
4.2.1Approches déterministes................................................................................................................31
4.2.2Approches probabilistes non bayésiennes basées sur des fonctions de vraisemblance....................31
4.2.3Approches probabilistes................................................................................................................31
4.2.3.1Les travaux sur la segmentation par le mouvement...............................................................32
4.2.3.2Méthode proposée par [M. Gelgon].......................................................................................33
4.3Exemple de deux applications probabilistes à base de graphe...............................................................35
4.3.1Travaux de [Rota N.]....................................................................................................................35
4.3.2Travaux de [Han M., Xu W., Gong Y.].........................................................................................36
Chapitre 2 – Suivi.................................................................................................................................40
1Analyse du mouvement.................................................................................................................................41
1.1Analyse du mouvement dans la séquence..............................................................................................41
1.1.1Espace spatio-temporel.................................................................................................................41
1.1.2Espace des phases.........................................................................................................................41
3 « sur »146

1.1.3Espace des échelles.......................................................................................................................41
1.1.4Intégration temporelle...................................................................................................................41
1.2Analyse du mouvement image par image...............................................................................................42
1.3Les méthodes de suivi image par image.................................................................................................42
1.3.1Les méthodes basées primitives.....................................................................................................43
1.3.2Les approches basées modèle du corps en 2D ou 3D.....................................................................46
1.3.2.1Méthodes de mise en correspondance image/modèle..............................................................46
1.3.2.2Les méthodes avec modèle d'apparence en 2D.......................................................................48
1.3.2.3Approche en 2D avec modèle explicite de la forme...............................................................49
1.3.2.4Approche en 2D sans modèle explicite de la forme................................................................50
1.3.2.5Les méthodes avec modèle articulé en 3D.............................................................................51
1.4Les approches pour affiner le modèle....................................................................................................52
1.4.1Les approches déterministes..........................................................................................................52
1.4.2Les approches stochastiques..........................................................................................................52
1.4.3Approches à base de règles ..........................................................................................................54
1.5Suivi lors des occultations.....................................................................................................................54
1.6La reconnaissance.................................................................................................................................56
1.6.1Les modèles d'apparence d'objets..................................................................................................56
1.6.2Les modèles d'objets réels.............................................................................................................56
1.7L'interprétation sémantique de la scène.................................................................................................57
2Les différentes approches d'extraction des caractéristiques............................................................................57
2.1Extraction de la caractéristique couleur.................................................................................................57
2.2Extraction de la caractéristique contour................................................................................................57
2.3Extraction de la caractéristique mouvement..........................................................................................58
2.4Extraction de la caractéristique profondeur...........................................................................................58
3Quelques exemples........................................................................................................................................58
3.1Présentation des travaux de [Thome N.]................................................................................................58
3.1.1Modèle d'apparence articulé..........................................................................................................59
3.1.2Mise en correspondance de blobs..................................................................................................59
3.1.3Étiquetage des membres................................................................................................................60
3.2Approche avec une caméra à champ large.............................................................................................60
3.3Approche avec suivi de visage...............................................................................................................61
3.4Approche par modèle de Markov caché pour la détection des évènements rares...................................61
3.4.1Définition du modèle de Markov Caché........................................................................................61
3.4.2Définition du réseau bayésien........................................................................................................62
3.4.3Cas des comportements inhabituels/anormaux..............................................................................63
3.4.4Cas de la détection de chute..........................................................................................................64
3.5Représentation symbolique....................................................................................................................65
Chapitre 3 – Systèmes de vidéo surveillance ..........................................................................66
1Les différents systèmes de vidéo surveillance existants .................................................................................67
1.1Le projet VSAM...................................................................................................................................67
1.2Le projet ADVISOR-INRIA.................................................................................................................68
1.3Le projet BEHAVE...............................................................................................................................69
1.4Le projet AVITRACK ..........................................................................................................................69
1.5Le projet CASSIOPEE-INRIA.............................................................................................................69
1.6Le projet VIGITEC...............................................................................................................................70
1.7Le projet CAVIARE-INRIA..................................................................................................................70
1.8Le projet PASSWORDS.......................................................................................................................70
1.9Les projets dans l'industrie....................................................................................................................70
2Présentation détaillée de quelques systèmes de vidéo surveillance................................................................71
4 « sur »146

2.1AVITRACK..........................................................................................................................................71
2.1.1La détection de mouvement...........................................................................................................71
2.1.2Suivi d'objet..................................................................................................................................72
2.1.3Reconnaissance d'objets................................................................................................................72
2.1.4Fusion de données ........................................................................................................................72
2.1.5Maintenance de la cohérence dans des scènes 3D dynamiques......................................................72
2.1.6Compréhension de la scène ...........................................................................................................73
2.1.7La reconnaissance d'évènements vidéo..........................................................................................74
2.1.8Compréhension vidéo pour le monitoring des activités aéroportuaires...........................................74
2.2ADVISOR............................................................................................................................................74
2.3La vidéo surveillance avec une architecture à base de connaissances...................................................76
2.3.1Suivi image par image...................................................................................................................77
2.3.2Fusion des suivis...........................................................................................................................77
2.3.3Suivi long terme............................................................................................................................78
2.3.4Reconnaissance d'évènements........................................................................................................78
2.4Un réseau synergétique à deux niveaux pour les interactions multi personnes.......................................78
2.4.1Le niveau « suivi »........................................................................................................................79
2.4.2Le niveau « analyse du corps ».....................................................................................................79
2.4.3L'analyse des activités humaines en deux étapes............................................................................80
2.4.4Représentation multi niveau des mouvements du corps humain.....................................................80
2.4.5La modélisation des activités au niveau des activités du corps humain..........................................80
2.4.6La modélisation des interactions....................................................................................................80
2.5Suivi de trajectoires à l'aide d'un SVM..................................................................................................81
2.5.1Moyenne résolution.......................................................................................................................81
2.5.2Basse résolution............................................................................................................................82
2.5.3Analyse des trajectoires de véhicules.............................................................................................82
2.5.4Analyse des trajectoires de personnes............................................................................................83
2.6Suivi de trajectoires à l'aide d'une gestion haut niveau...........................................................................83
2.6.1Applications..................................................................................................................................83
2.6.2Détection de mouvement avec une image de référence...................................................................84
2.6.3Phase de mise en correspondance et gestion d'un système distribué de suivi..................................84
2.7Suivi de piétons dans un réseau routier.................................................................................................86
2.7.1Comportements multi agents.........................................................................................................87
2.7.2Description du scénario ................................................................................................................87
2.7.3Model-Based Tracking in Image Sequences Motris.......................................................................89
2.7.4Suivi des voitures et des piétons....................................................................................................89
2.7.5Lien entre la localisation et les actions des piétons........................................................................89
2.7.6Modélisation des intéractions entre les agents...............................................................................89
2.7.7Modèle proposé.............................................................................................................................90
2.8Le suivi des trajectoires des tâches de couleur.......................................................................................91
2.8.1Segmentation du bloc spatio-temporel...........................................................................................93
2.8.2Cohérence temporelle....................................................................................................................93
2.8.3Mise en correspondance................................................................................................................93
2.8.4Hiérarchies de segmentation..........................................................................................................93
2.8.5Extension de l'horizon temporel.....................................................................................................93
2.8.6Segmentation dans le domaine joint spatio-temporel......................................................................93
2.8.7Segmentation de graphes...............................................................................................................93
2.8.8Modélisation paramétrique du bloc vidéo......................................................................................94
2.8.9Classification................................................................................................................................94
2.8.10Comparaison avec les autres méthodes........................................................................................94
2.8.10.1Segmentation de graphes.....................................................................................................94
2.8.10.2Mélange de gaussiennes......................................................................................................94
2.8.10.3Réseau spatio-temporel de primitives..................................................................................95
5 « sur »146