Goumidi Djamal Eddine - Youssef CHAHIR

Université de Caen Basse-Normandie
Département d’Informatique
Master 2 Recherche En Informatique
Spécialité Traitement Automatique de l’Image et de la Langue
- IMALANG –
Mémoire de Stage de Fin d’Etude
Dynamique de la Gestuelle
Auteur Encadrant du stage
Djamal Eddine Goumidi Youssef Chahir
Durée du stage Lieu de Stage
6 mois (du 15 Mars au 15 Septembre) Laboratoire GREYC
2012 - 2013

1
Remerciements
En préambule à ce mémoire, je souhaite adresser tous mes remerciements à mon
encadreur Youssef Chahir pour l’aide et le temps qu’il a bien voulu me consacrer et
sans qui ce mémoire n’aurait jamais vu le jour.
Je remercie profondément les responsables du Master IMALANG de m’avoir
donné la chance d’étudier dans ce Master.
Ensuite, je tiens à remercier vivement mon encadreur de Magistère la
professeur Fella Hachouf de m’avoir accompagné toujours avec un mot
d’encouragement positif et optimiste dans un domaine difficile et complexe mais à la
fois passionné et passionnant.
Je tiens tout particulièrement à remercier monsieur Davy Gigan pour m’avoir
aidé dans le téléchargement de la base de données G3DAction de l’université de
Kingston.
Je tiens à adresser un petit mot spécialement à madame Sylvie Cauvin et
Céline Leclaire pour leur grande disponibilité et serviabilité. Leur bonne humeur n’a
d’égale que leur gentillesse.
Je souhaite également remercier tous les enseignants du département
informatique d’UCBN et l’ENSICAEN qui n’ont pas ménagé leurs efforts pour nous
assurer une bonne formation.
Je ne manquerai pas d’adresser mes plus sincères remerciements à mon
collègue de classe, Antoine Bertrand et mes amis Rabeh Redjem , Salim Saad Azzem
et Abdollai Sarr pour leur aide et leurs encouragements.
Enfin, j’exprime ma gratitude à mes parents et à mes frères et sœurs qui m’ont
indiqué la bonne voie en me rappelant que la volonté fait toujours les grands hommes.

Merci au Noble « Allah» Dieu le tout puissant qui m’a donné le courage,
l’intelligence, la force et la patience pour réaliser ce travail.

2
Table des matières
Remerciements
1
1. Introduction
4
2. Etat de l’art en reconnaissance de gestes
6
2.1 Reconnaissance automatique de gestes
6
2.1.1. L’acquisition
6
2.1.1.1. Acquisition non-intrusive
7
2.1.1.2. Acquisition intrusive
8
2.1.2. Le traitement des données
9
2.1.2.1. Filtrage
10
2.1.2.2. Extraction d’informations pertinentes
10
2.1.2.3. Choix/ calcul de primitives (descripteurs)
11
2.1.3. La reconnaissance
11
2.1.3.1. Entrainement
12
2.1.3.2. Apprentissage
13
Modèles statistiques
13
Les réseaux de neurones
13
Les modèles de Markov cachés
13
2.2. Panorama des systèmes et techniques pour la reconnaissance de
gestes
14
3. Approche proposée
20
3.1. Représentation des Poses
21
3.1.1. Les coordonnées cartésiennes du nouveau descripteur de poses
21
3.1.2. Nouveau descripteur
23
3.2. Le Modèle de Markov Caché pour la reconnaissance d’action
24
3.2.1. Définition d’un MMC
24
3.2.2. Les trois problèmes fondamentaux des MMC
25
3.3. Quantification vectorielle
26
4. Résultats Expérimentaux
27
4.1. Base de données d’actions G3D
27
4.2. Base de données d’actions MSR Action3D
35
4.3. Une nouvelle composante Orange pour le MMC
37
5. Conclusion et Perspectives
43
Bibliographie
44

3
Liste de Figures
Fig.01
Les différentes étapes de reconnaissance de formes
6
Fig.02
Exemple de reconstruction 3d à partir de plusieurs points de vue
7
Fig.03
Le Kinect de Microsoft
7
Fig.04
Système d’acquisition intrusif
8
Fig.05
Exemple de gants numériques
9
Fig.06
Etape de traitement des données
10
Fig.07
Extraction des données utiles d’une image par soustraction
11
Fig.08
Etape de reconnaissance
12
Fig.09
Approche développée par Yu and Aggarwal
15
Fig.10
La caméra Point Grey Bumblebee 2.0
15
Fig.11
Algorithme de Zia et al
16
Fig.12
Algorithme de Shen et al
16
Fig.13
Algorithme de Bobick et al
17
Fig.14
Algorithme de Biswas et al
18
Fig.15
Algorithme de Wang et al,
19
Fig.16
Methode de Shotton et al
20
Fig.17
Système de coordonnées du nouveau descripteur
21
Fig.18
Les composantes du vecteur caractéristique
23
Fig.19
Exemple de modèle de Markov caché
25
Fig.20
Un exemple d’un fichier XML
29
Fig.21
Les différentes jonctions récupérées par le Kinect
30
Fig.22
Différents gestes de la séquence fighting
33
Fig.23
Matrice de confusion de la séquence fighting
33
Fig.24
L’interface Orange Canvas
34
Fig.25
Résultats des différentes méthodes de classification appliquées
35
Fig.26
La base de données MSR Action3D
36
Fig.27
Matrice de confusion
36
Fig.28
Résultats des différentes méthodes de classification appliquées.
37
Fig.29
Environnement Orange
38
Fig.30
La composante HMM
40
Fig.31
Utilisation de la nouvelle composante
41
Fig.32
Les résultats obtenus
42