"Création et utilisation d`atlas anatomiques numériques pour la

THESE DE DOCTORAT
de l’Université Pierre et Marie Curie – Paris 6
présentée par
Ammar MAHDHAOUI
pour l’obtention du grade de
Docteur de l’Université
Pierre et Marie Curie – Paris 6
Spécialité
Informatique
Analyse de signaux sociaux
pour la modélisation de
l’interaction face à face
A soutenir le 13 Décembre 2010 devant le jury composé de
Rapporteurs Alessandro Vinciarelli Professeur IDIAP – University of Glasgow
Laurent Besacier Professeur LIG-lab – UJF Grenoble
Examinateurs Jean-Claude Martin Professeur LIMSI – Paris Sud 11
Maurice Milgram Professeur Emerite ISIR – UPMC Paris
Directeurs Jean-Luc Zarader Professeur ISIR – UPMC Paris
Mohamed Chetouani Maître de Conférences ISIR – UPMC Paris
Invité David Cohen Professeur ISIR – UPMC Paris

Table des matières
Table des figures iii
Liste des tableaux x
Introduction générale 1
Contexte et motivations ........................ 1
Analyse des signaux sociaux ...................... 2
Signaux émotionnels et interactions sociale .............. 3
Problématique et méthodologie .................... 5
Organisation du document ....................... 7
1 Interaction Sociale 11
1.1 Introduction ............................ 11
1.2 Communication .......................... 12
1.2.1 Définition ......................... 12
1.2.2 Modèles de communication ................ 13
1.3 Stratégies de communication ................... 14
1.3.1 Communication verbale ................. 15
1.3.2 Communication non verbale ............... 15
1.3.3 Communication face à face ................ 17
1.4 Signaux de communication .................... 18
1.4.1 Signaux verbaux de communication ........... 18
1.4.2 Signaux non-verbaux de communication ........ 18
1.5 Analyse des signaux sociaux ................... 25
1.5.1 Etat de l’art ........................ 25
1.5.2 Application : Reconnaissance de rôle des locuteurs dans
une interaction ...................... 33
1.6 La communication chez les bébés ................ 36
1.6.1 Compétences des bébés pour la communication . . . . 36
1.6.2 Evolution de la communication non verbale chez les en-
fants ............................ 37
1.7 Autisme et enfant : aspect développemental .......... 39
1.7.1 Le développement affectif de l’enfant .......... 39
1.7.2 Autisme infantile ..................... 43
1.7.3 Premières manifestations cliniques de l’autisme . . . . 44
1.7.4 Acquisition du langage et les interactions sociales . . . 46
1.8 Conclusions ............................ 48

ii Table des matières
2 Emotion sociale : Motherese 49
2.1 Introduction ............................ 50
2.2 Signaux émotionnels ....................... 50
2.2.1 Définition ......................... 50
2.2.2 Emotions et contexte ................... 51
2.2.3 Signaux émotionnels et interaction ........... 53
2.3 Parole adressée à l’enfant : Motherese .............. 54
2.3.1 Définition ......................... 54
2.3.2 Caractéristiques prosodiques et acoustiques ....... 55
2.4 Système état de l’art pour la détection de signaux émotionnels 55
2.4.1 Architecture générale du système ............ 55
2.4.2 Descripteurs bas niveaux ................. 56
2.4.3 Techniques de classification ............... 59
2.4.4 K plus proches voisins : kppv .............. 61
2.4.5 Mélange de Gaussiennes : GMM ............. 62
2.4.6 Machines à vecteurs de support : SVM ......... 63
2.4.7 Réseaux de neurones : RN ................ 65
2.5 Fusion de données ......................... 67
2.5.1 Méthodes de fusion .................... 68
2.5.2 Méthodologie employée .................. 69
2.5.3 Méthodes de décision ................... 69
2.6 Bases de données ......................... 70
2.6.1 Les bases de données actées ............... 70
2.6.2 Les bases de données d’émotions vécues en contexte réel 70
2.7 Annotation ............................ 72
2.7.1 Stratégie d’annotation .................. 72
2.7.2 Fidélité inter-juge ..................... 72
2.8 Expérimentations ......................... 75
2.8.1 Protocole d’évaluation .................. 75
2.8.2 Résultats ......................... 79
2.9 Conclusions ............................ 85
3 Classification semi-supervisée de signaux émotionnels 87
3.1 Introduction ............................ 87
3.2 Apprentissage automatique .................... 88
3.2.1 Apprentissage supervisé ................. 88
3.2.2 Apprentissage non supervisé ............... 89
3.3 Apprentissage semi-supervisé ................... 91
3.3.1 Définition et état de l’art ................. 91
3.3.2 Techniques d’apprentissage semi-supervisé ....... 91
3.4 Apprentissage automatique et caractérisation multiple ..... 95

Table des matières iii
3.4.1 Caractérisation unique .................. 96
3.4.2 Caractérisation multiple ................. 96
3.5 Algorithme de co-apprentissage avec caractérisation multiple . 98
3.5.1 Méthode statistique d’apprentissage semi-supervisé . . 98
3.5.2 Co-apprentissage automatique pour la classification du
motherese ......................... 100
3.5.3 Expérimentations ..................... 107
3.6 Conclusion ............................. 112
4 Modélisation de l’interaction 115
4.1 Introduction ............................ 115
4.2 Analyse de comportements et d’interaction humains ...... 116
4.2.1 État de l’art ........................ 116
4.2.2 Représentation de données d’interactions ........ 118
4.3 Interaction parent-enfant ..................... 120
4.3.1 Définition ......................... 120
4.3.2 Etude de films familiaux pour l’analyse d’interaction
parent-enfant ....................... 122
4.4 Bases de données des interactions parent-enfant ........ 123
4.4.1 Bases de données longitudinale : films familiaux . . . . 123
4.4.2 Annotation de l’interaction face à face ......... 124
4.5 Analyse de l’interaction parent-enfant .............. 129
4.5.1 Création de la base d’interaction multimodale . . . . . 130
4.5.2 Caractérisation quantitative de l’interaction parent-enfant132
4.5.3 Analyse statistique de l’interaction parent-enfant . . . 137
4.6 Compréhension de l’interaction parent-enfant .......... 138
4.6.1 Caractérisation statistique de l’interaction ....... 139
4.6.2 Regroupement non supervisé des signaux d’interaction 140
4.7 Expérimentations ......................... 142
4.7.1 Mesure de la performance des résultats de clustering . 142
4.7.2 Résultats de clustering .................. 144
4.8 Conclusion ............................. 146
Conclusion et perspectives 149
Conclusions générales .......................... 149
Perspectives ............................... 150
Publications 153
Bibliographie 155