Analyse de Signaux Sociaux pour la Modélisation de l`interaction

Analyse de Signaux Sociaux pour la Mod´elisation de
l’interaction face `a face
Ammar Mahdhaoui
To cite this version:
Ammar Mahdhaoui. Analyse de Signaux Sociaux pour la Mod´elisation de l’interaction face `a
face. Traitement du signal et de l’image. Universit´e Pierre et Marie Curie - Paris VI, 2010.
Fran¸cais. <tel-00587051>
HAL Id: tel-00587051
https://tel.archives-ouvertes.fr/tel-00587051
Submitted on 19 Apr 2011
HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.
L’archive ouverte pluridisciplinaire HAL, est
destin´ee au d´epˆot et `a la diffusion de documents
scientifiques de niveau recherche, publi´es ou non,
´emanant des ´etablissements d’enseignement et de
recherche fran¸cais ou ´etrangers, des laboratoires
publics ou priv´es.

THESE DE DOCTORAT
de l’Université Pierre et Marie Curie – Paris 6
présentée par
Ammar MAHDHAOUI
pour l’obtention du grade de
Docteur de l’Université
Pierre et Marie Curie – Paris 6
Spécialité
Informatique
Analyse de signaux sociaux
pour la modélisation de
l’interaction face à face
A soutenir le 13 Décembre 2010 devant le jury composé de
Rapporteurs Alessandro Vinciarelli Professeur IDIAP – University of Glasgow
Laurent Besacier Professeur LIG-lab – UJF Grenoble
Examinateurs Jean-Claude Martin Professeur LIMSI – Paris Sud 11
Maurice Milgram Professeur Emerite ISIR – UPMC Paris
Directeurs Jean-Luc Zarader Professeur ISIR – UPMC Paris
Mohamed Chetouani Maître de Conférences ISIR – UPMC Paris
Invité David Cohen Professeur ISIR – UPMC Paris

Table des matières
Table des figures iii
Liste des tableaux x
Introduction générale 1
Contexte et motivations ........................ 1
Analyse des signaux sociaux ...................... 2
Signaux émotionnels et interactions sociale .............. 3
Problématique et méthodologie .................... 5
Organisation du document ....................... 7
1 Interaction Sociale 11
1.1 Introduction ............................ 11
1.2 Communication .......................... 12
1.2.1 Définition ......................... 12
1.2.2 Modèles de communication ................ 13
1.3 Stratégies de communication ................... 14
1.3.1 Communication verbale ................. 15
1.3.2 Communication non verbale ............... 15
1.3.3 Communication face à face ................ 17
1.4 Signaux de communication .................... 18
1.4.1 Signaux verbaux de communication ........... 18
1.4.2 Signaux non-verbaux de communication ........ 18
1.5 Analyse des signaux sociaux ................... 25
1.5.1 Etat de l’art ........................ 25
1.5.2 Application : Reconnaissance de rôle des locuteurs dans
une interaction ...................... 33
1.6 La communication chez les bébés ................ 36
1.6.1 Compétences des bébés pour la communication . . . . 36
1.6.2 Evolution de la communication non verbale chez les en-
fants ............................ 37
1.7 Autisme et enfant : aspect développemental .......... 39
1.7.1 Le développement affectif de l’enfant .......... 39
1.7.2 Autisme infantile ..................... 43
1.7.3 Premières manifestations cliniques de l’autisme . . . . 44
1.7.4 Acquisition du langage et les interactions sociales . . . 46
1.8 Conclusions ............................ 48

ii Table des matières
2 Emotion sociale : Motherese 49
2.1 Introduction ............................ 50
2.2 Signaux émotionnels ....................... 50
2.2.1 Définition ......................... 50
2.2.2 Emotions et contexte ................... 51
2.2.3 Signaux émotionnels et interaction ........... 53
2.3 Parole adressée à l’enfant : Motherese .............. 54
2.3.1 Définition ......................... 54
2.3.2 Caractéristiques prosodiques et acoustiques ....... 55
2.4 Système état de l’art pour la détection de signaux émotionnels 55
2.4.1 Architecture générale du système ............ 55
2.4.2 Descripteurs bas niveaux ................. 56
2.4.3 Techniques de classification ............... 59
2.4.4 K plus proches voisins : kppv .............. 61
2.4.5 Mélange de Gaussiennes : GMM ............. 62
2.4.6 Machines à vecteurs de support : SVM ......... 63
2.4.7 Réseaux de neurones : RN ................ 65
2.5 Fusion de données ......................... 67
2.5.1 Méthodes de fusion .................... 68
2.5.2 Méthodologie employée .................. 69
2.5.3 Méthodes de décision ................... 69
2.6 Bases de données ......................... 70
2.6.1 Les bases de données actées ............... 70
2.6.2 Les bases de données d’émotions vécues en contexte réel 70
2.7 Annotation ............................ 72
2.7.1 Stratégie d’annotation .................. 72
2.7.2 Fidélité inter-juge ..................... 72
2.8 Expérimentations ......................... 75
2.8.1 Protocole d’évaluation .................. 75
2.8.2 Résultats ......................... 79
2.9 Conclusions ............................ 85
3 Classification semi-supervisée de signaux émotionnels 87
3.1 Introduction ............................ 87
3.2 Apprentissage automatique .................... 88
3.2.1 Apprentissage supervisé ................. 88
3.2.2 Apprentissage non supervisé ............... 89
3.3 Apprentissage semi-supervisé ................... 91
3.3.1 Définition et état de l’art ................. 91
3.3.2 Techniques d’apprentissage semi-supervisé ....... 91
3.4 Apprentissage automatique et caractérisation multiple ..... 95