main

État de l’art sur les systèmes de reconnaissance des
expressions faciales
Boughida Adil
Université 8 Mai 1945 Guelma
Guelma, Algérie
[email protected]
Kouahla Mohamed
Nadjib
Université 8 Mai 1945 Guelma
Guelma, Algérie
[e-mail]
Lafifi Yacine
Université 8 Mai 1945 Guelma
Guelma, Algérie
[e-mail]
RÉSUMÉ
Les expressions faciales sont un moyen important par le-
quel les humains interagissent socialement. La reconnais-
sance automatique de ces expressions faciales est rest´ee un
probl`eme difficile et int´eressant en vision par ordinateur, car
les gens peuvent varier consid´erablement dans la mani`ere
dont ils montrent leurs expressions. Ce papier aborde un
bref ´etat de l’art sur quelques travaux sur les syst`emes de
reconnaissance des expressions faciales. De plus, une taxo-
nomie a ´et´e propos´e.
Mots-clés
expressions faciales, ´emotions, classification, extraction des
caract´eristiques
1. INTRODUCTION
Le rˆole des ´emotions est important dans notre fa¸con de
penser et de nous comporter. Les ´emotions que nous ressen-
tons chaque jour peuvent nous obliger `a agir et `a influencer
les d´ecisions que nous prenons au sujet de nos vies, grandes
et petites. Selon [1], la reconnaissance des expressions fa-
ciales (REF) est mentionn´ee comme le th`eme le plus abord´e
dans neuf th`emes de recherche fondamentale en reconnais-
sance automatique des ´emotions. Les conf´erences et les re-
vues (c’est-`a-dire les transactions sur l’informatique affec-
tive lanc´ees par l’IEEE en 2010) s’int´eressent aux syst`emes
de reconnaissance des expressions faciales [2].
Pour ces raisons, nous avons abord´e un bref ´etat de l’art
sur les syst`emes r´ealis´es de reconnaissances des ´emotions `a
partir des expressions faciales, et nous proposons une taxo-
nomie.
2. TAXONOMIE
Dans la figure 1, nous avons propos´e une taxonomie pour
la reconnaissance des expressions faciales. Puisque la majo-
rit´es des travaux existantes sur REF se concentre sur l’ex-
traction des meilleurs caract´eristiques du visage qui s´epare
.
bien les ´emotions, notre taxonomie propos´e sera construite
`a partir du type de caract´eristiques extraites.
Les caract´eristiques extrait´es peuvent etre divis´e en carac-
t´eristique ”Hand Crafted”(Hand Crafted features), et des ca-
ract´eristiques appris (learned features). Les caract´eristiques
”Hand Crafted” sont les propri´et´es d´eriv´ees `a l’aide de di-
vers algorithmes utilisant les informations pr´esentes dans le
visage elle-mˆeme 1, comme les contours, les coins, les points
d’int´erˆets . . . etc. Alors que les caract´eristiques appris sont
automatiquement appris `a partir des donn´ees d’apprentis-
sage [3], ces le cas des approches de Deep Learning (princi-
palement avec Convolutional Neural Network CNN).
Les caract´eristique ”Hand Crafted”peuvent ´egalement ˆetre
divis´ees en apparence, g´eom´etrique et hybride entre les deux.
Les caract´eristiques d’apparence utilisent les informations
d’intensit´e de l’image, tandis que les caract´eristiques g´eo-
m´etriques mesurent les distances, les d´eformations, les cour-
bures et d’autres propri´et´es g´eom´etriques [3].
3. ÉTAT DE L’ART ET COMPARAISON
Cette section discute bri`evement un ´etat de l’art sur quelques
syst`emes (class´es par le type de l’algorithme d’extraction des
caract´eristiques utilis´e) de reconnaissance des expressions fa-
ciales.
3.1 Caractéristiques d’apparence
Littlewort et Al. dans [6] ont mod´elis´e un syst`eme qui per-
met de d´etecter l’´emotion par l’expression faciale en temps
r´eel. Concernant les caract´eristiques, ils ont utilis´e les filtres
de Gabors, qui sont r´eduis par AdaBoost. Ces caract´eris-
tiques seront utilis´es ensuite par une combinaison de clas-
sifieurs binaire SVM (AdaSVM) pour attribuer forcement
une des sept ´emotions. La classification avec SVM passe
par 2 ´etapes : Premi`erement, la d´ecision est partitionn´ee
en plusieurs d´ecisions binaires lini`eres. Trois strat´egies sont
utilis´ees : One vs. One, One vs. All et All possible parti-
tions. One vs. All sera utilis´e par les auteurs en raison de
leur performance. Dans ce cas, 6 classifieurs binaires serons
entraˆınais. Deuxi`emement, la combinaison des sorties des
classifieurs SVM binaires, o`u les auteurs ont impl´ement´e et
´evalu´e 3 approches : par vote, par KNN et par la r´egression
logistique multinomiale (MLR). Un classifieur AdaBoost est
utilis´e pour diminuer le nombre de caract´eristiques de Gabor
employ´es, avec un taux de reconnaissance ´egale `a 93.3%
1. https ://datascience.stackexchange.com/questions/22782/what-
is-the-meaning-of-hand-crafted-features-in-computer-vision-
problems

Figure 1: Taxonomie pour la reconnaissance des expressions faciales
Les auteurs dans [4] ont propos´e un syst`eme REF, o`u
il combine deux type de caract´eristique : PHOG et LPQ.
Pour l’extraction des caract´eristiques PHOG, ils ont d´evis´e
chaque visage en segments de 3x3 dans tous les L niveaux
de pyramides (les auteurs fixe L par 3) pour le calcul de
gradient. Puis les gradients seront r´eunis `a chaque niveau de
la pyramide pour la construire les histogrammes de chaque
segment. D’une autre part pour les LPQ, bas´ee sur LBP,
l’id´ee g´en´erale est bas´ee sur la comparaison du niveau de lu-
minance de chaque pixel de visage avec le niveau de ces voi-
sins. Avant de faire la classification avec SVM, ils ont r´eduit
le nombre de caract´eristique PHOG et LPQ avec L’ACP.
Juxiang et Al. [18] proposent un nouvelle technique qui va
permettre d’extraire les caract´eristiques par Transformation
de curvelet. Dans ce cas, les coefficients de curvelet dans les
´echelles et les angles s´electionn´es sont utilis´es comme carac-
t´eristiques. La motivation de l’utilisation de cette technique
- selon les auteurs - est de permettre de prendre en charge
les caract´eristiques de curves et edges contrairement `a la
transformation de wavelet. La taille de ces caract´eristiques
de curvelet sont r´eduites et par LDA et PCA. Enfin, ils ont
utilis´e KNN pour la reconnaissance. Le taux de reconnais-
sance pour avec la base donn´ees JAFFE ´egale `a 96.57%.
3.2 Caractéristiques géométriques
Barmana et Al. [21] ont d´etect´e les landmarks avec l’al-
gorithme de Fast-Sic Active Appearance Model (Fast-Sic
AAM). Ensuite, ils ont s´electionn´e quelques landmarks (trois
points sur le sourcil, quatre points sur l’œil, trois points sur
le nez et quatre points sur la r´egion de la bouche) pour for-
mer une grille compos´ee de distances euclidiennes entres les
landmarks. A partir de la grille, les signatures de distances
sont calcul´ees, qui sont les caract´eristiques. La classification
est faite avec le perception multicouche.
Ghimire et Al. [19] d´etecte les landmarks avec l’algorithme
de Elastic Bunch Graph Matching (EBGM ) [27], et le suivi
de ces points est ´etabli avec Kanade-Lucas-Tomaci (KLT )
[28, 29] depuis une s´equence d’images vid´eo. Deuxi`emement,
trois types de caract´eristiques g´eom´etriques seront extraits,
compos´es de landmarks : les points, les lignes, et les tri-
angles, en r´eduisant les caract´eristiques avec l’algorithme de
AdaBoost. A partir de caract´eristiques g´eom´etriques s´elec-
tionn´ees, un classifieur SVM sera form´e dans la phase d’ap-
prentissage, pour permettre de faire la tˆache de reconnais-
sance.
3.3 Caractéristiques appris
Fathallah et Al. ont propos´e dans le papier [30] une nou-
velle architecture bas´e sur CNN pour la reconnaissance des
expressions faciales, o`u il ont affin´e leurs architecture avec
Visual Geometry Group VGG pour am´eliorer les r´esultats.
L’exp´erimentation est ´etabli avec exp´erimentation avec CK+,
MUG, and RAFD.
3.4 Comparaison entre les systèmes abordés
et synthèse
Le tableau comparatif 1 compare entre les travaux de
l’´etat de l’art en fonction du mod`ele d’extraction des ca-
ract´eristiques, l’algorithme s´election des caract´eristiques, le
classifieur, les bases de donn´ees utilis´ees dans l’exp´erimen-
tation, et le taux de reconnaissance.
Synthèse
— La majorit´e des travaux traitent des caract´eristiques
de type apparence.
— L’utilisation fr´equente du SVM comme classifieur.
— AdaBoost et ACP sont les plus utilis´ees pour la s´elec-
tion des meilleurs caract´eristiques.
— La majorit´e des travaux restantes utilisent les tech-
niques du Deep Learning
— Les bases de donn´ees CK, CK+ et JAFFE sont les plus
utilis´ees dans les tests.
4. RÉFÉRENCES
[1] Pedro Marrero-Fern´andez, Arqu´ımedes
Montoya-Padr´on, Antoni Jaume-i Cap´o, and

Refs. DataSets Class. Extraction des cars. Selection des cars. Taux
Littlewort 2004[6] DFAT-504 et POFA SVM Gabor Filters AdaBoost 93.3%
Dhall 2011[4] GEMP-FERA SVM et LMNN PHOG et LPQ ACP 88.7%
Zhou 2010[18] JAFFE et CK KNN curvelet LDA et PCA 96.57%
(JAFFE)
Barman 2017[21] CK+,
JAFFE, MMI MUG
Perceptron
multicouche
distances et triangles
`a partir deslandmarks
96.4%
(JAFFE)
Ghimire 2017[19] CK+, MMI, MUG SVM points, distances et triangles
`a partir deslandmarks AdaBoost 97.80% (CK+)
fathallah 2017 [30] CK+, MUG, and RAFD CNN CNN CNN 96.93%
(CK+)
Table 1: Tableau comparatif des travaux abord´es dans l’´etat de l’art
Jose Maria Buades Rubio. Evaluating the research in
automatic emotion recognition. IETE Technical
Review, 31(3) :220–232, 2014.
[2] Samta Jain Goyal, Arvind K Upadhyay, RS Jadon,
and Rajeev Goyal. Real-life facial expression
recognition systems : A review. In Smart Computing
and Informatics, pages 311–331. Springer, 2018.
[3] Ciprian Adrian Corneanu, Marc Oliu Sim´on, Jeffrey F
Cohn, and Sergio Escalera Guerrero. Survey on rgb,
3d, thermal, and multimodal approaches for facial
expression recognition : History, trends, and
affect-related applications. IEEE transactions on
pattern analysis and machine intelligence,
38(8) :1548–1568, 2016.
[4] A. Dhall, A. Asthana, R. Goecke, and T. Gedeon.
Emotion recognition using phog and lpq features. In
Proc. Face and Gesture 2011, pages 878–883, March
2011.
[5] Bo Sun, Liandong Li, Tian Zuo, Ying Chen, Guoyan
Zhou, and Xuewen Wu. Combining multimodal
features with hierarchical classifier fusion for emotion
recognition in the wild. In Proceedings of the 16th
International Conference on Multimodal Interaction,
pages 481–486. ACM, 2014.
[6] G. Littlewort, M.S. Bartlett, I. Fasel, J. Susskind, and
J. Movellan. Dynamics of facial expression extracted
automatically from video. In 2004 Conference on
Computer Vision and Pattern Recognition Workshop.
IEEE, 2004.
[7] T. H. H. Zavaschi, A. L. Koerich, and L. E. S.
Oliveira. Facial expression recognition using ensemble
of classifiers. In 2011 IEEE International Conference
on Acoustics, Speech and Signal Processing (ICASSP).
IEEE, may 2011.
[8] Jiangang Yu and Bir Bhanu. Evolutionary feature
synthesis for facial expression recognition. Pattern
Recognition Letters, 27(11) :1289–1298, 2006.
[9] Sheheryar Khan, Lijiang Chen, and Hong Yan.
Co-clustering to reveal salient facial features for
expression recognition. IEEE Transactions on
Affective Computing, pages 1–1, 2017.
[10] Khadija Lekdioui, Rochdi Messoussi, Yassine Ruichek,
Youness Chaabi, and Raja Touahni. Facial
decomposition for expression recognition using
texture/shape descriptors and SVM classifier. Signal
Processing : Image Communication, 58 :300–312, oct
2017.
[11] Uroˇs Mlakar, Iztok Fister, Janez Brest, and Boˇzidar
Potoˇcnik. Multi-objective differential evolution for
feature selection in facial expression recognition
systems. Expert Systems with Applications,
89 :129–137, 2017.
[12] Ali Moeini, Karim Faez, Hossein Moeini, and
Armon Matthew Safai. Facial expression recognition
using dual dictionary learning. Journal of Visual
Communication and Image Representation, 45 :20–33,
may 2017.
[13] Muzammil Abdulrahman, Tajuddeen R. Gwadabe,
Fahad J. Abdu, and Alaa Eleyan. Gabor wavelet
transform based facial expression recognition using
PCA and LBP. In 2014 22nd Signal Processing and
Communications Applications Conference (SIU).
IEEE, apr 2014.
[14] Rizwan Ahmed Khan, Alexandre Meyer, Hubert
Konik, and Sa¨ ıda Bouakaz. Framework for reliable,
real-time facial expression recognition for low
resolution images. Pattern Recognition Letters,
34(10) :1159–1168, jul 2013.
[15] Chao Qi, Min Li, Qiushi Wang, Huiquan Zhang,
Jinling Xing, Zhifan Gao, and Huailing Zhang. Facial
expressions recognition based on cognition and
mapped binary patterns. IEEE Access, pages 1–1,
2018.
[16] Huma Qayyum, Muhammad Majid, Syed Muhammad
Anwar, and Bilal Khan. Facial expression recognition
using stationary wavelet transform features.
Mathematical Problems in Engineering, 2017 :1–9,
2017.
[17] Yang Lu, Shigang Wang, Wenting Zhao, Yan Zhao,
and Jian Wei. A novel approach of facial expression
recognition based on shearlet transform. In 2017 IEEE
Global Conference on Signal and Information
Processing (GlobalSIP). IEEE, nov 2017.
[18] Juxiang Zhou, Yunqiong Wang, Tianwei Xu, and
Wanquan Liu. A novel facial expression recognition
based on the curvelet features. In Image and Video
Technology (PSIVT), 2010 Fourth Pacific-Rim
Symposium on, pages 82–87. IEEE, 2010.
[19] Deepak Ghimire, Joonwhoan Lee, Ze-Nian Li, and
Sunghwan Jeong. Recognition of facial expressions
based on salient geometric features and support vector
machines. Multimedia Tools and Applications,
76(6) :7921–7946, 2017.
[20] Caiyou Yuan, Qingxiang Wu, Caiyun Wu, Pengfei Li,

Yanan Zhang, and Yao Xiao. Expression recognition
algorithm based on the relative relationship of the
facial landmarks. In 2017 10th International Congress
on Image and Signal Processing, BioMedical
Engineering and Informatics (CISP-BMEI). IEEE, oct
2017.
[21] Asit Barman and Paramartha Dutta. Facial
expression recognition using distance and shape
signature features. Pattern Recognition Letters, 2017.
[22] Joshua Susskind, Volodymyr Mnih, Geoffrey Hinton,
et al. On deep generative models with applications to
recognition. In Computer Vision and Pattern
Recognition (CVPR), 2011 IEEE Conference on,
pages 2857–2864. IEEE, 2011.
[23] Salah Rifai, Yoshua Bengio, Aaron Courville, Pascal
Vincent, and Mehdi Mirza. Disentangling factors of
variation for facial expression recognition. In
Computer Vision–ECCV 2012, pages 808–822.
Springer, 2012.
[24] Mengyi Liu, Shiguang Shan, Ruiping Wang, and Xilin
Chen. Learning expressionlets on spatio-temporal
manifold for dynamic facial expression recognition. In
Proceedings of the IEEE Conference on Computer
Vision and Pattern Recognition, pages 1749–1756,
2014.
[25] Samira Ebrahimi Kahou, Christopher Pal, Xavier
Bouthillier, Pierre Froumenty, ¸Caglar G¨ ul¸cehre,
Roland Memisevic, Pascal Vincent, Aaron Courville,
Yoshua Bengio, Raul Chandias Ferrari, et al.
Combining modality specific deep neural networks for
emotion recognition in video. In Proceedings of the
15th ACM on International conference on multimodal
interaction, pages 543–550. ACM, 2013.
[26] Mengyi Liu, Shaoxin Li, Shiguang Shan, and Xilin
Chen. Au-aware deep networks for facial expression
recognition. In FG, pages 1–6, 2013.
[27] Laurenz Wiskott, Jean-Marc Fellous, Norbert Kr¨ uger,
and Christoph Von Der Malsburg. Face recognition by
elastic bunch graph matching. In International
Conference on Computer Analysis of Images and
Patterns, pages 456–463. Springer, 1997.
[28] Bruce D Lucas, Takeo Kanade, et al. An iterative
image registration technique with an application to
stereo vision. 1981.
[29] Carlo Tomasi and Takeo Kanade. Detection and
tracking of point features. 1991.
[30] Abir Fathallah, Lotfi Abdi, and Ali Douik. Facial
expression recognition via deep learning. In Computer
Systems and Applications (AICCSA), 2017
IEEE/ACS 14th International Conference on, pages
745–750. IEEE, 2017.
.