pdf 313.4 ko - Revue e-STA

e-STA copyright 2011 by see
Volume 8, N°1, pp 53-60
Application de la Méthode Adaboost à la Reconnaissance
Automatique de la Parole
1
Rimah Amami, 2 Dorra Ben Ayed, 3Noureddine Ellouze
Département de Génie Electrique, ENIT, Tunis, Tunisie
1
[email protected], [email protected], [email protected]
Abstract- Les méthodes du Boosting constituent une famille
d’algorithmes d’apprentissage automatique qui construisent
des modèles (de classification ou de régression) fondés sur la
combinaison des échantillons d’apprentissage dits "faibles".
La méthode Adaptative Boosting (Adaboost) est la méthode du
Boosting la plus utilisée. Dans cet article, nous proposons une
étude et une évaluation d’un ensemble d’algorithme de la
méthode Adaboost dans un système de classification basé sur
les arbres de décision binaire (CART) pour aborder la
reconnaissance de la parole.
Nous utilisons, pour nos expérimentations, les phrases SA1 et
SA2 du dialecte DR1 du corpus de son TIMIT.
Mots clés- Real Adaboost, Gentle Adaboost, Modest
Adaboost, Arbre de decision CART, TIMIT, Validation
croisée.
I.
INTRODUCTION
Le processus de la reconnaissance automatique de la parole
(RAP) se compose principalement de quatre phases
élémentaires; Extraction des caractéristiques, L’apprentissage
La modélisation et la décision finale (Figure1).
Extraction des
caractéristiques
Décision
Finale
performance d’un système de RAP dépend essentiellement de
l’algorithme d’apprentissage utilisé pendant la phase de la
classification. Ces dernières années, l’approche du Boosting a
été appliqué dans le domaine de la RAP vu son aptitude à
améliorer la performance des différents classifieurs.
Les méthodes du Boosting constituent une famille
d’algorithmes d’apprentissage automatique qui visent à rendre
un système d’apprentissage dits "faibles" plus performant.
Actuellement, Les méthodes du Boosting sont très étudiées.
Elles permettent de combiner un ensemble d’ instances d’un
classifieur donné considérées difficile à apprendre (faible),
afin de forger un seul classifieur « fort » et d’ou améliorer la
performance de l’algorithme d’apprentissage « faible ».Pour
nos expérimentation, nous avons choisi CART (arbre de
décision binaire) comme notre algorithme d’apprentissage.
Adaboost est l’aolgorithme du Boosting le plus utilisé.
Dans le but d’optimiser Adaboost, il y a eu l’apparition de
plusieurs variantes de cette méthode telles que Real, Gentle
Adaboost et modest Adaboost.
Dans cet article, nous utilisons ces trois variantes
d’Adaboost ainsi qu’un algorithme d’apprentissage basé sur
l’arbre de décision binaire : CART (Classification And
Regression Tree). Par la suite, nous évaluons la performance
de chaque méthode à partir des taux d’erreur que notre modèle
produit. Cet article est organisé de la manière suivante: La
section 2, introduit les différents algorithmes du Boosting ; la
section 3, décrit l’algorithme d’apprentissage utilisé. Enfin, en
section 4 and 5, nous étudions les résultats que notre modèle
génèrent en utilisant le corpus TIMIT.
II. INTRODUCTION AU BOOSTING
Algorithme
d’apprentissage
Les
Echantillons
Reconnaissance de la
parole
A. Définitions
La méthode du Boosting a été inspiré de l’algorithme
d’apprentissage Hedge (ß) [1]. Le principe du Boosting est de
réutiliser un classifieurs plusieurs fois en attribuant aux
instances d’apprentissage, à chaque fois, une pondération
différente et puis combiner les résultats afin de trouver un seul
classifieur « fort/très précis » [2].
Fig 1. Architecture d’système de la reconnaissance Vocale
Dans la littérature, les recherches effectuées dans le domaine
de la reconnaissance vocale affirment que dans un système de
RAP, l’algorithme d’apprentissage constitue l’élément
fondamental pour la robustesse du système. De ce fait, la
B.
L’approche Adaboost
AdaBoost (Adaptive Boosting) est une méthode
algorithmique connue dans le domaine de l’apprentissage.
Cette méthode a été initialement conçue par Robert Schapire
e-STA copyright 2011 by see
Volume 8, N°1, pp 53-60
et Yoav Freund en 1995 [1][3]. Cette approche est la dérivée
la plus partiquée de la méthode du Bossting qui vise à stimuler
la performance de l’algorithme d’apprentissage.
Adaboost consiste à transformer, d’une manière efficace, un
classifieur « faible » en un classifieur « fort » en réduisant les
taux d’erreur. L’algorithme d’Adaboost, appelle à chaque
itération, un algorithme d’apprentissage qui entraînent les
instances à classifier. Par la suite, Adaboost définit une
nouvelle distribution de probabilité
pour les instances
d’apprentissage en fonction des résultats de l’algorithme à
l’itération précédente tout en augmentant le poids des
instances qui ne sont pas correctement classées. A la fin,
Adaboost combine les données faibles par un vote pondéré
pour en déduire un classifieur fort.
Dans cette optique, AdaBoost essaye, de trouver un
classifieur optimal à partir de la combinaison d’un ensemble
de données d’apprentissage faible. L’algorithme d’Adaboost
est comme suit [4].
Etant donné:
•
S=
( x1 , y1 ) ,...., ( xm , ym )
échantillons
•
•
et
avec m l’ensemble des
yi ∈ Y = {1,..., k} avec Y est
l’ensemble des étiquettes.
L’algorithme
d’apprentissage
WeakLearner.
T est le nombre des itérations.
Initialiser Dt (i ) = 1
dits
“faible”
.
m
Faire pour t = 1, 2,....., T :
1. Appeler WeakLearner qui fournit la distribution Dt.
2. Calculer l’hypothèse: ht : X → Y .
d’Adaboost d’où il y a eu l‟apparition de plusieurs variantes
telles que Adaboost.M1, Adaboost.M2 Gentle Adaboost , etc.
En effet, il existe plusieurs dérivés de l’approche Adaboost
qui optimisent différemment la pondération (Wi).
GML AdaBoost Matlab Toolbox est un ensemble de
fonctions en Matlab qui implémente un ensemble d’algorithme
de classification et du Boosting à savoir: Real AdaBoost,
Gentle AdaBoost et Modest AdaBoost qui sont utilisés dans ce
travail [5].
C. L’approche Real Adaboos
Real AdaBoost a été mis en œuvre en 1999 par Freund and
Schapire [6]. Real Adaboost est une amélioration de la
méthode d’origine ou il faut ajouter une fonction qui mesure le
degré de confiance
en manipulant des données
d’apprentissage soi-disant « faible ». La particularité de cette
méthode réside dans la classe de probabilité estimée qui
convertit les taux de logarithme en une valeur réel d’échelle
[7]. Cette valeur est utilisée afin d’observer les contributions
des sorties du modèle en question. De plus, Real Adaboost
mesure la probabilité qu’une donnée d’apprentissage
appartient à une classe donnée alors que Adaboost consiste,
tout simplement, à classifier les données et calculer l’erreur
pondérée. En générale, Real AdaBoost tend à minimiser e−yF(x)
afin de mieux trouver la classification optimale générer par le
modèle utilisé [4].
D’autre part, la méthode Real Adaboost accorde un taux de
confiance aux classifieurs faible [8][9] qui transforme
l’ensemble des instance X et la prédiction booléenne en un
espace réelle R. L’algorithme est comme suit [10].
Etant donné:
•
3. Calculer l’erreur de:
hx : ε t =
Si
εt f 12
Alors
4. Définir β t =
εt
∑
S=
des
i = ht ( xi ) ≠ yi
Dt (i )
(1)
T = t − 1 et sortir.
( x1 , y1 ) ,...., ( xM , yM ) , avec m l’ensemble
échantillons et ( xi , yi ) ∈ X × {−1,1} , est
•
•
l’ensemble des étiquettes
L’algorithme d’apprentissage WeakLearner.
T est le nombre des itérations.
•
Initialiser la distribution Dt (i ) = 1
Pour t = 1, 2,....., T :
1. Pour chaque instance faire:
(1 − ε t )
5. Mise à jour de la distribution Dt :
D (i ) ⎧ βt if ht ( xi ) = yi
Dt +1 (i ) = t ×⎨
Z t ⎩1 Sinon
Partitionner X en un bloc séparé ( xM , yM ) .
b.
Pour chaque distribution Dt calculer
(2)
h fin ( x) = arg max
avec
∑
t :ht ( x ) = y
log
1
βt
.
(3)
Les fondateurs de cette méthode, Schapire et Freund, ont
essayé tout au long de leurs travaux d’optimiser l’algorithme
.
a.
Wl j = P(xi ∈ X j , yi = l) =
Avec Zt est un facteur de normalization.
6. L’ hypothèse finale:
m
∑
i:x,eX ,^ yi −1
D(i)
(4)
.
l = ±1
c. Définir l’hypothèse h pour chaque Xj as: ∀x ∈ X , h( x) =
Avec
1 ⎛ W+1j + ε ⎞
ln ⎜
⎟
2 ⎝ W−1j + ε ⎠
ε une petite constante positive.
(5)
e-STA copyright 2011 by see
Volume 8, N°1, pp 53-60
2. Sélectionner e ht:
c.
Zt = min Z
heH
ht = arg min Z
i=1,2…,N puis normaliser
Dt +1 (i ) = Dt (i ) exp [ − yi ht ( xi )]
.
(6)
⎡
⎤
H ( x) = sign ⎢ ∑ ht ( x) − b ⎥
⎣ t −1
⎦.
(7)
avec b est le seuil (par défaut=0).
La fonction de confiance de est définie par :
∑ h ( x) − b
t
(8)
Néanmoins, il a y eu l’apparition des nouvelles versions
d’Adaboost qui leurs performances dépassent souvent Real
Adaboost. Friedman and Al. [11] ont proposé une extension de
cette approche appelée Gentle AdaBoost.
L’approche Gentle Adaboost
Gentle AdaBoost [11] est considérée comme autant une
extension du Real adaboost. Cette approche est plus
performante que Real adaboost étant donné sa stabilité et sa
robustesse quand il s’agit des données bruitées et aux
aberrants [5].
Gentle Adaboost minimise la fonction exponentielle de perte
d’Adaboost en utilisant les étapes de Newton [7].
D’autre part, Gentle Adaboost est une variation de
l’approche Real Adaboost qui stimule la performance de cette
dernière en appliquant une régression par la méthode des
moindres carrées pondérées. . En outre, Gentle Adaboost et
Real adaboost ne normalisent pas l’ensemble des apprenants
pondérés de la même manière, puisque la fonction de
normalisation de Real adaboost est donnée par
Fm(x)=Pw(y=1|x)-Pw(y=-1|x), alors que pour Gentle Adaboost,
la mise à jour de la classe de probabilité pondérée est donnée
par
la
fonction
suivante
:
P ( y = 1| x)
1
[11]. L’algorithme du Gentle
log w
Pw ( y = 1− | x)
2
Adaboost est comme suit [12].
Etant donné:
•
Les poids Wi = 1
i
[ F ( x)] = sign ⎡⎣∑ m=1 f m ( x) ⎤⎦
(9)
E. L’approche Modest Adaboost
T
f m ( x) =
∑W = 1
M
Et normalisation de Dt+1 .
4. L’hypothése finale H :
D.
avec
2. L’hypothèse Finale:
heH
t
← Wi exp [ − yi. f m ( xi )] ,
i
3. Mise à jour de la distribution
Conf x ( x ) =
Définir Wi
, i = 1,.., N et F ( x ) = 0
Modest AdaBoost [5] a été inspire par Vezhnevets et Al en
2005.
Cette variation d’Adaboost vise a amélioré la généralisation
des erreurs pendant la classification. Cette approche tend à
donner des résultats meilleurs que ceux calculés par Gentle
adaboost. Dans ce but, Vezhnevets et Al avaient utilisé une
distribution inversée : w = 1 − w . Cette distribution a permis,
donc, de fournir aux données d’apprentissage correctement
classifiées des poids élevés.
L’algorithme de Modest Adaboost algorithm que
A.Vezhnevets et Al ont proposé est comme suit[5].
Given:
• S= ( x1 , y1 ) ,...., ( xN , yN )
• Initialiser la distribution D0 (i ) = 1
1. Pour
N
.
m = 1, 2,...., M et tant que ∫ ≠ 0 .
m
a. Entraîner l’algorithme d’apprentissage hm ( x) en
utilisant la distribution Dm (i ) par la moindre carrée
pondérée.
b. Calculer la distribution inversée
Dm (i) = (1 − Dm (i)) Z m
(10)
c. Calculer:
Pm+1(x) = PDm ( y =+1∩hm(x))
(11)
−1
m
P ( x) = PDm ( y = −1 ∩ hm ( x))
(12)
−1
m
P ( x) = PDm ( y = −1 ∩ hm ( x))
(13)
−1
m
P ( x) = PDm ( y = −1 ∩ hm ( x))
(14)
d. Définir: +1
−1
N
1. Faire pour m = 1, 2,..., M .
a. Estimer f m ( x) en utilisant les moindres carrées
f m ( x) = ( Pm+1 (1 − Pm ) − Pm−1 (1 − Pm ))( x)
pondérées de y à x.
b. Mise à jour de F ( x) ← F ( x) + f m ( x) .
Dm+1 (i) =
(15)
e. Mise à jour de la distribution:
Dm (i)exp(− yi fm ( xi ))
Zm
2. L’hypothèse finale:
(16)
e-STA copyright 2011 by see
Volume 8, N°1, pp 53-60
⎡i=M
⎤
[ F ( x)] = Sign ⎢∑ fm (x)⎥
⎣ i=1
⎦
(17)
Par conséquent, Modest Adaboost, produit un ensemble
d’erreur de classification plus faible que celui calculé par Real
et Gentle Adaboost. Mais, à partir des résultats de plusieurs
recherches dans ce domaine, nous pouvons constater que
l’erreur d’apprentissage calculée par Modest Adaboost est plus
élevée que celle de Gentle Adaboost.
III. L’ALGORITHME
D’APPRENTISSAGE: Arbre de
classification (CARTs)
Les Algorithmes d’apprentissage sont constitués d’un
ensemble
d’algorithme
qui
consiste
à
stimuler
automatiquement un système donné. Ces algorithmes sont
généralement utilisés pour la reconnaissance des forms et la
prise de décision. Les algorithmes d’apprentissage sont
employés dans des différentes applications telles que la
classification, la détection, l’analyse etc.
D’autre part, Les algorithmes d'apprentissage peuvent se
catégoriser selon le mode d'apprentissage qu'ils emploient:
Apprentissage supervisé, Apprentissage-non-supervisé etc.
Dans cet article, nous nous intéressons uniquement par
l’apprentissage supervisé. De ce fait, nous avons identifié
l’arbre de classification et de régression (CARTs) comme
notre algorithme d’apprentissage.
GML AdaBoost Toolbox implémente l’arbre de
classification et de regression (CARTs) ainsi que les
approaches d’Adaboost précédemment définies [5].
Par ailleurs, CARTs est considéré comme un arbre binaire
({1,-1}) puisque chaque nœud ne peut avoir que deux fils
(figure2). Le principe de l’algorithme de CART s’appuie sur
l’indice de Gini (IG) pour la segmentation de l’arbre qui vise à
construire les feuilles. Il faut, surtout, noter que plus l’indice
de Gini est faible, plus le noeud est pur (tous les éléments du
noeud appartiennent à la même classe). L’arbre de décision et
de régression (CARTs) a été conçu par Leo Breiman [13][14].
X6 >2
Faux
Y=-1
X5 >0
Vrai
Faux
X1 >3
X2 >2.3
Y=-1
Faux
Y=1
Vrai
Y=-1
Fig 2. Exemple d’un CART.
Le principe de cet algorithme consiste à partitionner d’une
manière récursive l’ensemble d’entraînement suivant la
méthode diviser pour mieux régénérer1. En effet, l’algorithme
fait une recherche minutieuse, pour chaque noeud, sur les
attributs et les valeurs de la segmentation puis il sélectionne le
regroupement binaire qui optimise le critère au nœud t [15].
La construction de l’arbre de décision binaire se fait,
essentiellement, en itérant cinq étapes [16]. L’algorithme
relatif s’appelle CART est comme suit:
1. Etablir pour chaque nœud toutes les divisions possibles.
2. Définir un critère de sélection de la meilleure division
d'un nœud.
3. Définir une règle d'arrêt des segmentations de l'arbre afin
de déclarer un nœud comme terminal
4. Affecter une valeur de la variable Y pour ces nœuds
terminaux.
5. Estimer le risque d'erreur de prévision associé à cet arbre.
IV. EXPERIMENTATIONS
A. Corpus de données
Dance ce travail, nous avons utilisé le dialecte DR1 (New
England) du corpus TIMIT[17]. Nous avons choisi pour nos
expérimentations les deux phrases SA1 et SA2 car dans nos
travaux, nous avons procédé à une classification binaire. Il est
important de noter que le dialecte DR1 vise à mettre l’accent
sur la divergence de la prononciation des différents locuteurs
[18][19]. La table I décrit la base de données utilisée pour
notre système de reconnaissance.
Table I.
Système de reconnaissance des phrases (RCP)
Phrase
Locuteurs
Codification
Paramétrisation
SA1
SA2
14F+24M
14F+24M
1
-1
12 MFCC, 12 MFCC+ 12 Delta,
12 MFCC+ 12 Delta+ 12 Delta-Delta
B. Paramétrisation
La première étape de notre système vise à numériser le
signal entrant ce qui nous aboutie, par la suite, à réaliser
l’analyse acoustique du signal de parole sur des fenêtres
temporelles de courte durée. Néanmoins, parmi les types de
paramètres vraiment pertinents et utilisables efficacement,
nous trouvons les paramètres de l’analyse spectrale et
éventuellement les paramètres prosodiques puisqu’ils sont
respectivement corrélés à la forme du conduit vocal et à la
source d’excitation de l’appareil de production de la parole.
Dans ce travail, nous nous intéressons, principalement, aux
paramètres cepstraux de types Mel Mel Frequency Cepstral
(MFCC) et ses dérivées étant donné leurs fréquentes
utilisations dans le domaine de la reconnaissance ainsi que
leurs aptitudes à représenter les caractéristiques d’un signal et
leurs robustesses (Table I).
1
Du latin Divide ut imperes, méthode de conception consistant à diviser un
problème de grande taille en plusieurs sous-problèmes analogues, l‟étape de
subdivision étant appliquée récursivement
e-STA copyright 2011 by see
Volume 8, N°1, pp 53-60
C. Méthode de Décision
• Validation par Base de Test
L’idée de cette méthode est de diviser la base initiale en deux
sous bases ; Une sous base d’apprentissage qui caractérisent
50% des données de base et une sous base de test qui regroupe
les 50% de données restante.
• Validation Croisée
Cette méthode est employée afin de valider un modèle et
estimer l’erreur réelle de ce dernier. Par conséquent, la
technique de la validation croisée, estime la performance de
chaque modèle en se basant sur la partie de données qui n’était
pas utilisée lors de la construction de ce modèle (lors la phase
de l’apprentissage). Les résultats calculés seront, par la suite,
combinés dans le but de donner une estimation de la
généralisation du modèle testé. [23] [24].
Ainsi, nous avons utilisé ces deux méthodes pour la
classification de nos bases de données afin de mieux
comparer, par la suite, la performance de chaque méthode.
Le nombre d’itération a été fixé à T= 100 et nous avons défini
K=5 groupes (folds) pour la méthode de la validation croisée.
0.65
Real AdaBoost
0.6
Taux d"erreur
0.55
0.5
0.45
0.4
0.35
0
10
20
30
40
50
60
Iterations
70
80
90
100
Fig 3. Evolution du taux d’erreur du système de RCP avec validation de la
base de test.
5 Validation croisée
0.45
Real AdaBoost
Taux d"erreur
0.4
0.35
0.3
0.25
0.2
0
10
20
30
40
50
60
Iterations
70
80
90
100
Fig 4. Evolution du taux d’erreur du système de RCP avec validation croisée.
D’après la figure 3, le meilleur taux de reconnaissance est
généré à l’itération 22 de l’ordre de 66,67%. Le meilleur taux
de reconnaissance du deuxième système (figure 4), est observé
à l’itération 30 de l’ordre de 78%.
•
Avec Les Coefficients MFCC et Delta
0.4
Real AdaBoost
0.38
0.36
0.34
Taux d"erreur
Dans les systèmes actuels de reconnaissance les
caractéristiques les plus utilisées sont, soit les paramètres
cepstraux standards, soit des paramètres de type MFCC (Mel
Frequency Cepstral Coefficients) qui sont, normalement,
complétées par leurs paramètres variationnels respectifs qui
caractérisent les variations des paramètres cepstraux dans les
fenêtres proches de la fenêtre à court-terme courante.
Les coefficients MFCCs [20], aussi nommés Mel Frequency
Cepstral Coefficients, sont basés sur une échelle de
perception, non linéaire, appelée Mel. En effet, l’étude des
coefficients MFCC du signal permet d’extraire des
caractéristiques de celui-ci autour de la Transformée de
Fourrier (FFT) et de la Transformée en Cosinus Directe
(DCT), convertis sur une échelle de Mel. Le principal
avantage de cette méthode se réside dans le fait que les
coefficients obtenus sont décorréllés.
D’autre part, l’utilisation des dérivées du premier et du
second ordre des MFCC (les DMFCC et DDMFCC) peuvent
éventuellement améliorer et de renforcer les caractéristiques
du signal vocal par la prise en compte des paramètres
dynamiques: il s’agit de l’évolution temporelle de l’enveloppe
spectrale. [21][22]. Les recherches empiriques prouvent que
l’augmentation du nombre des paramètres améliore,
nettement, la performance des systèmes de reconnaissance.
0.32
0.3
0.28
0.26
0.24
0.22
0.2
0
10
20
30
40
50
60
Iterations
70
80
90
100
Fig 5. Evolution du taux d’erreur du système de RCP avec validation de la
base de test.
5 Validation croisée
0.4
Real AdaBoost
0.38
V. RESULTATS ET DISCUSSION
Taux d"erreur
Dans cette section, nous présentons les résultants de nos
expérimentations selon les deux méthodes de validation. Notre
travail a été réalisé sur Matlab 7.7 release 2008b en utilisant
GML Adaboost Matlab Toolbox [16].
0.36
0.34
0.32
0.3
0.28
0.26
A. Application de l’approche Real Adaboost
•
Avec les Coefficients MFCC
0
10
20
30
40
50
60
Iterations
70
80
90
100
Fig 6. Evolution du taux d’erreur du système de RCP avec validation croisée
e-STA copyright 2011 by see
Volume 8, N°1, pp 53-60
0.4
D’après la figure 5, le meilleur taux de reconnaissance est
obtenu à l’itération 36 de l’ordre de 77,78%. Alors que pour
la deuxième méthode de validation, le meilleur taux de
classification, est observé à l’itération 40 de l’ordre de
73,60%.
•
0.38
0.36
0.34
0.32
Avec Les Coefficients MFCC,Delta et Delta-Delta
0.3
0.45
0
10
20
30
40
50
60
70
80
90
100
Real Adaboost AdaBoost
Fig 10. Evolution du taux d’erreur du système de RCP avec validation croisée
0.4
Taux d"erreur
0.35
D’après la figure 10, le meilleur taux de classification est
observé à l’itération 90 de l’ordre de 73, 66%.
0.3
0.25
0.2
•
Avec Les Coefficients MFCC et Delta
0.15
0.1
0.5
0
10
20
30
40
50
60
Iterations
70
80
90
100
Gentle AdaBoost
0.45
Fig 7. Evolution du taux d’erreur du système de RCP avec validation de la
base de test
0.4
Taux d"erreur
5 Validation croisée
0.35
Real AdaBoost
0.35
0.3
0.3
Taux d"erreur
0.25
0.25
0.2
0
0.2
0
10
20
30
40
50
60
Iterations
70
80
90
30
100
40
50
60
Iterations
70
80
90
100
5 Validation croisée
0.45
Gentle AdaBoost
Fig 8. Evolution du taux d’erreur du système de RCP avec validation croisée
B. Application de l’approche Gentle Adaboost
Avec Les Coefficients MFCC
0.4
Taux d"erreur
Les taux d’erreurs ont nettement diminués (voir figures 7 et 8).
Les meilleurs taux sont observés à l’itération 2 de l’ordre de
88,89% pour le premier test et à l’itération 64 de l’ordre
87,88% pour le deuxième test. Il faut noter que la validation
par base de test avec 36 coefficients (MFCC+Delta+ DeltaDelta) a donné de meilleur résultat. Cependant ce système se
stabilise à partir de l’itération 83 avec un taux d’erreur,
relativement, élevé par rapport à celui du deuxième système.
•
20
Fig 11. Evolution du taux d’erreur du système de RCP avec validation de la
base de test
0.15
0.1
10
0.35
0.3
0.25
0.2
0
10
20
30
40
50
Iterations
60
70
80
90
100
Fig 12. Evolution du taux d’erreur du système de RCP avec validation croisée
D’après les figures 11 et 12, le meilleur taux de
reconnaissance est trouvé avec une validation par la base de
test pour les 24 coefficients (83,33% à l’itération 66).
•
Avec Les Coefficients MFCC, Delta et Delta-Delta
0.3
Gentle AdaBoost
0.28
0.5
Gentle AdaBoost
0.26
0.48
Taux d"erreur
0.24
Taux d"erreur
0.46
0.44
0.22
0.2
0.18
0.16
0.42
0.14
0.4
0.12
0.1
0.38
0.36
0
10
20
30
40
50
60
Iterations
70
80
90
100
Fig 9. Evolution du taux d’erreur du système de RCP avec validation de la
base de test
D’après la figure 9, le meilleur taux de reconnaissance est
généré à l’itération 61 de l’ordre de 63,89%.
0
10
20
30
40
50
60
Iterations
70
80
90
100
Fig 13. Evolution du taux d’erreur du système de RCP avec validation de la
base de test
e-STA copyright 2011 by see
Volume 8, N°1, pp 53-60
5 Validation croisée
0.37
0.4
Modest AdaBoost
0.36
Gentle AdaBoost
0.35
0.35
Taux d"erreur
0.34
Taux d"erreur
0.3
0.33
0.32
0.31
0.25
0.3
0.29
0.2
0.28
0.27
0.15
0.1
0.05
0
10
20
30
40
50
Iterations
60
70
80
90
100
Fig 17. Evolution du taux d’erreur du système de RCP avec validation de la
base de test
0
10
20
30
40
50
60
Iterations
70
80
90
5 Validation croisée
100
0.38
Modest AdaBoost
Fig 14. Evolution du taux d’erreur du système de RCP avec validation croisée
0.36
0.34
C. Application de l’approche Modest Adaboost
•
Avec Les Coefficients MFCC
0.32
Taux d"erreur
D’après les figures 13 et 14, les taux d’erreurs ont nettement
diminués. Les meilleurs taux sont observés à l’itération 5 de
l’ordre de 88,89% pour le premier test et à l’itération 35 de
l’ordre 88,86% pour le deuxième test. Il faut noter qu’avec
une validation de base de test, les taux d’erreur se sont
stabilisés dés la 58éme itérations. Cependant, les meilleurs
résultats sont donnés par la validation croisée pour les 36
coefficients.
0.3
0.28
0.26
0.24
0.22
0.2
0.18
0
10
20
30
40
50
60
Iterations
70
80
90
100
Fig18. Evolution du taux d’erreur du système de RCP avec validation croisée
Nous observons, également pour cette experience, qu’en
appliquant une validation croisée avec 24 coefficients, nous
avons obtenu le meilleur taux de reconnaissance (81, 61%).
0.5
Modest AdaBoost
•
0.48
Avec Les Coefficients MFCC, Delta et Delta-Delta
0.32
0.46
0.28
0.42
0.26
Taux d"erreur
Taux d"erreur
Modest AdaBoost
0.3
0.44
0.4
0.38
0.36
0.24
0.22
0.2
0.18
0
10
20
30
40
50
60
Iterations
70
80
90
100
Fig 15. Evolution du taux d’erreur du système de RCP avec validation de la
base de test
0.16
0.14
0.12
0
10
20
30
40
50
60
Iterations
70
80
90
100
Fig 19. Evolution du taux d’erreur du système de RCP avec validation de la
base de test
5 Validation croisée
0.34
Modest AdaBoost
5 Validation croisée
0.33
0.5
Modest AdaBoost
0.32
0.45
0.4
0.3
0.29
Taux d"erreur
Taux d"erreur
0.31
0.28
0.27
0.26
0.25
0.3
0.25
0.2
0
10
20
30
40
50
60
Iterations
70
80
90
100
Fig 16. Evolution du taux d’erreur du système de RCP avec validation croisée
D’après les figures 15 et 16, nous constatons que les meilleurs
taux de reconnaissance sont trouvés avec une validation
croisée de la base d’apprentissage (74,01% ).
•
0.35
Avec Les Coefficients MFCC et Delta
0.15
0.1
0
10
20
30
40
50
60
Iterations
70
80
90
100
Fig 20. Evolution du taux d’erreur du système de RCP avec validation croisée
D’après les figures 19 et 20, nous observons qu’en premier
test, le système s’est vite stabilisé (dés l’itération 26).
Néanmoins, l’application d’une validation croisée a donné le
meilleur taux de reconnaissance (88, 02%).
D. Etude Comparative
e-STA copyright 2011 by see
Volume 8, N°1, pp 53-60
La validation croisée a donné les meilleurs taux de
classification avec les 36 coefficients qui est de 85,92% pour
l’approche Real Adaboost, 87,61% pour l’approche Gentle
Adaboost et 88,02% pour l’approche de Modest Adaboost. Il
faut noter que la validation par la base de test permet au
système de RCP de se stabilisé plus rapidement qu’avec une
validation croisée. Néanmoins, l’application d’une validation
croisée a donné des meilleurs résultats.
Les tables III et IV résument les taux d’erreur calculés à
l’itération 50 et 90 pour les différents systèmes conçus.
Table III
Taux de reconnaissance du système RCP avec validation de la base de test en
%
T=50
T=90
Remerciements
Nous voulons remercier Dr. V. Vezhnevets et A. Vezhnevets
du Graphics Media Lab of Moscow State University pour leurs
GML AdaBoost Matlab Toolbox and leurs conseils.
REFERENCES
[1]
[2]
[3]
[4]
RAB
GAB
MAB
RAB
GAB
MAB
MFCC
64.34
61.13
61.04
90.41
58.33
58.33
MFCC+Delta
71.87
74.68
69.22
77.78
57
69.44
[6]
MFCC+Delta+Delta
80.56
86.11
86.11
80.56
86.11
86.11
[7]
Table IV
Taux de reconnaissance du système RCP avec validation croisée en %
T=50
T=90
RAB
GAB
MAB
RAB
GAB
MAB
MFCC
RAB
GAB
MAB
69.99
73.66
56.48
MFCC+Delta
74.67
66.15
72.32
75.17
80.36
72.62
MFCC+Delta+Delta
71.43
74.39
81.07
85.92
87.61
88.02%
[5]
[8]
[9]
[10]
[11]
[12]
VI. CONCLUSION
Adaboost est une nouvelle méthode de Boosting
principalement utilisée pour stimuler les performances des
algorithmes d’apprentissage. Depuis son apparition jusqu’à
aujourd’hui, il y a eu la naissance de plusieurs générations.
Pours nos expérimentations, nous avons étudié différentes
méthodes d’Adaboost et nous avons proposé d’évaluer dans ce
travail l’approche Real Adaboost (RAB), l’approche Gentle
Adaboost (GAB) et l’approche Modest Adaboost . Nous avons
mis en œuvre un système de reconnaissance en se basant sur
l’algorithme d’apprentissage CART. En occurrence, cet
algorithme a été fusionné avec les différentes méthodes
d’Adaboost dans le but de réduire les taux d’erreurs de la
reconnaissance.
Nous avons observé, également, que l’approche Modest
Adaboost a généré de meilleures performances suivie par le
système basé sur l’approche Gentle Adaboost et enfin par le
système basé sur l’approche Real Adaboost en appliquant les
coefficients MFCC+Delta+Delta-Delta. Les taux trouvés sont
de l’ordre de 88,02% pour Modest Adaboost, 85,8% pour
Gentle Adaboost et 85% pour Real Adaboost.
[13]
[14]
[15]
[16]
[17]
[18]
[19]
[20]
[21]
[22]
[23]
[24]
Y. Freund and R. E. Schapire,‘‘A decision-theoretic generalization of
on-line learning and an application to boosting,’’ In Second European
Conference on Computational Learning Theory, March 1995.
R. Meir,G. Ratsch,‘An introduction to Boosting and Leveraging,’’,2003.
Y .Freund, RE .Schapire , ‘‘A short introduction to boosting, ’’ In:
Journal of Japanese Society for Artificial Intelligence,1997.
Y. Freund, RE. Schapire, ‘‘ Experiments with a New Boosting
Algorithm, ’’1996.
A.Vezhnevets, V.Vezhnevets, ‘‘Modest AdaBoost – teaching AdaBoost
to generalize better, Graphicon’’, pp.322-325, 2005.
Y.Freund, R. Schapire, ‘‘Experiments with a new boosting algorithm,
International conference on Machine Learning, ’’ pp. 148-156, 1996.
M.Culp, K.Johnson, G. Michailidis, ‘‘ ada: an R Package for Stochastic
Boosting, ’’ 2007.
B. Wu, A .Haizhou, C. Huang and L.Shihong, ‘‘ Fast Rotation Invariant
Multi-View Face Detection Based on Real Adaboost, ’’ 2004.
C. Huang, B.Wu, A .Haizhou and L.Shihong, ‘‘ Omni-Directional Face
Detection Based On Real Adaboost, ’’ 2004.
R. E. Schapire and Y. Singer, “Improved BoostingAlgorithms Using
Confidence-rated Predictions”,Machine Learning, 37, , 297-336, 1999.
J.Friedman, T. Hastie, and R..Tibshirani, ‘‘Additive logistic regression:
a statistical view of boosting, ’’ The Annals of Statistics, 28, 337-374,
2000.
T. Kanade, A.Jain, N.K. Ratha, ‘‘Audio-And Video-Basded Biometric
Person authentification, ’’ 2005.
I.V. Safonov, ‘‘Automatic red eye detection,’’ 2007.
L .Breiman, ‘‘ Arcing classifiers, ’’ Discussion paper, Ann. Statist, 1998.
L. Breiman, ‘‘Random forestsMachine Learning , ’’ J, 2001.
A.Vezhnevets, V.Vezhnevets, ‘‘GML AdaBoost Matlab Toolbox
Manuel, ’’ 2005
J.S. Garofolo, L/F. Lamel, W/M. Fisher, J.G. Fiscus, D.S. Pallett, N.L.
Dahlgren, and V.Zue, ‘‘TIMIT Acoustic-Phonetic Continuous Speech
Corpus, ’’ 1993.
S. Zribi Boujelbene, D. Ben Ayed Mezghani, N. Ellouze, ‘‘ Improved
Feature Data for Robust Speaker Identification using Hybrid Gaussian
Mixture Models - Sequential Minimal Optimization System,’’
International Review on Computers and Software (I.RE.CO.S.), Vol. 4,
N.3, May 2009.
S. Zribi Boujelbene, D. Ben Ayed Mezghani, N. Ellouze, ‘‘Support
Vector Machines Approaches and its Application to Speaker
Identification,’’ 2008.
S.B. Davis and P.Mermelstein, “Comparison of parametric
representations for monosyllabic word recognition in continuously
spoken sentences,” IEEETrans. Acoust., Speech, Signal Processing, vol.
28(4),pp. 357–366, 1980.
F. D. Cilliers, ‘‘Tree-based Gaussian Mixture Models for Speaker
Verification, ’’ Ph.D. Thesis, Department of Electrical and Electronic
Engineering, University of Stellenbosch, South Africa, 2005.
A.Kawtrakul, A.DeemagarnThai Connected Digit Speech Recognition
Using Hidden Markov Models, ’’ Russia,2004.
R.Kohavi , ‘‘ A study of cross-validation and bootstrap for accuracy
estimation and model selection, ’’ Proceedings of the Fourteenth
International Joint Conference on Artificial Intelligence,1995.
J R. Nolan, ‘‘Computer systems that learn: an empirical study of the
effect of noise on the performance of three classification methods, 2002.