Etude de la méthode des moindres carrée récursive et application

SETIT 2005
3rd International Conference: Sciences of Electronic,
Technologies of Information and Telecommunications
March 17-21, 2005 – TUNISIA
Etude de la méthode des moindres carrée récursive
et application au signal de parole
A. Maddi, A. Guessoum, D. Berkani, O. Belkina
Département d'Electronique. Université de BLIDA
Route de Soumaa. BP 270 BLIDA
E–Mail: A_Maddi @hotmail.com
Résumé :Dans cet article nous présenterons une étude détaillée de la méthode des moindres carrés récursive,
ensuite nous ferrons une application de cette algorithme pour identifier les paramètres du modèle auto régressif
AR associé au signal de parole. La technique proposé ici permet d’identifier les paramètres du modèle auto
régressif ARMA avec des estimations non biaisées, cette méthode est basée sur la minimisation d’un critère
quadratique.
Mots clés : moindres carrés, prédiction, modèle, estimation baisée, parole.
1 Introduction
L’identification consiste a déterminer les paramètres
d’un modèle mathématique, dont la structure est établie
selon un critère donné , les paramètres des modèles
sont obtenus par la minimisation de l’erreur de
prédiction entre le signal de sortie mesuré et le signal
estimé suivant un critère d’optimalité par exemple:
(moindres carrés, erreur quadratique moyenne,
maximum de vraisemblance), nous nous intéressons
plus particulièrement à la méthode qui est basée sur le
blanchissement de l’erreur de prédiction .
Formellement l’opération d’identification des
paramètres du modèle peut se résumer par la figure ci-
dessous [5].
Il est important de souligner qu’il n’ y a pas un
algorithme d’estimation paramétrique unique pour
tous les types de modèles de bruit fournit des
estimations paramétriques asymptotiquement non
biaisées. Pour chaque structure de bruit, il existe des
algorithmes spécifiques permettant d’obtenir des bons
résultats, il convient tout d’abord de préciser les
principaux modèles « Système + perturbation » [3].
Dans les paragraphes qui suivent nous présenterons
l’algorithme de base des moindres carrés récursif
(MCR).
2 Algorithme des moindres carrés ordinaire
La méthode des moindres carrés a été introduite par
Karl Gauss en 1809. Elle a été à la base de toutes les
méthodes d’identification et d’estimation des
paramètres, cette méthode est basée sur la minimisation
d’une fonction quadratique J définie comme [2] :
( ) [ ]
2
1
∑
=
=N
kkJ ε (1)
Où e (k) représente l’erreur de prédiction commise sur
l’estimation.

SETIT2005
3 Identification du modèle ARMA
La modélisation auto- régressive à moyenne ajustée
d’ordre (n, m) noté ARMA (n, m) est définie par
l’équation aux différences suivante [4] :
( ) ( )
)(
00 teitubityam ii
n
ii+−=− ∑∑ == (2)
Avec a0 = 1
(
)
tu : Entrée du système
(
)
ty : Sortie du système
(
)
te : Bruit blanc.
En utilisant la transformée en Z, l’équation (2) peut
s’écrire :
( ) ( ) ( ) ZEZZUbZZYai
m
i
i
i
n
i
i+= −
=
−
=∑∑ 00 (3)
On pose:
i
n
iiZaZA− =
∑
=0 )( ; i
m
iiZbZB− =
∑
=0 )(
Donc, l’équation (3) s’écrira sous cette forme :
(
)
(
)
(
)
(
)
(
)
ZEZUZBZYZA+= (4)
L’erreur de prédiction peut s’écrire :
(
)
(
)
(
)
(
)
(
)
ZUZBZYZAZE−= (5)
A partir de l’équation (5), on peut tirer le schéma
suivant :
En développant l’équation (2), on obtient :
y (t) = - a1 y (t – 1) – a2 y (t – 2) - … - an y (t –n) + b0
u (t) + … + bm u (t-m) + e (t)
4 Détermination des paramètres
On peut donc, penser de manière intuitive que si l’on
augmente le nombre d’observations, le problème se
ramènera à la résolution d’un système d’équations
linéaires. Dans le cas d’un système bruité, nous
effectuons N mesures d'observations, nous pouvons
écrire [2] d’après l’équation (6), une forme matricielle :
)()()( tettyT+= ϕθ (6)
Posons pour la commodité des notations [9] :
θ
T = [ a1 a2 … an ; b0 b1 …. bm ]
ϕ
T (t) = [-y (t-1) … y (t - n) ;
u (t) … u (t-m)]
Avec
θ
T : vecteur des paramètres à identifier
ϕ
T (t) : vecteur des données.
y (t) : sortie du système
e (t) : bruit blanc affecté au système
T : désigne la transpose d’un vecteur ou
d’une matrice.
On définit l’erreur de prédiction comme étant la
différence entre la sortie du système et la sortie du
modèle :
)(y)()( ttyt∧ −=ε (7)
Sachant que : )()(ytt Tϕθ
∧∧ = (8)
avec T
∧
θreprésente les paramètres estimés.
La méthode des moindres carrés est basée sur la
détermination des meilleurs paramètres, c’est à dire
ceux qui minimiseront un certain critère d’optimalité. Il
représente la somme des carrés des erreurs de
prédictions, et qui est mentionné au dessous [2] :
∑
=
=N
1t
2
] (t) e [
1
)( N JNθ (9)
tel que N : nombre d'échantillons.
La minimisation du critère JN (
θ
) consiste à trouver
un optimum, c’est à dire de calculer la dérivée :
(
)
0
)(
=
∧
=N
N
J
θθ
θδθδ (10)
( ) [ ]
∧
=
=
−−= ∑)(
1)()(
2)(
N
N
t
T
Nttyt
N
J
θθ
ϕθϕ
θδθδ (11)
De l’équation (10) et (11), on déduit la solution
optimale au sens des moindres carrés de la forme
suivante :
( ) ( ) ( )
∑ ∑
= =
−
=N
t
N
t
TtytttN1 1 1)()(.][
ˆϕϕϕθ (12)
Nous constatons que la matrice (
(
)
(
)
tt T ϕϕ ) est
grande, si le nombre d’échantillons N est important,
d’où le calcul de son inverse n’est pas conseillé, pour
cela on utilise l’estimation récursive des moindres
carrés .

SETIT2005
5 Mise en oeuvre de l’algorithme des
moindres carrés récursif
Pour la mise en œuvre de l’algorithme récursif, on
pose :
( ) )()()1()()( 1tttRkktRTT
t
kϕϕϕϕ +−==∑ = (13)
D’après les équations (12) et (13), on a :
( ) )()()( 1
1kyktRtt
k
∑
=
−
∧=ϕθ (14)
( ) ( ) ( ) ( ) ( ) ( )
+= ∑
−
=
−tytkyktRtt
kϕϕθ1 1
1
ˆ (15)
+−−= ∧
−)()()1()1()()(
ˆ1tytttRtRtϕθθ (16)
+−−−= ∧∧
−)()()1()()()1()()()(
ˆ1tyttttttRtRtTϕθϕϕθθ (17)
−−+−= ∧
−
∧)()1()()()()1()(
ˆ1tttyttRtt Tϕθϕθθ (18)
D’après cette dernière équation (18), on remarque que
la solution des moindres carrés récursive contient le
terme R-1(t) qui nécessite une inversion matricielle à
chaque instant t. Donc, on utilise le lemme d’inversion
matricielle qui se présente sous la forme
suivante [2] :
[
]
[
]
1
1111
11−
−−−−
−+−=− CBDBCDBBCDBTTT (19)
Nous posons:
(
)
1−= tRB ,
(
)
tCϕ=,
(
)
tDT ϕ=
Or
[
]
1
1)()()1()( − −−−= tttRtRT
ϕϕ (20)
L’application du lemme d’inversion matricielle sur
l’équation (20), donne :
)()1()(1
1
)1()()1()1()( 1
1111 ttRt
tRttRtRtRT
Tϕϕ
ϕϕ −+ −−−−= −
−−−− (21)
L’introduction de la matrice du gain
d’adaptation )()( 1tRtP−
=, permet la mise en œuvre
de l’algorithme des moindres carrés récursif MCR de la
forme suivante :
−−+−= ∧
∧)()1()()()()()1()(
ˆtttytttPtt TT ϕθϕϕθθ (22)
)()1()(11
)1()()1()1()( ttPt tPttPtPtPT
Tϕϕ
ϕϕ −+ −−−−= (23)
6 Propriétés de l’estimateur des moindres
carrés
L’estimateur ? (t) est dit non biaisé si cette condition
est vérifiée :
0
)( θθ =
∧tE
En remplaçant l’équation (6) dans (12), on obtient :
( ) ( ) ( ) ( ) ( ) ( ) [ ] kekkkkNT
N
k
N
k
T+
=∑∑ =
−
=0 1
1
1
ˆθϕϕϕϕθ
( )
[
]
( ) ( ) += ∑ ∑
= =
−
N
k
N
k
TkekkkENE1 1 1
0)()(.][
ˆϕϕϕθθ
Où E : représente l’espérance mathématique.
La méthode des moindres carrés fournit une
estimation non biaisée dans le cas où e (k) une
séquence aléatoire centrée (moyenne nulle).
D’où, on écrit :
(
)
[
]
0
ˆ
θθ =NEet l’estimateur est non
biaisé.
Finalement :
(
)
∞→→ NquandN0
ˆ
θθ
7 Exemple de simulation
Considérons un système physique stable ayant la
fonction de transfert suivante :
21
1
1
8
.
0
3
.
0
1
21
)( −−
−
−
+
+
+
=
Z
Z
Z
ZzH
Avec a1 = 0.3 a2 = 0.8 b1 = 1 b2 = 2
L’implémentation de l’algorithme MCR sur PC, en
utilisant le langage de programmation MATLAB, nous
a donné les résultats suivants :

SETIT2005
8 Application au signal de parole
Considérons le signal de sortie comme un signal de
parole qui est sous forme d'un fichier de données qui
correspond à la phrase suivante : un loup s'est jeté
immédiatement sur la petite chèvre. (Voir Fig.5).
Le modèle qui correspond au signal de parole ayant la
structure auto régressive AR de la forme : [6].
∑
=+−= n iitvityaty1)()()(
Avec n: représente l'ordre du modèle
v (t) : bruit blanc
L’utilisation de l'algorithme des moindres carrés
récursif RLS (Récursive Least Square) pour identifier
les paramètres ai du modèle AR, donne les résultats
suivants :
9 Conclusion
La méthode des moindres carrés récursive qui a été
présentée en détail dans cet article donne des
estimations non biaisées uniquement pour des modèles
ARMA.
D’autre part cette méthode, n'utilise aucune
information a priori sur le bruit de mesure, et nous
avons montré que si le bruit n'est pas à valeur moyenne
nulle, l'estimation des paramètres est biaisée. D'une
manière générale, nous n'avons pas utilisé la loi de
répartitions statistiques du bruit et nous ne l'avons
même pas supposée connue. Pour cette raison, si on
veut améliorer la qualité de l'estimateur, on suppose les
statistiques sont connues a priori, d’où l'utilisation de la
technique du maximum de vraisemblance (MVR).
Références
[1] M. Kunt, « traitement numérique des signaux »,
Dunod
[2] M. Najim, « Modélisation et identification en
traitement du signal ». Masson, 1988.
[3] D. Landau, « Identification des système », Hermes,
Paris, 1998.
[4] R. Ben Abdnnour, P. Borne, M. Ksouri et F.
M’sahli, « Identification et commande numérique des
procédés industriels », édition téchnip, avril 2001.
[5] M. Boumendil, M. Kardi, « Eude et
implémentation des algorithmes d’identification
paramétriques et application au signal de parole »,
mémoire d’ingénieur d’état, Blida, Octobre2002.
[6] O. Siohan, «Reconnaissance automatique de la
parole continue en environnement bruité : Application
à des modèles stochastiques de trajectoires », thèse de
doctorat, université Henri Poincaré, Nancy I, septembre
1995.