Vecteur aléatoire et lois

MAT4081 Chapitre 1
Vecteurs aléatoires et loi normale multidimensionnelle
1.1 Moments d'un vecteur aléatoire
Une matrice aléatoire est une matrice dont toutes les composantes sont des variables aléatoires.
Soit
 y11 y12
y y
Y =  21 22

 yn1 yn 2
y1q 
y2 q 


ynq 
une matrice aléatoire.
Définition. L'espérance M = E(Y) d'une matrice aléatoire Y est la matrice des espérances :
 E( y11 ) E( y12 )
E( y21 ) E( y22 )
E(Y) =  = 

E( yn1 ) E( yn 2 )
11 12
 
 =  21 22
 
E( ynq )  n1 n 2
1q 
2 q 
E( y1q ) 
E( y2 q )


nq 
On a également les propriétés suivantes :
Théorème 1.1.1 Espérance d'une fonction linéaire et de la trace d'une matrice
Si Y est une matrice aléatoire et A une matrice constante, alors
E(AY) = AE(Y).
et (si Y est carrée)
■
E[tr(Y))] = tr[E(Y)]
On s'attardera surtout sur le cas particulier d'un vecteur aléatoire
 y1 
y= 
 
 yn 
L'espérance µ = E(y) d'un vecteur aléatoire y est le vecteur des espérances :
 E( y1 )   1 

=  .
E(y) =  =

  
 E( yn )   n 
La matrice de covarianceΣ = Var(y) d'un vecteur aléatoire y d'espérance µ est une matrice  dont les
composantes sont les variances et les covariances :
 Var( y1) Cov( y1 ; y2 )
Cov( y1 ; y2 )
Var( y2 )
 = 
Cov( yn ; y1 ) Cov( y1 ; y2 )
Cov( y1; yn ) 
Cov( y2 ; yn )

Var( yn ) 
Page 1.2
MAT4081Chapitre 1 Loi normale multidimensionnelle
E[( y1  1 )( y2   2 )]
 E[( y1  1 )2 ]
E[( y2   2 )( y1  1 )]
E[( y2   2 )2 ]

=

E[( yn   n )( y1  1 )] E[( y1  1 )( y1  1 )]
E[( y1  1 )( yn   n )]
E[( y2   2 )( yn   n )]
E[( yn   n )2 ]


En termes matriciels,
Var(y) =  = E[(y-)(y-)’]
On désigne par ij la covariance Cov(yi ; yj) et par ii =  i2 la variance Var(yi). La matrice  s'écrit
donc
11 12
21 22
=

n1 n 2
1n 
 2n 

nn 
Vecteur partitionné
y
Soit y =  1  , une partition du vecteur y, μ = 1  une partition conforme de μ et  = 11 12 
 2 
 21  22 
 y2 
une partition conforme de .
Alors
11 = Var(y1), 22 = Var(y2), 12 = Cov(y1 ; y2), 21 = (12)' = Cov(y2 , y1) = E[(y1-1)(y2-2)’].
Théorème 1.1.2. Espérance et matrice de covariance d'une fonction linéaire d'un vecteur
Soit y un vecteur aléatoire n1 de moyenne µ et de matrice de covariance , L une matrice
np, M une matrice nq et a un vecteur p1. Alors
E(L'y + a) = L'µ + a, Var(L'y + a) = L'L,
(1.1.1)
et
Cov(L'y, M'y) = L'M
(1.1.2)
Remarque
Il est utile de noter la généralisation suivante de la propriété bien connue Var(X) = E(X2)-[E(X)]2 :
Var(y) = E(yy') - µµ'
(1.1.3)
Théorème 1.1.3. Espérance d'une forme quadratique
Si A est une matrice réelle symétrique, y un vecteur aléatoire de moyenne µ et de matrice de covariance , alors
E(y'Ay) = tr(AΣ) + µ'Aµ
(1.1.4)
1.2 La fonction de densité normale multidimensionnelle
Un vecteur aléatoire y' = [y1, ... , yn ] suit une loi normale de dimension n si sa fonction de densité est
donnée par:
f(y1 , … , yn) =
1er février 2012
1
(2)
n /2
||
1/2
1.2
1
e(1/ 2 )( y  ) ( y  )
M4081.01.Lois.H12
MAT4081Chapitre 1 Loi normale multidimensionnelle
Page 1.3
Le vecteur aléatoire y est alors de moyenne µ et de matrice de covariance Σ, et on écrit y ~ n(µ ; Σ).
Lorsque n = 1, on obtient la loi normale usuelle,
1
f(x) =
 2
e  ( x  )
2
/ 2 2
, - < x < 

On a E(y) =  xf ( x)dx = µ et Var(y) = (x-µ)2f(x)dx = E(y - µ)2 = 2.
Remarque. Cette définition suppose que la matrice de covariance  est non-singulière (auquel cas on dit
que la distribution est non singulière). La normalité multidimensionnelle peut cependant se définir
sans cette restriction, et les conclusions des théorèmes qui suivent s'appliquent même lorsque || = 0.
Dans ce cours nous allons nous restreindre aux lois normales non-singulières.
■
Distribution d'une fonction linéaire d'un vecteur normal
Une fonction linéaire d'un vecteur normal est normale. Plus précisément,
Théorème 1.2.1. Distribution d'une fonction linéaire d'un vecteur normal
Soit y ~ n(µ ; Σ) et L une matrice nq. Soit z = L'y. Alors
z ~ q(L'µ ; L'ΣL).
Remarque. Si  est non-singulière et L est de plein rang, alors la distribution de z est non-singulière.
Indépendance de variables normales
La covariance entre deux variables aléatoires indépendantes est nulle, mais deux variables dont la
covariance est nulle ne sont pas nécessairement indépendantes. Cependant, si X et Y suivent conjointement une loi normale, alors l'implication inverse (covariance nulle  indépendance) est vraie.
Voici l'énoncé général.
Théorème 1.2.2 Soit y ~ n(µ ; ) et supposons que y , µ et  sont partitionnés de façon
conformable :
y=
 yy 
1
2

 1 
   = 11 12
,  = 
2 
21
 22

(1.2.1)
Si 12 = 21 = 0, alors les vecteurs y1 et y2 sont stochastiquement indépendants1.
Théorème 1.2.3 Covariance entre deux fonctions linéaires d'un vecteur normal
Deux fonctions linéaires L1'y et L2'y d'un vecteur y ~ n(µ ; ) sont indépendantes si et
seulement si L1'L2 = 0.
Démonstration Soit L = (L1 ; L2) une matrice partitionnée qp. Nous supposerons que L est de
plein rang. Selon le théorème 1.2.4, le vecteur L'y ~(L'µ ; L'L). Mais
1
« Indépendants » dans le sens de deux variables aléatoires.
M4081.01.Lois.H12
1.3
1er février 2012
Page 1.4
MAT4081Chapitre 1 Loi normale multidimensionnelle

 
'
'
'
L' y = L'1 y , et  = L'1L1 L'1L2
L2L1 L2L2
L2 y

(1.2.2)
■
Le résultat découle du théorème 1.2.2
Exemple Soit y1, y2,…, yn, n variables aléatoires indépendantes de même moyenne μ et de même variance
σ2. Donc y ~(μ ; σ2I), où μ = μe. Nous allons montrer que le vecteur des différences [y1- y , y2- y ,
… , yn- y ]’ entre les observations et leur moyenne y est indépendant de y . La moyenne y s’écrit
e'
comme (e/n)’y =
y , où e est une colonne de « 1 », et le vecteur des différences est y - y e =
e 'e
e' y
e'
 ee ' 
 ee ' 
ye = I 
 y . L’indépendance entre e ' e y et I  e ' e  y découle alors du fait que
e
'
e
e 'e




e '  ee ' 
I
= 0.
e ' e  e ' e 
■
1.3 Lois marginales
La loi jointe de variables qui suivent chacune une loi normale univariée n'est pas nécessairement normale
multidimensionnelle. La réciproque, cependant, est vraie : si y suit une loi normale multidimensionnelle, alors
chacune de ses composantes suit une loi normale univariée. Plus généralement,
Théorème 1.3.1. Loi marginale d'un sous-vecteur d'un vecteur normal
Soit y ~ n(µ ; ) et considérons la partition (1.2.1), où y1 est de dimension n1. Alors
y1 ~
n1
(1; 11 ) .
Lois conditionnelles
La loi conditionnelle d'un sous-vecteur d'une normale multidimensionnelle est aussi normale :
Théorème 1.3.2 Loi conditionnelle d'un sous-vecteur d'une normale multidimensionnelle
Soit y ~ n(µ ; ) et considérons la partition (1.2.1). Alors la distribution conditionnelle de y2
étant donné y1 est normale, et
E(y2 | y1) = 2 + 21  221 (y2 - 2), Var(y2 | y1) = 22 - 21 111 12  
(1.3.2)
1.4 Transformations orthogonales
Si les composantes y1, ... , yn d'un vecteur y = (y1, ... , yn)' sont indépendantes, les composantes z1, ... ,
zm du vecteur z = L'y, fonction linéaire des yi, ne le sont généralement plus. Quelles sont les
transformations linéaires qui préservent l'indépendance ? Ce sont les transformations orthogonales.
Théorème 1.4.6 Soit y ~ n(µ ; 2In), P une matrice nm (m  n) dont les colonnes sont
orthonormales: P'P = Im. Soit z = P'y. Alors z ~ m(P'µ ; 2Im).
Quelles sont les transformations qui transforment des variables dépendantes en variables
indépendantes ? Considérons un vecteur y ~ n(µ ; ). La matrice , étant symétrique réelle peut
être diagonalisée par une matrice orthogonale P: P’P = D (ou  = PDP') pour une certaine matrice
diagonale D dont les composantes de la diagonale sont toutes non nulles. D a donc une « racine
carrée » D1/2. On a alors une transformation qui réduit le vecteur y en un vecteur z dont les
composante sont indépendantes et de variance 1.
1er février 2012
1.4
M4081.01.Lois.H12
MAT4081Chapitre 1 Loi normale multidimensionnelle
Page 1.5
Théorème 1.4.7 Transformation d'un vecteur normal en un vecteur de variables indépendantes
Si z = P'y, alors z ~ n(P'µ ; D), et donc les composantes de z sont indépendantes. Et si u =
D-½P'y, alors u ~ n(D-½P'µ ; In).
RÉSUMÉ
1
L’espérance d’une matrice ou d’un vecteur aléatoire Y est la matrice (le vecteur) des espérances de ses
composantes.
2
La matrice de covariance  = E[(y-)(y-)’] d’un vecteur aléatoire y de moyenne  est une matrice carrée
symétrique dont l’élément ij est la covariance entre la ie et la je composante de y. Les éléments de la
diagonale de  sont donc les variances des composantes de y.  est nécessairement semi définie positive;
elle est définie positive si et seulement si elle est non singulière.  est singulière s’il existe une fonction
linéaire a’y de variance nulle.
3
Soit y un vecteur aléatoire de moyenne µ et de matrice de covariance , L et M des matrices constantes.
Alors E(L'y + a) = L'µ + a, Var(L'y + a) = L'L, et Cov(L'y, M'y) = L'M. Si y est normale, L'y + a est
normale.
4
Si A est une matrice réelle symétrique, y un vecteur aléatoire de moyenne µ et de matrice de covariance ,
alors E(y'Ay) = tr(A) + µ'Aµ
5
 1 
  et de matrice de
Soit y' = [y1' ; y2'] un vecteur aléatoire normal partitionné de moyenne  = 
2 

covariance  =  11
 21
12 
. Alors E(y1 | y2) = 1 + 12  221 (y2 - 2), Var(y1 | y2) = 11 - 12  221 21.
 22 
y1 et y2 sont indépendants si et seulement si 12 = 21 = 0.
6
Soit u = D-½P'y, où P est une matrice orthogonale et D une matrice diagonale telle que  = PDP’. Alors u
~ n(D-½P'µ ; In).
M4081.01.Lois.H12
1.5
1er février 2012