Maximum de vraisemblance

S. Tisserant – Eléments de Statistique – 2009 2-1
Maximum de vraisemblance
A. Définition
La vraisemblance est utilisée pour construire des estimateurs de paramètres caractérisant une
loi de probabilité à partir d’un échantillon de mesures.
Considérons un échantillon x = {xi}i=1,…,n de n réalisations d’une variable aléatoire X. Nous
supposons que la loi de probabilité suivie par cette variable aléatoire dépend d’un ensemble
de paramètres que nous notons . Considérons la probabilité d’observer l’échantillon : P(x;).
L’échantillon étant fixé, c’est une fonction des paramètres que nous dénommons
vraisemblance :
);(P)( xθL
Le principe consiste à estimer les paramètres en cherchant les valeurs de  maximisant la
probabilité de l’échantillon donc la vraisemblance. C’est la méthode du maximum de
vraisemblance, proposée par R. Fisher dans les années 1920.
Si les réalisations sont indépendantes et que la densité de probabilité de la variable aléatoire
est p(x;), la vraisemblance s’écrit :
n
1i i);x(p);(P)( xθL
Dans la pratique on cherche souvent le maximum du logarithme de la vraisemblance. Le
logarithme étant monotone croissant c’est équivalent. Le produit précédent devient alors une
somme :
n
1i i);x(pln)(ln θL
L’intérêt de cette méthode réside dans le fait que sous des conditions générales peu
restrictives, un estimateur obtenu par maximum de vraisemblance possède les propriétés
suivantes :
- il est approximativement non biaisé ;
- il a approximativement la plus faible variance ;
- il suit approximativement une distribution normale.
D’autre part, si est l’estimateur de  obtenu par maximum de vraisemblance alors, pour
toute fonction h, la quantité
)(h 
est estimateur par maximum de vraisemblance de h().
A titre d’exemple et comme référence nous commençons par appliquer la méthode du
maximum de vraisemblance à l’estimation des deux paramètres d’une loi normale.

S. Tisserant – Eléments de Statistique – 2009 2-2
B. Estimation des paramètres d’une loi normale
B.1. Fonction de vraisemblance
Considérons un échantillon x = {xi}i=1,…,n de n réalisations indépendantes d’une variable
aléatoire suivant une loi normale de valeur moyenne µ et de variance 2 : N(µ, ). La
fonction de vraisemblance a pour expression :
n
1i 2
2
i
2
)µx(
exp
2
1
),µ(L
Soit :
n
1i 2
2
i
n
2
)µx(
exp2),µ(L
Prenons le logarithme, il vient à une constante additive près :
n
1i 2
2
i
2
)µx(
)ln(n),µ(lnln LL
B.2. Estimation de la valeur moyenne
Cherchons le maximum de la vraisemblance par rapport au paramètre µ. Dérivons la log-
vraisemblance par rapport à µ :
µnx
1
)µx(
µ
ln n
1i i
2
n
1i 2
i
L
Cela nous permet de déterminer l’optimum de la vraisemblance :
n
1i i0 x
n
1
µ0
µ
lnL
Cet optimum correspond à l’estimateur empirique de la moyenne. Nous avons pour le
maximum :
n
1i 2
2
0i
02
)µx(
)ln(n),µ(ln L
Nous avons vu que l’erreur sur l’estimateur empirique est :
n
µ

S. Tisserant – Eléments de Statistique – 2009 2-3
Calculons la valeur de la fonction de vraisemblance pour :
n
sµsµµ 0µ0s 
C’est-à-dire la valeur de la fonction de vraisemblance à s déviations standards de l’optimum.
n
1i 2
2
si
s2
)µx(
)ln(n),µ(ln L
Considérons la somme du terme de droite :
n
1i
2
0i
n
1i
2
si n
sµx)µx(S
Développons :
n
sn)µx(
n
s2)µx(S 2
2
n
1i 0i
n
1i
2
0i 
Soit :
22
n
1i
2
0i s)µx(S  
Reportons dans l’expression de la fonction de vraisemblance, il vient :
2
s
2
)µx(
)ln(n,
n
sµln 2
n
1i 2
2
0i
0
L
Soit :
2
s
),µ(ln,
n
sµln 2
00 
LL
En particulier :
2
1
),µ(ln,
n
µln 00  LL
A un écart standard de l’optimum le logarithme de la fonction de vraisemblance est diminué
de 1/2 par rapport au maximum.
Plaçons nous à l’optimum pour la valeur moyenne et cherchons le maximum par rapport au
second paramètre . Calculons la dérivée :

S. Tisserant – Eléments de Statistique – 2009 2-4
n
1i 3
2
0i )µx(
n
lnL
Soit :
n
)µx(
1
ln n
1i 2
2
0i
L
Celle-ci s’annule pour :
n
1i
2
0i
2
0)µx(
n
1
0
lnL
Nous retrouvons également l’estimateur empirique dont nous savons qu’il est biaisé.
Cependant lorsque n tend vers l’infini le biais tend vers 0 : l’estimateur est
approximativement non biaisé.
La fonction de vraisemblance a pour maximum :
n
1i 2
0
2
0i
000 2
)µx(
)ln(n),µ(ln L
 n
1i
2
0i
n
1i
2
0i
000
)µx(
n
1
2
)µx(
)ln(n),µ(ln L
Soit :
 2
1
)ln(n),µ(ln 000 L
Déterminons l’intervalle de confiance sur 0 : cherchons  tel que :
2
1
),µ(ln),µ(ln 000  LL
Posons :
)1(
0
La fonction de vraisemblance s’écrit :
n
1i 2
2
0
2
0i
00 )1(2
)µx(
)]1(ln[n),µ(ln L

S. Tisserant – Eléments de Statistique – 2009 2-5
n
1i 2
0
2
0i
2
00 2
)µx(
)1(
1
)]1(ln[n),µ(ln L
2
00 )1(2
n
)]1(ln[n),µ(ln  L
Nous supposons  petit, ce qui nous permet de faire des développements limités au deuxième
ordre :
)(o
2
)ln()]1(ln)ln()]1(ln[ 2
2
000 
)(o321
)1(
122
2
Reportons dans l’expression de la vraisemblance, il vient :
)321(
2
n
2
)ln(n),µ(ln 2
2
00 
L
2
00 n
2
1
)ln(n),µ(ln 
L
Nous reconnaissons le maximum :
2
000 n),µ(ln),µ(ln  LL
L’intervalle de confiance à un écart standard est donc défini par :
n2
1
2
1
n2
Ce qui nous donne pour l’erreur sur l’estimation de l’écart-type :
n20
C. Estimation d’un paramètre par maximum de vraisemblance
C.1. Estimation d’un paramètre
Résumons le principe d’estimation d’un paramètre  par la méthode du maximum de
vraisemblance, que nous avons suivi avec l’exemple de la loi normale. Après construction de