Cours estimation par maximum de vraisemblance Fichier

UEVE
Construction d’estimateurs : la méthode du maximum de vraisemblance
Soit Xune variable aléatoire de loi Pθ∗avec une densité Lθ∗(x)par rapport à une mesure dominante
dµ. On note Xl’ensemble des valeurs possibles pour X. La loi Pθ∗dépendant d’un paramètre θ∗in-
connu à valeurs dans un ensemble Θ. On cherche à estimer θ∗à partir d’un n-échantillon (X1,· · · , Xn)
de Xde loi Pθ∗.
La méthode du maximum de vraisemblance consiste à à estimer θ∗par la valeur de θqui rend l’échan-
tillon observé le plus vraisemblable. On va donc chercher la valeur de θqui donne à l’échantillon qui a
été observé la plus grande probabilité possible si Xest une variable aléatoire discrète, ou la plus grande
densité si Xest une variable aléatoire continue, c’est-à dire la plus grande vraisemblance, et à choisir
cette valeur pour estimer θ∗, d’où son nom. Cette méthode permet de construire des estimateurs qui
ont, en général de bonnes propriétés, dès que nest grand, et qui sont optimaux.
La vraisemblance
Considérons X1,· · · , Xnnvariables aléatoires de même loi Pθ∗. On suppose que cette loi admet
une densité Lθ∗par rapport à la mesure dominante µ(.)avec
P(X∈A) = ZA Lθ∗(x)µ(dx).
De la même façon la densité du n-uplet (X1,· · · , Xn)notée Lθ∗(x1,· · · , xn)satisfait
P((X1,· · · , Xn∈A) = ZA Lθ∗(x1,· · · , xn)µ(dx1) · · · µ(dxn).
Si les variables Xi,i= 1,· · · , n sont indépendantes et identiquement distribuées (i.i.d.), la loi du
n-uplet (X1,· · · , Xn)est Lθ∗(x1,· · · , xn)satisfaisant la relation
Lθ∗(x1,· · · , xn)=Πn
i=1Lθ∗(xi).(∗)
Définition 1 On appelle vraisemblance de (X1,· · · , Xn), la variable aléatoire (fonction de θet des
variables aléatoires Xi,i= 1,· · · , n)
Ln(θ) = Lθ(X1,· · · , Xn).(1)
Si les variables (X1,· · · , Xn)sont i.i.d., d’après (*), on a
Ln(θ) = Lθ(X1,· · · , Xn) =
n
Y
i=1
Lθ(Xi).
Vraisemblance pour un échantillon de loi discrète
Soient (X1,· · · , Xn)un n-échantillon de loi Pθ∗discrète. La mesure dominante est alors la mesure
de comptage avec
P(X∈A) = X
x∈A
P(X=x).
La densité par rapport à cette mesure est donc est caractérisée par Lθ∗(x) = P(X=x). La loi de
(X1,· · · , Xn)est alors donnée par
P(X1=x1∩ · · · ∩ Xn=xn).
Puisque les variables aléatoires X1,· · · , Xnsont indépendantes, nous avons
P(X1=x1∩X2=x2∩ · · · ∩ Xn=xn) =
n
Y
i=1
P(Xi=xi) =
n
Y
i=1
Lθ∗(xi).(2)
La vraisemblance est la variable aléatoire
Ln(θ) =
n
Y
i=1
Lθ(Xi)où Lθ∗(x) = P(X=x).
1

Vraisemblance pour un échantillon de loi continue
Soient X1,· · · , Xnun n-échantillon de loi absolument continue (par rapport à la mesure de Les-
besgue). Les variables admettent donc une densité Lθ∗(xi)avec
P(X∈A) = ZA Lθ∗(x)dx.
La variable aléatoire Xa pour densité Lθ∗(x)pour x∈ X . La loi de (X1,· · · , Xn)est déterminée par
sa densité, qui d’après l’indépendance des v.a. X1,· · · , Xn, est donnée par
fθ∗(x1, x2,· · · , xn) =
n
Y
i=1
Lθ∗(xi).
La vraisemblance est la variable aléatoire
Ln(θ) =
n
Y
i=1
Lθ(Xi)où Lθ∗est la densité de X.
Propriétés de la vraisemblance
Notons θ∗∈Rdla vraie valeur du paramètre, `θ= log(Lθ) = ln(Lθ)) et
(˙ `θ)i=∂
∂θi
log(Lθ)et (¨ `θ)i,j =∂2
∂θi∂θj
log(Lθ)
Sous de bonnes conditions de régularité, et en utilisant que RLθ∗(x)µ(dx)=1, on a
0 = Z˙ Lθ∗(x)µ(dx) = Z˙
Lθ∗(x)
Lθ∗(x)Lθ∗(x)µ(dx) = Eθ∗(˙
`θ∗(X)),
où ˙ Lθ(x)désigne la dérivée première par rapport à θet où Eθ∗(Ψ(X)) = RΨ(x)Lθ∗(x)µ(dx).
Propriété 1 Sous de bonnes conditions de régularité,
Eθ∗(˙ `θ∗(X)) = 0.
De la même façon,
0 = Z¨ Lθ∗(x)µ(dx) = Z¨
Lθ∗(x)
Lθ∗(x)Lθ∗(x)µ(dx).
Par conséquent, on en déduit la propriété suivante :
Propriété 2
Eθ∗¨ `θ∗(X)=−Eθ∗(˙ `0
θ∗(X))( ˙
`0
θ∗(X))T.
Enfin on peut montrer que
Propriété 3
Eθ∗(˙ `θ(X)) >0si θ < θ∗et Eθ∗(˙ `θ(X)) <0si θ > θ∗.
La conséquence de ces propriétés est que θ∗est la valeur qui maximise θ7→ Eθ∗(`θ(X)). On propose
donc d’estimer θ∗par
b
θ= arg max
θLn(θ) = arg max θ
1
n`n(θ),
où `n(θ)est la log-vraisemblance définie (quand elle existe) par
`n(θ) = log(Ln(θ)).(3)
Si les variables Xisont indépendantes, on a
`n(θ) = log(Ln(θ)) =
n
X
i=1
`θ(Xi) =
n
X
i=1
log(Lθ(Xi)).
Dans ce cas,
b
θ= arg max
θLn(θ) = arg max θ
1
n`n(θ) = arg max
θ
1
n
n
X
i=1
`θ(Xi).
2

La méthode du maximum de vraisemblance
On choisit comme estimation de θ∗, celle qui donne à l’échantillon observé la plus grande vraisem-
blance, c’est-à dire on suppose que ce que l’on a observé est le plus probable. On choisit alors comme
estimateur de θ∗la valeur de θqui maximise la vraisemblance.
Définition 2 On dit que b θnest un estimateur du maximum de vraisemblance de θ(EMV) si b θn
maximise (en θ) la vraisemblance Ln(θ)(définie par (1)), c’est-à-dire tel que
Ln(b θn)≥Ln(θ)pour tout θ∈Θ.(4)
Principe du maximum de vraisemblance
1. Déterminer la loi de (X1,· · · Xn)(en utilisant éventuellement l’indépendance des Xi).
2. Calculer l’expression de la vraisemblance Ln(θ).
3. On cherche ensuite la valeur de θ, notée b θtelle que
Ln(b θ)≥Ln(θ),pour tout θ∈Θ.
Deux cas peuvent se produire.
a) La fonction θ7→ Ln(θ)ne s’annule pas sur un domaine dépendant de θ. Dans ce cas, on
calcule la log-vraisemblance, sur le domaine où la vraisemblance ne s’annule pas, `n(θ) =
log (Ln(θ)). En effet, les 2 fonctions ont les mêmes maxima car la fonction x→log(x) =
ln(x)est strictement croissante. Si par ailleurs la fonction θ7→ `n(θ)est de classe C2, alors
b
θqui maximise la log-vraisemblance satisfait
∂
∂θ `n(b
θ)=0,et ∂2
∂θ2`n(b
θ)est définie négative.
L’estimateur du Maximum de Vraisemblance est alors b θsolution des équations précédentes.
b) La fonction θ7→ Ln(θ)s’annule sur un domaine dépendant de θet/ ou n’est pas de classe C2.
Dans ce cas il faut tracer le graphe de la fonction θ7→ Ln(θ)et déterminer graphiquement
b
θ.
4. Remplacer (X1,· · · , Xn)par sa réalisation (x1,· · · , xn)dans b θnpour obtenir l’estimation par
maximum de vraisemblance de θ.
Exemple : estimation du paramètre d’une loi de Bernoulli
Soit (X1,· · · , Xn)un n-échantillon de la loi B(θ∗), avec 0< θ∗<1.Θ = [0,1]. L’ensemble des
valeurs possibles xide Xiest X={0,1}(indépendant de θ). On a P(Xi= 1) = θ∗et P(Xi= 0) =
1−θ∗. On peut donc écrire
P(Xi=xi) = (θ∗)xi(1 −θ∗)1−xi=Lθ∗(xi)avec xi= 0 ou 1
En utilisant l’indépendance des variables Xi,i= 1 · · · , n, on a
P(X1=x1, X2=x2,· · · , Xn=xn) = P(X1=x1)P(X2=x2). . . P (Xn=xn)
= (θ∗)Pn
i=1 xi(1 −θ∗)n−Pn i=1 xi
Ainsi, la vraisemblance d’un n-échantillon de loi B(θ∗)est
θ7→ Ln(θ) = θPn
i=1 Xi(1 −θ)n−Pn i=1 Xi
que l’on cherche à maximiser en θ. Dès que θ∈]0,1[, la log-vraisemblance existe et est de classe C2. La
log-vraisemblance est
`n(θ) = log (Ln(θ)) = n
X
i=1
Xi!log θ+ n−
n
X
i=1
Xi!log (1 −θ)
3

Pour trouver le maximum de la log-vraisemblance, on dérive en θ:
∂
∂θ `n(θ) = Pn
i=1 Xi
θ−n−Pn
i=1 Xi
1−θ
On annule la dérivée première
∂
∂θ `n(θ)θ=b
θ
= 0 ⇐⇒ b θ=Pn
i=1 Xi
n=¯
X
On vérifie que ¯ Xest bien le point où la vraisemblance est maximum en montrant que la dérivée seconde
est négative
∂2
∂θ2`n(θ) = −Pn
i=1 Xi
θ2−n−Pn
i=1 Xi
(1 −θ)2<0 (car
n
X
i=1
Xi≤n).
En conclusion, ¯ X=n−1Pn
i=1 Xiest l’estimateur du maximum de vraisemblance de θet ¯x=
n−1Pn
i=1 xiest l’estimation par maximum de vraisemblance de θ.
4