Maximum de vraisemblance : Cours de statistique

X(Ω,F,P)
fX(x;θ), x ∈X(Ω) θ∈Θ Θ
θ θ
(X1,··· , Xn)
X(x1,··· , xn)x
(x1,··· , xn)

Ln: Θ ×X(Ω)n−→ R+
(θ;x1,··· , xn)7−→ Ln(θ;x1,··· , xn) =
n
Q
i=1
fX(xi;θ)
(x1,··· , xn)
ln: Θ ×X(Ω)n−→ R
(θ;x1,··· , xn)7−→ ln(θ;x1,··· , xn) =
n
P
i=1
ln fX(xi;θ)
D
1/θ θ
(D1,··· , Dn)D
(d1,··· , dn)
Ln(θ;d1,··· , dn) =
n
Y
i=1
fX(di;θ) =
n
Y
i=1 1
θexp −di θ=θ−nexp −1 θ
n
X
i=1
di!
(d1,··· , dn)
ln(θ;d1,··· , dn) =
n
X
i=1
ln fD(di;θ) =
n
X
i=1 −ln(θ)−di
θ=−nln(θ)−1 θ
n
X
i=1
di
Ln(θ;x1,··· , xn)≡Ln(θ;x)≡Ln(θ)≡L(θ)
ln(θ;x1,··· , xn)≡ln(θ;x)≡ln(θ)≡l(θ)
Y
X
Y=h(X;θ) + 
θ h 
Y X

(yi, xi)i= 1,··· , n
Y X =x
fY|X(y|x;θ)≡fY(y|X=x;θ)≡fY(y|x)
(yi, xi)i= 1,··· , n
Ln(θ;y|x) =
n
Y
i=1
fY|X(yi|xi;θ)
ln(θ;y|x) =
n
X
i=1
ln fY|X(yi|xi;θ)
fY|X(yi|xi;θ)Yi
Xi=xi
Yi=X>
iβ+i, i = 1,··· , n
i∼N(0, σ2)
YiXi=xiYi|xi∼N(x>
iβ, σ2)
Yi
fY|X(yi|xi;θ) = 1
σ√2πexp −(yi−x>
iβ)2
2σ2
θ= (β, σ2)
Ln(θ;y|x) =
n
Q
i=1
fY|X(yi|xi;θ)
=
n
Q
i=1 1
σ√2πexp −(yi−x>
iβ)2
2σ2
= (σ22π)−n/2exp −1
2σ2
n
P
i=1
(yi−x>
iβ)2
ln(θ;y|x) = −n
2ln(σ2)−n 2ln(2π)−1 2σ2
n
X
i=1
(yi−x>
iβ)2.

θ
(x1,··· , xn)θ θ∗θ6=θ∗
(x1,··· , xn)
ˆ
θ
θ∈Θˆ
θ:= arg max
θ∈Θ
ln(θ;x)
X
N∗θ θ ∈]0,1[
X
fX(x;θ) = θ(1 −θ)x−1;∀x∈ {1,2,3,···}.
(x1,··· , xn)Xi
X
(x1,··· , xn)
ln(θ;x) =
n
X
i=1
ln fX(xi;θ) = nln θ+
n
X
i=1
(xi−1) ln(1 −θ)
ˆ
θ
ˆ
θ:= arg max
θ∈]0,1[
ln(θ;x)
∂ln(θ;x)
∂θ =n θ−1 1−θ
n
X
i=1
(xi−1)
∂ln(θ;x)
∂θ ˆ
θ
=n
ˆ
θ−1 1−ˆ θ
n
X
i=1
(xi−1) = 0
ˆ
θ=n
n
P
i=1
xi
=1
¯xn
.

∂2ln(θ;x)
∂θ2=−n θ2−1 (1 −θ)2
n
X
i=1
(xi−1)
−n
θ2−1 (1 −θ)2
n
X
i=1
(xi−1)ˆ
θ
=−n
ˆ
θ2(1 −ˆ θ)<0
θ
ˆ
θ=1
¯
Xn
ˆ
θ(x) = 1
¯xn
.
(Y1,··· , Yn)Yi∼N(m, σ2)
m σ2
θ= (m, σ2)>
(y1,··· , yn)ˆ θ
ˆ
θ= arg max
θ∈R×R+
ln(θ;y)
ln(θ;y) = −n
2ln(σ2)−n 2ln(2π)−1 2σ2
n
X
i=1
(yi−m)2.
∂ln(θ;y)
∂θ =∂ln(θ;y) ∂m ,∂ln(θ;y) ∂σ2>= 1 σ2
n
X
i=1
(yi−m),−n
2σ2+1 2σ4
n
X
i=1
(yi−m)2!>
∂ln(θ;y)
∂θ ˆ
θ
= 1
ˆσ2
n
X
i=1
(yi−ˆm),−n
2ˆσ2+1 2ˆσ4
n
X
i=1
(yi−ˆm)2!> = (0,0)>.
ˆ
θ= ( ˆm, ˆσ2)>
ˆm=1
n
n
X
i=1
yi= ¯ynˆσ2=1
n
n
X
i=1
(yi−¯yn)2.
∂2ln(θ;y)
∂θ∂θ>="∂2ln(θ;y)
∂m2
∂2ln(θ;y)
∂m∂(σ2)
∂2ln(θ;y)
∂(σ2)∂m
∂2ln(θ;y)
∂(σ2)2#=
−n
σ2
1
σ4
n
P
i=1
(yi−m)
1
σ4
n
P
i=1
(yi−m)n
2σ4−1 σ6
n
P
i=1
(yi−m)2