Détermination d`une statistique exhaustive

Université de Toulon Éléments de statistique inférentielle
Master 1 Informatique Solution TD2 : Durée 1h30, 2014/2015
Détermination d’une statistique exhaustive
Loi de Poisson
La loi de Poisson est une loi de probabilité discrète qui décrit le comportement du nombre d’évène-
ments se produisant dans un laps de temps fixé, si ces évènements se produisent avec une fréquence
moyenne connue et indépendamment du temps écoulé depuis l’évènement précédent. Si le nombre
moyen d’occurrences dans cet intervalle est λ(le paramètre de la loi), alors la probabilité qu’il
existe exactement xoccurrences (x∈N) est
pX(x;λ) = P(X=x) = e−λλx
x!(1)
Étant donné un échantillon i.i.d. (X1, . . . , Xn)généré suivant une loi de Poisson de paramètre
inconnu λ,pX(x;λ), donnez une statistique exhaustive pour λ.
Solution
La loi jointe pour l’échantillon i.i.d. (x1, . . . , xn)est donnée par :
p(x1, . . . , xn;λ) =
n
Y
i=1
p(xi;λ)(2)
=
n
Y
i=1
[e−λλxi
xi!](3)
=λPn
i=1 xie−nλ 1
Qn
i=1 xi!(4)
=λPn
i=1 xie−nλ
| {z }
u(T(x1,...,xn);θ)
1
Qn
i=1 xi!
| {z }
v(x1,...,xn)
(5)
A partir de ce résultat, et d’après le théorème de factorisation (critère de Fisher-Neyman), on a :
Pn
i=1 Xiest une statistique exhaustive pour λ.
Famille exponentielle
Une densité de probabilité (ou loi de probabilité dans le cas de v.a. discrètes) f(x;θ)appartient à
la famille exponentielle si f(x;θ)peut s’écrire sous la forme
f(x;θ) = exp[η(θ)T(x) + a(θ) + b(x)] (6)
Soit Xune variable aléatoire de densité f(x;θ)appartenant à la famille exponentielle. En déduire
une statistique exhaustive pour le paramètre θpour un échantillon i.i.d. (X1, . . . , Xn)
Solution
1

La densité jointe pour les observations i.i.d. x= (x1, . . . , xn)est donnée par :
f(x;θ) =
n
Y
i=1
f(xi;θ)(7)
=
n
Y
i=1
exp[η(θ)T(x) + a(θ) + b(x)] (8)
= exp "n
X
i=1
(η(θ)T(xi) + a(θ) + b(xi))#(9)
= exp "n
X
i=1
η(θ)T(xi) + n a(θ)#
| {z }
u(T(x1,...,xn);θ)
exp "n
X
i=1
b(xi)#
| {z }
v(x1,...,xn)
(10)
A partir de ce résultat, et d’après le théorème de factorisation (critère de Fisher-Neyman), on a :
Pn
i=1 T(xi)est une statistique exhaustive pour θ.
Estimateurs et détermination de la Borne Inférieure de Cramér-
Rao (CRLB)
Soit Xune v.a. uni-variée à densité normale :
f(X;µ, σ2) = 1
σ√2πe−1
2(X−µ σ)2.
1. Calculer la CRLB pour un estimateur sans biais de l’espérance µ(variance σ2connue)
La moyenne empirique ¯ Xest un estimateur de l’espérance µ(démo en prochain TD),
2. Montrer qu’il est sans biais
3. En déduire qu’il est efficace
4. Calculer la CRLB pour un estimateur sans biais de la variance σ2(espérance µconnu)
5. La variance empirique S2est un estimateur biaisé de la variance σ2(démo en prochain TD),
de variance 2σ4
n−1, en déduire son efficacité.
Solution
1. On a
ln f(X;µ) = ln 1
σ√2πe−1
2(X−µ σ)2(11)
= ln 1
σ√2π−1
2X−µ σ2
.(12)
et
∂ln f(X;µ)
∂µ =1 σ2X−µ σ(13)
∂ln f(X;µ)
∂µ 2
=1
σ4X−µ σ2
(14)
Ainsi
E"∂ln f(X;µ)
∂µ 2#=1 σ4Eh(X−µ)2i=1 σ4σ2=1 σ2(15)
La CRLB pour l’estimateur de µest donc
CRLB =1
nE∂ln f(X;µ)
∂µ 2=σ2
n(16)
2

2. on a E[¯ X] = E[1
nPn
i=1 Xi] = 1
nPn
i=1 E[Xi] = µ. L’estimateur ¯
Xest donc sans biais.
3. Ensuite, on a Var( ¯ X) = Var( 1
nPn
i=1 Xi) = 1
n2Pn
i=1 Var(Xi) = 1
n2nσ2=σ2 n
Puisque la variance de ¯ Xest σ2
n, il est donc à variance minimale pour µquand la v.a. Xest
a densité normale N(µ, σ2)
4. Soit θ=σ2, on a
ln f(X;θ) = ln 1
√θ2πe−1
2
(X−µ)2
θ(17)
=−1
2ln 2πθ −1 2
(X−µ)2
θ.(18)
et
∂ln f(X;θ)
∂θ =−1 2θ+(X−µ)2 2θ2(19)
∂2ln f(X;θ)
∂2θ=1 2θ2−(X−µ)2 θ3(20)
(21)
Ainsi
E∂2ln f(X;θ)
∂2θ=1 2θ2−
Eh(X−µ)2i
θ3=1 2θ2−θ θ3=−1 2θ2=−1 2σ4(22)
La CRLB pour l’estimateur de σ2est donc donnée par 1
CRLB =−1
nEh∂2ln f(X;µ)
∂2θi=2σ4
n(23)
5. On a Var(S2) = 2σ4
ndonc l’efficacité de S2est donnée par :
e(S2) = CRLB
Var(S2)=2σ4/n 2σ4/(n−1) =n−1 n
S2n’est donc pas un estimateur efficace pour σ2(car e(S2)<1). Cependant, S2est asymp-
totiquement efficace car
lim
n→+∞e(S2) = 1
1. BRemarque : ici on a utilisé la deuxième forme de la CRLB
3