Détermination d`une statistique exhaustive

Université de Toulon
Master 1 Informatique
Éléments de statistique inférentielle
TD2 : Durée 1h30, 2014/2015
Solution
Détermination d’une statistique exhaustive
Loi de Poisson
La loi de Poisson est une loi de probabilité discrète qui décrit le comportement du nombre d’évènements se produisant dans un laps de temps fixé, si ces évènements se produisent avec une fréquence
moyenne connue et indépendamment du temps écoulé depuis l’évènement précédent. Si le nombre
moyen d’occurrences dans cet intervalle est λ (le paramètre de la loi), alors la probabilité qu’il
existe exactement x occurrences (x ∈ N) est
pX (x; λ) = P (X = x) = e−λ
λx
x!
(1)
Étant donné un échantillon i.i.d. (X1 , . . . , Xn ) généré suivant une loi de Poisson de paramètre
inconnu λ, pX (x; λ), donnez une statistique exhaustive pour λ.
Solution
La loi jointe pour l’échantillon i.i.d. (x1 , . . . , xn ) est donnée par :
p(x1 , . . . , xn ; λ)
=
=
n
Y
p(xi ; λ)
i=1
n
Y
[e−λ
i=1
Pn
= λ
i=1
(2)
λxi
]
xi !
xi −nλ
e
(3)
1
Qn
i=1
=
xi !
1
} Qn xi !
i=1
u(T (x1 ,...,xn );θ) | {z }
Pn
|λ
xi −nλ
{z e
i=1
(4)
(5)
v(x1 ,...,xn )
A
Pnpartir de ce résultat, et d’après le théorème de factorisation (critère de Fisher-Neyman), on a :
i=1 Xi est une statistique exhaustive pour λ.
Famille exponentielle
Une densité de probabilité (ou loi de probabilité dans le cas de v.a. discrètes) f (x; θ) appartient à
la famille exponentielle si f (x; θ) peut s’écrire sous la forme
f (x; θ) = exp[η(θ)T (x) + a(θ) + b(x)]
(6)
Soit X une variable aléatoire de densité f (x; θ) appartenant à la famille exponentielle. En déduire
une statistique exhaustive pour le paramètre θ pour un échantillon i.i.d. (X1 , . . . , Xn )
Solution
1
La densité jointe pour les observations i.i.d. x = (x1 , . . . , xn ) est donnée par :
f (x; θ)
=
=
n
Y
i=1
n
Y
f (xi ; θ)
(7)
exp[η(θ)T (x) + a(θ) + b(x)]
(8)
i=1
=
=
exp
exp
" n
X
i=1
" n
X
#
(η(θ)T (xi ) + a(θ) + b(xi ))
"
#
η(θ)T (xi ) + n a(θ) exp
n
X
#
b(xi )
(10)
i=1
i=1
{z
|
(9)
}|
u(T (x1 ,...,xn );θ)
{z
v(x1 ,...,xn )
}
A
Pnpartir de ce résultat, et d’après le théorème de factorisation (critère de Fisher-Neyman), on a :
i=1 T (xi ) est une statistique exhaustive pour θ.
Estimateurs et détermination de la Borne Inférieure de CramérRao (CRLB)
Soit X une v.a. uni-variée à densité normale :
f (X; µ, σ 2 ) =
1 X−µ 2
1
√
e− 2 ( σ ) .
σ 2π
1. Calculer la CRLB pour un estimateur sans biais de l’espérance µ (variance σ 2 connue)
La moyenne empirique X̄ est un estimateur de l’espérance µ (démo en prochain TD),
2. Montrer qu’il est sans biais
3. En déduire qu’il est efficace
4. Calculer la CRLB pour un estimateur sans biais de la variance σ 2 (espérance µ connu)
5. La variance empirique S 2 est un estimateur biaisé de la variance σ 2 (démo en prochain TD),
2σ 4
de variance n−1
, en déduire son efficacité.
Solution
1. On a
ln f (X; µ)
=
=
1 X−µ 2
1
ln √
e− 2 ( σ )
σ 2π
2
1
1 X −µ
ln √
−
.
2
σ
σ 2π
(11)
(12)
et
∂ ln f (X; µ)
∂µ
2
∂ ln f (X; µ)
∂µ
=
1
σ2
1
σ4
=
X −µ
σ
X −µ
σ
2
(13)
(14)
Ainsi
"
E
∂ ln f (X; µ)
∂µ
2 #
i
1 h
1
1
2
= 4 σ2 = 2
E
(X
−
µ)
σ4
σ
σ
=
(15)
La CRLB pour l’estimateur de µ est donc
σ2
2 = n
∂ ln f (X;µ)
1
CRLB =
nE
∂µ
2
(16)
2. on a E[X̄] = E[ n1
3.
Pn
Xi ] =
1
n
Pn
i=1 E[Xi ] = µ. L’estimateur X̄ est donc sans biais.
Pn
Pn
2
1
Ensuite, on a Var(X̄) = Var( n i=1 Xi ) = n12 i=1 Var(Xi ) = n12 nσ 2 = σn
2
Puisque la variance de X̄ est σn , il est donc à variance minimale pour µ quand la v.a.
2
i=1
X est
a densité normale N (µ, σ )
4. Soit θ = σ 2 , on a
ln f (X; θ)
2
1 (X−µ)
1
e− 2 θ
θ2 π
2
1
1 (X − µ)
= − ln 2πθ −
.
2
2
θ
ln √
=
(17)
(18)
et
2
∂ ln f (X; θ)
∂θ
2
∂ ln f (X; θ)
∂2θ
1
(X − µ)
+
2θ
2θ2
2
(X − µ)
1
−
2θ2
θ3
= −
(19)
=
(20)
(21)
Ainsi
E
2
∂ ln f (X; θ)
∂2θ
=
1
−
2θ2
h
i
2
E (X − µ)
θ3
=
1
θ
1
1
− 3 =− 2 =− 4
2
2θ
θ
2θ
2σ
(22)
La CRLB pour l’estimateur de σ 2 est donc donnée par 1
1
CRLB = −
nE
5. On a Var(S 2 ) =
2σ 4
n
h
∂ 2 ln f (X;µ)
∂2θ
i=
2σ 4
n
(23)
donc l’efficacité de S 2 est donnée par :
e(S 2 ) =
CRLB
2σ 4 /n
n−1
=
=
2
4
Var(S )
2σ /(n − 1)
n
S 2 n’est donc pas un estimateur efficace pour σ 2 (car e(S 2 ) < 1). Cependant, S 2 est asymptotiquement efficace car
lim e(S 2 ) = 1
n→+∞
1. B Remarque : ici on a utilisé la deuxième forme de la CRLB
3