3.3 Propriétés des estimateurs

L1 - E LÉMENTS DE S TATISTIQUE
Cours 8
3.3
Propriétés des estimateurs
Biais d’un estimateur
Définition 17 – Soit ( X 1 , · · · , X n ) un n-échantillon de v.a. de la loi Pθ et
g( X 1 , · · · , X n ) un estimateur de θ .
On dit que g( X 1 , · · · , X n ) est un estimateur sans biais (esb) de θ ssi
h
i
E g( X 1 , · · · , X n ) = θ .
¯
¯
¯
¯
On note b n (θ ) = ¯ g( X 1 , · · · , X n ) − θ ¯ le biais de l’estimateur.
Exemple :
Soit un n-échantillon de loi normale de paramètres (µ, σ2 ). Nous
avons vu précédemment en utilisant la méthode des moments, que µ̂ = X n et
n
1X
2
X i2 − X n sont respectivement des estimateurs de µ et σ2 .
σ̂2 =
n i =1
• µ̂ est-il sans biais ?
Calculons E (µ̂).
E (µ̂) = E ( X n ) =
n
1X
1
E ( X i ) = ( n µ) = µ.
n i =1
n
µ̂ est donc un estimateur sans biais.
• σ̂2 est-il sans biais ?
Ã
!
n
n
X
1
1X
2
2
X i2 − X n =
E ( X i2 ) − E ( X n ).
E (σ̂2 ) = E
n i =1
n i =1
On sait que : E ( X i2 ) = σ2 + µ2 puisque σ2 = E ( X i2 ) − [E ( X i )]2 .
2
E( X n )
=
"
#
n
X
1 X
2
E ( X i )E ( X j ) +
E( X i )
n2 i6= j
i =1
1
[ n( n − 1)µ2 + n(µ2 + σ2 )]
n2
σ2
= µ2 +
.
n
=
56
C HAPITRE 3. E STIMATION P ONCTUELLE
d’où
E (σ̂2 ) = µ2 + σ2 − µ2 −
σ2
n
=
n−1 2
σ .
n
L’estimateur proposé n’est donc pas sans biais.
Remarquons que l’on peut construire un estimateur sans biais en considérant :
n
σ̂2 .
n−1 n
Définition 18 – Soit ( X 1 , · · · , X n ) un n-échantillon de v.a. de la loi Pθ et
g( X 1 , · · · , X n ) un estimateur de θ .
On dit que g( X 1 , · · · , X n ) est un estimateur asymptotiquement sans biais
ssi
h
i
lim E g( X 1 , · · · , X n ) = θ .
n→+∞
Exemple :
L’estimateur de la variance σ̂2 est un estimateur asymptotique-
ment sans biais.
En effet,
µ
¶
1 2
1−
σ = σ2 .
n→+∞
n
lim E (σ̂2 ) = lim
n→+∞
Considérons ( X 1 , · · · , X n ) un n-échantillon de v.a. iid. Toute statistique de cet
échantillon i.e. toute fonction, en particulier tout estimateur de ( X 1 , · · · , X n )
est une variable alétoire. Il semble alors naturel de s’intéresser à la loi de la
v.a. g( X 1 , · · · , X n ).
On sent intuitivement que la qualité de l’estimation va dépendre du nombre
d’observations.
Nous allons donc étudier le comportement de g( X 1 , · · · , X n ) en fonction de n,
la quantité d’observations.
Consistance
On dit qu’une suite de v.a. Yn converge en probabilité vers Y ssi
∀ξ > 0 ,
lim P (|Yn − Y | > ξ) = 0.
n→+∞
57
L1 - E LÉMENTS DE S TATISTIQUE
Définition 19 – Soit ( X 1 , · · · , X n ) un n-échantillon iid de Pθ , θ ∈ Θ. Soit g( X 1 , · · · , X n )
une statistique.
On dit que g( X 1 , · · · , X n ) est consistant ssi g( X 1 , · · · , X n ) converge en probabilité vers θ .
On note :
P
g( X 1 , · · · , X n ) −→ θ .
Un exemple classique d’estimateur consistant est X n pour estimer l’espérance mathématique.
On a le théorème suivant :
Théorème 1 – Soit ( X 1 , · · · , X n ) un n-échantillon iid de loi Pθ , θ ∈ Θ et tel que
µ = E ( X i ) < +∞.
Alors X n est un estimateur sans biais et consistant de µ.
Preuve : Montrons que X n est consistant i.e. converge en probabilité. Il
s’agit de montrer que
∀ξ > 0, lim P (| X n − µ| > ξ) = 0,
n→+∞
Ce résultat se démontre en appliquant l’inégalité de Tchebychev que l’on
donne ci-dessous.
Inégalité de Tchebychev – Soit Y une variable aléatoire d’espérance et de
variance finies.
Alors :
∀ε > 0 , P (|Y − EY | > ε) ≤
Preuve :
V arY
ε2
Cette inégalité se déduit de l’inégalité de Markov.
58
(3.1)
C HAPITRE 3. E STIMATION P ONCTUELLE
Inégalité de Markov – Soit X une variable aléatoire positive d’espérance
finie.
Alors :
∀δ > 0, P ( X > δ) ≤
E( X )
.
δ
(3.2)
qui s’obtient en écrivant :
E( X ) =
Z+∞
−∞
x f X ( x) dx ≥
Z+∞
δ
δ f X ( x) dx ≥ δ P ( X > δ).
Si on pose X = |Y − E (Y )|2 , en appliquant l’inégalité de Markov, il vient :
P (|Y − E (Y )|2 > δ) ≤
V ar (Y )
δ
d’où
P (|Y − E (Y )| >
On pose ε =
p
V ar (Y )
.
δ) ≤
δ
p
δ et on obtient l’inégalité de Tchebychev.
Appliquons cette inégalité à X n et posons V ar ( X i ) = σ2 .
On a :
∀ξ, P (| X n − µ| > ξ) ≤
puisque
V ar ( X n ) σ2
,
=
ξ
nξ
³ ´ 1 X
n
σ2
V ar X n = 2
.
V ar ( X i ) =
n
n i =1
En passant à la limite de part et d’autre de l’inégalité, il vient :
∀ξ, lim P (| X n − µ| > ξ) = 0,
n→+∞
Ce qui montre que X n est consistant pour estimer µ.
59
L1 - E LÉMENTS DE S TATISTIQUE
Consistance en moyenne quadratique
Définition 20 – Soit X = ( X 1 , · · · , X n ) un n-échantillon de v.a. iid de loi Pθ ,
θ ∈ Θ. Soit g n ( X ) une statistique de X .
On dit que g n ( X ) est un estimateur consistant en moyenne quadratique
de θ ssi
h
i
lim E ( g n ( X ) − θ )2 = 0, ∀θ ∈ Θ.
n→+∞
h
i
La quantité E ( g n ( X ) − θ )2 est appelée l’erreur quadratique de l’estima-
teur.
Le théorème suivant est un outil pour montrer la convergence en moyenne
quadratique d’un estimateur.
Théorème 2 – g n ( X ) est consistant en moyenne quadratique ssi
(i)
h
i
lim V ar g n ( X ) = 0
n→+∞
(ii) g n ( X ) est asymptotiquement sans biais.
Preuve :
´
h
i h
i2
³
Par définition, V ar g n ( X ) − θ = E ( g n ( X ) − θ )2 − E ( g n ( X ) − θ ) .
On en déduit :
h
i
³
´ h
i2
E ( g n ( X ) − θ )2
= V ar g n ( X ) − θ + E ( g n ( X ) − θ )
³
´ h ³
´i2
= V ar g n ( X ) + E g n ( X ) − θ
Il s’agit de la somme de 2 quantités positives. Donc si E [( g n ( X ) − θ )2 ] tend
vers 0, V ar g n ( X ) tend vers 0 et E g n ( X ) tend vers θ i.e. g n ( X ) est asymptotiquement sans biais.
La réciproque est évidente.
Théorème 3 – Si g n ( X ) est consistant en moyenne quadratique alors g n ( X )
est consistant.
60
C HAPITRE 3. E STIMATION P ONCTUELLE
Preuve :
Il faut montrer que pour tout ξ > 0, P (| g n ( X ) − θ | > ξ) tend vers 0
quand n tend vers l’infini. Appliquons l’inégalité de Tchebychev à g n ( X ).
Il vient :
∀ε > 0 , P (| g n ( X ) − E ( g n ( X ))| > ε) ≤
V ar [ g n ( X )]
ε2
.
Si on a convergence en m.q., d’après le théorème précédent, g n ( X ) est asymptotiquement sans biais donc E [ g n ( X )] tend vers θ et V ar ( g n ( X )) tend vers
0 lorsque n tend vers l’infini. Le résultat est alors obtenu par passage à la
limite dans l’inégalité ci-dessus.
3.4
Théorème central limite
Un résultat fondamental connu sous le nom de Théorème Central Limite
permet de connaître le comportement de la moyenne X n .
Théorème 4 (TCL) – Soit X 1 , · · · , X n , n variables aléatoires indépendantes
et identiquement distribuées d’espérance µ et de variance σ non nulle.
Alors :
p
Illustration :
Ã
!
Xn −µ
∼ N (0, 1) lorsque n → +∞.
n
σ
Considérons un n-échantillon de v.a. i.i.d. de Bernoulli X i de
paramètre p. L’espérance mathématique et la variance sont respectivement :
p et p(1 − p).
D’après le TCL, on a :
p
Ã
n p
X̄ − p
p(1 − p)
!
∼ N (0, 1).
On se propose d’illustrer ce résultat par une simulation. On fixe : p = 0, 8.
On tire 100 réalisations d’une v.a. de Bernoulli de paramètre 0,8. On calcule
alors X n , la moyenne de ces 100 valeurs. On reproduit cette expérience 1000
fois afin d’obtenir un échantillon de X n . On fabrique alors un histogramme
61
L1 - E LÉMENTS DE S TATISTIQUE
pour en étudier la distribution des variables
p
p
n[ X n − p)/ p(1 − p)].
Le graphique ci-dessous illustre le TCL. On voit clairement l’adéquation avec
la distribution normale centrée réduite de la répartition de ces variables.
Densité
Illustration du TCL
−3
−2
−1
0
1
2
3
Z
Ce graphique est obtenu avec le code R suivant :
p<-0.8 # Paramètre de Bernoulli
n<-100 # Taille des echantillons
M<-1000 # Nombre d’échantillons
# Génération et Calcul des
p
Z<-rep(0,M) # Initialisation
p
n( X n − p/ p(1 − p))
for (i in 1: M)
Z[i]<-sqrt(n)*((mean(rbinom(n,1,p))-p)/sqrt(p*(1-p)))
# Tracé de l’histogramme
hist(Z, nclass=20, probability=T, main=list("Illustration
du TCL",cex=1.5),
ylab="Densité",yaxt = "n")
62
C HAPITRE 3. E STIMATION P ONCTUELLE
# Tracé de la densité de la loi normale centrée réduite
z<-seq(-3,3,0.01)
gaussz<-dnorm(z,0,1)
#Superposition des graphiques
lines(z,gaussz)
box() # Cadre
63