Cours estimation ponctuelle Fichier

UEVE
Estimation ponctuelle
Résumé : Estimateurs - Propriétés et comparaison d’estimateurs
Le problème statistique
On s’intéresse à la distribution d’un caractère X dans une population P. On suppose que la loi de X dans
P (généralement de forme connue) dépend d’un paramètre θ inconnu (espérance, variance,...), éventuellement
multi-dimensionnel. Par exemple, si θ est l’espérance de la loi de X, θ peut représenter la moyenne (µ) ou
la proportion (p) du caractère (si X est qualitatif), qui est inconnue dans la population, et que l’on cherche à
estimer. Le paramètre θ peut ^
etre la variance (σ 2 ) de la loi de X, et correspond à alors la dispersion du caractère
X,· · · ).
On suppose que l’on dispose de n observations x1 , x2 , · · · , xn , mesures du caractère faites sur un échantillon de
taille n : on considère que x1 , x2 , · · · , xn est la réalisation d’un n-uplet de variables aléatoires X1 , X2 , · · · , Xn
indépendantes et identiquement distribuées, de m^
eme loi que X (i.i.d.). On dit que (X1 , X2 , · · · , Xn ) est un
échantillon aléatoire simple, ou encore que (X1 , X2 , · · · , Xn ) est un n-échantillon de la loi de X. Le problème
que l’on se pose est de savoir comment estimer θ à partir des n-observations (x1 , x2 , · · · , xn ).
Estimateur - Estimation
Définition 1 Soit (X1 , X2 , · · · , Xn ) un n-échantillon d’une loi Pθ dépendant d’un paramètre réel inconnu
θ. On appelle estimateur de θ une variable aléatoire Tn obtenue comme fonction du n-échantillon aléatoire
(X1 , X2 , · · · , Xn ) ; autrement dit Tn = f (X1 , X2 , · · · , Xn ).
Remarque : Un estimateur est en fait une suite de v.a. (Tn )n , n ≥ 1 ; on assimile souvent l’estimateur avec le
terme général de la suite Tn .
Définition 2 Soit Tn un estimateur de θ. On appelle estimation de θ, la réalisation tn de la v.a. Tn , obtenue
à partir de la réalisation (x1 , x2 , · · · , xn ) du n-échantillon (X1 , X2 , · · · , Xn ) ; tn = f (x1 , x2 , · · · , xn ).
Propriétés recherchées pour un estimateur
La qualité d’un estimation tn (fonction des observations x1 , · · · , xn ) est établie à partir des propriétés (probabilistes) de la variable aléatoire associée qu’est l’estimateur Tn . Les propriétés recherchées pour un estimateur
sont de deux types. Nous allons d’une part nous intéresser aux propriétés dites "asymptotiques", autrement dit
quand la taille n de l’échantillon tend vers l’infini, et d’autre part aux propriétés non asymptotiques.
Propriétés asymptotiques
La propriété principale requise sera la convergence de l’estimateur vers la valeur du paramètre θ à estimer,
quand la taille n de l’échantillon tend vers l’infini. Cette propriété s’appelle la consistance de l’estimateur.
L’estimateur Tn étant une variable aléatoire, il existe plusieurs notions de convergence, ou de consistance d’un
estimateur.
Définition 3 L’estimateur Tn de θ sera consistant si il converge en probabilité vers θ quand n tend vers l’infini
ou si il converge en moyenne quadratique vers θ, quand n tend vers l’infini. Autrement dit Tn est un estimateur
consistant de θ si pour tout ε > 0 on a IP(|Tn − θ| ≥ ε) −→ 0, ou si IE (Tn − θ)2 −→ 0, avec EQM (Tn ) =
n→∞
n→∞
IE (Tn − θ)2 désignant l’erreur quadratique moyenne. Dans le premier cas, on note
P
Tn −→ θ.
n→∞
Dans le deuxième cas on note
L
2
Tn −→
θ.
Convergence en moyenne quadratique La convergence en moyenne quadratique, plus facile en général à
établir que la convergence en probabilité, se montre en utilisant la décomposition biais-variance.
Théorème 1 Soit Tn une variable aléatoire. Alors on a l’égalité
IE (Tn − θ)2 = Var(Tn ) + [IE(Tn ) − θ]2 .
Définition 4 On appelle biais de l’estimateur Tn , la quantité Bn (θ) = IE(Tn ) − θ.
D’après la décomposition biais-variance, une condition nécessaire et suffisante pour que l’erreur quadratique
moyenne converge vers 0 est que
- Var(Tn ) tend vers 0 quand n tend vers l’infini,
- et [IE(Tn )−θ]2 tend vers 0 quand n tend vers l’infini. On dit alors que l’estimateur est asymptotiquement sans biais.
Autrement dit pour qu’un estimateur converge en moyenne quadratique, il faut et il suffit que sa variance
tende vers 0 quand n tend vers l’infini, et qu’il soit asymptotiquement sans biais.
Convergence en probabilité Bien souvent , la convergence en probabilité se montre à l’aide de l’inégalité
de Markov et se déduit de la convergence en moyenne quadratique. En effet, l’inégalité de Markov implique que
IP(|Tn − θ| ≥ ε)
=
IP(|Tn − θ|2 ≥ ε2 ) ≤
IE[(Tn − θ)2 ]
.
ε2
Si IE[(Tn − θ)2 ] converge vers 0 quand n tend vers l’infini, alors pour tout ε > 0, IP(|Tn − θ| ≥ ε) tend également
vers 0 quand n tend vers l’infini. Par conséquent, la convergence en moyenne quadratique implique la convergence
en probabilité.
Propriétés non asymptotiques
Si Tn est un estimateur de θ. Une propriété non asymptotique d’un estimateur est l’absence ou non de biais.
Autrement dit Tn est-il un estimateur sans biais ? On calcule E(Tn ). On dit que Tn est un estimateur sans biais
si IE(Tn ) = θ. Sinon Tn est dit biaisé et le biais de Tn est donné par Bn (θ) = E(Tn ) − θ.
Si Bn (θ) tend vers 0 quand n tend vers l’infini, alors Tn est dit asymptotiquement sans biais.
Comparaison d’estimateurs
Si Tn1 et Tn2 sont deux estimateurs de θ (avec ou sans biais), on choisira celui d’erreur quadratique minimale.
Si EQM (Tn1 ) ≤ EQM (Tn2 ), on dit que Tn1 est plus efficace que Tn2 . Si Tn1 et Tn2 sont sans biais, choisir l’estimateur
d’erreur quadratique minimale, revient bien s^
ur à choisir celui de variance minimale.
Présentation de la notion de vitesse de convergence sur des exemples
Estimation d’une proportion
Pour estimer une proportion p (à partir d’un n-échantillon (X1 , · · · , Xn ) de la loi B(p)), l’estimateur inPn
tuitif, Tn = n−1 i=1 Xi , qui représente la proportion aléatoire de l’échantillon, est un estimateur sans biais de
p(1 − p)
p car E(Tn ) = p, et de variance Var(Tn ) =
−→ 0. Par conséquent il converge en moyenne quadratique
n→∞
n
L2
vers p, et est donc un estimateur consistant de p, Tn −→
p. D’après le théorème central limite,
n→∞
√
n(T − p) L
p n
−→ N (0, 1) .
p(1 − p) n→∞
√
Nous dirons que Tn converge vers p à la vitesse n.
Estimation du paramètre d’une loi uniforme
(1)
Le premier estimateur Tn est un estimateur biaisé, car IE(Tn ) = (n/(n + 1))θ, asymptotiquement sans biais
(1)
puisque IE(Tn ) − θ tend vers 0 quand n tend vers l’infini. De plus IE[(Tn − θ)2 ] = θ2 n/[(n + 1)2 (n + 2)] tend
(1)
vers 0. L’estimateur Tn
(1)
est donc un estimateur consistant de θ, c’est-à-dire Tn
L
(1)
2
−→
θ et Tn
n→∞
P
−→ θ. Nous
n→∞
L
(1)
avons de plus que n[θ − Tn ]/θ −→ E(1) où E(1) est une variable aléatoire de loi exponentielle de paramètre
n→∞
(1)
(1). Nous dirons que Tn converge vers θ à la vitesse n.
(2)
(2)
Le deuxième estimateur Tn est un estimateur sans biais de θ, E(Tn ) = θ, dont la variance est donnée
(2)
(2)
par Var(Tn ) = θ2 /(3n), qui tend vers 0 quand n tend vers l’infini. L’estimateur Tn est donc un estimateur
(2)
consistant de θ, Tn
L
(2)
2
−→
θ et Tn
n→∞
P
−→ θ. D’après le théorème central limite,
n→∞
√
n(Tn − θ) L
p
−→ N (0, 1) .
n→∞
θ2 /3
√
(2)
Nous dirons que Tn converge vers θ à la vitesse n.
Nous constatons sur cet exemple que la vitesse de convergence d’un estimateur est une mesure de la qualité
(1)
d’approximation de cet estimateur. L’estimateur Tn , bien que biaisé, converge plus rapidement vers θ que
(2)
l’estimateur Tn , qui lui est sans biais.