Cours estimation ponctuelle Fichier

UEVE
Estimation ponctuelle
Résumé : Estimateurs - Propriétés et comparaison d’estimateurs
Le problème statistique
On s’intéresse à la distribution d’un caractère Xdans une population P. On suppose que la loi de Xdans
P(généralement de forme connue) dépend d’un paramètre θinconnu (espérance, variance,...), éventuellement
multi-dimensionnel. Par exemple, si θest l’espérance de la loi de X,θpeut représenter la moyenne (µ) ou
la proportion (p) du caractère (si Xest qualitatif), qui est inconnue dans la population, et que l’on cherche à
estimer. Le paramètre θpeut ^etre la variance (σ2) de la loi de X, et correspond à alors la dispersion du caractère
X,···).
On suppose que l’on dispose de nobservations x1, x2,··· , xn, mesures du caractère faites sur un échantillon de
taille n: on considère que x1, x2,··· , xnest la réalisation d’un n-uplet de variables aléatoires X1, X2,··· , Xn
indépendantes et identiquement distribuées, de m^eme loi que X(i.i.d.). On dit que (X1, X2,··· , Xn)est un
échantillon aléatoire simple, ou encore que (X1, X2,··· , Xn)est un n-échantillon de la loi de X. Le problème
que l’on se pose est de savoir comment estimer θà partir des n-observations (x1, x2,··· , xn).
Estimateur - Estimation
Définition 1 Soit (X1, X2,··· , Xn)un n-échantillon d’une loi Pθdépendant d’un paramètre réel inconnu
θ. On appelle estimateur de θune variable aléatoire Tnobtenue comme fonction du n-échantillon aléatoire
(X1, X2,··· , Xn); autrement dit Tn=f(X1, X2,··· , Xn).
Remarque : Un estimateur est en fait une suite de v.a. (Tn)n,n≥1; on assimile souvent l’estimateur avec le
terme général de la suite Tn.
Définition 2 Soit Tnun estimateur de θ. On appelle estimation de θ, la réalisation tnde la v.a. Tn, obtenue
à partir de la réalisation (x1, x2,··· , xn)du n-échantillon (X1, X2,··· , Xn);tn=f(x1, x2,··· , xn).
Propriétés recherchées pour un estimateur
La qualité d’un estimation tn(fonction des observations x1,··· , xn) est établie à partir des propriétés (pro-
babilistes) de la variable aléatoire associée qu’est l’estimateur Tn. Les propriétés recherchées pour un estimateur
sont de deux types. Nous allons d’une part nous intéresser aux propriétés dites "asymptotiques", autrement dit
quand la taille nde l’échantillon tend vers l’infini, et d’autre part aux propriétés non asymptotiques.
Propriétés asymptotiques
La propriété principale requise sera la convergence de l’estimateur vers la valeur du paramètre θà estimer,
quand la taille nde l’échantillon tend vers l’infini. Cette propriété s’appelle la consistance de l’estimateur.
L’estimateur Tnétant une variable aléatoire, il existe plusieurs notions de convergence, ou de consistance d’un
estimateur.
Définition 3 L’estimateur Tnde θsera consistant si il converge en probabilité vers θquand ntend vers l’infini
ou si il converge en moyenne quadratique vers θ, quand ntend vers l’infini. Autrement dit Tnest un estimateur
consistant de θsi pour tout ε > 0on a IP(|Tn−θ| ≥ ε)−→
n→∞ 0, ou si IE (Tn−θ)2−→ n→∞ 0,avec EQM(Tn) =
IE (Tn−θ)2désignant l’erreur quadratique moyenne. Dans le premier cas, on note
Tn
P
−→
n→∞ θ.
Dans le deuxième cas on note
Tn
L2
−→
n→∞ θ.
1

Convergence en moyenne quadratique La convergence en moyenne quadratique, plus facile en général à
établir que la convergence en probabilité, se montre en utilisant la décomposition biais-variance.
Théorème 1 Soit Tnune variable aléatoire. Alors on a l’égalité
IE (Tn−θ)2=Var(Tn) + [IE(Tn)−θ]2.
Définition 4 On appelle biais de l’estimateur Tn, la quantité Bn(θ) = IE(Tn)−θ.
D’après la décomposition biais-variance, une condition nécessaire et suffisante pour que l’erreur quadratique
moyenne converge vers 0 est que
-Var(Tn)tend vers 0 quand ntend vers l’infini,
- et [IE(Tn)−θ]2tend vers 0 quand ntend vers l’infini. On dit alors que l’estimateur est asymptotiquement sans biais.
Autrement dit pour qu’un estimateur converge en moyenne quadratique, il faut et il suffit que sa variance
tende vers 0 quand ntend vers l’infini, et qu’il soit asymptotiquement sans biais.
Convergence en probabilité Bien souvent , la convergence en probabilité se montre à l’aide de l’inégalité
de Markov et se déduit de la convergence en moyenne quadratique. En effet, l’inégalité de Markov implique que
IP(|Tn−θ| ≥ ε) = IP(|Tn−θ|2≥ε2)≤IE[(Tn−θ)2]
ε2.
Si IE[(Tn−θ)2]converge vers 0 quand ntend vers l’infini, alors pour tout ε > 0,IP(|Tn−θ| ≥ ε)tend également
vers 0 quand ntend vers l’infini. Par conséquent, la convergence en moyenne quadratique implique la convergence
en probabilité.
Propriétés non asymptotiques
Si Tnest un estimateur de θ. Une propriété non asymptotique d’un estimateur est l’absence ou non de biais.
Autrement dit Tnest-il un estimateur sans biais ? On calcule E(Tn). On dit que Tnest un estimateur sans biais
si IE(Tn) = θ. Sinon Tnest dit biaisé et le biais de Tnest donné par Bn(θ) = E(Tn)−θ.
Si Bn(θ)tend vers 0 quand ntend vers l’infini, alors Tnest dit asymptotiquement sans biais.
Comparaison d’estimateurs
Si T1
net T2 nsont deux estimateurs de θ(avec ou sans biais), on choisira celui d’erreur quadratique minimale.
Si EQM(T1
n)≤EQM(T2 n), on dit que T1 nest plus efficace que T2 n. Si T1 net T2 nsont sans biais, choisir l’estimateur
d’erreur quadratique minimale, revient bien s^ur à choisir celui de variance minimale.
Présentation de la notion de vitesse de convergence sur des exemples
Estimation d’une proportion
Pour estimer une proportion p(à partir d’un n-échantillon (X1,··· , Xn)de la loi B(p)), l’estimateur in-
tuitif, Tn=n−1Pn
i=1 Xi, qui représente la proportion aléatoire de l’échantillon, est un estimateur sans biais de
pcar E(Tn) = p, et de variance Var(Tn) = p(1 −p)
n−→
n→∞ 0. Par conséquent il converge en moyenne quadratique
vers p, et est donc un estimateur consistant de p,Tn
L2
−→
n→∞ p. D’après le théorème central limite,
√n(Tn−p)
pp(1 −p)
L
−→
n→∞ N(0,1) .
Nous dirons que Tnconverge vers pà la vitesse √n.
Estimation du paramètre d’une loi uniforme
Considérons (X1,··· , Xn), un n-échantillon de loi uniforme continue U[0,θ]. On souhaite estimer le paramètre
θ, inconnu. Au moins deux estimateurs sont possibles. Tout d’abord, l’estimateur intuitif, T(1)
n= max1≤i≤nXi
et ensuite l’estimateur dit "estimateur des moments", T(2)
n= 2 ¯
Xn= 2n−1Pn
i=1 Xi.
2

Le premier estimateur T(1)
nest un estimateur biaisé, car IE(Tn)=(n/(n+1))θ, asymptotiquement sans biais
puisque IE(Tn)−θtend vers 0 quand ntend vers l’infini. De plus IE[(T(1)
n−θ)2] = θ2n/[(n+ 1)2(n+ 2)] tend
vers 0. L’estimateur T(1)
nest donc un estimateur consistant de θ, c’est-à-dire T(1) n
L2
−→
n→∞ θet T(1)
n
P
−→
n→∞ θ. Nous
avons de plus que n[θ−T(1)
n]/θ L
−→
n→∞ E(1) où E(1) est une variable aléatoire de loi exponentielle de paramètre
(1).Nous dirons que T(1)
nconverge vers θà la vitesse n.
Le deuxième estimateur T(2)
nest un estimateur sans biais de θ,E(T(2) n) = θ, dont la variance est donnée
par Var(T(2)
n) = θ2/(3n), qui tend vers 0 quand ntend vers l’infini. L’estimateur T(2) nest donc un estimateur
consistant de θ,T(2)
n
L2
−→
n→∞ θet T(2)
n
P
−→
n→∞ θ. D’après le théorème central limite,
√n(Tn−θ)
pθ2/3
L
−→
n→∞ N(0,1) .
Nous dirons que T(2)
nconverge vers θà la vitesse √n.
Nous constatons sur cet exemple que la vitesse de convergence d’un estimateur est une mesure de la qualité
d’approximation de cet estimateur. L’estimateur T(1)
n, bien que biaisé, converge plus rapidement vers θque
l’estimateur T(2)
n, qui lui est sans biais.
3