pdf]

Estimation
La théorie de l'estimation est une problématique importante en statistique théorique. Disposant d'un éhantillon x1, ..., xn de réalisations
d'une v.a. X d'une loi donnée, où un ou plusieurs paramètres sont ininonnu(s) ?
variable aléatoire parente. Pour
onnus, quelle(s) valeur(s) peut-on proposer pour le(s) paramètre(s)
Nous appelons dans la suite la v.a. X
dépend la loi de X , onsidérons l'appliation :
2
θ . L'appliation θ̂n
l'évaluation d'un paramètre (ou un veteur paramètre) inonnu θ dont
valeur possible de
θ̂n = θ̂n(X1, ..., Xn ),
qui est une v.a., prenant une
doit être mesurable.
Inférenes Statistiques
Le alul des probabilités permet, à partir d'un modèle théorique,
d'assoier à un événement une probabilité qui mesure la fréquene de
son apparition dans une suite d'épreuves identiques. La onstrution
du modèle même est une autre investigation qui reste à faire. Les
tehniques statistiques vont nous aider à reonstruire le modèle ou
modèle à partir d'un bon nombre d'observations (un éhantillon) de
nous autoriser à nous poser un ertain nombre de questions sur le
des ritères tels que la vraisemblane des valeurs observées, l'absene
réalisations de l'événement étudié. Ces inférenes sont fondées sur
de biais ou la onvergene des prévisions suggérées par l'éhantillon
lorsque la taille de elui-i augmente.
1
Dénition.
Maximum de Vraisemblane
On peut justier le hoix d'un estimateur par le fait qu'il
maximise la vraisemblane de la réalisation de l'éhantillon (x1 , ..., xn ).
• Si la loi est disrète, la fontion de vraisemblane est la probabilité
pour que : (X1 , ..., Xn ) = (x1, ..., xn).
• Si la loi admet une densité f , la fontion de vraisemblane est le
produit : f (x1 )...f (xn ).
Dans les deux as la fontion de vraisemblane, notée Ln (θ) dépend
de n, de (x1, ..., xn ) et de θ .
4
Elle sera appelée un estimateur de θ ; i.e. pour une réalisation (x1 , ..., xn ),
la valeur de θ est évaluée par :
θ̂n(x1, ..., xn).
Il faut noter que le nombre d'arguments d'un estimateur n'est pas
xé et varie ave n, qui est la taille de l'éhantillon.
Qualités Souhaitées
3
Jusqu'ii un estimateur est déni de façon arbitraire. Il est évident
qu'une telle introdution ne présente auun intérêt que si on l'enrihit
de ertaines qualités ou de ertaines mesures de performanes. Nous
énumérons dans la suite quatre propriétés souhaitées. Elles ne sont pas
néessairement ompatibles. De plus, la reherhe d'un estimateur,
possédant une performane souhaitée peut ne pas être une tâhe
faile.
Un alul simple, passant par la dérivation du logarithme, aboutit à
l'estimateur du maximum de vraisemblane :
n
1 X
λ̂n =
xi .
n i=1
la méthode du maximum de vraisemblane nous onduit à identier
On en déduit que l'estimation du paramètre d'une loi de poisson par
le paramètre par la moyenne arithmétique de l'éhantillon.
Biais d'un Estimateur
de
Dénitions. Un estimateur θ̂n de θ est dit sans biais, si son espérane
vaut θ pour tout n ∈ N∗ ; sinon on dit qu'il est biaisé. Si l'espérane de
θ̂n onverge vers θ , il est alors appelé asymptotiquement sans biais.
6
L'estimateur θ̂n (x1 , ..., xn ) est appelé un estimateur du maximum
s'il maximise la fontion de vraisemblane.
vraisemblane,
Exemple.
On dispose d'un éhantillon (x1, ..., xn) d'une v.a. X suivant
une loi de Poisson de paramètre λ inonnu. Trouver un estimateur du
La fontion de vraisemblane vaut :
maximum de vraisemblane de λ.
Solution.
λx1 +...+xn
Ln(λ) = e−nλ
.
x1!...xn!
Pour maximiser ette expression par rapport à λ, il sut de maximiser
e−nλ λx1+...+xn ou de façon équivalente son logarithme.
5
Quelques Estimateurs Standard
n
1 X
xi .
n i=1
d'une v.a. possédant une espérane inonnue µ. Son estimateur stan-
Estimateur standard de l'espérane. Soit (x1, ..., xn) un éhantillon
dard est la moyenne de l'éhantillon :
µ̂n(x1, ..., xn) =
Cet estimateur est sans biais. Il est de plus onvergent, lorsque la v.a.
parente admet une variane (la loi des grands nombres).
Dans la suite, pour alléger la notation, nous supprimons la référene
8
de l'estimateur à l'indie n et aux arguments x1, ..., xn , lorsqu'il n'y a
pas le danger de onfusion.
onvergent,
Convergene d'un Estimateur
Un estimateur θ̂n de θ est dit
si, étant
s'il tend en
1 Pn
L'estimateur λ̂n = n
i=1 xi est un estimateur sans biais du paramètre de la loi de Poisson.
Dénition.
probabilité vers θ, lorsque n → ∞.
absolument eae
Eaité Absolue d'un Estimateur
Un estimateur θ̂n de θ est
onvergent et sans biais, il possède la plus petite variane parmi tous
Dénition.
les estimateurs partageant les deux premières propriétés.
7
Estimateur standard de la variane.
n
1 X
xi et
n i=1
V̂ =
Soit X une v.a. admettant une
n
1 X
(xi − µ̂)2.
n − 1 i=1
espérane µ et une variane V , toutes deux inonnues. Soit (x1, ..., xn)
un éhantillon de X . L'estimateur standard joint (µ̂, V̂ ) est donné par :
µ̂ =
Cet estimateur de la variane est onvergent et sans biais. On notera
Soit
10
n . On
qu'il vaut la variane empirique multipliée par le fateur n−1
démontre en eet que l'espérane de ette dernière vaut n−1
n V et il
n pour la débiaiser.
faut, don, la multiplier par n−1
Estimateur standard d'une distribution de probabilité nie.
i
1{α }(xj ),
i = 1, ..., k.
(x1, ..., xn) un éhantillon d'une v.a. X prenant une des valeurs α1, ..., αk
ave les probabilités inonnues p1 , ..., pk respetivement. L'estimateur
standard du veteur p = (p1 , ..., pk ) est déni par :
n
1 X
pˆi =
n j=1
Autrement dit, l'estimateur standard de haque pi est la fréquene
relative d'ourrenes de αi dans l'éhantillon. C'est un estimateur
sans biais. On peut aussi démontrer que et estimateur maximise la
fontion de vraisemblane.
9
Estimateurs standard de la ovariane et du oeient de orrélation.
par :
n
X
1
(xi − µ̂)(yi − ν̂),
n − 1 i=1
Étant donné un éhantillon ((x1, y1), ..., (xn , yn )) du ouple
(X, Y ) de v.a. réelles admettant haune une espérane et une vad de cov(X, Y ) est donné
riane inonnues. L'estimateur standard cov
d =
cov
où µ̂ et ν̂ sont les estimateurs standard de l'espérane de X et de
d
cov
,
σ̂.τ̂
elle de Y respetivement.
d de corr(X, Y ) est donné par :
De même, l'estimateur standard corr
d =
corr
où σ̂ et τ̂ sont les estimateurs standard de l'éart-type de X et de
l'estimateur standard de la
12
elui de Y respetivement. Ces deux estimateurs sont sans biais.
onnue,
n
1 X
(xi − µ)2
n i=1
Dans le as où l'espérane µ est
variane devient :
V̂ =
V̂ ,
Il est donnée par :
et et estimateur de la variane est onvergent et sans biais.
p
Estimateur standard de l'éart-type.
σ̂ =
où V̂ est l'estimateur standard de V , donné par l'une des deux formules
de la setion préédente.
11
Solution.
n
1 X
xi ,
n i=1
L'estimateur standard de l'espérane étant déni par :
µ̂n(x1, ..., xn) =
2
1
= √
e−x /2dx.
2π |x|≤δ
on démontre failement que 'est une v.a. normale d'espérane µ
1 . On en déduit que la v.a. √n (µ̂ − µ) est une v.a.
et de variane n
n
normale entrée-réduite. Nous avons alors, pour tout δ > 0 :
!
Z
δ
P r |µ̂n − µ| ≤ √
n
14
Pour un niveau α donné, hoisissons δ de sorte que :
Z
2
1
√
e−x /2dx = α.
2π |x|≤δ
√ √
On peut don armer que µ appartient à l'intervalle µ̂ − δ/ n , µ̂ + δ/ n
ave la probabilité α.
Intervalle de Conane (J. Istas)
Étant donné un estimateur θ̂n d'un paramètre inonnu θ, quelle onane
peut-on lui aorder ? Prenons un intervalle entré de rayon δ autour
Évidemment, sauf dans des as très partiuliers, on ne peut répondre
de θ̂, et herhons à déterminer si θ appartient ou pas à et intervalle.
mer, du moins en prinipe, qu'ave une ertaine probabilité α, la vraie
ave ertitude à la question θ ∈ [θ̂n ± δ] ?. On peut toutefois onr-
intervalle de onane de niveau
α.
valeur du paramètre se trouve dans et intervalle. Nous dirons alors
que l'intervalle [θ̂n ± δ] est un
Soit (x1 , ..., xn ) un éhantillon d'une v.a. normale réduite d'espérane µ inonnue (i.e. N (µ, 1)). Trouver un intervalle de
Exemple.
13
onane de niveau α pour l'estimateur standard de l'espérane.
√
Z
onverge en loi vers une
Nous avons don asymptoti-
n(µ̂n − µ)
Nous ne onnaissons pas la loi de la v.a. µ̂n. Nous savons
en revanhe que, lorsque n → ∞,
Solution.
!
2
1
≍ √
e−x /2dx.
2π |x|≤δ
v.a. normale entrée et de variane 1.
quement :
δ
P r |µ̂n − µ| ≤ √
n
Choisissons alors δ de sorte que :
Z
2
1
√
e−x /2dx = α.
2π |x|≤δ
Nous pouvons alors onrmer que la probabilité pour que le para-
√ √
mètre inonnu µ se trouve dans l'intervalle µ̂ − δ/ n , µ̂ + δ/ n vaut
α. Par onséquent et intervalle est un intervalle
de onane asymptotique de niveau α pour l'estimateur proposé.
asymptotiquement
16
Il s'agit don d'un intervalle de onane de niveau α pour l'estimateur.
Intervalle de Conane Asymptotique
diile, alors que le alul d'un intervalle de onane approhé,
Il arrive souvent que le alul exat d'un intervalle de onane soit
de onane asymptotique.
Soit X une v.a. quelonque d'espérane µ inonnue et
parle alors d'intervalle
lorsque la taille de l'éhantillon tend vers l'inni, soit aessible. On
Exemple.
15
de variane 1. Soit (x1 , ..., xn ) un éhantillon de X . On onsidère
1 Pn
l'estimateur standard µ̂n = n
i=1 xn de µ. Trouver un intervalle de
onane asymptotique de niveau α pour µ̂n.