Estimation cor

ESTIMATION
Les définitions et propriétés générales sur l’estimation ponctuelle
Définition : « iid » signifie « indépendant et identiquement distribué »
n-échantillon i.i.d
Estimateur
Estimation
Un n-échantillon iid est une liste de n variables aléatoires réelles (X1 , ... , Xn) indépendantes et de
même loi.
Estimateur : On appelle estimateur d’un paramètre d’une loi  construit à partir d’un n-échantillon
n
(X1,...,Xn) iid de loi  , toute variable aléatoire Tn = (X1 , ... ,Xn) où  est une fonction de ℝ dans ℝ.
Estimation : l’estimation est la valeur de l’estimateur obtenue à partir de la réalisation de l’échantillon.
Il s’agit donc d’un réel (x1,...,xn) où xi est le résultat observé de Xi.
Loi parente
Loi commune suivie par les variables d’un échantillon
Biais d’un estimateur
Le biais d’un estimateur Tn de  est b(Tn) = E(Tn) – 
Définition : le risque quadratique d’un estimateur Tn de  est ( s’il existe ) r(Tn) = E ( (Tn –  )² )
Risque quadratique d’un
estimateur Tn de g()
Autre expression : r(Tn) = V(Tn) + b(Tn)²
Cas des estimateurs sans biais si b(Tn) = 0 alors r(Tn) = V(Tn)
Suite d’estimateurs
asymptotiquement sans
biais
Suite convergente
d’estimateurs
Définition : on dit qu’une suite (Tn) d’estimateurs de  est asymptotiquement sans biais si et
seulement si
=0

Définition : on dit que la suite ( Tn)n d’estimateurs de  est convergente si et seulement si (Tn) converge
en probabilité vers .
Condition suffisante : Soit (Tn ) une suite d’estimateurs de 
si

= 0 alors Tn est un estimateur convergent de 
Les résultats à connaître sur l’estimation ponctuelle
La moyenne empirique
en tant qu’estimateur
d’une espérance
La variance empirique Sn²
en tant qu’estimateur
d’une variance.
-
Soit (X1,...,Xn) un n-échantillon iid , la moyenne empirique est
-
Si les ( Xi)i admettent une espérance m alors
-
Si les ( Xi)i admettent une espérance m et une variance ² alors rm (
est un estimateur sans biais de m
Si les ( Xi)i admettent une espérance m et une variance ² alors
de m .
)=

est un estimateur convergent
- Soit (X1,...,Xn) un n-échantillon iid , la variance empirique est Sn²
- Si les ( Xi)i admettent une espérance m et une variance ² alors E ( Sn²) =
 et b²( Sn²) = -

Sn² est un estimateur asymptotiquement sans biais de ².
- Si les (Xi) admettent un moment d’ordre 4 et en notant ² leur variance, (Sn²) est un estimateur
convergent de ².
- Si les ( Xi)i admettent une espérance m et une variance ² alors
²=
Sn² est un estimateur
sans biais de ²
- Inégalité de Markov : Si X est une variable aléatoire positive admettant une espérance alors
Outils utiles pour la
convergence d’estimateurs
 a > 0 , P[ X  a ] ≤
En particulier si X admet une variance : P[ | X -  |  a ] ≤

- Composition par une fonction continue : Si Tn est un estimateur convergent de  et si f est une
fonction continue de ℝ dans ℝ alors f(Tn) est un estimateur convergent de f()
Comparaison des
estimateurs, lequel choisir ?
Un estimateur T de  admettant un moment d’ordre 2 est plus efficace qu’un estimateur T’ de 
admettant un moment d’ordre 2 si r(T) ≤ r(T’)
Estimation par intervalle de confiance
Intervalle de confiance
Les points forts pour
trouver un intervalle de
confiance
-
Un intervalle de confiance de  au niveau (1-) ou au risque  est un intervalle [ Tn , Un ] où Tn, Un
sont des estimateurs de  tels que P[ Tn ≤  ≤ Un ]  1-
Une estimation de  par intervalle de confiance au niveau (1-) est un intervalle [ tn , un ] où tn et
un sont les valeurs réelles observées de Tn, Un lorsque [Tn,Un] est un intervalle de confiance de  au
niveau (1-)
Le niveau de confiance est le réel (1-) tel que P[ Tn ≤  ≤ Un ]  1-
Le risque est 
| a – b |    b-  a  b +   a-  b  a+
Inégalités de Markov : Si X est une variable aléatoire positive admettant une espérance alors
 a > 0 , P[ X  a ] ≤
Inégalité de Bienaymé-Tchebychev : Si X est une variable aléatoire admettant un moment d’ordre 2
alors   > 0 , P[ | X – E(X) |   ] ≤

- Théorème central limite : Si (Xk)k 1 est une suite de variables aléatoires indépendantes et de même
loi admettant une espérance m et une variance ² alors (
Intervalle de confiance
asymptotique au niveau 1-

) converge en loi vers X* où
X* ↪ N(0,1)
[ Tn , Un ] est un intervalle de confiance asymptotique de  si et seulement si Tn et Un sont des
estimateurs de  tels que :
 1-
Intervalle de confiance par l’inégalité de Markov
Hypothèses
Soit ( X1 , ... , Xn) un n-échantillon iid d’une loi  , admettant un moment d’ordre 2 .
Soit Tn un estimateur de 
Première approche d’un
intervalle de confiance
de  au niveau (1-)
P[ Tn -


≤  ≤ Tn +


] )  1-
Que représente  ?  représente le risque
Quelle est la problématique ? Les bornes Tn -


et Tn +

dépendent en général de 

donc cet encadrement ne définit pas un intervalle de confiance.
Intervalle de confiance par le théorème central limite
Les notations usuelles
-  représente la fonction de répartition de la loi normale centrée réduite
- X* représente une variable aléatoire de loi normale centrée réduite

- P[ | X*|  t ] = 1 -1

- Quel est le lien entre le risque  et t ? t =  ( 1 - )
- Connaissant , comment trouver t ? à l’aide de la table donnant des valeurs de 
Avec Scilab :
talpha = cdfnor(‘X’,0,1, 1 – alpha/2 , alpha/2 )
ère
1 approche d’intervalle
de confiance au niveau
(1-) d’une espérance m.
Si (X1,...,Xn) est un n-échantillon iid d’une loi d’espérance m et de variance ²
 
 
alors
 1-
Problématique :  peut dépendre de m ou être inconnu.
Estimation du paramètre p d’une loi de Bernoulli par Bienaymé-Tchebychev
Une majoration
incontournable
Par BienayméTchebychev
Par le théorème central
limite.
Pour p  [ 0 , 1 ] , p (1-p) 
- Hypothèses : soit (X1 , ... , Xn) un n-«échantillon iid d’une loi de Bernoulli de paramètre p inconnu
- Intervalle de confiance au niveau 1 -  : P[ Tn -

≤ m ≤ Tn +

]  1-
- Hypothèses : soit (X1 , ... , Xn) un n-«échantillon iid d’une loi de Bernoulli de paramètre p inconnu
- Intervalle de confiance au niveau (1-) : P[
-  ≤ m ≤
+  ]  1-
sous réserve que n soit assez grand ( n  30 , np  5 , n(1-p)  5 ).
On applique le théorème central limite à un échantillon iid d’une loi de Bernoulli de paramètre p.
Marche à suivre pour
obtenir un intervalle de
confiance asymptotique
de p
1)
2)
3)
converge en loi vers X* d’après le théorème central limite
converge en probabilités vers p d’après la loi faible des grands nombres
En composant par x 
4) D’après le théorème de Slutsky,
continue sur ] 0 , 1 [ ,
converge en probabilité vers 1
converge en loi vers X*
5) Un intervalle de confiance asymptotique de p au risque  : [

,

Compléments à savoir retrouver
Estimation du paramètre m d’une loi normale N(m,²) où  est connu
- Soit ( X1 , ... , Xn) un n-échantillon iid de loi N(m,²)
est un estimateur sans biais et convergent de m
- Pourquoi est-il inutile ici d’utiliser le théorème central limite ?
Intervalle de confiance
de m au niveau (1-)
En raison de la stabilité de la loi normale par combinaison linéaire de variables indépendantes suivant
des lois normales :
↪ N(0,1)

La convergence en loi est inutile, on a beaucoup plus précis ici.
- Intervalle de confiance de m au niveau (1-) : [



,

]
Intervalle de confiance asymptotique d’une espérance ( cf exercice II 5)
Soit ( X1 , ... , Xn) un n-échantillon iid d’une loi d’espérance m et de variance ² admettant un moment
d’ordre 4.
est la moyenne empirique
Hypothèses
Sn²
est la variance empirique
Sn =

Intervalle de confiance
asymptotique d’une
espérance
converge en loi vers X* où X* ↪ N(0,1) ’après le théorème central limite
Sn² est un estimateur asymptotiquement sans biais et convergent de ² car la loi a un moment d’ordre
4 ( cf exercice II5)

converge en probabilité vers 1 en composant par x 

continue sur ℝ+*
converge en loi vers X* d’après le théorème de Slutsky
Un intervalle de confiance asymptotique de m au niveau  est [
-

,
+

]