Télécharger - S.O.S. MATH

1
Chapitre X : ESTIMATION
I – Introduction
Les statisticiens connaissent en général le type de loi qui décrit un phénomène (grâce à des
observations) mais souvent, ils ne connaissent pas tous les paramètres de la dite loi. Ils doivent donc
les estimer : c’est ce que l’on appelle la statistique inférentielle.
L’objectif de ce chapitre est d’introduire le vocabulaire et la démarche de la statistique inférentielle en
abordant, sur quelques cas simples, le problème de l’estimation, ponctuelle ou par intervalle de
confiance.
On considère un phénomène aléatoire et on s’intéresse à une variable aléatoire réelle  qui lui est liée,
dont on suppose que la loi de probabilité n’est pas complètement spécifiée et appartient à une famille
de lois dépendant d’un paramètre θ décrivant un sous-ensemble Θ de  (éventuellement de  ).
Exemple 1 :
1.  suit une loi de Bernoulli de paramètre : θ  et Θ  ;
2.  suit la loi de Poisson (ou la loi exponentielle) de paramètre  : θ  et Θ  ;
3.  suit la loi normale de paramètres  et  où  est connu et  inconnu : θ  et Θ .
Le paramètre θ est une quantité inconnue, fixée dans toute l’étude, que l’on cherche à déterminer ou
pour laquelle on cherche une information partielle.
Le problème de l’estimation consiste alors à estimer la vraie valeur du paramètre θ ou de θ
(fonction à valeurs réelles du paramètre θ), à partir d’un échantillon de données 
obtenues en observant  fois le phénomène.
On supposera que cet échantillon est la réalisation de  variables aléatoires  où les 
sont des variables aléatoires réelles de même loi que . On supposera de plus que ces variables
aléatoires sont mutuellement indépendantes.
On appellera estimateur de θ ou de (θ) toute variable aléatoire réelle de la forme
 où  est une fonction de  dans, éventuellement dépendante de , et
indépendante de θ, dont la réalisation après expérience est envisagée comme estimation de θ ou de
(θ).
Un estimateur se définit donc dans l’intention de fournir une estimation.
Si  est un estimateur, on notera, lorsque ces valeurs existent, 
θ
 l’espérance de  et 
θ
 la
variance de  , pour la probabilité 
θ
.
II – Estimation ponctuelle
1) Définitions
Définition 1 : On appelle -échantillon de la loi  tout -uplet   de variables aléatoires
réelles définies sur le même espace probabilisé , mutuellement indépendantes et suivant
toutes la même loi que .
Remarque 1 : On parle d’échantillon iid (pour indépendant et identiquement distribué)
Définition 2 : Si   est un échantillon de la loi , on appelle réalisation de cet échantillon
ou échantillon observé, tout -uplet   où .
Autrement dit : pour tout  est la valeur prise par la variable aléatoire  .
Remarque 2 :
Ne pas confondre l’échantillon 
 qui est un -uplet de variables aléatoires et
l’échantillon observé 
 qui est un -uplet de réels.

2
Définition 3 : Si   est un échantillon de la loi , on appelle estimateur de θ toute variable
aléatoire réelle de la forme   où  est une fonction de  dans indépendante
de θ.
Remarque 3 :
Un estimateur est une variable aléatoire dépendant de  . Comme les lois  suivent
toutes la même loi que , l’estimateur  est une variable aléatoire dont la loi dépend de θ.
Définition 4 : Soit   un estimateur de θ.
Une estimation de θ est une réalisation   de  où
 est une
réalisation de l’échantillon  .
Remarque 4 :
L’estimation   ne dépend que de l’échantillon observé  , il ne dépend pas
de θ. C’est la valeur que le statisticien accordera à θ.
Définition 5 : Exemple fondamental d’estimateur
Si   est un échantillon de la loi , on appelle moyenne empirique associée à
l’échantillon  , la variable aléatoire notée  et définie par :
Théorème 1 :
On considère une variable aléatoire  admettant une espérance  et une variance  et un échantillon
 de la loi . La moyenne empirique  , associée à l’échantillon  , admet
une variance et une espérance et : 
Remarque 5 :
Ce résultat est immédiat par linéarité (pour l’espérance) et indépendance (pour la variance) :
2) Biais d’un estimateur
Pour construire un estimateur permettant d’obtenir une bonne évaluation du paramètre θ étudié, il
faut se donner des critères de qualité pour cet estimateur.
Si l’on veut estimer θ par les valeurs prises par la variable aléatoire  , il faut que ces valeurs ne
s’éloignent pas trop de θ.
Définition 6 : Soit  un estimateur de θ.
Si  admet une espérance, alors on appelle biais de  le réel noté   et défini par
.

3
Remarque 6 :
On rappelle que l’estimateur  est une variable aléatoire dont la loi dépend de θ, par conséquent son
espérance dépend également de θ. La notation 
 est donc logique.
S’il n’y a pas d’ambigüité, le biais sera plus simplement noté .
3) Estimateur sans biais ou asymptotiquement sans biais
Définition 7 :
Soit  un estimateur de θ.
On dit que  est un estimateur sans biais de θ si 
 c’est-à-dire si  .
Exemple 2 :
Comme  , la moyenne empirique est un estimateur sans biais de l’espérance  de .
Remarque 7 :
Si 
 est un échantillon observé, une estimation de  est la moyenne observée
Définition 8 :
On dit qu’une suite  d’estimateurs de θ est asymptotiquement sans biais si
Remarque 8 : Par abus de langage, on dit plus simplement que l’estimateur  est asymptotiquement
sans biais.
4) Risque quadratique
Définition 9 : Soit  un estimateur de θ.
Si  admet une variance (ou un moment d’ordre 2, ce qui revient au même), alors on appelle risque
quadratique de  le réel noté   et défini par 
.
Théorème 2 : Soit  un estimateur de θ.
Si  admet un moment d’ordre 2, et si  est le biais de  alors on a  .
Remarque 9 : C’est une conséquence de la linéarité de l’espérance :
Or 
D’où l’égalité.
Remarque 10 :
Si  est un estimateur sans biais et admet un moment d’ordre 2 alors on a :  .
Exemple 3 :
Comme la moyenne empirique est un estimateur sans biais de l’espérance  de , alors son risque
quadratique est égal à sa variance :

4
5) Estimateur convergent
Définition 10 :
On dit qu’une suite  d’estimateurs de θ est convergente si
Remarque 11 : Par abus de langage, on dit plus simplement que l’estimateur  est convergent.
Théorème 3 :
Ou plus simplement, l’estimateur  est convergent.
Remarque 12 : Ce résultat s’obtient en appliquant l’inégalité de Markov à la variable aléatoire
et en remplaçant  par  :
Or,   et une probabilité est positive dons :
L’estimateur  est donc bien convergent.
Remarque 13 :
en utilisant de plus le théorème 2.
Exemple 4 :
Comme la moyenne empirique est un estimateur sans biais de l’espérance  de , alors on sait,
d’après l’exemple 3 que  .
Remarque 14 :
De deux estimateurs de , on choisit celui qui a le plus petit risque quadratique (ou mieux, celui qui a
le risque quadratique qui tend le plus vite vers 0) car ainsi, avec l’inégalité de Markov ou de
Bienaymé-Tchebychev, on minimise plus vite la probabilité que l’estimateur s’écarte de  de plus de .
III – Estimation par intervalles de confiance
Le résultat d’une estimation est une valeur approchée du paramètre que l’on cherche à évaluer. Si l’on
effectue une autre estimation, on n’obtiendra en général pas le même résultat. C’est pourquoi, plutôt
que de donner une (ou plusieurs) estimation numérique, on peut chercher à déterminer un intervalle
qui contienne, avec une probabilité donnée, la valeur du paramètre que l’on cherche à évaluer.

5
1) Intervalle de confiance, niveau de confiance
Définition 11 :
Soit   un échantillon de la loi . Pour tout réel , on appelle intervalle de
confiance pour le paramètre , au risque  (ou au niveau de confiance ), tout intervalle de la
forme 
 où 
sont des estimateurs de  tels que
Remarque 15 :
• Un intervalle de confiance est un intervalle dont les bornes sont aléatoires et qui contient, avec
une probabilité donnée, la valeur de  que l’on cherche à évaluer.
• Soit   un échantillon observé et  et  les réalisations correspondantes de
. L’intervalle 
 est appelé intervalle de confiance réalisé ou encore fourchette.
Le nombre  est le risque qu’à l’issue d’une expérience, la réalisation de l’intervalle de
confiance ne contienne pas la valeur de  que l’on cherche à évaluer.
Remarque 16 : Concrètement, pour déterminer un intervalle de confiance, on part d’un estimateur 
et, à l’aide de l’inégalité de Bienaymé-Tchebychev, on cherche à déterminer un intervalle contenant 
qui donne l’intervalle de confiance au niveau souhaité.
Exemple 5 : Soit  une variable aléatoire qui suit la loi de Bernoulli de paramètre .
Appliquons l’inégalité de Bienaymé-Tchebychev à  :
En passant à l’événement contraire :
Or 
L’intervalle obtenu n’est pas très pertinent car il dépend du paramètre que l’on cherche à évaluer …
Un étude rapide de la fonction  montre qu’elle est majorée par sur .
Et par croissance de la probabilité :