Estimation ponctuelle et par intervalles

Deuxième partie
Estimation ponctuelle et par intervalles

CHAPITRE 3
Estimation ponctuelle
Résumé : Des chapitres précédents, il faut essentiellement retenir que dans la plupart
des cas étudiés dans ce cours, on dispose de valeurs observées que l’on modélise par un
n-échantillon X1, . . . , Xn, de loi commune une loi appartenant à un certain ensemble
θ, θ Θ. La vraie loi θ0est inconnue, mais dans les bons cas, on la connaît à un ou
deux paramètres près, que l’on note précisément θ0.
Objectif : Dans ce chapitre, on explique comment estimer θ0ou une fonction de θ0,
comme l’espérance µ=µ(θ0)ou la variance σ2=σ(θ0)commune des observations de
l’échantillon. Attention, ce chapitre est plus théorique que tous les autres de ce cours,
mais il veut vous donner un bref aperçu du travail sur lequel se concentrent les chercheurs
en statistique (dont je fais partie).
1. Notions d’estimateur et d’estimée
1.1. De la théorie...
Définition 3.1 (Estimateur).Un estimateur est toute variable aléatoire construite
uniquement à partir des observations X1, . . . , Xn. En particulier, il ne doit pas dé-
pendre de quantités inconnues, telles que θ0ou θ0.
Remarque 3.1.Une convention utile est qu’on note les estimateurs par les quantités
qu’ils estiment, surmontées de petits chapeaux . Ainsi, dans un modèle de Bernoulli,
lorsque le modèle est l’ensemble des (p), avec p[0, 1], on note par ples estimateurs
de p, et parfois même, pnlorsque l’on énonce des assertions dépendant de la taille nde
l’échantillon. Dans tous les modèles, on notera µ(ou µn) les estimateurs de l’espérance
commune µdes observations de l’échantillon, et σ(ou σn), ceux de l’écart-type σ.
Exemple 3.1.Dans le modèle de Bernoulli, on pourrait proposer les quantités sui-
vantes comme estimateur du vrai paramètre de fréquence p0:
pn=Xn=1
nX1+. . . +Xn,ou pn=X1,ou pn=0.5 .
On sent évidemment que le premier est le meilleur estimateur et que les deux autres sont
très mauvais.
Remarque 3.2 (Estimateur vs. « bon » estimateur).S’il est facile de définir la notion
d’estimateur, il est en revanche beaucoup plus difficile de dire ce qu’est un bon estimateur !
Il n’y a pas de notion universelle de bon estimateur, mais je vous proposerai ci-dessous
la liste, non exhaustive, de quelques qualités qu’un estimateur peut posséder. L’objet de
la recherche en statistique est alors, entre autres, d’exhiber des estimateurs possédant ces
qualités, dans des modèles plus compliqués que ceux fondés sur des n-échantillons (avec
davantage de dépendance entre les observations ou en situations d’observations parcel-
laires, etc.).

Eléments de statistique mathématique
1.2. ... A la pratique !
Définition 3.2 (Estimée).Une estimée est le résultat du calcul d’un estimateur
sur les données x1, . . . , xn. (On remplace les Xjpar les xjdans la définition de
l’estimateur correspondant.)
1.3. Ce que l’on veut estimer. On peut vouloir estimer θ0, comme on le décrit en
préambule du chapitre, ou une fonction de θ0, comme l’espérance ou la variance. Nous
notons dans la suite g(θ0)cette quantité objet de l’étude. On parlera alors d’estimateurs
de g(θ0).
2. Première qualité éventuelle d’un estimateur : le caractère sans biais
Définition 3.3 (Estimateur sans biais).Un estimateur gnde g(θ0)est dit sans
biais lorsque
gn=g(θ0).
Que l’espérance de l’estimateur soit égale à l’objectif de l’estimation g(θ0)nous fait
espérer que la plupart du temps, l’estimateur lui-même soit proche de g(θ0). Cela découle,
par exemple, de l’inégalité de Chebychev-Markov, qui, je vous le rappelle, contrôle les
déviations de gnautour de son espérance : autant que ce dernier ait pour espérance
l’objectif à estimer !
Exercice 3.1.Prouver que µn=Xnest un estimateur sans biais de l’espérance µ
(lorsque cette dernière existe). La variable aléatoire µn=X1est-elle un estimateur sans
biais ?
Exercice 3.2.On suppose la loi commune du n-échantillon admet un moment d’ordre
deux, que l’on note
m2(θ0) = X2
1.
Proposer un estimateur sans biais m2,n de m2(θ0).
Exercice 3.3.On suppose ici encore que la loi commune du n-échantillon admet un
moment d’ordre deux et on définit de manière naturelle un estimateur de sa variance
σ2=m2(θ0) − µ2par m2,n −Xn
2.
Montrer que c’est un estimateur biaisé de σ2et en déduire un estimateur non biaisé.
Montrer que l’on peut écrire ce dernier sous la forme (que l’on retiendra pour la suite)
σ2
n=1
n−1
n
X
j=1
Xj−Xn
2.
La minute SPPS 3.1.Lorsque l’on calcule une variance (par exemple, par Analyze /
Descriptive Statistics / Descriptives), c’est bien la formule de variance débiaisée
qui est utilisée. Dit autrement, la valeur que l’on lit dans le tableau produit par SPSS est
une estimée de la variance sur les valeurs observées, calculée à partir de l’estimateur sans
biais introduit plus haut.
Exercice 3.4.Comment estimeriez-vous l’écart-type ? L’estimateur que vous propo-
sez est-il sans biais ?
Remarque 3.3.Le caractère sans biais est surtout important lorsque la taille d’échan-
tillon nest petite. Pour des tailles d’échantillon nplus grandes, on préférera s’intéresser
à la consistance des estimateurs.
30 Gilles Stoltz

Eléments de statistique mathématique
3. Deuxième qualité éventuelle d’un estimateur : la consistance
Rigoureusement parlant, la consistance ne peut être la propriété que d’une suite d’es-
timateurs.
Définition 3.4 (Estimation consistante).Une suite (gn)d’estimateurs de g(θ0)est
dite consistante lorsque
gn−→g(θ0).
La consistance est évidemment une vue de l’esprit, un outil d’évaluation théorique.
En pratique, la taille d’échantillon nest ce qu’elle est ! On peut tout au plus plannifier de
la prendre suffisamment grande si l’on n’a pas encore fini la phase de recueil des données
(en un sens qui sera quantifié par la troisième qualité éventuelle, voir ci-dessous, mais pas
par la propriété de consistance, qui ne met en jeu aucune vitesse de convergence).
Remarque 3.4.La loi des grands nombres est souvent l’outil fondamental pour prou-
ver une consistance (quand on l’associe au résultat de la proposition 3.1).
Exercice 3.5.Prouver que la suite des moyennes empiriques µn=Xnestime l’espé-
rance µde manière consistante (lorsque cette dernière existe).
Des propriétés utiles de la convergence en probabilité sont décrites ci-dessous, elles
permettront de traiter l’exercice 3.6.
Proposition 3.1 (Propriétés de la convergence en probabilité).La convergence en
probabilité passe aux fonctions continues d’un nombre fini de variables. Par exemple,
dans le cas d’une fonction continue de deux variables (y, z)→g(y, z), si par ailleurs
on a deux suites de variables aléatoires (Yn)et (Zn)convergeant en probabilité res-
pectivement vers des variables aléatoires Yet Z,
Yn−→Yet Zn−→Z , alors g Yn, Zn−→g(Y, Z).
En particulier,
Yn+Zn−→Y+Zou YnZn−→YZ .
Exercice 3.6.On suppose ici que la loi commune du n-échantillon admet un moment
d’ordre deux. Proposer différentes suites d’estimateurs consistants de la variance σ2et de
l’écart-type σ.
3.1. La méthode des moments, présentation. Les techniques employées dans
l’exercice précédent, i.e., loi des grands nombres combinée à la proposition 3.1, forment ce
que l’on appelle la méthode des moments. On la formalise comme suit.
On note, pour k=1, 2, . . . et sous réserve d’existence,
mk(θ0) = Xk
1
le k-ième moment de la loi commune des observations de l’échantillon. Par loi des grands
nombres, on l’estime par
mk,n =1
nXk
1+. . . +Xk n.
Si g(θ0)peut s’écrire comme
g(θ0) = ψ(m1(θ0), . . . , mk(θ0))
Gilles Stoltz 31