Chapitre 3 Intervalles de confiance

Chapitre 3
Intervalles de confiance
Ce chapitre est consacré à la construction d’intervalles contenant le paramètre
inconnu supposé réel, avec un niveau de confiance fixé. Il contient essentiellement des méthodes, sans rentrer dans un formalisme excessif.
Dans la suite, (H n , {Pθ }θ ∈Θ ) est un modèle statistique paramétrique avec
H ⊂ Rk et Θ ⊂ Rd . Le paramètre d’intérêt est g(θ ), avec g : Θ → R une
fonction connue.
3.1
Principe général
L’objectif est de construire un intervalle contenant le paramètre inconnu. Celuici est défini formellement de la fac˛on suivante :
Définition. Soit α ∈]0, 1[. Un intervalle de confiance pour g(θ ) de niveau de
confiance (1 − α) est une statistique I à valeurs dans les intervalles de R telle
que pour chaque θ ∈ Θ :
�
�
Pθ g(θ ) ∈ I = 1 − α.
Dans cette définition, si l’observation (x1 , · · · , xn ) est une réalisation de la
loi Pθ0 , la Pθ0 -probabilité que (x1 , · · · , xn ) soit dans l’ensemble
�
�
(y1 , · · · , yn ) ∈ H n : g(θ0 ) ∈ I(y1 , · · · , yn )
29
30
CHAPITRE 3. INTERVALLES DE CONFIANCE
vaut alors (1 − α). Noter que les deux critères de qualité d’un intervalle de
confiance, i.e. sa longueur et son niveau de confiance, s’opposent et qu’il
est donc impératif de réaliser un compromis. En pratique, pour un niveau
de confiance raisonnable (souvent 90 ou 95 %), on cherche un intervalle de
confiance de plus petite longueur.
L’un des ingrédients de base pour construire un intervalle de confiance est
le quantile d’une loi sur R.
Définition. Soit F la fonction de répartition d’une loi ν sur R. Le quantile
d’ordre r ∈]0, 1[ de la loi ν est défini par
�
�
qr = inf x ∈ R : F(x) ≥ r .
Les premières propriétés des quantiles sont décrites ci-dessous :
Proposition 3.1.1. Soit F la fonction de répartition d’une loi sur R et qr
son quantile d’ordre r ∈]0, 1[. Si F est continue, F(qr ) = r. Si, de plus, F est
strictement croissante, alors qr est l’unique solution de l’équation F(.) = r.
Preuve. Il suffit de remarquer que, comme F est croissante et continue à
−
droite, F(q−
r ) ≤ r ≤ F(qr ), si F(qr ) est la limite à gauche de F en qr . �
Comme en atteste l’exemple qui suit, la recherche d’une variable aléatoire
pivot, i.e. une variable aléatoire dont la loi est indépendante de θ pour chaque
θ ∈ Θ , est essentielle dans la construction d’un intervalle de confiance.
Exemple. L’objectif est de construire un intervalle de confiance de niveau
1 − α ∈]0, 1[ pour le paramètre du modèle statistique (Rn , {N (θ , 1)⊗n }θ ∈R ).
Soient (X1 , · · · , Xn ) ∼ Pθ = N (θ , 1)⊗n , Φ la fonction de répartition√
de la loi
N (0, 1) et q le quantile d’ordre (1 − α/2) de la loi N (0, 1). Comme n(X̄n −
θ ) est une variable aléatoire pivot de loi N (0, 1),
�√
�
Pθ n |X̄n − θ | ≤ q = Φ(q) − Φ(−q) = 2Φ(q) − 1 = 1 − α,
car la densité de la loi N (0, 1) est paire. Ainsi,
�
�
��
q
q
Pθ θ ∈ X̄n − √ , X̄n + √
= 1 − α,
n
n
3.2. INTERVALLE DE CONFIANCE PAR EXCÈS
31
c’est-à-dire que
√ l’intervalle
√de confiance de niveau (1 − α) pour le paramètre
θ est [X̄n − q/ n, X̄n + q/ n].
3.2
Intervalle de confiance par excès
La construction d’un intervalle de confiance s’appuie sur une variable aléatoire pivot. A défaut d’informations sur la loi de la variable aléatoire, ou bien
si la loi ne permet pas de construire un intervalle de confiance (c’est le cas si
elle est discrète), une option est de se retrancher sur une notion plus faible, en
exigeant seulement une minoration du niveau de confiance.
Définition. Soit α ∈]0, 1[. Un intervalle de confiance par excès pour g(θ ) de
niveau de confiance (1 − α) est une statistique I à valeurs dans les intervalles
de R telle que pour chaque θ ∈ Θ :
�
�
Pθ g(θ ) ∈ I ≥ 1 − α.
Dans cette définition, si l’observation (x1 , · · · , xn ) est une réalisation de la
loi Pθ0 , la Pθ0 -probabilité que (x1 , · · · , xn ) soit dans l’ensemble
�
�
(y1 , · · · , yn ) ∈ H n : g(θ0 ) ∈ I(y1 , · · · , yn )
est alors plus grande que (1 − α).
Pour toute la suite de cette section, le modèle statistique se présente sous
la forme Pθ = Q⊗n
θ ∀θ ∈ Θ , avec Qθ une loi sur H ⊂ R de support [a, b]
indépendant de θ . Supposons de plus que le paramètre d’intérêt vérifie
g(θ ) = Eθ X1 =
�
H
x Qθ (dx) ∀θ ∈ Θ .
Utilisons la moyenne empirique pour estimer g(θ ) (méthode des moments, cf
section 2.2). En procédant comme dans la section 1.1, on montre avec l’inégalité de Bienaymé-Tchebytchev que, si (X1 , · · · , Xn ) ∼ Q⊗n
θ , alors
�
�
b−a
b−a
I1 = X̄n − √ , X̄n + √
.
nα
nα
32
CHAPITRE 3. INTERVALLES DE CONFIANCE
est un intervalle de confiance par excès pour g(θ ) de niveau (1 − α). Il peut
être amélioré en basant sa construction sur une inégalité plus précise, par
exemple l’inégalité de Hoeffding qui fait l’objet du prochain théorème.
Théorème 3.2.1. [I NÉGALITÉ DE H OEFFDING ] Soient Z1 , · · · , Zn des variables aléatoires réelles indépendantes et identiquement distribuées, définies
sur l’espace probabilisé (Ω , A , P). Si il existe a < b tels que a ≤ Z1 ≤ b
P-p.s., alors pour tout t > 0 :
�
�
�� n
�
�
2t 2
�
�
P ∑ (Zi − EZ1 ) ≥ t ≤ 2 exp −
.
n(b − a)2
i=1
Utilisons cette inégalité pour construire un intervalle de confiance par excès de niveau (1 − α) pour le paramètre g(θ ). Soit (X1 , · · · , Xn ) ∼ Pθ = Q⊗n
θ .
Puisque les variables aléatoires X1 , · · · , Xn sont indépendantes et de même loi
avec Xi ∈ [a, b] Pθ -p.s. et Eθ X1 = g(θ ), l’inégalité de Hoeffding donne
�
�
�
�
�
1 �� n
�
Pθ |X̄n − g(θ )| ≥ t = Pθ
� ∑ (Xi − Eθ Xi )� ≥ t
n i=1
�
�
2nt 2
≤ 2 exp −
,
(b − a)2
pour chaque t > 0. Avec le choix de
�
t = (b − a)
1
2
ln
2n α
on trouve Pθ (|X̄n − g(θ )| ≥ t) ≤ α. Par suite,
�
�
�
�
1
2
1
2
I2 = X̄n − (b − a)
ln , X̄n + (b − a)
ln
2n α
2n α
est un intervalle de confiance par excès pour g(θ ) de niveau (1 − α). Comparé
à l’intervalle I1 obtenu avec l’inégalité de Bienaymé-Tchebytchev,
les contri√
butions de la taille de l’échantillon, de l’ordre de 1/ n, et de la longueur du
support de Qθ sont les mêmes. En revanche, l’amélioration est nette en ce qui
concerne l’influence de α et des constantes.
3.2. INTERVALLE DE CONFIANCE PAR EXCÈS
33
Exemple. Reprenons l’étude statistique du jeu de pile ou face de la section
1.1 : 1000 tirages ont été réalisés indépendamment les uns des autres et,
en codant xi = 1 si le i-ème tirage donne pile et 0 sinon, on a obtenu une
observation (x1 , · · · , xn ) ∈ {0, 1}n , avec n = 1000, dont la moyenne x̄n vaut
0.52. Le modèle statistique est ({0, 1}n , {B(θ )⊗n }θ ∈]0,1[ ), et le paramètre
d’intérêt θ est estimé par la moyenne empirique X̄n issue de l’échantillon
(X1 , · · · , Xn ) ∼ B(θ )⊗n . Pour a = 0, b = 1, α = 0.05 et la réalisation x̄n de X̄n ,
l’intervalle de confiance I2 montre que la probabilité θ0 que la pièce donne
pile appartient à [0.48, 0.56], avec un niveau de confiance au moins égal à
0.95. Cet intervalle est à comparer à l’intervalle [0.44, 0.60] au même niveau
de confiance, obtenu en utilisant l’inégalité de Bienaymé-Tchebytchev : la
longueur varie du simple au double.
Preuve du théorème 3.2.1. Supposons pour simplifier que Z1 est centrée.
Notons Sn = ∑ni=1 Zi . Pour tout r > 0,
P(|Sn | ≥ t) = P(Sn ≥ t) + P(−Sn ≥ t)
�
�
�
�
= P erSn ≥ ert + P e−rSn ≥ ert .
On en déduit de l’inégalité de Markov que
�
�
��
�
�
�n �
�n �
P |Sn | ≥ t ≤ e−rt EerSn + Ee−rSn ≤ e−rt EerZ1 + Ee−rZ1
,
E désignant l’espérance sous la probabilité P. Majorons maintenant le terme
EesZ1 , pour s = r ou s = −r. Par convexité de la fonction exponentielle et
comme Z1 ∈ [a, b] P-p.s.,
�
�
Z1 − a
b − Z1
Z1 − a sb b − Z1 sa
sZ1
e = exp
sb +
sa ≤
e +
e .
b−a
b−a
b−a
b−a
Puisque Z1 est centrée, il vient :
EesZ1 ≤ −
a sb
b sa
e +
e .
b−a
b−a
Or, en posant p = −a/(b − a), on trouve la représentation :
�
�
��
a sb
b sa
−
e +
e = exp −ps(b − a) + ln 1 − p + pes(b−a) .
b−a
b−a
Par suite, si φ (x) = −px + ln(1 − p + pex ) pour tout x ≥ 0 :
EesZ1 ≤ eφ (s(b−a)) .
34
CHAPITRE 3. INTERVALLES DE CONFIANCE
La fonction φ est de classe C 2 et vérifie φ (0) = φ � (0) = 0 et φ �� (x) ≤ 1/4
pour tout x ≥ 0. D’après la formule de Taylor-Lagrange, il existe donc κ ∈
[0, s(b − a)] tel que
φ (s(b − a)) =
s2 (b − a)2 ��
φ (κ),
2
2
2
d’où φ (s(b − a)) ≤ s2 (b − a)2 /8 et EesZ1 ≤ er (b−a) /8 car s2 = r2 . Il s’ensuit
que pour chaque r > 0,
�
�
�
�
r2 (b − a)2
P |Sn | ≥ t ≤ 2 exp −rt + n
.
8
Finalement, le choix r = 4t/(n(b − a)2 ), qui minimise le terme de droite dans
l’inégalité ci-dessus, nous donne l’inégalité anonc˛ée. �
3.3
Intervalle de confiance asymptotique
A défaut d’informations suffisantes ou appropriées sur la loi de la variable
aléatoire utilisée pour la construction de l’intervalle de confiance, une seconde
alternative est de se retrancher sur une propriété asymptotique.
Définition. Soit α ∈]0, 1[. Un intervalle de confiance asymptotique pour g(θ )
de niveau de confiance (1 − α) est une statistique In à valeurs dans les intervalles de R telle que pour chaque θ ∈ Θ :
�
�
lim Pθ g(θ ) ∈ In = 1 − α.
n→∞
Dans cette définition, si l’observation (x1 , · · · , xn ) est une réalisation de la
loi Pθ0 , la Pθ0 -probabilité que (x1 , · · · , xn ) soit dans l’ensemble
�
�
(y1 , · · · , yn ) ∈ H n : g(θ0 ) ∈ In (y1 , · · · , yn )
est proche de (1 − α) lorsque n est assez grand. Noter l’abus qui consiste à
utiliser pour une valeur de n fixée un résultat asymptotique. En toute rigueur,
l’utilisation d’un intervalle de confiance asymptotique doit être validée par
une étude plus approfondie, et qui dépasse le cadre de cet ouvrage, portant
3.3. INTERVALLE DE CONFIANCE ASYMPTOTIQUE
35
sur la proximité entre Pθ (g(θ ) ∈ In ) et (1 − α).
Supposons que l’on veuille construire un intervalle de confiance asymptotique de niveau (1 − α) dans le cas où l’estimateur ĝ de g(θ ) est asymptotiquement normal et de vitesse (vn )n : pour chaque θ ∈ Θ , il existe σ (θ ) > 0
tel que
�
�
� L/Pθ �
vn ĝ − g(θ ) −→ N 0, σ (θ )2 .
Par suite,
� L/Pθ
vn �
ĝ − g(θ ) −→ N (0, 1).
σ (θ )
La variable aléatoire vn (ĝ − g(θ ))/σ (θ ) est dite asymptotiquement pivot, car
sa loi limite est indépendante de θ . Cependant, dans cette généralité, un tel
résultat ne permet pas de construire un intervalle de confiance asymptotique
pour g(θ ). Si σ̂ est un estimateur consistant de σ (θ ), le lemme de Slutsky
montre que pour chaque θ ∈ Θ :
� L/Pθ
vn �
ĝ − g(θ ) −→ N (0, 1).
σ̂
En désignant par q le quantile d’ordre (1 − α/2) de la loi N (0, 1), on en
déduit que
�v
�
n
lim Pθ
|ĝ − g(θ )| ≤ q = 1 − α.
n→∞
σ̂
Ainsi, [ĝ − σ̂ q/vn , ĝ + σ̂ q/vn ] est un intervalle de confiance asymptotique de
niveau (1 − α) pour g(θ ).
Exemple. Dans l’étude statistique du jeu de pile ou face de la section 1.1,
l’observation (x1 , · · · , xn ) ∈ {0, 1}n , avec n = 1000, a donné une moyenne x̄n
de 0.52. Le modèle statistique est ({0, 1}n , {B(θ )⊗n }θ ∈]0,1[ ), et le paramètre
d’intérêt θ est estimé par la moyenne empirique X̄n issue de l’échantillon
(X1 , · · · , Xn ) ∼ B(θ )⊗n . D’après le théorème central limite,
�
�
√
L/B(θ )⊗n
n (X̄n − θ ) −→ N 0, θ (1 − θ ) ,
�
�
et, de plus, X̄n (1 − X̄n ) est un estimateur consistant de θ (1 − θ ) d’après
la loi des grands nombres. Par suite, en notant q le quantile d’ordre (1 − α/2)
36
CHAPITRE 3. INTERVALLES DE CONFIANCE
de la loi N (0, 1),
�
�
�
�
q
q
X̄n − √
X̄n (1 − X̄n ), X̄n + √
X̄n (1 − X̄n )
n
n
est un intervalle de confiance asymptotique de niveau (1 − α) pour θ . Si
θ0 est la probabilité que la pièce tombe sur pile, l’observation (x1 , · · · , xn )
de moyenne 0.52 montre que θ0 ∈ [0.49, 0.55] avec un niveau de confiance
asymptotique de 0.95.