Cours estimation par intervalle de confiance Fichier

UEVE
Estimation par intervalles de confiance
1 Un exemple introductif
Soient X1,··· , Xnnvariables aléatoires i.i.d. de loi B(p∗)avec p∗inconnue et soient x1,··· , xnles nobservations
associées. Nous avons vu qu’une estimation naturelle est x, la proportion observée de 1 parmi les x1,··· , xn. Nous
avons également vu que Xest un bon estimateur de p∗puisqu’il est sans biais (E(X) = p∗) et qu’il converge en
moyenne quadratique (EQM(X) = Var(X) = p∗(1 −p∗)/n −→
n→∞ 0.). Nous avons donc ainsi une bonne estimation
ponctuelle de p. On va maintenant chercher à encadrer p∗, c’est-à-dire à trouver un intervalle (aléatoire) qui contienne
p∗avec grande probabilité. Soit α= 5%. On va chercher Iαtel que IP(p∗∈Iα)=1−α= 95%.
Nous allons utiliser trois outils, l’inégalité de Bienaymé-Tchebichev, l’inégalité de Hoedding et le théorème central
limite.
Intervalle de confiance avec l’inégalité de Bienaymé-Tchebichev. On cherche [An;Bn]tel que IP(p∗∈
[An;Bn]) ≥1−α. D’après l’inégalité de Bienaymé-Tchebichev,
IP(|X−p∗| ≥ λ)≤p∗(1 −p∗)
nλ2.
Comme p∗(1 −p∗)≤1/4pour p∗∈[0,1], nous avons aussi
IP(|X−p∗| ≥ λ)≤1
4nλ2.
Autrement dit
IP(X−λ≤p∗≤X+λ)≥1−1
4nλ2.
Par conséquent si λest tel que 1
4nλ2≤α
alors
IP(X−λ≤p∗≤X+λ)≥1−α.
On choisit donc
I1= [An;Bn]=[X−1/√4nα;X+ 1/√4nα].
Intervalle de confiance avec l’inégalité de Hoeffding. On cherche [An;Bn]tel que IP(p∗∈[An;Bn]) ≥1−α.
D’après l’inégalité de Hoeffding,
IP(|X−p∗| ≥ λ)≤2 exp(−2nλ2).
Autrement dit
IP(X−λ≤p∗≤X+λ)≥1−2 exp(−2nλ2).
Par conséquent si λest tel que
2 exp(−2nλ2)≤α
alors
IP(X−λ≤p∗≤X+λ)≥1−α.
On choisit donc
I2= [X−p−ln(α/2)/(2n); X+p−ln(α/2)/(2n)].
1

Intervalle de confiance avec le théorème central limite. On cherche [An;Bn]tel que IP(p∈[An;Bn]) ≥1−α.
D’après le théorème central limite, √n(X−p∗)
pp∗(1 −p∗)
L
−→
n→∞ N(0,1).
Ici Var(X1) = p∗(1 −p∗)est inconnue et peut être estimée de manière consistante par Tn=X(1 −X)(= S2
e).
Outil On utilise donc que √n(X−p∗)
qX(1 −X)
L
−→
n→∞ N(0,1) .
Ceci implique que pour nassez grand, si Z∼ N(0,1), alors pour tous aet bréels, la probabilité
IP 
a≤√n(X−p∗)
qX(1 −X)≤b
est proche de la probabilité IP(a≤Z≤b).
Soit uαtel que si Z∼ N(0,1), alors IP(−uα≤Z≤uα)=1−α, ou aussi tel que IP(Z≥uα) = IP(Z≤ −uα) = α/2.
Pour ce uα, lu dans la table de la loi N(0,1), la probabilité
IP 
−uα≤√n(X−p∗)
qX(1 −X)≤uα
est proche de 1−α.
On en déduit que la probabilité
IP 
X−uαqX(1 −X)
√n≤p∗≤X+uαqX(1 −X) √n
est proche de 1−α.
On choisit donc
I3= [An;Bn] = 
X−uαqX(1 −X)
√n;X+uαqX(1 −X) √n
,
avec uαtel que IP(N(0,1) ≤uα)=1−α/2.C’est un intervalle de confiance bilatéral symétrique théorique pour p∗
de niveau de confiance 1−α.
Remarques :
- Parmi les trois intervalles de confiance construits, l’intervalle construit à l’aide du théorème central limite est le
plus précis, c’est-à dire celui d’amplitude la plus petite à niveau de confiance fixé et pour une taille d’échantillon fixée.
- Quand naugmente, l’amplitude de l’intervalle de confiance diminue, à niveau de confiance fixé.
- Quand αaugmente, le niveau de confiance diminue, et l’amplitude de l’intervalle de confiance diminue, à taille
d’échantillon fixée.
- Quand αdiminue, le niveau de confiance augmente, et l’amplitude de l’intervalle de confiance augmente, à taille
d’échantillon fixée.
2 Le problème statistique général
Soit (X1, X2,··· , Xn), un n-échantillon de nvariables aléatoires de loi Pθ∗, dépendant d’un paramètre θ∗inconnu.
Nous avons vu comment, à partir de l’échantillon X1,··· , Xn, construire un estimateur Tnde θ∗et en déduire
une estimation ponctuelle de θ∗,tnbasée sur la réalisation (x1, x2,··· , xn),tnétant la réalisation de l’estimateur
Tn. Nous avons par ailleurs décrit les propriétés mathématiques demandées à un estimateur (consistance, vitesse de
convergence...). Le problème que l’on se pose maintenant est de savoir quelle confiance on peut accorder à cette unique
valeur observée. On va chercher à encadrer θ∗pour être sur de n’avoir que, par exemple, α= 5% (ou 1%,···) de chances
de se tromper, ou encore encadrer θ∗en ayant 95% de chances de ne pas se tromper, ie avec un niveau de confiance
de 1−α= 95%. On construit ainsi un intervalle de confiance de θ∗. On va donc chercher un intervalle Iα= [A, B], où
Aet Bsont deux variables aléatoires (fonctions de X1,··· , Xn) telles que IP(θ∗∈[A;B]) = IP(θ∗∈Iα) = 1 −α.
2

2.1 Définition
Soit α∈]0,1[. On appelle intervalle de confiance du paramètre θ∗de niveau de confiance 1−α(ou de risque α)
un intervalle (aléatoire) Iαtel que IP(θ∗∈Iα) = 1 −α.
Un tel intervalle va être construit à partir d’un estimateur Tnde θ∗et de sa loi (éventuellement asymptotique). Pour
simplifier, nous allons distinguer ici deux cas : les échantillons gaussiens et les échantillons de loi quelconque de taille
suffisamment grande (pour pouvoir appliquer le Théorème Central Limite).
Plus le niveau de confiance 1−αest grand (plus le niveau αest petit), plus l’intervalle de confiance sera de grande
amplitude. Autrement dit, si on ne s’autorise que peu d’erreurs, l’intervalle de confiance sera moins précis.
Par ailleurs, plus la taille de l’échantillon augmente, plus l’observation contient de l’information, plus l’amplitude
de l’intervalle de confiance sera faible (à niveau de confiance égal).
3 Intervalle de confiance de l’espérance et de la variance pour les échan-
tillons gaussiens
Soit (X1,··· , Xn)un n-échantillon de loi N(µ, σ2)pour lequel on dispose des réalisations (observations) (x1,··· , xn).
3.1 Intervalle de confiance pour µquand σ2connue
On cherche un intervalle Iµ,α = [A;B], où Aet Bsont deux variables aléatoires, fonctions de X1,··· , Xntelles
que IP(µ∈Iµ,α) = 1 −α. L’espérance µest naturellement estimée par l’estimateur sans biais et consistant, X=
n−1Pn
i=1 Xi. Comme moyenne de nvariables aléatoires, indépendantes de loi N(µ, σ2),
X∼ N µ, σ2
net donc √n(X−µ) σ∼ N(0,1).
Considérons uαtel que si Z∼ N(0,1), alors IP(−uα≤Z≤uα)=1−α, ou aussi tel que
IP(N(0,1) ≥uα) = IP(N(0,1) ≤ −uα) = α
2.
Pour ce uα, lu dans la table de la loi N(0,1), on a
IP −uα≤√n(X−µ)
σ≤uα= 1 −α.
On en déduit que
IP X−uασ
√n≤µ≤X+uασ √n= 1 −α.
L’intervalle de confiance bilatéral symétrique théorique pour µde niveau de confiance 1−αest donc
Iµ,α =X−uασ
√n;X+uασ √n,
où uαest tel que IP(N(0,1) ≤uα)=1−α/2.Le paramètre µappartient à l’intervalle aléatoire Iµ,α avec une pro-
babilité fixe de 1−α, c’est-à-dire que si l’on répétait un grand nombre de fois l’expérience consistant à prendre un
échantillon de taille net à lui faire correspondre un intervalle de confiance pour µ, dans (1−α)100% des cas, l’intervalle
de confiance couvrirait la vraie valeur de µ. Pour un échantillon de taille ndonné pour lequel on calcule X, l’intervalle
de confiance calculé associé de niveau de confiance 1−αest X−uασ
√n;X+uασ √n(qui contiendra ou non µ).
Au lieu de construire un intervalle de confiance bilatère symétrique, nous aurions pu en construire un intervalle
bilatère non symétrique en considérant cαet dαtels que IP(cα≤Z≤dα)=1−α, avec par exemple
IP(Z≤cα) = α/4et IP(Z≤dα)=1−3α/4.
L’intervalle de confiance bilatère non symétrique théorique aurait été
Iµ,α =X+cασ
√n;X+dασ √n.
3

De la même façon, on peut décider de construire un intervalle de confiance unilatère à droite. On considère cαtel que
IP(Z≤cα) = α. On en déduit alors l’intervalle de confiance unilatère à droite théorique
Iµ,α =X+cασ
√n; +∞.
De façon analogue, on peut décider de construire un intervalle de confiance unilatère à gauche. On considère dαtel
que IP(Z≤dα)=1−α. On en déduit alors l’intervalle de confiance unilatère à gauche théorique
Iµ,α =−∞ ;X+cασ
√n.
3.2 Intervalle de confiance pour σ2quand µest connue
On cherche Iσ2,α = [A;B], fonction de X1,··· , Xntel que IP(σ2∈Iσ2,α) = 1−α. Lorsque µest connue, l’estimateur
(sans biais et consistant) de σ2est bσ2=n−1Pn
i=1(Xi−µ)2.
Outil : Soient Y1,··· , Yn,nv.a. i.i.d. de loi N(0,1), alors
n
X
i=1
Y2
i∼ X2(n)(Loi du chi deux à ndegrés de liberté).
Les variables les (Xi−µ)/σ étant indépendantes de loi N(0,1), on en déduit donc que
nbσ2
σ2=
n
X
i=1
(Xi−µ)2
σ2∼ X2(n).
Soient cαet dα, lus dans la table du X2(n), tels que si Xn∼ X2(n), alors IP (cα≤ Xn≤dα) = 1 −α, par exemple,
tels que
IP X2(n)≤cα=α
2et IP X2(n)≥dα=α 2.
Pour ce cαet ce dα, on a
IP cα≤Pn
i=1(Xi−µ)2
σ2≤dα= 1 −α.
On déduit que
IP Pn
i=1(Xi−µ)2
dα≤σ2≤Pn
i=1(Xi−µ)2
cα= 1 −α,
et l’intervalle de confiance de σ2théorique de niveau de confiance 1−αest
Iσ2,α =Pn
i=1(Xi−µ)2
dα
;Pn
i=1(Xi−µ)2
cα=nbσ2 dα
;nbσ2
cα,
où cαet dαsont tels que IP(X2(n)≤cα) = α/2et IP(X(n)≤dα)=1−α/2.
3.3 Intervalles de confiance pour µet σ2
L’espérance µest estimée par l’estimateur sans biais et consistant Xet la variance σ2est estimée par, l’estimateur
sans biais et consistant S2= (n−1)−1Pn
i=1(Xi−X)2.
3.3.1 Théorème
Soit (X1,··· , Xn)un n-échantillon de loi N(µ, σ2). Notons X=1
n
n
X
i=1
Xiet S2=1
n−1
n
X
i=1
(Xi−X)2.
Alors X−µ
qS2
n
=√n(X−µ)
S∼St(n−1) et (n−1)S2 σ2∼ X2(n−1),
où St(n−1) désigne la loi de Student à (n−1) degrés de liberté.
Ce théorème découle en partie du résultat suivant.
Résultat : Si Yet Zsont 2 v.a. indépendantes telles que Y∼ N(0,1) et Z∼ X2(n), alors
Y
qZ
n
∼St(n)(loi de Student à ndegrés de liberté) .
4

3.3.2 Intervalle de confiance pour µde niveau de confiance 1−α
On cherche Iµ,α = [A;B], fonction de X1,··· , Xntel que IP(µ∈Iµ,α) = 1 −α.
Outil On utilise que √n(X−µ)
S∼St(n−1).
Soit tα, tel que si Tn−1∼St(n−1), alors IP(−tα≤Tn−1≤tα)=1−α, ou aussi tel que
IP (Tn−1≤ −tα) = IP (Tn−1≥tα) = α/2.
Pour ce tαon a
IP −tα≤√n(X−µ)
S≤tα= 1 −α.
On en déduit que
IP X−tαS
√n≤µ≤X+tαS √n= 1 −α,
et l’intervalle de confiance bilatère symétrique théorique pour µde niveau de confiance 1−αest donc
Iα=X−tαS
√n;X+tαS √n,où tαest tel que IP(|St(n−1)| ≤ tα)=1−α.
3.3.3 Intervalle de confiance pour σ2de niveau de confiance 1−α
On cherche Iσ2,α = [A;B], fonction de X1,··· , Xntel que IP(σ2∈Iσ2,α)=1−α.
Outil On utilise que (n−1)S2
σ2∼ X2(n−1).
Soient cαet dα, tels que si Xn−1∼ X2(n−1) alors IP(cα≤ Xn−1≤dα)=1−α, par exemple, tels que
IP X2(n−1) ≤cα=α
2et IP X2(n−1) ≥dα=α 2.
Pour ces cαet dα, on a
IP cα≤(n−1)S2
σ2≤dα= 1 −α.
On en déduit que
IP (n−1)S2
dα≤σ2≤(n−1)S2 cα= 1 −α,
et l’intervalle de confiance bilatère théorique pour σ2de niveau de confiance 1−αest
Iσ2,α =(n−1)S2
dα
;(n−1)S2
cα=Pn
i=1(Xi−X)2
dα
;Pn
i=1(Xi−X)2
cα,
où cαet dαsont tels que IP(X2(n−1) ≤cα) = α/2et IP(X2(n−1) ≤dα)=1−α/2.
4 Intervalle de confiance d’une espérance pour les grands échantillons de
loi quelconque
Soit (X1,··· , Xn)un n-échantillon de loi d’espérance µ= IE(X1)et de variance σ2=Var(X1). L’estimateur (sans
biais et consistant) de µest X=n−1Pn
i=1 Xi. On suppose que nest grand de sorte que le théorème central limite
s’applique. On a alors
√n(X−IE(X1))
pV ar(X1)
L
−→
n→∞ N(0,1) autrement dit √n(X−µ)
σ
L
−→
n→∞ N(0,1).
Ceci implique que pour nassez grand, si Z∼ N(0,1), alors pour tous aet bréels, la probabilité
IP a≤√n(X−µ)
σ≤best proche de la probabilité IP(a≤Z≤b).
5