Leçon 4 : Décision statistique

Leçon 4 : Décision statistique
Partie 1 : Généralités
➧ La Théorie de l’estimation (Leçon 3) permet d’obtenir des estimations ponctuelles
ou par intervalle qui affinent l’information tirée de l’échantillon concernant la
valeur de la caractéristique d’intérêt de la population.
➧ La Théorie de la décision statistique aide à la prise de décision dans un contexte
aléatoire. Le cadre de travail suppose que cette décision dépend de la valeur d’une
caractéristique d’intérêt de la population. Or on ne dispose que de l’information
incertaine obtenue d’un échantillon.
➧ On va voir que cet échantillon peut être utilisé pour « tester » la valeur de la
caractéristique de la population. Le résultat de cette action indique la décision à
prendre, tout en contrôlant les risques d’une mauvaise décision.
L4 – 1
Gilles DUCHARME (2012)
Exemple : Décision basée sur une espérance
• Les 100 arbustes de la pépinière ont donné x = 67.42. Imaginez que cet échantillon
ait été prélevé pour répondre à un acheteur voulant acquérir le stock des 500
arbustes de la pépinière à la condition que leur taille ait une espérance µ supérieure
à 68. Si l’on pouvait mesurer ces 500 arbustes, on pourrait calculer µ et l’acheteur
serait fixé quant à la décision à prendre. Ceci demande trop de travail, d’où l’idée de
prélever l’échantillon. Maintenant, celui-ci peut avoir été prélevé
a) par l’acheteur qui veut savoir si sa condition µ supérieur à 68 sera respectée.
Puisque x = 67.42 < 68, est-ce une raison pour décider de refuser le stock?
b) par le pépiniériste avant livraison, pour s’assurer de la satisfaction du client.
Puisque x = 67.42 < 68, est-ce une raison pour décider de ne pas expédier le
stock ?
➧ Le problème de déterminer si oui ou non on peut considérer que µ est supérieur à 68
est complexe : les enjeux changent selon que l’on adopte le point de vue du client ou
du vendeur.
L4 – 2
Gilles DUCHARME (2012)
Partie 2 : Hypothèses statistiques
➧ Dans la vie courante, la prise de décisions se base sur des conjectures faites par un
décideur sur la réalité d’une situation qu’il ne connaît pas complètement.
➧ En Statistique, ces conjectures sont des hypothèses sur la loi de v.a {X1,…, Xn}
devant être mesurées sur les individus d’un échantillon issu d’une population. Au
départ, le décideur entretient une conjecture privilégiée concernant cette loi
➧ L’hypothèse nulle est cette conjecture privilégiée. C’est celle que le décideur ne
lâchera pas sans un sérieux doute sur sa validité. On la note H0.
➧ L’hypothèse nulle est confrontée à une conjecture qui la contredit, appelée
« contre-hypothèse ». On la note H1. Le décideur fera sienne l’hypothèse H1 s’il
réussit à sérieusement mettre en doute la validité de H0
L4 – 3
Gilles DUCHARME (2012)
Exemple : Pépinière
• Si l’acheteur craint de se faire arnaquer, il peut prendre H0 : µ ≤ 68 et H1 : µ > 68
• Le pépiniériste qui a confiance en la qualité de son stock est plutôt amené à poser :
H0 : µ ≥ 68 et H1 : µ < 68
• Si l’exactitude de l’espérance de la taille (µ = 68) est en jeu pour une simple question
de calibrage (sans enjeu monétaire) on peut penser à H0 : µ = 68 et H1 : µ ≠ 68
➧ Dans la présente Leçon, les hypothèses considérées se rapportent aux
caractéristiques de la loi, comme l’espérance, la proportion théorique etc... Elles
sont dites de type paramétrique.
L4 – 4
Gilles DUCHARME (2012)
Partie 3 : Risques d’erreurs
➧ Un test d’hypothèses (ou simplement un test) est une procédure consistant, au vu
d’un échantillon, à rejeter ou non H0. On rejette H0 (au profit de H1) si les données
mettent en doute H0.
➧ Ce faisant, on peut se tromper de deux façons :
1) Rejeter H0 alors que H0 est vraie : c’est l’erreur de première espèce
2) Ne pas rejeter H0 alors que H0 est fausse : c’est l’erreur de seconde espèce
➧ La probabilité de commettre ces erreurs s’appelle le risque. Il y 2 risques :
• Le risque de première espèce = probabilité de commettre une erreur de 1ère espèce
• Le risque de seconde espèce = probabilité de commettre une erreur de 2ième espèce
➧ Un bon test d’hypothèses doit minimiser ces 2 risques
L4 – 5
Gilles DUCHARME (2012)
➧ Malheureusement, les risques de première et de seconde espèce sont antagonistes :
on ne peut pas les minimiser simultanément.
➧ La stratégie consiste alors à fixer une borne supérieure α, appelée le niveau, au
risque de première espèce (souvent le plus lourd de conséquences).
Exemple : Pépinière : « Si l’acheteur craint de se faire arnaquer, il peut prendre H0 : µ
≤ 68 et H1 : µ > 68 ». Le risque de première espèce est le risque de Rejeter H0 alors
que H0 est vraie et donc d’acheter un lot qui en réalité ne satisfait pas ses critères,
donc de se faire arnaquer. C’est évidemment lourd de conséquences….
➧ Un test est de niveau α si la procédure qui le définit assure que la probabilité de
rejeter H0 alors que H0 est vraie (risque de première espèce) ne dépasse pas α.
➧ Cette stratégie offre parfois une façon de poser en pratique H0 et H1 puisque
faussement rejeter H0 est l’erreur dont on veut contrôler le risque.
L4 – 6
Gilles DUCHARME (2012)
➧ Le risque de seconde espèce (= probabilité que le test ne rejette pas H0 alors que
H0 est fausse) est une quantité complexe à calculer et qu’on n’étudiera pas ici (et
dont les conséquences sont souvent moindres que le risque de première espèce).
Exemple : Pépinière : L’acheteur a pris H0 : µ ≤ 68 et H1 : µ > 68 . Le risque de
seconde espèce est celui de Ne pas rejeter H0 alors que H0 est fausse, donc de ne pas
faire l’achat alors que le stock satisfaisait ses critères. La conséquence est que le client
repart les mains vides. Il ira ailleurs... Cette perte de temps est en général moins grave
que de s’être fait arnaquer…
➧ On va maintenant voir comment on peut construire des tests d’hypothèses de niveau
α dans différentes situations que l’on rencontre dans les applications.
L4 – 7
Gilles DUCHARME (2012)
Partie 4 : Tests concernant l’espérance
➧ Si X est la moyenne d’un échantillon de n v.a {X1,…, Xn} indépendantes de loi N(µ,
σ 2) alors, (Théorème 3.1)
⎛
σ2 ⎞
X ~ N ⎜ µ, ⎟
n ⎠
⎝
et
Z=
(X − µ )
n
~ N ( 0, 1)
σ
(4.1)
➧ Considérons le problème de tester au niveau α l’hypothèse H0 : µ = µ0 contre
l’hypothèse H1 : µ ≠ µ0. Pour construire le test, on raisonne comme suit :
➧ Si H0 est vraie, X a pour espérance µ0 et on serait surpris d’observer une valeur x
très différente de µ0, ou une valeur observée
(x − µ0 )
z= n
σ
de Z très différente de 0
➧ L’échantillon met en doute H0 si z < –c ou > c, où c est une borne à déterminer.
L4 – 8
Gilles DUCHARME (2012)
➧ En prenant c = N1–α/2, on définit un test de niveau α. En effet, si H0 est vraie,
Pr
{
}
n(X − µ0 ) σ < −N1−α /2 ou > N1−α /2 = Pr { Z < −N1−α /2 ou > N1−α /2 }
⎧
⎫
⎪
⎪
= Pr ⎨ Z < −N1−α /2 ⎬ + Pr { Z > N1−α /2 }

⎪⎩
⎪⎭
Nα /2
= α/2 + α/2 = α
Ce test est dit bilatéral
Exemple : Pépinière (n = 100)
• On veut tester au niveau α = 0.05 l’hypothèse H0 : µ = 68 (= µ0) contre H1 : µ ≠ 68.
On suppose que la taille des arbustes est de loi normale et que σ = 2
• On observe x = 67.42, d’où z = 100(67.42 − 68) 2 = –2.9 < –N0.975 = –1.96
• En conclusion, on rejette l’hypothèse H0 : µ = 68 au profit de H1 : µ ≠ 68
L4 – 9
Gilles DUCHARME (2012)
➧ Ici, on a supposé σ 2 connue. Souvent en pratique σ 2 est inconnue et le test est
inutilisable car Z ne peut pas être calculé. On est alors obligé de passer par la loi de
Student. On rappelle (p. L3-21 eq. (3.3)) que
T=
X−µ
~ tn–1
S* n
➧ Pour tester H0 : µ = µ0 contre H1 : µ ≠ µ0 quand σ 2 est inconnue, un test de niveau α
(appelé le test de Student (ou t-test) bilatéral) rejette H0 au profit de H1 si
t=
x − µ0
< –t1 – α/2(n – 1) ou > t1 – α/2(n – 1).
s* n
La preuve que le niveau de ce test est bien α est similaire au cas σ 2 connue.
➧ Ce test possède plusieurs variantes, s’adaptant aux différents contextes rencontrés
L4 – 10
Gilles DUCHARME (2012)
Variante 1 : Pour tester H0 : µ = (ou ≤) µ0 contre H1 : µ > µ0 quand σ 2 est inconnue, un
test de niveau α rejette H0 au profit de H1 si t > t1 – α(n – 1). C’est le test de Student
unilatéral à droite
Variante 2 : Pour tester H0 : µ = (ou ≥) µ0 contre H1 : µ < µ0 quand σ 2 est inconnue, un
test de niveau α rejette H0 au profit de H1 si t < –t1 – α(n – 1). C’est le test de
Student unilatéral à gauche
➧ Pour ces tests, on a supposé que l’échantillon est constitué de n v.a indépendantes de
loi N(µ, σ 2). On considère maintenant le cas où ces v.a sont de loi quelconque. Par
le Théorème 3.2, on a quand n ≥ 30,
(
X ≈ N µ, σ 2 n
)
(4.2)
De là, en reprenant depuis (4.1), on déduit que tous les tests données plus haut sont
de niveau approché α dans leur contexte respectif.
L4 – 11
Gilles DUCHARME (2012)
Exemple : Un médicament prétend baisser la tension. Un échantillon de 8 individus est
choisi au hasard dans une population. On se propose d’administrer le médicament
et de mesurer la baisse de tension Xi ( = Av – Ap) sur chacun d’entre eux.
• Les Xi sont indépendantes et supposées de loi N(µ, σ 2) avec σ 2 inconnue.
• Si les données sont : 3.6 2.2 2.4 1.5 – 0.9 1.3 2.7 et 2.1 ( x = 1.8625, s* =
1.32335), déterminer (au niveau α = 0.05) si le médicament est efficace.
• H0 et H1 ne sont pas données: il faut les poser (difficulté supplémentaire). Si on
déclare le traitement efficace (µ > 0) alors qu’il ne l’est pas (µ = 0), on sera amené à
en recommander l’usage. L’inverse, où on déclare inefficace un traitement qui agit
est moins grave. On veut donc contrôler le risque de faussement rejeter µ = 0. Ceci
mène à
H0 : µ = 0 et H1 : µ > 0
•t=
n(x − µ0 ) s* =
(Variante 1)
8(1.8625) 1.32335 = 3.9808 > t0.95(7) = qt(0.95,7) = 1.8946
• Selon la stratégie de la Variante 1, on rejette H0 au profit de H1
• Conclusion : le traitement est efficace !!
L4 – 12
Gilles DUCHARME (2012)
Note : Par le logiciel R
= contre-hypothèse




> t.test(c(3.6,2.2,2.4,1.5,-0.9,1.3,2.7,2.1), al t er nat i ve = "greater")
One Sample t-test
data:
c(3.6, 2.2, 2.4, 1.5, -0.9, 1.3, 2.7, 2.1)
t = 3.9808, df = 7, p-value = 0.002659
alternative hypothesis: true mean is greater than 0
bla…bla…bla
Note : La plupart des logiciels statistique retourne la p-value d’un test. Qu’est-ce que
c’est ?
• Prenons un test unilatéral à droite de niveau α basé sur une v.a S de valeur observée s
on rejette H0 si s > vα
L4 – 13
Gilles DUCHARME (2012)
Exemple : S = T =
X−µ
,
S* n
s=t
On a rejeté H0 puisque t
= 3.9808,
= 3.9808 >
vα = t0.95(7) = 1.8946
1.8946
• La p-value est Pr{S > s}
( dans notre exemple Pr{T > 3.9808} =
• Noter que si s > vα ⇒
qt(3.9808,7)
= 0.002659
=
p-value
p-value = Pr{S > s} < Pr{S > vα} = α
• Ceci suggère la procédure :
rejeter (accepter) H0 si la p-value < (≥) α
qui est tout-à-fait équivalente à la procédure précédente : rejetter H0 si s > vα car s >
vα si et seulement si p-value < α
• Pour un test unilatéral à gauche, p-value = Pr{S < s}. Pour un test bilatéral, p-value
= Pr{S < − s ou > s }
L4 – 14
Gilles DUCHARME (2012)
Partie 5 : Tests concernant une proportion théorique
➧ On veut tester la valeur de la proportion p des individus d’une population possédant
une certaine particularité. On a vu que la proportion empirique P̂ de personnes
d’un échantillon possédant la particularité a pour loi approchée
p(1− p) ⎞
⎛
P̂ ≈ N ⎜ p, ⎟
⎝
n ⎠
➧ Pour tester H0 : p = p0 contre H1 : p ≠ p0, on construit un test de niveau α approché
en raisonnant de la même façon (partant de (4.2)) que pour une espérance. On est
amené à rejeter H0 si z = n( p̂ − p0 ) p0 (1 − p0 ) < –N1–α/2 ou > N1–α/2
Variante 1 : Pour H0 : p = (ou ≤) p0 contre H1 : p > p0 : on rejette H0 au niveau
approché α si z > N1–α
Variante 2 : Pour H0 : p = (ou ≥) p0 contre H1 : p < p0 : on rejette H0 au niveau
approché α si z < –N1–α
L4 – 15
Gilles DUCHARME (2012)
Exemple : La proportion p de personnes dans une population ayant un taux de
plombémie élevé est de 11.4 %. Dans un village, un échantillon de 67
habitants a donné 14 personnes (soit 21 %) ayant une plombémie élevé. Or
à première vue, il n’y a pas de source de pollution. On veut décider si on
doit s’alarmer de ce fait. Pour être prudent, on prend α = 0.01
• Ici H0 et H1 ne sont pas données. Il faut les poser. Affirmer que la proportion de
personnes ayant une plombémie élevée dépasse la « norme » de p = 0.114 peut
mener, par le principe de précaution, à une évacuation problématique des habitants.
Comme on veut contrôler ce risque, on est amené à poser.
H0 : p ≤ 0.114 ( = p0) contre H1 : p > p0 (Variante 1)
• On calcule z =
n( p̂ − p0 )
p0 (1 − p0 ) =
67(0.21 − 0.114)
0.114 (1 − 0.114) = 2.45 > N0.99 = qnorm(0.99) = 2.326
• On accepte H1 : p > 0.114 au niveau approché α = 0.01. Il faut s’alarmer !
L4 – 16
Gilles DUCHARME (2012)
Partie 6 : Tests pour 2 échantillons
➧ On considère le contexte où on dispose de 2 échantillons de v.a indépendantes :
1) X1,…, Xn ~ N(µx, σ x2 )
et
2) Y1,…, Ym ~ N(µy, σ y2 )
On suppose σ x2 = σ y2 et on veut tester H0 : µx = µy contre H1 : µx ≠ µy (test bilatéral)
• Le 1ier échantillon observé donne {x1,…, xn}, x et sx2
• Le 2ième échantillon observé donne {y1,…, ym}, y et sy2
➧ On applique le « Test de Student » bilatéral pour 2 échantillons : au niveau α
on rejette H0 si t =
x−y
ns + ms
1 1
+
n+m−2 n m
2
x
2
y
< –t1 – α/2(n + m – 2) ou > t1 – α/2(n + m – 2)
➧ Pour un test unilateral à droite (H1 : µx > µy), on rejette H0 si t > t1 – α(n + m – 2)
Pour un test unilateral à gauche (H1 : µx < µy), on rejette H0 si t < –t1 – α(n + m – 2)
L4 – 17
Gilles DUCHARME (2012)
➧ On considère maintenant le cas où un échantillon de taille n engendre la v.a P̂x de
valeur observée p̂x estimant la proportion théorique px dans une 1er population. Un
2ième échantillon de taille m engendre la v.a P̂y de valeur observée p̂y estimant la
proportion théorique py dans la 2ième population.
➧ On veut tester H0 : px = py contre H1 : px ≠ py. Si p̂xy =
niveau approché α si
z=
p̂x − p̂y
p̂xy (1− p̂xy ) 1 1
+
n m
n p̂x + m p̂y
n+m
, on rejette H0 au
< –N1 – α/2 ou > N1 – α/2
➧ Pour un test unilateral à droite (H1 : px > py), on rejette H0 si z > N1 – α
Pour un test unilateral à gauche (H1 : px < py), on rejette H0 si z < – N1 – α
L4 – 18
Gilles DUCHARME (2012)
Exemple : On veut savoir si les mésanges de Corse diffèrent de celles du continent.
Un échantillon de n = 25 mésanges de Corse est capturé et on observe leur poids ( xC =
19.3 gr, sC = 1.37) et leur sexe p̂C = 0.56 (= 14 mâles). Un 2ième échantillon de m = 33
mésanges est capturé dans les étangs littoraux et on observe x L = 17.4, sL = 1.51 et p̂L
= 0.394 (= 13 mâles). Au niveau α = 0.05, que peut-on conclure ?
• On applique des tests bilatéraux puisqu’on veut simplement savoir si les
caractéristiques diffèrent entre les 2 populations.
• Pour le poids, on suppose σC = σL.
xC − x L
19.3 − 17.4
t=
=
= 4.85 > t0.975(56) = 2.003
2
2
2.18153 0.0703
nsC + msL 1 1
+
n+m−2 n m
• Pour le sexe, z =
0.56 − 0.394
= 1.25 ∈ [–N0.975, N0.975 ] = [–1.96, 1.96]
0.249 0.0703
• Conclusion : On rejette l’égalité des espérances de poids : donc H1 : µC ≠ µL est vraie
On accepte cependant H0 : pC = pL
L4 – 19
Gilles DUCHARME (2012)