k - Cedric/CNAM

Plans à probabilités inégales
Sommaire
1. Pourquoi échantillonner à probabilités inégales ?
a. Intérêts
b. Un petit exemple
c. Le choix des probabilités d’inclusion : cas des plans
proportionnels à la taille
2. Comment estimer un total ?
a. Définition de l’estimateur de Horvitz-Thompson
b. Espérance de l’estimateur de Horvitz-Thompson
c. Variance de l’estimateur de Horvitz-Thompson
d. Estimation de la variance de l’estimateur de HorvitzThompson
3. Comment estimer une moyenne ?
a. L’estimateur de Horvitz-Thompson
b. L’estimateur de Hájek
4. Comment construire des intervalles de confiance pour le total ou
la moyenne ?
_________________________________________________________________________
Plans à probabilités inégales - Module B8-CNAM
29/10/2004 - S.Rousseau
1
1. Pourquoi échantillonner à probabilités inégales ?
a. Intérêts
Lorsque les unités de la population étudiée contribuent inégalement à
un total, échantillonner à probabilités inégales est souhaitable parce que
cela permet de retenir de préférence les unités les plus porteuses de
l’information.
Il en résulte des estimations plus précises par rapport à la situation où
toutes les unités sont échantillonnées comme si elles possédaient la
même importance.
Exemple : pour estimer la production d’un secteur que l’on sait
assurée par 2 géants du secteur et des centaines de PME, il
est légitime de sélectionner d’office les 2 grandes
entreprises et d’échantillonner de manière aléatoire
quelques PME.
Le principe est d’aller chercher l’information là où elle se trouve.
Ce qui suppose de disposer avant l’échantillonnage d’information
auxiliaire connue sur toute la population et liée avec le caractère
d’intérêt.
_________________________________________________________________________
Plans à probabilités inégales - Module B8-CNAM
29/10/2004 - S.Rousseau
2
b. Un petit exemple
Soit une population de 4 entreprises A, B, C et D comptant respectivement 500,
100, 30 et 20 salariés. Admettons que l'on veuille estimer le nombre total de
salariés (certes connu : 650) à partir d'un échantillon de taille 2 et comparons les 2
tirages suivants :
q
q
un sondage aléatoire simple sans remise,
un échantillonnage à probabilités inégales avec les probabilités ci-dessous :
Entreprise k Effectif salarié Xk
A
B
C
D
500
100
30
20
Probabilité d'inclusion
pk
1
0,5
0,25
0,25
Avec le sondage aléatoire simple, il y a C42 = 6 échantillons possibles :
Probabilité
Echantillon s
de tirage p(s)
(1)
{A, B}
{A, C}
{A, D}
{B, C}
{B, D}
{C, D}
1/6
1 200 = 4 ¸ 2 ´ ( 500 + 100 )
Estimation du nombre
total de salariés des 4
entreprises
1 200 (1)
1 060
1 040
260
240
100
En moyenne, on estime parfaitement bien le vrai effectif total de 650 salariés.
Mais l'estimateur est très dispersé : sa variance vaut 207 567 (CV @ 70%).
Avec le plan à probabilités inégales, seuls 3 échantillons sont possibles :
Probabilité
Echantillon s
de tirage p(s)
{A, B}
{A, C}
{A, D}
(2)
0,5
0,25
0,25
Estimation du nombre
total de salariés des 4
entreprises
700 (2)
620
580
700 = 500 + ( 100 ¸ 0,5 )
En moyenne, l'estimateur est aussi sans biais.
Et sa variance est beaucoup plus faible, elle vaut 2 700 (CV @ 8%).
_________________________________________________________________________
Plans à probabilités inégales - Module B8-CNAM
29/10/2004 - S.Rousseau
3
Mais si les probabilités d’inclusion avaient été respectivement 0.25, 0.25, 0.5 et 1
pour les entreprises A à D, alors la qualité de l’estimation aurait été moindre
qu’avec le sondage aléatoire simple sans remise. En effet, on obtient dans ce cas
comme échantillons possibles et estimations associées:
Probabilité
Echantillon s
de tirage p(s)
{A, D}
{B, D}
{C, D}
(3)
0,25
0,25
0,5
Estimation du nombre
total de salariés des 4
entreprises
2 020 (3)
420
80
2 020 = ( 500 ¸ 0,25 ) + ( 20 ¸1)
Une nouvelle fois, en moyenne l'estimateur est sans biais.
Mais il s’avère extrêmement dispersé : sa variance vaut 644 900 (CV @ 124%).
Il peut donc s’avèrer très intéressant de sélectionner les unités avec des
probabilités d’inclusion proportionnelles aux valeurs prises pour un
caractère x, lié positivement avec le caractère d’intérêt et connu pour
tous les individus de la base de sondage.
_________________________________________________________________________
Plans à probabilités inégales - Module B8-CNAM
29/10/2004 - S.Rousseau
4
c. Le choix des probabilités d’inclusion : cas des plans
proportionnels à la taille (ppt)
Considérons par exemple une enquête qui s’intéresse au chiffre
d’affaires d’entreprises d’un secteur donné. Si l’on dispose du nombre
de salariés de toutes les entreprises de ce secteur et si on pressent que le
chiffre d’affaires est plus ou moins proportionnel au nombre de
salariés, il est légitime de calculer les probabilités d’inclusion de toutes
les entreprises de manière proportionnelle à leur effectif salarié : on
parle de plans proportionnels à la taille.
Pour un échantillon de taille fixe n, on calcule la probabilité de
sélectionner la kème entreprise selon :
"k Î U , π k = P(k Î S ) = n
Xk
å Xk
kÎU
où Xk désigne la variable de taille, ici le nombre de salariés de la kème
entreprise de la population U.
On vérifie que :
åπ
k
=n
kÎU
(plan de taille fixe).
On voit cependant que certaines probabilités d’inclusion pk peuvent
dépasser 1. Dans ce cas,
-
-
on sélectionne d’office les unités en question : on pose pk = 1
pour ces unités (elles constituent une strate dite exhaustive)
on recalcule les probabilités d’inclusion des autres individus
proportionnellement à la taille de l’échantillon restant à
sélectionner et à leur contribution dans le nouveau total (quitte à
réitèrer la démarche jusqu’à ce que pk £ 1, " kÎU) .
_________________________________________________________________________
Plans à probabilités inégales - Module B8-CNAM
29/10/2004 - S.Rousseau
5
Les notations :
Ÿ
Population : U = {1,..., k ,..., N }
N
tY = å Yk = å Yk
Ÿ
Total de la variable Y :
Ÿ
1
m
=
Moyenne de la variable Y : Y
N
Ÿ
Probabilité d’inclusion d’un individu k de U dans S :
k =1
kÎU
N
å Yk =
k =1
tY
N
π k = P(k Î S) = E (I k )
ì1 si k Î S
I
=
où k í
î0 sinon
ie I k ~ B(p k )
(variable indicatrice introduite par Cornfield en 1944)
Ÿ
Probabilité d’inclusion de 2 individus k et l de U dans S :
π kl = P(k Î S et l Î S) = E (I kl ) = (I k I l )
ì1 si k Î S et l Î S
î0 sinon
où I kl = I k ´ I l = í
Ÿ
Covariance entre
Ik
et
Il
pour k et l de U :
D kl = E (I kl ) - E (I k )E (I l ) = p kl - p k p l
_________________________________________________________________________
Plans à probabilités inégales - Module B8-CNAM
29/10/2004 - S.Rousseau
6
2. Comment estimer un total ?
a. L’estimateur de Horvitz et Thompson ou p-estimateur ou
estimateur par les valeurs dilatées
En 1952, Horvitz et Thompson ont proposé l’estimateur suivant du
total ty de la variable Y :
Y
tˆYp = å k
kÎs p k
Remarques :
· C’est un estimateur linéaire, les poids de sondage ne dépendent
pas de l’échantillon.
· Il permet d’estimer la taille N de la population, qu’elle soit
connue ou non :
1
Nˆ p = å
kÎs p k
· Il est valable quel que soit le plan de sondage.
· Il généralise les résultats du sondage aléatoire simple sans remise
de taille fixe n, où p k =
n
pour tout k de U.
N
_________________________________________________________________________
Plans à probabilités inégales - Module B8-CNAM
29/10/2004 - S.Rousseau
7
b. L’espérance de l’estimateur de Horvitz et Thompson
Propriété 1 :
Si pk > 0 pour tout individu k de la population U,
alors l’estimateur d’Horvitz et Thompson du total est sans biais.
Démonstration :
æ Y
E( tˆYp ) = E çç å k
è kÎs p k
æ
ö
Yk ö
Yk
÷= å
÷÷ = E ç å
I
Yk = t Y - å Yk
k
÷ kÎU / p >0 p E (I k ) = kÎUå
ç kÎU / p >0 p
/
p
kÎU / p k = 0
k
k
ø
k
k
k >0
ø
è
Si certaines probabilités d’inclusion sont nulles, alors l’estimateur est biaisé. Ce
biais ne dépend que des unités qui ont aucune chance d’être échantillonnées : on
parle de problème de couverture.
c. La variance de l’estimateur d’Horvitz et Thompson
i.
Dans le cas général
Propriété 2 :
Si pk > 0 pour tout k de U, alors la variance de
l’estimateur d’Horvitz et Thompson du total vaut :
Yk Yl
D kl
kÎU lÎU p k p l
Var ( tˆYp ) = åå
Démonstration :
æ Y
Var ( tˆYp ) = Var çç å k
è kÎs p k
æY
= å Var çç k
kÎU
èp k
ö
æ Y
ö
÷÷ = Var çç å k I k ÷÷
ø
è kÎU p k ø
ö
æY
Y ö
I k ÷÷ + åå Covçç k I k , l I l ÷÷
pl ø
ø kÎU llιUk
èp k
2
æY
= å çç k
kÎU è p k
ö
Y Y
÷÷ Var (I k ) + åå k l Cov(I k , I l )
kÎU lÎU p k p l
ø
l ¹k
æY
= å çç k
kÎU è p k
ö
Y Y
÷÷ p k (1 - p k ) + åå k l D kl
kÎU lÎU p k p l
ø
2
Yk Yl
D kl
kÎU lÎU p k p l
= åå
l ¹k
car D kk = p k (1 - p k )
_________________________________________________________________________
Plans à probabilités inégales - Module B8-CNAM
29/10/2004 - S.Rousseau
8
ii.
Dans le cas d’un plan de taille fixe
Propriété 3 :
Si pk > 0 pour tout k de U et si le plan est de taille
fixe, alors Sen, Yates et Grundy ont montré que la variance de
l’estimateur d’Horvitz et Thompson du total peut aussi s’écrire:
2
æY
Y ö
1
Var ( tˆYp ) = - åå çç k - l ÷÷ D kl
2 kÎU lÎU è p k p l ø
Démonstration :
2
éæ Y
æ Yk Yl ö
1
1
- åå çç
- ÷÷ D kl = - åå êçç k
2 kÎU lÎU è p k p l ø
2 kÎU lÎU êè p k
ë
æY
= - åå çç k
kÎU lÎU è p k
æY
= å çç k
kÎU è p k
ö
÷÷
ø
2
2
ö æ Yl ö
Y Y ù
÷÷ + çç ÷÷ - 2 k l úD kl
pk pl ú
ø èpl ø
û
2
ö
Y Y
÷÷ D kl + åå k l D kl
kÎU lÎU p k p l
ø
2
åD
lÎU
kl
Yk Yl
D kl
kÎU lÎU p k p l
+ åå
Yk Yl
D kl
kÎU lÎU p k p l
= Var (tˆYp )
= 0 + åå
car pour k fixé, å D kl = 0 avec un plan de taille fixe
lÎU
_________________________________________________________________________
Plans à probabilités inégales - Module B8-CNAM
29/10/2004 - S.Rousseau
9
d. Estimation de la variance de l’estimateur d’Horvitz et
Thompson
Propriété 4 :
Si pkl > 0 pour tous k et l de U, alors la variance de l’estimateur
d’Horvitz et Thompson du total peut être estimée sans biais par :
Y Y D
Vˆ ar1 ( tˆYp ) = å å k l kl
kÎs lÎs p k p l p kl
Si de plus, le plan est de taille fixe, la variance de l’estimateur
d’Horvitz et Thompson du total peut aussi être estimée sans biais
par :
2
æY
Y ö D kl
1
Vˆ ar2 ( tˆYp ) = - å å çç k - l ÷÷
2 kÎs lÎs è p k p l ø p kl
Comparaison de ces 2 estimateurs
i.Le 1er estimateur est valable dans le cas général.
ii.Le 2ème estimateur n’est valable que si le plan est de taille fixe.
iii.Dans le cas où est le plan est de taille fixe, on dispose
généralement de 2 estimateurs concurrents et différents.
iv.Ils sont tous les 2 sans biais dès que tous les pkl sont strictement
positifs quels que soient les individus k et l de la population.
v.Les 2 estimateurs peuvent prendre des valeurs négatives, mais il
existe une condition suffisante pour que le second estimateur soit
positif. Cette condition , dite condition de Sen-Yates-Grundy , est :
" k , l ÎU , D kl > 0 soit : " k , l Î U , p kl - p k p l > 0
_________________________________________________________________________
Plans à probabilités inégales - Module B8-CNAM
29/10/2004 - S.Rousseau
10
3. Comment estimer une moyenne ?
a. L’estimateur de Horvitz et Thompson d’une moyenne
i.
Définition
Lorsque la taille de la population est connue, on peut estimer la
moyenne de Y avec l’estimateur de Horvitz et Thompson :
mˆ Yp =
1
N
Yk tˆYp
=
å
p
N
kÎs
k
Dans le cas particulier où la variable d’intérêt Y est dichotomique et
vaut 1 dans p% des cas, le p-estimateur de la proportion p vaut :
pˆ p =
ii.
Yk
1
å
N kÎs p k
Propriétés
Les propriétés 1 à 4 vues pour l’estimateur de Horvitz et Thompson
d’un total s’appliquent à une moyenne, en adaptant les formules pour
tenir compte du coefficient N.
_________________________________________________________________________
Plans à probabilités inégales - Module B8-CNAM
29/10/2004 - S.Rousseau
11
b. L’estimateur de Hájek d’une moyenne
i.
Définition
L’estimateur de Hájek (1971) de la moyenne de Y est défini par :
Yk
å
Yk k Îs p k tˆyp
1
mˆ YH =
=
=
å
ˆ
ˆ
1
p
N p k Îs k
å p Np
k Îs k
ii.
Ÿ
Ÿ
Propriétés
L’estimateur de Hájek est un ratio de 2 p- estimateurs.
Il est biaisé : on montre que le biais est asymptotiquement nul et
on le considéra négligeable lorsque la taille de l’échantillon est
grande.
Ÿ
Sa précision peut s’avèrer supérieure à celle du p-estimateur.
Ÿ
Si " kÎU, Yk = a avec a constante réelle quelconque , alors
ìmˆ YH = a = m y
ï
í
Nˆ p
ïmˆ Yp = a
N
î
_________________________________________________________________________
Plans à probabilités inégales - Module B8-CNAM
29/10/2004 - S.Rousseau
12
4. Comment construire des intervalles de confiance pour le
total ou la moyenne ?
Pour construire un intervalle de confiance à partir du p-estimateur, il
faut connaître sa distribution de probabilité, du moins dans le cadre
asymptotique.
En général, on considère que le p-estimateur suit approximativement
une loi normale lorsque la taille de l’échantillon est grande.
L’intervalle de confiance au niveau de confiance 1-a pour le total ty est
donc donné par :
IC1-a (t y ) = étˆyp - u1- a Vˆar (tˆyp ) ; tˆyp + u1- a Vˆar (tˆyp ) ù
êë
úû
2
2
où u1- a2 désigne le fractile d’ordre
1-
a
2
de la loi N ( 0,1) .
De même, en supposant la taille de la population N connue, l’intervalle
de confiance pour la moyenne est donnée par :
IC1-a ( m y ) = é mˆ yp - u1- a Vˆar ( mˆ yp ) ; mˆ yp + u1- a Vˆar ( mˆ yp ) ù
êë
úû
2
2
_________________________________________________________________________
Plans à probabilités inégales - Module B8-CNAM
29/10/2004 - S.Rousseau
13
Exemple de Basu (1971)
Basu relate l’exemple suivant : le propriétaire d’un cirque souhaite
estimer le poids total de son troupeau de 50 éléphants. Il y a 3 années
de cela Sambo représentait le poids moyen du troupeau.
En présumant que c’est toujours le cas, il propose de peser à nouveau
Sambo et d’en déduire l’estimation suivante du poids du troupeau :
Yˆ = 50 ´ (Poids de Sambo )
Le statisticien du cirque propose quant à lui d’estimer sans biais le
poids total en échantillonnant un éléphant à probabilités inégales avec :
ìp Sambo = 99 100 = 0,99
í
1
1
1
îp Autres = 100 ´ 49 = 4900
et en calculant :
Yˆ = (Poids de Sambo ) / 0,99
Yˆ = 4900 ´ (Poids de l' éléphant tiré)
si Sambo est échantillonné
sinon
_________________________________________________________________________
Plans à probabilités inégales - Module B8-CNAM
29/10/2004 - S.Rousseau
14