44 L`INEGALITE DE FRECHET –CRAMER-RAO POUR

L’INEGALITE DE FRECHET –CRAMER-RAO POUR LES
VARIABLES ALEATOIRES DEPENDANTES
AZZOUZ Abderrezak
Maître de conférences « A », Enseignant Chercheur
à l’Ecole Nationale Supérieure de Management (ENSM)
[email protected]
RESUME :
Généralement, les études statistiques se font sur des variables aléatoires
supposées, à priori, indépendantes. Pratiquement tous les théorèmes utilisés
en statistique mathématique sont basés sur la condition de l’indépendance
des variables aléatoires.
Parmi ces théorèmes et ces résultats, on cite l’inégalité de Frechet-RaoCramer dont on a l’habitude de l’utiliser avec les variables indépendantes.
Dans cette étude, on propose une version de cette inégalité pour les
variables statistiques dépendantes.
Le principe se base sur le passage des variables aléatoires indépendantes
𝑋𝑘 vers des variables aléatoires dépendantes 𝑌𝑘 . La relation qui relit ces deux
types de variables est la suivante :
La distribution jointe des variables aléatoires dépendantes 𝑌𝑘 coïncide avec
la distribution jointe conditionnelle des variables aléatoires indépendantes
𝑋𝑘 .
Mots clés : L’inégalité de Frechet, Cramer-Rao pour les variables
aléatoires dépendantes
Introduction
Soit une suite de variables aléatoires 𝑋1 , 𝑋2 , … , 𝑋𝑛 indépendantes et
identiquement distribuées avec une fonction de distribution𝑓(∙ ; 𝜃 ; 𝜉),
connue avec précision jusqu’à 2 paramètres.
𝜉 = 𝜉1 , 𝜉2 , … , 𝜉𝑟 , 𝑟 ≥ 1, est le paramètre informatif (peut être un
vecteur), Si 𝜂𝑛 la somme des variables 𝑋𝑖 est une statistique suffisante par
rapport à 𝜃, alors il existe une variante d’une distribution jointe
conditionnelle de toutes les variables 𝑋𝑘 sous la condition :
𝜂𝑛 ≡ 𝑛𝑘=1 𝑋𝑘 = 𝑎𝑛
(1)
Où : 𝑎𝑛 valeur de la statistique suffisante ne dépondant pas de 𝜃.
Pour la vraisemblance conditionnelle, on utilisera le théorème de NaimanPearson.
Dans le cas continu, la vraisemblance conditionnelle ressorte à travers la
densité conditionnelle.
Dans le cas discret, à travers la probabilité conditionnelle de l’évènement
𝑋𝑘 = 𝑥𝑘 , 𝑘 = 1, … , 𝑛 , en remplaçant dans la vraisemblance conditionnelle
des variables aléatoires 𝑋𝑘 par leurs valeurs 𝑥𝑘 , on obtient la valeur de la
vraisemblance conditionnelle.
44
Soit une suite de variables aléatoires 𝑌1 , 𝑌2 , … , 𝑌𝑛 dont la distribution
jointe coïncide avec la distribution jointe conditionnelle des variables
aléatoires 𝑋𝑘 (sous la condition (1)).
Désignons par 𝐺 l’espace des valeurs des 2 variables aléatoires 𝑋𝑘 et 𝑌𝑘 .
La variable aléatoire :
ζ𝑛 = 𝑛𝑘=1 𝑕𝑛 𝑌𝑘
(2)
Est appelée statistique divisible si :
1𝑕𝑛 , 𝑛 ≥ 1 une suite de fonctions réelles de Borel, reflétant
l’ensemble 𝐺 𝑑𝑎𝑛𝑠 𝑅1 ;
2Il existe une version 𝑄 𝑜, 𝑜 de distribution conditionnelle du
vecteur 𝑋 = ( 𝑋1 , 𝑋2 , … , 𝑋𝑛 ) sous la condition (1) où on fixe la somme au
point 𝑎𝑛
3Il existe une version 𝑄 de distribution conditionnelle sous la
condition (1) de la variable aléatoire :
𝑛
ξ𝑛 =
𝑕𝑛 𝑋𝑘
𝑘=1
Version de l’inégalité de Frechet-Rao-Cramer
Soit 𝑌1 , 𝑌2 , … , 𝑌𝑛 une suite de variables aléatoires dépendantes dont la
distribution jointe coïncide avec la distribution jointe conditionnelle ( sous la
condition (1)) des variables aléatoires 𝑋1 , 𝑋2 , … , 𝑋𝑛 indépendantes et
identiquement distribuées ayant comme fonction de répartition 𝐹(∙ ; 𝜃 ; 𝜉) .
Ici 𝜉 = 𝜉1 , 𝜉2 , … , 𝜉𝑟 , 𝑟 ≥ 1,
paramètre informatif inconnu d’un
ensemble ouvert 𝛯 ∈ 𝑅 𝑟 , que nous voulons estimer à partir des valeurs
observées 𝑦 = (𝑦1 , 𝑦2 , … , 𝑦𝑛 ) de l’échantillon 𝑌 ≡ 𝑌1 , 𝑌2 , … , 𝑌𝑛 .
Si 𝜂𝑛 (1) est une statistique suffisante (elle peut être vectorielle) par
rapport au paramètre 𝜃, alors toute l’information sur le paramètre 𝜉 se trouve
dans l’échantillon Y .
Dans le cas classique des échantillons indépendants ,l’inégalité de Frechet
-Rao-Cramer donne la borne inférieure de la variance de l’estimateur sans
biais du paramètre (ou d’une fonction de paramètre).
On veut trouver une version de l’inégalité de Frechet -Rao –Cramer dans
notre cas de variables dépendantes.
Soit la statistique arbitraire 𝑡 𝑚 𝑋 , 𝑜ù 𝑋 = 𝑋1 , 𝑋2 , … , 𝑋𝑛 .
Condition 1 :
Les conditions suivantes doivent être remplies :
a)
La distribution des variables 𝑋𝑘 est absolument continue selon la
mesure de Lebesgue avec une densité 𝑓(∙ ; 𝜃 ; 𝜉) ;
b)
La variable :
45
𝑡 𝑚 𝑋 = 𝑡1 𝑋 , … , 𝑡𝑚 𝑋 , 1 ≤ 𝑚 ≤ 𝑛 , 𝑋 = 𝑋1 , 𝑋2 , … , 𝑋𝑛 est une
statistique suffisante par rapport à 𝜃 et se présente sous la forme d’un
vecteur avec des composantes réelles.
Selon la condition 1
a)
La distribution du vecteur X est absolument continue avec comme
densité 𝑓𝑋 (∙) :
𝑛
𝑓𝑋 𝑥 =
𝑓(𝑥𝑘 ; 𝜃, 𝜉), 𝑥 = 𝑥1 , 𝑥2 , … , 𝑥𝑛 .
𝑘=1
Supposons que la statistique 𝑡 𝑚 𝑋 peut être complétée par une
statistique :
𝑔 𝑛−𝑚 𝑋 = (𝑔1 𝑋 , … , 𝑔𝑛−𝑚 𝑋 )
Et supposons le changement de variable suivant :
𝑧1 = 𝑡1 𝑥 , … , 𝑧𝑚 = 𝑡𝑚 𝑥 , 𝑧𝑚 +1 = 𝑔1 𝑥 , … , 𝑧𝑛 = 𝑔𝑛−𝑚 (𝑥)
La densité de Z est donnée par la formule suivante
𝑓𝑍 𝑧 = det 𝑗 𝑇, 𝑥 𝑓𝑋 (𝑇 𝑥 )
(3)
Où :
𝑥 = 𝑥1 , 𝑥2 , … , 𝑥𝑛 𝑒𝑡 𝑧 = 𝑧1 , 𝑧2 , … , 𝑧𝑛
𝑇(𝑥) est l’image qui associe à chaque valeur du vecteur x une valeur du
vecteur z
𝑇: 𝑥 → 𝑧 = 𝑡1 𝑥 , … , 𝑡𝑚 𝑥 , 𝑔1 𝑥 , … , 𝑔𝑛−𝑚 𝑥 ,
𝑗 𝑇, 𝑥 est la matrice Jacobienne .
La vraisemblance 𝐿𝑛 de l’échantillon Y ,en prenant en considération (3),
est définie pour chaque valeur 𝜉 ∈ 𝛯 par la formule :
𝐿𝑛 ∙ ; 𝜉 = 𝑕
𝑕𝜂 0
𝑓𝑍 ∙ ; 𝜃 ; 𝜉
𝜂 𝑛 (𝑎 𝑛 ; 𝜃 ; 𝜉)
(4)
𝑕𝜂 𝑛 = 𝑛𝜇𝑛
2
𝜂𝑛 − 𝑛𝜇1
0
𝜂𝑛 =
,
𝜇1 = 𝐸 𝑋1 , 𝜇2 = 𝐸 𝑋1 − 𝜇1 2
𝑛𝜇2
𝑕𝜂 𝑛 , 𝑕𝜂 𝑛0 les densités des distributions des variables aléatoires 𝜂𝑛 𝑒𝑡 𝜂𝑛0
respectivement. Puisque 𝜂𝑛 est une statistique suffisante par rapport au
paramètre 𝜃 (voir formule (1)) , la partie droite de la formule (4) ne dépond
pas de 𝜃. Dans ce cas, on peut prendre T comme suit :
𝑇: 𝑥1 , 𝑥2 , … , 𝑥𝑛 → (𝜂𝑛 , 𝑥2 , … , 𝑥𝑛 )
Le dénominateur de la partie droite de la formule (4) est supposé non nul.
Pour obtenir la borne inférieure de notre variance, on utilisera le résultat
très connu comme théorème à la page 253 dans 09 .
La démonstration de ce résultat est basée sur une relation très connue (voir
par exemple (1) dans 09 , page 246), qui prend, dans notre cas, la forme
suivante :
Où :
𝑅𝑛
46
𝐿𝑛 𝑦; 𝜉 𝑑𝑦 = 1
∀𝜉 ∈𝛯 ,
(5)
Où 𝐿𝑛 : densité de distribution n-mesure de Lebesgue. Le théorème qu’on
a cité, nous donne la borne inférieure de la variance de l’estimateur sans
𝜕
biais qui dépend de 𝜕𝜉 ln 𝐿𝑛 𝑌; 𝜉 .
𝑚
D’un autre coté la matrice Jacobienne T ne dépend pas du paramètre (𝜉, 𝜃)
.
Par conséquent, de la formule (4) et de la formule (3) on tire :
𝜕
𝜕
ln 𝐿𝑛 𝑦; 𝜉 = 𝜕𝜉 ln 𝐿0𝑛 𝑦; 𝜉
𝜕𝜉
𝑚
Où :
𝑚
𝐿0𝑛 𝑦; 𝜉 =
𝑛
𝑘=1 𝑓(𝑦 𝑘 ;𝜃,𝜉 )
(6)
(7)
𝑕 𝜂 𝑛 (𝑎 𝑛 ; 𝜃 ; 𝜉)
Comme fonction de vraisemblance, on prendra la fonction 𝐿0𝑛 .
Soit 𝑡𝑛 un estimateur sans biais de 𝜏(𝜉) une fonction du paramètre 𝜉.
Supposons 𝜉 est un paramètre unidimensionnel.
Nous aurons besoin des conditions standards de régularité de la fonction de
vraisemblance (voir par exemple page 246 de 09 ).
Condition 2 :
a) L’ensemble 𝑦 ∈ 𝑅 𝑛 : 𝐿𝑛 𝑦; 𝜉 > 0 ne dépend pas de 𝜉
b) La fonction 𝐿𝑛 est différentiable par rapport à 𝜉 et
𝜕
𝜕
𝑡𝑛 (𝑦) 𝑚 𝐿𝑛 𝑦; 𝜉 𝑑𝑦 =
𝑡𝑛 (𝑦) 𝑚
𝐿 𝑦; 𝜉 𝑑𝑦
𝜕𝜉 𝑅 𝑛
𝜕𝜉 𝑛
𝑅𝑛
Où m est égale à 0 ou à 1.
Les conditions nécessaires pour la différentiation sous signe intégrale sont
données par exemple dans ( 09 , page 247 ).
Remarque 1 :
Selon (3) et (7) la réalisation de la condition 2 a) pour la fonction 𝐿0𝑛 entraine
la réalisation de la fonction 𝐿𝑛 et vis versa.
Lemme 1 :
Si l’estimateur sans biais 𝑡𝑛 possède une variance finie 𝑉𝜉 𝑡𝑛 et la condition 2
est réalisée, alors :
𝑉𝜉 𝑡𝑛 ≥
𝐸𝜉 (
𝜕
𝜕𝜉
1
𝑙𝑛 𝐿0𝑛 𝑌;𝜉 2
Pour toute valeur ξ , le dénominateur de la partie droite est positif.
Cette inégalité devient une égalité si et seulement si :
𝜕
𝜕𝜉
𝑙𝑛 𝐿0𝑛 𝑌; 𝜉 = 𝑔(𝜉) 𝑡𝑛 𝑌 − 𝜏(𝜉)
presque par tout
Où g une fonction positive.
En utilisant le théorème (page 247 dans 09 ), nous obtenons :
47
Résultat 1 :
Si la fonction 𝐿𝑛 est deux fois différentiable et
𝜕2
𝜕𝜉 2 𝑅 𝑟
𝐿𝑛 𝑦; 𝜉 𝑑𝑦 =
𝑅𝑟
𝜕2
𝜕𝜉 2
𝐿𝑛 𝑦; 𝜉 𝑑𝑦 ,
Alors , sous les conditions du lemme 1 pour toute variable ξ ∈ 𝛯 :
𝐸𝜉
2
𝜕
𝑙𝑛 𝐿0𝑛 𝑌; 𝜉
𝜕𝜉
𝜕2
ln 𝐿0𝑛 𝑌; 𝜉 .
𝜕𝜉 2
= − 𝐸𝜉
Et par conséquent :
𝜕2
𝑉𝜉 𝑡𝜉 ≥ − 𝐸𝜉
ln 𝐿0𝑛 𝑌; 𝜉
𝜕𝜉 2
Ce résultat donne la borne inférieure de la variance de l’estimateur.
Passons maintenant à la version de l’inégalité de Frechet-Rao-Cramer pour
un paramètre multidimensionnelle ξ.
Condition 2’ :
Supposons que les conditions suivantes sont réunies :
a) L’ensemble 𝐿𝑛 𝑦; 𝜉 > 0 ne dépond pas de ξ ∈ 𝛯 ;
b) La fonction de vraisemblance de l’échantillon est différentiable pour
chaque 𝜉𝑚 , 𝑚 = 1, … , 𝑟
En plus pour = 0 𝑒𝑡 𝑝𝑜𝑢𝑟 𝑙 = 1 , on a :
𝜕
𝜕𝜉𝑚 𝑅 𝑛
𝑡𝑛 (𝑦) 𝑙 𝐿𝑛 𝑦; 𝜉 𝑑𝑦 =
𝑅𝑛
𝑡𝑛 (𝑦)
𝑙
𝜕
𝜕𝜉𝑚
𝐿𝑛 𝑦; 𝜉 𝑑𝑦
(8)
c) La fonction 𝜏 𝜉 est différentiable pour chaque 𝜉𝑚 .
En utilisant le théorème dans la page 253 09 , nous obtenons :
Lemme 1’ :
Supposons que les conditions 1 et 2’ et 𝑡𝑛 un estimateur sans biais d’une
fonction réelle 𝜉 , alors :
𝑟
𝑖,𝑗 =1 𝑎𝑖,𝑗 𝑐𝑖 𝑐𝑗
𝜕
𝐸𝜉 (𝜕𝜉 𝑙𝑛 𝐿0𝑛 𝑌; 𝜉
𝑖
𝑉𝜉 𝑡𝜉 ≥
Où
𝑎𝑖,𝑗 =
(9)
𝜕
(𝜕𝜉
𝑗
𝑙𝑛 𝐿0𝑛 𝑌; 𝜉 ,
Et les coefficients 𝑐𝑗 ≡ 𝑐𝑗 𝜉 vérifient le système d’équations :
𝑟
𝑎𝑖,𝑗 𝑐𝑗 =
𝑗 =1
Si la matrice 𝐴 =
𝑉𝜉 𝑡𝜉 ≥
𝑎𝑖,𝑗
𝜕
𝜏 𝜉
𝜕𝜉𝑖
𝑖 = 1,2, … , 𝑟
−1
𝑒𝑠𝑡 𝑖𝑛𝑣𝑒𝑟𝑠𝑖𝑏𝑙𝑒 𝑒𝑡 𝐴−1 = 𝑎𝑖,𝑗
, alors :
𝑟
−1
𝑖,𝑗 =1 𝑎𝑖,𝑗
𝜕
𝜕𝜉 𝑖
𝜏 𝜉
𝜕
𝜕𝜉 𝑗
𝜏 𝜉
(10)
Ce résultat donne la borne inférieure de la variance de l’estimateur pour le
cas multidimensionnel.
48
Bibliographie
01
A.A.BOROVKOV, Statistique mathématique-estimation des
paramètres-tests d’hypothèses, édition, Naouka, 1984.
02 A.A.BOROVKOV, Théorie des probabilités, édition, Naouka, 1986.
03 A.N.SHERIAEV, Probabilité, édition, Naouka, 1980.
04 B.A.SEVASTIANOV, Cours de théorie des probabilités, édition,
Naouka, 1982 ;
05 D.A.FRASER, Nonparametric methods in statistics, New York, John
Wiley and Sons, 1957.
06 E. LEMAN, Tests statistiques d’hypothèses, édition, Naouka, 1979.
07 G.I.IVCHENKO, U.I.MEDVEDOV, Statistique mathématique,
édition , Naouka, 1984.
08 G.CRAMER, Statistique mathématique, édition, Mir, 1975.
09 G.P.KLIMOV, Théorie des probabilités et statistique mathématique,
édition, MGU, 1983.
10 K.PARTASARATI, Introduction à la théorie des probabilités et la
théorie des mesures, édition, Mir, 1983.
11 L.HOLST, Some conditional limit theorems in exponential families,
édition, Probab v.9, 1981.
12 P.BILLINGSLEY, Statistical inferences for Markov processes,
edition Chicago University Press, 1962.
13 S.R.PAO, Méthodes statistiques linéaires et leurs applications,
édition, Naouka, 1968.
14 S.ZABELL, Continuous versions of regular conditional distributions,
editions, The Annals of Probability, 1979.
15 V.FELLER, Introduction à la théorie des probabilités et ses
applications, édition, Mir, 1984.
16 V.V.PETROV, Somme de variables aléatoires indépendantes, édition,
Naouka, 1972.
49