Espérance conditionnelle, par Jean–Paul Kimbambu, Tsasa Vangu Laboratoire d’Analyse – Recherche en Economie Quantitative One pager Novembre 2012 Vol. 4 – Num. 003 Copyright © Laréq 2012 Espérance et Variance conditionnelles en Analyse économétrique Une application implicite de la version continue des moindres carrés linéaires Jean – Paul Kimbambu, Tsasa Vangu1 Introduction Ce papier présente la complicité des interactions qu’entretiennent l’espérance mathématique conditionnelle, la variance conditionnelle, le coefficient de corrélation de Bravais – Galton – Pearson (BGP) et les estimateurs définis par les moindres carrés linéaires. Son champ d’application se situe à mi – parcours entre les analyses statistique et économétrique. Ainsi, les variables considérées sont supposées étagées. La définition claire du lien évoqué précédemment permettra de dériver le modèle de régression linéaire simple, ainsi que les estimateurs y associés, en mobilisant une version continue de la méthode des moindres carrés. Remarquez déjà que la structure du papier sera biaisée vers l’explicitation de la mesure des moments de variable et vecteur aléatoires. En vu d’assurer la fluidité dans le développement de l’analyse, nous considérons le cadre continu dans les différentes démonstrations, et le cadre discret dans les illustrations. Le passage d’un cas vers un autre semble naturellement quasi – trivial. Trois sections caractérisent le corps de notre présentation. Nous définissons dans la première section, dans un cadre plus général, l’intégrale d’une variable aléatoire (ou espérance mathématique d’une variable aléatoire), ensuite, il sera question dans les deux sections restant, de dériver l’espérance conditionnelle (section 2), avant de définir le coefficient de corrélation associée au vecteur aléatoire et d’établir les interactions évoquées précédemment (section 3). In fine, nous attirons l’attention du lecteur à la distinction des caractères minuscules et majuscules tout au long du développement des formules. Notez qu’elle est de rigueur ! Intégrale d’une variable aléatoire Considérons un espace mesurable l’espace fondamental dans l’espace E. Pour telle que la fonction La variable aléatoire Une variable aléatoire est une application (fonction) , partie de E, l’indicatrice de précise ou « indique » si l’élément de est définie par : fait partie de A 2. , ainsi mobilisée, est réelle et étagée ou simple car prenant un nombre fini de valeurs, soit : 1 2 Ph.D. Candidate, Université de Montréal et Chercheur au Laboratoire d’Analyse – Recherche en Economie Quantitative [LAREQ]. Envoyez – nous vos commentaires et observations à [email protected]. Lire Tsasa (2012, vol. 4, num. 001), pour plus de détails sur l’espace fondamental, l’espace de probabilité et l’espace mesurable. Le papier est téléchargeable sur http://www.lareq.com. Jean – Paul Kimbambu, Tsasa Vangu Chercheur au Laboratoire d’Analyse – Recherche en Economie Quantitative 19 Dès lors, notant l’espace de probabilité par le triplet tel que correspond à la loi de X pouvant être définie de quatre manières équivalentes : Puisque X est une variable aléatoire réelle, la loi la fonction la mesure de probabilité sur l’espace est une probabilité sur l’ensemble caractérisée par dite fonction de répartition. L’intégration de la variable par rapport à la mesure de probabilité détermine ce qu’on appelle couramment « Espérance mathématique ». Simplement, l’espérance mathématique est le moment d’ordre 1 de la variable aléatoire. Soit la fonction génératrice des moments telle que une fois la fonction et en posant en dérivant , on obtient l’espérance mathématique. De même, en dérivant deux fois, et en posant t=0, on définit le moment d’ordre 2 (variance) de la variable aléatoire X. L’intégrale et la variance de la variable aléatoire sont ainsi liées. Plus spécifiquement, le moment d’ordre 1 s’obtient comme suit : ; parallèlement, le moment d’ordre 2 : plus généralement, le moment d’ordre Et : Remarquons que : (i) l’espérance mathématique est linéaire sur l’espace vectoriel des variables aléatoires étagées, c’est – à – dire espérance mathématique est ; (ii) la variable finie ; (iii) degré 2 en et n’est intégrable que si son donc, et le discriminant associé à ce polynôme de est donné par : visiblement, puisque le terme obtient : est non négatif, on vérifie toujours et par conséquent, on (inégalité de Cauchy). Dans un papier ultérieur, nous montrerons que cette inégalité n’est qu’une forme particulière de l’inégalité de Hölder, et détecterons sa complicité avec les inégalités de Markov et de Chebyshev dans la dérivation de la loi forte et de la loi faible de grands nombres. Par ailleurs, dans la définition de l’espérance mathématique, on peut s’intéresser à une fonction de plutôt qu’à X, soit : La fonction de densité , dans ce cas, l’espérance mathématique devient : est également Lebesgue – intégrable. Jean – Paul Kimbambu, Tsasa Vangu Chercheur au Laboratoire d’Analyse – Recherche en Economie Quantitative 20 Espérance conditionnelle Supposons à présent un vecteur aléatoire avec deux variables aléatoires (l’extension au cas multivarié est naturelle), noté tel que est la transposée de L’espérance mathématique de la fonction , telle que dérivée précédemment, est redéfinie comme suit : Les fonction et sont respectivement la densité de probabilité jointe (ou conjointe) et la fonction de répartition de répartition jointe. De même, l’espérance mathématique peut être extraite à partir de la fonction génératrice des moments associée au vecteur aléatoire Pour rentre plus limpide les développements qui suivent. Considérons l’exemple suivant qui autorise l’entrée de deux nouvelles fonctions : densité de probabilité marginale et fonction de répartition marginale. Tableau 1 : Dérivation des probabilités marginales des variables du vecteur aléatoire X1 X2 (i, j) 0 1 . . . m P.j 0 P00 P10 1 P01 P11 Pm0 P.0 Pm1 P.1 ... ... n P0n P1n Pmn P.n Pi. P0. P1. . . . Pm. Où Pij = P(X1 = i et X2 = j). Le tableau montre la procédure de calcul des probabilités marginales dans le cas où le vecteur aléatoire comprend les variables discrètes. Partant de cette illustration matricielle, la définition de la fonction de densité marginale d’une variable aléatoire continue, ainsi que sa fonction de répartition marginale apparaît plus évidente. Soit respectivement les fonctions de densité et de répartition marginales, on note : L’analyse des vecteurs aléatoires soulève de questionnement pertinent dans la profession de l’économiste, tel que la définition de distribution conditionnelle ou la dérivation des espérances conditionnelles. Jean – Paul Kimbambu, Tsasa Vangu Chercheur au Laboratoire d’Analyse – Recherche en Economie Quantitative 21 Soient deux variables aléatoires, pour lesquelles on associe une fonction de densité jointe et des fonctions de densité marginales. La probabilité de réalisation de Puisque sachant que notée : est donc une fonction de densité conditionnelle, définie non négative. Et par conséquent, l’espérance conditionnelle de la fonction Parallèlement, la variance conditionnelle de Remarquez qu’en posant et variables est fixé à tel que sachant que s’obtient par : est donnée par : , on obtient facilement l’égalité les variables aléatoires et sachant . Cela signifie donc que sont identiques en moyenne. Ainsi, pour les économistes, face aux il revient au même d’observer plutôt que car : Cette philosophie intrinsèque de la régression linéaire est fortement contestée par les partisans de l’approche d’analyse par calibration. Régression linéaire : Détection de la complicité Espérance – Variance – Corrélation La régression linéaire peut être analysée en considérant soit la droite d’ajustement (approche essentiellement graphique), soit l’équation de la première droite (modèle paramétrique). Cette approche impose une restriction forte à la spécification de la forme fonctionnelle à modéliser 3. Par ailleurs, notons au passage, qu’on attribue au mathématicien croate, Roger J. Boscovic, le premier calcul des coefficients de régression linéaire (1755 – 1757). A la place de la notation indicée, nous utilisons, à la suite de ce papier, la notation X et Y pour distinguer deux variables aléatoires. Soit : - la fonction de densité jointe associée à - et - et ; l’espérance mathématique de X et Y tel que ; - et les moyennes respectives de X et Y obtenues en considérant la fonction - et les écarts – types s respectifs de X et Y obtenus en considérant la fonction la covariance entre 3 ; les fonctions de densité marginales de X et Y respectives ; une fonction de - et et noté ; ; est donnée par : Pour les hypothèses fortes associées à cette philosophie de modélisation, voir Tombola (2012, juin) téléchargeable sur http://www.lareq.com. Jean – Paul Kimbambu, Tsasa Vangu Chercheur au Laboratoire d’Analyse – Recherche en Economie Quantitative 22 et le coefficient de corrélation, noté , dont on doit l’introduction en économie à George U. Yule en 1909, est définie par : En réaménageant (17) en fonction de (16), on obtient : Le coefficient de corrélation BGP varie entre –1 et +1. En servant de l’inégalité de Cauchy 4, Makambo et Tsasa (2012) ont procédé à la dérivation explicite du domaine de définition de Nous dériverons ce même domaine mais, cette fois – ci, en mobilisant la variance conditionnelle. En vertu de la restriction fonctionnelle imposée par la régression linéaire, on note que : Et, il s’ensuit que pour tout concentration de Soit et le coefficient BGP mesure la probabilité de l’intensité de la autour d’une droite dans le plan l’espérance mathématique de conditionnellement à Puisqu’il s’agit d’un modèle linéaire, l’opérateur , telle que : est donc linéaire en soit : De (19) et (20), on obtient : L’égalité en (21) ne change pas si l’on écrivait : De (21a), on a : 4 Ou inégalité de Bunyakovski – Cauchy – Schwartz. Jean – Paul Kimbambu, Tsasa Vangu Chercheur au Laboratoire d’Analyse – Recherche en Economie Quantitative 23 et de (21b) : où en vertu du théorème de König – Huyghens5, on note l’identité suivante : La solution simultanée de (22a et b) donne : Considérons à présent la variance conditionnelle de : On peut réécrire cette relation, en considérant la fonction densité jointe de marginale de et et la fonction : La variance étant non négative, l’inégalité suivante est vérifiée : En intégrant la relation (26) par rapport à on obtient : Et après développement, on a: Et puisque est toujours non négative, l’inégalité suivante ne viole pas la relation (26) : Ainsi parvient – on à dériver le domaine de définition du coefficient de corrélation BGP, en passant par la variance conditionnelle : 5 Le théorème de König – Huygens est un cas particulier de simplification de la fonction scalaire de Leibniz concernant les barycentres. Jean – Paul Kimbambu, Tsasa Vangu Chercheur au Laboratoire d’Analyse – Recherche en Economie Quantitative 24 Bibliographie HOGG Robert V., Joseph W. McKEAN and Allen T. CRAIG, 2013, Introduction to Mathematical Statistics, 7th edition, Pearson, Montreal, 694p. JACOD Jean et Philip PROTTER, 2003, L’Essentiel en théorie des probabilités, éd. Cassini, Paris, 261p. KENDALL Maurice G. and Alan STUART, 1979 (1958), The Advanced Theory of Statistics, Vol. 2 (vol. 1), New – York, Macmillan, 748p (433p). MAKAMBO Israël et Jean – Paul TSASA, (août) 2012, « Dérivation du Domaine de Définition du Coefficient de Corrélation de Bravais – Galton – Pearson : Application de l’Inégalité de Cauchy (1921), Bunyakovski (1859) et Schwart (1885), One Pager Laréq, vol. 3, num. 008, 97 – 101. RUDIN Walter, 1976, Principles of Mathematical Analysis, 3th edition, McGraw – Hill, New – York, 342p. TOMBOLA Cédrick, (juin) 2012, Économétrie 1 : Rappels et recueils d’exercices (suite), Guide Laréq pour étudiant, GLEN 010, 52 pages TSASA Jean – Paul, (mars) 2012, « Probabilité et révision bayésienne : De la genèse du calcul de probabilités à l’initiation aux pratiques bayésiennes », One Pager Laréq, vol. 1, num. 008, 48 – 54. TSASA Jean – Paul, (octobre) 2012, « Un Regard Plus Attentif sur La MESURE DE Probabilité en Statistique et économétrie Espace Probabilisable, Mesure de Probabilité et Espace Probabilisé », One Pager Laréq, vol. 4, num. 002, 14 – 18. Jean – Paul Kimbambu, Tsasa Vangu Chercheur au Laboratoire d’Analyse – Recherche en Economie Quantitative 25