Théorèmes Limites, J–Paul Tsasa Laboratoire d`Analyse

Théorèmes Limites, J–Paul Tsasa
Laboratoire d’Analyse – Recherche en Economie Quantitative
One pager
Janvier 2013
Vol. 5 – Num. 008
Copyright © Laréq 2013
http://www.lareq.com
Théorèmes Limites en Théorie des Probabilités
Inégalités, Lois des Grands Nombres et Théorèmes Centraux Limites
Jean – Paul Kimbambu, Tsasa Vangu
Résumé
Ce papier présente ce qu’il convient de considérer comme résultats les plus remarquables et
célèbres en théorie de probabilités : les lois faible et forte des grands nombres et les
théorèmes centraux limites (versions restreinte et plus générale). Il recueille, également, une
trentaine d’inégalités rencontrées généralement dans l’analyse statistique.
Mots – clé : Inégalité, loi de grands nombres, théorème limite central.
Abstract
We present in this paper the law of large numbers and central limit theorems. We also identify
around thirty inequalities, for which some are used in the statistical analysis and in the proof
of limit theorems.
Introduction
Alors que T. Haavelmo1 (1944) estimait que les modèles développés en économie ne pouvaient être
cohérents avec les données que s’ils sont probabilistes, deux obstacles majeurs empêchaient
l’introduction de probabilités dans la méthodologie de l’analyse économique : (i) la non indépendance des
faits économiques et (ii) le problème d’homogénéité du temps ou de la permanence des lois
économiques. Pour écarter ces arguments myopes, Haavelmo (1944) avance une thèse révolutionnaire
qui impose l’application de probabilité en économétrie. En effet : (i) il propose une approche basée sur le
caractère aléatoire des relations économiques au regard du nombre de facteurs explicatifs des faits socio
– économiques ; (ii) en référence aux changements éventuels de structure, il différencie les relations
économiques stables et non stables ; (iii) il distingue, d’une part, l’influence théorique ou potentielle d’un
facteur et d’autre part, son influence réellement observée ou factuelle.
Ainsi estime – t – il que la cohérence des modèles économiques avec les données tient à la prise en
compte de notions probabilistes dans la méthodologie économétrique. Cette intuition –l’introduction de
probabilités dans les modèles économiques– est l’un des points focaux ayant caractérisé le
développement de la théorie économétrique. S’inscrivant dans cette logique, il apparaît donc primordiale
de comprendre les piliers et enjeux de la théorie des probabilités en analyse économique. Dans ce
papier, nous abordons un thème de nature fondamentale, les théorèmes limites2. En effet, étant
remarquables et célèbres à la fois, les théorèmes limites apparaissent en théorie des probabilités comme
un des résultats théoriques les plus importants. On les regroupe généralement sous deux dénominations.
D’une part, on note les lois des grands nombres et d’autre part, les théorèmes centraux limites.
1
2
Economiste et statisticien norvégien et lauréat du Prix Nobel d’économie en 1989, Trygve Haavelmo est considéré
comme l’un des pères révolutionnaires de la théorie économétrique.
Toujours dans le cadre de la présentation des piliers de la théorie des probabilités, dans les papiers ultérieurs, nous
reviendrons sur certains concepts – clé sur la théorie de la mesure –théorie imaginée par le mathématicien français
Henri – Léon Lebesgue au début du XXème siècle.
42
Jean – Paul Kimbambu, Tsasa Vangu
Laboratoire d’Analyse – Recherche en Economie Quantitative
Alors que les lois des grands nombres établissent les conditions qui déterminent la convergence de la
moyenne d’une suite de variables aléatoires vers leur espérance mathématique commune, les théorèmes
centraux limites précisent sous quelles hypothèses la somme d’un grand nombre de variables aléatoires
se caractérise par une distribution approximativement normale. Ce papier propose un exposé rigoureux
de ces résultats. Nous le structurons comme suit. Dans la première section, nous passons en revue les
principales inégalités utilisées en théorie des probabilités et dont certaines, notamment les inégalités de
Markov, de Chebyshev et de Kolmogorov, sont utilisées dans la dérivation des théorèmes limites. La
deuxième section et la troisième section sont consacrées à la présentation et la démonstration des
théorèmes limites. Dans la deuxième section, nous présentons les versions faible et forte de la loi des
grands nombres. Et dans la troisième section, nous nous intéressons à la dérivation des versions
restreinte et générale du théorème central limite.
I. Inégalités célèbres en théorie des probabilités
Cette section présente trois inégalités qui permettent d’ériger l’environnement où s’appliquent les
théorèmes limites. Au delà de ces trois inégalités, nous reprenons également une collection des
inégalités généralement utilisées en statistique.
Considérons une constante positive
telle que :
on note pour la variable aléatoire
:
Connaissant l’expression de l’espérance mathématique :
Ainsi, on établit l’inégalité de Markov :
Posons à présent
notée
Puisque
telles que
et admettons que la variable
et
possède une moyenne, notée
et une variance,
Le cas Markov devient, après avoir centré la variable aléatoire
et que
:
il vient que :
43
Jean – Paul Kimbambu, Tsasa Vangu
Laboratoire d’Analyse – Recherche en Economie Quantitative
En considérant, une suite
des variables aléatoires qui sont de carré intégrable et deux à deux
corrélées, on obtient :
et il s’ensuit que :
Ainsi, pour tout
:
où :
Comme indiqué par leurs expressions, les inégalités de Markov et de Chebyshev permettent de borner la
valeur de probabilité dont l’espérance mathématique et la variance sont connues.
Considérons, cette fois – ci, une suite des variables aléatoires,
réelles indépendantes, de carré
intégrable et d’espérance nulle telles que :
Alors pour tout
:
En supposant que les
ne sont pas centrées, c’est – à – dire
et que
et en posant
que :
on obtient ainsi une version généralisé de l’inégalité de Kolmogorov :
Regardons plus en détails l’inégalité de Kolmogorov et notons à cet effet :
tel que
suite finie
c’est – à - dire l’événement élémentaire
atteint ou dépasse
réalise l’événement
si et seulement si la
la première fois pour
44
Jean – Paul Kimbambu, Tsasa Vangu
Laboratoire d’Analyse – Recherche en Economie Quantitative
Il vient donc que les
sont deux à deux disjoints et que :
Au regard de la propriété de croissance et additivité de l’intégrale (mesure de la densité
par rapport à
), on obtient la minoration suivante :
Intégrons sur
l’inégalité élémentaire, on a ainsi :
où :
D’une part, les variables
et
étant des combinaisons linéaires de variables aléatoires de carré intégrable,
sont de carré intégrable. Et d’autre part, puisque
et que
en est pour le vecteur aléatoire
est une fonction mesurable du seul vecteur aléatoire
elles sont donc indépendantes. Ainsi :
Puisque
Ainsi, on obtient :
A première vue, il ressort que l’inégalité de Kolmogorov est plus ou moins identique à celle de Bienaymé
– Chebyshev. Cependant, il convient de rappeler que contrairement à l’inégalité de Bienaymé –
Chebyshev, où l’on suppose la non corrélation deux à deux, dans ce cas, on pose l’indépendance
mutuelle. Par ailleurs, on note aussi que l’inégalité de Kolmogorov est beaucoup plus puissante étant
donné qu’elle permet de comprendre, en probabilité, toute déviation d’une suite finie
Parallèlement à ces inégalités, nous énumérons ci – après les inégalités généralement utilisées en
probabilités, notamment dans l’analyse de la convergence. Ci – après, nous les énumérons uniquement,
dans les papiers ultérieurs, on pourrait envisager de les illustrer avec quelques applications et établir les
liens existant entre elles.
45
Jean – Paul Kimbambu, Tsasa Vangu
Laboratoire d’Analyse – Recherche en Economie Quantitative
Tableau 1 : Répertoire de quelques inégalités célèbres en probabilités
Inégalité de Hölder
:
Inégalité de Minkowski
:
Inégalité de Lyapunov
:
Inégalité de Bunyakovski – Cauchy – Schwarz
:
Inégalité de Jensen
:
Inégalité triangulaire
:
Inégalité de Bonferroni
:
Inégalité de Boole
:
Bornes de Chernoff
:
est une fonction convexe.
fonction génératrice des moments.
Inégalité de Bernett
:
-
;
Moyennes
arithmétique,
géométrique
et
harmonique :
:
-
;
;
-
Nous reprenons le reste des inégalités en annexe. Dans les sections qui suivent, nous présentons et
démontrons les théorèmes limites.
II. Lois des grands nombres
Il existe plusieurs versions de lois des grands nombres. Nous présentons, uniquement, les versions
classiques telles qu’établies par les mathématiciens russes Khintchine (loi faible des grands nombres) et
Kolmogorov (loi forte des grands nombres).
II.1. Loi faible des grands nombres (Théorème de Khintchine)
A l’origine, la loi faible des grands nombres fut établie par Jacob Bernoulli, qui l’avait méditée pendant
près de vingt années. Notons également qu’à son époque, l’inégalité de Chebyshev n’était pas encore
connue. Sa démonstration concernait particulièrement les variables ne prenant que deux valeur (0 ou 1).
La version générale que nous présentons est attribuée au mathématicien russe Alexandre Iakovlevitch
Khintchine.
Soient
une suite de variables aléatoires indépendantes et identiquement distribuées telle que :
Pout tout
:
46
Jean – Paul Kimbambu, Tsasa Vangu
Laboratoire d’Analyse – Recherche en Economie Quantitative
Démonstration
Pour démontrer le théorème de Khintchine, nous considérons deux hypothèses :
-
Espérance commune et finie :
-
Variance commune et finie :
;
Ainsi, on a :
En appliquant l’inégalité de Chebyshev, il vient que :
II.2. Loi forte des grands nombres
La loi forte des grands nombres fut démontrée pour la première fois par le mathématicien Émile Borel
(Félix Édouard Justin) en 1909, en considérant les variables de Bernoulli. La version définitive fut posée
et démontrée par le mathématicien russe Andreï Nikolaïevitch Kolmogorov, en 1929 et s’énonce comme
suit.
Soient
une suite de variables aléatoires indépendantes et identiquement distribuées et
d’espérance commune finie. Alors avec probabilité 1:
Ou encore,
Démonstration
Supposons que
;
;
et
tel que
comprend les termes :
;
Puisque
;
;
et
où
sont différents.
(par indépendance stochastique), il s’ensuit que :
;
Considérant la paire
et
il vient qu’on a
et
termes dans le développement qui sont égaux à
Et donc :
Sachant que
il vient :
47
Jean – Paul Kimbambu, Tsasa Vangu
Laboratoire d’Analyse – Recherche en Economie Quantitative
Par conséquent, avec une probabilité égale à 1 :
La preuve est établie pour une moyenne. En général, pour
aléatoires
il suffit de considérer les variables
Ainsi, on obtient le résultat recherché, en suivant la même démarche que
précédemment. Et donc, avec une probabilité égale à 1, on a :
III. Théorèmes centraux limites
On doit le nom de théorème central limite au mathématicien américain (d’origine hongroise) George
Pólya (1920). Il s’agit d’une méthode qui facilite le calcul approximatif de probabilités liées à des
sommes de variables aléatoires et fournit une explication formelle du fait empirique selon lequel nombre
de phénomènes naturels admettent une distribution gaussienne. Toutefois, notons qu’à l’origine, le
théorème central limite, nommé « loi de fréquence des erreurs » fut établi et démontré par le
mathématicien français Pierre – Simon Laplace, en 1809. Dans sa preuve, Laplace a montré que les
erreurs de mesure tendaient à être normalement distribuées. Tout comme les lois des grands nombres, il
existe plusieurs versions des théorèmes centraux limites. Nous retenons dans ce papier les cas les plus
classiques, et directement utiles dans les démonstrations qui seront présentées dans les papiers
ultérieurs.
III.1. Théorème central limite (version restreinte)
Soient
une suite de variables aléatoires indépendantes et identiquement distribuées et
d’espérance
et de variance
Alors la distribution de
tend vers la distribution normale, lorsque
soit :
Démonstration
Pour procéder à la démonstration, nous considérons tout d’abord le cas où
avant de généraliser par la suite. Soient
De ce qui précède, la fonction génératrice de
et celle de
et
et
la fonction génératrice de
finie,
s’écrit donc :
est :
48
Jean – Paul Kimbambu, Tsasa Vangu
Laboratoire d’Analyse – Recherche en Economie Quantitative
En posant
on a :
D’après le théorème en cause, on doit montrer que :
ou encore :
Ainsi :
Pour établir le résultat général, c’est – à – dire pour
et
quelconques, il suffit de considérer les
variables standards :
et appliquer la même démarche que précédemment, étant donné que :
Ainsi s’achève la démonstration.
III.2. Théorème central limite (version plus générale)
Supposons, à présent, que les
sont indépendantes mais pas nécessairement identiquement
distribuées. Le théorème central limite s’énonce comme suit. Soient
aléatoires d’espérances
et de variance
une suite de variables
En admettant que : (i) les variables
uniformément bornées, c’est – à – dire tel qu’il existe un réel
où
sont
; (ii)
Alors :
Avant de conclure, considérons la version multivariée du théorème central. Soit
une suite de
vecteurs aléatoires indépendants et identiquement distribués avec une moyenne vectorielle
matrice de variance – covariance
commune de
existe. Alors
et une
définie positive. On suppose que la fonction génératrice des moments
telle que :
converge en distribution vers la distribution
49
Jean – Paul Kimbambu, Tsasa Vangu
Laboratoire d’Analyse – Recherche en Economie Quantitative
Démonstration
Pour procéder à la preuve, nous recourrons à la fonction génératrice des moments3. Considérons un
vecteur
La fonction génératrice des moments de
est donnée par :
Par le théorème central limite (simple) :
Et, puisque :
est la fonction génératrice des moments de :
évaluée à 1, il s’ensuit que :
In fine, notons que ce papier sera complété par un autre exposé sur la notion de convergence,
notamment, en probabilité et en distribution, de variables aléatoires –notions qui ont été supposées
implicitement comme une donnée. Aussi, au passage, signalons qu’on désigne de fois le théorème
central limite, par théorème de la limite central. Et remarquons, de ce fait, que c’est le théorème qui est
central et non la limite !
3
Lire Mavungu et Tsasa (2012, One pager, vol. 4, num. 010) pour quelques détails sur la fonction génératrice des
moments. Le papier est téléchargeable sur http://www.lareq.com.
50
Jean – Paul Kimbambu, Tsasa Vangu
Laboratoire d’Analyse – Recherche en Economie Quantitative
Bibliographie

ARNOLD Steven F, 1981, The Theory of Linear Models and Multivariate Analysis, New York: John
Wiley and Sons Inc, 494p.

BOREL Émile, 1909, « Les probabilités dénombrables et leurs applications arithmétiques »,
Rendiconti del Circolo Matematico di Palermo, vol. 27, num. 1, décembre 1909, 247 – 271.

HAAVELMO Trygve, 1944, "The Probability Approch in Econometrics", Econometrica, vol. 12,
Supplement, iii–vi+1 – 115.

HOGG Robert V., Joseph W. McKEAN and Allen T. CRAIG, 2013, Introduction to Mathematical
Statistics, 7th edition, Pearson, Montreal, 694p.

KALNINA Ilze, 2012, Probabilités pour Economistes, ECN 7060 (Cours du cycle doctoral), Université
de Montréal, Montréal..

KENDALL, Maurice G. and Alan STUART, 1979 (1958), The Advanced Theory of Statistics, Vol. 2
(vol. 1), New – York, Macmillan, 748p (433p).

MAATALAH Magid, 2010, Théoorie de la Mesure et Probabilités/Measure Theory and Probability
(Avec Exercices et Problèmes Corrigés), éd. Universitaires européennes, Berlin.

MAVUNGU Marina et Jean – Paul TSASA, (décembre) 2012, « Fonction Génératrice des Moments
d’une Variable Aléatoire : Analyse Conjointe des Cas Univarié, Bivarié et Multivarié », One Pager
Laréq, vol. 4, num. 010, 62 – 70.

POLYA George, 1920, "Über den Zentralen Grenzwertsatz de Wahrscheinlichkeitscrechnungund das
Momentenproblem", Math. Z., Tome 8, 171 – 181.

ROSS Sheldon M., 2009, Introduction aux Probabilités, Traduction de la septième édition
américaine, Presses polytechniques et universitaires romandes, Lausanne, 592p.

RUDIN Walter, 1976, Principles of Mathematical Analysis, 3th edition, McGraw – Hill, New – York,
342p.
51
Jean – Paul Kimbambu, Tsasa Vangu
Laboratoire d’Analyse – Recherche en Economie Quantitative
Annexe
Inégalité de Bernstein’s
Tableau A1 : Les inégalités célèbres en probabilités
:
Inégalité de Prohov
:
Gaussian Tail Inequality
:
Inégalité de Hoeffding
:
avec probabilité
indépendantes ;
;
Inégalité de McDiarmid
;
; Moyenne commune
:
variables aléatoires indépendantes ;
Inégalité d’Efron – Stein
:
et
variables aléatoires
sont indépendantes ;
;
fonction mesurable de n-1 variable.
Inégalité de Han
:
Inégalité de Sobolev
:
Bornes de de Berry – Essen
:
Inégalité intégrale de Van der Corput
Soit
:
-
constante ;
variables aléatoires
-
fonction de répartition de
-
fonction de répartition de la loi normale.
;
;
;
;
;
:
52
Jean – Paul Kimbambu, Tsasa Vangu
Laboratoire d’Analyse – Recherche en Economie Quantitative
Inégalité de Bessel
Inégalité de Fréchet – Darmois – Cramér – Rao
-
famille orthogonale de vecteurs ;
un vecteur de
-
: estimateur sans biais de
:
-
:
: information de
Fisher.
Inégalité de Gibbs
:
-
Inégalité de Fano
:
-
Inégalité de Paley – Zygmung
: distribution de probabilité quelconque sur la
variable ;
: probabilité de réalisation de
et : variables aléatoires prenant
valeurs
possibles ;
: probabilité d’erreur ;
: entropie de Shannon de la loi de Bernoulli
de paramètre
:
où
Inégalité de Young
variable aléatoire de variance finie ;
:
Inégalité de Witinger
:
Inégalité de Bernoulli
:
où
et
réels positifs ;
où
nombre réel
;
nombre réel
Inégalité de Nesbitt
:
53
Jean – Paul Kimbambu, Tsasa Vangu
Laboratoire d’Analyse – Recherche en Economie Quantitative