Probabilités Introduction à la théorie des probabilités ...................................................... 3 I) Modélisation du « hasard » ................................................................. 3 II) Un peu d’histoire ................................................................................. 4 III) Etymologie ...................................................................................... 4 Probabilité à densité sur R. .............................................................................. 5 I) Tribu borélienne de R .......................................................................... 5 II) Probabilité à densité ............................................................................ 5 Variables aléatoires. Lois de probabilités. ..................................................... 7 I) Définitions ............................................................................................ 7 II) Fonction de répartition des variables aléatoires réelles ...................... 7 III) Loi des variables aléatoires réelles ................................................. 8 Vecteurs aléatoires ......................................................................................... 11 I) Vecteurs aléatoires ............................................................................. 11 II) Fonction de répartition des vecteurs aléatoires ................................. 11 III) Lois des vecteurs aléatoires à densité ........................................... 12 IV) Intégration ..................................................................................... 12 V) Lois marginales .................................................................................. 14 VI) Indépendance ................................................................................ 15 VII) Propriétés de l’espérance et des variables aléatoires réelles ....... 16 Fonctions caractéristiques ............................................................................. 19 I) Variables aléatoires réelles ............................................................... 19 II) Vecteurs aléatoires ............................................................................. 20 Vecteurs gaussiens .......................................................................................... 23 I) Variables aléatoires gaussiennes réelles ........................................... 23 II) Lois gaussiennes multi-variées, ou vecteur gaussien ......................... 23 Espérances conditionnelles ............................................................................ 25 I) Définition et caractérisation .............................................................. 25 II) Quelques exemples de calcul de E[Y/X] ............................................ 25 Index des notions ............................................................................................ 29 Introduction à la théorie des probabilités I) Modélisation du « hasard » 1) Premières définitions Def (expérience aléatoire) : Procédure ou expérience de la vie quotidienne, politique, économique ou autre dont on peut dire deux choses au sujet du résultat : c’est un élément d’un ensemble bien déterminé et connu à l’avance de résultats possibles. On ne sait pas à l’avance quel résultat on va obtenir. espace fondamental qui décrit tous les résultats possibles et l’expérience aléatoire à modéliser. A σ-algèbre (ou tribu) des évènements A P La classe de parties contenant Ω est stable par complémentarité et union dénombrable. Def (probabilité) : P : A 0;1 tel que P 1 . Def (σ-additivité) : A1 ,, An A Ai A j Ø i j P Ai P Ai i 1 i 1 Rq : une modélisation n’est pas unique. 2) Exemples de modélisation a) Ω est fini 1 ,, N card N A P card P 2 N Il y a autant probabilités sur P que de N-uplets p1 ,, pN i 0 pi 1 vérifiant : N pi 1 i 1 A P A P A p i i A i i i A i b) Ω est dénombrable card cardN 0 x1 , , xn , A P Il y a autant de probabilités sur , P que de suites pi iN * i N * vérifiant : N p i 1 i 0 pi 1 1 A P A P A p i i A i i i A i c) Ω est infini non dénombrable A? Si A P , les seules probabilités sont des sommes de mesures de Dirac (mesures ponctuelles). Si Ω est un espace topologique muni d’ouverts, on prend pour A la tribu borélienne (engendrée par les ouverts) P : « mesure » de masse totale 1. II) Un peu d’histoire III) Etymologie Probabilité à densité sur R. Si R , alors P est trop « grosse » on utilise alors la tribu de Borel (France, 1871-1956) notée BR . I) Tribu borélienne de R Def (tribu borélienne) : On appelle tribu borélienne de R la tribu engendrée par la classe des intervalles ouverts. l a; b a b x R a x b BR l : la plus petite tribu qui contient l. Rq : BR PR strict Prop : Les ensembles suivants sont dans BR 1. x R ; x 2. x' R ; x' 3. x R x; 4. x' R x' ; 5. a; b R 2 a b a; b 6. a R a Def (tribu trace) : BI B I B BR II) Probabilité à densité Def (fonction borélienne) : Soit f : R R . On dit qu’elle est borélienne si : B BR f 1 B BR Def (densité de probabilité) : On dit que la fonction borélienne f : R, BR R, BR est une densité de probabilité si : (1) x R f x 0 (2) f est « intégrable » avec f xdx 1 R Variables aléatoires. Lois de probabilités. I) Définitions Def (grandeur) : , A, P , on observe X : « grandeur » liée à l’expérience. Rq : Une variable aléatoire est une application mesurable de , A E,E . Rq : Si E est au plus dénombrable, on a : A P,E PE . Toutes les applications de Ω dans E sont des variables aléatoires. Rq : Si E est infini non dénombrable, les variables aléatoires doivent vérifier : B E X 1 B X B Def (loi de probabilité) : On appelle « loi de probabilité d’une variable aléatoire » la probabilité PX sur E,E . II) Fonction de répartition des variables aléatoires réelles Def (fonction de répartition) : On appelle fonction de répartition de X (notée FX ) la fonction de R dans 0,1 définie par : FX x P X x PX ; x . Prop : (1) FX est une fonction croissante, et : FX 0 et FX 1. (2) FX est continue à droite et admet une limite à gauche en tout point, et on a : FX x FX x PX x PX x (3) FX caractérise la loi X. III) Loi des variables aléatoires réelles 1) Ensemble au plus dénombrable Si l’ensemble des valeurs prises par X est au plus dénombrable, X x1 , , xN ou X xn nN , la loi est entièrement déterminée par les pi P X xi , la fonction de répartition est : FX x P X x p i xi x i 2) Variables aléatoires réelles à densité Def (variable aléatoire à densité) : Soit , A, P un espace de probabilité. Une variable aléatoire réelle de Ω est dite « à densité » si sa loi PX admet une densité (au sens de la mesure), c'est-à-dire si PX a, b P X a, b f x dx , où f est une fonction b a positive et intégrable telle que f xdx 1 (en général, ici f est continue par morceaux). Th : Soit X une variable aléatoire réelles de densité f (continue par morceaux). Alors sa fonction de répartition FX x P X x x R est une fonction continue, dérivable sauf peut-être en un nombre fini de points et telle que x R FX est définie. On a : FX x f x . Prop : Soit X une variable aléatoire réelle de densité f. Alors (1) PX x 0 (2) x R P X x P X x f t dt x (3) a, b R 2 a b P X a; b P X a; b P X a; b P X a; b f t dt b a 3) Fonctions de variables réelles à densité Soit X une variable aléatoire réelle de densité f et soit une fonction de R dans R borélienne. Soit Y X la variable aléatoire réelle telle que Y X . Rq : Y n’est pas forcément une variable aléatoire à densité. Vecteurs aléatoires I) Vecteurs aléatoires Expérience modélisée par , A, P . Def (vecteur aléatoire) : On appelle « vecteur aléatoire » à valeurs dans R d d 1 , une application X : R d X X 1 , , X d telle que i 1, , d X i soit une variable aléatoire réelle. Def (loi jointe) : Soit X X 1 , , X d un vecteur aléatoire. Sa loi de probabilité est la probabilité PX sur R d définie par : B B R d PX B P X B . On appelle souvent cette loi la « loi jointe ». II) Fonction de répartition des vecteurs aléatoires Def (fonction de répartition d’un vecteur aléatoire) : Soit X X 1 , , X d un vecteur aléatoire. Sa fonction de répartition est une variable aléatoire de R d dans 0;1 définie par : d FX x1 , , xd P X i xi i1 1) Vecteurs aléatoires « discrets » Def (vecteur aléatoire discret) : X X 1 , , X d est dit « discret » si sa loi PX est discrète. C'est-à-dire que l’ensemble des valeurs possibles de X est au plus dénombrable. La loi X est entièrement déterminée par les nombres pX x x X . Si B B R d PX p X x . x xB xX 2) Vecteurs aléatoires à densité Def (vecteur aléatoire à densité) : Soit X : R d X X 1 , , X d un vecteur aléatoire. On dit que X est un vecteur aléatoire à densité si PX est à densité. III) Lois des vecteurs aléatoires à densité Prop : Soient f1 , , f k k densités de probabilité sur R. k La fonction g : R k R définie par g x1 , , xk f i xi est la i 1 densité d’un vecteur aléatoire à valeurs dans R . Rq : Si X et Y ont la même densité, alors elles définissent la même loi. La réciproque est fausse (la densité peut être égale partout sauf sur des ensembles de mesure nulle). k IV) Intégration 1) Moments des variables aléatoires , A , P Z : R k vecteur aléatoire. Z Z1 ,, Z k Zi 1 i k variables aléatoires. : R k R une fonction borélienne, alors Y Z Z1 , , Z k est une variable aléatoire. On peut calculer les moments (espérance, variance, …) de Y à l’aide de la loi de Z. a) Cas où Z est un vecteur aléatoire discret Z Z1 Z 2 Z k est au plus dénombrable. La loi de Z est entièrement définie par les quantités pz PZ z , z Z p 0 pz 1 zZ z 1 Si B BR k PZ B p z zB Z . Def (espérance dans le cas discret) : 1) Supposons que z z 0 . On pose E Z z p z zZ z PZ z zZ E Z a un sens et appartient à 0; 2) Si z n’est pas de signe constant, on défini E Z sous la condition E Z z PZ z . Et alors on définit E Z zZ z PZ z . zZ Rq : Si E Z on dit que Z n’a pas d’espérance. b) Cas des vecteurs aléatoires à densité Soit Z Z1 , , Z k un vecteur aléatoire sur R k de densité g x1 , , xk et φ fonction borélienne de R k dans R. Y Z est une variable aléatoire réelle. La loi de Z est donnée par : B B R k PZ B g x1 , , xk dx1 dxk B PZ B k 1B x1 , , xk g x1 , , xk dx1 dxk R Def (espérance dans le cas à densité) : 1) Soit z 0 z R k On pose E Z k x1 ,, xk g x1 ,, xk dx1 dxk R Rq : Y Z n’est pas toujours à densité. Rq : Si Z 1B z , on retrouve la formule E1B z PZ B . Rq : E Z à toujours un sens, mais appartient à 0; . Def (existence de l’espérance) : On définit E Z pour toute fonction φ telle que E Z k x1 ,, xk g x1 ,, xk dx1 dxk R On dit alors que Z admet une espérance finie. Si E Z , on dit que Z n’admet pas d’espérance. Rq : E Z permet souvent de calculer la loi de Z. V) Lois marginales Def (lois marginales) : Soient , A, P et X X 1 , , X k . Si on connaît la loi de X, on peut trouver les lois de toutes les composantes X i 1 i k (ou lois marginales). Rq : La réciproque est fausse, sauf dans le cas indépendant. 1) Cas d’un couple de variables aléatoires a) Cas d’un couple discret (X,Y) X xi iI Y y j jJ Avec I et J au plus dénombrables. La loi X , Y est entièrement déterminée par les pij P X xi Y y j i I j J 0 pij 1 p ij 1 i, j Les lois marginales sont données par les quantités suivantes : Pour X : P X xi P X xi Y y j pi jJ Pour Y : PY y j P X xi Y y j p j iI b) Cas à densité Soit X , Y de densité sur R 2 f x, y . Alors les lois marginales de X et de Y sont les lois à densité avec : Pour X : f X x f x, y dy R Pour Y : fY y f x, y dx R 2) Cas d’un n-uplet Z=(X1, …, Xn) Connaissant la loi jointe, on peut calculer la loi de n’importe quel sous-vecteur de Z en intégrant la densité par rapport aux autres variables. VI) Indépendance Def (indépendance) : Soit X X 1 , , X k un vecteur aléatoire à valeurs dans R k . On dit que les X i sont indépendant dans leur ensemble si Bi BR 1 i k , k P X B1 Bk P X i Bi . i 1 Th : a) Soit X un vecteur aléatoire discret à valeurs dans X X 1 X k , ensemble au plus dénombrable. Les X i sont indépendants si et seulement si k P X1 ,, X k x1 , , xk PX i xi . i 1 b) Si X est un vecteur aléatoire sur R k de densité f, alors les X i sont indépendants si et seulement si k f x1 , , xk f i xi où f i est la densité de X i . i 1 c) Dans tous les cas, les X i sont indépendants si et k seulement si F X1 ,, X k x1 , , xk FX i xi i 1 d) Dans tous les cas, les variables aléatoires sont k k indépendantes si et seulement si E i X i Ei X i i1 i1 chaque fois que les quantités ont un sens. VII) Propriétés de l’espérance et des variables aléatoires réelles Rappel : - Si X est une variable aléatoire réelle discrète X xi iI , I au plus dénombrable. E X existe si et seulement si i I xi 0 ou Alors E X xi pi . x iI i pi . iI - Si X est une variable aléatoire réelle à densité f. E X existe si et seulement si X 0 ou x f xdx . Alors E X x f x dx . R R Prop : Soient X et Y 2 variables aléatoires réelles définies sur le même espace de probabilité , A, P . (1) X 0 E X 0 . X 0 et E X 0 P X 0 1 (2) a, b, c R 3 Ea X b Y c a E X b E Y c (3) X Y et EY E X et E X E X A condition que les espérances aient un sens. 1) Moment des variables aléatoires réelles (cas à densité) Def (moment d’ordre r) : Soient X une variable aléatoire réelle sur , A, P et r N * . Son moment d’ordre r vaut, par définition, E Xr . Propriétés : , alors p r E X Soit r N . Si E X , alors q r E X 1) Soit r N * . Si E X r p r q * 2) Def (variance) : Soit X une variable aléatoire réelle telle que 2 2 E X . On définit sa variance par : var X E X E X Propriétés : Soit X une variable aléatoire réelle telle que 2 E X . 1) var X E X 2 E X 2 2) var X EX X 1 E X E X 3) a, b R var a X b a 2 var X Def (covariance) : Soient X et Y deux variables aléatoires réelles 2 2 telles que E X et E Y . On définit leur covariance 2 par : cov X , Y E X E X Y EY Prop : Si X et Y sont indépendantes, alors cov X , Y 0 (la réciproque est fausse). Propriétés : 1) cov X , Y E X Y E X EY 1 2) E X Y E X 2 E Y 2 2 3) Soient X 1 ,, X n n variables aléatoires réelles telles que i et a ,, a R , alors E Xi 2 n 1 n n n var ai X i ai2 var X i 2 ai a j covX i , X j 1 i j n i 1 i 1 4) Si les X i sont indépendant, alors n n 2 var ai X i ai var X i i 1 i 1 Def (matrice de covariance) : Soient X 1 ,, X n n variables aléatoires réelles telles que i E X i . Leur matrice de covariance est définie par la matrice carrée symétrique : K X covX i , X j 1i , j n 2 Prop : Inégalité de Cauchy-Schwarz Soient X et Y deux variables aléatoires telles que E X 2 et E Y 2 . Alors : 1) E XY E X E Y 2 2) 2 cov X , Y 2 var X var Y a) Inégalités i) Inégalité de Markov Soient r 1 et X une variable aléatoire réelle telle que r E X . Alors : a 0 P X a 1 E X ar r ii) Inégalité de Bienaymé-Tchebychev . Alors : Soit Y une variable aléatoire réelle telle que E Y P Y E Y a 1 var Y a2 r Fonctions caractéristiques I) Variables aléatoires réelles Def (fonction caractéristique) : Soit X une variable aléatoire réelle sur , A, P . On définit pour tout t R sa fonction caractéristique par la formule : X t E e itX Rq : c’est la transformée de Fourier de la loi de X. 1) Cas discret X x j j I N p j PX x j X t E eitX e itx j jI Rq : Si X N , pk P X k , pk pj 1 2 2 0 X t e itk dt 2) Cas à densité X R de densité f sur R. X t E eitX eitx f x dx fˆ t R Rq : Soit X une variable aléatoire réelle de densité f. Si X est intégrable sur R, alors la densité de la loi de X est donnée par : 1 f x X t e itx dt 2 R Prop : La fonction caractéristique caractérise la loi de la variable au sens où 2 variables aléatoires réelles ayant même fonction caractéristique ont même loi. Prop : Soient X et Y deux variables aléatoires réelles définies sur le même espace de probabilités , A, P . Si X et Y sont indépendantes, alors : t R X Y t X t Y t 3) Fonctions caractéristique de la loi gaussienne e Si X ~ N 0,1, X t E e itX t 2 2 e Prop : Si Y ~ N m, , X t E e 2 itY itm t 2 2 2 II) Vecteurs aléatoires Soit X X 1 ,, X d t t1 ,, t d R d d Notons t X t k X k k 1 d Pour tout t R , la fonction caractéristique de X est donnée par : X t E e i t X X 0 R d 1 Si X a une densité f : R d R X t d e i t x f x dx d e R d i xk t k k 1 R f x1 ,, xd dx1 dxd Propriétés : 1) Deux vecteurs aléatoires ayant même fonction caractéristique ont même loi. 2) Une suite X j 1 j n de variables aléatoires sont indépendantes si et seulement si la fonction caractéristique du vecteur X X 1 ,, X n est le produit des fonctions caractéristiques de X 1 ,, X n . ie X 1 ,, X n t X j t j n j 1 Si X est intégrable sur, alors la densité de la loi de X est donnée par la formule : f x1 ,, xn Partiel+Correction t ,, t e 2 1 n R X 1 n i n t k xk k 1 dt1 dt n Vecteurs gaussiens I) Variables aléatoires gaussiennes réelles Def (loi gaussienne) : X : R est gaussienne de moyenne m et de variance 2 m R, 0 , X ~ N m, 2 si sa loi a pour densité par rapport à la mesure de Lebesgue sur R x m 2 1 2 x R f x e 2 2 Th : Si X 1 ,, X n sont n variables aléatoires gaussiennes indépendantes, X i ~ N mi , i , alors a a1 ,, an R 0Rn 2 n n n n 2 2 X ai X i ~ N ai mi , ai i i 1 i 1 i 1 II) Lois gaussiennes multi-variées, ou vecteur gaussien Def (vecteur gaussien) : Un vecteur X X 1 ,, X d est dit « gaussien » si et seulement si pour tous a a1 ,, ad R d , d a X a X ai X i est un vecteur gaussien. i 1 1) Caractérisation des lois gaussiennes multi-variées et de la matrice de covariance Prop : Soit X X 1 ,, X n un vecteur gaussien avec m E X 1 ,, E X n sa moyenne et K covX i , X j 1i , j n sa matrice de covariance. Alors la fonction caractéristique de X vaut : t R n X t e i t m 1 t Kt 2 2) Indépendance et dé-corrélation Prop : Soit X X 1 ,, X n un vecteur gaussien dont la matrice de covariance est diagonale. Alors les coordonnées de X sont des variables aléatoires gaussiennes. Prop : Soit m R d , et K une matrice symétrique d’ordre d définie positive det K 0 . Alors la loi gaussienne N d m, K a pour densité par rapport à la mesure de Lebesgue sur R d 1 f t d 1 e 2 2 det K 2 t K 1t 2 Espérances conditionnelles I) Définition et caractérisation 2 Notons H : R R E X Def (espérance conditionnelle) : On appelle espérance conditionnelle de Y sachant X toute variable aléatoire de la forme 0 X telle que : 1) E 0 X 2 2) H E Y 0 X E Y X Quand 0 X existe, on la note 0 X EY X , c’est une variable aléatoire. Th : Soit 0 H . Les deux conditions suivantes sont équivalentes : 2 2 1) H E Y 0 X E Y X 2) h H EY 0 X h X 0 2 2 II) Quelques exemples de calcul de E[Y/X] 1) X et Y sont indépendantes Th : Soient X et Y deux variables aléatoires réelles indépendantes 2 telles que E Y . Alors EY X EY . De la même façon, on montre que si g : R R est telle que E g Y et X et Y indépendantes alors Eg Y X Eg Y . 2 2) Y est fonction de X et X une variable aléatoire réelle. Th : Soit Y telle que E Y 2 Supposons que Y f X f :RR Alors EY X Y . 3) (X,Y) est un couple de variables aléatoires discrètes Th : X xi i I Y y j j J I et J au plus dénombrable. i, j I J pij PX xi Y y j 0 pij 1 On suppose i, j I J p i , j I J pij 0 et ij 1 y jJ 2 j pij . p j pij PY y j iI 1) EY X 0 X où i I 0 xi y j PY y j X xi jJ PY y j X xi pij pi 2) Plus généralement, si g est une fonction bornée Eg Y X 0 X où i I 0 xi g y j PY y j X xi jJ 4) Cas d’un couple de variables aléatoires à densité Th : Soit X , Y un couple de variables aléatoires réelles de . densité f X ,Y x, y sur R 2 avec Y telle que E Y 2 Alors EY X 0 X avec x R telle que f X x 0 1 0 x y f x, y dy . f X x R Plus généralement, si g est une fonction bornée telle que 2 E g Y alors Eg Y X 0 X où avec x R telle que f X x 0 0 x Rq : fY X x y 1 f X x R g y f x, y dy f X ,Y x, y f X x 5) Propriétés Th de substitution : 1) Soit g : R 2 R une fonction bornée et X , Y un couple de variables aléatoires tel que E g X ,Y . Eg X , Y X 0 X avec : x R 2 0 x Eg x, Y X x Eg X , Y X x 2) En particulier, si X et Y sont indépendantes, 0 x Eg X , Y X x Eg x, Y 6) Théorème de la double espérance Th : Soit X une variable aléatoire réelle et Y telle que E Y 2 Alors : EEY X EY . Th : Soit h bornée et g H , X , Y un couple de variables aléatoires réelles. Alors : Eg Y h X X Eg Y X h X . Rq : Si X , Y est gaussien alors : a, b R 2 EY X a X b On trouve a et b en utilisant le théorème de la double espérance. EEY X Ea X b EY a EX b EX EY X EX a X b EXY a E X 2 b EX cov X , Y a var X D’où : si X cste , b E Y cov X , Y E X var X Index des notions covariance matrice Proba5 (18) ......... 18, 24 Proba5 (17) ....... 17, 18, 24 densité de probabilité Proba5 (5) ................. 5, 12 espérance cas à densité Proba5 (13) ............... 13 cas discret Proba5 (13) ............... 13 existence Proba5 (14) ............... 14 Proba5 (13) ................... 12 espérance conditionnelle Proba5 (25) ................... 25 expérience aléatoire Proba5 (3) ....................... 3 fonction borélienne Proba5 (5) ... 4, 5, 9, 12, 13 fonction caractéristique Proba5 (19) ....... 19, 20, 24 fonction de répartition Proba5 (11) ................... 11 Proba5 (7) ............. 7, 8, 11 vecteur aléatoire Proba5 (11) ............... 11 grandeur Proba5 (7) ....................... 7 indépendance Proba5 (15) 14, 15, 16, 17, 19, 20, 23, 24, 25, 27 loi de probabilité Proba5 (7) ................. 7, 11 loi gaussienne Proba5 (23) ....... 20, 23, 24 loi jointe Proba5 (11) ............. 11, 15 lois marginales Proba5 (14) ............. 14, 15 moments Proba5 (13) ................... 12 Proba5 (16) ................... 16 probabilité Proba5 (3) .... 3, 5, 7, 8, 11, 12, 16 Théorème de la double espérance Proba5 (27)... 27 Théorème de substitution Proba5 (27) ................... 27 tribu borélienne Proba5 (5) ................... 4, 5 tribu trace Proba5 (5) ....................... 5 variable aléatoire à densité Proba5 (8) ................... 8, 9 variance Proba5 (17) ....... 12, 17, 23 vecteur aléatoire à densité Proba5 (12) ......... 12, 15 discret Proba5 (11) ... 11, 12, 15 Proba5 (11) . 11, 12, 13, 15 vecteur gaussien Proba5 (23) ............. 23, 24 σ-additivité Proba5 (3) ....................... 3