Probabilités - Jean-Yves Tourneret
publicité
Probabilités Jean-Yves Tourneret(1) (1) Université de Toulouse, ENSEEIHT-IRIT-TéSA Thème 1 : Analyse et Synthèse de l’Information [email protected] Cours Probabilité, 1TR, 2015-2016 – p. 1/68 Plan du cours Chapitre 1 : Eléments de base du calcul des probabilités Triplet de Probabilité (Ω, C, P ) Équiprobabilité - Dénombrement Probabilités conditionnelles Indépendance Chapitre 2 : Variables aléatoires réelles Chapitre 3 : Couples de variables aléatoires réelles Chapitre 4 : Vecteurs Gaussiens Chapitre 5 : Convergence et théorèmes limites Cours Probabilité, 1TR, 2015-2016 – p. 2/68 Bibliographie B. Lacaze, M. Maubourguet, C. Mailhes et J.-Y. Tourneret, Probabilités et Statistique appliquées, Cépadues, 1997. Athanasios Papoulis and S. Unnikrishna Pillai, Probability, Random Variable and Stochastic Processes, McGraw Hill Higher Education, 4th edition, 2002. Cours Probabilité, 1TR, 2015-2016 – p. 3/68 Triplet de Probabilité (Ω, C, P ) Ω : Ensemble des résultats d’expérience C : Ensemble des événements C ⊂ P(Ω) Ω ∈ C (événement certain) si A ∈ C alors A ∈ C (événement contraire) si Ai ∈ C, i ∈ I (I fini ou infini dénombrable), alors ∪Ai ∈ C P : application probabilité de C dans [0, 1] P (Ω) = 1 P A = 1 − P (A) P P (∪Ai ) = i∈I P (Ai ) si les événements Ai sont disjoints. Cours Probabilité, 1TR, 2015-2016 – p. 4/68 Propriétés Événements ∅∈C si Ai ∈ C, i ∈ I (I fini ou infini dénombrable), alors ∩Ai ∈ C Probabilité P (∅) = 0 si A ⊂ B , alors, P (A) ≤ P (B) P (A ∪ B) = P (A) + P (B) − P (A ∩ B) Cours Probabilité, 1TR, 2015-2016 – p. 5/68 Vocabulaire si a ∈ Ω alors {a} est un événement élémentaire si Ω = ∪i∈I Ai avec Ai ∩ Aj = ∅, on dit que {Ai }i∈I est un système complet d’événements (Ω, C) espace probabilisable (Ω, C, P ) espace probabilisé C tribu ou σ -algèbre Cours Probabilité, 1TR, 2015-2016 – p. 6/68 Équiprobabilité - Dénombrement Définition P (A) = card(A) card(Ω) = Nombre de cas favorables Nombre de cas possibles Exemples Jet d’un dé Tirages avec remise dans une urne à 2 catégories P (k succès sur n expériences) = Cnk Psk (1 − Ps )n−k n! où k = 0, ..., n, Cnk = k!(n−k)! , Ps est la probabilité du succès sur une expérience et n est le nombre d’expériences identiques et indépendantes. Cours Probabilité, 1TR, 2015-2016 – p. 7/68 Probabilités conditionnelles Définition P (A ∩ B) P (A|B) = ou P (A ∩ B) = P (A|B)P (B) P (B) Théorème des probabilités totales X P (B) = P (B|Ai )P (Ai ) i∈I pour tout système complet d’événements {Ai }. Formule de Bayes P (B|A)P (A) P (A|B) = P (B) Cours Probabilité, 1TR, 2015-2016 – p. 8/68 Indépendance Deux événements Deux événements A et B sont indépendants si et ssi P (A ∩ B) = P (A)P (B) ou P (A|B) = P (A) Généralisation On dit que {Ai }i∈I est famille d’événements mutuellement indépendants si et ssi Y P (∩i∈J Ai ) = P (Ai ), ∀J ⊂ I i∈J ☞ Exercice d’application Cours Probabilité, 1TR, 2015-2016 – p. 9/68 Que faut-il savoir ? Probabilité d’une réunion d’événements : P (A ∪ B) =? Probabilité de l’évènement contraire : P A =? Equiprobabilité : P (A) =? Loi Binomiale : P (k succès sur n expériences) =? Probabilité conditionnelle : P (A|B) =? Indépendance : P (A ∩ B) =? Formule de Bayes : P (A|B) =? Cours Probabilité, 1TR, 2015-2016 – p. 10/68 Plan du cours Chapitre 1 : Eléments de base du calcul des probabilités Chapitre 2 : Variables aléatoires réelles Définition Loi d’une variable aléatoire Fonction de répartition Exemples fondamentaux Espérance mathématique Changements de variables Chapitre 3 : Couples de variables aléatoires réelles ... Cours Probabilité, 1TR, 2015-2016 – p. 11/68 Variable aléatoire réelle Définition Soient (Ω, C, P ) un triplet de probabilité qui est associé à l’expérience et (Ω′ , C ′ ), avec Ω′ ⊂ R un espace probabilisable qui résume les quantités qui nous intéressent. Une variable aléatoire réelle X est une application de Ω dans Ω′ qui possède la propriété de mesurabilité : ∀(a, b) ∈ C ′ , {ω|X(ω) ∈ (a, b)} ∈ C. Exemple : somme des résultats de deux dés Ω −→ Ω′ X: (m, n) 7−→ m + n Cours Probabilité, 1TR, 2015-2016 – p. 12/68 Variable aléatoire discrète Loi d’une variable aléatoire discrète {X(ω), ω ∈ Ω} est fini ou infini dénombrable. La loi de X est définie par l’ensemble des valeurs possibles de X : {xi , i ∈ I} les probabilités associées pi = P [X = xi ] avec X X pi pi = 1 et P [X ∈ ∆] = i∈I xi ∈∆ Exemples Jet d’un dé Jet d’une pièce ... Cours Probabilité, 1TR, 2015-2016 – p. 13/68 Variables aléatoires continues Loi d’une variable aléatoire continue {X(ω), ω ∈ Ω} est infini non dénombrable avec P [X = xi ] = 0, ∀xi . La loi de X est définie par l’ensemble des valeurs possibles de X qui est en général une réunion d’intervalles R→R telle que une densité de probabilité p : x 7−→ p(x) p(x) ≥ 0, ∀x ∈ R, Z p(u)du = 1, R Z P [X ∈ ∆] = p(u)du. ∆ Cours Probabilité, 1TR, 2015-2016 – p. 14/68 Variables aléatoires continues Remarques On peut avoir p(x) > 1. P [X∈[x,x+dx[] dx dx→0 p(x) = lim P [X ∈ [x, x + dx[] ≃ p(x)dx pour dx “petit” lien avec l’histogramme Exemples Loi uniforme sur [a, b] Loi normale Cours Probabilité, 1TR, 2015-2016 – p. 15/68 Variable aléatoire mixte Loi d’une variable aléatoire mixte {X(ω), ω ∈ Ω)} = E ∪ {xi , ∈ I} est la réunion de deux ensembles, le premier E est infini non dénombrable avec P [X = x] = 0, ∀x ∈ E , le deuxième est fini ou infini dénombrable avec pi = P [X = xi ] > 0 . La loi de X est définie par {xi , ∈ I} avec pi = P [X = xi ] > 0 E et une densité de probabilité p telle que p(x) ≥ 0, ∀x ∈ R P p(u)du + i∈I pi = 1 R R P P [X ∈ ∆] = ∆ p(u)du + xi ∈∆ pi R Exemple : Tension aux bornes d’un voltmètre Cours Probabilité, 1TR, 2015-2016 – p. 16/68 Exemples Fondamentaux de Lois Discrètes Loi de Bernoulli : X ∼ Be(p) P [X = 0] = p et P [X = 1] = q = 1 − p Lancer d’une pièce, “Succès ou Echec”, ... Loi Binomiale : X ∼ B(n, p) P [X = k] = Cnk pk q n−k , k = 0, ..., n Probabilité d’avoir k succès sur n expériences, X = où Xi suit une loi de Bernoulli, ... Pn i=1 Xi Loi de Poisson : X ∼ P(λ) λk P [X = k] = exp(−λ), k! k∈N Loi du nombre d’arrivées pendant un temps donné Cours Probabilité, 1TR, 2015-2016 – p. 17/68 Exemples Fondamentaux de Lois Continues Loi Uniforme : X ∼ U ([a, b]) 1 , p(x) = b−a x ∈ [a, b] Loi Normale ou Gaussienne : X ∼ N (m, σ 2 ) 2 (x − m) 1 , x∈R exp − p(x) = √ 2 2 2σ 2πσ Loi Gamma : X ∼ Ga(α, β) β α α−1 x exp(−βx), p(x) = Γ(α) x>0 Pour α = 1, on a la loi exponentielle Cours Probabilité, 1TR, 2015-2016 – p. 18/68 Fonction de répartition Définition R → [0, 1] F : x 7−→ F (x) = P [X < x] Propriétés F croissante lim F (x) = 0 et lim F (x) = 1 x→−∞ x→+∞ F caractérise une loi de probabilité Si X est une va discrète, le graphe de F est une fonction en escaliers Si X estR une va continue, F est continue et x F (x) = −∞ p(u)du, i.e., p(x) = F ′ (x) Cours Probabilité, 1TR, 2015-2016 – p. 19/68 Espérance mathématique Définition P α(xi )pi X va discrète : i∈I R E[α(X)] = X va continue : α(u)p(u)du R X va mixte : P α(x )p + R α(u)p(u)du i i i∈I R Propriétés Constante : E(cste) = cste Linéarité : E(aX + b) = aE(X) + b Exemples Moments non centrés : E(X n ) (n = 1 : moyenne) n Moments centrés : E [X − E(X)] (n = 2 : variance) Fonction caractéristique : φX (t) = E [exp(itX)] Cours Probabilité, 1TR, 2015-2016 – p. 20/68 Exemples simples Variables aléatoires discrètes X 2 X 2 E [X] = xi P [X = xi ], E X = xi P [X = xi ] i∈I i∈I E e jtX = X ejtxi P [X = xi ] i∈I Variables aléatoires continues Z Z 2 E [X] = up(u)du, E X = u2 p(u)du R R Z jtX E e = ejtu p(u)du R Cours Probabilité, 1TR, 2015-2016 – p. 21/68 Propriétés Variance 2 var(X) = E [X − E(X)] √ Ecart Type : variance var(aX + b) = a2 var(X) = E(X 2 ) − E(X)2 Fonction caractéristique Caractérise une loi de probabilité Cas continu Z φX (t) = eitu p(u)du R est la transformée de Fourier de p. Exemples de calculs Cours Probabilité, 1TR, 2015-2016 – p. 22/68 Changements de variables Problème Étant donnée une variable aléatoire réelle X de loi connue, on cherche à déterminer la loi de Y = g(X) où g est une fonction de R dans R. Variables aléatoires discrètes Définition P [Y = yj ] = X p[X = xi ] i|yj =g(xi ) Exemple Y = (X − 2)2 avec X ∼ P(λ) Cours Probabilité, 1TR, 2015-2016 – p. 23/68 Changements de va continues g bijective Théorème : si X est une va continue à valeurs dans un ouvert OX ⊂ R et g : R → R application bijective de OX dans un ouvert OY ⊂ R différentiable ainsi que son inverse g −1 , alors Y = g(X) est une va continue de densité −1 dx pY (y) = pX g (y) . dy où dx dy est le Jacobien de la transformation. Idée de preuve Exemple : Y = aX + b avec X ∼ N (m, σ 2 ). Cours Probabilité, 1TR, 2015-2016 – p. 24/68 Changements de va continues g bijective par morceaux On suppose que g est différentiable sur chaque morceau ainsi que son inverse. Méthode : On ajoute la contribution de chaque bijection. Exemple : Y = X 2 avec X ∼ N (0, 1). Cours Probabilité, 1TR, 2015-2016 – p. 25/68 Que faut-il savoir ? Loi d’une variable aléatoire discrète : ? Loi d’une variable aléatoire continue : ? Appartenance à un intervalle : P [X ∈ ∆] =? Signification d’une densité : P [X ∈ [x, x + dx[] ≃? Fonction de répartition : F (x) =? Espérance mathématique : E[X] =?, E[X 2 ] =? Variance : Var[X] =?, Ecart-type : ? Relations utiles : E[aX + b] =?, Var[aX + b] =? Fonction caractéristique : φ(t) =? Changement de variables : ? Cours Probabilité, 1TR, 2015-2016 – p. 26/68 Plan du cours Chapitre 1 : Eléments de base du calcul des probabilités Chapitre 2 : Variables aléatoires réelles Chapitre 3 : Couples de variables aléatoires réelles Définition Fonction de répartition Lois marginales, lois conditionnelles, indépendance Espérances mathématiques Changements de variables Chapitre 4 : Vecteurs Gaussiens Chapitre 5 : Convergence et théorèmes limites Cours Probabilité, 1TR, 2015-2016 – p. 27/68 Couple de va réelles Définition Soit (Ω, C, P ) un espace probabilisé et (Ω′ , C ′ ) un espace probabilisable avec Ω′ ⊂ R2 et C ′ construit à partir des réunions et intersections finies ou dénombrables des pavés (a, b) × (c, d) de R2 . Un couple (X, Y ) de variables aléatoires réelles est une application mesurable de Ω dans Ω′ . notation On notera P [(X, Y ) ∈ ∆] , ∆ ⊂ R2 , la probabilité que le couple (X, Y ) prenne ses valeurs dans ∆. Cours Probabilité, 1TR, 2015-2016 – p. 28/68 Loi d’un couple de va Variables aléatoires discrètes La loi du couple (X, Y ) est définie par l’ensemble des valeurs possibles du couple (qui est un ensemble fini ou dénombrable) noté {(xi , yj ) , i ∈ I, j ∈ J} et par les probabilités associées pij = P [X P= xi , Y = yj ], i ∈ I, j ∈ J telles que pij ≥ 0 et i,j pij = 1. Variables aléatoires continues La loi du couple (X, Y ) est définie par l’ensemble des valeurs possibles du couple (qui est un ensemble infini non dénombrable), en général une réunion d’intervalles de R2 , et par une densité de probabilité p(x, y) telle que Z Z p(x, y) ≥ 0, et p(x, y)dxdy = 1. R2 Cours Probabilité, 1TR, 2015-2016 – p. 29/68 Propriétés Couples de va discrètes P [(X, Y ) ∈ ∆] = X P [X = xi , Y = yj ]. (i,j)|(xi ,yj )∈∆ Couples de va continues P [(X, Y ) ∈ ∆] = Z Z p(u, v)dudv ∆ Remarque : signification de p(u, v) Cours Probabilité, 1TR, 2015-2016 – p. 30/68 Fonction de répartition Définition R2 → [0, 1] F : (x, y) 7−→ F (x, y) = P [X < x, Y < y] Propriétés C’est une fonction étagée lorsque (X, Y ) est un couple de va discrètes C’est une fonction continue lorsque (X, Y ) est un couple de va continues avec Z x Z y ∂ 2 F (x, y) p(u, v)dudv d’où p(x, y) = F (x, y) = ∂x∂y −∞ −∞ Cours Probabilité, 1TR, 2015-2016 – p. 31/68 Lois marginales Cas discret P [X = xi ] = pi. = X pij j∈J P [Y = yj ] = p.j = X pij i∈I Cas continu densité de X densité de Y : : p(x, .) = p(., y) = Z ZR p(x, y)dy p(x, y)dx R Cours Probabilité, 1TR, 2015-2016 – p. 32/68 Lois conditionnelles Les lois conditionnelles d’un couple (X, Y ) sont les lois de X| Y = y et de Y | X = x. Cas discret Cas continu pij P [ X = xi | Y = y j ] = p.j pij P [ Y = y j | X = xi ] = pi. densité de X| Y densité de Y | X p(x, y) p( x| y) = p(., y) p(x, y) p( y| x) = p(x, .) Cours Probabilité, 1TR, 2015-2016 – p. 33/68 Indépendance Les variables aléatoires X et Y sont indépendantes si ′ ′ P X ∈ ∆, Y ∈ ∆ = P [X ∈ ∆] P Y ∈ ∆ , ∀∆, ∀∆′ Cas discret pij = pi. p.j ∀i ∈ I, ∀j ∈ J Cas continu p(x, y) = p(x, .)p(., y) ∀x, ∀y ou p( x| y) = p(x, .), ∀x, ∀y Cours Probabilité, 1TR, 2015-2016 – p. 34/68 Propriété si X et Y sont des variables aléatoires indépendantes et α et β sont des applications continues de R dans R, alors α (X) et β(Y ) sont des variables aléatoires indépendantes. La réciproque est vraie si α et β sont des applications bijectives. Par contre, dans le cas où α et β ne sont pas bijectives, la réciproque est fausse. On vérifiera par exemple que le couple (X Y ) de densité ( 1 (1 + xy) si |x| < 1 et |y| < 1 4 f (x, y) = 0 sinon est tel que X 2 et Y 2 sont indépendantes alors que X et Y ne le sont pas. Cours Probabilité, 1TR, 2015-2016 – p. 35/68 Espérance mathématique Définition E[α(X, Y )] = ( X et Y va discrètes : X et Y va continues : P α(xi , yj )pij i,j∈I×J R α(u, v)p(u, v)dudv R2 Propriétés Constante : E(cste) = cste Linéarité : E [aα(X, Y ) + bβ(X, Y )] = aE [α(X, Y )] + bE [β(X, Y )] Définition cohérente (cas continu) : Z Z E [α(X)] = α(u)p(u, v)dudv = α(u)p(u, .)du R2 R Indépendance : si X et Y sont indépendantes, alors E [α(X)β(Y )] = E [α(X)] E [β(Y )] , ∀α∀β Cours Probabilité, 1TR, 2015-2016 – p. 36/68 Exemples Moments centrés et non centrés mij = E (X i Y j ) , i ∈ N, j ∈ N µij = E ([X − E(X)]i [Y − E(Y )]j ) , i ∈ N, j ∈ N Covariance et matrice de covariance = E ([X − E(X)][Y − E(Y )]) = E (XY ) − E(X)E(Y ) X − E[X] varX cov(X, Y ) T , V = E VV = Y − E[Y ] cov(X, Y ) varY cov(X, Y ) Fonction caractéristique T φX,Y (u1 , u2 ) = E exp(iu W ) , u = (u1 , u2 )T , W = (X, Y )T . Cours Probabilité, 1TR, 2015-2016 – p. 37/68 Coefficient de Corrélation Définition r(X, Y ) = cov(X, Y ) σX σY , où σX et σY sont les écart-types des va X et Y . Propriétés −1 ≤ r(X, Y ) ≤ 1 r(X, Y ) = ±1 si et ssi X et Y sont reliées par une relation affine si X et Y sont des va indépendantes, alors r(X, Y ) = 0 mais la réciproque est fausse Conclusion r(X, Y ) est une mesure imparfaite mais très pratique du lien entre les va X et Y . Cours Probabilité, 1TR, 2015-2016 – p. 38/68 Espérance conditionnelle Théorème E [α(X, Y )] = EX [EY [α(X, Y )|X]] Exemple Y = N X Xi i=1 où P [Xi = 1] = p, P [Xi = 0] = q = 1 − p et N est une va. Cours Probabilité, 1TR, 2015-2016 – p. 39/68 Changements de variables Problème Étant donné un couple de variables aléatoires réelles (X, Y ) de loi connue, on cherche à déterminer la loi de (U, V ) = g(X, Y ) où g est une fonction de R2 dans R2 et U et V sont deux fonctions de R2 dans R. Variables aléatoires discrètes Définition P [(U, V ) = (uk , vl )] = X p[X = xi , Y = yj ] i,j|g(xi ,yj )=(uk ,vl ) Exemple voir TD Cours Probabilité, 1TR, 2015-2016 – p. 40/68 Changements de va continues de R2 → R2 Théorème pour g bijective si (X, Y ) est un couple de va continues à valeurs dans un ouvert O ⊂ R2 et g : R2 → R2 est une application bijective de O dans un ouvert ∆ ⊂ R2 continument différentiable ainsi que son inverse g −1 , alors (U, V ) = g(X, Y ) est un couple de va continues de densité −1 pU,V (u, v) = pX,Y g (u, v) |det(J)|, où J est la matrice Jacobienne définie par ! J= ∂x ∂u ∂y ∂u ∂x ∂v ∂y ∂v Cours Probabilité, 1TR, 2015-2016 – p. 41/68 Changements de va continues de R2 → R2 Exemple X ∼ N (0, 1), Y ∼ N (0, 1), X et Y va indépendantes. Quelle est la loi de (R, Θ) avec X = R cos Θ et Y = R sin Θ ? Généralisation Si g est bijective par morceaux, on ajoute les contributions de chaque morceau. Cours Probabilité, 1TR, 2015-2016 – p. 42/68 Changements de va continues de R2 → R Problème Si (X, Y ) est un couple de va continues de loi connue et g : R2 → R, on cherche la loi de U = g(X, Y ). Solutions Variable intermédiaire : on introduit une va V = h(X, Y ) (e.g., V = X ou V = Y ), on cherche la loi du couple (U, V ), puis la loi marginale de U Calcul de la fonction de répartition de U Z P [U < u] = P [g(X, Y ) < u] = P [(X, Y ) ∈ ∆u ] = p(x, y)dxdy, ∆u Cas particulier de U = X + Y , X et Y indépendantes Calcul de la fonction caractéristique de U . Cours Probabilité, 1TR, 2015-2016 – p. 43/68 Que faut-il savoir ? Loi d’un couple de va discrètes et continues : ? Appartenance à un intervalle : P [(X, Y ) ∈ ∆] =? Comment calculer les lois marginales d’un couple ? Comment calculer les lois conditionnelles d’un couple ? Indépendance de deux variables aléatoires ? Espérance mathématique : E[XY ] =? Covariance : cov(X, Y ) =? Coeff. de corrélation : r(X, Y ) =?, r(X, Y ) ∈? Intérêt ? Espérances conditionnelles : ? Trois méthodes de changements de variables : ? Cours Probabilité, 1TR, 2015-2016 – p. 44/68 Plan du cours Chapitre 1 : Eléments de base du calcul des probabilités Chapitre 2 : Variables aléatoires réelles Chapitre 3 : Couples de variables aléatoires réelles Chapitre 4 : Vecteurs Gaussiens Définition Transformation affine Lois marginales, lois conditionnelles, indépendance Lois du chi2, de Student et de Fisher Chapitre 5 : Convergence et théorèmes limites Cours Probabilité, 1TR, 2015-2016 – p. 45/68 Vecteur Gaussien Définition On dit que X = (X1 , ..., Xn )T suit une loi normale à n dimensions et on notera X ∼ Nn (m, Σ), si la densité de probabilité de X s’écrit 1 1 p exp − (x − m)T Σ−1 (x − m) p(x) = 2 (2π)n/2 det(Σ) où x ∈ Rn , m ∈ Rn et Σ ∈ Mn (R) est une matrice symétrique définie positive. Cas particuliers n=1 Σ diagonale Cours Probabilité, 1TR, 2015-2016 – p. 46/68 Signification de m et Σ Fonction caractéristique T 1 T iu X T φ(u) = E e = exp iu m − u Σu 2 Fonction génératrice des moments T 1 T u X T θ(u) = E e = exp u m + u Σu 2 m et Σ m est le vecteur moyenne Σ est la matrice de covariance Cours Probabilité, 1TR, 2015-2016 – p. 47/68 Cas Bivarié Fonction caractéristique 1 1 φ(u) = exp i(u1 m1 + u2 m2 ) − Σ11 u21 − Σ22 u22 − Σ12 u1 u2 2 2 Dérivées partielles ∂φ(u) = φ(u)(im1 − Σ12 u2 − Σ11 u1 ) ∂u1 ∂φ(u) = φ(u)(im2 − Σ12 u1 − Σ22 u2 ) ∂u2 ∂ 2 φ(u) = φ(u)(im1 − Σ12 u2 − Σ11 u1 )(im2 − Σ12 u1 − Σ22 u2 ) − Σ12 φ(u) ∂u1 ∂u2 Moments ∂φ(u) ∂φ(u) = iE[X1 ] = im1 , = iE[X2 ] = im2 ∂u1 u=0 ∂u2 u=0 ∂ 2 φ(u) = −E[X1 X2 ] = −m1 m2 − Σ12 ∂u ∂u 1 2 u=0 Cours Probabilité, 1TR, 2015-2016 – p. 48/68 Transformation affine Problème : Soit X ∼ Nn (m, Σ) un vecteur Gaussien. Quelle est la loi de Y = AX + b, où Y est un vecteur aléatoire de Rp , b ∈ Rp et A est une matrice de taille p × n avec p ≤ n ? Idée : on calcule la fonction génératrice de Y = AX + b 1 T T θY (v) = exp v (Am + b) + v AΣAT v 2 Conclusion Y ∼ Np Am + b, AΣA T si A est de rang p (i.e., de rang maximal). Cours Probabilité, 1TR, 2015-2016 – p. 49/68 Lois marginales Hypothèses ! X′ X= ∼ Nn (m, Σ), m = ′′ X ! m′ m′′ ,Σ = Σ′ MT M Σ′′ ! Problème Quelle est la loi de X ′ ? Conclusion ′ ′ X ∼ Np m , Σ où p est la dimension de X ′ . ′ Cours Probabilité, 1TR, 2015-2016 – p. 50/68 Indépendance Hypothèses ! X′ X= ∼ Nn (m, Σ), m = ′′ X m′ m′′ ! ,Σ = Σ′ MT M Σ′′ ! Conclusion X ′ et X ′′ sont des vecteurs indépendants si et ssi M = 0. Cours Probabilité, 1TR, 2015-2016 – p. 51/68 Loi du chi2 Définition Si X1 , ..., Xn sont n va indépendantes de loi N (0, 1), Pn alors Y = i=1 Xi2 ∼ χ2n suit une loi du chi2 à n degrés de liberté. Propriétés Densité de probabilité : pn (y) = n y y 2 −1 e− 2 IR+ (y) n n 2 2 Γ( 2 ) − n2 Fonction caractéristique : φn (t) = (1 − 2it) Moyenne et variance : E(Y ) = n et var(Y ) = 2n Additivité : si Y ∼ χ2n , Z ∼ χ2m , Y et Z ind. alors Y + Z ∼ χ2n+m Cours Probabilité, 1TR, 2015-2016 – p. 52/68 Loi de Student Définition Si X ∼ N (0, 1), Y ∼ χ2n , X et Y indépendantes, alors Propriétés X Z = q ∼ tn Y n Densité de probabilité − n+1 2 2 Γ z 1+ IR+ (z) pn (z) = √ n n nπΓ 2 n+1 2 Moyenne et variance (pour n > 2) n E(Z) = 0 et var(Z) = n−2 pour n = 1, on a une loi de Cauchy Cours Probabilité, 1TR, 2015-2016 – p. 53/68 Loi de Fisher Définition Si X ∼ χ2n , Y ∼ χ2m , X et Y indépendantes, alors Propriétés X/n Z= ∼ fn,m Y /m Densité de probabilité connue (voir livres) Moyenne et variance (pour m > 4) m 2m2 (n + m − 2) E(Z) = et var(Z) = m−2 n(m − 4)(m − 2)2 Cours Probabilité, 1TR, 2015-2016 – p. 54/68 Que faut-il savoir ? X ∼ Nn (m, Σ) Signification de m et de Σ ? Transformation affine (Y = AX + b) d’un vecteur gaussien ? Condition sur la matrice A associée ? Lois marginales d’un vecteur gaussien ? Indépendance de deux sous vecteurs d’un vecteur gaussien ? Pn loi de Y = i=1 Xi2 ∼ χ2n ? Cours Probabilité, 1TR, 2015-2016 – p. 55/68 Plan du cours Chapitre 1 : Eléments de base du calcul des probabilités Chapitre 2 : Variables aléatoires réelles Chapitre 3 : Couples de variables aléatoires réelles Chapitre 4 : Vecteurs Gaussiens Chapitre 5 : Convergence et théorèmes limites Convergence (en loi, en probabilité, en moyenne quadratique, presque sure) Théorèmes limites (loi des grands nombres, théorème de la limite centrale) Cours Probabilité, 1TR, 2015-2016 – p. 56/68 Convergence en loi Définition La suite de va X1 , ..., Xn converge en loi vers la va X si et ssi la suite des fonctions de répartition Fn (x) = P [Xn < x] converge simplement vers F (x) = P [X < x] en tout point x où F est continue. Notation L Xn → X n→∞ Exemple 1 1 P [Xn = 1] = et P [Xn = 0] = 1 − n n Cours Probabilité, 1TR, 2015-2016 – p. 57/68 Convergence en loi Propriétés Théorème de Levy Xn cv en loi vers X si et ssi φ continue en t = 0 et itX itXn → φ(t) = E e , ∀t. φn (t) = E e n→∞ Si Xn est une suite de va continues de densités L pn (x) et que pn (x) → p(x) p.p., alors Xn → X . n→∞ n→∞ L Si Xn → X et g : R → R continue, alors n→∞ L g(Xn ) → g(X). n→∞ Cours Probabilité, 1TR, 2015-2016 – p. 58/68 Convergence en probabilité Définition La suite de va X1 , ..., Xn converge en probabilité vers la va X si et ssi ∀ǫ > 0, on a P [|Xn − X| > ǫ] → 0. n→∞ Notation P Xn → X n→∞ Exemple : Xn de densité pn (x) = Propriété ne−nx . (1+e−nx )2 P Si Xn → X et g : R → R continue, alors n→∞ P g(Xn ) → g(X). n→∞ Cours Probabilité, 1TR, 2015-2016 – p. 59/68 Convergence en moyenne quadratique Définition La suite de va X1 , ..., Xn converge en moyenne quadratique vers la va X si et ssi 2 E (Xn − X) → 0. n→∞ Notation MQ Xn → X n→∞ Exemple 1 1 P [Xn = n] = p et P [Xn = 0] = 1 − p n n avec p = 2 et p = 3. Cours Probabilité, 1TR, 2015-2016 – p. 60/68 Convergence presque sûre Définition La suite de va X1 , ..., Xn converge presque sûrement vers la va X si et ssi Xn (ω) → X(ω), n→∞ ∀ω ∈ A|P (A) = 1. Notation PS Xn → X n→∞ Comparaison entre les différents types de convergence Cours Probabilité, 1TR, 2015-2016 – p. 61/68 Loi faible des grands nombres Loi faible des grands nombres Si X1 , ..., Xn sont des va indépendantes et de même loi de moyenne E [Xk ] = m < ∞, alors la va 1 Pn X n = n k=1 Xk converge en probabilité vers m. Preuve h ϕX n (t) = E e it n1 Pn k=1 Xk i =E " n Y k=1 e i nt Xk # n t = ϕ n Dév. de Taylor de φ ϕ (t) = ϕ (0) + tϕ′ (0) + tλ (t) = 1 + itm + tλ (t) Cours Probabilité, 1TR, 2015-2016 – p. 62/68 Preuve On en déduit t t t t t t =n i m+ λ ln ϕX n (t) = n ln 1 + i m + λ n n n n n n d’où lim ϕX n (t) = eitm ∀t n→∞ i.e., L P Xn → m ⇔ Xn → m n→∞ n→∞ Cours Probabilité, 1TR, 2015-2016 – p. 63/68 Loi forte des grands nombres Loi forte des grands nombres Si X1 , ..., Xn sont des va indépendantes et de même loi de moyenne E [Xk ] = m < ∞ et de variance σ 2 < ∞, 1 Pn alors la va X n = n k=1 Xk converge en moyenne quadratique vers m. Preuve E h X −m 2 i n n 1 XX = 2 E [(Xk − m) (Xl − m)] n k=1 l=1 Mais E [(Xk − m) (Xl − m)] = ( σ 2 si k = l 0 si k 6= l Cours Probabilité, 1TR, 2015-2016 – p. 64/68 Preuve Donc E i.e., h Xn − m 2 i σ2 = → 0 n n→∞ MQ Xn → m n→∞ Cours Probabilité, 1TR, 2015-2016 – p. 65/68 Théorème de la limite centrale Théorème de la limite centrale Si X1 , ..., Xn sont des va indépendantes et de même loi 2 < ∞, de moyenne E [Xk ] = m < ∞ et de variance σ Pn X −nm converge en alors la va centrée réduite Yn = k=1√ k2 nσ loi vers la loi normale N (0, 1). Preuve ϕYn (t) = E e Mais itYn =e √ itm n − σ n Y k=1 h E e i σ√t n Xk i h t i t i σ√n Xk √ E e =ϕ σ n Cours Probabilité, 1TR, 2015-2016 – p. 66/68 Preuve Donc √ t itm n √ + n ln ϕ ln [ϕYn (t)] = − σ σ n En utilisant le développement de Taylor de ϕ 2 t ϕ (t) = ϕ (0) + tϕ′ (0) + ϕ′′ (0) + t2 λ (t) 2 On en déduit ln [ϕYn (t)] = − lim ϕYn (t) = e n→∞ t2 −2 t2 2 + t2 n λ t √ σ n L ∀t ⇔ Yn → N (0, 1) n→∞ Cours Probabilité, 1TR, 2015-2016 – p. 67/68 Que faut-il savoir ? Convergence en loi ? Convergence en moyenne quadratique ? 1 Pn k=1 Xk converge en probabilité vers ? Conditions ? n 1 Pn k=1 Xk converge en moyenne quadratique vers ? n Conditions ? Yn = Pn Xk −? ? k=1 converge en loi vers ? Cours Probabilité, 1TR, 2015-2016 – p. 68/68
