espérance loi -"1 est" -attention -groupe

Familles courantes de distribution
IFT6085-H2014: Modèles Graphiques Probabilistes
Prof:
Aaron Courville
Email: [email protected]
Office: 3253 Pav. Andre Aisenstadt
IFT6085-H2014: Modèles Graphiques Probabilistes
02 - Familles courantes de distribution
1
Modèle statistique
•
Modèle paramétrique - Définition: Ensemble ou une famille de
distributions de probabilité paramétrées par un vecteur θ ∈ Θ ⊂ Rp
PΘ = {p(x; θ) | θ ∈ Θ}
•
Nous pouvons penser à ces modèles comme des modèles
graphiques simples avec un seul nœud:
X
•
Dans ces notes, nous passerons en revue quelques modèles
de probabilité communes pour différentes sortes de X.
IFT6085-H2014: Modèles Graphiques Probabilistes
02 - Familles courantes de distribution
2
Loi Bernoulli
•
Loi Bernoulli X ∼ Bernoulli(p)
-
X est une v.a. binaire: x ∈ {0, 1}
-
Le paramètre de modèle: θ = p ∈ Θ = [0, 1]
-
Le Bernoulli p.m.f(x): f (x; p) = px (1 − p)1−x
-
Espérance E[x] = p
-
Variance: Var[x] = p(1 − p)
IFT6085-H2014: Modèles Graphiques Probabilistes
02 - Familles courantes de distribution
3
Loi Binomiale
•
Loi Binomiale: X ∼ B(n, p)
-
X est une v.a. discrète: x ∈ {0, 1, 2, . . . , n}
-
Les paramètres de modèle: θ = (n, p) ∈ Θ = Z+ × [0, 1]
! "
n x
p (1 − p)n−x
Le binomial p.m.f(x): f (x; n, p) =
x
-
Espérance: E[x] = np ,
p.m.f.(x):
IFT6085-H2014: Modèles Graphiques Probabilistes
Variance: Var[x] = np(1 − p)
c.d.f.(x):
02 - Familles courantes de distribution
4
Loi Multinomiale
•
Distribution Multinomiale: X ∼ Multinomial(n, p1 , . . . , pK )
-
X est un vecteur aléatoire discrète avec elements xi ∈ {0, 1, 2, . . . , n}
K
!
xi = n
telle que
i=1
-
Les paramètres de modèle: θ = (n, p1 , . . . , pK ) ∈ Θ = R+ × [0, 1]K
K
!
ou
pi = 1
i=1
-
Le multinomial p.m.f.(x):
-
Espérance:
E[xi ] = npi
-
Variance:
n!
f (x; n, p1 , . . . , pK ) =
px1 1 · · · pxKK
x 1 ! · · · xK !
Var[xi ] = npi (1 − pi ), Cov(xi , xj ) = −npi pj
IFT6085-H2014: Modèles Graphiques Probabilistes
02 - Familles courantes de distribution
5
Loi de Poisson
•
Distribution de Poisson: X ∼ Pois(λ)
-
X est une v.a. discrète: x
-
Le paramètre de modèle: θ = λ ∈ Θ = R+
∈ {0, 1, 2, 3, . . . }
-
λx −λ
e
Le p.m.f.(x) de poisson: f (x; λ) =
x!
-
Espérance: E[x] = λ,
p.d.f.(x):
IFT6085-H2014: Modèles Graphiques Probabilistes
Variance: Var[x] = λ
c.d.f.(x):
02 - Familles courantes de distribution
6
loi Gaussienne (Normale) - cas univariée
•
Gaussienne univariée: X ∼ N (µ, σ 2 )
-
X est un v.a. réelles ( x ∈ R ) et θ = (µ, σ 2 ) ∈ Θ = R × R+
!
"
2
1
1 (x − µ)
2
exp −
Le p.d.f.(x) gaussienne est: p(x; µ, σ ) = √
2
σ2
2πσ 2
Espérance: E(x) = µ , Variance: Var(x) = σ 2
p.d.f.(x):
IFT6085-H2014: Modèles Graphiques Probabilistes
c.d.f.(x):
02 - Familles courantes de distribution
7
loi Gaussienne (Normale) - cas multivariée
•
Gaussienne multivariée: X ∼ N (µ, Σ)
-
X est un vecteur aléatoire réelles ( x ∈ Rd) et θ = (µ, Σ) ∈ Θ = Rd × Kd
ou Kd est l'ensemble des matrices d × d définies positives.
Gaussienne multivariée p.d.f.(x):
1
"
1
p(x; µ, Σ) = !
exp − (x − µ)T Σ−1 (x − µ)
2
(2π)d det Σ
p.d.f.(x):
IFT6085-H2014: Modèles Graphiques Probabilistes
#
c.d.f.(x):
02 - Familles courantes de distribution
8
Loi exponentielle
•
Loi exponentielle: X ∼ exp(λ)
-
X est un v.a. réelles avec x ≥ 0 et θ = λ ∈ Θ = R+ ou λ est le paramètre
d'intensité.
-
Le p.d.f.(x) exponentielle est: p(x; λ) = λe−λx
-
1
Espérance: E(x) = ,
λ
p.d.f.(x):
IFT6085-H2014: Modèles Graphiques Probabilistes
1
Variance: Var(x) = 2
λ
c.d.f.(x):
02 - Familles courantes de distribution
9
Loi de Laplace
•
Distribution de Laplace: X ∼ Laplace(µ, b)
-
X est un v.a. réelles ( x ∈ R ) and θ = (µ, b) ∈ Θ = R × R+
!
"
1
|x − µ|
exp −
The p.d.f.(x) de Laplace: p(x; µ, b) =
2b
b
Espérance: E(x) = µ , Variance: Var(x) = 2b2
p.d.f.(x):
IFT6085-H2014: Modèles Graphiques Probabilistes
c.d.f.(x):
02 - Familles courantes de distribution
10
Loi Gamma
•
Loi Gamma: X ∼ Γ(α, β) ≡ Gamma(α, β)
-
X est un v.a. réelles avec x ≥ 0 et θ = (α, β) ∈ Θ = R+ × R+ ou αest le
paramètre d'échelle et βest le paramètre d'intensité.
β α α−1 −βx
p(x; α, β) =
x
e
Le p.d.f.(x) Gamma:
Γ(α)
α
α
Espérance: E(x) = , Variance: Var(x) = 2
β
β
p.d.f.(x):
IFT6085-H2014: Modèles Graphiques Probabilistes
c.d.f.(x):
02 - Familles courantes de distribution
11
Loi log-normale
•
Distribution log-normale: X ∼ ln N (µ, σ 2 )
-
X est un v.a. réelles avec x > 0 et θ = (µ, σ 2 ) ∈ Θ = R × R+
!
"
2
1
1 (ln x − µ)
2
exp −
Le p.d.f.(x) log-normal est: p(x; µ, σ ) = √
2
2
σ2
x 2πσ
!
"
2
σ
Espérance: E(x) = exp µ +
2
!
" 2#
$
"
#
2
Variance: Var(x) = exp σ − 1 exp 2µ + σ
p.d.f.(x):
IFT6085-H2014: Modèles Graphiques Probabilistes
c.d.f.(x):
02 - Familles courantes de distribution
12
Loi Bêta
•
Distribution Bêta: X ∼ Beta(α, β)
-
X est un v.a. réelles avec 0≤ x ≤ 1 et θ = (α, β) ∈ Θ = R+ × R+
ou α and β sont des paramètre de “shape”
-
Γ(α + β) α−1
x
(1 − x)β−1
The Bêta p.d.f.(x) is: p(x; α, β) =
Γ(α)Γ(β)
-
α
Espérance: E(x) =
,
α+β
p.d.f.(x):
IFT6085-H2014: Modèles Graphiques Probabilistes
αβ
Variance: Var(x) =
(α + β)2 (α + β + 1)
c.d.f.(x):
02 - Familles courantes de distribution
13
Loi de Dirichlet
•
Loi de Dirichlet:
-
X ∼ Dir(α)
X est un vecteur aleatoire avec elements 0≤ xi ≤ 1 et ∑xi = 1.
θ = (α1 , α2 , . . . , αK ) ∈ Θ = RK
+ ou αi sont des paramètre de concentration
Le Dirichlet p.d.f.(x):
Γ(α0 )
p(x; α) = !K
i=1
-
αi
Espérance: E[xi ] =
α0
-
αi (α0 − αi )
Variance: Var[xi ] = 2
α0 (α0 + 1)
IFT6085-H2014: Modèles Graphiques Probabilistes
K
"
Γ(αi ) i=1
i −1
xα
, where α0 =
i
02 - Familles courantes de distribution
K
#
αi
i=1
14