Réseaux de neurones : rappels de probabilités et

Réseaux de neurones : rappels de
probabilités et statistiques
Fabrice Rossi
http://apiacoa.org/contact.html.
Universit´e Paris-IX Dauphine
R´eseaux de neurones – Rappels de probabilit´es et statistiques – p.1/49

Plan des rappels
1. Probabilités
2. Conditionnement et indépendance
3. Variable aléatoire
4. Moments
5. Retour sur le conditionnement
6. Notion d’estimateur
7. Théorèmes limites
8. Vraisemblance
9. Estimation bayesienne
R´eseaux de neurones – Rappels de probabilit´es et statistiques – p.2/49

Modélisation stochastique
Phénomènes intrinsèquement aléatoires : mécanique
quantique
Phénomènes chaotiques :
rupture d’équilibre (stylo en équilibre sur sa pointe!)
phénomènes très complexes (météo par exemple)
Connaissance incomplète, exemple :
lien entre zet x
x=1 2 2 1 4 5 3 1 2 2 5 4 2 1 5 3 5 2 5 2 5 4 3 5 5 2 3 2 3 2
z=0 3 1 0 4 5 3 1 1 3 4 5 1 1 6 2 6 2 5 2 6 4 2 5 5 2 4 2 2 2
P(z= 3|x= 2) = 1
5,P(z= 2|x= 2) = 1 2et
P(z= 1|x= 2) = 3
10
en fait z=x+yavec et
y=-1 1 -1 -1 0 0 0 0 -1 1 -1 1 -1 0 1 -1 1 0 0 0 1 0 -1 0 0 0 1 0 -1 0
R´eseaux de neurones – Rappels de probabilit´es et statistiques – p.3/49

Probabilités
Deux visions :
1. “objective” :
vision “fréquentiste”
calcul de fréquence par comptage
probabilité : limite des fréquences
exemple : probabilité qu’un accident soit une
conséquence de la consommation d’alcool
2. “subjective” :
vision bayesienne
connaissance/croyance a priori
prise en compte de l’expérience pour modifier la
croyance
exemple : probabilité qu’une pièce tombe sur pile
R´eseaux de neurones – Rappels de probabilit´es et statistiques – p.4/49

Probabilités (2)
Modèle probabiliste, (Ω,M, P ):
Ω: l’univers, l’ensemble des possibles :
lancé d’un dé : Ω = {1,2,3,4,5,6}
lancé d’une pièce deux fois de suite :
Ω = {(P, P ),(P, F ),(F, P ),(F, F )}
M: les évènements étudiables (M ⊂ P(Ω)) :
conditions techniques : une σ-algèbre, i.e. :
contient Ω(évènement sûr) et ∅(évènement
impossible)
stable par passage au complémentaire (pour pouvoir
dire que An’a pas eu lieu)
stable par union dénombrable (pour pouvoir dire que
Aou Bont eu lieu)
exemple : M=P(Ω)
R´eseaux de neurones – Rappels de probabilit´es et statistiques – p.5/49