Apprentissage Bayésien

Apprentissage Bayésien
(Référence : Tom Mitchell, Machine Learning, McGraw Hill, 1997)

Apprentissage Bayésien 2
Apprentissage Bayésien
o Introduction
oThéorème de Bayes
o“Maximum Likelihood Estimation”
o Classifieur Bayésien optimal et Bayes naif
oRéseaux Bayésiens

Apprentissage Bayésien 3
Introduction
o L’apprentissage Bayésien permet de faire des
prédictions en se basant sur des probabilités.
o Il offre un cadre pour le raisonnement à base de
probabilités ;
o Avantages avec l’approche Bayésienne :
Les données peuvent être bruitées ;
Il est possible de proposer une connaissance « a
priori » avant de construire une hypothèse ;
Les prédictions sont pondérées par des probabilités ;

Apprentissage Bayésien 4
Théorème de Bayes
Définitions.
Nous avons un espace d’hypothèses H, et un ensemble
de données D. Nous définissons les 3 probabilités
suivantes :
1. P(h) la probabilité que h soit l’hypothèse correcte sans avoir vu
aucune donnée. P(h) est dite “prior probability” de h.
Exemple : Chance qu’il pleuve est 80% si on est prêt de la mer
et à la latitude X (aucune donnée n’est vu).
2. P(D) la probabilité de voir les données de D.
3. P(D|h) est la probabilité des données sachant h (likelihood).

Apprentissage Bayésien 5
Le théorème
Le théorème de Bayes relie la probabilité à posteriori
d’une hypothèse h sachant des données, avec les trois
probabilités mentionnées avant :
P(h|D) = P(D|h) . P(h) / P(D)
Évidence
Posterior
probability Prior
probability
Likelihood