4
Théorème de Bayes
Lorsqu’utilisé pour tester des hypothèses, la forme de la
distribution et la probabilité sont estimées en même temps
(stats fréquentistes, la distribution est construite avant)
La probabilité part d’une « croyance » de ce qui devrait être,
qui, par la suite, est modifiée par l’observation
*On quantifie l’apprentissage
Théorème de Bayes
Ex: Le soleil va-t-il se lever demain?
Certitude logique que l’évènement se produira
Certitude logique que l’évènement ne se produira pas
0
1
Probabilité
bayésienne
p=0.9999?
Théorème de Bayes
Ex: Le soleil va-t-il se lever demain?
1. Pas de surprise: Le soleil se lève, nous n’avons presque rien
appris de nouveau
2. Surprise! Le soleil ne se lève pas, nous avons appris
beaucoup
Probabilité que le soleil se lève : 0.9999
Probabilité que le soleil ne se lève pas : 1-0.9999=0.0001
Fonction de surprise / information: I = ln (1/p) = -ln(p)
Théorème de Bayes
Ex: Le soleil va-t-il se lever demain?
1. Pas de surprise: Le soleil se lève, nous n’avons presque rien
appris de nouveau : I = -ln(0.9999) = 0.00001
2. Surprise! Le soleil ne se lève pas, nous avons appris
beaucoup: I = -ln(0.0001) = 11.51
Probabilité que le soleil se lève : 0.9999
Probabilité que le soleil ne se lève pas : 1-0.9999=0.0001
Fonction de surprise / information: I = ln (1/p) = -ln(p)
Théorème de Bayes
On modifie ensuite la probabilité que l’on attribuait initialement
en fonction de la nouvelle information
1. Pas de surprise: Le soleil se lève, nous n’avons presque rien
appris de nouveau : I = -ln(0.9999) = 0.00001
Nouvelle probabilité: p + f(I) > 0.9999
2. Surprise! Le soleil ne se lève pas, nous avons appris
beaucoup: I = -ln(0.0001) = 11.51
Nouvelle probabilité: p + f(I) << 0.9999
Théorème de Bayes
Le problème de Monty Hall: Il y a 3 portes, derrière l’une, il y a
une auto, derrière les deux autres une chèvre. Vous gagnez
l’auto si vous la découvrez. Vous choisissez une porte (la porte
1), ensuite, quelqu’un sachant ou se trouve l’auto (p.ex., Bob
Barker) ouvre une autre porte (porte 3) où se trouve une chèvre.
Vous avez ensuite l’occasion de changer de porte, le faites vous
et pourquoi?
Votre choix initial