Cours 1 Probabilité : C`est l`étude mathématique de l`incertain. La

Cours 1
Probabilité : C’est l’étude mathématique de l’incertain. La notion de probabilité a été
introduite au 17ème siècle à cause des jeux de hasard, puis a été développée en 1948
par Shannon.
Les communications sont entachées d’incertitudes. En lisant l’information on lève
l’incertitude.
Proba= à priori
Info= à postéori
Les probabilités sont essentielles dans la théorie de l’information. Le problème de
probabilités le plus célèbre est celui du « chevalier de Méré » ; il a été résolu par
Pascal. En 1933 Andrei Kolmogorov a introduit la théorie des probabilités (Axiome).
C’est le cœur de la probabilité (expérience aléatoire). L’expérience aléatoire est non
répétable.
Evènement : c’est le résultat possible d’une expérience.
Probabilité d’un évènement : mesure de la vraisemblance de l’évènement. C’est un
nombre appartenant à l’intervalle [0,1 ].
0=> l’évènement est impossible.
1=> possible mais incertain.
Les points de vue
- Classique : P=(nombre de cas favorable)/(nombre de cas possibles)
Ce point de vue n’est pas satisfaisant.
- Point de vue orthodoxe : Limite de la fréquence. Il souffre des memes
insuffisances que le point vue classique parce que les expérience sont non
répétables.
- Subjectivité : à partir de l’état de connaissance d’un observateur sur un
évènement donné. Ex : Afrique du sud Vs France en rugby , l’AFS part favori.
Axiomess de Kolgomorov
Def espace probabilisé (Ω,E,P)

Ω ensemble fondamental.
ensemble des parties de Ω.
P fonction de probabilité P : E [0,1].
E sigma- algèbre.
S1 : Ω ∈ E
S2 : Ω est stable par complément
Si A ∈ E alors a bar A E.
S3 : E est stable par réunion dénombrable .
Si A ∈ E alors A bar ∈ E .
Si (Ai) i ∈ I est une famille dénombrable d’éléments de E alors U Ai ∈ E
P satisfait P1 P(Ω) = 1
P2 si (Ai) i ∈ est une famille dénombrable d’éléments de E. deux à deux disjoints
Alors P(U Ai)= Ai
Cas ou Ω est finie.
E= P(Ω) p est défini par ses valeurs sur le singleton.
Ω=(Wi, ….. Wn ) ; p(Ωi)=1
Notions à revoir :Distribution des probabilités ; formule d’inclusion-
exclusion ; formule pointcaré ; Variables aléatoires ; formule de Bayes ;
Loi conditionnelle d’une Variable aléatoire ; Loi conjointe de 2 variables
aléatoires ; espérance ; distributions conjointes ; variable de Bernouilli ;
disjonction des cas.

Cours 2
Information et Entropie
Rappel : La probabilité est une quantité comprise entre 0 et 1 qui quantifie un
évènement (étude mathématique de l’incertain) avant qu’il se produise.
Information
1er Principe : quantifie la connaissance apportée par un évènement produit.
 Pour un évènement peu probable on a beaucoup d’informations.
 Pour un évènement très probable on a peu d’informations.
L’information est aussi la fonction décroissante de la probabilité.
2ème Principe : Additivité
L’information i(A) d’un évènement est une fonction qui transforme les produits en
somme (fonction logarithme).
i(A)=-log(P(A)).
Par convention on utilise -log2 (P(A)).
- Si A est un évènement certain P(A)=1 => i(A)=0.
- Si P(A)=0 => i(A)=+
L’unité d’information est le bit (binary digit). NB : bit !=symbole binaire.
Le choix de la base 2 est arbitraire.
Exemple : Ω ={pile,face} ( ¼ , ¾)
i({pile}) = -log2 ( ½ )
= log2 (2)
i({pile}) = 1
Rappel : log2(x)= ln(x)/ln(2)

Entropie
L’entropie représente l’information révélée par une expérience. Elle a été développée
par SHANNON qui y a travaillé pendant une vingtaine d’années (1948). Elle est
adaptée à la communication et à la transmission de données.
Comme définition l’entropie de SHANNON est la distribution de probabilités
P=(pi …..pn) est la moyenne de la fonction information apportée par la réalisation de
chacune des opérations individuelles.
n
Elle se note H(p)=- i=1 Pi log2 (Pi)
L’entropie correspond aussi à la quantification du nombre de questions avec réponse
oui/non pour obtenir une information donnée.
Exemple :
Deviner un nombre entre 1 et 100. Chaque nombre étant équi-probable. P=1/100
pour chaque nombre(loi de probabilité).
L’entropie de cette expérience H(x) =- (de 1 à 100) de (1/100)log2(1/100)=-
log2(1/100)= log2(100)=6.64
Pour coder un nombre entier compris entre 1 et 100 il faut au moins 7 symboles
binaires.
Si la loi est uniforme (1/i …..1/n) H(p)=log2(n)
 Fonction d’entropie binaire
Variable de bernouilli de paramètre p
H(p)= -p log2(p) – (1-p)log2(1-p)
H(1/2)=1
H(1/4)=0.811

H(0)=0
H(1)=0
Dérivée H’(p)=uv+vu
H’(p)= -log2(p)-p
Log’2(x)=1/xln(2)
H’(p)= -log2(p) + log2(1-p)
Si p est plus petit que ½ on a 0<p<1/2
P<1-p
Log2(p)<log(1-p)
H’(p)>0
Si ½ <p<1
p>1-p
h’(p) <0 .
L’incertitude est maximale lorsque l’expérience est incertaine et vice versa.