Théorie de l'information et du codage : Cours complet

THEORIE DE L’INFORMATION
ET DU CODAGE

CHAP 1: INTRODUCTION A LA THEORIE DE L’INFORMATON
I. Définition:
La théorie de l’information est une théorie probabiliste permettant de quantifier et se qualifier
le contenu moyen en information d’un ensemble de messages. Ce domaine trouve son origine
scientifique avec CLAUDE SHANON est le père fondateur avec son article « A Mathematical
Theory of Communication » publié en 1948.
II. Exemple d’information :
 Soit une source pouvant produire des tensions entieres de 0 à 10V et un récepteur qui
va mesurer ces tensions avant l’envoie du courant électrique par la source, le récepteur
n’a aucune idée de la tension qui sera délivrée par la source.
En revanche, une fois le courant émis et réceptionné, l’incertitude sur le courant émis
diminue. La théorie de l’information considère que le récepteur possède une
incertitude de 11états (0 à 10V).
 Une bibliothèque posséde un grand nombre d’ouvrage ; des revues ; des livres ; des
dictionnaires. Nous cherchons un cours complet sur la Théorie de L’information. Tout
d’abord, il est logique que nous ne trouvons pas ce dossier dans les ouvrages d’art ou
de littérature. Nous venons donc d’obtenir une information qui diminuera notre temps
de recherche. Nous avons précisé que nous voulions un cour complet ; nous ne le
retrouverons donc pas ni dans une revue, ni dans un dictionnaire. Nous avons obtenu
une information supplémentaire qui réduira notre temps de recherche.
NB : la théorie de l’information diminue l’incertitude.
II. Mesure de la quantité de l’information :
Considérons N boites numérotées de 1 à N.
- Un individu A a caché par hasard un objet dans une de ces boites.
- Un individu B doit trouver le numéro de la boite ou est caché l’objet. Pour cela, il a le
droit de poser des questions à l’individu A auxquelles celui-ci doit répondre sans
mentir par « Oui » ou par « Non » mais chaque question représente un cout à payer par
l’individu B.

- Un individu C sait dans quelle boite est caché l’objet et il a la possibilité de rendre
cette information à l’individu B. Ce dernier n’acceptera ce marché que si le prix de C
est inférieur au cout moyen que B devrait dépenser pour trouver la boite en posant les
questions à A.
- L’information détenue par l’individu C à donc un certain prix. Ce prix représente la
quantité d’information représentée par la connaissance de la boite. Nous la noterons I.
Exemple:
 Si N=1, il ya qu’une seule boite. Alors aucune question n’est nécessaire;
I=0.
 Si N=2, on demande si la bonne boite est le n°1. La réponse « oui » ou « non »
détermine alors sans ambiguïté la boite cherchée ; I=1.
 Si N=4, on demande si la boite porte un numéro pair. La réponse permet d’éliminer
deux boites. Il suffit d’une dernière question pour trouver quelle est la bonne boite
parmi les deux restantes ; I=2.
 Si N=2k, on écrit les numéros des boites en base 2. Les numéros ont au plus K chiffres
binaires et pour chacun des rangs de ces chiffres possèdent le chiffre 0 ou 1. En k
questions, on a déterminé tous les chiffres binaires de la bonne boite. Chaque question
ayant pour but de diviser successivement le nombre de boites considérées par 2 ; I=k.
IV. Propriétés mathématiques de l’information :
Appelons X un message dont la probabilité de réalisation est P(X) et I(X) la quantité
d’information contenue dans le message X.
 L’information est comprise entre 0 et. I(X) R+.
 Un événement avec peu de probabilité représente beaucoup d’information.
 Quand P(X) diminue I(X) augmente
 L’événement certain n’apporte aucune information. → si P(X) =1, alors,
I(X)=0
On peut donc ecrire:
I(X) = -loga (P(x))
Loga (x) = lnx / lna
Pour a=2, l’unité de I est le bit
Pour a=10, l’unité de I est le dit

Pour a=e, l’unité de I est le nit
a=2; on a I= -log₂p = lnp / ln2
=Init / ln2
=-(lnp/ln10) (ln10 /ln2)
Alors, Ibit= (ln10 / ln2)Idit
Si nous venions à notre cas des boites, on dira que I=log₂N.
Supposons que parmis nos N boites, qu’on est n rouges. Supposons également que l’individu
C sache que la boite ou est caché l’objet est rouge. Quel est le prix à payer de cette
information ?
Le prix à payer est : log₂(n). Et le prix de l’information dans la boite recherchée est donc :
I = log₂(N) - log₂(n) = log (N /n)
V. Entropie :
Si on considère K événements disjoints de probabilité respectives P₁ ; P₂ ; ….. ; Pi. La
quantité d’information correspondante est :
H = ∑ Pi. Ii = P₁log2 (1/P₁) + P₂log2 (1/P₂) +……+ Pklog2 (1/Pk) = -∑ Pi log2(Pi)
La quantité H s’appelle entropie de la distribution des probabilistes. Il s’agit de la mesure de
la quantité d’information d’un ensemble d’événements ou d’un message.
VI. Information mutuelle :
Rappels mathématiques sur les probabilités conditionnelles : Théorème de Bayes
 Il arrive dans certain problème pratique que l’on ait besoin des probabilités à
postériori P (Ai /B).
Alors, à partir des considérations théoriques et de données historiques, on
connaisse plutôt des probabilités à priori P(Ai) et des probabilités conditionnelles
P (B/Ai).
 Le théorème de Bayes indique comment obtenir les probabilités désirées sous
certaines hypothèses sur les éléments Ai.
 Soit B un événement de probabilité non nul A₁, A₂,…… Ai dont les éléments
forme une partition de l’ensemble fondamentale E de tous les résultats possibles.
 Théorème de Bayes : P (Ai / B) = P (B/Ai) P(Ai) / ∑ P (B/Ak) P(Ak)
Exemple

Imaginons deux urnes remplies de boules. La première contient dix (10) boules noires et
trente (30) blanches ; la seconde en a vingt (20) de chaque.
On tire sans préférence particulière une boule des urnes au hasard et dans cette urne, on tire
une boule au hasard. La boule est blanche. Quelle est la probabilité qu'on ait tiré cette boule
dans la première urne sachant qu'elle est blanche?
Solution
Intuitivement, on comprend bien qu'il est plus probable que cette boule provienne de la
première urne, que de la seconde. Donc, cette probabilité devrait être supérieure à 50 %. La
réponse exacte vient du théorème de Bayes.
Soit H1 l’hypothèse « On tire dans la première urne. » et H2 l’hypothèse « On tire dans la
seconde urne. ». Comme on tire sans préférence particulière, P(H1) = P(H2) ; de plus, comme
on a certainement tiré dans une des deux urnes, la somme des deux probabilités vaut 1 :
chacune vaut 50 %.
Notons 'D' l’information donnée « On tire une boule blanche. » Comme on tire une boule au
hasard dans une des urnes, la probabilité de D sachant/sous l’hypothèse H1 vaut :
De même si l’on considère H2,
La formule de Bayes dans le cas discret nous donne donc.
Avant que l’on regarde la couleur de la boule, la probabilité d’avoir choisi la première urne
est une probabilité a priori, P(H1) soit 50 %. Après avoir regardé la boule, on révise notre
jugement et on considère P(H1|D), soit 60 %, ce qui confirme notre intuition première.
Information mutuelle :