Theorie de l`information

Théorie de l’information : historique
Développée dans les années quarante par Claude
Shannon.
Objectif : maximiser la quantité d’information pouvant être
transmise par un canal de communication imparfait.
Shannon voulait déterminer les maxima théoriques de :
la compression de données (l’entropie)
le taux de transmission du canal (la capacité du canal)
Shannon a montré que l’on pouvait transmettre de
l’information à travers un canal bruité avec une probabilité
d’erreur nulle tant que l’on ne dépasse pas la capacité du
canal.
M´ ethodes probabilistes - Th´ eorie de l’information – p.1/42

Liens avec le TAL
La théorie de l’information a servi de cadre théorique aux
premiers travaux de TAL probabiliste dans les années 70.
Plusieurs applications de TAL peuvent être modélisées à
l’aide des outils de la théorie de l’information en
particulier la reconnaissance de la parole et la traduction
automatique.
Les mesures développées dans le cadre de la théorie de
l’information (entropie et information mutuelle) sont utiles
pour de nombreux aspects du TAL.
M´ ethodes probabilistes - Th´ eorie de l’information – p.2/42

Plan
Entropie
Le théorème du canal sans bruit.
Information mutuelle
Le théorème du canal bruité
Application du modèle du canal bruité au TAL
M´ ethodes probabilistes - Th´ eorie de l’information – p.3/42

Surprise
Soit E, l’un des événements pouvant survenir à la suite
d’une expérience.
A quel point serions-nous surpris d’apprendre que Ea
effectivement eu lieu ?
La surprise liée à Eest liée à la probabilité de E.
Elle est d’autant plus élevée que la probabilité est faible.
M´ ethodes probabilistes - Th´ eorie de l’information – p.4/42

Suprise
La surprise est formalisée sous la forme d’une fonction S(p),
où pest une probabilité différente de 0.
On désire que cette fonction réponde aux conditions
suivantes :
1. S(1) = 0 il n’y a pas de surprise à apprendre qu’un
événement certain est effectivement arrivé.
2. Sest une fonction strictement décroissante de p. (si p < q
alors S(p)> S(q)). Plus un événement est improbable
plus grande sera notre surprise.
3. S(pq) = S(p) + S(q)
M´ ethodes probabilistes - Th´ eorie de l’information – p.5/42