UV Théorie de l`Information Cours n° 1−2

1
Cours n°1−2
UV_TI
Alexandrina
ROGOZAN
UV Théorie de l’Information
Cours n° 1−2 :
− Introduction à la théorie de l’information
− Caractérisation des sources d’information
− Notions de probabilité (Rappel)
− Entropie et Information :
− Entropie des sources discrètes sans mémoire
− composées
− avec mémoire
− q−ième extension d’une source
−Entropie limite, efficacité et redondance
2
Cours n°1−2
UV_TI
Alexandrina
ROGOZAN
Introduction
Théorie de l’information <=> Processus de
transmission numérique
Sources de
perturbations
Source
d’information
Émetteur
Canal
Récepteur
Destinataire
Message
émis
Bruit et
distorsions
Signal
émis
Message
reçu
Signal
reçu

3
Cours n°1−2
UV_TI
Alexandrina
ROGOZAN
Introduction
Théorie de l’information ≡ Théorie stochastique,
fondée sur les propriétés
statistiques, de messages
⇒ Notions fondamentales de probabilité, entropie,
information mutuelle
4
Cours n°1−2
UV_TI
Alexandrina
ROGOZAN
Introduction
Théorie de l’information => Limites de
performances d’un système de transmission
numérique
⇒ Mode de représentation de l’information => quantité
d’information associée à chaque signe émis
⇒ Cadence théorique maximale de transmission de
l’information => capacité d’un système de
transmission

5
Cours n°1−2
UV_TI
Alexandrina
ROGOZAN
Introduction
Théorie de l’information => Résultats
⇒ Codage de source (ou compression des données)
Augmenter la compacité des signaux (sans ou avec
distorsion)
Éliminer la redondance inutile
⇒ Codage de canal
Accroître (autant que l’on veut) la sécurité de
la transmission en présence de bruit
Ajouter de la redondance pour la détection,
voire la correction, de principales erreurs
6
Cours n°1−2
UV_TI
Alexandrina
ROGOZAN
Introduction
Théorie de l’information
⇒
Objectif de recherche :
⇒ Optimiser conjointement le codeur de source et de canal

7
Cours n°1−2
UV_TI
Alexandrina
ROGOZAN
Introduction
Théorie de l’information => Extension
⇒ Cryptographie
Assurer le secret de la communication
Encryptage à clé publique
Signature digitale
Générateurs d’encryptage pseudo−
aléatoires
8
Cours n°1−2
UV_TI
Alexandrina
ROGOZAN
Sources d’information
Définition : Systèmes capables de sélectionner et
d’émettre des séquences de signes (ou messages)
appartenant à un ensemble (ou alphabet) donné
⇒ Ex. de signes : lettres, chiffres, échantillons
⇒Ex. de sources : système à 2 niveaux logiques, texte

9
Cours n°1−2
UV_TI
Alexandrina
ROGOZAN
Sources d’information discrètes
Caractéristique : alphabet utilisé fini
Exemples : Sources d’information alphanumériques, de
symboles binaires, d’information numérique(e.g.
signaux quantifiés en amplitude, en fréquence ou en phase)
Classification :
⇒ Sources sans mémoire : signes générés
indépendamment les uns des autres => modèle de
Bernoulli
⇒ Sources avec mémoire : prise en compte de la
dépendance entre un signe émis et les signes précédents
=> modèle de Markov
10
Cours n°1−2
UV_TI
Alexandrina
ROGOZAN
Sources d’information discrètes
Classification :
⇒ Sources sans mémoire : quand les signes générés sont
indépendants => modèle de Bernoulli
⇒ Sources avec mémoire : prise en compte de la
dépendance entre un signe émis et les signes
précédents => modèle de Markov