UV_TI UV Théorie de l’Information Cours n° 1−2 : − Introduction à la théorie de l’information − Caractérisation des sources d’information − Notions de probabilité (Rappel) − Entropie et Information : − Entropie des sources discrètes sans mémoire − composées − avec mémoire − q−ième extension d’une source −Entropie limite, efficacité et redondance Cours n°1−2 1 Alexandrina ROGOZAN UV_TI Introduction Théorie de l’information <=> Processus de transmission numérique Signal Signal Message Message émis reçu reçu émis Source Émetteur Canal Destinataire Récepteur d’information Bruit et distorsions Sources de perturbations Cours n°1−2 2 Alexandrina ROGOZAN UV_TI Introduction Théorie de l’information ≡ Théorie stochastique, fondée sur les propriétés statistiques, de messages ⇒ Notions fondamentales de probabilité, entropie, information mutuelle Cours n°1−2 3 Alexandrina ROGOZAN UV_TI Introduction Théorie de l’information => Limites de performances d’un système de transmission numérique ⇒ Mode de représentation de l’information => quantité d’information associée à chaque signe émis ⇒ Cadence théorique maximale de transmission de l’information => capacité d’un système de transmission Cours n°1−2 4 Alexandrina ROGOZAN UV_TI Introduction Théorie de l’information => Résultats ⇒ Codage de source (ou compression des données) Augmenter la compacité des signaux (sans ou avec distorsion) Éliminer la redondance inutile ⇒ Codage de canal Accroître (autant que l’on veut) la sécurité de la transmission en présence de bruit Ajouter de la redondance pour la détection, voire la correction, de principales erreurs Cours n°1−2 5 Alexandrina ROGOZAN UV_TI Introduction Théorie de l’information ! $# "% ! & &"" ' (")*+",- .*+. ),- (+ ("/0/1 2 ⇒" Objectif de recherche : ⇒ Optimiser conjointement le codeur de source et de canal Cours n°1−2 6 Alexandrina ROGOZAN UV_TI Introduction Théorie de l’information => Extension ⇒ Cryptographie Assurer le secret de la communication Cours n°1−2 Encryptage à clé publique Signature digitale Générateurs d’encryptage pseudo− aléatoires 7 Alexandrina ROGOZAN UV_TI Sources d’information Définition : Systèmes capables de sélectionner et d’émettre des séquences de signes (ou messages) appartenant à un ensemble (ou alphabet) donné ⇒ Ex. de signes : lettres, chiffres, échantillons ⇒Ex. de sources : système à 2 niveaux logiques, texte Cours n°1−2 8 Alexandrina ROGOZAN UV_TI Sources d’information discrètes Caractéristique : alphabet utilisé fini Exemples : Sources d’information alphanumériques, de symboles binaires, d’information numérique(e.g. signaux quantifiés en amplitude, en fréquence ou en phase) Classification : ⇒ Sources sans mémoire : signes générés indépendamment les uns des autres => modèle de Bernoulli ⇒ Sources avec mémoire : prise en compte de la dépendance entre un signe émis et les signes précédents => modèle de Markov Cours n°1−2 9 Alexandrina ROGOZAN UV_TI Sources d’information discrètes Classification : ⇒ Sources sans mémoire : quand les signes générés sont indépendants => modèle de Bernoulli ⇒ Sources avec mémoire : prise en compte de la dépendance entre un signe émis et les signes précédents => modèle de Markov Cours n°1−2 10 Alexandrina ROGOZAN UV_TI Sources d’information discrètes Classification des sources de Markov : ⇒ Source du 1 er ordre = la mémoire se limite au dernier signe émis – Ex : modélisation du processus de réalisation d’un phonème ⇒ Source d’ordre m = la mémoire tient compte des m signes émis – Ex : description statistique des langues écrites usuelles Cours n°1−2 Alexandrina ROGOZAN 11 UV_TI Sources d’information continues Caractéristique : nombre théorique de signes croît à l’infini ⇒ Remarque : Limite pratique fixée par la précision limitée des observations Exemples : Sources de signaux analogiques : Parole, Musique, Images, Mesures Cours n°1−2 12 Alexandrina ROGOZAN UV_TI Modélisation de sources d’information Mécanisme statistique d’émission des signes ⇒ Source discrète : une loi de probabilité donnée associée à une variable aléatoire discrète ⇒ Source continue : une loi de densité de probabilité associée à une variable aléatoire continue Exemples : ⇒TEXTE = succession des réalisations de la variable aléatoire : "caractère sortant du clavier" ⇒ IMAGE_NB = succession de "niveaux de gris" mesurés sur une image Cours n°1−2 Alexandrina ROGOZAN 13 UV_TI Notions de probabilité (Rappel) Source discrète ≈ variable aléatoire discrète choisissant un signe dans un alphabet de taille finie : ⇒ S3 les probabilité P S 4 si s1 , s2 ,... , s K avec K satisfont la condition : Notations : 5 6 i 1 4 pi qui pi 7 1 ⇒ S 7 si − Événement aléatoire Ai ⇒P S 7 si 7 P Ai − Proba. de l’événement aléatoire Ai Propriétés : 08 P A 8 1 ⇒ P A 9 1 qd. A est certain Cours ⇒ n°1−2 P A 9 0 qd. A est impossible 14 Alexandrina ROGOZAN UV_TI Notions de probabilité (Rappel) Propriétés : < ⇒ Événements s’excluant mutuellement : A et A => = P A 1> P A ? ⇒ Quand l’événement A entraîne B : A⊂B => P A @ P B ⇒Somme des événements : : Événements A et B incompatibles : P A A B k événements 2 à 2 incompatibles : P A 1 B A 2 B ... B A k C P A 1 ; Cours n°1−2 B = B P A2 A P A P B ... B P A k Cas particulier pour K événements s’excluant mutuellement : P A 1 B P A 2 B ... B P A K 15 C 1 Alexandrina ROGOZAN UV_TI Notions de probabilité (Rappel) Propriétés : ⇒Somme des événements : P AD B : 8 P AD P B Événements A et B compatibles : P AD B 9 P A D E P B P AB ⇒ Produit des événements A et B : : Événements A et B indépendants : P AB P A P B Événements A et B dépendants : P AB Cours n°1−2 9 8 P A et P AB 16 8 P B Alexandrina ROGOZAN UV_TI Notions de probabilité (Rappel) Probabilité conditionnelle de B sachant A F P B G A ⇒ Propriétés : P B G A >H P B Événements A et B indépendants : P B G A 9 P B P AB 9 P A P B G A 9 P B P AG B 08 P B G A 8 1 P B G A 9 1 quand A⊂B P B G A 9 0 quand A et B incompatibles B⊂B1 => P BI A Cours n°1−2 J P B1I A Alexandrina ROGOZAN 17 UV_TI Notions de probabilité Propriétés de la probabilité conditionnelle : ⇒ P BD C G A < 9 P B G A D P C G A qd. B et C incompatibles Généralisation pour k événements Bk 2 à 2 incompatibles ⇒ P BG A 9 1E P B G A ⇒ Probabilité totale d’un événement B − l’expérience A a exactement K issues Ak P B 2 à 2 incompatibles K P A1 P B I A1 L P A2 P BI A2 L ... L P A K P B I A K Cours n°1−2 18 Alexandrina ROGOZAN UV_TI Quantité d’information propre Signal = Information + Redondance Objectif : Coder seulement l’information et éliminer la redondance ⇒ Besoin d’évaluation objective de la quantité d’information propre Cours n°1−2 Alexandrina ROGOZAN 19 UV_TI Entropie et Information Information => effet de surprise ; Entropie => degré d’incertitude ⇒ Source S pouvant émettre N signes si équiprobables degré d’incertitude ≈ f N 7 log N 7SR log P S 7 si sh (selon Hartley) ⇒ Source S pouvant émettre N signes si non−équiprobables H S M$N O N P i 1 Cours n°1−2 P S M si log P S M s i sh Q signe (selon Shannon) 20 Alexandrina ROGOZAN UV_TI Entropie des sources discrètes sans mémoire H0 S 9$E O N P P S 9 si log P S 9 s i sh T signe i 1 ⇒ Quantité d’information associée en moyenne à chaque signe si d’une source S pouvant émettre N signes statistiquement indépendants les uns des autres ⇒ Quantité moyenne d’information nécessaire pour spécifier quel signe a été émis par la source : ∀ séquence de signes émise par une source discrète d’entropie H => séquence de bits avec en moyenne H bits/signe (1er th. de Shannon) Cours n°1−2 Alexandrina ROGOZAN 21 UV_TI Entropie des sources discrètes sans mémoire Unité de mesure de la quantité d’information => dépend de la base du log utilisé : : hartley ou dit pour une base 10 : nit pour une base e : shannon (sh) pour une base 2 U Remarque : Ne pas confondre le shannon avec le bit !!! : Un bit − variable binaire − transporte un shannon : Cours n°1−2• d’information ssi ses 2 états sont équiprobables. Nombre symboles binaires bits 22 VXW alors que Entropie sh YZ Alexandrina ROGOZAN UV_TI Entropie des sources discrètes sans mémoire Propriétés de l’entropie ⇒ Continuité car l’entropie H(S) est une fonction continue et convexe de pi . Montrer ceci pour N=2. ⇒ Symétrie par ex. H S \ \ 0 ,1 source binaire. H S\ 1,0 pour une ⇒ Propriétés extrémales : : : ] MAX H S ^ log N MIN H S 0 [ quand pi=1/N quand pi=1 et les autres sont nulles Monter que H S _ 0 p i logp i ` 0 quand pi ] 0 Cours n°1−2 Alexandrina ROGOZAN 23 UV_TI Entropie des sources composées a Soit S une source pouvant être décomposée en une source X (à K signes) et une source Y (à J signes) qui émettent simultanément ⇒ Entropie de la source composée S (notée XY) : : M : H XY H XY c b H X H X b H Y quand X et Y sont indépendantes H Y quand X et Y sont liées H XY d H X e H Y f X Cours n°1−2 24 Alexandrina ROGOZAN UV_TI Entropie conditionnelle moyenne de sources discrètes sans mémoire H Y G X : entropie conditionnelle moyenne de la source Y liée à la source X H YG X 9 O N p xi H Y G x i P i 1 Propriétés : ⇒ 0h H Y i X ⇒H X j ⇒ H Yl X Cours n°1−2 h H Y H YkX m ⇒ H Y g xi : entropie conditionnelle de la source Y quand la source X produit le signe xi ] H Y j H X k Y , car H XY ] H YX H Xl Y Alexandrina ROGOZAN 25 UV_TI Entropie et Information Information sur une source => diminution du degré d’incertitude ; Quantité d’information = DDE (Diminution D’Entropie) Cas particulier : Source complètement prévisible; I X n H X o 0 Quantité d’information acquise lorsque l’état d’un système physique devient entièrement connu = Entropie du système Cas général : Soit X la source à étudier et soit Y une source pouvant être observée afin fournir de renseignements sur X ⇒ I Y p X n H X o H Xl Y ⇒ I Y p X n I X p Y n I X; Y , information mutuelle moyenne contenue dans les sources X et Y Cours n°1−2 26 Alexandrina ROGOZAN UV_TI Entropie et Information Information mutuelle moyenne ⇒ Définition : I X;Y n H X q H Y o H XY H(X) ⇒Diagramme de Venn : H(Y) I(X;Y) H(XY) ⇒ Propriétés : − sources X et Y indépendantes : I X;Y − sources X et Y équivalentes : I X;Y Cours n°1−2 n I X 27 n I Y n H X n n 0 H Y Alexandrina ROGOZAN UV_TI Entropie et Information Débit d’information moyen (ou taux d’emission de la source) r H X sh t s T où T représente la durée moyenne d’émission d’un signe ⇒ Définition H X s ⇒ Remarque • Débit d’information moyen, exprimé en sh u s ≡ Cadence d’émission, exprimée en bits u s seulement pour une source de symboles binaires équiprobables ou exprimée en bauds qd. celle−ci coïncide à la vitesse de modulation de la voie. Cours n°1−2 28 Alexandrina ROGOZAN UV_TI Entropie et Information Conclusion : ⇒ L’entropie dépend des probabilités pi des signes si émis par la source S, mais ne dépend nullement de la nature de ces signes : : Entropie = mesure quantitative de l’information contenue dans un message Entropie ≠ mesure qualitative de l’information ou du contenu réel du message Cours n°1−2 Alexandrina ROGOZAN 29 UV_TI Sources discrètes avec mémoire Soit X une source de Markov homogène d’ordre m , dont l’alphabet comporte N signes : ⇒ Comportement stationnaire, ⇒ Émission d’un signe en fonction des m signes précédents. : Sachant qu’une séquence seq donnée de m signes ∈ SEQ (ensemble comportant Nm séquences distinctes), alors l’entropie de la source X, conditionnelle à une séquence seq donnée , vaut : H X I seq Kwv x N y P x iI seq log P x iI seq i 1 Cours n°1−2 30 Alexandrina ROGOZAN UV_TI Sources discrètes avec mémoire L’entropie d’une source de Markov homogène d’ordre m , dont l’alphabet comporte N signes, vaut : Hm X 3 H X z SEQ 3{x Nm y P seq H X z seq seq 1 ⇒ Particularisation de la formule de l’entropie d’une expérience composée XY : H XY s H YX s H X | H Y } X au calcul de l’entropie conjointe H SEQ, X s H SEQ | H X } SEQ H m X ~ H SEQ, X H SEQ sh signe Cours n°1−2 Alexandrina ROGOZAN 31 UV_TI Entropie de la q−ième extension d’une source S S q : Source générant des groupes de q signes, c’est à dire des vecteurs : x1 , x 2 , ...,xq Entropie de la q−ième extension 9 H Sq H S . . . H Sq Cours n°1−2 9 q H X 1 , X 2 , ..., X q 9 q S H X 1 , X 2 , ..., X q H X1 D 1 H X 2G X 1 D D 32 H X q G X 1 , X 2 , ..., X q ...D H X q G X 1 ...X q 1 1 Alexandrina ROGOZAN UV_TI Entropie de la q−ième extension d’une source S Extension d’une source sans mémoire : Vecteur émis H S q 3x x1 , x2 , ...,xq q H0 Xi y = Suite I.I.D. de signes 3 qH 0 X sh séq. de q signes i 1 : Vecteur émis H S ~ q q x1 , x2 , ...,xq = Suite I.N.D. de signes H 0 X i sh séq. de q signes i 1 Cours n°1−2 Alexandrina ROGOZAN 33 UV_TI Entropie de la q−ième extension d’une source S Extension d’une source avec mémoire − de Markov d’ordre m sur un alphabet de N signes − ⇒ S q : Source de Markov d’ordre 7 m q générant N q séquences (ou mots) distincts de q signes H S q qH m X sh mot de q signes Cours n°1−2 34 Alexandrina ROGOZAN UV_TI Entropie limite d’un processus stochastique Source S émettant q signes liés : 08 H X q G X 1 ...X q 1 8 H X q 1 G X 1 ...X q 2 8 ...8 H X 1 Variation de l’entropie de la séquence émise, x1 , x 2 , ...,xq avec sa longueur q ; Valeur de l’Entropie Limite si la limite existe : ⇒1ère déf. : H 1 1 H X 1 , X 2 , ..., X q C lim H C qlim q q q ⇒2ème déf. : H’ C lim H X q i X 1 ... X q 1 sh signe q Cours n°1−2 S q sh signe Alexandrina ROGOZAN 35 UV_TI Entropie limite d’un processus stochastique Exemples et Propriétés : ⇒Séquence I.I.D. de q signes : H : ^ H X1 Séquences de q lettres (∈ alphabet de N lettres équiprobables) − cas de la dactylographe − : H ^ log N ⇒Séquence I.N.D. de q signes : H peut ne pas exister ⇒Processus stochastique stationnaire : H : Source de Markov homogène d’ordre m=q−1 : H !^ lim H X q X 1 ... X q q Cours n°1−2 H’ existe tjr. ^ 36 1 ^ lim H X q X q q 1 ^ H X 2 X1 Alexandrina ROGOZAN UV_TI Efficacité et redondance d’une source Efficacité informationnelle de la source S 9 S H S H MAX S 8 1 ⇒Si S 1 alors plus de signes que le minimum nécessaire utilisés pour émettre un message donné ( => il y a des signes redondants ) Redondance relative de la source S r S K 1 vX Cours n°1−2 SK H MAX S v H S H MAX S J 1 ⇒Mesure de l’adéquation de son alphabet aux messages délivrés 37 ⇒ Alexandrina ROGOZAN UV_TI Pourquoi le codage de source ? − pour améliorer l’efficacité informationnelle d’une source S, notée s , en introduisant un codage préalable des signes. − pour réduire la redondance des messages émis par cette source S, notée r s . – Cours n°1−2 38 Alexandrina ROGOZAN