COM105 Communications Numériques et Théorie de l`Information

COM105
Communications Numériques
et Théorie de l’Information
Jean-Claude Belfiore, Philippe Ciblat, Michèle Wigger
15 mai 2014

Table des matières
Introduction générale 1
1 Codage correcteur d’erreur 3
1.1 Introduction.............................................. 3
1.2 Modèledecanaux .......................................... 4
1.2.1 Lecanalbinairesymétrique................................. 4
1.2.2 Le canal binaire à effacement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2.3 Le canal gaussien à entrées binaires . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 Généralités sur les codes en bloc . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.4 Généralitéssurlesdécodeurs .................................... 6
1.4.1 Le maximum de vraisemblance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.4.2 Correctiond’erreur...................................... 7
1.4.3 Détectiond’erreur ...................................... 8
1.5 Codeslinéairesenbloc........................................ 8
1.5.1 Rappelsurlescorpsfinis .................................. 9
1.5.2 Structure algébrique des codes linéaires . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.5.3 Paramètres des codes linéaires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.5.4 Description du codeur : notion de matrices génératrices . . . . . . . . . . . . . . . . . 11
1.6 Décodeurdescodeslinéaires..................................... 13
1.6.1 Notion d’orthogonalité et de code dual . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.6.2 Matrice de contrôle de parité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.6.3 Notiondesyndrome ..................................... 15
1.6.4 BornedeSingleton...................................... 15
1.6.5 Décodage par syndrome : exemple avec le code de Hamming (7,4,3) .......... 16
1.7 Performances ............................................. 17
1.8 Bilan.................................................. 18
2 Théorie de l’information 19
2.1 Introduction.............................................. 19
2.2 Entropie et Information mutuelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2.1 Entropie............................................ 20
2.2.2 Entropieconjointe ...................................... 22
2.2.3 Entropieconditionnelle ................................... 24
2.2.4 Informationmutuelle..................................... 25
2.3 Modèle des canaux discrets sans mémoire (DMC) . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.4 Définition et théorème de la capacité pour le DMC . . . . . . . . . . . . . . . . . . . . . . . . 27
2.5 Expressions analytiques de la capacité de quelques canaux . . . . . . . . . . . . . . . . . . . . 29
2.5.1 Cas du canal binaire symétrique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.5.2 Cas du canal binaire à effacement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.5.3 Casducanalgaussien .................................... 31
2.6 Bilan.................................................. 33
i

3 Modulations numériques 35
3.1 Introduction.............................................. 35
3.2 Canaldepropagation ........................................ 36
3.3 Descriptiondel’émetteur ...................................... 39
3.3.1 Un exemple-jouet (mais réel !) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.3.2 Des bits aux symboles d’information . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.3.3 Du signal à temps discret au signal à temps continu . . . . . . . . . . . . . . . . . . . 42
3.4 Descriptionderécepteur....................................... 45
3.4.1 Du signal à temps continu au signal à temps discret : le filtre adapté . . . . . . . . . . 45
3.4.2 De l’interférence entre symboles : le filtre de Nyquist . . . . . . . . . . . . . . . . . . . 48
3.4.3 Détecteuroptimal ...................................... 51
3.5 Performances ............................................. 55
3.5.1 Probabilité d’erreur bit pour la M-PAM.......................... 55
3.5.2 Lien avec le codage correcteur d’erreur du chapitre 1 . . . . . . . . . . . . . . . . . . . 58
3.5.3 Lien avec la théorie de l’information du chapitre 2 . . . . . . . . . . . . . . . . . . . . 60
3.5.4 Lien entre les paramètres de dimensionnement d’un système . . . . . . . . . . . . . . . 62
3.6 Bilan.................................................. 64
A Quelques preuves relatives au chapitre 3 65
A.1 Preuvedurésultat3.2 ........................................ 65
A.2 Preuvedurésultat3.3 ........................................ 65
A.3 Preuvedurésultat3.12 ....................................... 66

Notations
Outils mathématiques :
– Nombre imaginaire pur : i=√−1
– Transformée de Fourier : X(f) = FT(x(t)) = R∞
t=−∞ x(t)e−2πif tdt
– Transformée de Fourier Inverse : x(t) = IFT(X(f)) = R∞
f=−∞ X(f)e2πif tdf
– Alphabet d’une variable aléatoire X:X
– Loi de probabilité d’une variable aléatoire discrète X(prob. mass func. -pmf-) : x7→ PX(x)
– Loi de probabilité conjointe d’une paire de variables aléatoires discrètes (X, Y ):(x, y)7→ PXY (x, y)
– Loi de probabilité conditionnelle d’une variable aléatoire discrète Xpar rapport Ãă une deuxième
variable Y=y:x7→ PX|Y(x|y)
– Densité de probabilité d’une variable aléatoire continue X(prob. density func. -pdf-) : x7→ pX(x)
– Densité de probabilité conditionelle d’une variable aléatoire continue Xpar rapport Ãă une deuxième
variable Y:x7→ pX|Y(x|y)
– Probabilité de l’événement ω:Pr(ω)
Signaux et suites :
– Autocorrélation d’un signal aléatoire x(t):rxx(t, τ) = E[x(t+τ)x(t)]
– Densité spectrale de puissance d’un signal aléatoire x(t):f7→ Sxx(f)
– Variance d’une suite aléatoire {sk}k:σ2
s=E[(sk−ms)2]avec ms=Esk
– Puissance moyenne du signal x(t):Px
Codage et modulation :
– Bits de la source ou Données : {dm}m(typiquement i.i.d. Bernouilli de probabilité 1/2)
– Bits codés : {cm}m
– Longueur d’un mot de code : n(attention, nsera parfois une variable muette de sommation mais cela
ne devrait créer aucune ambiguïté)
– Nombre de bits d’information dans un mot de code : k(idem, ksera parfois une variable muette de
sommation mais cela ne devrait créer aucune ambiguïté)
– Rendement d’un code correcteur d’erreur : R=k/n
– Symboles émis : {sk}k
– Signal émis : x(t) = Pkskg(t−kTs)
– Filtre de mise en forme : g(t)
– Durée d’un symbole : Ts
– Temps-bit : Tb
– Débit (bit utile) : Db=R/Tb
– Signal reçu : y(t) = x(t) + b(t)
– Bruit blanc gaussien de moyenne nulle et de niveau spectral N0/2:b(t)
– Filtre de réception : gr(t)
– Signal après filtrage de réception : z(t) = (y  gr)(t)
– Signal après échantillonnage : zk= (ygr)(kTs)(quand ggrsatisfait le critère de Nyquist, zk=sk+wk
avec wkune gaussienne i.i.d. de moyenne nulle et de variance N0/2)
Théorie de l’information
– Entropie d’une variable aléatoire X:H(X)
– Entropie conditionelle d’une variable aléatoire Xsachant Y:H(X|Y)
– Entropie jointe d’une paire de variable aléatoires (X, Y ):H(X, Y )
– Fonction d’entropie binaire : Hb(·)
– Information mutuelle de Xet Y:I(X;Y)