iv
Distribution de Boltzmann 126
Analogie du modèle de la distribution de Boltzmann avec le comportement
des nomades 128
Calcul de l'entropie statistique du système canonique 129
Expression de l'entropie à partir de la fonction de partition 131
Entropie statistique d'un gaz parfait monoatomique 132
Additivité de l'entropie statistique - Indiscernabilité des particules 135
TROISIÈME PRINCIPE DE LA THERMODYNAMIQUE 137
Modèle de l'oscillateur harmonique 138
Analogie avec les nomades 140
EXERCICES 141
Systèmes microcanoniques 141
Systèmes canoniques 141
THÉORIE DE L'INFORMATION 143
INTRODUCTION 143
Diagramme de communication 144
MESURE DE L'INFORMATION QUAND LES SYMBOLES SONT
ÉQUIPROBABLES 146
Potentiel et entropie d'information 146
Exemple d'information potentielle 149
Entropie d'information et entropie thermodynamique 151
Capacité temporelle d'un canal 153
LES SYMBOLES NE SONT PAS ÉQUIPROBABLES 155
Potentiel et entropie d'information 155
Dé
fi
nition générale d'une entropie 156
Exemple d'information potentielle 157
PROPRIÉTÉS DE L'ENTROPIE 161
Optimisation du potentiel informatif 163
Information potentielle d'un langage 168
TRANSMISSION DE L'INFORMATION 169
Information de deux sources indépendantes 170
Information de deux sources dépendantes 171
PROPRIÉTÉS DES ENTROPIES RELATIVES ET CONDITIONNELLES 176
Exemple de la propriété d'additivité de l'entropie 179
Exemple de transmission avec bruit sans perte d'information 180
Théorème d'unicité 182
Dé
fi
nition du canal discret et constant 183
Capacité d'un canal avec bruit 184
Exemple de calcul de la capacité d'un canal bruité 185
TRANSMISSION PAR UN CANAL SANS BRUIT – CODAGE DE SOURCE 187
Premier exemple 187
Ef
fi
cacité d'un codeur 191
Codage uniforme 192
Codages non uniformes 193
Condition d'existence d'un codage instantané 194
Code complet 196
Démonstration de l'existence d'une borne inférieure de
197
Théorème fondamental de Shannon pour un canal sans bruit 199
Conséquence du théorème de Shannon pour un canal sans bruit 201