
  iv
Distribution de Boltzmann  126 
Analogie du modèle de la distribution de Boltzmann avec le comportement 
des nomades  128 
Calcul de l'entropie statistique du système canonique  129 
Expression de l'entropie à partir de la fonction de partition  131 
Entropie statistique d'un gaz parfait monoatomique  132 
Additivité de l'entropie statistique - Indiscernabilité des particules  135 
TROISIÈME PRINCIPE DE LA THERMODYNAMIQUE  137 
Modèle de l'oscillateur harmonique  138 
Analogie avec les nomades  140 
EXERCICES  141 
Systèmes microcanoniques  141 
Systèmes canoniques  141 
THÉORIE DE L'INFORMATION  143 
INTRODUCTION  143 
Diagramme de communication  144 
MESURE DE L'INFORMATION QUAND LES SYMBOLES SONT 
ÉQUIPROBABLES  146 
Potentiel et entropie d'information  146 
Exemple d'information potentielle  149 
Entropie d'information et entropie thermodynamique  151 
Capacité temporelle d'un canal  153 
LES SYMBOLES NE SONT PAS ÉQUIPROBABLES  155 
Potentiel et entropie d'information  155 
Dé
fi
nition générale d'une entropie  156 
Exemple d'information potentielle  157 
PROPRIÉTÉS DE L'ENTROPIE  161 
Optimisation du potentiel informatif  163 
Information potentielle d'un langage  168 
TRANSMISSION DE L'INFORMATION  169 
Information de deux sources indépendantes  170 
Information de deux sources dépendantes  171 
PROPRIÉTÉS DES ENTROPIES RELATIVES ET CONDITIONNELLES  176 
Exemple de la propriété d'additivité de l'entropie  179 
Exemple de transmission avec bruit sans perte d'information  180 
Théorème d'unicité  182 
Dé
fi
nition du canal discret et constant  183 
Capacité d'un canal avec bruit  184 
Exemple de calcul de la capacité d'un canal bruité  185 
TRANSMISSION PAR UN CANAL SANS BRUIT – CODAGE DE SOURCE  187 
Premier exemple  187 
Ef
fi
cacité d'un codeur  191 
Codage uniforme  192 
Codages non uniformes  193 
Condition d'existence d'un codage instantané  194 
Code complet  196 
Démonstration de l'existence d'une borne inférieure de 
  197 
Théorème fondamental de Shannon pour un canal sans bruit  199
 
Conséquence du théorème de Shannon pour un canal sans bruit  201