Aucun titre de diapositive

L’information c’est physique
ou comment exorciser les Démons
David Poulin
Département de physique et DIRO
Université de Montréal
1. Introduction
Physique
Manipulation
Information
•États quantiques
•Craie
•Feynman: problème quantique, info quantique
•Ordinateur analogique
Physique
Prédictions
Information
•Méthode d’entropie maximale
•Thermodynamique = minimiser I avec
contraintes macroscopiques
Physique
Information
Information -i
i. Information ??? intuition.
Yeux bleus
Yeux verts
Prob.
Gauchers Droitiers
PGB
PDB
PGV
PDV
1/3
2/3
Prob.
1/3
2/3
1
But: Déterminer les 4 variables Pab.
À notre disposition: 4 équations linéaires
dont 3 indépendantes.
Solution: Choisir celle qui introduit le moins
d’information. min I ( Pab ) | contraintes
Pab
 Multiplicateurs de Lagrange.
Il nous reste à trouver I !!!
Information -2
2. Information
Information contenue en moyenne dans un
message An  {Ai}i=1..N ?
N
Pr(An) = pn,
 pi  1
i 1
Cas extrêmes
1) pn=1 , pi=0 , i j
 Information=0
1
2) pi=
, i=1..N
N
 Information maximale
Cas général (Entropie de Shannon, 1949)
N
I { pi }i 1.. N   k  pi ln pi
i 1
k > 0 (k =1 et ln = log2  bits)
Information -3
Information = # minimal de bits par message
Exemple trivial:
Message Probabilité Représentation
(fréquance)
00
A
1/4
01
B
1/4
10
C
1/4
11
D
1/4
# de bits
2
2
2
2
1
1
I  4   ln  ln 4  2
4
4
l 2
Exemple moins trivial:
Message Probabilité Représentation
0
A
1/2
10
B
1/4
110
C
1/8
111
D
1/8
1 1 1 1 1 1 1 1 7
I   ln  ln  ln  ln 
2 2 4 4 8 8 8 8 4
# de bits
1
2
3
3
Information -4
On trouve bien <l> = 7/4.
On est contraint à trouver une représentation qui
ne présente aucune ambiguïté:
1 0 1 1 0 1 0 0 1 1 1 0 ...
B
C
B A
D A
De façon générale, I  l  I  1
Jaynes, 1954. Faire de la thermodynamique, c’est
trouver les probabilités pi, associées à chaque état
microscopique i, qui minimisent l’information I
tout en respectant les contraintes macroscopiques
tels le volume, la pression, ...
Les résultats obtenus sont identiques aux résultats
établis depuis longtemps ...
Thermodynamique -5
3. Thermodynamique
Les lois de la thermodynamique:
0. L’équilibre thermodynamique existe.
1. L’énergie est conservée.
2. L’entropie ne peut qu’augmenter.
3. L’entropie tend vers une constante quand T 0.
1. You cannot win, you can only get even.
2. You can only get even at absolute zero.
3. You cannot reach absolute zero!
L’impossibilité de construire une machine à
mouvement perpétuel est une conséquence des
3 lois.
Machines à vapeur (thermiques)
•Centrales nucléaires
•Moteurs à combustion
•Disque dur (but de l’exposé!)
Thermodynamique -6
Toutes les machines à vapeur ont le même principe
de fonctionnement:
Q1
T1
Chaud
W
Q2
T2
Froid
Par conservation de l’énergie: Q1 = Q2 + W
Note: Si W <0, c’est un réfrigérateur!
Définition opérationnelle de l’ENTROPIE:
Q
S 
T

S est connue à une constante
additive près.
Thermodynamique -7
De la deuxième loi, on obtient
S  0
Q1 Q2
 
0
T1 T2
Q2 T2


Q1 T1
(2e loi )
L’efficacité d’une machine thermique est
W Q1  Q2
Q2
T2
 
 1
 1
Q1
Q1
Q1
T1
“=“
 S = 0
 Réversible.
Une efficacité de 1 signifie que toute la chaleur Q1
tirée du réservoir chaud sert à faire un travail W.
  1 : T1   Impossible
T2  0
Impossible (3e loi)
Entropie -8
4. Entropie
Carnot 1830 & Clausius 1850
Q
S 
T
Boltzmann ~1870-80
 = # d’états accessibles

Gibbs ~1910
S  k B  pi ln pi
i 1
La formulation de Boltzmann est un cas particulier
de la forme générale de Gibbs:
pi 
1
1 1
 S  k B  ln  k B ln 

 
Entropie -9
C’est la même formule mathématique que
l’information de Shannon!!! Coïncidence?
Note1.
Pourquoi une constante additive?

S  k B ln 
’= n
S '  k B ln '
 k B ln n
 k B ln   k B ln n
La mécanique quantique nous indique comment
séparer correctement l’espace de phase: on compte
les états orthogonaux.
Entropie -10
Note 2. S (t1 )  S (t2 ) t1  t2
Pourtant, les équations de la physique sont
parfaitement symétriques dans le temps: t  -t
d 2x
F  ma  m 2
dt
d  dx  d 2 x
(t '  t )  F '  ma '  m

 2
d (t )  d (t )  dt
La deuxième loi de la thermodynamique est la
seule loi de la physique qui introduit une asymétrie
du temps.
Un réfrigérateur ne diffère d’une machine à vapeur
que par le sens de l’écoulement du temps.
Le Démon de Maxwell -11
5. Le Démon de Maxwell
T1
T2
Q1
Q2
Illustration Darling et Hulburt:
Q1+Q2=0
(1ere loi)
Q1  0  Q2  T1  T2
1 1
Q1 Q2
S  
 Q1     0 !
T1 T2
 T1 T2 
Le Démon enfrein la seconde loi, il peut donc
construire une machine à mouvement perpétuel !
Trouver la faille -12
6. Trouver la faille
Szilard 1929 Pour être efficace, la Démon doit
prendre une mesure sur le système.
Ansatz: La mesure augmente l’entropie du système
Démon-Boîte de kBln2 J/K.
Machine de Szilard:
Particule dans
une boîte.
S=kB ln
Met une cloison
et mesure.
S=kB ln( /2 ) +Sm
=kB (ln - ln2 + ln2)
Extrait du travail
du système.
W
État initial.
S = 0
C’est une machine de Carnot !!! Réversible.
Irréversibilité logique -13
Brillouin 1950 L’entropie augmente lors de
l’acquisition (mesure) d’information.
S = I. Trouve des exemples pour justifier.
7. Irréversibilité logique
Landauer Les opérations logiquement irréversibles
ont un coût thermodynamique.
01=0
-1(0)=(?,?)
L’information, peu importe sa forme et son
contenu, doit être supportée (représentée) par un
système physique.
•Disque dur: moments magnétiques.
•Mémoire humaine: neurones.
•Signaux lumineux: amplitude, fréquence, ...
•etc.
Irréversibilité logique -14
Exemple d’opération logiquement irréversible:
remise à 0 ou “reset”.
Support physique: particule dans une boîte.
0=
1=
1. Si la boîte ne contient pas d’information, c’est
parce que nous savons, avec probabilité 1, où se
trouve la particule. i.e. Notre cerveau possède une
copie du contenu. L’effacer n’est donc pas
irréversible.
0
 Laisse tel quel.
1

Aucun coût thermodynamique.
Irréversibilité logique -15
2. Si la boîte contient de l’information (on ignore
son contenu), on doit utiliser un piston afin de
contraindre la particule à se situer dans la partie
de gauche.
S  k B ln 
?
?
W
Je fournis un travail
 k BT ln 2

S  k B ln  k B ln   k B ln 2
2
Une opération logiquement irréversible coûte
au moins kBT ln2 J d’énergie.
Cet exemple est généralisable à tout système
physique, le volume devient l’espace de phase.
Irréversibilité logique -16
Bennett 1982, Pour en revenir au Démon ...
Mémoire
Gain
Système
0
?
0
0
W
kBT ln2
?
0
?
W
-kBT ln2
?
Complexité algorithmique -17
8. Complexité algorithmique
Kolmogorov, Solomonoff, Chaitin.
Définition
Soit x  0,1n ,
alors K ( x)  min  p : U ( p)  x.
p
•U est une machine de Turing universelle.
•p est une chaîne de 0 et de 1 servant de programme.
•|p| est la longueur de p.
•U(p) est le résultat de l’exécution de p sur U.
La complexité d’une chaîne x est la longueur du
plus petit programme qui donne x lorsqu’exécuté
sur une machine de Turing universelle.
 K est donc défini à une constante additive près.
Définition x est aléatoire  K(x) = |x|.
Complexité algorithmique -18
Exemple x = 00000...0 (1,267  1030 fois)
p:
BEGIN PROGRAM
DO I=1,1.126E30
WRITE 0
END DO
END PROGRAM
|p|100 = longueur binaire de 1,267  1030 =2100.
100 << 1,267  1030 , non aléatoire.
Exemple x = 001101010011101011110...
p:
BEGIN PROGRAM
WRITE 00110101001110...
END PROGRAM
|p||x| , x est aléatoire.
Complexité algorithmique -19
Exemple x = 1100100100001111110110...
Est-ce-que x est aléatoire?
NON, x = , un simple programme peut le générer.
K est bien défini, mais incalculable la plupart
du temps.
Connaître p = connaître x
I(p) = I(x)
Possibilité de compresser réversiblement x.
Le Démon peut encore enfreindre la seconde loi si:
• il possède une mémoire pouvant storer N >1 bits.
• il répète N fois
Mesure la particule
Extrait du travail
• compresse sa mémoire
• efface la mémoire compressée
Gain = k B ln 2N  K ( x)  0
Complexité algorithmique -20
Zurek 1984 L’entropie physique est la somme de
l’entropie de Gibbs (thermodynamique) et de la
complexité algorithmique du système.
H SK
Il existe beaucoup plus de chaînes aléatoires que de
chaînes algorithmiquement simples dans la nature.
Grossièrement, l’information de Shannon est
l’équivalent de la complexité pour un système
statistique. Puisque l’information de Shannon est
une fonction de la distribution de probabilité, elle
ne peut pas être calculée pour une seul objet, on
utilise donc la complexité
Pour un ensemble statistique:
I K
L’information c’est physique -21
9. L’information c’est physique
Shumacher
Démon lecteur
01101010
Démon effaceur
Information

01101010

T1
T2
Eextraie
Erequise
Esurplux
Esurplux  Eextraie  Erequise  Nk B (T1  T2 ) ln 2  0

Esurplux
Eextraie
T1
 1
T2
Machine de Carnot
L’énergie est envoyé par un fil électrique et
l’entropie par un fil téléphonique...