A propos d`information, complexité et hasard

Th´eorie et th´eories de l’Information
Qq ´el´ements de :
Information, complexit´e et hasard Jean-Paul Delahaye
revus par Pierre Bernhard et
disponibles aussi sur )i(nterstices
Oct08

Vous avez dit information ?
Dans la suite :
00000 00000 00000 00000 00000 00000 00000 00000
il y a sˆurement moins d’information que dans la suite :
26535 89793 23846 26433 83279 50288 41971 69399
qui est plus complexe mais . .
pourquoi ?
Serait-ce que la 2`eme suite
est (complexit´e al´eatoire) :
sans ordre, sans r´egularit´e, al´eatoire, chaotique ?
ou (complexit´e organis´ee)
organis´e, fortement structur´e, riche en information ?

Vous avez dit information ?
Il se trouve que :
26535 89793 23846 26433 83279 50288 41971 69399
est la suite des d´ecimales de π`a partir de la sixi`eme (apr`es 14159).
Distinguons donc bien :
- Un contenu brut en information qui ne d´epend pas du sens.
- La valeur d’une information d´epend du but fix´e.
avec deux grandes th´eories (selon le but) :
-Th´eorie probabiliste de l’information (Shannon / thermodynamique)
-Th´eorie algorithmique de l’information (Kolmogorov / Bennett)
en lien avec :
l’informatique th´eorique, les neurosciences computationnelles etc..

Vous avez dit information ?

Contenu brut en information
-1- Le contenu brut en information d’un bool´een
(1/0 vrai/faux oui/non yin/yang)1.
C’est l’“atome” d’information : le “bit”.
-2- Le contenu en information d’une valeur v∈ {1,N}
(digits (N = 10), lettre de l’alphabet (N = 26), ..) est log2(N).
C’est le nombre de bits pour “coder” la valeur, en coh´erence avec -1-
-3- Le contenu brut en information de n´el´ements “ind´ependants”
est la somme des contenus bruts.
mais inf´erieure si il y a de la redondance (compression)
mais sans valeur si il n’y a aucun lien entre les ´el´ements !
- C’est le nombre minimal de questions oui/non `a poser
pour trouver la valeur donn´ee !