(2) r = El7

PROCESSUS À LA FOIS STATIONNAIRES E T MARKOVIENS
POUR LES SYSTÈMES AYANT UNE I N F I N I T É
DÉNOMBRABLE D'ÉTATS POSSIBLES
PAUL L é V Y
1. Soit un système, ayant une infinité dénombrable d'états possibles Ah
(h = 1, 2, • • •). Soit H(t) la fonction égale à chaque instant t à l'indice de l'état
du système à cet instant. Si le processus dont dépend le système est markovien
et stationnaire, la méthode classique consiste à le définir par les fonctions PA,*(0>
qui indiquent la probabilité du passage en un temps t > 0 de l'état Ah à l'état Ak .
Nous nous proposons de montrer l'intérêt que peut présenter une autre
méthode, qui consiste à séparer dans la mesure du possible l'étude de la succession
des états et celle de la rapidité de son évolution.
2. Si le système est initialement dans un état Au, il est à peu près évident
que le temps T au bout duquel il le quitte est une variable aléatoire de la
forme X/\h , Aä étant un coefficient è 0, et X une variable aléatoire positive, de
fonction de répartition 1 — é~x.
Nous supposerons essentiellement X/. < °o. Disons seulement que, si XA est
infini pour tous les états d'un cycle final et qu'un de ces états arrive à être réalisé,
H(t) est à partir de ce moment une fonction dont les valeurs aux différents instants sont indépendantes les unes des autres.
Tous les X/t étant donc supposés finis, on peut définir chaque réalisation
possible de H(t) en se donnant la succession E des intervalles e dans chacun
desquels elle est constante, et en associant à chacun d'eux la valeur de H(t)
qui lui correspond. Cette succession est un ensemble ordonné, mais pas toujours
bien ordonné. Son complément Er sur l'axe des t (ou sur le demi-axe si on étudie
le processus à partir d'un instant initial U > — oo ) est un ensemble fermé,
dénombrable ou non, mais toujours de mesure presque sûrement nulle. Si en
effet il faut prévoir des discontinuités de H(t), qui sont des sauts ou des points
d'accumulation de sauts, pour tout / donné ou choisi au hasard, le système est
presque sûrement dans un des états considérés comme possibles, entre lesquels
par hypothèse on répartit la probabilité. C'est ce qui s'exprime dans la théorie
classique par la condition
(D
E PUD = i,
k
et ici par le fait que E' soit presque sûrement de mesure nulle.
3. Notre méthode consiste à étudier d'abord la succession des valeurs de
H(t), et ensuite la rapidité de l'évolution. Si, dans une succession donnée S,
chaque état Ah est réalisé rh fois, le temps nécessaire pour la parcourir est
00
(2)
rh
\r
r = El7,
1
1
549
Afc
550
PAUL LEVY
les Xh,v étant des variables aléatoires du type X, toutes indépendantes les unes
des autres (on remarque que la sommation par rapport à v donne une variable
aléatoire du type I I I de Pearson). Elle est presque sûrement finie ou infinie en
même temps que sa valeur probable
(3)
M = î_^{z} = £ ? .
i
I
AA
Ai
On remarque en particulier que, pour qu'une succession infinie puisse être
parcourue en un temps fini, il est nécessaire qu'aucun rn ne soit infini, et qu'aux rh
positifs correspondent des XA augmentant indéfiniment avec A.
4. Soit Ph,k la probabilité que le système, s'il est initialement dans l'état Ah ,
prenne par la suite au moins une fois l'état Ak ,
THéORèME.
Si Ph.k > 0, on a Ph,k(t) > 0 pour tout t > 0.
Comme évidemment Ph,k = 0 entraîne Ph,k(t) = 0, on voit que Ph.k(t) est, ou
bien toujours = 0, ou bien toujours > 0 (t variant de zéro à l'infini).
R é S U M E DE LA DéMONSTRATION. Si le système peut passer en un temps fini
de l'état initial à un autre état Ak , le temps T au bout duquel il y arrive pour
la première fois est donné par une formule de la forme
TT
(4)
°°
Ql
V
^ f + EE^,
1
AA
1
AJ
les Qi pouvant être aléatoires, puisqu'il peut y avoir différentes successions
d'états conduisant de Ah à Ak . Si Ph,k > 0, T est, dans des cas de probabilité
positive, inférieur à un nombre positif arbitrairement petit e. C'est d'ailleurs la
somme de deux termes positifs indépendants, le premier ayant une densité de
probabilité positive de 0 à oo ; il en est alors de même de la somme.
Soit alors t > 0 et U Ç (0, t). Il y a une probabilité positive que U < T < t,
et que le système, après l'instant T, reste dans l'état Ah un temps è t — U,
donc que H(t) = k, c.qi.d.
5. La succession des états. Les différents cas possibles. Il y a lieu de distinguer
plusieurs cas bien différents, suivant que H(t) a, ou non, d'autres points singuliers
que des sauts.
Le cas le plus simple est le cas fini, où H(t) n'a pas d'autres points singuliers
que des sauts, qui sont alors en nombre fini dans tout intervalle fini; c'est une
fonction-escalier. Les états successifs constituent une chaîne de Markoff, bien
définie par la donnée des probabilités de passages ph,k (Ph,k est la probabilité
que l'état qui suit Ah soit Ak). Ces probabilités sont non-négatives, et telles que
(5)
cth = S Ph,k = 1
(h = 1, 2, • • •).
k
La loi de l'évolution du système est bien définie par les coefficients ph,k et XA ,
PROCESSUS
STATIONNAIRES
ET MARKOVIENS
551
liés aux fonctions Ph,k(l) P a r l e s relations
(6)
XA « - P U O ) ,
h#h,k = PUÒ)
(* ^ A),
d'ailleurs valables dans tous les cas. Mais ce n'est que dans le cas fini que ces
coefficients suffisent à définir la loi de l'évolution.
La condition nécessaire et suffisante pour qu'on soit dans le cas fini est que
tous les an soient égaux à 1, et que la série
00
(7)
1
Ef
1 An
soit divergente [nous désignons par Hn (n = 1, 2, • • •) les valeurs successives
de H(t) à partir d'une valeur initiale donnée h0, et par An les valeurs correspondantes de XA]. On remarque que cette seconde condition est aléatoire; on peut
ne pas savoir à l'avance si on sera dans le cas fini (la même remarque s'applique
aux autres cas que nous distinguerons).
Si au contraire, la condition (5) restant réalisée, la série (7) est convergente,
les instants Tn des changements d'état tendent, presque sûrement, pour n infini,
vers une limite JTW . Il peut y avoir d'autres valeurs (aléatoires) de t, qui soient
des points d'accumulation de sauts, de sorte que pour ces valeurs H(t — 0)
n'existe pas. Si H(t + 0) existe en tout point, c'est-à-dire qu'après chacun de
ces instants H (t) ait une valeur entière déterminée et ne change pas pendant un
temps fini, les discontinuités forment un ensemble dénombrable et bien ordonné,
auquel on peut appliquer la numération transfinie. C'est le cas transfini.
Il faut remarquer pue, pour qu'il soit nécessaire d'introduire des nombres
transfinis élevés (tels que ww), il faut (puisque chaque état ne peut être réalisé
qu'un nombre fini de fois en un temps fini) qu'apparaissent indéfiniment et
transfiniment de nouveaux états, correspondant à de grandes valeurs de XA ,
de sorte que, au moins en moyenne, le film ^accélérera. Remarquons d'ailleurs
que le nombre transfini r\ qui borne supérieurement les nombres £ qu'il faut
utiliser peut être aléatoire. Il est naturellement de la seconde classe, et n'a
pour chaque processus qu'une infinité dénombrable de valeurs possibles ayant
chacune une probabilité positive. Si une loi de probabilité donnée pour r\ vérifie
cette condition, on peut définir un processus qui la réalise.
Nous appellerons troisième cas l'ensemble des cas dans lesquels il peut (avec
une probabilité positive) exister des valeurs (aléatoires) de t pour lesquelles
H(t + 0) n'existe pas. Des subdivisions de ce cas sont utiles, mais ne peuvent
pas être indiquées dans les limites du présent exposé.
Avant d'indiquer comment, dans le cas transfini et dans le troisième cas, on
peut compléter la définition du processus, il peut être utile d'indiquer quelques
exemples.
6. Exemples. 1°. Supposons que les valeurs possibles de H(t) soient tous les
entiers A, de — oo à + » , et que tous ces entiers se succèdent sûrement dans
l'ordre naturel, les Tn étant seuls aléatoires. Supposons X)i* 1 A ä < °° • Si,
après l'instant Ta , on repart d'un entier choisi suivant une loi donnée, on est
552
PAUL LEVY
dans le cas transfini (alors 17 = w2). Mais si on repart de — oo, on est dans le
troisième cas. Dans un cas comme dans l'autre, d'ailleurs, on aura une infinité
de phases successives ayant toutes une même durée probable finie.
2°. Modifions l'exemple précédent en supposant que l'état Ah ait deux formes
différentes Ah et Ah, et qu'à chaque changement de A, l'indice supérieur ait une
probabilité jh de changer.
Supposons d'abord _ ^ ì » TA fini. Alors, pour chaque phase, l'indice supérieur
ne change qu'un nombre fini de fois; il a une valeur initiale et une valeur finale
bien déterminées. Nous pouvons supposer qu'il ne change pas de la fin d'une
phase au début de la suivante. Alors on peut considérer qu'au moment du
changement de phases, il y a deux états fictifs possibles; ils sont éphémères et
ne sauraient subsister un temps fini; mais chacun d'eux implique un certain
souvenir du passé immédiat et sa transmission à l'avenir immédiat.
Si la série ^5° TA est divergente, les circonstances sont bien différentes. Supposons pour fixer les idées tous les TA égaux à 1/2. Les valeurs successives de
l'indice supérieur sont alors indépendantes, et aucun souvenir des indices anciens
ne peut réapparaître. Il n'y a alors qu'un seul état fictif.
3°. Établissons maintenant une correspondance biunivoque entre les indices A
et les nombres rationnels r = p/q; H(t) devient une fonction R(t) à valeurs
rationnelles. Nous pouvons supposer que les états se succèdent dans l'ordre des r
croissants; si par exemple XA = 1/g3, tous les états correspondant aux r d'un
intervalle semi-ouvert (r0, n + 1] se succèdent en un temps presque sûrement
fini, de valeur probable f(2)/f(3). La fonction R(t) est alors continue et prend
successivement toutes les valeurs réelles, rationnelles, ou irrationnelles, ces
dernières correspondant à un ensemble de valeurs de t de mesure nulle, et n'ayant
aucune chance d'être réalisées pour un t donné.
Physiquement, un tel processus est sans doute irréalisable. Mais nous voyons
qu'une théorie mathématique, pour être complète, doit prévoir l'existence de
processus comprenant une infinité non-dénombrable d'états fictifs, susceptibles
d'être tous réalisés successivement. Ce sont des états de transition, mais tous
distincts, chacun transmettant du passé à l'avenir un héritage différent.
7. Définition du processus; le cas transfini. Supposons H(t) déterminé jusqu'à
un instant r, et que H(r — 0) n'existe pas, de sorte que ce point est un point
d'accumulation d'intervalles e. Pour définir la suite du processus, il s'agit d'abord
de déterminer la probabilité qk que H(T + 0) existe et ait la valeur k. Si, en
plus de (5), on a toujours ^2qk = 1, H(t + 0) existe toujours et on est dans le
cas transfini.
Remarquons d'abord que, si le processus est défini par la donnée des fonctions
Ph,k(t), les qk s'en déduisent par la formule
(8)
qk = lim lim PH(t),k(e).
Pour l'appliquer, il n'est d'ailleurs pas nécessaire de connaître H(t) dans un
intervalle (tQ, r); il suffit de connaître la succession des valeurs de H(t), ou
même une suite partielle extraite de cette succession, mais qui aille jusqu}au bout.
PROCESSUS STATIONNAIRES ET MARKOVIENS
553
Cette formule est générale. Considérons spécialement le cas transfini et
proposons-nous d'abord de définir H (Tu + 0) indépendamment de la formule (8).
 chaque état Ah correspond une probabilité q'htk bien déterminée que, le système
partant de cet état, on ait Tw < oo et H(TU + 0) = k, et qk peut être défini
comme limite de qhlk, h variant comme dans la formule (8). Mais la donnée
des qjhk est surabondante; il suffit de connaître ces probabilités avec une erreur
qui tende vers zéro quand Tu (dont la loi dépend de A) tend en probabilité vers
zéro. En outre la limite qk de qHn,k peut n'être pas définie pour chaque suite
{Hn 1 ; il suffit que ce soit une fonction mesurable (la mesure étant ici la probabilité
de la réalisation des différents suites IIn théoriquement possibles, c'est-à-dire
telles que tous les PHn,Hn+1 soient > 0, et que ]C 1/A» < oo).
La loi dont dépend Hu = H^ + 0) étant ainsi définie, il n'y a plus de difficulté
à former successivement tous les H s = H(Tç + 0), tant que le nombre transfini £
n'atteint pas co2. Mais, si T^ est fini, il faut introduire de nouveaux coefficients qtk
pour définir Hu* . Les remarques faites à propos de Hu s'appliquent à nouveau. Il en
sera de même pour chaque nombre transfini non accessible par l'addition (c'est-àdire, appartenant à la suite transfinie co, co2, • • • ; co", u>*+l, -••)', pour chacun de
ces nombres £, si T$ est fini, il faut introduire de nouveaux coefficients qj^k •
Ainsi, nous n'échappons pas aux difficultés du transfini. Cela est d'ailleurs dans
la nature des choses. On peut s'en assurer en observant que
Ph,k(t) = E W « ^ t < 2 V , E% = k/Ho = A},
la sommation étant étendue à tous les nombres £, finis ou transfinis, pour lesquels
Tç peut être fini. C'est un développement asymptotique, chaque terme étant,
pour t assez petit, négligeable devant n'importe lequel des termes précédents.
8. Esquisse d'une théorie générale. Groupons les fonctions H(t) en familles
K' telles que:Hi(t) défini dans (tQ, ti) et H2(u) défini dans (tti, u2) appartiennent à
une même famille si et seulement si on peut établir une correspondance biunivoque et monotone entre i G (h, t2) et u £ (^i, u2) telle que H\(t) — H2(u). En
d'autres termes, chaque famille K' est caractérisée par la donnée des relations
d'ordre entre les différents intervalles e où H(t) est constant, et celle de ses
valeurs pour ces différents intervalles; les longueurs des intervalles n'interviennent pas.
Si chaque entier A ne correspond qu'à un nombre fini rn d'intervalles e,
nous dirons que K' est une famille K. L'ensemble des K a la puissance du continu.
Considérons, dans cet ensemble, le sous-ensemble C des K tels que: a. Un
intervalle oùII(t) = k ne peut suivre immédiatement un intervalle où H(t) = h
que si ph,k > 0. b. La somme (3) est finie. Seuls les K 6 C correspondent, pour
un processus pour lequel on connaît les X/t et les ph,k, à une succession de valeurs
pouvant être réalisées en un temps fini; C a au plus la puissance du continu.
Groupons maintenant les K Ç C en classes cj> et en classes \j/ telles que : K± et K2
appartiennent à un même <t> (ou \f/) s'ils sont identiques à partir d'un (jusqu'à un)
certain moment; la partie commune à K± et K2, éléments d'un même <£ (ou \p)
ne peut se réduire à un intervalle que s'il y a un dernier (ou premier) intervalle;
554
PAUL LEVY
s'il n'en est pas ainsi, elle comprend une infinité d'intervalles, mais il n'y a
aucun intervalle commun à tous les K d'une classes 4> (ou ip).
Le processus étant markovien, il est clair que: à l'instant r ou une succession
E d'intervalles e se termine, le souvenir que le système garde du passé ne peut
pas contenir autre chose que la classe <f> définie par la succession E associée aux
valeurs constantes de H(t) dans chaque e. Le choix que le hasard fera à cet
instant ne peut de même pas définir autre chose que la classe \[/ à laquelle doit
appartenir la fonction H(t) dans l'intervalle commençant à l'instant r. Donc,
pour définir le processus, il s'agit de se donner en fonction de la classe <j>finissantela
loi de probabilité dont dépend la classe \[/ commençante.
Comme l'ensemble des ^ a au plus la puissance du continu, il n'y a pas de
difficulté à parler d'une loi définie dans cet ensemble. Il faut remarquer d'autre
part que cette loi n'a pas besoin d'être donnée pour chaque 0. Il suffit qu'il
soit presque sûr qu'on ne se trouvera à aucun moment (t variant de to à l'infini)
dans un cas où cette loi ne soit pas définie. Dans le cas transfini, nous avons
obtenu un résultat plus précis; cette loi, ou plutôt la fonction de répartition qui
la définit, doit être, pour chaque nombre transfini non accessible, une fonction
mesurable d'une variable dont la donnée équivaut à celle de la classe <f>. Mais
dans le cas général, un énoncé analogue serait dépourvu de sens.
Enfin l'exemple 2 du n° 6 nous montre que la définition d'une classe <t> peut
comprendre des éléments dont le souvenir ne saurait .être conservé. Il faut alors
grouper les classes 0 en classes plus étendues #', éléments d'un espace ë, telles
que: t tendant vers r, la probabilité, estimée à l'instant t, que la succession
d'intervalles qui doit se terminer à l'instant r corresponde à une classe <i> appartenant à un domaine ouvert R situé dans ë, tend presque sûrement vers 1 ou vers
zéro suivant que finalement 0 appartient à E ou non. On fera un groupement
analogue des \p en classes $', et il s'agit finalement, pour définir un processus
markovien et stationnaire, de se donner pour ypf une loi de probabilité presque
sûrement bien définie en fonction de tf, sauf dans des cas qui n'ont aucune
chance d'être jamais réalisés.
9. Conclusion. La définition des processus markoviens et stationnaires reposant
sur la distinction entre les propriétés intrinsèques de H(t) et la rapidité de
l'évolution définie par ces propriétés n'est simple et commode que dans le cas
fini, et peut-être dans le cas transfini si on se limite à un nombre transfini donné,
tel que co2 ou w3. Cette distinction n'en est pas moins utile à d'autres points de
vue. Elle permet de démontrer le théorème du n°4f Nous en montrerons ultérieurement une autre application, spéciale au cas transfini, relative à une extension de la notion de cycle final et de théorèmes connus de W. Doeblin et
A. Kolmogoroff.
ÉCOLE POLYTECHNIQUE,
PARIS, FRANCE.