PROCESSUS SEMI-MARKOVIENS I. Introduction. 1. L`idée de

PROCESSUS SEMI-MARKOVIENS
PAUL LEVY
I. Introduction.
1. L'idée de processus stochastique est, au moins pour un déterministe,
liée à celle de l'existence de paramètres cachés, qui n'interviennent pas dans la
description de l'état apparent actuel du système étudié, et qui cependant in-
fluent sur son évolution future. L'ignorance où nous sommes de leurs valeurs
nous oblige à ne parler pour l'avenir que d'un ensemble d'évolutions possibles,
et dans certains cas nous pouvons définir dans cet ensemble une loi de probabi-
lité, sans cesse modifiée par la connaissance de données nouvelles.
Parmi les paramètres cachés, il peut en exister qui présentent à la fois les
deux caractères suivants: d'une part le passé nous renseigne sur leurs valeurs,
ou du moins nous conduit à admettre pour eux une loi de probabilité autre que
celle qui résulterait de la seule connaissance de l'état apparent actuel; d'autre
part cette circonstance nous conduit à modifier nos prévisions concernant
l'avenir. Si aucun paramètre caché ne présente à la fois ces deux caractères, le
processus est markovien. Nous dirons qu'il est semi-markovien s'il y a un et un
seul paramètre caché de cette nature, le temps u écoulé depuis le dernier change-
ment d'état, qui serait donc marqué par une horloge ramenée au zéro à chaque
changement d'état apparent.
Naturellement, si u est maintenu au zéro par des changements d'états in-
interrompus, rien ne distingue l'évolution semi-markovienne d'une évolution
markovienne. Nous éliminerons ici ce cas, et aussi celui où on aurait des alter-
nances d'intervalles de repos et d'intervalles de mouvement ininterrompu (con-
tinu ou non)1). D'une manière précise, nous ferons l'hypothèse suivante: les
intervalles de repos (que nous appellerons intervalles iv), forment presque sûrement
sur Vaxe des t un ensemble partout dense.
Il suffit évidemment de considérer l'horloge qui marque le temps u comme
faisant partie du système étudié pour ramener un processus semi-markovien
à un processus markovien régi par une équation de Chapman-Kolmogoroff.
Mais il nous paraît préférable d'employer une autre méthode, inspirée par nos
1)
Pour des processus plus généraux, il y aurait lieu d'étudier séparément les pos-
sibilités de mouvement continu, celles d'un mouvement ininterrompu, mais discontinu,
et celles du mouvement intermittent seul considéré ici. On étudierait ensuite la probabilité
du passage de chacun de ces régimes aux autres.
416

travaux antérieurs sur les processus markoviens dans le cas dénombrable, c'est-
à-dire celui où il n'y a qu'une infinité dénombrable de cas possibles
2).
Nous
serons ainsi conduits à étudier séparément les états à durées positives, et les
états instantanés. Pour ces derniers, nous n'aurons qu'à rappeler ce que nous
avons déjà dit, et le compléter sur certains points, notamment en ce qui con-
cerne l'extension de nos résultats au cas non dénombrable. C'est par l'étude des
autres états que nous commencerons, mais après quelques remarques prélimi-
naires sans lesquelles le problème ne serait pas nettement posé.
2. Chaque fois que le système étudié arrive à un état Ah, la durée Uh de son
séjour dans cet état est une variable aléatoire non négative, dont la loi ne dé-
pend que de h. Il peut arriver que les trois éventualités
Uh = O, 0 < Uh < oo, Uh= co
aient des probabilités toutes positives, ou que deux d'entre elles le soient. Nous
supposerons ce cas éliminé par un artifice très simple, qui consiste à effectuer
immédiatement une expérience préliminaire qui déterminera, non seulement
si Uh est positif, ou nul, mais s'il est fini ou infini, et à dire alors qu'on est dans
le cas A'n, ou A"h, ou Ä^ suivant le résultat de cette expérience
3).
Cela fait,
nous pouvons dire que: chaque état Ah est, soit sûrement instantané (c'est-à-dire
que Uh = 0), soit sûrement final (Uh = oo), soit enfin à durée sûrement positive
ou finie] nous dirons dans ce dernier cas qu'il est normal.
Naturellement, au sujet des états finaux, nous n'avons rien à dire, sinon
que l'évolution est terminée quand le système arrive à un tel état. Remarquons
aussi, au sujet des états normaux, qu'une épreuve particulière ne peut en réa-
liser qu'un nombre fini ou une infinité dénombrable. Mais il peut y en avoir une
infinité non dénombrable qui soient possibles. Même s'il n'y a jamais que deux
états qui puissent succéder à un état donné, il peut arriver qu'après une infinité
de changements en un temps fini il y ait une infinité non dénombrable d'états
possibles.
Si un état Ah est instantané, l'ensemble Eh des instants où il est réalisé ne
comprend aucun intervalle. Il peut être de types très variés; il peut en particu-
lier être non mesurable. Nous ferons une deuxième hypothèse restrictive, qui
consiste à supposer que tous les Eh sont presque sûrement mesurables. Cela éhmine
2)
Ann. Ec. Norm, sup., 68 (1951), p. 327—381, et 69 (1952), p. 203—212. Voir aussi
C. R. Acad. Se, 236 (1953), p. 1630—1632.
3)
Précisons bien qu'une réduction analogue peut être nécessaire si Uh n'est que
presque sûrement nul. On pourrait en effet avoir confondu un état Ah sûrement instantané
mais susceptible d'être réalisé une infinité non dénombrable de fois, et un état normal
A,. A chaque arrivée à l'un ou l'autre de ces états, il est presque sûr que Uh = 0; cela
n'exclut pas la possibilité de réalisations intermittentes de Ah.
417

les processus des sixième et septième types de la classification introduite dans
nos travaux antérieurs relatifs au cas dénombrable.
3. Rappelons le principe de cette classification. Nous désignerons par S"
la réunion des intervalles ouverts iv, et par ê son complément sur l'axe des t, qui
est nécessairement un ensemble fermé. D'après l'hypothèse restrictive faite au
n°. 1, ê ne comprend aucun intervalle, et peut être de cinq types possibles:
Type êx, ou type fini', S n'a pas de point d'accumulation à distance finie.
Type ê2, ou type transfini', S a au moins un point d'accumulation à dis-
tance finie, et est bien ordonné.
Type <f3: S est dénombrable, et n'est pas bien ordonné.
Type SA\ ê est non dénombrable, mais encore de mesure nulle.
Type <f5: ê a une mesure positive.
Un processus est alors du type v (v = 1, . . ., 5) si, au moins pour certains
états initiaux, ë peut (avec une probabilité positive) être du type ê\, mais ne
peut jamais être d'un type d'indice plus élevé. Les indices 6 et 7, qui introdui-
sent des ensembles Eh non mesurables, sont ici exclus.
Dès le second type, H(t) désignant l'indice de l'état réalisé à l'instant t
(cet indice pouvant d'ailleurs être une variable continue, ou même un point d'un
espace à plusieurs dimensions), apparaissent des instants pour lesquels H (t — 0)
n'est pas déterminé; dès le troisième type, H(t + 0) peut aussi ne pas l'être. Il
peut être commode, comme nous l'avons fait dans nos travaux cités, de dire
qu'à ces instants H(t) est l'indice d'un état fictif. Cela semble même indispen-
sable dans certains cas, dont nous avons donné des exemples, où il y a plusieurs
états fictifs qu'il faut distinguer les uns des autres. Naturellement, non seule-
ment chaque état fictif ne peut être réalisé que sur un ensemble de ^-mesure
nulle, mais il en est de même de leur réunion. On ne saurait considérer comme
fictif un ensemble d'états qui occupe sur l'axe des t un ensemble de mesure po-
sitive, et ait donc une probabilité positive d'être réalisé à un instant choisi au
hasard.
Nous supposerons aussi qu'il n'a de même aucune chance d'être réalisé à
un instant donné d'avance. Cette hypothèse, équivalente à la précédente dans
le cas markovien, est ici un peu plus restrictive.
II. Etude des états normaux.
4. Soit Ah un de ces états; soit K l'indice de l'état (réel ou fictif) qui lui
succédera. Pour chacun de ces états, nous pouvons nous donner d'une manière
absolument quelconque la loi dont dépend l'ensemble des variables aléatoires
Uh et K, à cela près que Uh est presque sûrement positif et fini. Nous inspirant,
comme dans nos travaux antérieurs, de l'idée qu'il est commode d'étudier,
418

d'abord les différentes successions d'états possibles et leurs probabilities, en-
suite seulement la rapidité de l'évolution, nous nous donnerons d'abord, pour
chaque h, la loi de probabilité deK, ensuite, en fonction de h et de la valeur k
de K, la fonction de répartition conditionnelle Fh
k(u)
de Uh. La fonction de
répartition inconditionnelle est alors
(1) Fh{u) = E{FhiK(u)}.
L'idée d'introduire Fh(u) est due à K. L. Chung, qui a observé qu'en intro-
duisant ainsi une fonction de répartition arbitraire, on obtient des processus qui
comprennent à la fois les processus markoviens pour lesquels Fh (u) est de la forme
1 — e~}hu} et les chaînes de Markoff pour lesquelles Uh est nécessairement
multiple d'un certain quantum de temps 6; Fh(u) est alors de la forme 1 — q~n,
n étant la partie entière de u/0. C'est cette idée de Chung qui est l'origine du
présent travail. Du moment que le système garde le souvenir du temps écoulé
depuis le dernier chagement d'état, il nous a paru naturel d'admettre que la loi
de probabilité de K peut dépendre de ce temps. Mais au lieu d'étudier d'abord
Uh, et ensuite K, nous avons préféré l'ordre inverse, qui est plus commode.
5. L'étude des différentes successions d'états possibles s'effectue exacte-
ment comme dans le cas markovien. Il faut d'ailleurs remarquer que, même si
ces successions ne sont pas des suites bien ordonnées, chacune d'elles est définie
sans ambiguïté, et cela même s'il y a des états instantanés. Il y a au plus une in-
finité dénombrable d'intervalles iv; on peut les dénombrer, et, pour chacun
d'eux, définir ses relations d'ordre avec ceux dénombrés avant lui et l'état Ah
qui lui correspond. L'ensemble ê étant discontinu, chacun de ses points cor-
respond à une coupure entre les intervalles ainsi dénombrés.
On peut, et même d'une infinité de manières, associer à chaque processus
semi-markovien un processus markovien qui corresponde à la même répartition
de la probabilité dans le même ensemble de successions d'états possibles. On est
donc sûr de pouvoir obtenir n'importe quel processus semi-markovien en for-
mant d'abord tous les processus markoviens, et en les modifiant ensuite par
l'introduction des fonctions Fh^k(u), substituées aux fonctions 1 — e~x*u pour
tous les états qui ne sont ni instantanés ni finaux.
6. En ce qui concerne le temps T que dure une succession donnée d'états,
nous allons d'abord montrer que:
Théorème. T est toujours, soit presque sûrement fini, soit presque sûrement
infini.
D'après la convention faite au n°. 2, il en est ainsi pour chacun des termes
Uv dont T est la somme. Ces différents termes sont indépendants (puisqu'au
début de chaque intervalle iv tout le passé est oublié). Le théorème énoncé est
alors un corollaire du théorème connu sur les séries à termes aléatoires indé-
419

pendants, qui sont toujours presque sûrement convergentes ou presque sûre-
ment divergentes.
Ce théorème n'est bien entendu démontré pour le moment que pour les
quatre premiers types, dans lesquels les états instantanés ne peuvent être
réalisés que sur un ensemble de mesure nulle. Nous verrons au n°. 12 que, pour
un processus du cinquième type, l'existence de cet ensemble conduit à ajouter
à T un terme qui n'est pas aléatoire. Le théorème considéré reste donc vrai.
Il en résulte que, dans une succession à durée infinie, on peut définir une
coupure non aléatoire qui est presque sûrement la limite exacte des états réalisés
en un temps fini.
Remarquons aussi que, comme dans le cas markovien, un même état nor-
mal ne peut presque sûrement pas être réalisé une infinité de fois en un temps
fini. Cela est évident si l'on examine ce problème indépendamment de l'étude
des différentes successions possibles. Chaque fois qu'un état Ah est réalisé, sa
durée U^ dépend de la fonction de répartition de Chung, Fh(u), qui ne varie
pas avec v. Par suite, le temps nécessaire à n réalisations augmente presque
sûrement indéfiniment avec n.
7. D'autres résultats relatifs au cas markovien cessent au contraire d'être
applicables. Ainsi, dans le cas markovien, T est presque sûrement fini ou infini
en même temps que sa valeur probable, et, pour les processus des quatre
premiers types, c'est une variable aléatoire à densité de probabilité continue et
positive de zéro à l'infini.
Au contraire, dans le cas semi-markovien, tous ces énoncés peuvent être en
défaut pour une succession réduite à un seul état Ah. Alors T = Uh, et cette
variable aléatoire peut être sûrement finie tout en ayant une valeur probable
infinie, et peut aussi dépendre d'une loi totalement discontinue. La continuité
s'améliore naturellement par l'addition de plusieurs termes Uh. Mais on peut
définir des exemples de suites infinies d'états pour lesquelles la durée T dépende
d'une loi discontinue.
Si par exemple tous les états sont réalisés dans l'ordre des h croissants
(h = 1, 2, . . .), et que Uh ait les valeurs possibles uh et uh + 1, avec les proba-
bilités 1 — oih et 0Lh, si S = Zuh et a = Uoih sont finis, T est presque sûrement la
somme de 5 et d'un entier fini, dont la valeur probable est a.
Dans le cas où Uh a deux valeurs possibles et également probables uh =
q~h et 2uh, avec q >> 2, les valeurs possibles pour le temps T forment un ensem-
ble parfait discontinu, de mesure nulle. La loi dont il dépend n'est donc pas
absolument continue.
On peut multiplier ces exemples à l'infini. Signalons encore le cas où chaque
Uh est sûrement rationnel, et où chacune des valeurs 2~~hl et 21~hl a la probabi-
, 1—aA
f
.
lité , la série JLaÄ étant convergente. Alors ZUh est presque sûrement un
Zi
420