TD n° 8 - Chaînes de Markov à temps discret

Evaluation de performances (2014-2015) J. Herrmann / E. Thierry
TD n° 8 - Chaînes de Markov à temps discret
Exercice 1. Première utilisation du théorème d’arrêt pour les martingales
Théorème (Théorème d’arrêt de Doob / optional stopping theorem).Soit (Mn)martingale (resp. sous-/sur-)
pour (Xn)et T temps d’arrêt pour (Xn). Si au moins l’une de ces conditions est vraie :
1. T ≤N p.s. où N ∈N
2. T < ∞ et ∀n∈N,|Mn| ≤ C p.s. où C ∈R+
3. E(T)< ∞ et ∀n∈N,|Mn+1−Mn| ≤ C p.s. où C ∈R+
Alors E(MT)=E(M0)(resp. ≥/≤).
Premières applications : soit (Xn) marche symétrique sur Z, 0 ≤i≤N, soit T=τ{0,N}temps d’absorption
par 0 ou N. Proposer des martingales pour calculer les valeurs suivantes :
– la probabilité d’absorption par Nen partant de i, càd Pi(TN< +∞),
– le moyen d’absorption Ei(T) en partant de i.
Exercice 2. Première utilisation des théorèmes de Foster
Théorème (Premier théorème de Foster).Soit (Xn)une chaîne de Markov homogène irréductible de terme
général pi j sur un ensemble E dénombrable. S’il existe une fonction h :E→R+, un ensemble fini F et une
constante ²>0tels que
X
k∈E
pi k h(k)< ∞ pour tout i ∈F
X
k∈E
pi k h(k)≤h(i)−²pour tout i ∉F,
alors (Xn)est récurrente positive.
Théorème (Second théorème de Foster).Soit Xnune chaîne de Markov homogène irréductible de terme
général pi j sur un ensemble E dénombrable. S’il existe une fonction h :E→R+et un ensemble fini F tels que
E(h(X1)−h(X0)|X0=i)< +∞ ∀i∉F i.e.h est à incréments bornés
h(j0)>max
i∈Fh(i)pour un certain j0∉F
X
k∈E
pi k h(k)≥h(i)pour tout i ∉F
alors (Xn)n’est pas récurrente positive.
Premières utilisations : considérer la marche aléatoire suivante sur N: si Xn=0, alors Xn+1=1 avec proba 1,
et si Xn≥1, alors
Xn+1=(Xn+1 avec proba p
Xn−1 avec proba 1−p
En utilisant les théorèmes de Foster, dire pour quelles valeurs de pcette chaîne de Markov est récurrente
positive.
1

Exercice 3. Stabilisation d’Aloha
Aloha est un protocole de communication sur un canal partagé où des messages sont envoyés sans avoir
conscience les uns des autres. Les temps discrétisé et les transmissions et retransmissions ne peuvent débuter
qu’au début de chaque intervalle de temps. Lorsque deux messages sont envoyé simultanément, ils se
brouillent mutuellement et aucun n’est correctement transmis. Ces conflits sont détectés et le protocole
d’émission/ré-émission est le suivant : à chaque début d’intervalle de temps
– Les messages frais (arrivés à l’intervalle précédent) essayent systématiquement de passer.
– Les messages en attente (ayant subi un conflit) essaient indépendamment de passer avec chacun une
probabilité 0 <ν<1.
On note Anle nombre de messages frais arrivés pendant l’intervalle net Xnle nombre de messages en
attente à l’instant n. On fait l’hypothèse que les v.a. Ansont i.i.d. et on pose ai=P(An=i) et λ=E(An)=
P∞
i=0i ai.
A - Instabilité d’Aloha :
1. Donnez la probabilité bi(k) que imessages essayent de se retransmettre s’il y a kmessages en attente.
2. Donnez la probabilité pkl de passer de kàlmessages retardés.
3. Montrer, à l’aide du second théorème de Foster, que ce protocole est instable, i.e que la suite Xnn’est
pas récurrente positive.
4. Comment cela se traduit-il concrètement pour le protocole ?
B - Stabilisation d’Aloha :
Plutôt que d’utiliser une politique de retransmission à νfixe, on va essayer d’atteindre la stabilité en utilisant
un ν(k) variable en fonction du nombre de messages en attente. On va montrer que la condition
λ<lim inf
k→+∞(b1(k)a0+b0(k)a1)
est suffisante pour la stabilité. Elle équivaut à l’existence de ²>0 et d’un ensemble fini F⊂Ntels que
λ<b1(k)a0+b0(k)a1−²pour tout k∉F.
5. Sous cette hypothèse, utiliser le premier théorème de Foster pour conclure.
6. Étudiez les extrémas de la fonction gk(ν)=(1−ν)ka1+kν(1 −ν)k−1a0.
7. En remarquant que ³k−1
k−a1/a0´k−1k→∞
−−−−→ exp a1
a0−1, donner une condition suffisante de stabilité.
8. Comment s’illustre cette condition lorsque les Ansuivent une distribution poissonnienne ?
9. Quel est le défaut de cette politique de retransmission ?
2