TD n° 8 - Chaînes de Markov à temps discret

Evaluation de performances (2014-2015)
J. Herrmann / E. Thierry
TD n° 8 - Chaînes de Markov à temps discret
Exercice 1.
Première utilisation du théorème d’arrêt pour les martingales
Théorème (Théorème d’arrêt de Doob / optional stopping theorem). Soit (M n ) martingale (resp. sous-/sur-)
pour (X n ) et T temps d’arrêt pour (X n ). Si au moins l’une de ces conditions est vraie :
1. T ≤ N p.s. où N ∈ N
2. T < ∞ et ∀n ∈ N, |M n | ≤ C p.s. où C ∈ R+
3. E(T ) < ∞ et ∀n ∈ N, |M n+1 − M n | ≤ C p.s. où C ∈ R+
Alors E(M T ) = E(M 0 ) (resp. ≥/≤).
Premières applications : soit (X n ) marche symétrique sur Z, 0 ≤ i ≤ N , soit T = τ{0,N } temps d’absorption
par 0 ou N . Proposer des martingales pour calculer les valeurs suivantes :
– la probabilité d’absorption par N en partant de i , càd Pi (T N < +∞),
– le moyen d’absorption Ei (T ) en partant de i .
Exercice 2.
Première utilisation des théorèmes de Foster
Théorème (Premier théorème de Foster). Soit (X n ) une chaîne de Markov homogène irréductible de terme
général p i j sur un ensemble E dénombrable. S’il existe une fonction h : E → R+ , un ensemble fini F et une
constante ² > 0 tels que
X
p i k h(k) < ∞
pour tout i ∈ F
p i k h(k) ≤ h(i ) − ²
pour tout i ∉ F,
k∈E
X
k∈E
alors (X n ) est récurrente positive.
Théorème (Second théorème de Foster). Soit X n une chaîne de Markov homogène irréductible de terme
général p i j sur un ensemble E dénombrable. S’il existe une fonction h : E → R+ et un ensemble fini F tels que
E(h(X 1 ) − h(X 0 )|X 0 = i ) < +∞ ∀i ∉ F
h( j 0 ) > max h(i )
i ∈F
X
p i k h(k) ≥ h(i )
i .e. h est à incréments bornés
pour un certain j 0 ∉ F
pour tout i ∉ F
k∈E
alors (X n ) n’est pas récurrente positive.
Premières utilisations : considérer la marche aléatoire suivante sur N : si X n = 0, alors X n+1 = 1 avec proba 1,
et si X n ≥ 1, alors
(
X n + 1 avec proba p
X n+1 =
X n − 1 avec proba 1 − p
En utilisant les théorèmes de Foster, dire pour quelles valeurs de p cette chaîne de Markov est récurrente
positive.
1
Exercice 3.
Stabilisation d’Aloha
Aloha est un protocole de communication sur un canal partagé où des messages sont envoyés sans avoir
conscience les uns des autres. Les temps discrétisé et les transmissions et retransmissions ne peuvent débuter
qu’au début de chaque intervalle de temps. Lorsque deux messages sont envoyé simultanément, ils se
brouillent mutuellement et aucun n’est correctement transmis. Ces conflits sont détectés et le protocole
d’émission/ré-émission est le suivant : à chaque début d’intervalle de temps
– Les messages frais (arrivés à l’intervalle précédent) essayent systématiquement de passer.
– Les messages en attente (ayant subi un conflit) essaient indépendamment de passer avec chacun une
probabilité 0 < ν < 1.
On note A n le nombre de messages frais arrivés pendant l’intervalle n et X n le nombre de messages en
attente à l’instant n. On fait l’hypothèse que les v.a. A n sont i.i.d. et on pose a i = P(A n = i ) et λ = E(A n ) =
P∞
i =0 i a i .
A - Instabilité d’Aloha :
1. Donnez la probabilité b i (k) que i messages essayent de se retransmettre s’il y a k messages en attente.
2. Donnez la probabilité p kl de passer de k à l messages retardés.
3. Montrer, à l’aide du second théorème de Foster, que ce protocole est instable, i.e que la suite X n n’est
pas récurrente positive.
4. Comment cela se traduit-il concrètement pour le protocole ?
B - Stabilisation d’Aloha :
Plutôt que d’utiliser une politique de retransmission à ν fixe, on va essayer d’atteindre la stabilité en utilisant
un ν(k) variable en fonction du nombre de messages en attente. On va montrer que la condition
λ < lim inf (b 1 (k)a 0 + b 0 (k)a 1 )
k→+∞
est suffisante pour la stabilité. Elle équivaut à l’existence de ² > 0 et d’un ensemble fini F ⊂ N tels que
λ < b 1 (k)a 0 + b 0 (k)a 1 − ² pour tout k ∉ F.
5. Sous cette hypothèse, utiliser le premier théorème de Foster pour conclure.
6. Étudiez les extrémas de la fonction g k (ν) = (1 − ν)k a 1 + kν(1 − ν)k−1 a 0 .
³
´k−1
k→∞
k−1
7. En remarquant que k−a
−−−−→ exp aa10 − 1, donner une condition suffisante de stabilité.
1 /a 0
8. Comment s’illustre cette condition lorsque les A n suivent une distribution poissonnienne ?
9. Quel est le défaut de cette politique de retransmission ?
2