CoursSTT3220Trans

Méthodes de prévision (STT-3220)
Section 2
Transformation stabilisatrice de variance;
moindres carrés pondérés; moindres
carrés repondérés
Version: 22 août 2005
Transformation stabilisatrice de
variance



Technique qui vise à contrer certains
problèmes d’hétéroskédasticité.
Considérons une variable aléatoire yi, et
posons également: E  yi   i
On considère une certaine fonction f  et on
développe en série de Taylor la fonction f  yi 
autour du point  :
i
2
STT-3220; Méthodes de prévision
Développement au premier ordre



On obtient donc:
f  yi   f i   f ' i  yi  i 
Ici f ' i  est la dérivée première évaluée en  i .
On applique la variance de chaque côté de la
formule précédente:
V  f  yi    f ' i  V  yi 
2
  f ' i  
2
3
STT-3220; Méthodes de prévision
2
i
Résolution d’une petite équation
différentielle


Ceci suggère de chercher la fonction f  qui
satisfait la relation: f '  2  2  c 2
i
i
Ceci implique:
f '  i  
  
c
 i 
 f ' i d i 
 f i    f ' i d i  
4
STT-3220; Méthodes de prévision
c
c
  i 
 i 
di
di
Exemple 1.

Supposons que:
V  yi     E  yi   
2
i

Résoudre l’équation donne:
f x   

5
2
2
i
c
dx  c log  x 
x
On pourrait donc poser c  1 et considérer la
transformation logarithmique.
STT-3220; Méthodes de prévision
Exemple 2.

Supposons que:
V  yi     E  yi   i  0
2
i

Résoudre l’équation donne:
f x   

6
c
dx  2c x
x
On peut poser c  1 2 et considérer la
transformation racine carrée.
STT-3220; Méthodes de prévision
Moindres carrés pondérés et
repondérés

Exemple. Supposons que l’analyste est
amené à estimer un modèle de la forme:
log  yk   x β   k
T
k

7
Pour les fins de l’illustration, la variable
dépendante y k correspond à un nombre
d’usagers d’un système (ex: un guichet
automatique).
STT-3220; Méthodes de prévision
Exemple (suite)



Une modélisation possible pourrait être:
yk : Poisson k 
 
 
Dans un tel cas: V y  E y  
k
k
k
Puisque le modèle de régression est un
modèle transformé:
2
 1 
1
 E  yk   E  yk 
V log  yk   
 E  yk  
8
STT-3220; Méthodes de prévision
Rappel: log  yk   x β   k
T
k
Moindres carrés pondérés

Dans l’exemple précédent, effectuer les
moindres carrés pondérés suggère de
résoudre:
2
T
k
k
k
De plus, la discussion précédente suggère de
prendre les poids:
 w log  y   x β


9
wk  k  E  yk 
Or ces poids ne sont pas connus!
STT-3220; Méthodes de prévision
Rappel:  wk log  yk   x β
T
k
2
wk  E  yk 
Moindres carrés repondérés



10
Puisque les poids sont inconnus, on peut
tenter de les estimer.
La technique des moindres carrés repondérés
(en anglais: Iteratively Reweighted Least
Squares ou IRLS) est une procédure itérative
qui cherche à effectuer des moindres carrés
pondérés avec des poids estimés.
On doit répéter l’algorithme jusqu’à
convergence.
STT-3220; Méthodes de prévision
Algorithme pour IRLS

On va donner l’algorithme pour notre exemple.
Il faut modifier l’algorithme, cas par cas.

Étape 1. (Initialisation des poids) Poser

Étape 2. (Régression usuelle) Faire une
régression usuelle, dans notre exemple de la
variable log yk
sur x k . Garder OLS de b
Étape 3. (Estimation des poids) Notons
l’estimateur courant bˆ Calculer les poids.
Tˆ
Dans notre exemple:
ˆ
wk  1, k
 

 
 
wk xk ; β  exp xk β
11
STT-3220; Méthodes de prévision
Algorithme pour IRLS (suite)

Étape 3. (suite) On note que les poids sont
fonction de wk  E yk On utilise donc les
valeurs prédites:
 
 
Tˆ
Tˆ
ˆ
ˆ
log  yk   xk β  yk  exp xk β


12

Étape 4. (Moindres carrés pondérés)
2
T
Résoudre
wk log  yk   x k β en
utilisant les poids estimés. Garder WLS de b.
Étape 5. Retourner à l’étape 3.
On fait les Étapes 3 à 5 jusqu’à convergence.
 
STT-3220; Méthodes de prévision
