Introduction aux probabilités et aux statistiques

Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Introduction aux probabilités et aux
statistiques;
De la pratique aux modèles généraux
Manuel Samuelides, Professeur à l’ISAE
[email protected]
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Plan de l’exposé
1
Introduction
Objectifs de l’exposé
Ce que nous savons tous sur les probas
2
Modèles d’états classiques
Généralités sur les modèles
Modèles binomiaux
Modèles gaussiens
Modèles de files d’attente
3
Théorèmes de convergence (fondamentaux en statistique)
4
Estimation statistique
Estimation statistique
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Objectifs de l’exposé
Ce que nous savons tous sur les probas
Outline
1
Introduction
Objectifs de l’exposé
Ce que nous savons tous sur les probas
2
Modèles d’états classiques
Généralités sur les modèles
Modèles binomiaux
Modèles gaussiens
Modèles de files d’attente
3
Théorèmes de convergence (fondamentaux en statistique)
4
Estimation statistique
Estimation statistique
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Objectifs de l’exposé
Ce que nous savons tous sur les probas
Objctifs de l’exposé
La statistique est un ensemble de techniques permettant
de traiter des données qualitatives et numériques pour en
extraire de l’information: calculs de moyenne,
d’écart-types, de droite des moindres carrés.
Les probabilités élémentaires permettent d’effectuer des
calculs similaires sur les variables aléatoires de lois
discrètes ou à densité.
La cohérence n’est assurée qu’en introduisant des
représentation d’états et en considérant les variables
aléatoires comme fonctions des d’état.
Pour effectuer des calculs efficaces, il faut choisir le bon
modèle d’état qui n’est pas unique et savoir en changer en
tant que de besoin.
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Objectifs de l’exposé
Ce que nous savons tous sur les probas
Outline
1
Introduction
Objectifs de l’exposé
Ce que nous savons tous sur les probas
2
Modèles d’états classiques
Généralités sur les modèles
Modèles binomiaux
Modèles gaussiens
Modèles de files d’attente
3
Théorèmes de convergence (fondamentaux en statistique)
4
Estimation statistique
Estimation statistique
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Objectifs de l’exposé
Ce que nous savons tous sur les probas
Variable aléatoire discrète
On considère une "variable aléatoire" notée X prenant un
nombre fini ou dénombrable de valeurs
P réelles (xi ) avec la
probabilité pi . On a ∀i, 0 < pi < 1 et ∞
i=1 pi = 1.
On notera P(X = xi ) = pi .
La valeur moyenne de X s’appelle
P espérance est notée
E(X ) et se calcule par E(X ) = i pi xi .
La variation de X au cours de sa moyenne est quantifiée
par la variance de X notéeP
Var(X ) et égale à
2
Var(X ) = E(X − E(X )) = i pi (xi − E(X ))2
La racine carrée de la variance de X est appelée
écart-type de X et est parfois notée σX
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Objectifs de l’exposé
Ce que nous savons tous sur les probas
Exemple: lancer d’un dé
X
1
2
3
4
5
1
1
1
1
1
P(X = .)
6
6
6
6
6
(X − 3.5)2 6.25 2.25 0.25 0.25 2.25

E(X ) = 3.5

Var(X ) = 2.92
On obtient

σX = 1.71
On dit que X a une loi de probabilité uniforme sur
{1, 2, 3, 4, 5, 6}
6
1
6
6.25
Remarque
On aurait pu considérer la variable aléatoire Y = (X − E(X ))2
qui a une loi uniforme sur {0.25, 2.25, 6.25} pour calculer la
variance de X .
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Objectifs de l’exposé
Ce que nous savons tous sur les probas
Sens de l’énoncé probabiliste
Le sens courant d’un énoncé du type P(X ∈ A) = p où X
est une variable aléatoire rélle et A un sous-ensemble de
R est que si nous sommes capable de répéter un grand
nombre de fois de façon indépendante l’expérience
aléatoire permettant de mesurer X , la fréquence empirique
de l’observation de l’évènement aléatoire X ∈ A tend à se
stabiliser autour de p. C’est la définition objective des
probabilités.
Par extension, l’énoncé P(X ∈ A) = p peut s’interprêter
comme l’acceptation d’un pari sur l’occurence de
l’évènement (X ∈ A) de p contre 1 − p. C’est la définition
subjective des probabilités.
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Objectifs de l’exposé
Ce que nous savons tous sur les probas
Variable aléatoire à densité
On considère une "variable aléatoire" notée X prenant ses
valeurs dans R, telle que on puisse énoncer
Z
∀(a, b), P(X ∈]a, b]) =
b
f (x)dx
a
f est une fonction positive d’intégrale 1 appelé densité de
probabilité de X .
R∞
On calcule E(X ) quand il existe par E(X ) = −∞ xf (x)dx
De même, la variance de X notée
R ∞ Var(X )est donnée
parVar(X ) = E(X − E(X ))2 = −∞ (xi − E(X ))2 f (x)dx
p
L’ écart-type de X noté σX est défini par σX = Var(X )
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Objectifs de l’exposé
Ce que nous savons tous sur les probas
Exemple: choix d’un point au hasard
On choisit un point au hasard dans l’intervalle [0, 1]
La ddp de X est la fonction 1[0,1]
R1
E(X ) = 0 xdx = 12 ,
R1
Var(X ) = 0 (x − 12 )2 dx = 13 − 12 +
1
4
=
1
12
Remarque
On aurait pu aussi calculer la ddp de Y = (X − 12 )2 :
√
√
∀a, 0 ≤ a ≤ 0.25, P(X −0.5)2 ≤ a = P(0.5− a ≤ X ≤ 0.5+ a)
R a dy
√
√1
P(Y ≤ a) = 2 a = 0 √
y . La ddp de Y est y sur [0, 0.25]
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Objectifs de l’exposé
Ce que nous savons tous sur les probas
Premières conclusions
La modélisation d’une variable aléatoire par sa loi de probabilité
sur R permet de calculer la probabilité de tout événement défini
à partir de cette variable aléatoire et la valeur moyenne de
toute fonction (mesurable) de cette variable aléatoire.
Type
Discret
Densité
Probabilité
P
P(X ∈ A) = xi ∈A P(X = xi )
R
P(X ∈ A) = A h(x)dx
Valeur moyenne de f
P
E(f (X )) = i P(X = xi )f (xi
R
E(f (X )) = f (x)h(x)dx
La modélisation d’une variable aléatoire par sa loi de
probabilité n’est pas satisfaisante et ne permet pas de traiter le
cas simultané de plusieurs variables aléatoires.
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Généralités sur les modèles
Modèles binomiaux
Modèles gaussiens
Modèles de files d’attente
Outline
1
Introduction
Objectifs de l’exposé
Ce que nous savons tous sur les probas
2
Modèles d’états classiques
Généralités sur les modèles
Modèles binomiaux
Modèles gaussiens
Modèles de files d’attente
3
Théorèmes de convergence (fondamentaux en statistique)
4
Estimation statistique
Estimation statistique
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Généralités sur les modèles
Modèles binomiaux
Modèles gaussiens
Modèles de files d’attente
Modèle d’états aléatoire
La base d’un modèle probabiliste est l’espace d’états Ω qui
doit satisfaire les conditions suivantes:
1
2
3
Tout état possible ω du système est élément de Ω,
Tout observable, mesure, grandeur d’intérêt peut être
définie comme fonction d’état sur Ω,
Ω est muni d’une structure mathématique (tribu F des
événements aléatoires) permettant de définir une
probabilité P sur Ω
Dans les cas simples que nous étudierons, Ω est un
ensemble dénombrable ou une partie régulière d’un
espace vectoriel réel de dimension finie.
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Généralités sur les modèles
Modèles binomiaux
Modèles gaussiens
Modèles de files d’attente
Dilemme du choix de l’espace d’états
Il n’y a pas de représentation d’états unique en probabilité.
Pour effectuer un calcul ou une étude donnée, on peut
choisir un espace d’états plus restreint , pour fusionner
dexu expériences, on, peut étendre les espaces d’états
initiaux par somme, produit, ou limite...
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Généralités sur les modèles
Modèles binomiaux
Modèles gaussiens
Modèles de files d’attente
Exemple de la somme de variables aléatoires
Problème
Soit (X1 , ..., Xn ) un vecteur aléatoire à valeurs dans Rn de loi P.
Quelle est la loi de probabilité de S = X1 + ... + Xn ?
En général P(S ≤ s) = P(Xn ≤ s − X1 − ...Xn−1 ). Si P a une
densité f sur Rn , S a une densité sur R égale à
Z
Z
s → ... f (x1 , ...., xn−1 , s − x1 − ... − xn−1 )dx1 ...dxn−1
En particulier si n = 2 et que X1 et X2 sont indépendantes, la
densité de (X1 , X2 ) est (x1 , x2 ) → f (x1 )g(x2 ) et la densité de S
est le produit de convolution de f par g soit
Z
s → f (x)g(s − x)dx
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Généralités sur les modèles
Modèles binomiaux
Modèles gaussiens
Modèles de files d’attente
Exemple de la régression linéaire
Problème
Soit (X , Y ) un vecteur aléatoire de R2 du second ordre. Trouver
a et b minimisant le résidu quadratique E(Y − (ax + b)2 ).
La solution réside dans la projection orthogonale de Y sur
le sous-espace de Hilbert de L2 de dimension 2 engendré
par 1 et X
)
Une base orthonormale de cet espace est (1, X −E(X
).
σX
La projection est donc
)
)
( X −E(X
| Y ) X −E(X
) + (1 | Y )1 = Cov(X , Y ) X −E(X ) ) + E(Y )
σX
σX
Var(X )
C’est la fameuse droite des moindres carrés. Le problème
se généralise en dimension supérieure.
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Généralités sur les modèles
Modèles binomiaux
Modèles gaussiens
Modèles de files d’attente
Outline
1
Introduction
Objectifs de l’exposé
Ce que nous savons tous sur les probas
2
Modèles d’états classiques
Généralités sur les modèles
Modèles binomiaux
Modèles gaussiens
Modèles de files d’attente
3
Théorèmes de convergence (fondamentaux en statistique)
4
Estimation statistique
Estimation statistique
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Généralités sur les modèles
Modèles binomiaux
Modèles gaussiens
Modèles de files d’attente
Définition de la loi binomiale
Soit (X1 , ..., Xn ) n variables aléatoires iid (indépendantes,
identiquement distribuées) à valeurs dans {0, 1} telles que
P(Xi = 1) = p
La loi de S = X1 + ... + Xn est une
loibinomiale de
n
paramètres n et p: P(S = k ) =
pk (1 − p)n−k
k
E(S) =
np
On a
Var(S) = np(1 − p)
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Généralités sur les modèles
Modèles binomiaux
Modèles gaussiens
Modèles de files d’attente
Exemple d’application
Problème
n machines fonctionnent en parallèle. Chacune a une
probabilité p de tomber en panne et doit alors être remplacée
par une machine en stock sous peine d’un coût par défaillance
de K > 1. Le coût d’un stock de k machines est k .
Quel doit être le stock optimal pour le critère du coût moyen ?
n
X
n
pj (1 − p)n−j (j − k )K
C(k ) = k +
j
j=k +1
n
X
n
k < n ⇒ C(k + 1) − C(k ) = 1 − K
pj (1 − p)n−j
j
j=k +1
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Généralités sur les modèles
Modèles binomiaux
Modèles gaussiens
Modèles de files d’attente
Outline
1
Introduction
Objectifs de l’exposé
Ce que nous savons tous sur les probas
2
Modèles d’états classiques
Généralités sur les modèles
Modèles binomiaux
Modèles gaussiens
Modèles de files d’attente
3
Théorèmes de convergence (fondamentaux en statistique)
4
Estimation statistique
Estimation statistique
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Généralités sur les modèles
Modèles binomiaux
Modèles gaussiens
Modèles de files d’attente
Définition d’un vecteur gaussien
La loi gaussienne N (m, σ) est la loi de probabilité sur R de
densité x →
√1 e
2πσ
−
(x−m)2
2σ 2
Si X ∼ N (m, σ) alors E(X ) = m et Var(X ) = σ 2
On appelle vecteur aléatoire gaussien un vecteur
aléatoire X dans Rn tel que ∀u ∈ Rn , (u | X ) est gaussien.
R
On définit E(X ) = X (ω)dP(ω) et
ΓX = Cov(X ) = E(X ⊗ X ) − E(X ) ⊗ E(X ).
Si la matrice de covariance d’un vecteur gaussien
(n, 1), ΓX est régulière,
densité
ce vecteur a pour x→√
1
(2π)n |ΓX |
exp −
(x−E(X ))∗ Γ−1
X (x−E(X )
2
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Généralités sur les modèles
Modèles binomiaux
Modèles gaussiens
Modèles de files d’attente
Propriétés des modèles gaussiens
Une loi gaussienne sur Rn est complètement définie par
son espérance et sa matrice de covariance.
En particulier, si la covariance de deux transformées
linéaires d’un vecteur gaussien est nulle, ces vecteurs sont
indépendants
On a la stabilité linéaire du modèle gaussien:
~ , Γ) ⇒ AX + ~b ∼ N (Am
~ + ~b, AΓA∗ )
X ∼ N (m
En particulier la régression linéaire d’un vecteur gaussien
sur une de ses projections a un résidu gaussien. Ce résidu
est indépendant du vecteur de projection.
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Généralités sur les modèles
Modèles binomiaux
Modèles gaussiens
Modèles de files d’attente
Exemple de modèle gaussien: le filtre de Kalman
On commande une trajectoire cible affine à temps discrets
entachée d’une incertitude gaussienne en s’appuyant sur
des mesures liéaires de positions entachées de bruits de
mesure gaussiens
Xt+1 = At+1 (ut+1 )Xt + Bt+1 (ut+1 ) + Vt+1
Yt = CXt + Wt+1
Comment estimer au mieux la position du mobile ?
Comment déterminer la meilleure commande pour se
rapprocher d’un objectif-cible ou d’une trajectoire-cible ?
Des cas particuliers très simples (translation) sont
faisables rapidement en utilisant les propriétés
élementaires du modèle gaussien.
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Généralités sur les modèles
Modèles binomiaux
Modèles gaussiens
Modèles de files d’attente
Outline
1
Introduction
Objectifs de l’exposé
Ce que nous savons tous sur les probas
2
Modèles d’états classiques
Généralités sur les modèles
Modèles binomiaux
Modèles gaussiens
Modèles de files d’attente
3
Théorèmes de convergence (fondamentaux en statistique)
4
Estimation statistique
Estimation statistique
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Généralités sur les modèles
Modèles binomiaux
Modèles gaussiens
Modèles de files d’attente
Propriétés élémentaires du processus de Poisson
On considère une suite de variables aléatoires réelles
positives iid Vi de densité exponentielle de paramètre λ:
t ∈ R+ → λe−λt d’espérance λ1 et d’écart-type λ1 .
Ces loi représentent les intertemps d’occurence d’un
phénomène aléatoire se répétant (arrivées de clients,
appels à un central...)
On montre que si N[a,b] est le nombre d’occurences dans
l’intervalle de temps [a, b], N[a,b] suit une loi de Poisson
d’espérance λ(b − a) et de variance λ(b − q) et que les
nombres d’occurence associées à des intervammes de
temps disjoints sont indépendants.
Ce processus aléatoire est appeléz le processus de
Poisson de paramètre λ.
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Généralités sur les modèles
Modèles binomiaux
Modèles gaussiens
Modèles de files d’attente
Exemple de file d’attente
On considére des clients arrivant suivant un processus de
Poisson de paramètre λ à un centre de service.
Ces clients sont pris en charge par p serveurs travaillant
indépendamment et satisfaisnat le client au bout d’un
temps de service suivant une loi exponentielle de
paramètre µ.
Les clients arrivant alors que otus les serveurs sont
occupés forment une file d’attente en attendant qu’un
serveur se libère.
Si la longueur de cette file est bornée, les clients sont
perdus.
De nombreuses questions peuvent se poser et notamment
l’identification d’un régime stationnaire (longueur de file
d’attente, temps d’attente moyen....)
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Convergence des variables aléatoires et des lois de
probabilité
Une suite de lois de probabilité Pn sur Ω converge
faiblement
vers P si pour
R
R toute variable aléatoire bornée X ,
on a X (ω)dPn (ω) → X (ω)dP(ω)
Une suite de variables aléatoires Xn converge en
probabilité vers X si ∀ > 0, P(k Xn − X k> ) → 0
La convergence en probabilité des variables aléatoires
entraîne la convergence faible de leurs lois de probabilité.
La convergence en moyenne ou en moyenne quadratique
(mq) des variables aléatoires entraîne leur convergence en
probabilité
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Loi des grands nombres
Soit Xn une suite iid de variables aléatoires de L2 , la
n
moyenne empirique X n = X1 +...+X
converge en mq vers
n
E(X ).
La loi des grands nombres en mq entraîne la loi faible des
grands nombres
La vitesse de convergence est un souci pratique important.
En pratique la vitesse théorique de pire cas en √1n est très
sous-estimée (voir théorème central-limite).
On a P(| X − E(X ) |> 3σX ) < 0.12 mais si X est gaussien
P(| X − E(X ) |> 3σX ) < 0.003
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Théorème central-limite
Théorème
Soit Xn une suite iid de variables aléatoires de L2 , la suite
)
√
converge faiblement vers la loi de Gauss centrée
Zn = X nσ−E(X
X n
réduite N (0, 1).
La loi des grands nombres et le théorème central limite ne
sont pas seulement valables pour les suites iid
(échantillons statistiques classiques) mais s’étendent à de
nombreux processus stationnaires ergodiques (en
particulier aux processus de Markov) )
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Estimation statistique
Outline
1
Introduction
Objectifs de l’exposé
Ce que nous savons tous sur les probas
2
Modèles d’états classiques
Généralités sur les modèles
Modèles binomiaux
Modèles gaussiens
Modèles de files d’attente
3
Théorèmes de convergence (fondamentaux en statistique)
4
Estimation statistique
Estimation statistique
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Estimation statistique
Définition de l’estimation paramétrique
On veut estimer le(s) paramètre(s) λ d’une loi de
probabilité à partir d’un échantillon de cette loi par exemple
(X1 , ..., Xn ) un échantillon iid de taille n
Si la paramètre est l’espérance de la loi, la moyenne
empirique X n est un estimateur naturel.
Pn
2
De même la variance empirique Sn2 = n1
i=1 (Xi − X n )
est un estimateur naturel de la variance de la loi.
Plus généralement, on appelle estimateur
Tn = Fn (X1 , ..., Xn ) toute fonction de l’échantillon dans
l’espace de valeurs du paramètre (ou suite de fonctions
indexée par la taille de l ’échantillon si elle est variable)
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Estimation statistique
Propriétés élémentaires de l’estimation paramétrique
On appelle biais de l’estimateur Tn la quantité
Biais(Tn ) = E(Tn ) − λ
Par exemple Biais(X n ) = 0 et on peut prouver
2
Biais(Sn2 ) = − σn
On montre facilement (Huygens probabiliste)
E(Tn − λ)2 = Biais(Tn )2 + Var(Tn )
A la démarche traditionnelle consistant à rechercher
l’ESBM (estimateur sans biais de variance minimale) on
préfère la démarche du compromis biais- variance
consistant à utiliser une connaissance incertaine (donc
biaisée) pour r’eduire la variance surtout si le nombre
d’observations est faible.
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;
Introduction
Modèles d’états classiques
Théorèmes de convergence (fondamentaux en statistique)
Estimation statistique
Estimation statistique
Estimateur du maximum de vraisemblance
La vraisemblance d’un échantillon donné (x1 , ..., xn ) est la
fonction qui associeau paramètre λ la probabilité (discrète)
de l’échantillon ou sa densité de probabilité:
`(λ, x1 , ..., xn ) = f (x1 , λ)...f (xn , λ)
L’estimateur du maximum de vraisemblance (MLE) est
l’estimateur associant à l’échantillon la valeur du
paramètre maximisant la vraisemblance de cet échantillon:
λ̂ = arg max `(λ, x1 , ..., xn )
λ
Manuel Samuelides, Professeur à l’ISAE [email protected] aux probabilités et aux statistiques;