Journées d’étude Météo-SMAI-DSNA, Toulouse Méthodes particulaires et fusion de données François Caron INRIA Bordeaux Institut de Mathématiques de Bordeaux 8 mars 2010 François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 1 / 67 Plan 1 Introduction 2 Algorithmes pour la fusion bayésienne de données Algorithmes déterministes Filtrage particulaire 3 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Application à la localisation d’un véhicule terrestre François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 2 / 67 Introduction Plan 1 Introduction 2 Algorithmes pour la fusion bayésienne de données Algorithmes déterministes Filtrage particulaire 3 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Application à la localisation d’un véhicule terrestre François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 3 / 67 Introduction Introduction Etat caché xt (t = 0, . . .) qui n’est pas directement observable ... xt−1 xt Non observable Observable François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 4 / 67 Introduction Introduction Etat caché xt (t = 0, . . .) qui n’est pas directement observable Exemple Position et vitesse d’un véhicule xt = {Xt , Yt , Ẋt , Ẏt } ... xt−1 xt Non observable Observable François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 4 / 67 Introduction Introduction Etat caché xt (t = 0, . . .) qui n’est pas directement observable Mesures zt (t = 1, . . .) Exemple Position et vitesse d’un véhicule xt = {Xt , Yt , Ẋt , Ẏt } ... xt−1 xt Non observable Observable ... François Caron (INRIA) zt−1 zt Méthodes particulaires et fusion de données 8 Mars 2010 4 / 67 Introduction Introduction Etat caché xt (t = 0, . . .) qui n’est pas directement observable Mesures zt (t = 1, . . .) Exemple Position et vitesse d’un véhicule xt = {Xt , Yt , Ẋt , Ẏt } Capteur délivrant la vitesse du véhicule ... xt−1 xt Non observable Observable ... François Caron (INRIA) zt−1 zt Méthodes particulaires et fusion de données 8 Mars 2010 4 / 67 Introduction Introduction Objectif Estimer à chaque instant t la séquence x0:t à partir ... xt−1 xt Non observable Observable ... François Caron (INRIA) zt−1 zt Méthodes particulaires et fusion de données 8 Mars 2010 5 / 67 Introduction Introduction Objectif Estimer à chaque instant t la séquence x0:t à partir des observations z1:t (filtrage) ... xt−1 xt Non observable Observable ... François Caron (INRIA) zt−1 zt Méthodes particulaires et fusion de données 8 Mars 2010 5 / 67 Introduction Introduction Objectif Estimer à chaque instant t la séquence x0:t à partir des observations z1:t (filtrage) des observations z1:T , T ≥ t (lissage) ... xt−1 xt Non observable Observable ... François Caron (INRIA) zt−1 zt Méthodes particulaires et fusion de données 8 Mars 2010 5 / 67 Introduction Introduction Objectif Estimer à chaque instant t la séquence x0:t à partir des observations z1:t (filtrage) des observations z1:T , T ≥ t (lissage) Modèles stochastiques ... xt−1 xt Non observable Observable ... François Caron (INRIA) zt−1 zt Méthodes particulaires et fusion de données 8 Mars 2010 5 / 67 Introduction Introduction Objectif Estimer à chaque instant t la séquence x0:t à partir des observations z1:t (filtrage) des observations z1:T , T ≥ t (lissage) Modèles stochastiques Ï Modèle de mesure p(zt |xt ) ... xt−1 xt Non observable ? ... François Caron (INRIA) zt−1 ? Observable zt Méthodes particulaires et fusion de données 8 Mars 2010 5 / 67 Introduction Introduction Objectif Estimer à chaque instant t la séquence x0:t à partir des observations z1:t (filtrage) des observations z1:T , T ≥ t (lissage) Modèles stochastiques Ï Ï Modèle de mesure p(zt |xt ) Modèle d’évolution p(xt |xt−1 ) ... - xt−1 - xt Non observable ? ... François Caron (INRIA) zt−1 ? Observable zt Méthodes particulaires et fusion de données 8 Mars 2010 5 / 67 Introduction Introduction Objectif Estimer à chaque instant t la séquence x0:t à partir des observations z1:t (filtrage) des observations z1:T , T ≥ t (lissage) Modèles stochastiques Ï Ï Modèle de mesure p(zt |xt ) Modèle d’évolution p(xt |xt−1 ) Modèle de Markov caché ... - xt−1 - xt Non observable ? ... François Caron (INRIA) zt−1 ? Observable zt Méthodes particulaires et fusion de données 8 Mars 2010 5 / 67 Introduction Introduction Modèle de mesure zt = h(xt ) + wt avec wt le bruit de mesure aléatoire ... - xt−1 - xt Non observable ? ... François Caron (INRIA) zt−1 ? Observable zt Méthodes particulaires et fusion de données 8 Mars 2010 6 / 67 Introduction Introduction Modèle de mesure zt = h(xt ) + wt avec wt le bruit de mesure aléatoire Modèle d’évolution xt+1 = f (xt , vt ) avec vt le bruit d’évolution aléatoire ... - xt−1 - xt Non observable ? ... François Caron (INRIA) zt−1 ? Observable zt Méthodes particulaires et fusion de données 8 Mars 2010 6 / 67 Introduction Introduction Exemple Modèle de mesure du capteur de vitesse q zt = Ẋt2 + Ẏt2 + wt François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 7 / 67 Introduction Introduction Exemple Modèle de mesure du capteur de vitesse q zt = Ẋt2 + Ẏt2 + wt Modèle d’évolution Ẋt+1 ∆t 2 Ẍt 2 ∆t 2 = Yt + ∆t Ẏt + Ÿt 2 = Ẋt + ∆t Ẍt Ẏt+1 = Ẏt + ∆t Ÿt Xt+1 Yt+1 = Xt + ∆t Ẋt + avec vt = {Ẍt , Ÿt } François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 7 / 67 Introduction Inférence bayésienne Inférence bayésienne : incertitude sur la séquence x0:t après l’observation des mesures z1:t est représentée par la densité de probabilité a posteriori p(x0:t |z1:t ) François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 8 / 67 Introduction Inférence bayésienne Inférence bayésienne : incertitude sur la séquence x0:t après l’observation des mesures z1:t est représentée par la densité de probabilité a posteriori p(x0:t |z1:t ) Celle-ci s’exprime selon p(x0:t |z1:t ) ∝ p(x0:t )p(z1:t |x0:t ) François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 8 / 67 Introduction Inférence bayésienne Inférence bayésienne : incertitude sur la séquence x0:t après l’observation des mesures z1:t est représentée par la densité de probabilité a posteriori p(x0:t |z1:t ) Celle-ci s’exprime selon p(x0:t |z1:t ) ∝ p(x0:t )p(z1:t |x0:t ) Solution analytique fournie par le filtre de Kalman dans le cas de modèles linéaires à bruits additifs gaussiens François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 8 / 67 Introduction Inférence bayésienne Inférence bayésienne : incertitude sur la séquence x0:t après l’observation des mesures z1:t est représentée par la densité de probabilité a posteriori p(x0:t |z1:t ) Celle-ci s’exprime selon p(x0:t |z1:t ) ∝ p(x0:t )p(z1:t |x0:t ) Solution analytique fournie par le filtre de Kalman dans le cas de modèles linéaires à bruits additifs gaussiens Dans le cas général : approximation numérique de cette densité François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 8 / 67 Introduction Inférence bayésienne Inférence bayésienne : incertitude sur la séquence x0:t après l’observation des mesures z1:t est représentée par la densité de probabilité a posteriori p(x0:t |z1:t ) Celle-ci s’exprime selon p(x0:t |z1:t ) ∝ p(x0:t )p(z1:t |x0:t ) Solution analytique fournie par le filtre de Kalman dans le cas de modèles linéaires à bruits additifs gaussiens Dans le cas général : approximation numérique de cette densité Ï Méthodes de Monte Carlo François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 8 / 67 Introduction Méthodes de Monte Carlo Méthodes de Monte Carlo : Approximation de la distribution a (i) posteriori par un ensemble de N points pondérés {x0:t , w(i) } (i = 1, . . . , N) N X PN (dx0:t |z1:t ) = w(i) δx(i) (dx0:t ) i=1 François Caron (INRIA) 0:t Méthodes particulaires et fusion de données 8 Mars 2010 9 / 67 Introduction Méthodes de Monte Carlo Méthodes de Monte Carlo : Approximation de la distribution a (i) posteriori par un ensemble de N points pondérés {x0:t , w(i) } (i = 1, . . . , N) N X PN (dx0:t |z1:t ) = w(i) δx(i) (dx0:t ) i=1 0:t Comment générer ces échantillons ? François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 9 / 67 Introduction Méthodes de Monte Carlo Méthodes de Monte Carlo : Approximation de la distribution a (i) posteriori par un ensemble de N points pondérés {x0:t , w(i) } (i = 1, . . . , N) N X PN (dx0:t |z1:t ) = w(i) δx(i) (dx0:t ) i=1 0:t Comment générer ces échantillons ? Ï Markov Chain Monte Carlo (itérative) François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 9 / 67 Introduction Méthodes de Monte Carlo Méthodes de Monte Carlo : Approximation de la distribution a (i) posteriori par un ensemble de N points pondérés {x0:t , w(i) } (i = 1, . . . , N) N X PN (dx0:t |z1:t ) = w(i) δx(i) (dx0:t ) i=1 0:t Comment générer ces échantillons ? Ï Ï Markov Chain Monte Carlo (itérative) Méthodes de Monte Carlo séquentielles François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 9 / 67 Introduction Cadre multicapteur Un seul capteur est en général incapable de fournir une information complète sur un phénomène donné - + xt−1 ? - ~ z1,t−1 . . . zk,t−1 . . . zn,t−1 François Caron (INRIA) + z1,t xt - ~ ? ... Méthodes particulaires et fusion de données zk,t ... zn,t 8 Mars 2010 10 / 67 Introduction Cadre multicapteur Un seul capteur est en général incapable de fournir une information complète sur un phénomène donné On considère donc plusieurs capteurs k délivrant chacun une mesure zk,t (k = 1, . . . , n) et des modèles de mesure p(zk,t |xt ) - + xt−1 ? - ~ z1,t−1 . . . zk,t−1 . . . zn,t−1 François Caron (INRIA) + z1,t xt - ~ ? ... Méthodes particulaires et fusion de données zk,t ... zn,t 8 Mars 2010 10 / 67 Introduction Modèles d’observation multiples La relation entre l’état caché xt et la mesure zk,t est donnée par le modèle de mesure p(zk,t |xt ) François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 11 / 67 Introduction Modèles d’observation multiples La relation entre l’état caché xt et la mesure zk,t est donnée par le modèle de mesure p(zk,t |xt ) Cette relation peut être amenée à évoluer en fonction de l’environnement extérieur François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 11 / 67 Introduction Modèles d’observation multiples La relation entre l’état caché xt et la mesure zk,t est donnée par le modèle de mesure p(zk,t |xt ) Cette relation peut être amenée à évoluer en fonction de l’environnement extérieur Exemple Ï Caméra en fonction de la luminosité Ï Radar en fonction des conditions météorologiques François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 11 / 67 Introduction Modèles d’observation multiples La relation entre l’état caché xt et la mesure zk,t est donnée par le modèle de mesure p(zk,t |xt ) Cette relation peut être amenée à évoluer en fonction de l’environnement extérieur Exemple Ï Caméra en fonction de la luminosité Ï Radar en fonction des conditions météorologiques Dysfonctionnement du capteur François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 11 / 67 Introduction Modèles d’observation multiples La relation entre l’état caché xt et la mesure zk,t est donnée par le modèle de mesure p(zk,t |xt ) Cette relation peut être amenée à évoluer en fonction de l’environnement extérieur Exemple Ï Caméra en fonction de la luminosité Ï Radar en fonction des conditions météorologiques Dysfonctionnement du capteur Exemple Ï GPS en cas de trajets multiples Ï Exploration en environnement hostile et/ou inconnu (exploration martienne) François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 11 / 67 Introduction Modèles d’observation multiples François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 12 / 67 Introduction Modèles d’observation multiples François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 12 / 67 Introduction Modèles d’observation multiples François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 12 / 67 Introduction Modèles d’observation multiples François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 12 / 67 Introduction Modèles d’observation multiples François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 12 / 67 Algorithmes pour la fusion bayésienne de données Plan 1 Introduction 2 Algorithmes pour la fusion bayésienne de données Algorithmes déterministes Filtrage particulaire 3 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Application à la localisation d’un véhicule terrestre François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 13 / 67 Algorithmes pour la fusion bayésienne de données Algorithmes déterministes Récursions bayésiennes La densité de filtrage p(xt |z1:t ) vérifie les récursions suivantes, en deux étapes 1 La densité de probabilité de filtrage p(xt |z1:t ) est obtenue par la règle de Bayes p(xt |z1:t−1 )p(zt |xt ) p(xt |z1:t ) = R (1) X p(xt |z1:t−1 )p(zt |xt )dxt 2 La densité de probabilité de prédiction à un pas p(xt+1 |z1:t ) est obtenue par l’équation de Chapman-Kolmogorov Z p(xt+1 |z1:t ) = p(xt+1 |xt )p(xt |z1:t )dxt (2) X François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 14 / 67 Algorithmes pour la fusion bayésienne de données Algorithmes déterministes Filtre de Kalman Dans le cas de modèles linéaires et gaussiens xt+1 = Ft xt + Ct ut + Gt vt (3) zt = Ht xt + wt (4) les équations de récurrence (1) et (2) sont calculables analytiquement, et les densités de filtrage/lissage sont gaussiennes p(xt−1 |z1:t−1 ) = N (xt−1 ; b xt−1|t−1 , Σt−1|t−1 ) p(xt |z1:t−1 ) = N (xt ; b xt|t−1 , Σt|t−1 ) p(xt |z1:t ) = N (xt ; b xt|t , Σt|t ) François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 15 / 67 Algorithmes pour la fusion bayésienne de données Algorithmes déterministes Filtre de Kalman Le filtre de Kalman donne la relation de récurrence entre les moments successifs b xt|t−1 = Ft−1 b xt−1|t−1 + Ct−1 ut−1 T T Σt|t−1 = Ft−1 Σt−1|t−1 Ft−1 + Gt−1 Qt−1 Gt−1 et b xt|t = b xt|t−1 + Kt νt Σt|t = Σt|t−1 − Kt St KtT Kt est le gain de Kalman défini à l’instant t par £ ¤−1 Kt = Σt|t−1 HtT Ht Σt|t−1 HtT + Rt νt est l’innovation νt = zt − Ht b xt|t−1 de matrice de covariance St = Ht Σt|t−1 HtT + Rt François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 16 / 67 Algorithmes pour la fusion bayésienne de données Algorithmes déterministes Filtrage de Kalman multicapteur A chaque capteur est associé un modèle de mesure différent. On suppose que l’on dispose d’un modèle d’évolution défini par xt+1 = Ft xt + Ct ut + Gt vt et de n modèles de mesure linéaires définis par zk,t = Hk,t xt + wk,t , k = 1..n avec wk,t un bruit blanc gaussien centré de matrice de covariance connue Rk,t h i . Du fait des indépendances conditionnelles, on a T E wi,t wj,t = 0, ∀i, j. François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 17 / 67 Algorithmes pour la fusion bayésienne de données Algorithmes déterministes Filtrage de Kalman multicapteur Trois approches sont envisageables pour utiliser le formalisme du filtre de Kalman en fusion multicapteur Ï Ï Ï regrouper toutes les observations sous un seul vecteur et appliquer directement les équations du filtre de Kalman, considérer chaque observation individuellement et faire la fusion séquentiellement, utiliser l’algorithme du filtre de Kalman multicapteur. François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 18 / 67 Algorithmes pour la fusion bayésienne de données Algorithmes déterministes Filtrage de Kalman multicapteur Capteur Groupe Regroupement de toutes les mesures et modèles de mesure sous un seul capteur, appelé capteur "groupe" z1,t H1,t w1,t zt = ... , Ht = ... , wt = ... zn,t Hn,t wn,t £ ¤ T Rt = E wt wt = blockdiag(R1,t , .., Rn,t ) On obtient alors un seul modèle de mesure "groupe" zt = Ht xt + wt et l’on peut appliquer les équations du filtre de Kalman. P Si zk,t est de dimension lk , St est de dimension l × l avec l = nk=1 lk . Cette matrice doit être inversée pour calculer le gain de Kalman → Complexité en O(l3 ) Approche simple mais peu appropriée lorsque le nombre de capteurs augmente François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 19 / 67 Algorithmes pour la fusion bayésienne de données Algorithmes déterministes Filtrage de Kalman multicapteur Capteur séquentiel Faire un pas de mise à jour de Kalman pour chaque mesure Appropriée pour un faible nombre de capteurs François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 20 / 67 Algorithmes pour la fusion bayésienne de données Algorithmes déterministes Filtrage de Kalman multicapteur Filtre de Kalman multicapteur Reformulation du filtre de Kalman 1 Estimation b xt|t = b xt|t−1 + n X Kk,t νk,t k=1 n X −1 Σ−1 t|t = Σt|t−1 + k=1 T −1 Rk,t Hk,t Hk,t avec νk,t = zk,t − Hk,t b xt|t−1 T −1 Kk,t = Σt|t Hk,t Rk,t 2 Prédiction identique à Kalman monocapteur Complexité de l’algorithme en O(p3 + François Caron (INRIA) Pn l3 ) k=1 k Méthodes particulaires et fusion de données 8 Mars 2010 21 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Introduction Méthodes de Monte Carlo séquentielles Population de particules en interaction François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 22 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Introduction Méthodes de Monte Carlo séquentielles Population de particules en interaction Deux mécanismes stochastiques François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 22 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Introduction Méthodes de Monte Carlo séquentielles Population de particules en interaction Deux mécanismes stochastiques Ï Mutation : les particules explorent de façon aléatoire leur environnement François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 22 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Introduction Méthodes de Monte Carlo séquentielles Population de particules en interaction Deux mécanismes stochastiques Ï Ï Mutation : les particules explorent de façon aléatoire leur environnement Sélection : Duplication des particules les mieux adaptées et mort des particules moins bien adaptées François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 22 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Introduction Méthodes de Monte Carlo séquentielles Population de particules en interaction Deux mécanismes stochastiques Ï Ï Mutation : les particules explorent de façon aléatoire leur environnement Sélection : Duplication des particules les mieux adaptées et mort des particules moins bien adaptées Applications François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 22 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Introduction Méthodes de Monte Carlo séquentielles Population de particules en interaction Deux mécanismes stochastiques Ï Ï Mutation : les particules explorent de façon aléatoire leur environnement Sélection : Duplication des particules les mieux adaptées et mort des particules moins bien adaptées Applications Ï Inférence bayésienne, filtrage : filtrage particulaire François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 22 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Introduction Méthodes de Monte Carlo séquentielles Population de particules en interaction Deux mécanismes stochastiques Ï Ï Mutation : les particules explorent de façon aléatoire leur environnement Sélection : Duplication des particules les mieux adaptées et mort des particules moins bien adaptées Applications Ï Ï Inférence bayésienne, filtrage : filtrage particulaire Optimisation, recherche stochastique : recuit simulé non linéaire François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 22 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Introduction Méthodes de Monte Carlo séquentielles Population de particules en interaction Deux mécanismes stochastiques Ï Ï Mutation : les particules explorent de façon aléatoire leur environnement Sélection : Duplication des particules les mieux adaptées et mort des particules moins bien adaptées Applications Ï Ï Inférence bayésienne, filtrage : filtrage particulaire Optimisation, recherche stochastique : recuit simulé non linéaire Nombreux résultats théoriques ces 15 dernières années François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 22 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Introduction Méthodes de Monte Carlo séquentielles Population de particules en interaction Deux mécanismes stochastiques Ï Ï Mutation : les particules explorent de façon aléatoire leur environnement Sélection : Duplication des particules les mieux adaptées et mort des particules moins bien adaptées Applications Ï Ï Inférence bayésienne, filtrage : filtrage particulaire Optimisation, recherche stochastique : recuit simulé non linéaire Nombreux résultats théoriques ces 15 dernières années Ï Convergence asymptotique François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 22 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Introduction Méthodes de Monte Carlo séquentielles Population de particules en interaction Deux mécanismes stochastiques Ï Ï Mutation : les particules explorent de façon aléatoire leur environnement Sélection : Duplication des particules les mieux adaptées et mort des particules moins bien adaptées Applications Ï Ï Inférence bayésienne, filtrage : filtrage particulaire Optimisation, recherche stochastique : recuit simulé non linéaire Nombreux résultats théoriques ces 15 dernières années Ï Ï Convergence asymptotique Vitesses de convergence François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 22 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Approximation de Monte Carlo De façon générale, calcul d’intégrales de type Z Ep(x0:t |z1:t ) [h] = h(x0:t )p(x0:t |z1:t )dx0:t (5) X t+1 François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 23 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Approximation de Monte Carlo De façon générale, calcul d’intégrales de type Z Ep(x0:t |z1:t ) [h] = h(x0:t )p(x0:t |z1:t )dx0:t (5) X t+1 Méthodes basées sur une grille non adaptées François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 23 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Approximation de Monte Carlo De façon générale, calcul d’intégrales de type Z Ep(x0:t |z1:t ) [h] = h(x0:t )p(x0:t |z1:t )dx0:t (5) X t+1 Méthodes basées sur une grille non adaptées Méthodes de Monte Carlo François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 23 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Approximation de Monte Carlo De façon générale, calcul d’intégrales de type Z Ep(x0:t |z1:t ) [h] = h(x0:t )p(x0:t |z1:t )dx0:t (5) X t+1 Méthodes basées sur une grille non adaptées Méthodes de Monte Carlo Ï Simuler N variables e x(i) 0:t e x(i) 0:t ∼ p(x0:t |z1:t ) pour i = 1, .., N François Caron (INRIA) Méthodes particulaires et fusion de données (6) 8 Mars 2010 23 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Approximation de Monte Carlo De façon générale, calcul d’intégrales de type Z Ep(x0:t |z1:t ) [h] = h(x0:t )p(x0:t |z1:t )dx0:t (5) X t+1 Méthodes basées sur une grille non adaptées Méthodes de Monte Carlo Ï Simuler N variables e x(i) 0:t e x(i) 0:t ∼ p(x0:t |z1:t ) pour i = 1, .., N Ï (6) Approcher l’intégrale par Ep(x0:t |z1:t ) [h] ≈ François Caron (INRIA) N 1 X h(e x(i) 0:t ) N i=1 Méthodes particulaires et fusion de données (7) 8 Mars 2010 23 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Approximation de Monte Carlo L’intégration de Monte Carlo est fondée sur l’approximation de p(x0:t |z1:t ) par N 1 X pN (x0:t |z1:t ) = δ (i) (dx0:t ) N i=1 ex0:t (8) où δx (·) est la mesure de Dirac au point x. François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 24 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Approximation de Monte Carlo François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 25 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Approximation de Monte Carlo Propriétés L’estimée est asymptotiquement convergente, i.e. converge vers Ep(x0:t |z1:t ) [h] p.s. François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 26 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Approximation de Monte Carlo Propriétés L’estimée est asymptotiquement convergente, i.e. converge vers Ep(x0:t |z1:t ) [h] p.s. Théorème de la limite centrale (vitesse de convergence) p dist. N(Ep(x0:t |z1:t ) [h] − EpN (x0:t |z1:t ) [h]) → N (0, Vp(x0:t |z1:t ) [h]) François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 26 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Approximation de Monte Carlo Propriétés L’estimée est asymptotiquement convergente, i.e. converge vers Ep(x0:t |z1:t ) [h] p.s. Théorème de la limite centrale (vitesse de convergence) p dist. N(Ep(x0:t |z1:t ) [h] − EpN (x0:t |z1:t ) [h]) → N (0, Vp(x0:t |z1:t ) [h]) Vitesse de convergence indépendante de la dimension de l’espace François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 26 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Approximation de Monte Carlo Propriétés L’estimée est asymptotiquement convergente, i.e. converge vers Ep(x0:t |z1:t ) [h] p.s. Théorème de la limite centrale (vitesse de convergence) p dist. N(Ep(x0:t |z1:t ) [h] − EpN (x0:t |z1:t ) [h]) → N (0, Vp(x0:t |z1:t ) [h]) Vitesse de convergence indépendante de la dimension de l’espace Problème : il est en général impossible d’échantillonner selon p(x0:t |z1:t ) François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 26 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Echantillonnage d’importance Soit π(x0:t |z1:t ) une densité de probabilité simple telle que π(x0:t |z1:t ) > 0 quand p(x0:t |z1:t ) > 0. François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 27 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Echantillonnage d’importance Soit π(x0:t |z1:t ) une densité de probabilité simple telle que π(x0:t |z1:t ) > 0 quand p(x0:t |z1:t ) > 0. On a Ep(x0:t |z1:t ) [h] = Z ZX = t+1 X t+1 h(x0:t )p(x0:t |z1:t )dx0:t h(x0:t ) p(x0:t |z1:t ) π(x0:t |z1:t )dx0:t π(x0:t |z1:t ) Z = François Caron (INRIA) X t+1 h(x0:t )w(x0:t )π(x0:t |z1:t )dx0:t Méthodes particulaires et fusion de données 8 Mars 2010 27 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Echantillonnage d’importance Ep(x0:t |z1:t ) [h] = = François Caron (INRIA) Z ZX t+1 X t+1 h(x0:t ) p(x0:t |z1:t ) π(x0:t |z1:t )dx0:t π(x0:t |z1:t ) h(x0:t )w(x0:t )π(x0:t |z1:t )dx0:t Méthodes particulaires et fusion de données 8 Mars 2010 28 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Echantillonnage d’importance Ep(x0:t |z1:t ) [h] = = Z ZX t+1 X t+1 h(x0:t ) p(x0:t |z1:t ) π(x0:t |z1:t )dx0:t π(x0:t |z1:t ) h(x0:t )w(x0:t )π(x0:t |z1:t )dx0:t Approximation de p(x0:t |z1:t ) par la distribution empirique pN (x0:t |z1:t ) = N X i=1 e (i) δex(i) (dx0:t ) w 0:t avec François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 28 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Echantillonnage d’importance Ep(x0:t |z1:t ) [h] = = Z ZX t+1 X t+1 h(x0:t ) p(x0:t |z1:t ) π(x0:t |z1:t )dx0:t π(x0:t |z1:t ) h(x0:t )w(x0:t )π(x0:t |z1:t )dx0:t Approximation de p(x0:t |z1:t ) par la distribution empirique pN (x0:t |z1:t ) = N X i=1 e (i) δex(i) (dx0:t ) w 0:t avec Ï e x(i) 0:t ∼ π(x0:t |z1:t ), i = 1 . . . N, François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 28 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Echantillonnage d’importance Ep(x0:t |z1:t ) [h] = = Z ZX t+1 X t+1 h(x0:t ) p(x0:t |z1:t ) π(x0:t |z1:t )dx0:t π(x0:t |z1:t ) h(x0:t )w(x0:t )π(x0:t |z1:t )dx0:t Approximation de p(x0:t |z1:t ) par la distribution empirique pN (x0:t |z1:t ) = N X i=1 e (i) δex(i) (dx0:t ) w 0:t avec Ï e x(i) 0:t ∼ π(x0:t |z1:t ), i = 1 . . . N, Ï e (i) = w François Caron (INRIA) p(e x(i) 0:t |z1:t ) π(e x(i) 0:t |z1:t ) Méthodes particulaires et fusion de données 8 Mars 2010 28 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Echantillonnage d’importance Ep(x0:t |z1:t ) [h] = = Z ZX t+1 X t+1 h(x0:t ) p(x0:t |z1:t ) π(x0:t |z1:t )dx0:t π(x0:t |z1:t ) h(x0:t )w(x0:t )π(x0:t |z1:t )dx0:t Approximation de p(x0:t |z1:t ) par la distribution empirique pN (x0:t |z1:t ) = N X i=1 e (i) δex(i) (dx0:t ) w 0:t avec Ï Ï Ï e x(i) 0:t ∼ π(x0:t |z1:t ), i = 1 . . . N, p(e x(i) |z1:t ) e (i) = 0:t w π(e x(i) 0:t |z1:t ) PN (i) e w = 1 i=1 François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 28 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Echantillonnage d’importance François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 29 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Echantillonnage d’importance séquentiel Approximation séquentielle de la densité a posteriori p(x0:t |z1:t ) = p(x0:t−1 |z1:t−1 ) François Caron (INRIA) p(zt |xt )p(xt |xt−1 ) p(zt |z1:t−1 ) Méthodes particulaires et fusion de données (9) 8 Mars 2010 30 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Echantillonnage d’importance séquentiel Approximation séquentielle de la densité a posteriori p(x0:t |z1:t ) = p(x0:t−1 |z1:t−1 ) p(zt |xt )p(xt |xt−1 ) p(zt |z1:t−1 ) (9) Densité d’importance πt (x0:t |z1:t ) = πt−1 (x0:t−1 |z1:t−1 )qt (xt |xt−1 , zt ) Q = π0 (x0 ) tj=1 qj (xj |xj−1 , zj ) François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 30 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Echantillonnage d’importance séquentiel Approximation séquentielle de la densité a posteriori p(x0:t |z1:t ) = p(x0:t−1 |z1:t−1 ) p(zt |xt )p(xt |xt−1 ) p(zt |z1:t−1 ) (9) Densité d’importance πt (x0:t |z1:t ) = πt−1 (x0:t−1 |z1:t−1 )qt (xt |xt−1 , zt ) Q = π0 (x0 ) tj=1 qj (xj |xj−1 , zj ) Au temps t, les poids sont donnés par (i) e t−1 e t(i) ∝ w w François Caron (INRIA) p(zt |e x(i) x(i) x(i) t )p(e t |e t−1 ) (10) qt (e x(i) x(i) t |e t−1 , zt ) Méthodes particulaires et fusion de données 8 Mars 2010 30 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Echantillonnage d’importance séquentiel R La valeur de l’intégrale Ep(x0:t |z1:t ) [h] = X t+1 h(x0:t )p(x0:t |z1:t )dx0:t est approchée par N X e t(i) h(e Ep(x0:t |z1:t ) [h] ' w x(i) (11) 0:t ) i=1 François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 31 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Echantillonnage d’importance séquentiel R La valeur de l’intégrale Ep(x0:t |z1:t ) [h] = X t+1 h(x0:t )p(x0:t |z1:t )dx0:t est approchée par N X e t(i) h(e Ep(x0:t |z1:t ) [h] ' w x(i) (11) 0:t ) i=1 L’estimée MMSE est donc approchée par b xMMSE t|t ' François Caron (INRIA) N X i=1 e t(i) e w x(i) t Méthodes particulaires et fusion de données (12) 8 Mars 2010 31 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Echantillonnage d’importance séquentiel La qualité de l’approximation peut être évaluée par l’Effective Sample Size (ESS) 1 ESSt = PN ³ (i) ´2 e i=1 wt François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 32 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Echantillonnage d’importance séquentiel La qualité de l’approximation peut être évaluée par l’Effective Sample Size (ESS) 1 ESSt = PN ³ (i) ´2 e i=1 wt 1 ≤ ESSt ≤ N François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 32 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Echantillonnage d’importance séquentiel La qualité de l’approximation peut être évaluée par l’Effective Sample Size (ESS) 1 ESSt = PN ³ (i) ´2 e i=1 wt 1 ≤ ESSt ≤ N Problème : la variance des poids augmente au cours du temps (ESSt → 1) François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 32 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Echantillonnage d’importance séquentiel et rééchantillonnage Rééchantillonnage : dupliquer les particules de forts poids et supprimer les particules de poids faibles François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 33 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Echantillonnage d’importance séquentiel et rééchantillonnage Rééchantillonnage : dupliquer les particules de forts poids et supprimer les particules de poids faibles Le nombre de fils de chaque particule n(i) est tiré aléatoirement de fils telle sorte que h i N X (i) e Ep(n(i) ) n(i) = N w avec n(i) =N t fils fils fils François Caron (INRIA) i=1 Méthodes particulaires et fusion de données 8 Mars 2010 33 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Echantillonnage d’importance séquentiel et rééchantillonnage Rééchantillonnage : dupliquer les particules de forts poids et supprimer les particules de poids faibles Le nombre de fils de chaque particule n(i) est tiré aléatoirement de fils telle sorte que h i N X (i) e Ep(n(i) ) n(i) = N w avec n(i) =N t fils fils fils i=1 Les échantillons x(i) 0:t sont approximativement distribués selon p(x0:t |z1:t ) mais statistiquement dépendants =⇒ plus difficile à étudier théoriquement François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 33 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Echantillonnage d’importance séquentiel et rééchantillonnage François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 34 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Algorithme de filtrage particulaire • Etape 1 Initialisation Pour i = 1, .., N, faire (i) Ï Générer x 0 Ï ∼ π0 (x0 ) Calculer le poids initial w0(i) = Calculer W0 = PN i=1 p(x(i) 0 ) π0 (x(i) 0 ) w(i) w0(i) et pour i = 1, .., N, faire w0(i) ← W0 0 • Etape 2 Itérations Pour t = 1, 2, ...faire Ï Pour i = 1, .., N faire % Mutation F F (i) Générer e x(i) t selon qt (xt |xt−1 , zt ) Mettre à jour les poids récursifs selon (i) e t(i) ∝ w e t−1 w (i) p(zt |e x(i) x(i) t )p(e t |xt−1 ) (i) qt (e x(i) t |xt−1 , zt ) P e (i) = 1, avec N w i=1 t % Rééchantillonnage/Sélection Ï Copier les particules de poids élevé et détruire les particules de poids faible pour obtenir 1 N nouvelles particules, notées sanse·. Les nouveaux poids sont wt(i) = N . François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 35 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Poursuite de cibles Modèle d’évolution (p(xt |xt−1 )) xt+1 = F · xt + G · bt 1 0 T 0 T 2 /2 0 0 1 0 T 0 T 2 /2 où xt = (pxt , pzt , vtx , vtz )T , F = , G = , 0 0 1 0 T 0 0 T 0 0 0 1 µ x ¶ at bt = un bruit blanc Gaussien de matrice de covariance Q = σ2b I2 . y at François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 36 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Poursuite de cibles Modèle de mesure (p(zt |xt )) zt = h(xt ) + wt pz arctan( pxt ) t et wt un bruit blanc où zt = (at , dt ), h(xt ) = q y (pxt )2 + (pt )2 µ 2 ¶ σa 0 Gaussien de matrice de covariance connue R = . 0 σ2d François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 37 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Poursuite de cibles Objectifs A chaque instant t et de façon séquentielle François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 38 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Poursuite de cibles Objectifs A chaque instant t et de façon séquentielle Ï Approcher la densité de filtrage p(xt |z1:t ) François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 38 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Poursuite de cibles Objectifs A chaque instant t et de façon séquentielle Ï Ï Approcher la densité de filtrage p(xt |z1:t ) Approcher xtMMSE = Ep(x0:t |z1:t ) [xt ] François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 38 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Poursuite de cibles François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 39 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Poursuite de cibles François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 39 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Poursuite de cibles François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 39 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Poursuite de cibles François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 39 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Poursuite de cibles François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 39 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Poursuite de cibles François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 39 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Poursuite de cibles François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 39 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Poursuite de cibles François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 39 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Poursuite de cibles François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 39 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Poursuite de cibles François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 39 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Poursuite de cibles François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 39 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Poursuite de cibles François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 39 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Poursuite de cibles François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 39 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Poursuite de cibles François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 39 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Poursuite de cibles François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 39 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Poursuite de cibles François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 39 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Poursuite de cibles François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 39 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Poursuite de cibles François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 39 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Poursuite de cibles François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 39 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Choix de la densité d’importance Son choix est crucial pour les performances de l’algorithme François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 40 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Choix de la densité d’importance Son choix est crucial pour les performances de l’algorithme Un mauvais choix va faire explorer des zones peu intéressantes par un grand nombre de particules et faire augmenter la variance des poids François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 40 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Choix de la densité d’importance François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 41 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Choix de la densité d’importance Loi d’évolution de l’état (i) qt (xt |x(i) t−1 , zt ) = p(xt |xt−1 ) François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 42 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Choix de la densité d’importance Loi d’évolution de l’état (i) qt (xt |x(i) t−1 , zt ) = p(xt |xt−1 ) Les poids sont simplement mis à jour par (i) e t(i) ∝ w e t−1 w p(zt |x(i) t ) François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 42 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Choix de la densité d’importance Loi d’évolution de l’état (i) qt (xt |x(i) t−1 , zt ) = p(xt |xt−1 ) Les poids sont simplement mis à jour par (i) e t(i) ∝ w e t−1 w p(zt |x(i) t ) + Facile à programmer François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 42 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Choix de la densité d’importance Loi d’évolution de l’état (i) qt (xt |x(i) t−1 , zt ) = p(xt |xt−1 ) Les poids sont simplement mis à jour par (i) e t(i) ∝ w e t−1 w p(zt |x(i) t ) + Facile à programmer – Ne tient pas compte de la nouvelle observation et est souvent peu efficace, conduisant à une variance élevée des poids. François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 42 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Choix de la densité d’importance Densité optimale (i) qt (xt |x(i) t−1 , zt ) = p(xt |xt−1 , zt ) François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 43 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Choix de la densité d’importance Densité optimale (i) qt (xt |x(i) t−1 , zt ) = p(xt |xt−1 , zt ) Les poids sont mis à jour par (i) e t(i) ∝ w e t−1 w p(zt |x(i) t−1 ) François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 43 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Choix de la densité d’importance Densité optimale (i) qt (xt |x(i) t−1 , zt ) = p(xt |xt−1 , zt ) Les poids sont mis à jour par (i) e t(i) ∝ w e t−1 w p(zt |x(i) t−1 ) + Densité d’importance optimale (minimise la variance des poids) François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 43 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Choix de la densité d’importance Densité optimale (i) qt (xt |x(i) t−1 , zt ) = p(xt |xt−1 , zt ) Les poids sont mis à jour par (i) e t(i) ∝ w e t−1 w p(zt |x(i) t−1 ) + Densité d’importance optimale (minimise la variance des poids) – Souvent impossible d’échantillonner selon cette loi François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 43 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Choix de la densité d’importance Densité optimale (i) qt (xt |x(i) t−1 , zt ) = p(xt |xt−1 , zt ) Les poids sont mis à jour par (i) e t(i) ∝ w e t−1 w p(zt |x(i) t−1 ) + Densité d’importance optimale (minimise la variance des poids) – Souvent impossible d’échantillonner selon cette loi En pratique, utiliser comme loi d’importance une approximation de la densité optimale François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 43 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Résultats de convergence Del Moral, 2004 Pour une fonction h bornée ¯¸ ·¯Z Z ¯ ¯ Ct khk ¯ E ¯ h(x0:t )p(x0:t |z1:t )dx0:t − h(x0:t )pN (x0:t |z1:t )dx0:t ¯¯ ≤ N X X François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 44 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Résultats de convergence Del Moral, 2004 Pour une fonction h bornée ¯¸ ·¯Z Z ¯ ¯ Ct khk ¯ E ¯ h(x0:t )p(x0:t |z1:t )dx0:t − h(x0:t )pN (x0:t |z1:t )dx0:t ¯¯ ≤ N X X Résultat peu utile car Ct explose au cours du temps François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 44 / 67 Algorithmes pour la fusion bayésienne de données Filtrage particulaire Résultats de convergence Del Moral, 2004 Pour une fonction h bornée ¯¸ ·¯Z Z ¯ ¯ Ct khk ¯ E ¯ h(x0:t )p(x0:t |z1:t )dx0:t − h(x0:t )pN (x0:t |z1:t )dx0:t ¯¯ ≤ N X X Résultat peu utile car Ct explose au cours du temps On a ¯¸ ·¯Z Z ¯ ¯ C khk ¯ E ¯ h(xt )p(x0:t |z1:t )dx0:t − h(xt )pN (x0:t |z1:t )dx0:t ¯¯ ≤ N X X sous des hypothèses d’ergodicité sur le modèle François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 44 / 67 Fusion de capteurs à modèles d’observation multiples Plan 1 Introduction 2 Algorithmes pour la fusion bayésienne de données Algorithmes déterministes Filtrage particulaire 3 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Application à la localisation d’un véhicule terrestre François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 45 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Problématique de cette partie 1 En supposant que chaque capteur commute entre plusieurs états de fonctionnement, comment estimer son état à chaque instant et la probabilité qu’il soit dans un tel état ? François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 46 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Problématique de cette partie 1 En supposant que chaque capteur commute entre plusieurs états de fonctionnement, comment estimer son état à chaque instant et la probabilité qu’il soit dans un tel état ? Pour chaque capteur k, on a dk modèles de mesure, définis pour un état de capteur ck,t ∈ {1, . . . , dk } par zk,t = hk,ck,t ,t (xt ) + wk,ck,t ,t François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 46 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Problématique de cette partie 1 En supposant que chaque capteur commute entre plusieurs états de fonctionnement, comment estimer son état à chaque instant et la probabilité qu’il soit dans un tel état ? Pour chaque capteur k, on a dk modèles de mesure, définis pour un état de capteur ck,t ∈ {1, . . . , dk } par zk,t = hk,ck,t ,t (xt ) + wk,ck,t ,t ck,t = 0 correspond à l’état de dysfonctionnement du capteur François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 46 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Problématique de cette partie 1 En supposant que chaque capteur commute entre plusieurs états de fonctionnement, comment estimer son état à chaque instant et la probabilité qu’il soit dans un tel état ? Pour chaque capteur k, on a dk modèles de mesure, définis pour un état de capteur ck,t ∈ {1, . . . , dk } par zk,t = hk,ck,t ,t (xt ) + wk,ck,t ,t ck,t = 0 correspond à l’état de dysfonctionnement du capteur dk + 1 états de fonctionnement pour chaque capteur k François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 46 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Modèle à saut Variable indicatrice discrète ck,t commande le modèle de mesure p(zk,t |xt , ck,t ) ck,t−1 ck,t ... - xt−1 N ? N ? ... zk,t−1 zk,t François Caron (INRIA) - xt - Méthodes particulaires et fusion de données 8 Mars 2010 47 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Modèle à saut Variable indicatrice discrète ck,t commande le modèle de mesure p(zk,t |xt , ck,t ) Quel modèle statistique pour ck,t ? ck,t−1 ck,t ... - xt−1 N ? N ? ... zk,t−1 zk,t François Caron (INRIA) - xt - Méthodes particulaires et fusion de données 8 Mars 2010 47 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Modèle à saut Variable indicatrice discrète ck,t commande le modèle de mesure p(zk,t |xt , ck,t ) Quel modèle statistique pour ck,t ? Littérature ck,t−1 ck,t ... - xt−1 N ? N ? ... zk,t−1 zk,t François Caron (INRIA) - xt - Méthodes particulaires et fusion de données 8 Mars 2010 47 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Modèle à saut Variable indicatrice discrète ck,t commande le modèle de mesure p(zk,t |xt , ck,t ) Quel modèle statistique pour ck,t ? Littérature Ï Modèle à saut de Markov - ck,t−1 - ck,t - ... - xt−1 N ? N ? ... zk,t−1 zk,t François Caron (INRIA) - xt - Méthodes particulaires et fusion de données 8 Mars 2010 47 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Modèle à saut Variable indicatrice discrète ck,t commande le modèle de mesure p(zk,t |xt , ck,t ) Quel modèle statistique pour ck,t ? Littérature Ï Ï Modèle à saut de Markov Modèle à probabilité a priori fixée π0 ) q ck,t−1 ... ... François Caron (INRIA) ck,t - xt−1 - xt N ? N ? zk,t−1 zk,t - Méthodes particulaires et fusion de données 8 Mars 2010 47 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Modèle à saut Variable indicatrice discrète ck,t commande le modèle de mesure p(zk,t |xt , ck,t ) Quel modèle statistique pour ck,t ? Littérature Ï Ï Modèle à saut de Markov Modèle à probabilité a priori fixée Limites François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 48 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Modèle à saut Variable indicatrice discrète ck,t commande le modèle de mesure p(zk,t |xt , ck,t ) Quel modèle statistique pour ck,t ? Littérature Ï Ï Modèle à saut de Markov Modèle à probabilité a priori fixée Limites Ï Indépendance ou dépendance markovienne entre les états de fonctionnement (pas de mémoire) François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 48 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Modèle à saut Variable indicatrice discrète ck,t commande le modèle de mesure p(zk,t |xt , ck,t ) Quel modèle statistique pour ck,t ? Littérature Ï Ï Modèle à saut de Markov Modèle à probabilité a priori fixée Limites Ï Ï Indépendance ou dépendance markovienne entre les états de fonctionnement (pas de mémoire) Paramètres difficiles à définir a priori François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 48 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Contributions [2] Définition d’un modèle à saut original où les probabilités a priori des états de fonctionnement sont estimées et suivent un modèle de Markov François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 49 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Contributions [2] Définition d’un modèle à saut original où les probabilités a priori des états de fonctionnement sont estimées et suivent un modèle de Markov Définition d’algorithmes de Monte Carlo séquentiels avec des lois d’importance efficaces, prenant en compte des données synchrones/asynchrones, des modèles linéaires/non linéaires et le cas binaire capteur valide/invalide François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 49 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Contributions [2] Définition d’un modèle à saut original où les probabilités a priori des états de fonctionnement sont estimées et suivent un modèle de Markov Définition d’algorithmes de Monte Carlo séquentiels avec des lois d’importance efficaces, prenant en compte des données synchrones/asynchrones, des modèles linéaires/non linéaires et le cas binaire capteur valide/invalide Comparaison avec les modèles classiques sur des exemples François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 49 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Contributions [2] Définition d’un modèle à saut original où les probabilités a priori des états de fonctionnement sont estimées et suivent un modèle de Markov Définition d’algorithmes de Monte Carlo séquentiels avec des lois d’importance efficaces, prenant en compte des données synchrones/asynchrones, des modèles linéaires/non linéaires et le cas binaire capteur valide/invalide Comparaison avec les modèles classiques sur des exemples Application à la localisation d’un véhicule terrestre François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 49 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Modèle statistique La probabilité a priori que ck,t (pour k = 1, . . . , n) soit dans un état donné j (j = 0, . . . , dk ) est notée αk,j,t . François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 50 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Modèle statistique La probabilité a priori que ck,t (pour k = 1, . . . , n) soit dans un état donné j (j = 0, . . . , dk ) est notée αk,j,t . Les αk,j,t représentent la confiance que l’on a dans le fait qu’un capteur soit dans un état donné Pr(ck,t = j) = αk,j,t , 0 ≤ j ≤ dk où αk,j,t ≥ 0 et François Caron (INRIA) Pdk j=0 αk,j,t = 1. Méthodes particulaires et fusion de données 8 Mars 2010 50 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Modèle statistique La probabilité a priori que ck,t (pour k = 1, . . . , n) soit dans un état donné j (j = 0, . . . , dk ) est notée αk,j,t . Les αk,j,t représentent la confiance que l’on a dans le fait qu’un capteur soit dans un état donné Pr(ck,t = j) = αk,j,t , 0 ≤ j ≤ dk où αk,j,t ≥ 0 et Pdk j=0 αk,j,t = 1. Difficiles à définir a priori, et peuvent évoluer François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 50 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Modèle statistique La probabilité a priori que ck,t (pour k = 1, . . . , n) soit dans un état donné j (j = 0, . . . , dk ) est notée αk,j,t . Les αk,j,t représentent la confiance que l’on a dans le fait qu’un capteur soit dans un état donné Pr(ck,t = j) = αk,j,t , 0 ≤ j ≤ dk où αk,j,t ≥ 0 et Pdk j=0 αk,j,t = 1. Difficiles à définir a priori, et peuvent évoluer Modèle d’évolution markovien suivant pour le vecteur de probabilités αt α (αk,0,t , . . . , αk,dk ,t ) ∼ D(σα k,t αk,0,t−1 , . . . , σk,t αk,dk ,t−1 ) où σα est un coefficient spécifique à chaque capteur qui ajuste la k,t variance des αk,j,t . François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 50 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Modèle statistique (2) Le coefficient σα règle l’évolution de αk,t . Afin d’éviter de définir une k,t valeur fixée pour σα (et donc une dynamique fixée pour αk,t ) ce k,t coefficient est également estimé, selon le modèle suivant α α log(σα k,t ) = log(σk,t−1 ) + λ François Caron (INRIA) Méthodes particulaires et fusion de données (13) 8 Mars 2010 51 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Modèle statistique (3) xt ∼ p(xt |xt−1 ) - xt−1 zt−1 François Caron (INRIA) Méthodes particulaires et fusion de données - xt - zt 8 Mars 2010 52 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Modèle statistique (3) xt ∼ p(xt |xt−1 ) zt ∼ p(zt |ct , xt ) ct−1 - ct xt−1 ?+ zt−1 François Caron (INRIA) Méthodes particulaires et fusion de données - xt - ? zt 8 Mars 2010 52 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Modèle statistique (3) xt ∼ p(xt |xt−1 ) zt ∼ p(zt |ct , xt ) ct ∼ Pr(ct |αt ) αt−1 αt ? ct−1 ? ct - xt−1 ?+ zt−1 François Caron (INRIA) Méthodes particulaires et fusion de données - xt - ? zt 8 Mars 2010 52 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Modèle statistique (3) σt−1 σt ? - αt−1 xt ∼ p(xt |xt−1 ) zt ∼ p(zt |ct , xt ) ct ∼ Pr(ct |αt ) αt ∼ p(αt |αt−1 , σt−1 ) - ? ct−1 - - ? ct xt−1 ?+ zt−1 François Caron (INRIA) ? αt Méthodes particulaires et fusion de données - xt - ? zt 8 Mars 2010 52 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Modèle statistique (3) xt ∼ p(xt |xt−1 ) zt ∼ p(zt |ct , xt ) ct ∼ Pr(ct |αt ) αt ∼ p(αt |αt−1 , σt−1 ) σt ∼ p(σt |σt−1 ) - σt−1 - σt - ? - αt−1 - ? αt - ? ct−1 - ? ct xt−1 ?+ zt−1 François Caron (INRIA) Méthodes particulaires et fusion de données - xt - ? zt 8 Mars 2010 52 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Objectifs d’estimation On souhaite obtenir une approximation de la distribution a posteriori Pr(dx0:t , c1:t , dα1:t , dσ1:t |z1:t ) François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 53 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Objectifs d’estimation On souhaite obtenir une approximation de la distribution a posteriori Pr(dx0:t , c1:t , dα1:t , dσ1:t |z1:t ) Approchée par la distribution empirique PN (dx0:t , c1:t , dα0:t , dσ0:t ) = N X i=1 François Caron (INRIA) e t(i) δex(i) ,ec(i) ,α w e (i) ,e σ(i) (dx0:t , c1:t , dα0:t , dσ0:t ) 0:t 1:t 0:t Méthodes particulaires et fusion de données 0:t 8 Mars 2010 53 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Objectifs d’estimation On souhaite obtenir une approximation de la distribution a posteriori Pr(dx0:t , c1:t , dα1:t , dσ1:t |z1:t ) Approchée par la distribution empirique PN (dx0:t , c1:t , dα0:t , dσ0:t ) = N X i=1 e t(i) δex(i) ,ec(i) ,α w e (i) ,e σ(i) (dx0:t , c1:t , dα0:t , dσ0:t ) 0:t 1:t 0:t 0:t e (i) e (i) e t(i) obtenus à l’aide d’un Particules e x(i) c(i) 0:t , e 1:t , α 0:t , σ 0:t et poids w algorithme de Monte Carlo séquentiel François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 53 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Objectifs d’estimation On souhaite obtenir une approximation de la distribution a posteriori Pr(dx0:t , c1:t , dα1:t , dσ1:t |z1:t ) Approchée par la distribution empirique PN (dx0:t , c1:t , dα0:t , dσ0:t ) = N X i=1 e t(i) δex(i) ,ec(i) ,α w e (i) ,e σ(i) (dx0:t , c1:t , dα0:t , dσ0:t ) 0:t 1:t 0:t 0:t e (i) e (i) e t(i) obtenus à l’aide d’un Particules e x(i) c(i) 0:t , e 1:t , α 0:t , σ 0:t et poids w algorithme de Monte Carlo séquentiel Plusieurs algorithmes développés François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 53 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Objectifs d’estimation On souhaite obtenir une approximation de la distribution a posteriori Pr(dx0:t , c1:t , dα1:t , dσ1:t |z1:t ) Approchée par la distribution empirique PN (dx0:t , c1:t , dα0:t , dσ0:t ) = N X i=1 e t(i) δex(i) ,ec(i) ,α w e (i) ,e σ(i) (dx0:t , c1:t , dα0:t , dσ0:t ) 0:t 1:t 0:t 0:t e (i) e (i) e t(i) obtenus à l’aide d’un Particules e x(i) c(i) 0:t , e 1:t , α 0:t , σ 0:t et poids w algorithme de Monte Carlo séquentiel Plusieurs algorithmes développés Ï Capteurs synchrones/asynchrones François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 53 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Objectifs d’estimation On souhaite obtenir une approximation de la distribution a posteriori Pr(dx0:t , c1:t , dα1:t , dσ1:t |z1:t ) Approchée par la distribution empirique PN (dx0:t , c1:t , dα0:t , dσ0:t ) = N X i=1 e t(i) δex(i) ,ec(i) ,α w e (i) ,e σ(i) (dx0:t , c1:t , dα0:t , dσ0:t ) 0:t 1:t 0:t 0:t e (i) e (i) e t(i) obtenus à l’aide d’un Particules e x(i) c(i) 0:t , e 1:t , α 0:t , σ 0:t et poids w algorithme de Monte Carlo séquentiel Plusieurs algorithmes développés Ï Ï Capteurs synchrones/asynchrones Modèle linéaire/non linéaire François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 53 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Objectifs d’estimation On souhaite obtenir une approximation de la distribution a posteriori Pr(dx0:t , c1:t , dα1:t , dσ1:t |z1:t ) Approchée par la distribution empirique PN (dx0:t , c1:t , dα0:t , dσ0:t ) = N X i=1 e t(i) δex(i) ,ec(i) ,α w e (i) ,e σ(i) (dx0:t , c1:t , dα0:t , dσ0:t ) 0:t 1:t 0:t 0:t e (i) e (i) e t(i) obtenus à l’aide d’un Particules e x(i) c(i) 0:t , e 1:t , α 0:t , σ 0:t et poids w algorithme de Monte Carlo séquentiel Plusieurs algorithmes développés Ï Ï Ï Capteurs synchrones/asynchrones Modèle linéaire/non linéaire Cas binaire capteur valide/invalide François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 53 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Algorithme de Monte Carlo séquentiel Point crucial de l’algorithme de Monte Carlo séquentiel : choix de la densité d’importance q(xt , ct , αt , σt−1 |xt−1 , ct−1 , αt−1 , σt−2 , zt ) François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 54 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Algorithme de Monte Carlo séquentiel Point crucial de l’algorithme de Monte Carlo séquentiel : choix de la densité d’importance q(xt , ct , αt , σt−1 |xt−1 , ct−1 , αt−1 , σt−2 , zt ) Cette densité jointe est égale au produit des densités d’importances q(σt−1 |αt , αt−1 , σt−2 ), q(αt |ct , αt−1 , σt−2 ), q(xt |xt−1 , ct , zt ) et q(ct |xt−1 , αt−1 , zt ) François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 54 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Algorithme de Monte Carlo séquentiel Point crucial de l’algorithme de Monte Carlo séquentiel : choix de la densité d’importance q(xt , ct , αt , σt−1 |xt−1 , ct−1 , αt−1 , σt−2 , zt ) Cette densité jointe est égale au produit des densités d’importances q(σt−1 |αt , αt−1 , σt−2 ), q(αt |ct , αt−1 , σt−2 ), q(xt |xt−1 , ct , zt ) et q(ct |xt−1 , αt−1 , zt ) De mauvaises densités d’importance vont faire explorer des zones de faible probabilité par un grand nombre de particules François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 54 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Algorithme de Monte Carlo séquentiel Point crucial de l’algorithme de Monte Carlo séquentiel : choix de la densité d’importance q(xt , ct , αt , σt−1 |xt−1 , ct−1 , αt−1 , σt−2 , zt ) Cette densité jointe est égale au produit des densités d’importances q(σt−1 |αt , αt−1 , σt−2 ), q(αt |ct , αt−1 , σt−2 ), q(xt |xt−1 , ct , zt ) et q(ct |xt−1 , αt−1 , zt ) De mauvaises densités d’importance vont faire explorer des zones de faible probabilité par un grand nombre de particules Définition de densités d’importance efficaces François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 54 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Exemples Sur 2 exemples non linéaire et linéaire, comparaison de notre modèle avec François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 55 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Exemples Sur 2 exemples non linéaire et linéaire, comparaison de notre modèle avec Ï Modèle à saut à probabilités a priori fixées François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 55 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Exemples Sur 2 exemples non linéaire et linéaire, comparaison de notre modèle avec Ï Ï Modèle à saut à probabilités a priori fixées Modèle à saut de Markov François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 55 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Exemples Sur 2 exemples non linéaire et linéaire, comparaison de notre modèle avec Ï Ï Modèle à saut à probabilités a priori fixées Modèle à saut de Markov Meilleure adaptivité de l’algorithme en cas de défaillance soudaine, mémoire des défaillances passées François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 55 / 67 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Exemples Sur 2 exemples non linéaire et linéaire, comparaison de notre modèle avec Ï Ï Modèle à saut à probabilités a priori fixées Modèle à saut de Markov Meilleure adaptivité de l’algorithme en cas de défaillance soudaine, mémoire des défaillances passées Diminution de l’erreur d’estimation de l’état d’environ 20% François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 55 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Sommaire 1 Introduction 2 Algorithmes pour la fusion bayésienne de données Algorithmes déterministes Filtrage particulaire 3 Fusion de capteurs à modèles d’observation multiples Modèles et algorithmes Application à la localisation d’un véhicule terrestre François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 56 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Applications en robotique mobile Modèles/algorithmes développés adaptés aux problématiques de robotique mobile François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 57 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Applications en robotique mobile Modèles/algorithmes développés adaptés aux problématiques de robotique mobile Développement de véhicules autonomes (drones, taxis automatiques) pour le transport de biens/personnes ou des opérations en milieu hostile (exploration martienne, désamorçage de mine terrestre...) François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 57 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Applications en robotique mobile Modèles/algorithmes développés adaptés aux problématiques de robotique mobile Développement de véhicules autonomes (drones, taxis automatiques) pour le transport de biens/personnes ou des opérations en milieu hostile (exploration martienne, désamorçage de mine terrestre...) Plusieurs capteurs utilisés François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 57 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Applications en robotique mobile Modèles/algorithmes développés adaptés aux problématiques de robotique mobile Développement de véhicules autonomes (drones, taxis automatiques) pour le transport de biens/personnes ou des opérations en milieu hostile (exploration martienne, désamorçage de mine terrestre...) Plusieurs capteurs utilisés Ï Positionnement (GPS, centrale inertielle, compas magnétiques...) François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 57 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Applications en robotique mobile Modèles/algorithmes développés adaptés aux problématiques de robotique mobile Développement de véhicules autonomes (drones, taxis automatiques) pour le transport de biens/personnes ou des opérations en milieu hostile (exploration martienne, désamorçage de mine terrestre...) Plusieurs capteurs utilisés Ï Ï Positionnement (GPS, centrale inertielle, compas magnétiques...) Détection d’obstacle (radars, caméras...) François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 57 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Applications en robotique mobile Modèles/algorithmes développés adaptés aux problématiques de robotique mobile Développement de véhicules autonomes (drones, taxis automatiques) pour le transport de biens/personnes ou des opérations en milieu hostile (exploration martienne, désamorçage de mine terrestre...) Plusieurs capteurs utilisés Ï Ï Positionnement (GPS, centrale inertielle, compas magnétiques...) Détection d’obstacle (radars, caméras...) Mesures délivrées par les capteurs peuvent être altérées à cause de conditions extérieures difficiles François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 57 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Applications en robotique mobile Modèles/algorithmes développés adaptés aux problématiques de robotique mobile Développement de véhicules autonomes (drones, taxis automatiques) pour le transport de biens/personnes ou des opérations en milieu hostile (exploration martienne, désamorçage de mine terrestre...) Plusieurs capteurs utilisés Ï Ï Positionnement (GPS, centrale inertielle, compas magnétiques...) Détection d’obstacle (radars, caméras...) Mesures délivrées par les capteurs peuvent être altérées à cause de conditions extérieures difficiles Ï Tempête de sable sur Mars salissant la lentille de la caméra François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 57 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Applications en robotique mobile Modèles/algorithmes développés adaptés aux problématiques de robotique mobile Développement de véhicules autonomes (drones, taxis automatiques) pour le transport de biens/personnes ou des opérations en milieu hostile (exploration martienne, désamorçage de mine terrestre...) Plusieurs capteurs utilisés Ï Ï Positionnement (GPS, centrale inertielle, compas magnétiques...) Détection d’obstacle (radars, caméras...) Mesures délivrées par les capteurs peuvent être altérées à cause de conditions extérieures difficiles Ï Ï Tempête de sable sur Mars salissant la lentille de la caméra Chutes de neige ajoutant des perturbations à la mesure radar François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 57 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Localisation d’un véhicule terrestre Véhicule terrestre équipé de 3 capteurs François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 58 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Localisation d’un véhicule terrestre Véhicule terrestre équipé de 3 capteurs Ï Récepteur GPS François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 58 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Localisation d’un véhicule terrestre Véhicule terrestre équipé de 3 capteurs Ï Ï Récepteur GPS Capteur d’angle de braquage François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 58 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Localisation d’un véhicule terrestre Véhicule terrestre équipé de 3 capteurs Ï Ï Ï Récepteur GPS Capteur d’angle de braquage Capteur de vitesse François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 58 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Localisation d’un véhicule terrestre Véhicule terrestre équipé de 3 capteurs Ï Ï Ï Récepteur GPS Capteur d’angle de braquage Capteur de vitesse Récepteur GPS potentiellement défaillant à cause de phénomènes de trajets multiples François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 58 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Modèle statistique Modèles d’évolution Basé sur un modèle cinématique de braquage d’Ackerman · ¸ Vt Xt+1 = Xt + T Vt cos ψt + (−a sin ψt + b cos ψt ) tan βt L · ¸ Vt Yt+1 = Yt + T Vt sin ψt + (a cos ψt + b sin ψt ) tan βt L Vt+1 = Vt + T V̇t Vt ψt+1 = ψt + T tan(βt ) L βt+1 = βt + T β̇t β̇t+1 = β̇t + T β̈t avec vt = [V̇t , β̈t ]T le bruit d’état supposé blanc, gaussien et centré, de matrice de covariance connue. François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 59 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Modèle statistique Modèles de mesure Modèle d’observation nominal du GPS µ z1,t = h1 (xt ) + w1,t = François Caron (INRIA) Xt Yt ¶ Méthodes particulaires et fusion de données + w1,t 8 Mars 2010 60 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Modèle statistique Modèles de mesure Modèle d’observation nominal du GPS µ z1,t = h1 (xt ) + w1,t = Xt Yt ¶ + w1,t Si le capteur GPS est défaillant, densité vague p0 (z1,t ) François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 60 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Modèle statistique Modèles de mesure Modèle d’observation nominal du GPS µ z1,t = h1 (xt ) + w1,t = Xt Yt ¶ + w1,t Si le capteur GPS est défaillant, densité vague p0 (z1,t ) Modèles d’observation des capteurs de vitesse et d’angle de braquage z2,t = h2 (xt ) + w2,t = (1 + tan(βt ) H )vt + w2,t L et z3,t = h3 (xt ) + w3,t = βt + w3,t François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 60 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Modèle statistique Défaillance du récepteur GPS Défaillance du GPS modélisée selon les modèles décrits précédemment François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 61 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Modèle statistique Défaillance du récepteur GPS Défaillance du GPS modélisée selon les modèles décrits précédemment Variable indicatrice discrete c1,t ∈ {0, 1} François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 61 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Modèle statistique Défaillance du récepteur GPS Défaillance du GPS modélisée selon les modèles décrits précédemment Variable indicatrice discrete c1,t ∈ {0, 1} Probabilités α1,t François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 61 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Modèle statistique Défaillance du récepteur GPS Défaillance du GPS modélisée selon les modèles décrits précédemment Variable indicatrice discrete c1,t ∈ {0, 1} Probabilités α1,t Hyperparamètres σα 1,t François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 61 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Algorithme Evolution quasi-déterministe (bruits d’évolution faibles) François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 62 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Algorithme Evolution quasi-déterministe (bruits d’évolution faibles) Ï Problème d’appauvrissement des échantillons dans le filtre particulaire François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 62 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Algorithme Evolution quasi-déterministe (bruits d’évolution faibles) Ï Problème d’appauvrissement des échantillons dans le filtre particulaire Utilisation d’un filtre de Kalman sans parfum rao-blackwellisé [Briers et al., 2003] François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 62 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Algorithme Evolution quasi-déterministe (bruits d’évolution faibles) Ï Problème d’appauvrissement des échantillons dans le filtre particulaire Utilisation d’un filtre de Kalman sans parfum rao-blackwellisé [Briers et al., 2003] Banque de filtres de Kalman sans parfum en interaction François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 62 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Résultats Données réelles collectée par l’ACFR 1 1. Australian Center for fields Robotics François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 63 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Résultats Données réelles collectée par l’ACFR 1 Ï Simulation de trajets multiples par l’ajout d’un biais aléatoire constant par morceaux aux données réelles GPS 1. Australian Center for fields Robotics François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 63 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Résultats Données réelles collectée par l’ACFR 1 Ï Ï Simulation de trajets multiples par l’ajout d’un biais aléatoire constant par morceaux aux données réelles GPS Simulation d’un dérapage du véhicule en modifiant la mesure d’angle de braquage 1. Australian Center for fields Robotics François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 63 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Résultats Données réelles collectée par l’ACFR 1 Ï Ï Simulation de trajets multiples par l’ajout d’un biais aléatoire constant par morceaux aux données réelles GPS Simulation d’un dérapage du véhicule en modifiant la mesure d’angle de braquage Comparaison du modèle/algorithme proposé 1. Australian Center for fields Robotics François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 63 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Résultats Données réelles collectée par l’ACFR 1 Ï Ï Simulation de trajets multiples par l’ajout d’un biais aléatoire constant par morceaux aux données réelles GPS Simulation d’un dérapage du véhicule en modifiant la mesure d’angle de braquage Comparaison du modèle/algorithme proposé Ï Filtre de Kalman sans parfum classique 1. Australian Center for fields Robotics François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 63 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Résultats Données réelles collectée par l’ACFR 1 Ï Ï Simulation de trajets multiples par l’ajout d’un biais aléatoire constant par morceaux aux données réelles GPS Simulation d’un dérapage du véhicule en modifiant la mesure d’angle de braquage Comparaison du modèle/algorithme proposé Ï Ï Filtre de Kalman sans parfum classique Filtre de Kalman sans parfum avec rejet des mesures selon un test statistique 1. Australian Center for fields Robotics François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 63 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Résultats François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 64 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Résultats François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 65 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre Bibliographie M. Briers, S. Maskell, and R. Wright. A Rao-Blackwellised Unscented Kalman Filter. In Proceedings of 6th International Conference on Information Fusion, 2003. F. Caron, M. Davy, E. Duflos, and P. Vanheeghe. Particle Filtering for Multisensor Data Fusion with Switching Observation Models. Application to Land Vehicle Positioning. IEEE Transactions on Signal Processing, Vol. 55, 2007. A. Doucet, N. de Freitas, N. Gordon (Edt.) Sequential Monte Carlo Methods in Practice. Springer, 2001. P. Del Moral Feynman-Kac Formulae. Genealogical and Interacting Particle Systems with Applications. Springer, 2004. François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 66 / 67 Fusion de capteurs à modèles d’observation multiples Application à la localisation d’un véhicule terrestre This is the end Merci pour votre attention ! ! http ://www.math.u-bordeaux1.fr/∼fcaron François Caron (INRIA) Méthodes particulaires et fusion de données 8 Mars 2010 67 / 67