Observabilité

Reconstruction 3D par
mono vision avec des
trajectoires fortement
contraintes
Revue du projet PICAS$O
3 novembre 2005
Joan Solà
LAAS-CNRS
Toulouse, France
On parle de…
1.
Observabilité du 3D en vision
2.
SLAM par mesures angulaires (ou SLAM par mono vision)
3.
Initialisation des Amers
4.
Performances:

5.
FDPs Gaussiennes
Utilisation du SLAM-FKE
Trajectoires fortement contraintes
Contenu
»
Observabilité en vision: pourquoi je ne fais pas la stéréo?
»
Un peu de SLAM à observabilité totale
»
Le Problème de l’initialisation des amers dans le SLAM
par mono vision
»
Le Rayon Géométrique: une représentation efficace de la
FDP de la position de l’amer
»
Méthodes retardées et non retardées
»
Solution Temps Réel:
•
L'initialisation par Partage Fédératif de l’Information (PFI)
Observabilité stéréo

Objet proche
 : angle qui ferme la région
Observabilité stéréo
Objet lointain
Augmenter la base stéréoscopique
Observabilité stéréo
Objet lointain
Augmenter la base stéréoscopique
Observabilité stéréo
Objet lointain
Augmenter la précision du banc stéréo
Observabilité stéréo
Objet lointain
Augmenter la précision du banc stéréo
Observabilité stéréo
Objet lointain
Augmenter la base et la précision
Observabilité stéréo
Objet encore plus loin
Problème mécanique:
1. Augmenter la base fait
diminuer la précision du banc.
2. Une base longue rend impossible
un calibrage ‘a vie’.
3. Un auto calibrage en ligne serait
nécessaire. Ce n’est pas facile.
Augmenter la base et la précision
Observabilité stéréo
 : angle entre mesures
 : angle qui ferme la région
 : précision du système capteur
n


minminn
70
Base longue avec auto calibrage
Observabilité stéréo
Base longue pré calibrée
60
50
40
min
Base courte
30
20
10
0
Et plus loin?
SLAM
par mesures
angulaires
SFM
Modélisation 3D par
vision mono en mouvement
70
60
Base longue pré calibrée
Structure
From
Motion
50
40
Modélisation 3D
par vision stéréo
30
20
10
0
SLAM: de l’anglais, Simultaneous
Localization And Mapping
2
5
1
R
1
4
3
2
3
4
5
Le problème du cas angulaire:
Initialisation des Amers
• L’approche naïve
?
tactuel
?
tprecedent
tactuel
Te
Le problème:
Initialisation des Amers
• Considération des incertitudes
?
Le point 3D
est dedans
tactuel
tprecedent
tactuel
Te
Le problème:
Initialisation des Amers
• Les cas Content et Pas Content
Peu Content
Content
Pas Content
L'idée CLÉ
QuickTime™ and a
TIFF (LZW) decompressor
are needed to see this picture.
?
INITIALISATION
QuickTime™ and a
TIFF (LZW ) decompressor
are needed to see this picture.
retardée
Le dernier
membre
est facilement
incorporé
L’approximation
initiale
est facile
QuickTime™ and a
TIFF (LZW) decompressor
are needed to see this picture.
QuickTime™ and a
TIFF (LZW) decompressor
are needed to see this picture.
Initialisation
immédiate
La sélection des membres
est facile et sûre
Définition du Rayon
Géométrique
Remplir l’espace entre rmin i rmax
1. Avec le nombre minimal de termes
2. Tout en respectant les contraintes de linéarisation
r4
r3
Définir une série
géométrique de
Gaussiennes
4
3
 = i / ri
 = ri / ri-1
[ rmin
xR : position de la camera
rmax ]
Les bénéfices du Rayon
Géométrique
•
Facteur de forme, base géométrique et limites de distance

•

[rmin , rmax]
Le nombre de termes est logarithmique en rmax / rmin :
Ng = f( log(rmax / rmin)
•
•
1
On obtient des nombres très petits :
Scénario
rmin
rmax
Ratio
Ng
Intérieur
0.5
5
10
3
Extérieur
1
100
100
5
Longue portée
1
1000
1000
7
Les membres étant Gaussiens, ils sont facilement manipulables
avec FKE.
2
Comment ça marche
La première observation
détermine le Rayon Conique
Comment ça marche
J’approche le Rayon Conique
avec le Rayon Géométrique
C  1N
g

Je peux initialiser les membres maintenant :
J’obtiens une méthode immédiate.
Comment ça marche
Je me déplace et réalise
une deuxième observation
Je peux distinguer les membres dans l’image
Comment ça marche
Je calcule vraisemblances
et actualise crédibilités
C  C  

  2 1 Z e
z Z 1  z 

2
C’est comme modifier la forme du rayon

Comment ça marche
J'élimine les membres
invraisemblables
C
0.001
nombre_ de _ termes

C’est une opération triviale et sure
Comment ça marche
Avec des méthodes
immédiates je peux
corriger la carte SLAM
Comment ça marche
Je continue...
Comment ça marche
Et un jour il ne restera
qu’un seul membre.
Ce membre est déjà Gaussien!
3
Si je l’initialise maintenant j’ai une méthode retardée
Trajectoires non contraintes
min
Trajectoires fortement contraintes :
Pas content
Méthodes
retardées et immédiates
immédiates
Peu Content
retardées
immédiates
Content
retardées
immédiates
min
Méthodes retardées et
immédiates
immédiates
retardées
immédiates
QuickTime™ et un
décompresseur H.264
sont requis pour visionner cette image.
retardées
immédiates
retardées
immédiates
QuickTime™ et un
retardées
décompresseur H.264
sont requis pour visionner cette image.
immédiates
immédiates
retardées
Méthodes retardées
et immédiates
• Un algorithme naïve
• Un algorithme consistent
• L’algorithme d’Actualisation en Bloc
• L’algorithme multicarte
• L’algorithme du Partage Fédératif de
l’Information
immédiate
L’algorithme multicarte
1. Initialiser tous les membres comme amers en cartes séparées
2. Lors des observations postérieures:
• Actualiser les crédibilités des cartes et n’éliminer les mauvaises
• Réaliser des corrections sur les cartes comme dans SLAM-FKE
3. Quand il ne reste qu’une carte:
• Rien à faire
QuickTime™ and a
TIFF (LZW) decompressor
are needed to see thi s picture.
méthode hors ligne
QuickTime™ and a
TIFF (LZW) decompressor
are needed to see this picture.
immédiate
L'algorithme du Partage
Fédératif de l’Information (PFI)
1. Initialiser les membres comme des amers différents
dans la même carte
2. Lors des observations postérieures :
• Actualiser les crédibilités et éliminer les mauvais membres
• Effectuer une correction douce fédérée
3. Quand il ne reste qu’un membre:
• Rien à faire
QuickTime™ and a
TIFF (LZW) decompressor
are needed to see this picture.
QuickTime™ and a
TIFF (LZW) decompressor
are needed to see this picture.
L'algorithme PFI
La Correction Douce Fédérée: Partager l’Information
Partage de l’Information:
Privilège des vraisemblances:
Coefficient Fédératif i :
correction FKE avec membre 1
{y, RN }
correction FKE avec membre N
correction FKE avec membre 2
…
Observation {y, R}
{y, R1 }
{y, R2 }
…
immédiate
•
L'algorithme PFI
et le Cas Pas Content
QuickTime™ et un
décompresseur H.264
sont requis pour visionner cette image.
immédiate
L'algorithme PFI
et le Cas Pas Content
Vue de oiseau
immédiate
Vue latérale
L’inclusion de nouvelles
bornes
1. Diviser l’image en sous images.
2. Choisir celles ou c’est intéressant
d’y inclure une nouvelle borne.
3. Y faire une recherche de points
de Harris.
Les mesures des bornes
Carte: bornes 3D
Région de recherche
Signature de la borne
Maximum de
corrélation
Stratégie de recherche:
Projection sur l’image
Pixel trouvé: MESURE
1. Globale à double espace
2. Locale à simple espace
3. Résultat sous pixellique
Le suivi des bornes
QuickTime™ et un
décompresseur H.264
sont requis pour visionner cette image.
Conclusions
1. La reconstruction 3D dans des situations
à très faible observabilité est rendu possible.
2. Le mouvement précis de la camera dans la scène
est acquis simultanément.
3. On est en disposition d’y intégrer des objets
mobiles.
4. Pour cela, des hypothèses sur la vitesse de
chaque point seront d’abord lancées et
postérieurement validées (ou non) et raffinées
par les observations.
Merci!