Nouveaux concepts d`utilisation des caméras

Nouveaux concepts d’utilisation des caméras
CamNum V2 pour des applications
de recherche en télédétection
P. Chervet & J. Duffaut
Onera - Département d'Optique Théorique et Appliquée
[email protected] - [email protected]
DOTA
Nouveaux concepts d’utilisation des caméras
CamNum V2 pour des applications
de recherche en télédétection
Plan de la présentation
Concept de base: caméras IGN et coopération Pelican (2001)
Concept appliqué à une étude radiométrique: multispectral 8 voies (2004)
Concept appliqué à une étude géométrique: prises de vues stéréo (2006)
Projets Onera: pods Sethi – Socrates (2010)
Concept appliqué à l’exploitation camV2 hors de la cellule avion (2010)
Présentation JR IGN 2011
2
DOTA
La recherche en télédétection…
Un point commun ?
QUI ?
QUOI ?
COMMENT ?
IGN
Photogrammétrie, carto.
Méthodes géométriques
Onera
Détection, reconnaissance
Méthodes radiométriques
Cnes
Préparation futurs satellites
Simulation d'image
DONNÉE D'ENTRÉE DES ETUDES
Présentation JR IGN 2011
L'IMAGE AÉROPORTÉE
3
DOTA
PELICAN – Une structure de coopération
Création de la structure PELICAN (2001)
Plateforme Et LogIciels de Cameras Aéroportées Numériques
Tous :
Se doter de types d'images propres à ses études
Maîtriser la qualité image
Présentation JR IGN 2011
Mise en commun des compétences et des moyens (2000)
4
IGN :
Études et réalisations de caméras
Étalonnages géométriques
Opérations aéroportées production et recherche
CNES :
Spécifications de données images pour simulations satellites
ONERA :
Étalonnages radiométriques
Opérations aéroportées spécifiques à la recherche
DOTA
PELICAN – Configuration de base IGN
Exemple de config. prod. IGN (~2002)
Beechcraft 200 IGN
Bandes spectrales R, V, B et PIR
Largeur de filtres : 80 nm à 300 nm
Résol. spatiale : 40 cm à 60 cm
Direction de visée : nadir
Configuration camV1 du LOEMI (~2002)
Longueur focale : 45 mm à 60 mm
Système imageur 4 voies
Matrices CDD - 16 Mpixels/voie
Présentation JR IGN 2011
Sensibilité spectrale : ~ 0,4 à 0,9 µm
5
Anti-éblouissement – 12 bits/pix.
Compensation de filé temps réel
DOTA
PELICAN - Application multispectrale
Différencier les matériaux par le contraste interbandes spectrales
Albédos spectraux
asphalte
construction
1
aluminium
0,9
peinture verte
sur alu
0,8
charpente en pin
0,7
peinture verte
sur pin
brique rouge
Réflectance
0,6
parpaing
tuile orange
0,5
asphalte toit 15
ans
0,4
matériaux route
30 ans
cuivre 10 ans
0,3
cuivre
0,2
caoutchouc
herbe
Présentation JR IGN 2011
0,1
6
herbe sèche
0
0,4
0,425 0,45 0,475
0,5
0,525 0,55 0,575
0,6
0,625 0,65 0,675
0,7
0,725 0,75 0,775
0,8
0,825 0,85 0,875
0,9
0,925 0,95 0,975
1
total atm tropical
Longueurs d'onde (microns)
Exploitation contraste interbande dans image étalonnage interbande des caméras
DOTA
PELICAN – Concept multispectral THR*
SPOT 5
Objectif : Suprimer les ombres dans les images présenter la réflectance de la scène
Thèse IGN – Onera - Cnes - S. Lacherade - Campagne d'acquition de données Capitoul – 2004
Spécifications des prises de vues en multispectral THR (à Trés Haute Résolution)
Albédos spectraux
asphalte
construction
1
Diviser leur largeur de bande
spectrale au moins par 2
Améliorer la résolution spatiale
peinture verte
sur alu
0,8
charpente en pin
0,7
peinture verte
sur pin
brique rouge
0,6
Réflectance
Doubler le nombre de bandes
spectrales
aluminium
0,9
parpaing
tuile orange
0,5
asphalte toit 15
ans
0,4
matériaux route
30 ans
cuivre 10 ans
0,3
Présentation JR IGN 2011
cuivre
7
Connaitre la luminance pixel
sol en entrée optique
0,2
caoutchouc
herbe
0,1
herbe sèche
0
total atm tropical
0,4
0,425
0,45
0,475
0,5
0,525
0,55
0,575
0,6
0,625
0,65
0,675
0,7
0,725
0,75
Longueurs d'onde (microns)
Comment faire ?...
DOTA
0,775
0,8
0,825
0,85
0,875
0,9
0,925
0,95
0,975
1
PELICAN – Contrainte spatio-temporelle
Contrainte majeure avec les systèmes imageurs aéroportées sans compensation de filé
(Résolution du pixel sol) x (Largeur de bande spectrale) ~ Cste
Imageur RVB+PIR
4 bandes spectrales
Système imageur
multispectral
(8 à 10 bandes)
avec filtres étroits
Largeur
spectrale
Temps de pose mini
(estimé voie rouge
ouvert. f/8 en juin)
Vitesse
avion / sol
Résolution
spatiale sol
80 nm
6 ms
100 m/s
360km/h
0,60 m/pixel
30 nm
18 ms
100 m/s
360km/h
1,80 m/pixel !!
HAUTE RESOLUTION SPECTRALE OU HAUTE RESOLUTION SPATIALE
Présentation JR IGN 2011
Comment améliorer la résolution spatiale ET spectrale ?
8
Augmenter la pupille optique spécifique coût ! - Réduire la vitesse avion coût !
Utiliser des caméras à compensation de filé…
Transfert des charges dans le détecteur pendant la pose ou TDI (Time Delay Intégration)
Caméra IGN/Loemi caméras avec TDI !
DOTA
PELICAN – Etude configuration système
Modifier le système imageur pour répondre aux specifications
Doubler les bandes spectrales Acquérir avec 2 configurations de base IGN
Augmenter la résolution spatiale Utiliser des filtres "étroits" Augmentation temps de pose
Augmenter la résolution spatiale Monter de longues focales Augmentation compensation filé
Présentation JR IGN 2011
Estimation du temps de pose et de la compensation de filé
9
Configuration du système
Imageur
(bande spectrale rouge)
Largeur
spectrale
Temps de pose mini
Estimé en mars
Vitesse sol
Résolution
spatiale sol
Déplacement
pendant la pose
Compensation de filé
pendant la pose
4 filtres RVB+PIR standarts
f/8 - 360 km/h
80 nm
12 ms
360 km/h
0,6 m
1,2 m
2 pixels
8 filtres étroits
f/8 - 360 km/h
30 nm
32 ms
360 km/h
0,2 m
3,2 m
16 pixels
8 filtres étroits
f/5,6 - 290 km/h
30 nm
16 ms
290 km/h
0,2 m
1,2 m
6 pixels
Ajout d'une caméra vidéo :
contrôle dans l'image de la
compensation de dérive avion
DOTA
!
PELICAN – Connaître la luminance
Principe d'un imageur avec CCD matriciel à transfert de trame panchromatique (N & B)
Lentilles
Bague de
focalisation
Matrice CCD
Filtre
Xij (Bij)
L?
?
?
Présentation JR IGN 2011
L ij = A ⋅ ( X ij − B ij )
10
Obturateur
Diaphragme
Vis
réglages
détecteur
Étalonner* le coefficient de sensibilité radiométrique absolue A (W.m-2.sr-1.µm-1/CN.s-1)
pour connaître la luminance du pixel sol en entrée d'objectif Lij (W.m-2.sr-1.µm-1)
en fonction du compte numérique brut du pixel Xij (CN . s-1)
et de son niveau en obscurité Bij (CN . s-1)
Imageur multispectral RADIOMETRE IMAGEUR MULTISPECTRAL
* Caractérisation et étalonnage radiométrique de l'imageur Pelican - JR IGN, 8 & 9 mars 2006 - Joë
Joël Duffaut, Philippe Dé
Déliot
DOTA
PELICAN Imageur multispectral THR
Imageur multispectral à très haute résolution spatiale ET spectrale
Modifications apportées à l'instrument
Couplage 2 configurations de base IGN
Exploitation de longues focales: 100mm
Introduction de filtres "étroits"
Contrôle de correction dérive par l'image
Nouvelles performances instrument (2004)
Imageur à 8 plans spectraux / image
Résolution spatiale: 20 cm en mosaïque
Présentation JR IGN 2011
Résolution spectrale: 30 nm par bande
Point à améliorer sur l'instrument
Extrait d'une image RVB composée à partir des 8 plans spectraux
Accès Onera centre de Toulouse – avril 2004
Gestion simultanée de 2 systèmes séparés en manuel
2005 Le Loemi modifie ses logiciels pour contrôler les 8 caméras par la même console
11
DOTA
PELICAN – Concept en géométrie
Objectif : réaliser des prises de vue multispectrales et en stéroscopie pour:
La simulation des prises de vues de futurs satellites dits "agiles" (Cnes - DGA)
L'étude de l'influence du B/H (rapport Base / Hauteur) sur la restitution stéréo
Spécifications de ces prises de vues multispectrales stéréoscopiques
couples d'images pris avec de très faibles et de très forts rapports B/H
Maintien de la haute résolution spatiale à 20 cm sans utiliser le "pan-sharpening"
Présentation JR IGN 2011
Maintien du mosaïquage sous de forts B/H et avec 100% de recouvrement
Trois méthodes de prises de vues permettent d'acquérir des couples stéréo…
Laquelle choisir ?
12
DOTA
PELICAN – Stéréo. par recouvrement
(1/3)
Stéréo avec un seul système imageur, en un seul passage et avec recouvrement > 50%
Correction identique pour toutes les images
Faible coût: 1 seul passage nécessaire
caméra en visée nadir
Recouv t (%)
Vavion (m/s)
× Période PDV(s)
Résol(m)
× NbrLignes s
Domaine de B/H très faible et
contraint par la résolution
Présentation JR IGN 2011
= 1 −
Base B
Hauteur H
Bonne qualité du couple stéréo (cartographie) – Domaine angles de prises de vues restreint
13
DOTA
PELICAN – Stéréo. en 2 passages
(2/3)
Stéréo avec un seul système imageur et en 2 passages consécutifs sur la scène
Deuxième passage
caméra en visée arrière
Premier passage
caméra en visée nadir
Types de données stéréo théoriques :
- Incidences 1°à 25°
- Recouvrement jusqu'à 100%
- Haute résolution spatiale en mosaïque
(posibilité de recouvrement < 50%)
2 passages nécessaires (coût vol )
Modification de la position des ombres
entre les 2 clichés (∆t: 8 mn min.)
B/H difficile à contrôler (déclent 2ième passage)
=> Variation du B/H
Présentation JR IGN 2011
14
Sens de vol
Hauteur H
Base B
Cout élevé - Difficile à mettre en œuvre - Qualité de la mosaïque stéréoscopique faible
DOTA
PELICAN – Stéréo. en 1 passage
(3/3)
Stéréo avec deux systèmes imageurs synchronisés et en un seul passage avion (2006)
Prise de vue de la
visée avant à t0
(maitre)
Sens de vol
Prise de vue de la visée nadir
après déplacement B (t0) + ∆t
(Synchro par maitre + retard)
Modifications apportées à l'instrument
Deux systèmes identiques
Retard modulo période entre pdv av/nadir
Filtres standard de 80 nm
Présentation JR IGN 2011
Hn: hauteur de vol en visée nadir
Mise en œuvre semi-auto. (dérive et retard)
15
Valeur du B/H
Base B
8,0%
10,0%
18,0%
26,0%
42,4%
Angle de visée oblique par rapport au
nadir, entre les 2 systèmes (d°)
4,57
5,71
10,20
14,57
22,98
Base B
133 m
167 m
300 m
433 m
707 m
V avion (km/h)
295
295
295
295
295
Période de PDV des 2 systèmes
3,9 s
3,9 s
3,7
3,9 s
3,7 s
∆T pour parcourir la base augmentée
de l'écart entre les trappes (la caméra
arrière est en visée nadir ou arrière,
celle de la trappe avant en visée avant
avec une avance de 2,10m
1,649 s
2,058 s
3,684 s
5,31 s
8,643 s
Nbre PDV à ajouter au n° du cliché du
système Pelican en visée avant pour
obtenir le n° du cliché homologue sur le
système IGN (en visé nadir ou arrière et
retardé)
0
0
1
1
2
Retard de la PDV du système de prise de
vu nadir placé sur la trappe arrière (le
retard tient compte de l'écart entre
trappes)
1,649 s
2,058 s
0,001 s
1,41 s
1,243 s
Recouvrement des prises de vues
22%
22%
26%
22%
26%
Qualité optimale des données pour la restitution de la mosaïque stéréoscopique
DOTA
Pelican Radiomètre multispectral stéréo
Nouvelles performances instrument
Angle pdv stéréo de 1°à 25°
Recouvrement entre les clichés : 22%
Recouvrement du couple stéréo: 100%
Mosaïque stéréo à haute résolution spatiale 10 cm
Présentation JR IGN 2011
Prise de vue
en visée nadir
16
Intégration sur avion: IGN/SAA et Onera
Ajout d'un générateur de retard à la configuration instrument
DOTA
Extrait d'un couple stéréo
Résolution sol 10 cm
Prise de vue
en visée avant
SETHI 2010
But : SETHI
Offre mesures
radar & optronique
Présentation JR IGN 2011
Concept « tout-en-un »
17
Objectifs : Mesures radar
et/ou optroniques
Aspect multi-capteurs
& complémentarité
DOTA
Applications
• Climatologie
• Agronomie, gestion des forêts
• Océanographie
• Archéologie, géologie
• Surveillance urbaine
• Gestion des risques environnementaux …
SETHI – Radar & Optronique
DEMR/DOTA
POD
Optronique
POD
Radar
SOCRATES
SETHI
Moyen
expérimental
Pointe avant
Données optroniques multi-capteurs
Présentation JR IGN 2011
Acquisition
18
Multi finalités
Domaines spectraux variés
Besoins optroniques
et complémentarité
radar/optronique
DOTA
Données radar multi-bandes
Acquisition
Besoin caméra
de contexte visible
+ moyen hyperspectral
SETHI – Radar & Optronique
Porteur
• Falcon 20
• 160 - 320 knots
• Autonomie : 2h30
Pods
• Longueur 230 cm
• Diamètre 53 cm
• jusqu’à 120 Kg
• Radome 10 MHz – 18 GHz
Présentation JR IGN 2011
Capteurs
19
• 4 radars
• 2 charges optroniques
DOTA
CEV
SETHI – Radar & Optronique
Concept ONERA
• Modulaire – Evolutif
Présentation JR IGN 2011
• Possibilité de modification des configurations d’acquisition
en vol (radar)
• Pilotage des instruments en vol
• Optronique – mesures simultanées
• Approche « Plug and play »
20
•
•
•
•
Instrumentations distribuées en pod et cabine
Passage câblage dans les ailes : communication et contrôle
Concept Pod : Facilité d’évolution
Certification FAA pour les pods (matrice d’inertie)
DOTA
Présentation JR IGN 2011
SETHI – Radar & Optronique
21
DOTA
SETHI – Radar & Optronique
Charges
radars
Charges
optroniques
Caméra de contexte
(IGN CamNum v2)
Caméra CCD 39 Mpixels
Visée latérale, compensation de filé
Haute résolution spatiale dans le visible
Présentation JR IGN 2011
Caméra hyperspectrale
(NEO HySpex VNIR-1600)
Si CCD, 1600 pixels, 12 bits
Bande 0.4 – 1.0 µm
160 bandes spectrales, ∆λ = 3.7 nm
22
Caméra hyperspectrale
(NEO HySpex SWIR-320m-e)
HgCdTe, 320 pixels, 14 bits
Bande 1.0 – 2.5 µm
256 bandes spectrales, ∆λ = 6.25 nm
DOTA
Mecanique – Définition des interfaces Electrique,
informatique … (C Coudrain) Laboratoire
Besoins instrumentation
Structure pod
Etudes
Disponibilité cabine
Calculs
Réalisation
Présentation JR IGN 2011
Intégration des moyens
23
Développement connectique
Architecture
DOTA
SETHI – Radar & Optronique
Hyspex
(NEO)
(IGN)
Présentation JR IGN 2011
CamV2
24
DOTA
Optronique Pointe avant SETHI
Besoin de caméra contexte
Domaine visible
But
Identification des
Visées radar par données optiques
Expérience 2007 implantation caméra CAHYD Hyperspectral
Présentation JR IGN 2011
Fin 2009 : Choix de la caméra de contexte visible
25
2010 : Implantation de la caméra de contexte visible
Printemps 2011 : Premier vol
DOTA
Optronique Pointe avant SETHI
Besoin données
hyperspectrales
But
Besoin de produits issus de
Traitements données radar et optronique
Expérience 2007 implantation caméra CAHYD Hyperspectral
Présentation JR IGN 2011
2009 : Choix des caméras hyperspectrales
26
2010 : Implantation dans pointe avant
Printemps 2011 : Premier vol
DOTA
Mecanique – Définition des interfaces mécaniques
(C Coudrain) Laboratoire
Caméra de contexte
Etudes
Calculs
Présentation JR IGN 2011
Réalisation
27
DOTA
Présentation JR IGN 2011
Montage sur Pod
28
DOTA
Montage sur Pod
Présentation JR IGN 2011
Décembre 2010 Montage des deux instruments optroniques sur Pod
29
DOTA
Conclusion
Premier vol - Printemps 2011
● Nouvelle configuration de prise de vue – 45°
● Premier fonctionnement en pod & fibres optiques
● Premier test des logiciels de traitement
Présentation JR IGN 2011
But : visualisation de la fauchée radar
30
DOTA
Perspectives
Montage en pod de plusieurs caméras
Exemple : Exploitation des zones d'ombres , Classification des matériaux
Présentation JR IGN 2011
urbains, Détection des zones émergées …
31
DOTA
SETHI NG au service de nombreuses applications
Détection d’eau de
sub-surface en milieu aride
Analyse quantitative des forêts
Mesure de la salinité
Mesure des courants
Gestion des corridors rivulaires
Mesure MNT sous biomasse
Eau
Gestion des ressources
en eau solide et liquide
Gestion des cultures
Biomasse
Qualité de l’air
Présentation JR IGN 2011
Caractérisation des
états de surface du sol
32
Surveillance des milieux urbains et industriels
Biodiversité et écosystèmes
DOTA
Surveillance du trafic routier
Gestion de la croissance urbaine
Pollution des sites
urbains ou industriels
Îlots de chaleur urbains
CamV2 – Application hors cellule
Architecture envisagée pour l’intégration de la caméra IGN CamV2 en pod (projet Sethi)
Ecran CamV2
Synchro
image
Récepteur GPS
avion
Alim
écran
Présentation JR IGN 2011
33
BNC
Souris
Clavier
USB
!
VGA
Rack de contrôle et stockage CamV2
DOTA
Alim
POD
Synchro/Alim
Datation
image
coupleur
Alimentation
28V=
POD
AILE
CABINE AVION
RS232
Caméra
Link
Option
FO
ou
CUIVRE
Données
images
!
Tête
de
caméra
Tenue en température ?
Transmission des images ?
Quelques précautions…
CamV1 – Tenue en température
Objectif des essais: Comportement fonctionnel,
Sensibilité radiométrique, (gain, offset)
Protocole d’essais
caméra en fonctionnement à température cste
8 séries de mesure de -10°C à +35C
Pour chaque série de mesure
2 h d’acquisitions dès la mise sous tension
Présentation JR IGN 2011
Période d’acquisition d’image: 2 mn
34
Pour chaque période acquisition:
d’une image en éclairement
3s plus tard, image en obscurité
Pas de dysfonctionnement constaté, léger givrage sur filtre vers 0°C
DOTA
CamV1 – Comportement de l’offset
Rappel: tests à luminance constante en entrée objectif L = A ×( X - B )
ij
ij
ij
A température ambiante cste,
durant les 2 h après la mise sous
tension caméra
Le niveau en obscurité Bij augmente
mais la correction est possible par
la soustraction de la référence de noir
de chaque image
Présentation JR IGN 2011
Est-ce que le gain est constant ?
35
DOTA
CamV1 – Comportement du gain
Rappel: tests à luminance constante en entrée objectif L = A ×( X - B )
ij
ij
ij
Présentation JR IGN 2011
Température variable de -10°C 0 +35°C
36
Quel que soit le temps après la mise sous tension des caméras
L'écart Xij – Bij augmente de 3% lorsque la température baisse de 35°à – 10°C
DOTA
CamV1 – Comportement correct en t°
Bilan des essais en température
Le gain de la caméra est indépendant du temps à T°co nstante
Le gain de la caméra est dépendant de la température ambiante
Le fonctionnement de la caméra est correct de +5°à + 35°C
Décision : Variation de gain acceptable pour la première application en pod
Présentation JR IGN 2011
Maintenir la température de la caméra en pod entre + 5°C et +35°C
37
Moyens envisagés : - Isolation caméra et enveloppe objectif chauffante
- Ventilation du filtre optique
DOTA
CamV2 – Transmission d’image
Liaison actuelle
Type de bus de transfert: Caméra Link, protocole de transfert LOEMI
Vitesse de transfert : mots de 24 bits à 40 Mhz soit 960 Mbits/s (~1 Gbit/s)
Rack de contrôle et stockage CamV2
Spécification du projet :
Monter le pod sur 2 avions différents
Aucun n'est équipé de câbles Caméra Link
Présentation JR IGN 2011
Objectif : Coupler la caméra et le rack IGN par fibres optiques
Débit important, connectique réduite, légèreté,
Liaison exploitable par d'autres protocoles et instruments
DOTA
Données
images
CABINE
Contraintes de la liaison Caméra Link dans l'aile et le pod
Longueur maximum de la liaison Caméra Link 10 m
Encombrement et poids importants pour l'aile et le pod
Utilisation du câble exclusive à ce protocole
38
Caméra
Link
Tête
de
caméra
AILE
POD
L=4 m
L=4 m
D=10mm
D=3mm
2 câbles
CaméraLink
(fils de cuivre)
2 fibres optiques
(Même échelle)
CamV2 – Spécification fibre optique
Équipement disponible sur chacun des 2 avions
Avion civil multimode 200/230 µm débit faible, peu de sensibilité aux poussières
Avion militaire multimode 62,5/125 µm débit élevé, plus sensible aux poussières
Installer monomode 9/125 µm ? débit très élevé, grande sensibilité aux poussières
Présentation JR IGN 2011
Recherche du convertisseur CaméraLink
fibres optiques
Quelle longueur d'onde pour la transmission dans la multimode 62,5/125 µm ?
39
Longueur d'onde
850 nm
1300 nm
Atténuation linéïque
3,2 dB/km
0,9 dB/km
Bande passante min
200 Mhz.km
500 Mhz.km
DOTA
CamV2 – Choix convertisseur fibre
Existe-t-il un convertisseur
CaméraLink
fibres optique
compatible avec les spéc.
Fibre 62,5/125 µm, 1300 nm
Format 24 b, 40 Mhz ~1 Gb/s
Présentation JR IGN 2011
Bilan de puissance = f (o.n., d, att)
Budget dBm: (-9) – (-15)=+6dBm
d 62,5 µm d 50 µm: - 2 dB
d 200 µm d 50 µm: -15 dB
Attén. liaison f.o. avion: -1dB
40
Crédit
résiduel de puissance pour la liaison complète : +3 dBm
DOTA
CamV2
Liaison caméra-rack à fibre
Modules à fibre optique directement compatibles avec la camV2 IGN
Aucun pilote de logiciel à installer
Aucune connectique à modifier*
L=20 m d=3mm
Longueur de la transmission
jusqu'à 500 m
Transmission avec une seule fibre
par caméra et en "full duplex"
Présentation JR IGN 2011
Conservation de toutes les
performances de la caméra camV2
Caméras CamV2 compatibles avec l'un des 2 avions du projet SETHI
* Ajouter l'alimentation des modules (12V disponible sur racks et caméras)
41
DOTA
Etalonnage absolu de Pelican en vol, au dessus…
…du pré de l'IGN/SAA à Creil
Devant le hangar
MERCI !
Présentation JR IGN 2011
L'équipe mires au sol
42
Extrait d'un couple image stéréo - IGN/SAA 2009 - 10 cm
DOTA
MERCI À TOUS !