XI. Les centres de traitement des données - CEA-Irfu

Rapport d'activité 2001-2003
XI. Les centres de traitement des données
Le laboratoire de détection spatiale
La spécificité du groupe étalonnage et
traitement de données
A travers ses participations aux centre de traitement de
données des grandes missions spatiales (ISO, XMM,
INTEGRAL et bientôt Herschel) le groupe étalonnage et
traitement de données a acquis une solide expérience de
l’architecture logiciel des centres de traitement de
données.
En liaison étroite avec les développements instrumentaux
le groupe intervient dans :
Le développement et la livraison de logiciels
d’analyses technologiques
L’organisation des étalonnages scientifiques au
sol et en vol
Le développement, l’étalonnage et la livraison
des matrices de réponse
Le développement et la livraison de logiciels
scientifiques
Le développement des bases de données et des
catalogues scientifiques
MEGACAM est utilisée au SAp à travers la
complémentarité des programmes XMM-LSS et CFHTLS
“Legacy surveys“ (voir chapitre Cosmologie et Evolution
des galaxies) en identifiant optiquement les sources X.
Ainsi on évalue l'évolution de la distribution spatiale des
amas et leur nombre en fonction du temps. Le programme
CFHTLS Legacy surveys regroupe trois sondages, l'un dit
'profond' (4 régions du ciel de 1°2 ), un autre dit 'large' (3
régions du ciel de 7x7°2 - pose 1hr) et enfin 'extra large'
(1300 régions du ciel de 1°2 - pose 5mn). Il doit permettre
en outre de détecter et d'identifier le mouvement des
objets trans-neptuniens du système solaire, du mouvement
des étoiles de notre Galaxie, de la détermination de la
géométrie de l'Univers, des propriétés de la matière noire,
de la découverte et du suivi des supernova, de la distance
des quasars et des amas de galaxies, de la relation entre
matière noire et matière brillante.
La maîtrise des différentes activités, depuis l’intégration
des instruments, les étalonnages sol et vol, la production
des matrices instrumentales et la réalisation des logiciels
de traitement, permet aux chercheurs du service de se
positionner comme leader de l’exploitation scientifique
des données.
Au cours de ces dernières années le groupe s’est illustré
sur trois projets : La création d’une base de données pour
le projet MEGACAM et les participations, conséquentes,
au centre de traitement de données des missions spatiales
XMM et INTEGRAL.
MEGACAM et le projet TERAPIX
Contexte
En 2003, la plus grande caméra astronomique du monde,
MEGACAM (figure 1), installée au foyer du télescope de
3,6m de diamètre de l'Observatoire Canada-FranceHawaii délivrait ses premières images.
Cette caméra est le fruit d'un long travail de conception et
de réalisation par les ingénieurs et chercheurs du CEA
dont le SAp a été l'un des principaux investigateurs.
Le défi de MEGACAM est de cartographier de vastes
régions du ciel à des magnitudes pouvant atteindre 28.
Cette caméra grand champ de 1°2 permet d'ambitieux
programmes d'observations à différentes longueurs
d'ondes à travers les sondages CFHTLS et XMM-LSS.
Cette vaste couverture du ciel génère un flot important de
données (700Moctets par image) lesquelles dans le cadre
du CFHTLS sont prises en charge par le centre de
traitement TERAPIX (Traitement Elémentaire, Réduction
et Analyse des PIxels de MEGACAM) localisé à l'IAP
(Institut d'Astrophysique de Paris) .
Service d'Astrophysique 2001-2003
Figure 1: La caméra MEGACAM et ses CCD de 10 millions de
pixels chacun.
Les modes d'observations permettent une automatisation
de la chaîne de traitement, automatisation effectuée par
TERAPIX. Ce centre a pour responsabilité principale de
nettoyer et d'évaluer la qualité des images, de produire de
nouvelles images étalonnées et de générer des cartes du
ciel dans le cadre du legacy survey.
TERAPIX est couplé conjointement avec le CADC et le
CDS qui ont respectivement la responsabilité du stockage
des données brutes et du stockage des données finales
officielles générées par TERAPIX.
Structuré autour d'un pipeline de traitement et d'une base
de données, TERAPIX doit également conserver la
mémoire de l'ensemble des opérations effectuées et
générer un catalogue de travail des objets astronomiques
identifiés (on peut détecter près de 300000 objets par
image profonde).
DSM - DAPNIA
66
Les centres de traitement des données
Rôle du SAp
Rôle du SAp
Le Service d'astrophysique a pris une part active dans la
conception et la réalisation de la base de données de
travail du centre TERAPIX (plus de 35000 lignes de code
ont été livrées).
Les défis relevés par la base de données sont la gestion
d'une granularité fine des données, la rapidité des
recherches multicritères sur les images ou les objets
catalogues et la création d'un modèle permettant une
navigation et une visibilité exhaustive de l'historique des
traitements. Des évaluations ont été menées au préalable
sur les technologies à adopter [1].
Le SAp était chargé (avant le lancement) de l’Intégration
et des Tests de la moitié du système. Ayant participé
(consortium EPIC) à la réalisation de l’instrument
EPIC/MOS, il est chargé de réaliser les logiciels associés
(destinés à l'ensemble de la communauté), ainsi que
d’assurer leur maintenance et leur évolution. Enfin, il
participe à la vérification systématique des résultats de
l’analyse automatique.
Des contraintes supplémentaires ont été adjointes à la base
de données à savoir la portabilité du logiciel,
l'indépendance avec la base de données relationnelles, le
support de la flexibilité du format des images d'entrées et
le support d'instrument divers (en particulier la coaddition d'images d'instruments divers).
La caméra MEGACAM est dorénavant opérationnelle
pour un programme d'observation défini par le CFHTLS
qui devrait durer 5 ans.
XMM et le projet SSC
Contexte
Le SSC (Survey Science Center) a la tâche d'analyser
systématiquement toutes les données du satellite XMMNewton au fur et à mesure de leur obtention, afin de
constituer une base de données homogène ouverte à la
communauté. Pour cela, le SSC réalise environ la moitié
des logiciels du Science Analysis Software (SAS), à parité
avec le SOC, qui gère XMM-Newton à l’ESA. Le SSC
doit aussi construire le catalogue des sources détectées par
XMM-Newton. Il s'agit de rechercher et caractériser
toutes les sources de chaque champ (une centaine) et si
possible les identifier dans les bases de données
existantes.
Le consortium SSC [2], conduit par M. Watson de
l'Université de Leicester (GB), a été formé en 1995, et
sélectionné officiellement en février 1996. Le satellite a
été lancé le 10 décembre 1999. La période 2001-2003
couvre l’essentiel des opérations d’analyse systématique,
et la construction du premier catalogue de sources. La
mission du SSC se poursuivra jusqu’à la fin de
l’exploitation d’XMM-Newton, probablement vers 2010.
Au 31 décembre 2003, 2883 observations ont été
distribuées aux observateurs après être passées avec
succès par l’analyse automatique (sur 3041 effectuées).
La première version du catalogue des sources XMM
(baptisée 1XMM) a été livrée à la communauté en avril
2003. Ce catalogue contient toutes les sources secondaires
(en général inconnues préalablement) détectées au cours
de chaque observation à côté de la cible principale de
l’observation. Le nombre total de sources est de 57 000
dont 33 000 détectées avec une grande confiance. Cette
première version est le résultat de 585 observations
couvrant 50 degrés carrés environ, obtenues
principalement en 2000 et 2001.
67
DSM - DAPNIA
Les logiciels pour EPIC/MOS étaient déjà fonctionnels
début 2001. La maintenance n’a pas demandé beaucoup
de travail (seulement 14 erreurs rapportées en trois ans).
En revanche, un grand nombre d’améliorations ont été
apportées lors des évolutions successives du SAS (la
version courante est 6.0). Nous avons fourni un
algorithme permettant de repérer automatiquement les
pixels et les morceaux de lignes ou colonnes brillants sur
le CCD, un algorithme de détection de pixels clignotants,
un algorithme de correction d’erreurs dans la ligne de
base, algorithmes qui réduisent fortement les fausses
détections de sources dues aux défauts des CCDs. Un
nouvel algorithme de réjection des particules en mode
temporel réduit le bruit de fond d’un facteur trois. Une
méthode permettant de corriger de l’efficacité hors-axe
photon par photon, et une méthode permettant de rejeter
des pixels brillants a posteriori, rendent l’exploitation
scientifique des données plus facile. L’ensemble des
logiciels fournis par le SAp pour le SAS représente
environ 22000 lignes de code (essentiellement en Fortran
90) et la documentation associée.
Le SAp (comme les autres instituts du SSC) assure la
vérification visuelle des résultats de l’analyse
automatique. Entre juillet 2001 (début de cette activité) et
fin 2003, nous avons assuré la vérification de 304
observations. Cette activité est un peu fastidieuse mais
permet de garder le contact avec les données presque en
direct, et ainsi de vérifier que les traitements restent
adaptés à l’instrument au cours de son évolution.
Figure 2: Le détecteur EPIC/MOS sur XMM-Newton est composé
de 7 CCDs indépendants. Les logiciels développés au SAp
permettent en particulier de s’affranchir des différents types de
bruit (électronique, dû aux particules chargées) qui s’ajoutent aux
vrais photons X. L’image de gauche est ce qu’on reçoit du
satellite, l’image de droite ce qu’on livre aux observateurs. La
source X centrale y est pratiquement inchangée, alors que la
majorité du comptage parasite a disparu.
Service d'Astrophysique 2001-2003
Les centres de traitement des données
Autres points
Des réunions de consortium de l’ensemble du SSC sont
organisées tous les six mois, pour permettre à chacun
d’être informé des activités en dehors de la sienne propre.
Nous avons bien sûr participé à ces réunions, et avons
assuré l’organisation de l’une d’entre elles à Paris (en
septembre 2003). En parallèle, des réunions plus
spécialisées sont organisées par thème. Nous avons
participé à toutes les réunions portant sur les logiciels et le
catalogue.
Depuis le lancement, l’installation et la maintenance du
SAS au SAp, pour tous les utilisateurs d’XMM-Newton,
sont assurées par l’équipe SSC. Grâce à son implication
dans le SSC, le SAp a pu disposer d’une version à jour
des traitements pour les instruments auxquels il n’était pas
directement associé (EPIC/PN, RGS).
La participation du SAp au SSC a été rendue possible par
sa participation à l’instrument EPIC/MOS sur XMM. Elle
est la suite logique de l’implication dans la construction
de l’instrument. Le projet XMM/LSS de grand relevé
associant XMM-Newton (rayons X) et MEGACAM
(optique) est à l’inverse un descendant du SSC.
Les activités scientifiques du SAp liées à XMM-Newton
sont nombreuses. Les sujets principaux en sont les amas
de galaxies, les restes de supernovae, le centre de notre
Galaxie, les systèmes binaires autour d’une étoile à
neutrons ou d’un trou noir et les étoiles jeunes.
INTEGRAL et le projet ISDC
Contexte
Le centre des données scientifiques d’INTEGRAL,
l’ISDC (INTEGRAL Science Data Center), est chargé
d’archiver, de pré-traiter, d'analyser et de distribuer les
données d’INTEGRAL. L’ISDC, avec l’apport des
équipes instrumentales, a en particulier la tâche d’assurer
la nature observatoire de la mission et de permettre aux
non-spécialistes de traiter et analyser les données
d’INTEGRAL.
L’ISDC, basé à Versoix (Genève, Suisse), est une
collaboration d’instituts1 coordonnée par l’Observatoire
de Genève. Il fait partie intégrante du segment sol
scientifique de la mission INTEGRAL, dirigé par l’ASE
(Agence Spatiale Européenne).
Les taches principales de l’ISC sont les suivantes :
•
réception et archivage de la télémétrie envoyée en
temps réel par le centre de contrôle des opérations;
analyse en temps réel des données IBIS/ISGRI pour
détecter et positionner les sursauts gamma
1
Observatoire de Genève, Suisse ; Danish Space Research
Institute, Copenhague, Danemark ; UCL Dublin, Irlande ; Istituto
di Astrofisica Spaziale, Rome, Istituto di Fisica Cosmica G.
Occhialini, Milan, Italie ; Université de Tübingen, Max Planck
Institut für Extraterrestrische Physik, Garching bei München,
Allemagne ; Université de Liège, Belgique ; Université de
Southampton, Royal Appleton Laboratory, Oxon, Royaume-Uni ;
Institut Copernicus, Varsovie, Pologne ; Nasa Goddard Space
Flight Center, Greenbelt, USA.
Service d'Astrophysique 2001-2003
•
décommutation, prétraitement, suivi technologique
des données
•
analyse scientifique dite de quick look pour la
recherche de nouvelles sources gamma et de sources
transitoires
•
analyse standard des données, et étalonnage standard
en vol des instruments avec création des produits
standards à fournir aux observateurs
•
archivage des produits standards, distribution des
données et support aux utilisateurs du système
Rôle du SAp
Le Service d’Astrophysique du CEA participe à ce projet
depuis 1996. Il a contribué notamment au contrôle de
configuration du système de l’ISDC et au déroulement des
tests des logiciels délivrés, d’abord depuis Saclay avec
des liaisons électroniques et puis à Versoix avec la
présence entre 2001 et 2003 d’un ingénieur informaticien
spécialisé dans ce domaine.
Le SAp a aussi activement contribué au développement et
à l’installation des logiciels spécifiques de traitement et
d’analyse des données de l’instrument IBIS, notamment
par des études approfondies des méthodes de
déconvolution et d’analyse d’images des systèmes à
masque codé [3,4]. Les logiciels de traitement et
d’analyse permettent, dans un premier temps, de corriger,
de reconstruire et de nettoyer les images du ciel à partir
des données bruts, puis dans un deuxième temps, de les
combiner et de les analyser pour détecter des sources
éventuelles. Les spectres et les courbes de lumière des
sources détectées sont ensuite extraits et corrigés des
différents effets instrumentaux. Enfin la réponse de
l’instrument est calculée et fournie dans une forme
convenable pour la détermination des paramètres
scientifiques des sources (figure. 3).
Figure 3: La caméra IBIS/ISGRI sur INTEGRAL est composé de
16384 détecteurs indépendants. Les logiciels développés au SAp
permettent de nettoyer et de reconstruire les images. L’image de
gauche est ce qu’on reçoit du satellite après correction de fond,
l’image de droite ce qu’on reconstruit en tenant compte des
propriétés du masque.
Les logiciels d’analyse ont d’abord été testés sur des
données de simulations et d’étalonnage au sol puis
poursuivi ensuite avec les données de vol recueillies
pendant la phase de vérification des performances
(octobre - décembre 2002) [5]. Enfin les logiciels ont été
améliorés durant l’année 2003. Le SAp a contribué aux
livraisons du software d’analyse standard à la
communauté
astronomique
(l’Off-line
Scientific
Analysis) [6].
DSM - DAPNIA
68
Les centres de traitement des données
A partir du lancement jusqu’à fin 2003, le SAp a supporté
l’ISDC dans la tâche d’analyse scientifique « quick look »
et du suivi technologique de la caméra ISGRI en vol.
Cette contribution a été matérialisée par la présence « sur
place » d’un jeune astrophysicien du SAp et d’un
ingénieur.
Autres points
L’expérience acquise par le groupe du SAp dans le projet
SIGMA (télescope gamma aussi basé sur l’imagerie à
ouverture codée) a été largement mise à profit et permet
aujourd’hui au SAp de se positionner comme un des
groupes leader de l’analyse et de l’exploitation
scientifique des données d’INTEGRAL.
Références
[1] Didelon, P., Morin, B., Proceedings of the SPIE, Volume
4836, pp. 377-386 (2002)
[2] Watson, M.G. et al. 2001, A&A 365, L51
69
DSM - DAPNIA
[3] Gamma-Ray Imaging with the Coded Mask IBIS Telescope.A.
Goldwurm, P. Goldoni, A. Gros, J. Stephen, L. Foschini, F.
Gianotti, L. Natalucci, G. De Cesare, M. Del Sant2001, Conf.
Proc. of the 4th INTEGRAL Workshop “Exploring the GammaRay Universe”, 4-8 Sep 2001, Alicante, Spain, Eds. A. Gimenez
V. Reglero & C. Winkler, ESA SP - 459, 497
[4] IBIS/ISGRI Data and AnalysisP. Goldoni, P. David, A.
Goldwurm, A. Gros, P. Laurent, F. Lebrun 2002, Comptes rendus
de la conférence « The Gamma-Ray Universe », XII Rencontres
de Morion d’Astrophysique, 9-16 Mars 2002, Les Arcs, Savoie,
France, éditeurs A. Goldwurm, D. Neumann et J. Trân Thanh
Vân, Thê Giói Publishers, Vietnam, p. 435
[5] The INTEGRAL IBIS/ISGRI System Point Spread Function
and Source Location Accuracy A. Gros, A. Goldwurm, M.
Cadolle-Bel, P. Goldoni, J. Rodriguez, L. Foschini, M. Del Santo,
P. Blay2003, Astronomy & Astrophysics, 411, L179.The
INTEGRAL/IBIS Scientific Data AnalysisA. Goldwurm, P. David,
L. Foschini, A. Gros, P. Laurent, A. Sauvageon, A. J. Bird, L.
Lerusse & N. Produit 2003, Astronomy & Astrophysics, 411,
L223
[6] The INTEGRAL/IBIS Scientific Data AnalysisA. Goldwurm,
P. David, L. Foschini, A. Gros, P. Laurent, A. Sauvageon, A. J.
Bird, L. Lerusse & N. Produit 2003, Astronomy & Astrophysics,
411, L223
Service d'Astrophysique 2001-2003