VEGA/CHARA Automatic control pipeline

VEGA/CHARA Automatic control pipeline pour obtenir les informations de qualité de la nuit
DM, V3 20-04-2010
1. Situation initiale (La nuit d’observation est finie) :
a. L’observateur fait le ménage dans les répertoires de la nuit
b. Le script de regroupement et rapatriement des données s’exécute et l’on a les données
dans le répertoire de la nuit dans /datadisk1.
2. On identifie tous les répertoires de données de la nuit, c'est-à-dire hors des répertoires de
calibration spectrale.
3. Pour chacun des répertoires :
a. Copier le répertoire dans le disque de traitement /data/STAR/TEMP.
b. Récupérer la configuration spectrale à l’aide des informations du fichier .info (réseau,
longueur d’onde et configuration de chambre utilisée).
c. Générer un répertoire de calibration spectrale contenant les fichiers des coefficients,
calculés automatiquement à partir des informations précédentes. Une solution alternative
est d’avoir une option des codes de traitement qui ne prend pas en compte les
calibrations spectrales mais fixe les limites de la bande de traitement directement en
pixels.
d. Appliquer sur le répertoire « prepare.sh » qui :
i. Converti les données et les placent dans /data/STAR/nomEtoileDate
ii. Génère dans chaque répertoire nomEtoileDate un fichier .inp (exemple en
annexe1)
e. Créer un répertoire de résultats pour Rouge et Bleu.
f. Pour chaque répertoire à faire en Rouge et en Bleu
i. Générer le fichier de commande .cmd (modèle à définir en R et B) idem issu
IHM. Générer ce fichier de commande en mode AC et pour une bande spectrale
fixe centrée sur la longueur d’onde centrale et de largeur fixe dépendant du mode
de résolution utilisée (4nm en HRS, 30nm en MRS, 40nm en LRS).Voir exemple
fichier en annexe2.
ii. Générer la séquence de traitement et l’exécuter. On utilise pour cela
Vega_gen_conf_file qui crée le script qui est ensuite lancé en csh « lance_ac ».
iii. En s’inspirant des programmes IDL de post-traitement générer un fichier
postscript contenant sur une page les résultats du traitement sous forme
graphique, à savoir :
1. Bloc titre contenant les informations pertinentes : Date, Heure, Nom
répertoire, Détecteur.
2. Graphe V² fonction du numéro fichier
3. Graphe Position Pic fonction du numéro de fichier
4. Graphe Rapport Signal à Bruit fonction du numéro de fichier
iv. Générer le fichier OIFITS contenant les V² brutes en adaptant le programme
vega_post_ac_cal.
v. Mise à disposition des fichiers ps et oifits dans /data/RESULTS/nuitxxx
vi. Stocker le fichier ps et oifits dans la base de données
vii. Effacer les répertoires de traitement
viii. Effacer les données copiées et le répertoire de calibration qui a été généré.
Annexe 1 : Exemple fichier inp
[dmo@vegadrs EPSAURS1S2.2009.11.05.07.50]$ more *.inp
PRO.DISPFILE /data/DISP/D_EPSAUR.2009.11.05.08.20/
PRO.GRIDREP /data/GRID/G08.05.22/
COR.PHOT1 36796400
COR.PHOT2 53257740
COR.PHOT3 0
COR.PHOT4 0
COR.R01 39.558
COR.R02 35.647
COR.R03 0.000
COR.R04 0.000
Annexe2 : Exemple de fichier .cmd en AC
[dmo@vegadrs 12H47]$ more vegaDataReduction.cmd
WORKINGDIR
/data/dmo/EPSAUR/2009.11.05/MR.AC/12H47
NIGHT 2009.11.05
CAMERA algolr
SCENARIO
AC_INDIV
LMIN0
6600.00
LMAX0
6800.00
YMAX
644
YMIN
256
POLDEG 5
NBCONT 3
CONTMIN3
833
CONTMIN2
317
CONTMAX2
759
CONTMIN1
152
CONTMAX1
291
NBOBS
3
OBS1 EPSAURS1S2.2009.11.05.12.20
OBS2 EPSAURCAL2S1S2.2009.11.05.11.32
OBS3 EPSAURCAL2S1S2.2009.11.05.12.35
Annexe3 : Exemple de fichier lance_ac
[dmo@vegadrs 12H47]$ more lance_ac_2009.11.05.csh
#!/bin/csh
cd 2009.11.05/EPSAURS1S2.2009.11.05.12.20
csh commande_ac.csh
cd ../..
cd 2009.11.05/EPSAURCAL2S1S2.2009.11.05.11.32
csh commande_ac.csh
cd ../..
cd 2009.11.05/EPSAURCAL2S1S2.2009.11.05.12.35
csh commande_ac.csh
cd ../..
Annexe 4 : Sujet de stage d’IUT
Titre : Automatisation du processus de réduction de données de l’instrument Vega
Responsable du stage : Clausse Jean-Michel 0493405354 [email protected]
Lieu du stage : Observatoire de la Côte d’Azur, Centre de Grasse Roquevignon
Rémunération du stage : OUI, environ 1000€
Possibilité de CDD emploi d’été à la suite du stage probable selon extension possible du sujet.
OS : linux fedora
Langages : C, shell script, Python, IDL (idem matlab)
Description :
Ce stage porte sur l’automatisation d’un processus (pipeline) de traitement de notre instrument
localisé près de Los Angeles en Californie sur le télescope Chara, télé opérable depuis Grasse. De
nombreux éléments du pipeline existent sous différents langages (shell, C, IDL, Yorick, Python,
base de données MySql, postscript). Il s’agira soit d’effectuer des appels de code existant soit de
porter le code par exemple celui en Yorick (look C) vers du C par exemple. Le langage de
structuration global est à définir (shell, Python, IDL) à la suite d’une étude approfondie du cahier
des charges et l’inventaire de l’existant.
Le stagiaire devra savoir s’adapter aux différents langages, appréhendé un peu les concepts
scientifiques, être relativement autonome. C’est un sujet assez difficile qui sera immédiatement mis
en opération.