D0 France Réunions ccin2p3 du 5 décembre 2001

Réunion Analyse D0 France au
CCIN2P3
19 janvier 2004
Patrice Lebrun
Ordre du jour
 Accueil et discussion de l'ordre du jour
Descriptions des moyens de stockages du centre (phg,Thomas)
Etats actuel des ressources de D0 et demandes 2004 (Patrice)
Transferts de fichiers (Laurent)
Production MC (Patrice, Michel)
Gestion des fichiers (Laurent)
Sam et d0grid (Patrice, Tibor)
Parole aux utilisateurs (Bernard, PatriceV ...)
Répartitions des responsabilités, rôle du comité analyse
AOB
Utilisation actuelle des ressources
Group_dir
• 136 Go (66%)
Throng_dir
• 8 Go (68 %)
Espace SPS
• 20 Go (39 %)
HPSS
• 64 To
• 2 serveurs avec 2.5 To
CPU

15 M UI demandés en 2003 !
• Production:
• Analyses (autres):
140 000 h UI
216 000 h UI
Demandes 2004
HPSS


Trois serveurs avec 2 To de disque par serveur
30 To
Transfert

Carte ethernet 100 Mb/s sur ccd0?
Disques



THRONG:
GROUP:
SPS:
32 Go
184 Go
1 To
Logiciels


Prolongation de la licence KCC
xrootd ?
Demandes 2004 suite
machine proxy database

Pour l ’accès aux données de calibration (reprocessing RAW data).
A priori une grosse configuration sur une machine Linux biprocessaur devrait être suffisant …
…?
Réseau
FNAL via Renater 3 (1 Gb/s) -> Geant US (2.5 Gb/s) ->
ESNET (622 Mb/s)
La ligne CERN est encore un chemin possible utilisé
Taux de Transfert actuel


Actuellement FNAL-CCIN2P3: ~ 30 Mb/s
100 Mb/s (Laurent ?)
La Production MC
MC_RUNJOB

L’environnement a été modifié (utilisation « à la CAB ») pour ne
plus avoir à l ’adapter au ccin2p3 à chaque version. (Merci Michel)
Database Oracle


Permet le suivi de la production (interface PHP)
Procédure de « Merging » des thumbnails disponible
Mécanisme des requests


Fichiers pythons en entrée
Productions privées possible à mettre en service
Documentations et formations


Prévoir des réunions
pages HTML à éditer
SAM et JIM
Tâches de fond sur CCD0

1 station
• ccin2p3-analysis
• ccin2p3-production n ’existe plus !!
Rôles



Gestion des fichiers et de projets
Transfert des fichiers entre les sites
Soumission des jobs (depuis n ’importe quel site)
SAM et HPSS



Sam reconnaît les fichiers dans HPSS comme des fichiers locaux
Cache sur CCD0 sert de passerelle avec l ’extérieur
Risque d ’utilisation inflationniste de HPSS
Solution possible au problème
d’optimisation de SAM avec HPSS
Sortir les serveurs de HPSS

les disques des serveurs sont gérés par SAM (cache)
• SAM sait il équilibrer la charge des serveurs ?
HPSS est vu comme ENSTORE (staging)

SAM doit être de nouveau modifié pour cela.
• URL hpss et rfio à définir et non pas seulement rfio.
Les applications accèdent les fichiers sur les serveurs avec
RFIO

SAM doit savoir le faire car c’est qu’il fait actuellement avec
HPSS
Grille de Calcul
Début d’installation au ccin2p3


premiers tests
configuration des queues de soumission des job (Laurent)
Première réunion européennes au ccin2p3 le 7 mai




JIM
Estimation des forces dans chaque laboratoire
Coopération avec CMS sur les métadata
S’impliquer plus avec le groupe grille de calcul du ccin2p3
Reprocessing des données: quelques
chiffres
Période du 20 Novembre au 6 janvier

Michel,Laurent, Tibor, Patrice

6.8 To de DST transférées de FNAL à Lyon
7.3 To de DST produites et stockè à Lyon
0.66 To de thumbnails transférées à FNAL
35 M evts (15s, cpu 1 Ghz)
CPU: ~ 160 processeurs à 1 GHz soit 1 MhUI (10 % des ressources en CPU
du centre sur cette période). La répartition en type de processeurs est la
suivante:




• ~ 70 % PIV 2.4 GHz
• ~ 20 % PIII 1.4 GHz
• ~ 10 % PIII 1 GHz
Comité Analyse
Redéfinir son rôle et organiser son fonctionnement

Avoir un responsable de ce comité
• Nom: Bernard Andrieu ?
Membres (à réactualiser ?)










Sabine Crépé
Michel Jaffre
Bruno Thooris
Pierre Lutz
Patrice Lebrun
Denis Gelé
Bernard Andrieu
Laurent Duflot
Eric Kajfasz
Smaïn Kermiche
MAN POWER
Recrutement d’un CDD au ccin2p3 dédié à D0

Tibor Kurca
•
•
•
•
•
début de contrat: 1er septembre
Amélioration des outils de production
Production MC et Reprocessing
Développement d ’outils pour l ’aide à l ’analyse
Utilisation de D0-Grid
Utilisation des services informatiques des laboratoires

Possible si l’on demande un développement ponctuel bien définit
• ex: nouvelle classe THPSSFile écrite à Lyon pour utiliser RFCP de
manière transparente (reste à en faire la publicité)