2000 coeurs /jour
publicité
Reconstruction multi-échelles automatisée du lignage cellulaire spatio-temporel de l'embryon Grid Day - 5/10/10 Emmanuel FAURE CREA-ISCPIF [email protected] [email protected] mardi 19 octobre 2010 Origine mardi 19 octobre 2010 Origine 2005-2008 - Projet Européen : Embryomics : 2.34M€ Reconstructing in Space and Time the Cell Lineage Tree mardi 19 octobre 2010 Origine 2005-2008 - Projet Européen : Embryomics : 2.34M€ Reconstructing in Space and Time the Cell Lineage Tree 2006-2009 - Projet Européen : BioEmergences : 2.54M€ Towards the measurement of the individual susceptibility to diseases or response to treatments mardi 19 octobre 2010 Origine 2005-2008 - Projet Européen : Embryomics : 2.34M€ Reconstructing in Space and Time the Cell Lineage Tree 2006-2009 - Projet Européen : BioEmergences : 2.54M€ Towards the measurement of the individual susceptibility to diseases or response to treatments 2006-2009 - ANR : MorphoScale 0.3M€ A multiscale statistical biomechanics platform to unravel emergent collective behaviours in embryogenesis processes mardi 19 octobre 2010 Reconstruction théorique Modèle théorique Simulation Concepts Hypothèses Reconstruction Δ Morphogenèse Phénoménologique Validation Virtuelle Traitement des données Analyses Δ Δ Mesure Mesure Embryon Rawdata mardi 19 octobre 2010 Visualisation Visualisation Phénoménologie Augmentée Virtualité Augmentée Acquisition 3D + Temps + + Rawdata Amphioxus mardi 19 octobre 2010 Phallusia Mamillata Oursin Poisson Zèbre Acquisition 3D + Temps + + Rawdata DataSet: ~ 500 pas de temps Image Volume 3D : 512x512x120 sur 2 canaux Amphioxus mardi 19 octobre 2010 Phallusia Mamillata Oursin Poisson Zèbre Reconstruction Membranes Noyaux Rawdata Filtrage mardi 19 octobre 2010 Filterdata Reconstruction Membranes Noyaux Rawdata Filtrage mardi 19 octobre 2010 Filterdata 4 processeurs en // (MPI) 10 Itérations pour chaque volume 3D chaque itération prend 10 minutes Reconstruction Membranes Noyaux Rawdata Filtrage Filterdata 4 processeurs en // (MPI) 10 Itérations pour chaque volume 3D chaque itération prend 10 minutes 4 coeurs , 100 Minutes mardi 19 octobre 2010 Reconstruction Rawdata Détection Centres Filtrage mardi 19 octobre 2010 Filterdata Pointdata Reconstruction 2 processeurs en // 20 itérations 800 Secondes chacune par volume 3D Rawdata Détection Centres Filtrage mardi 19 octobre 2010 Filterdata Pointdata Reconstruction 2 processeurs en // 20 itérations 800 Secondes chacune par volume 3D 2 coeurs, 266 minutes Rawdata Détection Centres Filtrage mardi 19 octobre 2010 Filterdata Pointdata Reconstruction Rawdata Détection Centres Filtrage mardi 19 octobre 2010 Filterdata Pointdata Segmentation Polydata Reconstruction Segmentation des membranes 6 secondes par cellule Rawdata Détection Centres Filtrage mardi 19 octobre 2010 Filterdata Pointdata Segmentation Polydata Segmentation des noyaux ~ 0.75 secondes par noyaux, ~ 6000 cellules par volume 3D. Reconstruction Segmentation des membranes 6 secondes par cellule 1 coeur , 600 minutes Rawdata Détection Centres Filtrage Filterdata Pointdata Segmentation Polydata Segmentation des noyaux ~ 0.75 secondes par noyaux, ~ 6000 cellules par volume 3D. 1 coeur, 75 minutes mardi 19 octobre 2010 Reconstruction Rawdata Détection Centres Filtrage Pointdata Filterdata Segmentation Vecteurs Déplacement mardi 19 octobre 2010 Vectordata Polydata Reconstruction 1 coeur, 180 minutes Rawdata Détection Centres Filtrage Pointdata Filterdata Segmentation Vecteurs Déplacement mardi 19 octobre 2010 Vectordata Polydata Reconstruction Détection Mitoses Rawdata Détection Centres Filtrage Pointdata Filterdata Segmentation Vecteurs Déplacement mardi 19 octobre 2010 List Pointdata Vectordata Polydata Reconstruction 1 coeur, 60 minutes Détection Mitoses Rawdata Détection Centres Filtrage Pointdata Filterdata Segmentation Vecteurs Déplacement mardi 19 octobre 2010 List Pointdata Vectordata Polydata Reconstruction Détection Mitoses Rawdata List Pointdata Tracking Détection Centres Filtrage Pointdata Filterdata Segmentation Vecteurs Déplacement mardi 19 octobre 2010 Vectordata Polydata Lineage data Reconstruction 8 processeurs en // 5 itérations 10 heures chacune Détection Mitoses Rawdata List Pointdata Tracking Détection Centres Filtrage Pointdata Filterdata Segmentation Vecteurs Déplacement mardi 19 octobre 2010 Vectordata Polydata Lineage data Reconstruction 8 processeurs en // 5 itérations 8 coeurs , 50 heures 10 heures chacune Détection Mitoses Rawdata List Pointdata Tracking Détection Centres Filtrage Pointdata Filterdata Segmentation Vecteurs Déplacement mardi 19 octobre 2010 Vectordata Polydata Lineage data Reconstruction Détection Mitoses Rawdata List Pointdata Tracking Détection Centres Lineage data Pointdata Détection Champs Morphogénétiques Filtrage Filterdata Segmentation Vecteurs Déplacement mardi 19 octobre 2010 Vectordata Polydata List Pointdata Reconstruction Détection Mitoses Rawdata List Pointdata Tracking Détection Centres Lineage data Pointdata Détection Champs Morphogénétiques Filtrage Filterdata Segmentation Vecteurs Déplacement mardi 19 octobre 2010 Vectordata Polydata List Pointdata Visualisation Détection Mitoses Rawdata List Pointdata Tracking Détection Centres Lineage data Pointdata Détection Champs Morphogénétiques Filtrage Filterdata Segmentation Vecteurs Déplacement mardi 19 octobre 2010 Vectordata Polydata List Pointdata Calcul Filtrage Détection Centres Segmentation Vecteurs Déplacement Détection Mitoses 4 coeurs , 100 Minutes 2 coeurs, 266 minutes 1 coeur, 75 minutes 1 coeur , 600 minutes 1 coeur, 180 minutes Tracking + 8 coeurs , 50 heures 1 coeur, 60 minutes 4 coeurs , 12 heures sur 500 Pas de temps, -> 2000 coeurs pendant 1/2 journée mardi 19 octobre 2010 Stockage Filtrage Détection Centres Segmentation Vecteurs Déplacement Détection Mitoses Une expérience 50 Go qquelques mégas Tracking 5 Go 1 Go 5 Go qquelques mégas ~ 100 Go mardi 19 octobre 2010 : 50 Go -> Compression / 2 -> 50 Go Aujourd’hui mardi 19 octobre 2010 Aujourd’hui Une expérience : -> 2000 coeurs pendant 1/2 journée -> 50Go / 1/2 journée mardi 19 octobre 2010 Aujourd’hui Une expérience : -> 2000 coeurs pendant 1/2 journée -> 50Go / 1/2 journée Un microscope : -> 2000 coeurs /jour -> 100Go / jour ~ 1 expérience sur 5 est gardée mardi 19 octobre 2010 Aujourd’hui Une expérience : -> 2000 coeurs pendant 1/2 journée -> 50Go / 1/2 journée Un microscope : -> 2000 coeurs /jour -> 100Go / jour ~ 1 expérience sur 5 est gardée Un labo (5 Microscopes en //) : -> 1000 coeurs / jour -> 100Go / jour mardi 19 octobre 2010 Aujourd’hui Une expérience : -> 2000 coeurs pendant 1/2 journée -> 50Go / 1/2 journée Demain + angles de vue : 4 fois plus dʼimages + canaux : 2 à 8 canaux par image Un microscope : -> 2000 coeurs /jour -> 100Go / jour ~ 1 expérience sur 5 est gardée Un labo (5 Microscopes en //) : -> 1000 coeurs / jour -> 100Go / jour mardi 19 octobre 2010 + large : Image 4 * plus grande + rapide : 10 fois plus de pas de temps + profond : 2 fois plus de stacks Aujourd’hui Une expérience : -> 2000 coeurs pendant 1/2 journée -> 50Go / 1/2 journée Demain + angles de vue : 4 fois plus dʼimages + canaux : 2 à 8 canaux par image Un microscope : -> 2000 coeurs /jour -> 100Go / jour ~ 1 expérience sur 5 est gardée Un labo (5 Microscopes en //) : -> 1000 coeurs / jour -> 100Go / jour mardi 19 octobre 2010 + large : Image 4 * plus grande + rapide : 10 fois plus de pas de temps + profond : 2 fois plus de stacks x 25 mardi 19 octobre 2010 mardi 19 octobre 2010 mardi 19 octobre 2010 mardi 19 octobre 2010 mardi 19 octobre 2010 mardi 19 octobre 2010 Microscope mardi 19 octobre 2010 Microscope ICAT data transfert mardi 19 octobre 2010 Microscope ICAT data transfert mardi 19 octobre 2010 data transfert SRM-LFC Microscope Algorithms ICAT data transfert mardi 19 octobre 2010 data transfert SRM-LFC Microscope Algorithms 16 coeurs ICAT data transfert mardi 19 octobre 2010 data transfert SRM-LFC Microscope Error Managemenmt W O R F L O W Job scheduler submit Job Monitor COMPUTERS GRID EGEE MPI Algorithms SEQ IN2P3 Submit Commands Algorithm / Pipeline Experiment Algorithm Package param.csh EXE job.csh SRC Metadata Mail Web Interface ICAT data transfert mardi 19 octobre 2010 status algo.c++ IRODS Input Data DB Output Data makefile MAK 16 coeurs DOC readme STORAGE data transfert SRM-LFC Microscope Algorithms 16 coeurs ICAT data transfert mardi 19 octobre 2010 data transfert SRM-LFC Microscope Algorithms WSJ A E MM W 500 coeurs EM C IS S ESApaj In O m M Dr S 16 coeurs ICAT data transfert mardi 19 octobre 2010 data transfert SRM-LFC Microscope Algorithms WSJ A E MM W 500 coeurs EM C IS S ESApaj In O m M Dr S WSJ A E MM W EM C IS S ESApaj In O m M Dr S 16 coeurs 1600 coeurs ICAT data transfert mardi 19 octobre 2010 data transfert SRM-LFC Microscope Algorithms WSJ A E MM W 500 coeurs EM C IS S ESApaj In O m M Dr S WSJ A E MM W EM C IS S ESApaj In O m M Dr S 16 coeurs 1600 coeurs ICAT data transfert mardi 19 octobre 2010 data transfert SRM-LFC Microscope DataBase Algorithms WSJ A E MM W 500 coeurs EM C IS S ESApaj In O m M Dr S WSJ A E MM W EM C IS S ESApaj In O m M Dr S 16 coeurs 1600 coeurs ICAT data transfert mardi 19 octobre 2010 data transfert SRM-LFC Microscope DataBase Algorithms WSJ A E MM W 500 coeurs EM C IS S ESApaj In O m M Dr S WSJ A E MM W EM C IS S ESApaj In O m M Dr S 16 coeurs 1600 coeurs ICAT data transfert mardi 19 octobre 2010 data transfert SRM-LFC Microscope DataBase Algorithms WSJ A E MM W 500 coeurs EM C IS S ESApaj In O m M Dr S WSJ A E MM W EM C IS S ESApaj In O m M Dr S 16 coeurs 1600 coeurs ICAT data transfert mardi 19 octobre 2010 data transfert SRM-LFC Microscope DataBase Algorithms WSJ A E MM W 500 coeurs EM C IS S ESApaj In O m M Dr S WSJ A E MM W EM C IS S ESApaj In O m M Dr S 16 coeurs 1600 coeurs ICAT data transfert mardi 19 octobre 2010 data transfert SRM-LFC Microscope DataBase Algorithms WSJ A E MM W 500 coeurs EM C IS S ESApaj In O m M Dr S WSJ A E MM W EM C IS S ESApaj In O m M Dr S 16 coeurs 1600 coeurs ICAT data transfert mardi 19 octobre 2010 data transfert SRM-LFC Microscope DataBase Algorithms WSJ A E MM W 500 coeurs EM C IS S ESApaj In O m M Dr S WSJ A E MM W EM C IS S ESApaj In O m M Dr S 16 coeurs 1600 coeurs ICAT data transfert mardi 19 octobre 2010 data transfert SRM-LFC Reconstruction théorique Modèle théorique Simulation Concepts Hypothèses Reconstruction Δ Morphogenèse Phénoménologique Validation Virtuelle Traitement des données Analyses Δ Δ Mesure Mesure Embryon Rawdata mardi 19 octobre 2010 Visualisation Visualisation Phénoménologie Augmentée Virtualité Augmentée Analyses Multi-échelles mardi 19 octobre 2010 Embryons mardi 19 octobre 2010 Analyses Multi-échelles Embryons Carte des territoires présomptifs mardi 19 octobre 2010 Analyses Multi-échelles Embryons Analyses Multi-échelles Cellules Carte des territoires présomptifs mardi 19 octobre 2010 Embryons Analyses Multi-échelles Cellules Carte des territoires présomptifs mardi 19 octobre 2010 Cellules en Division Reconstruction théorique Modèle théorique Simulation Concepts Hypothèses Reconstruction Δ Morphogenèse Phénoménologique Validation Virtuelle Traitement des données Analyses Δ Δ Mesure Mesure Embryon Rawdata mardi 19 octobre 2010 Visualisation Visualisation Phénoménologie Augmentée Virtualité Augmentée Theoritical Model mardi 19 octobre 2010 Theoritical Model Simulation mardi 19 octobre 2010 Theoritical Model Simulation mardi 19 octobre 2010 Theoritical Model Simulation mardi 19 octobre 2010 Direction Scientifique (ISC - CNRS - Gif sur Yvette): Nadine Peyriéras (ISC - CNRS - Polytechnique): Paul Bourgine Direction Technique Louise Duloquin : Protocoles biologiques / Imagerie Emmanuel Faure : Reconstruction / Analyses /Workflow Thierry Savy : Visualisation / Workflow Camilo Melani : Reconstruction / Workflow mardi 19 octobre 2010 Task Force Audrey Colin Ingrid Colin Julien Delile Sophie Desnoulez Jean François Gilles Vasily Gurchenkov Raphaël Keller Benoit Lombardot Miguel Luengo Oroz Barbara Rizzi UNIBO Bologna Alessandro Sarti Matteo Campana Barbara Rizzi Camilo Melani Cecilia Zanella BIT Madrid Andres Santos Miguel Luengo Oroz Dominique Boutigny Pascal Calvat Jean-Yves Nief mardi 19 octobre 2010 CNRS-CREA-ISCPIF Paul Bourgine Emmanuel Faure Benoit Lombardot Thierry Savy Thanks ! René Doursat & al CNRS - DEPSN Nadine Peyriéras Louise Duloquin Sophie Desnoulez Benoit Maury Ingrid Colin Vasily Gurchenkov DMDG Bratislava Karol Mikula Robert Čunderlík Olga Drblíková Mariana Remešíkova LAL Michel Jouvin & al
