IfI Institut de la Francophonie pour l'Informatique Rapport de stage - Master 2 Systèmes Intelligents et Multimédia OPTIMISATION PAR PARALLÉLISATION DE L’ALGORITHME DE RECALAGE ÉLASTIQUE 3D FREE FORM DEFORMATION (FFD) LE Xuan Sang 5 décembre 2013 Encadrants : Dr. Thierry DELZESCAUX (CEA), Nicolas SOUEDET (CEA) Muriel VISANI (Université de La Rochelle) Remerciements Je souhaite tout d’abord remercier mon encadrant de stage, Thierry Delzescaux, pour m’avoir accueilli au sein de l’équipe, pour son soutien tout au long du stage, sa disponibilité, et ses conseils nombreux et éclairés. Merci également à Nicolas Souedet pour m’avoir aidé à me familiariser avec l’environnement de développement à MIRCen, mais surtout pour sa gentillesse et son implication dans mon stage. Un grand merci à Anne-Sophie Hérard et Michel Vandenberghe pour leur regard de biologiste et pour leur enthousiasme dans ma préparation des données de segmentation, une longue et fastidieuse tâche. Sans oublier Yaël Balbastre et Medhi Sadouni, mes amis du bureau 114, pour l’accueil chaleureux, pour l’ambiance de travail très amicale et pour leurs blagues très drôles même si je ne les ai pas toutes comprises. Je tiens à remercier Muriel Visani, mon encadrant de l’université de La Rochelle, pour le suivi et les relectures du rapport au cours de mon stage. Merci enfin à Maryse Mouveroux pour m’avoir aidé à résoudre toutes les démarches administratives difficiles qui ont permis la réalisation de mon stage. Table des matières 1 Introduction 2 État de l’art 2.1 Les maladies neurodégénératives . . . . . . . . . . . . . . . 2.2 La recherche pré-clinique et les modèles animaux . . . . 2.3 Les différents types d’imagerie . . . . . . . . . . . . . . . . 2.3.1 Imagerie post morterm . . . . . . . . . . . . . . . . 2.3.1.1 Acquisition des données . . . . . . . . . 2.3.1.2 Les différentes types de déformations . 2.3.2 Imagerie in vivo . . . . . . . . . . . . . . . . . . . . 2.3.3 La modalité photographique . . . . . . . . . . . . . 2.4 La reconstruction 3D de données post mortem . . . . . . 2.5 Le recalage 3D d’images . . . . . . . . . . . . . . . . . . . 2.5.1 Transformation linéaire . . . . . . . . . . . . . . . . 2.5.2 Transformation non linéaire – le recalage FFD . 2.5.3 Critères de similarité . . . . . . . . . . . . . . . . . . 2.5.4 Critère de recouvrement DICE . . . . . . . . . . . 2.5.5 Le recalage 3D d’images . . . . . . . . . . . . . . . 2.6 Environnement logiciel utilisé . . . . . . . . . . . . . . . . . 2.7 Objectif du stage . . . . . . . . . . . . . . . . . . . . . . . . . 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 5 5 6 6 6 7 8 9 10 11 12 12 14 15 15 16 18 3 Optimisation des paramètres du recalage FFD 3.1 Description des données utilisées . . . . . . . . . . . . . . . . . . . 3.1.1 IRM/Atlas . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.1.2 Photographie/Segmentation manuelle . . . . . . . . . . 3.2 Évaluation quantitative du recalage FFD par l’indice DICE . . 3.3 Optimisation des paramètres . . . . . . . . . . . . . . . . . . . . . 3.3.1 Sous-échantillonnage de données . . . . . . . . . . . . . . 3.3.2 Stratégie optimale du recalage FFD . . . . . . . . . . . . 3.3.3 Résolution de la grille de points de contrôle . . . . . . . 3.3.4 Les combinaisons de composants de couleurs (R,V,B) 3.3.5 Les positions de la grille de points de contrôle . . . . . 3.4 Valeur optimale d’un paramètre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 21 21 22 24 26 26 27 27 29 29 30 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Résultat & Discussion 33 4.1 Résultat des expérimentations sur le recalage FFD . . . . . . . . . . . . . . . 33 i Table des matières 4.2 4.1.1 Impact du sous-échantillonnage des données . . . . . . . . . . . . . . 4.1.2 Stratégie optimale de recalage FFD . . . . . . . . . . . . . . . . . . . . 4.1.3 Impact de la dimension de la grille de points de contrôle . . . . . . 4.1.4 Impact des différentes combinaisons de composants de couleurs . . 4.1.5 Impact des différentes positions de la grille de points de contrôles . Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 35 35 36 39 40 5 Conclusion 43 Bibliographie 45 ii Table des figures 2.1 2.2 2.3 2.4 2.5 3.1 3.2 3.3 (a) Cerveau entier de souris congelé avant la coupe, (b) une coupe d’autoradiographie (métabolisme du glucose) et (c) la coupe histologique correspondante (mettant en évidence les corps cellulaires des neurones) d’un cerveau de souris (Dubois 2008; Lebenberg 2010) . . . . . . . . . . . . . . . . (a) Vue coronale, (b) sagittale, et (c) axiale d’une IRM d’un cerveau de souris, source : wiki.phenogenomics.ca. (d) vue coronale d’une TEP d’un cerveau de souris, source : MIRCen. . . . . . . . . . . . . . . . . . . . . . . . . . (a) installation d’un système photographique permettant de photographier le plan de coupe d’un cerveau de rat avant chaque coupe au cryostat, (b) la photographie d’une coupe couleur avant et (c) après le traitement (extraction d’une composante en couleur et segmentation du tissu par rapport au milieu d’enrobage). Source : MIRCen. . . . . . . . . . . . . . . . . Représentation d’un volume biologique : vue surfacique (a) coronale, (b) sagittale, (c) axiale et (d) vue volumique d’autoradiographie d’un hémisphère de cerveau de souris. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Processus d’évaluation du recalage FFD. L’IRM et la photographie sont utilisées pour estimer la transformation élastique (FFD) de l’une à l’autre. La transformation est par la suite appliquée sur l’atlas pour obtenir un nouvel atlas avec les structures qui sont bien recalées. L’évaluation du recalage sera faite sur chaque structure entre l’atlas recalé et la segmentation manuelle à l’aide du critère de recouvrement DICE. . . . . . . . . . . . . . . . Description de données IRM/atlas, de gauche à droite : vue axiale, coronale et sagittale des données. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Description de données Photographie/segmentation, de gauche à droite : vue axiale, coronale et sagittale des données. . . . . . . . . . . . . . . . . . . . Vue 3D de la segmentation manuelle des structures utilisées pour évaluer le FFD (segmentées à partir du volume photographique). Le cerveau entier (1) est utilisé pour évaluer la qualité du FFD sur la forme globale du cerveau ; (2-7) différentes structures internes caractérisées par leur forme et leur orientation. Chaque structure est étiquetée par une valeur comme montrée dans la figure. Par conséquent, une étape de prétraitement sera nécessaire pour extraire et ré-étiqueter les structures correspondantes de l’atlas en respectant ces valeurs avant de passer à étape d’évaluation. Cette segmentation manuelle se base sur la photographie et a été réalisée par un expert pendant plusieurs semaines. . . . . . . . . . . . . . . . . . . . . . . . . . 7 9 10 11 19 21 22 23 1 Table des figures 3.4 3.5 3.6 4.1 4.2 4.3 4.4 4.5 4.6 2 Trois commandes Aims principales ont été utilisée pour estimer le recalage FFD : AimsMIRegister s’occupe de l’initialisation de positionnement de l’IRM par rapport à la photographie ; AimsBlockMatching donne une estimation sur la déformation globale du cerveau et AimsFFD permet de capturer la déformation locale des structures. La commande AimsThreshold est utilisée pour extraire les structures d’intérêt à partir de l’Atlas/la segmentation manuelle. L’application du recalage estimé est effectuée à l’aide de la commande AimsFFDApply. Quant à l’évaluation, l’AimsROIOverlap permet de mesurer l’indice de recouvrement DICE entre deux structures. 25 On calcule d’abord les sous-échantillonnages de l’IRM et de la photographie qui sont par la suite utilisés pour l’estimation du recalage. L’application et l’évaluation de celui-ci sont réalisées sur l’Atlas et la segmentation en pleine résolution. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 L’indice DICE est mesuré à chaque fois qu’une transformation est estimée. 28 Résultat de l’expérimentation : F = (2, 2, 2; 4, 4, 3) donne une solution optimale dans ce cas (ς o p t ≈ 0.003) avec environ 4 heures de calcul et le DICE en moyenne le plus élevé. . . . . . . . . . . . . . . . . . . . . . . . . . . . Le DICE augmente proportionnellement avec l’augmentation des degrés de liberté des transformations. On voit bien que le FFD a moins d’impact sur le volume global (cerveau entier) ou sur les grandes structures (striatum, hippocampe) qui sont bien recalées par la transformation affine. Par contre, il améliore bien les déformations locales, surtout sur les petites structures telles que le corps calleux qui présente un gain de 20% entre le FFD et la déformation affine. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . La grille par défaut G = (10, 10, 10) n’est pas optimale, ce qui semble surprenant théoriquement, la solution optimale dans ce cas est la grille G = (5, 4, 6). Un autre point que l’on doit souligner est que le changement de la dimension de la grille de points de contrôle a un impact plus important sur les petits structures que sur les grandes structures. . . . . . . . . . . . . . . . . . Les 7 premiers graphes non-normalisés montrent le score DICE sur chaque structure en fonction des combinaisons RVB. Le dernier représente la variation moyenne ς . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Les 7 graphes après avoir été normalisés (sauf le dernier qui n’est pas à la même échelle). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Impact de la position de la grille des points de contrôle : Bien que le résultat ne présente aucun gain sur le cerveau entier (structure globale), sur les moyennes et petites structures, il montre une variabilité importante du score DICE. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 35 36 37 38 39 1 Introduction “Nothing in life is to be feared. It is only to be understood...” – Marie Curie. Ce stage s’est déroulé au laboratoire des Maladies Neurodégénératives (LMN), un des trois laboratoires de la plate-forme MIRCen 1 située au CEA 2 de Fontenay-aux-Roses, une plate-forme d’imagerie pré-clinique pour la thérapie génique et cellulaire. Elle est consacrée au développement de modèles animaux pertinents de pathologies humaines utilisés pour évaluer des thérapies innovantes, principalement dans le domaine des maladies neurodégénératives mais aussi des maladies infectieuses et cardiaques. J’ai travaillé dans l’équipe de traitement de l’image bioPICSEL 3 , une équipe de recherche multidisciplinaire qui se compose d’informaticiens et de biologistes, dont le travail se focalise sur la mise en place de stratégies d’analyse des images acquises par les biologistes, avec l’objectif de faciliter leur interprétation et l’accès aux informations pertinentes. Concrètement, les différents types d’imageries in vivo disponibles dans le centre, comme l’IRM et la TEP, sont utilisés pour obtenir une vue globale des organes, plus précisément des cerveaux, dans des modèles animaux de pathologies. Les différentes modalités d’imagerie post-mortem (histologie, autoradiographie,etc.), peuvent par la suite être corrélées avec les données acquises in vivo pour avoir une représentation plus précise de la maladie (neurodégénérative) étudiée afin de mieux comprendre ses mécanismes, son évolution et de valider des thérapies. Le travail de ce stage consiste à optimiser les paramètres d’une implémentation de l’algorithme de recalage élastique FFD (3D) afin d’améliorer la qualité des estimations calculées. Pour cela, il est nécessaire, dans un premier temps, d’acquérir une bonne connaissance de l’infrastructure logicielle existante (2.6) au sein de l’équipe et de comprendre le fonctionnement de l’algorithme de recalage non-linéaire FFD étudié (2.5). Dans un deuxième temps, il est indispensable de mettre en œuvre un outil permettant d’évaluer quantitativement les performances de l’algorithme de recalage et de réaliser une série de tests afin d’optimiser les paramètres de cette méthode. Le but final est de proposer une approche d’optimisation permettant de pallier les problèmes posés. L’objectif du sujet sera détaillé dans la section 2.7. 1. Molecular Imaging Research Center - résultat d’un partenariat entre le CEA et l’Inserm 2. Commissariat à l’Énergie Atomique et aux Énergies Alternatives 3. Biomedical Processing of Images Computer Science and Engineering Laboratory 3 1 Introduction 4 2 État de l’art “If you can solve it, it is an exercise, otherwise it’s a research problem...” –Richard Bellman. e chapitre présente la recherche bibliographique sur toutes les méthodes, les techniques, et les travaux préliminaires concernant le sujet ; leurs avantages ainsi que leurs inconvénients. Cette démarche est une étape préalable qui a pour but de me permettre de maitriser les théories concernant mon sujet, de mieux comprendre les problèmes posés. Cela m’aide également à établir un protocole d’étude adapté et fiable pour que la réalisation du sujet soit menée à terme. La fin de ce chapitre décrit clairement l’objectif du sujet de stage (2.7). C 2.1 Les maladies neurodégénératives Les maladies neurodégénératives sont des pathologies dégénératives affectant le fonctionnement du cerveau, ou plus généralement le système nerveux, de façon progressive au cours de leur évolution. Ces maladies provoquent une détérioration du fonctionnement des cellules nerveuses, en particulier les neurones, pouvant conduire à la mort cellulaire. Ces maladies touchent principalement les personnes âgées de plus de 65 ans, ont souvent une originale génétique, et restent actuellement incurables. Le fait que leur origine ne soit pas toujours connue précisément pose un vrai problème de recherche dans le domaine biomédical. Les principales maladies neurodégénératives qui sont actuellement étudiées à MIRCen sont : la maladie d’Alzheimer, la maladie de Huntington et la maladie de Parkinson. 2.2 La recherche pré-clinique et les modèles animaux L’objectif de la recherche biomédicale est de comprendre les mécanismes physiologiques du corps humain ainsi que les processus pathologiques afin de permettre le développement de nouvelles thérapeutiques. Elle se compose de trois grandes parties : (Lebenberg, 2010) — La recherche fondamentale. — La recherche pré-clinique. — La recherche clinique. Tandis que la recherche clinique s’intéresse principalement à l’être humain en étudiant l’évolution d’une pathologie cible ou bien l’effet de certaines méthodes thérapeutiques sur celle-ci, les recherches pré-cliniques et fondamentales visent à reproduire la maladie sur 5 2 État de l’art des modèles animaux afin de comprendre ses mécanismes d’évolution, développer et tester des nouvelles approches thérapeutiques avant de passer à la recherche clinique. À MIRCen, la recherche pré-clinique se fait principalement sur des petits animaux tels que les souris ou les rats. Ces espèces sont largement utilisées dans les laboratoires car leur vitesse de reproduction est assez rapide (de l’ordre de quelques semaines), ce qui fait que ces modèles sont facilement utilisables dans de nombreuses études exploratoires. Pour les études plus poussées et à fort potentiel de découverte, les biologistes sont amenés à utiliser les primates du fait qu’ils sont anatomiquement plus proches de l’Homme. Par contre ces modèles sont beaucoup plus gros et ont un temps de gestation plus important que les rongeurs ce qui constitue une limite forte à leur utilisation. 2.3 Les différents types d’imagerie Il existe divers types d’imagerie qui sont utilisés dans la recherche bio-médicale et qui peuvent être séparés dans en deux grands types : Imagerie in vivo et l’imagerie postmorterm. 2.3.1 Imagerie post morterm 2.3.1.1 Acquisition des données L’imagerie dite post morterm (Dubois 2008; Lebenberg 2010) désigne toute technique mise en œuvre pour obtenir une image de l’organisme d’un sujet étudié après l’euthanasie de celui-ci. Cette approche est actuellement très utilisée par les biologistes : après avoir sacrifié l’animal, l’organe étudié est extrait de son environnement naturel (le cerveau) et est immédiatement congelé à -40°C et maintenu à -20 ou -80°C afin d’éviter autant que possible sa dégradation et sa déformation de structure. À l’aide d’une machine spécifique (un cryostat), un processus est par la suite mis en place pour découper l’organe en coupes dont chacune peut avoir une épaisseur très fine, qui peut aller de quelques micromètres à plusieurs dizaines de micro-mètres. Les coupes sont ensuite montées sur les lames de verre qui peuvent être directement exposées sur un film d’autoradiographie puis éventuellement colorées ou traitées en utilisant différentes techniques de marquages histologiques. L’imagerie post morterm peut présenter plusieurs types d’informations différentes : L’autoradiographie C’est une technique d’imagerie ex vivo 1 qui permet de révéler, sur un film photographique, des activités fonctionnelles des tissus telles que la consommation de glucose (cérébral), le débit sanguin (cérébral) ou encore le taux de synthèse d’une protéine du sujet étudié avant son euthanasie à l’aide de traceurs radioactifs qui sont injectés directement au sujet. 1. Les tests biologiques mis en place en dehors de l’organisme 6 2.3 Les différents types d’imagerie (a) (b) (c) Figure 2.1 – (a) Cerveau entier de souris congelé avant la coupe, (b) une coupe d’autoradiographie (métabolisme du glucose) et (c) la coupe histologique correspondante (mettant en évidence les corps cellulaires des neurones) d’un cerveau de souris (Dubois 2008; Lebenberg 2010) Le marquage histologique Ce type d’information permet de mettre en évidence certains types cellulaires (neurones, microglie, astrocytes, etc.). Pour cela, une étape de coloration spécifique est nécessaire pour accentuer le contraste d’un type cellulaire cible. Il est donc possible d’avoir une multitude de marqueurs qui permettent de mettre en évidence différentes informations pour un même sujet étudié. Un grand avantage de ce type d’imagerie est que les images acquises ont une résolution spatiale très élevée (inférieure au micromètre ce qui permet d’observer des cellules). Ces images répondent bien aux besoins d’analyse des biologistes même sur des petits animaux tels que les rongeurs. De plus, cette technique est relativement facile à mettre en œuvre, ses résultats peuvent être réutilisés plusieurs années et elle est peu coûteuse par rapport à l’imagerie in vivo qui nécessitent des sytèmes lourds. L’imagerie post mortem présente néanmoins un inconvénient majeur qui est que l’on obtient une seule observation du sujet étudié car elle requiert l’euthanasie de l’animal. De plus, le fait de découper et de monter les tissus sur des lames de verre entraîne la perte de la cohérence tridimensionnelle des coupes et la déformation locale des coupes du fait des contraintes mécaniques de coupe et de l’utilisation de produits de marquage. 2.3.1.2 Les différentes types de déformations L’obtention des données post mortem nécessite une suite de traitements physicochimiques qui peut produisent des déformations non souhaitées sur les coupes. Il y a deux types de déformations principales : Déformations primaires Ce genre de déformation apparaît souvent dans l’étape de prélèvement, après l’extraction de l’organe (le cerveau par exemple) de son environnement naturel que constitue le crâne. Ce sont des déformations globales tridimensionnelles : «Il s’agit d’une contraction globale du cerveau due à la perte du liquide céphalo-rachidien et à la perte d’irrigation sanguine suivies d’une déshydratation, plus diverses déformations 7 2 État de l’art dues à la gravité ou à d’autres effets mécaniques (manipulation du cerveau). » (Dauguet, 2005) Déformations secondaires Ces déformations se produisent durant l’étape de coupe et de montage des coupes sur les lames de verre. Là, on trouve non seulement la perte de cohérence tridimensionnelle des échantillons mais aussi des déformations locales bidimensionnelles importantes telles que : des cisaillements, des plissements, voire des déchirements. Un point caractéristique de ces déformations est qu’elles n’ont pas les mêmes effets sur les différentes parties de l’échantillon. Cela signifie que les coupes ne concervent pas leur géométrie initiale avant la coupe de l’organe. Ces déformations ont une influence très importante sur la qualité de la reconstruction du volume 3D à partir des coupes 2D. Ainsi, une étape de correction des déformations est effectivement nécessaire, utilisant une méthode de recalage d’images (Rigide, Affine, FFD). 2.3.2 Imagerie in vivo Cette technique permet l’acquisition d’images sur un sujet vivant afin de réaliser des études longitudinales, les images étant obtenues sur un même sujet à différents temps. À MIRCen, on a deux types de systèmes d’imagerie in vivo principaux (Lebenberg, 2010) : Imagerie par Résonance Magnétique (IRM) est une technique d’imagerie médicale permettant d’obtenir des vues 2D ou 3D de l’intérieur du corps de façon non invasive et qui repose sur les propriétés magnétiques des noyaux atomiques que l’on met en interaction avec un champ magnétique extérieur. Les images sont enfin obtenues à l’aide d’une reconstruction mathématique sur les informations qui représentent la structure des organes et leur forme (imagerie anatomique). La Tomographie par Émission de Positons (TEP) est une méthode d’imagerie médicale permettant de mesurer en trois dimensions les activités métaboliques d’un organe grâce aux émissions produites par les positons issus de la désintégration d’un produit radioactif injecté au préalable. Le principe est qu’on injecte un traceur dans le sujet étudié dont on connaît le comportement et les propriétés biologiques. Ce traceur est marqué avec un atome radioactif qui est capable d’émettre des positons qui eux-même produisent deux photons émis dans deux directions opposées. Ces derniers permettent de localiser la position d’où a eu lieu l’émission et de connaître la concentration du traceur en chaque point de l’organe. Ces informations quantitatives sont présentées sous forme d’une image dans laquelle on fait apparaître en couleurs les zones de forte concentration du traceur. Le premier intérêt de ces techniques d’imagerie est qu’elles permettent de faire une étude de manière longitudinale sur un sujet vivant. Les images peuvent être obtenues rapidement sous forme 3D par rapport à la méthode post mortem qui est 2D. Par contre, 8 2.3 Les différents types d’imagerie (a) (b) (c) (d) Figure 2.2 – (a) Vue coronale, (b) sagittale, et (c) axiale d’une IRM d’un cerveau de souris, source : wiki.phenogenomics.ca. (d) vue coronale d’une TEP d’un cerveau de souris, source : MIRCen. à cause des limitations techniques, leur résolution spatiale est assez faible surtout pour l’étude du petit animal, et leur obtention nécessite des installations souvent coûteuses. 2.3.3 La modalité photographique Comme déjà abordé précédemment, pour corriger les déformations, une méthode de recalage est utilisée afin de ré-aligner les échantillons à une structure la plus proche possible de la morphologie originale. Pour cela, il nous faut, pour chaque coupe, une image dite référence qui conserve quasiment la courbure originale de la structure correspondante. On peut utiliser un volume IRM (Malandain et al., 2004) (2.3.2) qui offre les informations morphométriques et structurelles les plus fidèles et les plus précises. Par contre, ce type de modalité n’est pas toujours disponible avec une bonne résolution spatiale surtout sur des petits animaux tels que les rongeurs utilisés à MIRCen. C’est pour cette raison que l’on a besoin de la modalité photographique. Ce type de modalité est produit en prennent la photographie du plan de coupe de l’organe avant chaque coupe. Les photos sont acquises tout au long du processus de coupe, et à la fin, on obtient une série d’images de référence des coupes histologiques. L’acquisition est en général réalisée à intervalle régulier, par exemple le plus souvent, une photographie sera acquise toutes les 4 coupes et le tissu correspondant sera prélevé pour effectuer un marquage histologique d’intérêt. De cette manière, il est possible de limiter le nombre total d’images à acquérir et à traiter. La modalité photographique offre une résolution spatiale élevée, jusqu’à une dizaine de micromètres, et peut fournir des détails anatomiques parfois plus nets que ceux fournis par l’IRM. De plus, comme chaque photographie est réalisée avant la coupe, les déformations locales y sont très limitées, c’est pour cela que le volume photographie obtenu par l’empilement de chaque photographie donne une courbure très proche de l’original bien que des déformations primaires ce soient déjà produites. Ce volume est considéré comme une référence géométrique permettant d’estimer la cohérence tridimensionnelle et de corriger les déformations secondaires des coupes histologiques. Dans la mesure où une IRM du cerveau de souris à étudier aurait été acquise, le bloc photographique pourrait être utilisé pour estimer les déformations primaires mais également pour reconstruire des volumes histologiques en compensant les déformations secondaires. Il est même possible de com- 9 2 État de l’art penser les déformations secondaires et primaires pour un volume histologique (Dauguet, 2005). (a) (b) (c) Figure 2.3 – (a) installation d’un système photographique permettant de photographier le plan de coupe d’un cerveau de rat avant chaque coupe au cryostat, (b) la photographie d’une coupe couleur avant et (c) après le traitement (extraction d’une composante en couleur et segmentation du tissu par rapport au milieu d’enrobage). Source : MIRCen. 2.4 La reconstruction 3D de données post mortem Afin de faciliter l’interprétation et de mieux exploiter les données post mortem obtenues, une approche de reconstruction 3D de celles-ci est proposée afin d’avoir une vue globale en 3D plus précise du sujet étudié. Cette reconstruction 3D se compose de certaines étapes comme décrites ci-dessous (Dubois, 2008) : Numérisation des coupes (histologiques, autoradiographiques) Cette étape est préalable à la reconstruction 3D, les coupes après leur montage sur des lames de verre doivent être numérisées sous forme des fichiers numériques. Ces derniers peuvent être acquis à l’aide d’une microdensitomètre, d’une caméra CDD (Charge Coupled Device), ou d’un scanner à plat haute résolution. À MIRCen, on dispose d’un système d’acquisition (matériel et logiciel) permettant de numériser, d’extraire individuellement et de numéroter des coupes de manière automatique à partir de numérisations intégrant plusieurs coupes. Après cette étape, une série de coupes histologiques numérisées est disponible pour la construction en 3D. Recalage et empilement des coupes Cette étape consiste, à partir des images numérisées, à aligner correctement les coupes entre elles de telle sorte que leur empilement produise un objet 3D le plus fidèle possible à l’original (le cerveau, par exemple). Pour cela on profite de la cohérence tridimensionnelle du volume photographique que l’on prend comme référence géométrique pour reconstruire un volume anatomique. Chaque coupe histologique est recalée ou co-alignée, sur la photographie correspondante en appliquant des techniques de recalage (2.5). 10 2.5 Le recalage 3D d’images Notons que pour reconstruire un volume fonctionnel à partir des coupes autoradiographiques, on utilise le volume anatomique obtenu précédemment comme référence. De cette façon, les résultats de mise en correspondance anatomo-fonctionnelle sont très précises, la géométrie tridimensionnelle des deux volumes étant la même. Cette étape peut être réalisée automatiquement à l’aide des processus déjà développés dans BrainVISA (le module BrainRAT - développé par l’équipe traitement de l’image de MIRCen). Représentation en 3D du volume biologique obtenu (a) (b) (c) (d) Figure 2.4 – Représentation d’un volume biologique : vue surfacique (a) coronale, (b) sagittale, (c) axiale et (d) vue volumique d’autoradiographie d’un hémisphère de cerveau de souris. Le volume biologique 3D (anatomique ou fonctionnel), après sa reconstruction, peut être visualisé en mode surfacique ou volumique à l’aide du logiciel Anatomist. 2.5 Le recalage 3D d’images Une bonne stratégie de recalage joue un rôle très important dans la reconstruction 3D des données post mortem car elle influence directement la qualité du processus. Il existe actuellement plusieurs techniques pour effectuer le recalage 3D (Maintz and Viergever, 1998), mais dans ce stage, on s’intéressera plus particulièrement à celles concernant le recalage élastique FFD. La mise en correspondance d’une image, dite test, avec une autre image, dite référence, consiste à estimer la transformation géométrique optimale qui permet de les aligner le mieux que possible, c.à.d, une transformation optimale qui maximise (Lebenberg, 2010) : T̂ = a r g max S(I r , I t , T ) T ∈T (2.1) Avec T est ensemble des transformations, I r est image de référence, I t est image de test, T est une transformation de T et T̂ est la transformation optimale souhaitée. 11 2 État de l’art Une méthode de recalage peut se composer de plusieurs transformations différentes, mais généralement, elle comporte deux types de transformations principales comme présentées ci-après. 2.5.1 Transformation linéaire Soit I t l’image de test de dimension N (N = 3 dans notre cas), une transformation linéaire de I t est décrite comme suit : ∀x ∈ I t , T (x) = M x + ~t (2.2) Avec x est un vecteur de N dimensions qui représente la coordonnée d’un élément de l’image (pixel/voxel), M est une matrice quelconque de taille NxN et t est un vecteur de translation de N dimensions. Notons que le nombre maximum de degrés de liberté de ce type de transformation est N×N+N (12 pour N=3, par exemple). En fonction de la valeur de M, on a différents types de transformations linéaires : — T est Translation : si M = Id, T a donc N degrés de liberté. — M = R, la matrice de rotation (orthogonale et det(M) = 1), T est appelé la transformation rigide. — M = sR avec s>0 est un facteur d’échelle, on a une transformation de similarité (homothétie). — Dans le cas général, c.à.d. M quelconque, on a une transformation dite affine qui conserve le parallélisme. Un point à souligner est que ce type de transformation donne une modification globale de l’image de test (de manière linéaire). Transformation linéaire par block-matching Cette technique consiste, dans un premier temps, à rechercher un champ de déplacement optimal de certaines régions dans l’image de test vers celles de l’image de référence les plus similaires (estimées par une mesure de similarité, le coefficient de corrélation – (2.5.3)). Dans ce cas, les régions sont définies comme des blocs rectangulaires (carrés par défaut), l’estimation se fait de manière itérative avec une approche multi-résolution. À partir de ce champ de déplacement, on estime par la suite une transformation linéaire globale T0 qui minimise la différence aux moindres carrés (2.5.3) entre les appariements initiaux et les déplacements induits par T0 (Dauguet, 2005). 2.5.2 Transformation non linéaire – le recalage FFD La transformation linéaire estime seulement une transformation globale et simple de l’image test I t . Cependant, il peut être important de corriger les différences de géométrie à une échelle plus locale pour améliorer la superposition des différentes structures internes. Une transformation additionnelle avec plus de degrés de liberté est donc nécessaire pour permettre la déformation locale des structures. La transformation élastique 12 2.5 Le recalage 3D d’images FFD (Free Form Deformation) est une des méthodes qui a été proposée avec succès dans ce domaine car elle donne un nombre important de degrés de liberté pouvant atteindre plusieurs milliers. Il est ainsi possible d’estimer finement les déformations locales pour chaque structure. Dans le cadre de ce stage, on s’intéressera à ce type de transformation qui a déjà été implémentée et intégrée dans le système logiciel de MIRCen. La méthode FFD est basée principalement sur la B-Spline, une fonction polynomiale par morceau à support fini (du classe C2) (Thkvenaz and Unser 1997; Lee et al. 1997; Unser et al. 1990). L’idée de base du FFD est de déformer un objet en manipulant un maillage sous-jacent de points de contrôle. La déformation résultante va contrôler la forme de l’objet et produire une transformation «lisse» (smooth) et continue. Comme, dans notre cas, on travaille avec les volumes 3D, donc, pour simplification, soit Ω = {(x, y, z) | 0 ≤ x < X , 0 ≤ y < Y, 0 ≤ z < Z} le domaine du volume de l’image ; Φ est une grille de points de contrôle de taille n x × ny × n z (dont Φi, j ,k est un point) à l’espacement uniforme δ = (δ x , δy , δ z ). Le FFD peut être représenté par la formule suivante (Rueckert et al. 1999; Mattes et al. 2003) : TF F D (x, y, z) = 3 X 3 X 3 X B l (u)B m (v)Bn (w)Φi +l , j +m,k+n (2.3) l =0 m=0 n=0 Avec i = bx/δ x c − 1, j = by/δy c − 1, k = bz/δ z c − 1, u = x/δ x − bx/δ x c, v = y/δy − by/δy c, w = z/δ z − bz/δ z c et B l présent l e r fonction de B-Spline, donc : Bo (u) B1 (u) B2 (u) B3 (u) = = = = (1 − u)3/6 (3u 3 − 6u 2 + 4)/6 (−3u 3 + 3u 2 + 3u + 1)/6 u 3 /6 (2.4) (2.5) (2.6) (2.7) À noter que les B-splines sont contrôlées localement, ce qui rend le calcul efficace même pour un grand nombre de points de contrôle. En particulier, les fonctions de base de B-splines cubiques ont un support limité, c’est à dire que le changement du point de contrôle Φi, j ,k affecte seulement la transformation dans le voisinage de celui-ci. (Rueckert et al., 1999). Les points de contrôle Φ agissent comme les paramètres principaux du FFD – une partie du travail de ce stage consiste à optimiser ces paramètres de positionnement et d’espacement de ces points de contrôle. La répartition de ces derniers défini ainsi le degré de liberté de la transformation, par exemple, un FFD B-spline de 10x10x10 points de contrôle donne une transformation avec 3000 degré de liberté (déplacements selon X, Y et Z de chaque point de contrôle). Approche pyramidale ou multi-échelle Comme on travaille souvent avec des données très volumineuses, il faut prendre en compte le coût en terme de temps d’exécution du FFD. De plus, un nombre plus élevé de points de contrôle rend plus coûteuse la complexité computationnelle et le risque de tomber 13 2 État de l’art dans un minimum local. Pour pallier ces problèmes, une approche pyramidale ou multiéchelle est généralement proposée (Rueckert et al. 1999) : la transformation est estimée mathématiquement sur des images sous-échantillonnées pour capturer les déformations principales de grandes amplitudes. Cette opération est itérée en augmentant la résolution de la grille de points de contrôle (multi-échelle). Cette approche permet d’optimiser le temps de calcul global et de limiter le risque d’être piégé dans un minimum local. 2.5.3 Critères de similarité Il existe dans la littérature plusieurs critères de similarité différents qui peuvent être utilisés pour optimiser la mise en correspondance des images. Les principaux critères pertinents pour notre projet sont décrits ci-après. Relation de conservation des intensités Dans le cas où les images à recaler ont été obtenues dans les mêmes conditions expérimentales ou même modalité d’imagerie, on peut considérer qu’il y a une relation de conservation des intensités entre celles-ci. L’opération de recalage peut ainsi être optimisée en minimisant la somme des carrés de la différence, concrètement : X S S D(I r , T (I t )) = (i − j )2 (2.8) i, j Avec I r , I t sont l’image de référence et l’image de test, T (I t ) est l’image recalée, i et j sont l’intensité du pixel dans l’image I r et T (I t ). Relation affine entre les intensités des images Lorsque l’on suppose qu’il y a une relation linéaire entre les images, le coefficient de corrélation linéaire (de Bravais-Pearson) peut être un bon choix pour l’optimisation du recalage : P ρ(I r , T (I t )) = q P i, j (i i (i − I r )( j − T (I t )) − Ir ) 2 P j(j (2.9) − T (I t )) 2 Où I r et T (I t ) sont les intensités moyennes de l’image de référence et de l’image de test recalée. Ce coefficient peut varier entre -1 et 1, s’il est proche 0, on est dans le cas le plus défavorable, les deux images sont dite dé-corrélées linéairement. L’optimisation consiste à maximiser la valeur absolue de ce coefficient. Relation statistique entre les intensités des images Dans le cas de recalage d’images multimodales, il n’existe pas une relation linéaire entre les intensités mais plutôt une relation statistique qui peut être représentée par l’information mutuelle, un critère basé sur la mesure de l’entropie (de Shannon-Wienner) : 14 2.5 Le recalage 3D d’images MI = X pi, j log pi, j pi p j (2.10) Avec pi j est la probabilité qu’un pixel dans I r ait l’intensité i et que son correspondant dans l’image T (I t ) ait l’intensité j. pi , p j sont les probabilités d’obtenir i et j dans l’image I r et T (I t ). Ce critère est optimal lorsqu’il est maximisé. 2.5.4 Critère de recouvrement DICE La convergence optimale de l’algorithme de recalage n’assure pas que les images soient correctement recalées. On a donc besoin d’une méthode d’évaluation quantitative pour mesurer la qualité du recalage. Pour cela, il nous faut d’abord, pour chaque structure dans l’image de test dite segmentation test S t , extraire une segmentation correspondante (de l’image de référence) dite segmentation de référence S r . Après avoir recalé la segmentation test, la qualité du recalage peut être estimée en utilisant une mesure de recouvrement. Il en existe plusieurs dans la littérature, dans le cadre de ce stage, on s’intéresse surtout au coefficient de Dice qui est le plus utilisé et qui représente le rapport entre les vrais positifs et la somme des cardinaux des deux segmentations (Lebenberg 2010; Dice 1945). κ=2× ca r d (S t ∩ S r ) ca r d (S t ) + ca r d (S r ) (2.11) Ce coefficient peut varier entre 0 et 1, un recalage est de bonne qualité si cette valeur est proche de 1. Généralement, on considèrera que κ ≥ 0.7 donne une bonne qualité de superposition de deux segmentations. 2.5.5 Le recalage 3D d’images Une méthode de recalage 3D des images peut se composer de la combinaisons de plusieurs transformations. On peut appliquer une transformation linéaire par block-matching, pour la déformation globale, suivie par une transformation élastique FFD, pour les déformations locales des images : T (I t ) = TB M (I t ) + TF F D (I t ) (2.12) Soit Θ et Φ des paramètres de TB M et TF F D . Θ est optimisé par maximisation du coefficient de corrélation (2.5.3) dans la transformation linéaire globale TB M . Quant à Φ, l’optimisation consiste à satisfaire en même temps : (i) la maximisation de l’information mutuelle des images à recaler M I (I r , T (I t )) en respectant Θ pour assurer un bon alignement de celles-ci ; et (ii) la minimisation de la fonctionne de coût C s moot h associée à la finesse de la transformation(équation (2.13)) afin d’optimiser la grille de points de contrôle. 15 2 État de l’art C s moot h = 1 Z X Z Y Z Z ( ∂ 2T )2 + ( ∂ 2T )2 + ( ∂ 2T )2 ∂ x ∂ y ∂ z 2 ∂ T ∂ T ∂ T +2( 2 )2 + 2( 2 )2 + 2( 2 )2 d xd yd z ∂ xy ∂ xz ∂ yx V 0 2 0 0 2 2 2 2 (2.13) Soit C (Θ, Φ) le critère d’optimisation global, on a donc (Rueckert et al., 1999) : C (Θ, Φ) = −M I (I r , T (I t )) + λC s moot h (2.14) On vise à optimiser C (Θ, Φ) en respectant Θ, c.à.d., on minimise le gradient de C (Θ, Φ) ∂ C (Θ,Φ) en fonction de Φ : ∇C = ∂ Φ . Notons qu’ici, λ est un paramètre de pondération qui est un compromis entre les deux critère M I (I r , T (I t )) et C s moot h (λ = 0.01 donne un bon compromis entre ces deux critères – (Rueckert et al., 1999)). Le recalage FFD est détaillé dans l’algorithme (2.1). Algorithme 2.1 L’algorithme de recalage FFD 3D image Estimer la valeur optimale Θ pour la transformation TB M Initialiser la grille de point de contrôle Φ Boucle : Calculer le vecteur de gradient ∇C = en respectant Θ While k ∇C k> ξ do ∂ C (Θ,Φ) ∂Φ (2.14) Recalculer la grille de point de contrôle Recalculer le vecteur de gradient∇C Augmenter la résolution de la grille de points de contrôle Augmenter la résolution de l’image Jusqu’à ce qu’on atteigne la résolution fine de l’image 2.6 Environnement logiciel utilisé À MIRCen, on dispose d’un système logiciel très puissant permettant d’effectuer différents traitements complexes sur des volumes de données (comme présentées précédemment) très volumineuses. Le travail de ce stage repose sur l’environnement logiciel suivant : Aims Aims contient un ensemble de plusieurs centaines de commandes développées en C/C++ agissant comme une sous-couche qui : 16 2.6 Environnement logiciel utilisé — Gère la lecture des volumes de données de divers formats : 2D,3D,4D, GIS, et IRM, TEP, etc. — Fournit des outils de traitement de l’image nécessaires pour traiter ces données (segmentation, recalage, analyse, etc.). BrainVISA C’est un logiciel qui contient plusieurs modules (pipelines) permettant d’automatiser des chaînes de traitement (commandes Aims) sur des volumes d’images précisés en entrée. BrainVISA est organisé sous forme « Plug-and-play » il est donc possible de développer individuellement les modules (en utilisant le langage Python), de les intégrer et de les exécuter sans difficulté. Anatomist C’est un logiciel qui permet de visualiser (sur différentes vues : sagittale, axiale, coronale et en 3D), d’analyser (histogramme, affichage du profil,...) et traiter (fusion, segmentation manuelle,..) les différents types de volumes de données en 3D. Tous ces trois logiciels sont disponible gratuitement sur le site : http://www.brainvisa.info/. 17 2 État de l’art 2.7 Objectif du stage L’objectif principal de ce stage est d’optimiser l’algorithme de recalage FFD qui a déjà été développé et est intégré au sein du système logiciel de MIRCen. Les données du projet sont un volume photographique d’un cerveau de souris avec une segmentation manuelle de plusieurs structures et des données téléchargées sur internet (Dorr et al., 2008) qui se composent d’une IRM de cerveau de souris à haute résolution et d’un atlas (3.1). Le processus d’évaluation est montré dans la figure 2.5. Pour optimiser le recalage de ces données (IRM / volume photographique), il nous faut d’abord pouvoir l’évaluer quantitativement. Jusqu’à présent, l’évaluation du recalage FFD était le plus souvent réalisée de manière qualitative à l’aide de l’outil de visualisation Anatomist en fusionnant les volumes après le recalage. De ce fait, le travail du stage se divise donc en deux étapes principales : (i) La première étape est de mettre en œuvre un outil d’évaluation quantitative de l’algorithme en utilisant le critère DICE (Dice, 1945) comme critère d’évaluation. Comme abordé, l’évaluation par DICE a besoin des segmentations des images à recaler. Il est donc nécessaire de réaliser une segmentation de certaines structures du volume photographique. Ces volumes d’intérêt peuvent être utilisés pour évaluer le recalage FFD en calculant le recouvrement avec les structures correspondantes de l’atlas-IRM. Comme les volumes sont de très grandes dimensions, les premiers développements algorithmiques sont en œuvre sur des images dégradées, ce qui a permis de limiter les temps de calcul en phase de démarrage du projet. En effet, la durée d’un recalage FFD peut atteindre plusieurs heures. (ii) Dans la deuxième étape, le travail consiste à optimiser l’algorithme de recalage FFD en déterminant ses paramètres optimaux (le nombre et la position des points de contrôles, la composante couleur à utiliser pour le volume photographique couleur,...). Ce travail demandera préalablement que la première partie soit complétée pour pouvoir réaliser et évaluer une suite de tests avec les paramètres variables. Une fois que les paramètres optimaux auront été déterminés, une intervention directe dans le code de l’algorithme pourra-être envisagée pour proposer des améliorations de performance de la méthode de recalage FFD. Par exemple, nous pourrions intégrer une contribution d’un indice Dice calculé pendant l’estimation du critère d’information mutuelle qui est le seul optimisé aujourd’hui. 18 2.7 Objectif du stage Figure 2.5 – Processus d’évaluation du recalage FFD. L’IRM et la photographie sont utilisées pour estimer la transformation élastique (FFD) de l’une à l’autre. La transformation est par la suite appliquée sur l’atlas pour obtenir un nouvel atlas avec les structures qui sont bien recalées. L’évaluation du recalage sera faite sur chaque structure entre l’atlas recalé et la segmentation manuelle à l’aide du critère de recouvrement DICE. 19 2 État de l’art 20 3 Optimisation des paramètres du recalage FFD “If you optimize everything, you will always be unhappy...” –Donald Knuth. 3.1 Description des données utilisées Pour le travail du projet, on utilise deux sources de données différentes : 3.1.1 IRM/Atlas IRM Dimension (392, 298, 456) Voxel size (mm) (0.029,0.029,0.029) Size (Mb) 101.6 Atlas Dimension (392, 298, 456) Voxel size (mm) (0.029,0.029,0.029) Size (Mb) 101.6 Figure 3.1 – Description de données IRM/atlas, de gauche à droite : vue axiale, coronale et sagittale des données. Ce sont des données d’un cerveau de souris récupérées à partir de l’internet (Dorr et al., 2008) qui se composent d’une IRM et d’un atlas segmenté à partir de celle-ci (figure 3.1). 21 3 Optimisation des paramètres du recalage FFD L’IRM est utilisée pour estimer le recalage FFD à l’aide d’un volume photographique, la transformation est par la suite appliquée sur l’atlas pour évaluer la qualité du recalage (figure 2.5). On utilise l’atlas pour la validation car il présente très nettement les structures internes du cerveau qui sont intéressantes à évaluer en raison de la variabilité de leur forme, leur orientation et leur localisation. La raison du choix des données de Dorr et al. comme données de test est qu’elles sont bien validées en terme de qualité et de structures internes, ce qui répond à nos besoins d’évaluation. 3.1.2 Photographie/Segmentation manuelle Ces données sont disponibles à MIRCen (même souche de souris que pour l’IRM) qui contient un volume photographique (acquisition photographique lors de l’étape de coupe au cryostat, avant chaque coupe) et une segmentation manuelle de structures d’intérêt (réalisée par une biologiste). La photographie est utilisée comme le volume de référence pour l’estimation du recalage FFD alors que la segmentation manuelle est employée comme donnée de référence pour l’évaluation du recalage. Photographie Dimension (709, 528, 700) Voxel size (mm) (0.017,0.017,0.019) Size (Mb) 749.7 Segmentation Dimension (709, 528, 700) Voxel size (mm) (0.017,0.017,0.019) Size (Mb) 499.8 Figure 3.2 – Description de données Photographie/segmentation, de gauche à droite : vue axiale, coronale et sagittale des données. Notons qu’il n’est pas nécessaire d’évaluer toutes les structures disponibles car cela serait trop coûteux en temps de calcul et en quantité de travail de segmentation manuelle, on se concentre donc sur les structures les plus pertinentes en terme de forme, d’orientation et de localisation comme présentées dans la figure 3.3. 22 3.1 Description des données utilisées Figure 3.3 – Vue 3D de la segmentation manuelle des structures utilisées pour évaluer le FFD (segmentées à partir du volume photographique). Le cerveau entier (1) est utilisé pour évaluer la qualité du FFD sur la forme globale du cerveau ; (2-7) différentes structures internes caractérisées par leur forme et leur orientation. Chaque structure est étiquetée par une valeur comme montrée dans la figure. Par conséquent, une étape de prétraitement sera nécessaire pour extraire et ré-étiqueter les structures correspondantes de l’atlas en respectant ces valeurs avant de passer à étape d’évaluation. Cette segmentation manuelle se base sur la photographie et a été réalisée par un expert pendant plusieurs semaines. 23 3 Optimisation des paramètres du recalage FFD 3.2 Évaluation quantitative du recalage FFD par l’indice DICE Comme déjà abordé (2.7), avant que ce travail soit réalisé, l’évaluation du recalage FFD est faite de manière qualitative à l’aide d’Anatomist (2.6), méthode qui n’est pas toujours très fiable. Cet inconvénient a donc nécessité de mettre en œuvre une mesure permettant d’évaluer quantitativement le recalage. Cette mesure repose sur le critère de recouvrement Dice (2.5.4). Le processus d’évaluation est détaillé dans la figure 3.4 et se compose de 3 phases principales : Premièrement, le recalage FFD est estimé par l’application d’une suite des commande Aims sur l’IRM (image de test) et sur la photographie (image de référence) : (i) d’abord, la transformation rigide 1 est mesurée sur l’IRM pour assurer une bonne initialisation de celle-ci par rapport à la photographie. (ii) La transformation affine 2 est par la suite calculée afin d’estimer le recalage global de l’IRM sur la photographie. (iii) Enfin, l’estimation du recalage FFD 3 est effectuée pour capturer les déformations locales des structure internes de l’IRM. Notons que chaque itération utilise le résultat de l’étape précédente dans son calcul et à chaque étape, on a une augmentation importante du nombre de degrés de liberté des transformations. De cette manière, la qualité du recalage doit augmenter au fur et à mesure à chaque estimation. Il existe déjà un pipeline 4 pour cette phase, donc, on peut le réutiliser pour diminuer l’effort de développement et éviter la redondance de pipelines. Deuxièmement, le recalage estimé est appliqué sur chaque structure d’intérêt (3.1.2) qui est extraite à partir de l’Atlas. Bien qu’il y ait déjà un pipeline capable de réaliser cette tâche dans BrainVISA, il n’est pas très compatible avec notre objectif. Une version plus adaptée de celui-ci a été développée (en Python) et utilisée dans ce cas. Troisièmement, l’indice de recouvrement entre chaque structure recalée et sa correspondante extraite à partir de la segmentation manuelle est calculé afin d’évaluer quantitativement la qualité du recalage. Un nouveau pipeline a été développé pour effectuer cette phase. Ce processus sera utilisé comme le processus de base pour toutes les étapes d’optimisation de paramètres décrites dans le reste de ce rapport. 1. Cette estimation utilise l’information mutuelle comme critère de similarité. 2. La transformation affine est estimée en utilisant l’approche de block-matching (2.5.1). 3. Approche pyramidale ou multi-échelle 4. Un “module” de BrainVISA codé en Python permettant d’automatiser l’exécution d’une suite des commandes Aims dont les paramètres peuvent être customisés. 24 3.2 Évaluation quantitative du recalage FFD par l’indice DICE 25 Figure 3.4 – Trois commandes Aims principales ont été utilisée pour estimer le recalage FFD : AimsMIRegister s’occupe de l’initialisation de positionnement de l’IRM par rapport à la photographie ; AimsBlockMatching donne une estimation sur la déformation globale du cerveau et AimsFFD permet de capturer la déformation locale des structures. La commande AimsThreshold est utilisée pour extraire les structures d’intérêt à partir de l’Atlas/la segmentation manuelle. L’application du recalage estimé est effectuée à l’aide de la commande AimsFFDApply. Quant à l’évaluation, l’AimsROIOverlap permet de mesurer l’indice de recouvrement DICE entre deux structures. 3 Optimisation des paramètres du recalage FFD 3.3 Optimisation des paramètres Le reste de mon travail dans ce stage consiste à optimiser l’algorithme de recalage FFD implémenté à MIRCen en déterminant ses paramètres optimaux. Il existe un grand nombre de paramètres dans l’algorithme, il est donc difficile à tous examiner, au lieu, on ne se concentre que sur ceux qu’on juge pertinents et qui peuvent avoir un impact important sur la qualité du recalage. 3.3.1 Sous-échantillonnage de données Le premier problème qu’on rencontre lors qu’on travaille avec les données en pleine résolution est que le processus de l’estimation du recalage FFD est très couteaux en terme de temps de calcul. Avec les données décrites dans la section 3.1, si l’on lance ce processus sur une machine de 16 processeurs (de 2.4 GHz chacun) et de 16 Go de mémoire, le temps nécessaire pour le réaliser peut durer jusqu’à 3,5 jours de calcul. Là, des questions se posent : Est-il possible de faire l’estimation sur des sous-échantillonnages de données pour gagner du temps sans perte de qualité du recalage ou avec une perte acceptable ? Existe-il un bon compromis entre le sous échantillonnage de données et la qualité du recalage ? Pour répondre à ces questions, on a développé un (mega-)pipeline qui s’est basé sur le processus décrit dans la section 3.2 avec la capacité d’estimer le recalage sur différents sous-échantillonnages des données (IRM et la photographie) et de les évaluer. Notons que tous les autres paramètres sont fixés à leur valeur par défaut, l’application et l’évaluation du recalage se font sur les données à haute résolution (Atlas et la segmentation manuelle). En se basant sur les données à estimer (IRM et la photographie), différentes possibilités de sous-échantillonnage de ces dernières peuvent être testées pour examiner leur impact sur la qualité du recalage FFD. Les images de sous-échantillonnage sont construites par l’application de la méthode “Median Subsampling”. Concrètement, étant donné les facteurs F de sous-échantillonnage d’une image, F = ( f x, f y, f z), on prend un bloc de f x × f y × f z voxels consécutifs et on choisit la valeur médiane de ces voxels pour un nouveau voxel. Les facteurs FI RM et F p h ot o sont calculés en respectant les contraintes suivantes : (i) la taille de voxels des deux sous-échantillonnages doivent être proche l’une à l’autre ; (ii) chaque sous-échantillonnage conserve la proportion des voxels de la résolution d’origine (relation isotrope). Comme les sous-échantillonnages sont testés indépendamment l’un avec l’autre. Le pipeline a été codé pour pouvoir réaliser plusieurs test en même temps à l’aide d’un outil de parallélisation Soma Workflow 5 . Le résultat de l’expérimentation sera détaillé dans la section 4.1.1. 5. Développé est intégré dans Brainvisa 26 3.3 Optimisation des paramètres Figure 3.5 – On calcule d’abord les sous-échantillonnages de l’IRM et de la photographie qui sont par la suite utilisés pour l’estimation du recalage. L’application et l’évaluation de celui-ci sont réalisées sur l’Atlas et la segmentation en pleine résolution. 3.3.2 Stratégie optimale du recalage FFD Comme présenté précédemment, le recalage se compose d’une suite de transformations : rigide, affine, et élastique FFD. Théoriquement, si ce processus fonctionne correctement, le score DICE après la transformation élastique doit être le plus élevé (par rapport aux autres transformations). Pour vérifier cet hypothèse, on a développé un pipeline qui est capable de mesurer l’indice DICE des structures à chaque fois qu’une transformation est estimée. D’abord, le score Dice est calculé sur les structures de l’Atlas et leur correspondantes de la segmentation manuelle (sans aucune transformation appliquée). Cela nous donne une idée de base sur l’appariement des deux images. Les transformations sont par la suite estimées l’une après l’autre, à la fin de chaque estimation, la transformation estimée est appliquée sur chaque structure de l’Atlas pour obtenir une version recalée de celle-ci. Un score Dice est enfin mesuré sur cette dernier pour suivre la qualité de la transformation. De cette manière, on peut quantifier l’évolution de la qualité du recalage, si l’algorithme fonctionne correctement, le score Dice doit augmenter au fur et à mesure à chaque fois qu’une transformation est appliquée. Le processus est présenté dans la figure 3.6. 3.3.3 Résolution de la grille de points de contrôle La grille de points de contrôle peut être considérée comme le paramètre le plus important de l’algorithme car il représente le nombre de degrés de liberté de la transformation. Un 27 3 Optimisation des paramètres du recalage FFD Figure 3.6 – L’indice DICE est mesuré à chaque fois qu’une transformation est estimée. grand espacement entre les points de contrôle permet la modélisation des déformations non rigides globales, tandis qu’un petit espacement des points de contrôle permet de mieux capturer les déformations locales. En même temps, la résolution de la grille de points de contrôle définit le nombre de degrés de liberté et, par conséquent, la complexité de calcul. Le compromis entre la flexibilité du recalage et de la complexité de calcul est principalement un choix empirique qui est déterminée en fonction des données utilisées. Par défaut, le recalage FFD utilise une grille de points de contrôle G = (10, 10, 10), on a ainsi 3000 degrés de liberté pour contrôler les déformations. Une question se pose : Est-t-elle optimale ? Il est évident que plus grande est la grille de points de contrôle, plus coûteuse est la complexité du calcul. Cette expérimentation examine différentes grilles de points de contrôle qui sont calculées en respectant les contraintes suivantes : (i) le nombre de points minimum sur chaque axe (direction) est 4 points ; (ii) le nombre total de points de contrôle ne doit pas dépasser 1000 points ; (iii) la distance entre les deux points consécutifs quelconques dans la grille est identique. Ainsi, le nombre de points sur chaque axe dépend également de la dimension de l’image. Concrètement, soit ni t = [4..10], d d mi n = mi n(d x, d y, d z) et δ = nmi n avec d x, d y, d z sont les dimensions en x,y et z de it l’image. On cherche une grille G telle que : G = (n x , ny , n z ) = {( dx dy dz dx dy dz , , )| × × ≤ 1000} δ δ δ δ δ δ (3.1) Ce processus se repose sur celui décrit dans la section 3.2. Comme l’évaluation du recalage sur chaque grille est réalisée indépendamment, il est nécessaire de paralléliser le 28 3.3 Optimisation des paramètres processus pour gagner du temps et profiter de la ressource matérielle disponible. 3.3.4 Les combinaisons de composants de couleurs (R,V,B) Le FFD prend l’IRM (en niveau de gris) comme image de test et la photographie comme image de référence (RVB). Normalement, le FFD est configuré pour travailler avec la composante verte (V) de la photographie car on pense que cette dernière donne le meilleur contraste des structures internes. Il est cependant probable que l’utilisation d’une image construite par une combinaison de composantes de couleur comme l’image de référence aie une influence directe sur la qualité du recalage FFD. Cette expérimentation a pour but de tester cette hypothèse. Notons que, dans ce cas, on réutilise les paramètres optimaux qu’on a trouvé dans les expérimentations précédentes. La nouvelle image de référence Ic est construite par une combinaison de : Ic = IR × ρ r + IV × ρv + IB × ρ b | ρ r + ρv + ρ b = 100% (3.2) avec IR , IV , IB sont les composants R,V,B de la photographie, et ρ x , ρy , ρ z sont les pourcentages de R,V,B dans la combinaison. Il nous faut ainsi développer un nouveau pipeline qui prend I p h ot o , ρ x , ρy , ρ z comme paramètres pour la construction de Ic . L’évaluation est basée sur le processus décrit dans la section 3.2. 3.3.5 Les positions de la grille de points de contrôle Normalement, la grille de points de contrôle se positionne sur l’origine (0,0,0) du référentiel de l’image IRM et se cale sur les bords de l’image 3D. Il est possible que le déplacement de cette grille ait une influence sur la qualité du recalage. Dans cette expérimentation, on essaye d’examiner le recalage FFD sur différentes positions de la grille de points de contrôle dont les facteurs de déplacements ∆ = (∆ x , ∆y , ∆ z ) sont calculés de manière suivante : le facteur de déplacement sur un tel axe (direction) est mesuré par la moitié de la distance entre deux points de contrôle consécutif sur cet axe. Concrètement, soit D = (d x, d y, d z) et S = (s x, s y, s z) la dimension et la taille de voxel de l’image IRM ; G = (n x , ny , n z ) est la dimension optimale de la grille (obtenue à partir l’expérimentation décrit dans la section 3.3.3), on a : ∆=( dx × sx , dy × sy , dz × sz 2 × (n x − 1) 2 × (ny − 1) 2 × (n z − 1) ) (3.3) Comme on a 3 directions (x,y,z) pour déplacer la grille, on a donc au total 8 possibilités pour la positionner. Ces dernières sont présentées par un vecteur de translation T = (T x , Ty , T z ) : (T x , Ty , T z ) (0,0,0) (∆ x ,0,0) (0,∆y ,0) (0,0,∆ z ) (∆ x ,∆y ,0) (∆ x ,0,∆ z ) (0,∆y ,∆ z ) (∆ x ,∆y ,∆ z ) 29 3 Optimisation des paramètres du recalage FFD Théoriquement, le déplacement de la grille peut être effectué en appliquant la matrice de translation suivant (notons que la grille est dans le même référentiel qu’avec l’image IRM) : 1 0 0 Tx 0 1 0 T y M = 0 0 1 Tz 0 0 0 1 Cependant, à cause de problèmes techniques, l’implémentation du recalage FFD à MIRCen ne permet pas de déplacer la grille. Pour contourner ce problème, au lieu de repositionner la grille, on peut déplacer l’image IRM (et également l’Atlas pour la phase d’évaluation) dans la direction opposée avec T 0 = −T . Cela peut être modélisé en rééchantillonnant l’IRM avec le déplacement : 1 0 0 −T x 0 1 0 −T 0 y M = 0 0 1 −T z 0 0 0 1 À noter que M 0 est appliquée dans le référentiel de l’image IRM. Dans l’étape de l’estimation du recalage FFD, l’initialisation (transformation rigide et affine) produit une autre matrice de transformation MB M . Il nous faut donc la composer avec M 0 pour avoir une bonne initialisation M c = MB M ⊗ M 0 . 3.4 Valeur optimale d’un paramètre En général, chaque expérimentation décrite ci-dessus examine différentes valeurs d’un paramètre, le processus d’évaluation résulte ainsi un score DICE pour chacune de ces valeurs. Il nous faut en fait un critère global pour pouvoir déterminer la valeur optimale parmi ces dernières en fonction de leur score DICE. Le principe se base sur la variation du score DICE produit par chaque valeur du paramètre (sur une structure) par rapport le score DICE maximal trouvé (sur la même structure). Concrètement : Soit " = {"1 , .., "n |n > 0} le paramètre examiné (donc "i est une valeur du paramètre) ; j D I j = {D I1 , ..., D Inj |n > 0} est l’ensemble de scores DICE obtenu sur la structure j , j j=1..m, m>0 (donc D Ii est le score DICE correspondant à la valeur "i de " sur la structure j ). On définit ainsi un vecteur de variations ς j du score DICE sur la structure j comme suit : j ς j = {| D Ii − max(D I j ) |, i = 1..n, n > 0} (3.4) Pour chaque valeur du ", on peut donc calculer la variation moyenne ς i du score DICE sur toutes les structures : 30 3.4 Valeur optimale d’un paramètre Pm ς ={ j j ςi k ςi k |i = 1..n; n, m > 0} (3.5) Comme le FFD vise principalement à contrôler les déformations locales, il est évident que ce dernier est plus sensible aux petites et moyennes structures car la variation du score DICE y est plus important que sur les grandes structures. Le ς calculé par la formule 3.5 nous permet d’une part de mettre plus l’accent sur les structures de petites et moyennes tailles et d’autre part de pénaliser l’impact global des grandes structures. Pour calculer la valeur optimale du paramètre, il suffit de prendre la valeur "o p t dont la variation ς o p t est la plus faible ce qui signifie une amélioration la plus stable de la qualité du recalage sur toute les structures examinées : "o p t = a r g mi n ς "i ∈" (3.6) Ce critère sera utilisé comme critère d’évaluation pour toutes les expérimentations réalisées ci après. 31 3 Optimisation des paramètres du recalage FFD 32 4 Résultat & Discussion “If you’re not part of the solution, you’re part of the precipitate...” –Henry J. Tillman. 4.1 Résultat des expérimentations sur le recalage FFD Cette section se concentrera sur l’analyse des résultats des expérimentations décrites précédemment. Notons que pour chaque expérimentation, les étapes indépendantes sont calculées en parallèle à l’aide une grille de calcul (baptisée Titan) qui se compose de 128 unités de calcul (processeurs de 3.06 GHz chacun) et de 251.6 Gb de mémoire. 4.1.1 Impact du sous-échantillonnage des données Dans cette expérimentation, en se basant sur l’IRM et la photographie (3.1), différentes combinaisons de sous-échantillonnages ont été calculées et testées, comme décrit dans le tableau ci-dessous : FI RM (1,1,1) (1,1,1) (2,2,1) (2,2,2) (2,2,2) (2,2,3) (3,3,3) (3,3,3) (3,3,3) F p h ot o (2,2,1) (2,2,2) (3,3,2) (3,3,3) (4,4,3) (4,4,4) (5,5,4) (5,5,5) (6,6,5) Table 4.1 – Les facteurs expérimentés F = (FI RM ; F p h ot o ). 9 combinaisons de souséchantillonnages ont été calculées en respectant les contraintes décrites dans la section 3.3.1. Après 72 heures de calcul sur Titan, on obtient le résultat comme montré dans la figure 4.1. En général, on voit bien qu’en terme de qualité du recalage, il n’y a pas de changements importants du score DICE en fonction de différents sous-échantillonnages. Sur les petites structures, telles que le corps calleux, le score DICE est plus variable que celui des grandes structures. En revanche, si l’on regarde sur le temps de l’estimation, on trouve une baisse très importante en fonction de la diminution de la résolution des images (de 42 heures à quelques heures). Idéalement, en analysant les deux graphes, on arrive à conclure que F = (FI RM , F p h ot o ) = (2, 2, 2; 4, 4, 3) donne un bonne compromis entre la qualité de l’estimation et le temps de calcul (environ 4 heures - on obtient ainsi un gain de 90% en terme de temps de calcul sans perte de qualité du DICE). 33 4 Résultat & Discussion 3 Striatum R 4 Hippocampe L 1.00 0.95 0.90 Dice score 0.85 0.80 0.75 0.70 0.65 0.60 0.55 -1 -2 -2 -3 -3 -4 -4 -5 -5 2-2 1-2-2 1-3-3 2-3-3 2-4-4 3-4-4 3-5-5 3-5-5 3-6-6 1 1 1 2 2 2 2 3 3 3 1 1 2 2 2 2 3 3 3 Subsampling of two volumes F = (FIRM ; Fphoto ) 5 Hippocampe R 6 Corps calleux L ς - Average of Dice score variation for all structures 1 Cerveau entier 2 Striatum L 1 7 Corps calleux R 0.030 0.025 0.020 0.015 0.010 ς opt 0.005 0.000 1 -2- 1-2 -1- 1-2 1-1 2 -2 -3 -3 -4 -4 -5 -5 -23-3 2-3-3 2-4-4 3-4-4 3-5-5 3-5-5 3-6-6 -12 2 2 2 3 3 3 2 2 2 2 3 3 3 Subsampling of two volumes F = (FIRM ; Fphoto ) (a) La courbe à gauche représente la variation du score DICE de chaque structure en fonction de différents sous-échantillonnages de l’IRM et de la photographie. La variabilité est plus importante sur les moyennes et petites structures, mais en général, le score DICE reste quasiment stable entre les différents sous-échantillonnages. La courbe à droite montre la variation moyenne ς du score DICE (calculé par la formule 3.5) sur toutes les structures en fonction de F . 45 40 35 Time (hours) 30 25 20 15 10 5 0 1-1-1-2-2-1 1-1-1-2-2-2 2-2-1-3-3-2 2-2-2-3-3-3 2-2-2-4-4-3 2-2-3-4-4-4 3-3-3-5-5-4 3-3-3-5-5-5 3-3-3-6-6-5 IRM-x(mm) IRM-y(mm) IRM-z(mm) IRM-size(Mb) Photo-x(mm) Photo-y(mm) Photo-z(mm) Photo-size(MB) 0.03 0.03 0.03 101.6 0.03462 0.03462 0.02 187.2 0.03 0.03 0.03 101.6 0.03462 0.03462 0.04 93.6 0.06 0.06 0.06 25.4 0.05193 0.05193 0.04 41.6 0.06 0.06 0.06 12.7 0.05193 0.05193 0.06 27.7 0.06 0.06 0.06 12.7 0.06924 0.06924 0.06 15.6 0.06 0.06 0.06 8.5 0.06924 0.06924 0.08 11.7 0.09 0.09 0.09 3.7 0.08655 0.08655 0.08 7.4 Median Subsamples of two volumes (table: voxels size) 0.09 0.09 0.09 0.09 0.09 0.09 3.7 3.7 0.08655 0.103859 0.08655 0.103859 0.1 0.1 5.9 4.2 (b) Gain en terme de temps de calcul : une baisse très importante du temps de calcul. À partir de F = (2, 2, 2; 4, 4, 3), le temps nécessaire pour estimer le recalage reste stable à quelque heures. Le tableau au dessous représente la taille de voxel des données correspondant à chaque combinaison de sous-échantillonnage. Figure 4.1 – Résultat de l’expérimentation : F = (2, 2, 2; 4, 4, 3) donne une solution optimale dans ce cas (ς o p t ≈ 0.003) avec environ 4 heures de calcul et le DICE en moyenne le plus élevé. 34 4.1 Résultat des expérimentations sur le recalage FFD À partir de ce résultat, pour les prochaines expérimentations, il n’est pas nécessaire de continuer à utiliser les données à haute résolution, au lieu, on travaille directement avec le sous-jeu de données optimal pour gagner du temps. 4.1.2 Stratégie optimale de recalage FFD Cette expérimentation a pour but de vérifier le bon fonctionnement de l’algorithme de recalage FFD. Le résultat obtenu montre que le score DICE augmente au fur et à mesure à chaque fois qu’une nouvelle transformation est effectuée avec l’augmentation des degrés de liberté, ce qui finalement confirme l’hypothèse de départ. 1 Cerveau entier 2 Striatum L 3 Striatum R 4 Hippocampe L ς - Average of Dice score variation for all structures 1.0 0.9 0.8 Dice score 0.7 0.6 0.5 0.4 0.3 0.2 0.1 lt u efa -D 01 5 Hippocampe R 6 Corps calleux L igid 2-R MI 0 M e-B fin f 3-A 0 Transformations used 0 0.40 0.35 0.30 0.25 0.20 0.15 0.10 - 01 ς opt 0.05 0.00 lt fau De D F 4-F 7 Corps calleux R igid -R 02 I -M M e-B ffin A 03 Transformations used FD -F 04 Figure 4.2 – Le DICE augmente proportionnellement avec l’augmentation des degrés de liberté des transformations. On voit bien que le FFD a moins d’impact sur le volume global (cerveau entier) ou sur les grandes structures (striatum, hippocampe) qui sont bien recalées par la transformation affine. Par contre, il améliore bien les déformations locales, surtout sur les petites structures telles que le corps calleux qui présente un gain de 20% entre le FFD et la déformation affine. 4.1.3 Impact de la dimension de la grille de points de contrôle Avec le sous-échantillonnage de l’IRM obtenu dans la première expérimentation, on obtient un ensemble de grilles à tester comme suit : G = (n x , ny , n z ) (4,4,4) (5,4,6) (6,5,7) (8,6,9) (9,7,11) (10,8,12) (10,10,10) Table 4.2 – Les différentes grilles examinées. Notons que les grilles (4,4,4) - valeurs minimales - et (10,10,10) - valeur par défaut - ne sont pas calculées par la formule 3.1 mais considérées comme les réglages extrêmes. 35 4 Résultat & Discussion Théoriquement, on pense que plus grande est la résolution de la grille de points de contrôle, plus précise est le recalage. Mais l’expérimentation montre que le recalage donne le résultat le plus optimal avec la grille G = (5, 4, 6) dont la dimension est 8 fois plus petites par rapport à celle par défaut G = (10, 10, 10). Avec cette grille, toutes les structures étudiées sont bien recalées (le score DICE dépasse le seuil optimal κ ≥ 0.7 ). 1 Cerveau entier 2 Striatum L 3 Striatum R 4 Hippocampe L ς - Average of Dice score variation for all structures 1.0 0.9 Dice score 0.8 0.7 0.6 0.5 4 4-0 -0 04 5 Hippocampe R 6 Corps calleux L 6 4-0 -0 05 5-0 -0 06 7 -0 08 6-0 9 1 7-1 -0 09 Knot grids G = (nx , ny , nz ) 2 8-1 -0 10 0 0-1 -1 10 7 Corps calleux R 0.07 0.06 0.05 0.04 0.03 0.02 ς opt 0.01 4 4-0 -0 04 -06 -04 05 -07 -05 06 -09 -11 -12 -06 -07 -08 08 09 10 Knot grids G = (nx , ny , nz ) 0 0-1 -1 10 Figure 4.3 – La grille par défaut G = (10, 10, 10) n’est pas optimale, ce qui semble surprenant théoriquement, la solution optimale dans ce cas est la grille G = (5, 4, 6). Un autre point que l’on doit souligner est que le changement de la dimension de la grille de points de contrôle a un impact plus important sur les petits structures que sur les grandes structures. Le problème ici est que la grille G = (10, 10, 10) peut être optimale avec l’IRM (et la photographie) en pleine résolution, tandis que dans cette expérimentation, on utilise les données de sous-échantillonnage dont l’IRM est 8 fois plus petit et la photographie est dégradée de 48 fois. La grille G = (10, 10, 10) devient trop dense dans ce cas qui cause un “surcharge” des degrés de liberté, c.à.d, on est dans la situation de sur-estimation des déformations locales, surtout sur les petites structures. De ce fait, le recalage a trop de liberté pour modifier les structures , cela risque de baisser la qualité d’appariement. La résolution optimale de la grille de points de contrôle dépend ainsi de la dimension des données - on le discutera en détail dans la partie de discussion (4.2). 4.1.4 Impact des différentes combinaisons de composants de couleurs Cette expérimentation a pour l’objectif de tester la sensibilité de l’algorithme de recalage par rapport au contraste de la photographie (la référence). Différentes combinaisons de composantes couleurs ont étés testées, les figures 4.4 et 4.5 représentent le résultat obtenu. 36 4.1 Résultat des expérimentations sur le recalage FFD 0.972 100 0 90 0.971 10 80 0.876 100 20 70 90 60 50 50 40 30 80 10 50 80 70 60 50 40 30 20 10 0.852 60 30 0.966 0.846 70 80 10 100 100 90 50 20 90 0 0.858 40 40 0.967 70 20 0.864 30 60 0.968 60 20 70 0.969 40 0.870 10 80 0.970 30 0 0 0.965 0.840 90 0 100 100 90 0.964 80 1 Cerveau entier - DICE score 70 60 50 40 30 20 10 0 0.828 2 Striatum L - DICE score 0.856 100 0.848 0 90 100 0.848 10 80 20 70 60 40 40 80 90 0 100 70 60 50 40 30 20 0.824 50 40 0.816 80 80 40 10 0 0.808 0.816 60 30 10 100 90 0.832 30 60 70 20 20 50 0.824 60 30 0.840 10 70 0.832 50 0 90 0.840 30 50 70 20 0.808 80 10 90 0 100 100 90 0.800 3 Striatum R - DICE score 80 70 60 50 40 30 20 10 0 0 90 0.792 0.74 100 0.856 10 80 20 70 90 50 50 40 30 80 10 80 70 60 50 40 30 20 10 50 0.70 60 30 0.69 70 20 0.816 80 10 100 100 90 0.71 40 50 90 0 0.72 30 40 0.824 70 20 20 60 0.832 60 0.73 10 70 0.840 40 0 80 0.848 30 60 0 0.808 0.68 90 0 100 100 90 0.800 5 Hippocampe R - DICE score 80 70 60 50 40 30 20 10 0 0 90 20 70 60 50 40 60 20 80 10 70 60 50 40 30 20 7 Corps calleux R - DICE score 10 0 40 0.040 50 40 0.032 60 30 70 20 0.52 0.48 0.44 0.024 80 10 100 80 0.048 30 60 90 0 20 50 0.56 70 0.056 10 70 0.60 30 100 90 90 0.64 40 0 80 0.68 30 50 0.66 0.064 100 0.72 10 80 0.67 6 Corps calleux L - DICE score 0.76 100 0.800 4 Hippocampe L - DICE score 0.864 100 0.834 90 0 100 100 90 80 70 60 50 40 30 20 10 0 0.016 0.008 ς - Average of Dice score variation for all structures Figure 4.4 – Les 7 premiers graphes non-normalisés montrent le score DICE sur chaque structure en fonction des combinaisons RVB. Le dernier représente la variation moyenne 37 ς 4 Résultat & Discussion 0.972 100 0 90 0.971 10 80 0.876 100 20 70 90 60 50 50 40 30 80 10 50 80 70 60 50 40 30 20 10 0.852 60 30 0.966 0.846 70 80 10 100 100 90 50 20 90 0 0.858 40 40 0.967 70 20 0.864 30 60 0.968 60 20 70 0.969 40 0.870 10 80 0.970 30 0 0 0.965 0.840 90 0 100 100 90 0.964 80 1 Cerveau entier - DICE score 70 60 50 40 30 20 10 0 0.828 2 Striatum L - DICE score 0.856 100 0.848 0 90 100 0.848 10 80 20 70 60 40 40 80 90 0 100 70 60 50 40 30 20 0.824 50 40 0.816 80 80 40 10 0 0.808 0.816 60 30 10 100 90 0.832 30 60 70 20 20 50 0.824 60 30 0.840 10 70 0.832 50 0 90 0.840 30 50 70 20 0.808 80 10 90 0 100 100 90 0.800 3 Striatum R - DICE score 80 70 60 50 40 30 20 10 0 0 90 0.792 0.74 100 0.856 10 80 20 70 90 50 50 40 30 80 10 80 70 60 50 40 30 20 10 50 0.70 60 30 0.69 70 20 0.816 80 10 100 100 90 0.71 40 50 90 0 0.72 30 40 0.824 70 20 20 60 0.832 60 0.73 10 70 0.840 40 0 80 0.848 30 60 0 0.808 0.68 90 0 100 100 90 0.800 5 Hippocampe R - DICE score 80 70 60 50 40 30 20 10 0 0 90 20 70 60 50 40 60 20 80 10 70 60 50 40 30 20 7 Corps calleux R - DICE score 10 0 40 0.040 50 40 0.032 60 30 70 20 0.52 0.48 0.44 0.024 80 10 100 80 0.048 30 60 90 0 20 50 0.56 70 0.056 10 70 0.60 30 100 90 90 0.64 40 0 80 0.68 30 50 0.66 0.064 100 0.72 10 80 0.67 6 Corps calleux L - DICE score 0.76 100 0.800 4 Hippocampe L - DICE score 0.864 100 0.834 90 0 100 100 90 80 70 60 50 40 30 20 10 0 0.016 0.008 ς - Average of Dice score variation for all structures Figure 4.5 – Les 7 graphes après avoir été normalisés (sauf le dernier qui n’est pas à la même échelle). 38 4.1 Résultat des expérimentations sur le recalage FFD Notons que, dans ce cas, on réutilise les paramètres optimaux qu’on a trouvé dans les expérimentations précédentes F = (2, 2, 2; 4, 4, 3) et G = (5, 4, 6). Les ternary-plots sans normalisation permettant de capturer mieux l’impact local des combinaisons de composantes de couleur, on voit bien que, en moyenne, la composante bleue (B) est le meilleur choix pour améliorer la qualité du recalage avec ς B ≈ 0.008 (au lieu du vert (V) comme prévue). Cependant, regardons maintenant sur les ternary-plots normalisés (page suivante) pour avoir une vue globale : la contraste des graphes n’est pas très nette (sauf celle sur le corps calleux droit) ce qui signifie un changement très léger du score DICE, on peut donc conclure que les combinaisons de composants couleurs n’a un impact important sur la qualité du recalage sur les grandes et moyennes structures. Par contre, sur celles de petite taille, le choix d’une bonne combinaison nous permet d’améliorer le recalage (il y a un fort changement de contraste dans le corps calleux droit), par exemple sur le corps calleux, on note qu’il y a une variation importante du score DICE entre les deux côtés : 10% sur le gauche et 30% sur le droit, cela signifie que le recalage sur les petites structures est un peu sensible au changement de la contraste de l’image de référence. 4.1.5 Impact des différentes positions de la grille de points de contrôles En prenant sur la grille optimale trouvée précédemment, dans cette expérimentation, on essaye de déplacer celle-ci sur différentes positions afin de vérifier s’il y a une dépendance entre le recalage FFD et l’emplacement des points de contrôle. Les facteurs de déplacements dans ce test sont ∆ = (1.68, 1.77, 1.54). La figure 4.6 représente le résultat obtenu. 1 Cerveau entier 2 Striatum L 3 Striatum R 4 Hippocampe L ς - Average of Dice score variation for all structures 1.0 0.9 Dice score 0.8 0.7 0.6 0.5 0.4 -0 0-0 5 Hippocampe R 6 Corps calleux L -1 0-0 .54 7-0 .7 0-1 .54 0-1 -1 .77 8 1.6 -0- 0 1.6 .54 -1 8-0 T = (Tx , Ty , Tz ) 7-0 1.6 .7 8-1 1 .68 .54 -1 77 -1. 7 Corps calleux R 0.040 0.035 0.030 0.025 0.020 0.015 0.010 0.005 -0 0-0 ς opt 54 -1. 0-0 -0 .77 0-1 .54 7-1 .7 0-1 1.6 -0 8-0 -0 54 54 -1. .77 -1. 77 8-1 -1. 1.6 8 1.6 8-0 1.6 T = (Tx , Ty , Tz ) Figure 4.6 – Impact de la position de la grille des points de contrôle : Bien que le résultat ne présente aucun gain sur le cerveau entier (structure globale), sur les moyennes et petites structures, il montre une variabilité importante du score DICE. 39 4 Résultat & Discussion Le résultat montre que l’emplacement de la grille de points de contrôle influence directement la qualité des déformations locales des structures, c’est compréhensible car comme abordé dans la partie théorique (2.5), les B-splines permettent de contrôler le recalage sur les structures locales, plus il y a de points de contrôle autours d’une telle structure, plus précises seront les déformations appliquées sur celle-ci. À noter que notre grille est uniforme, le déplacement y est simplement la translation qui peut produire un changement de la distribution des points de contrôles dans les différentes structures. Par exemple, bien que la T = (1.68, 0, 0) nous permet, d’une part, d’améliorer la qualité du recalage sur le corps calleux droit, elle produit d’autre part une baisse significative du score DICE sur le corps calleux gauche. La position par défaut, dans ce cas, n’est pas optimale (T = (0, 1.77, 0) est optimal dans ce test). 4.2 Discussion Normalement, avant d’optimiser une telle implémentation d’un algorithme, il est primordial d’assurer que son fonctionnement est correct. Une vérification d’exactitude et d’efficacité de l’implémentation est nécessaire. La première question qui se posait lors de l’analyse du sujet était : “L’implémentation du recalage élastique FFD à MIRCen montret-elle un bon fonctionnement ?”. La réponse est très intuitive, cette version de FFD a été développée et testé pendant 10 ans, il y avait un certain nombre d’améliorations et d’optimisations qui ont été réalisées pendant cette période. La publication de plusieurs thèses et articles qui reposent sur cette implémentation a confirmé son bon fonctionnement ainsi que son efficacité. Pour être entièrement convaincu, l’expérimentation montrée dans la section 4.1.2 peut être considérée comme une confirmation quantitative de ces conclusions. La première optimisation consiste à diminuer le temps d’estimation du recalage FFD en utilisant un sous-jeu de données. Un bon sous-échantillonnage des données peut nous permettre de gagner un gain important (90%) en terme de temps d’estimation sans perte de qualité du recalage. Comme le compromis optimal (entre le sous-jeu de données et la qualité du DICE) dépend principalement des données utilisées (IRM, photographie), il n’existe pas une valeur théorique de Fo p t = (FI RM ; F p h ot o ) pour tous les données, mais cette dernière varie en fonction de la dimension et de la taille des voxels des données utilisées. Il est ainsi difficile de mettre en œuvre une stratégie pour automatiser la détection de la valeur optimale de F . Une solution possible est de contraindre toutes les données à une dimension et à une taille de voxels fixée, les facteurs optimaux Fo p t sont calculés une seule fois et sont réutilisés pour toutes ces données. Bien que cela puisse nous aider à améliorer le processus de recalage, il n’est pas très flexible dans l’exploitation des données dont la résolution change en fonction de l’objectif de leur utilisation. L’expérimentation montre que le changement de contraste de l’image de référence (les combinaisons de composantes de couleurs RVB) a peu d’impact sur le recalage FFD. Il n’existe pas une combinaison prioritaire qui permet d’améliorer la qualité du recalage 40 4.2 Discussion sur toutes les structures. Cependant, il est préférable de travailler avec la composante bleue car cette dernière montre une qualité de recalage la plus stable sur les structures examinées et elle permet d’avoir un gain significatif sur les petites organes. La grille de points de contrôles est le paramètre le plus important de l’algorithme de recalage FFD parce qu’elle représente à la fois le nombre de degrés de liberté de la transformation et la complexité de calcul. Pour l’optimiser, il y a deux aspects que l’on doit prendre en compte : (i) La résolution de la grille de points de contrôle définit le nombre de degrés de liberté de la transformation. Plus dense est la grille, plus on a de possibilité de contrôler localement les déformations des structures internes. Comme les coefficients de transformation sont calculés et optimisés point-à-point, une grande grille de points de contrôle introduit ainsi une augmentation de la complexité de calcul. De plus, une grille de points de contrôle trop dense par rapport à la dimension de l’image propose également un risque de sur-estimer des déformations qui peuvent diminuer la qualité de recalage. Dans notre expérimentation, on voit bien que la grille maximale (G = (n x , ny , n z ) = (10, 10, 10)) n’est pas toujours optimale, en fonction de la dimension de l’image de test, une répartition raisonnable des points de contrôle (G = (5, 4, 6)) peut nous permettre d’éviter le problème de surestimation d’une part, à augmenter la qualité du recalage et en même temps à diminuer la complexité de calcul d’autre part. (ii) L’emplacement des points de contrôles définit la distribution des points dans l’image de test. On sais que plus de points de contrôle autour une structure nous permet de mieux maîtriser les déformations locales. Ainsi, une distribution qui donne une proportion importante de points sur les structures locales peut nous aider à améliorer la qualité du recalage. Dans l’expérimentation 4.1.5, le paramètre optimal To p t = (T x , Ty , T z ) = (0, 1.77, 0) est choisie en utilisant le critère décrit dans la section 3.4 (ς o p t ≈ 0.086) qui représente une variation du score DICE la plus stable sur toutes les structures examinées, la distribution des points de contrôle dans ce cas est optimale. To p t nous permet d’optimiser globalement le recalage FFD, mais si l’on regarde localement sur chaque structure, on peut constater que même si le To p t favorise le recalage sur la plupart des structures, il diminue quand même la qualité d’appariement sur le corps calleux droit. Comme notre implémentation de l’algorithme travaille avec une grille uniforme, il est donc difficile à trouver une bonne distribution des points pour toutes les structures. Bien que la grille uniforme facilite le calcul des fonctions B-Splines, elle représente quelques inconvénients : la distribution uniforme des points de contrôles sur l’image de test peut produire une proportion des points inutiles qui sont localisés dans les zones homogènes (le fond par exemple). Ces derniers ne montre pas d’intérêt dans l’amélioration du recalage, mais on doit tout de même les traiter. De plus, l’emplacement de la grille uniforme peut à la fois donner une distribution plus importante des points sur une structure et causer un manque des points sur une autre structure. Cela peut provoquer un recalage instable sur l’ensemble des structures. Existe-t-il une stratégie pour pallier ces problèmes ? La question reste ouverte. À l’heure actuelle, il existe des travaux qui se focalisent sur ce thème, par exemple le travail mené par Jacobson and Murphy (2011) propose une approche de 41 4 Résultat & Discussion recherche de la grille optimale en utilisant des NURBS (Nonuniform Rational B-Splines). NURBS utilisent une grille non-unifome avec des coefficients de pondération sur chaque point. En conséquence, elles sont plus flexibles que les B-Splines uniformes. Les auteurs ont développés une approche qui permet aux points de contrôle de migrer vers les zones dans lesquelles un appariement précédent, calculé avec une grille uniforme, produit les plus grandes erreurs. De cette manière, après l’optimisation, les points de contrôle peuvent être distribués automatiquement dans les zones d’intérêt. Cette méthode reste à discuter car la mise en œuvre de ce processus d’optimisation rajoute une complexité suplémentaire dans l’algorithme. Il faut examiner si le gain obtenu par ce processus justifie une augmentation de la complexité de calcul. Le travail mené par ce stage a pour l’objectif principal d’étudier quantitativement l’impact des différents paramètres sur la qualité du recalage pour pouvoir envisager une stratégie d’optimisation raisonnable dans l’avenir. Bien que les valeurs optimales des paramètres qu’on a trouvé ci-dessus ne sont valables que sur les données expérimentées, les processus d’évaluation que j’ai développés peuvent être réutilisés pour évaluer le recalage sur n’importe quel jeu de données et sur différentes modalités d’imagerie (l’histologie par exemple). 42 5 Conclusion “La conclusion résulte souvent de ce moment précis où vous en avez eu marre...” –Anonyme. Nous avons développé à l’occasion de ce stage une suite de pipelines Brainvisa qui sont capable d’évaluer quantitativement le recalage FFD et d’examiner ses différents paramètres. À l’aide de ces outils, on peut, la première fois, quantifier la qualité du recalage FFD en fonction de ses paramètres (sous-jeu de données, composantes de couleurs, grille de points de contrôles, etc.) afin de mieux comprendre leur impact. Ces pipelines nous permettent également de déterminer la valeur optimale des paramètres pour le recalage FFD sur un jeu de données particulier. L’algorithme FFD contient lui-même certains calculs qui sont indépendants l’un à l’autre. Cela nous donne une idée d’optimisation en parallélisant ces calculs pour gagner du temps. Les dispositifs matériaux disponible à MIRCen (les machines multi-processeurs, la grille de calcul, etc.) sont idéals pour la parallélisation de l’algorithme. Du côté logiciel, cette dernière peut être réalisé en reconstruisant l’implémentation actuelle de l’algorithme à l’aide du protocole MPI qui nous permet de calculer séparément et en même temps les calculs indépendants ; on peut penser à réutiliser la librairie OpenMPI, une implémentation opensource du protocole MPI. Grâce à la parallélisation, le gain qu’on obtient lors de l’estimation du recalage sera important en terme de temps de calcul. Comme abordé dans la partie de discussion, une autre stratégie d’optimisation possible est qu’on étudie la possibilité de mettre en œuvre un processus de calculer la grille de points de contrôles optimale afin d’obtenir une distribution raisonnable des points en fonction des structures internes des données. Cette stratégie reste à vérifier car l’implémentation du processus rajoutera certainement une complexité complémentaire dans l’algorithme. 43 5 Conclusion 44 Bibliographie Dauguet, J. : 2005, ‘L’imagerie post mortem tridimensionnelle cérébrale : constitution et apport pour l’analyse conjointe de donnees histologiques anatomo-fonctionnelles et la mise en correspondance avec l’imagerie in vivo.’. Ph.D. thesis, École centrale des arts et manufactures «ecole centrale paris ». Dice, R. : 1945, ‘Measures of the Amount of Ecologic Association Between Species’. 26(3), 297–302. Dorr, a. E., J. P. Lerch, S. Spring, N. Kabani, and R. M. Henkelman : 2008, ‘High resolution three-dimensional brain atlas using an average magnetic resonance image of 40 adult C57Bl/6J mice.’. NeuroImage 42(1), 60–9. Dubois, A. : 2008, ‘Exploitation conjointe d’informations anatomiques et fonctionnelles tridimensionnelles pour l’imagerie cérébrale post mortem chez le rongeur’. Ph.D. thesis, Université Paris Sud 11. Duda, R. O., P. E. Hart, and D. G. Stork : 2012, ‘Parzen Windows’. Jacobson, T. J. and M. J. Murphy : 2011, ‘Optimized knot placement for B-splines in deformable image registration’. Medical Physics 38(8), 4579. Lebenberg, J. : 2010, ‘Automatisation et optimisation de l’analyse d’images anatomofonctionnelles de cerveaux de souris par Atlas numérique 3D’. Ph.D. thesis, École Doctorale " Sciences et Technologies de l ’ Information des Télécommunications et des Systèmes ". Lee, S., G. Wolberg, and S. Shin : 1997, ‘Scattered data interpolation with multilevel B-splines’. IEEE Transactions on Visualization and Computer Graphics 3(3), 228–244. Maintz, J. B. A. and M. A. Viergever : 1998, ‘A survey of medical image registration METHODS’. 2(1), 1–36. Malandain, G., E. Bardinet, K. Nelissen, and W. Vanduffel : 2004, ‘Fusion of autoradiographs with an MR volume using 2-D and 3-D linear transformations.’. NeuroImage 23(1), 111–27. Mattes, D., D. R. Haynor, H. Vesselle, T. K. Lewellen, and W. Eubank : 2003, ‘PET-CT image registration in the chest using free-form deformations.’. IEEE transactions on medical imaging 22(1), 120–8. 45 Bibliographie Pass, G. and R. Zabih : 1997, ‘Comparing Images Using Joint Histograms Keywords :’. pp. 1–15. Pluim, J. P. W., J. B. A. Maintz, and M. a. Viergever : 2003, ‘Mutual-information-based registration of medical images : a survey.’. IEEE transactions on medical imaging 22(8), 986–1004. Rueckert, D., A. F. Frangi, and J. a. Schnabel : 2003, ‘Automatic construction of 3-D statistical deformation models of the brain using nonrigid registration.’. IEEE transactions on medical imaging 22(8), 1014–25. Rueckert, D., L. I. Sonoda, C. Hayes, D. L. Hill, M. O. Leach, and D. J. Hawkes : 1999, ‘Nonrigid registration using free-form deformations : application to breast MR images.’. IEEE transactions on medical imaging 18(8), 712–21. Schestowitz, R. S. : 2009, ‘Unifying Models and Registration : A Framework for Modelbased Registration and Non-rigid Registration Assessment’. Ph.D. thesis, University of Manchester. Thévenaz, P., U. E. Ruttimann, and M. Unser : 1998, ‘A pyramid approach to subpixel registration based on intensity.’. IEEE transactions on image processing : a publication of the IEEE Signal Processing Society 7(1), 27–41. Thkvenaz, P. and M. Unser : 1997, ‘Spline Pyramids for Inter-Modal Image Registration Using Mutual Information’. 3169(Oct), 236–247. Unser, M., A. Aldroubi, and M. Eden : 1990, ‘Fast B-spline Transformation 4 CIR and Interpolation.pdf’. IEEE. Wolberg, G. : 1996, ‘Image metamorphosis with scattered feature constraints’. IEEE Transactions on Visualization and Computer Graphics 2(4), 337–354. Zijdenbos, a. P., B. M. Dawant, R. a. Margolin, and a. C. Palmer : 1994, ‘Morphometric analysis of white matter lesions in MR images : method and validation.’. IEEE transactions on medical imaging 13(4), 716–24. 46