Rapport du stage M2

IfI
Institut de la Francophonie
pour l'Informatique
Rapport de stage - Master 2 Systèmes Intelligents et
Multimédia
OPTIMISATION PAR
PARALLÉLISATION DE
L’ALGORITHME DE RECALAGE
ÉLASTIQUE 3D FREE FORM
DEFORMATION (FFD)
LE Xuan Sang
5 décembre 2013
Encadrants :
Dr. Thierry DELZESCAUX (CEA), Nicolas SOUEDET (CEA)
Muriel VISANI (Université de La Rochelle)
Remerciements
Je souhaite tout d’abord remercier mon encadrant de stage, Thierry Delzescaux, pour
m’avoir accueilli au sein de l’équipe, pour son soutien tout au long du stage, sa disponibilité, et ses conseils nombreux et éclairés.
Merci également à Nicolas Souedet pour m’avoir aidé à me familiariser avec l’environnement de développement à MIRCen, mais surtout pour sa gentillesse et son implication
dans mon stage.
Un grand merci à Anne-Sophie Hérard et Michel Vandenberghe pour leur regard de
biologiste et pour leur enthousiasme dans ma préparation des données de segmentation,
une longue et fastidieuse tâche.
Sans oublier Yaël Balbastre et Medhi Sadouni, mes amis du bureau 114, pour l’accueil
chaleureux, pour l’ambiance de travail très amicale et pour leurs blagues très drôles même
si je ne les ai pas toutes comprises.
Je tiens à remercier Muriel Visani, mon encadrant de l’université de La Rochelle, pour
le suivi et les relectures du rapport au cours de mon stage.
Merci enfin à Maryse Mouveroux pour m’avoir aidé à résoudre toutes les démarches
administratives difficiles qui ont permis la réalisation de mon stage.
Table des matières
1 Introduction
2 État de l’art
2.1 Les maladies neurodégénératives . . . . . . . . . . . . . . .
2.2 La recherche pré-clinique et les modèles animaux . . . .
2.3 Les différents types d’imagerie . . . . . . . . . . . . . . . .
2.3.1 Imagerie post morterm . . . . . . . . . . . . . . . .
2.3.1.1 Acquisition des données . . . . . . . . .
2.3.1.2 Les différentes types de déformations .
2.3.2 Imagerie in vivo . . . . . . . . . . . . . . . . . . . .
2.3.3 La modalité photographique . . . . . . . . . . . . .
2.4 La reconstruction 3D de données post mortem . . . . . .
2.5 Le recalage 3D d’images . . . . . . . . . . . . . . . . . . .
2.5.1 Transformation linéaire . . . . . . . . . . . . . . . .
2.5.2 Transformation non linéaire – le recalage FFD .
2.5.3 Critères de similarité . . . . . . . . . . . . . . . . . .
2.5.4 Critère de recouvrement DICE . . . . . . . . . . .
2.5.5 Le recalage 3D d’images . . . . . . . . . . . . . . .
2.6 Environnement logiciel utilisé . . . . . . . . . . . . . . . . .
2.7 Objectif du stage . . . . . . . . . . . . . . . . . . . . . . . . .
3
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
5
5
5
6
6
6
7
8
9
10
11
12
12
14
15
15
16
18
3 Optimisation des paramètres du recalage FFD
3.1 Description des données utilisées . . . . . . . . . . . . . . . . . . .
3.1.1 IRM/Atlas . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.1.2 Photographie/Segmentation manuelle . . . . . . . . . .
3.2 Évaluation quantitative du recalage FFD par l’indice DICE . .
3.3 Optimisation des paramètres . . . . . . . . . . . . . . . . . . . . .
3.3.1 Sous-échantillonnage de données . . . . . . . . . . . . . .
3.3.2 Stratégie optimale du recalage FFD . . . . . . . . . . . .
3.3.3 Résolution de la grille de points de contrôle . . . . . . .
3.3.4 Les combinaisons de composants de couleurs (R,V,B)
3.3.5 Les positions de la grille de points de contrôle . . . . .
3.4 Valeur optimale d’un paramètre . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
21
21
21
22
24
26
26
27
27
29
29
30
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4 Résultat & Discussion
33
4.1 Résultat des expérimentations sur le recalage FFD . . . . . . . . . . . . . . . 33
i
Table des matières
4.2
4.1.1 Impact du sous-échantillonnage des données . . . . . . . . . . . . . .
4.1.2 Stratégie optimale de recalage FFD . . . . . . . . . . . . . . . . . . . .
4.1.3 Impact de la dimension de la grille de points de contrôle . . . . . .
4.1.4 Impact des différentes combinaisons de composants de couleurs . .
4.1.5 Impact des différentes positions de la grille de points de contrôles .
Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
33
35
35
36
39
40
5 Conclusion
43
Bibliographie
45
ii
Table des figures
2.1
2.2
2.3
2.4
2.5
3.1
3.2
3.3
(a) Cerveau entier de souris congelé avant la coupe, (b) une coupe d’autoradiographie (métabolisme du glucose) et (c) la coupe histologique correspondante (mettant en évidence les corps cellulaires des neurones) d’un
cerveau de souris (Dubois 2008; Lebenberg 2010) . . . . . . . . . . . . . . . .
(a) Vue coronale, (b) sagittale, et (c) axiale d’une IRM d’un cerveau de
souris, source : wiki.phenogenomics.ca. (d) vue coronale d’une TEP d’un
cerveau de souris, source : MIRCen. . . . . . . . . . . . . . . . . . . . . . . . . .
(a) installation d’un système photographique permettant de photographier
le plan de coupe d’un cerveau de rat avant chaque coupe au cryostat,
(b) la photographie d’une coupe couleur avant et (c) après le traitement
(extraction d’une composante en couleur et segmentation du tissu par
rapport au milieu d’enrobage). Source : MIRCen. . . . . . . . . . . . . . . . .
Représentation d’un volume biologique : vue surfacique (a) coronale, (b)
sagittale, (c) axiale et (d) vue volumique d’autoradiographie d’un hémisphère de cerveau de souris. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Processus d’évaluation du recalage FFD. L’IRM et la photographie sont
utilisées pour estimer la transformation élastique (FFD) de l’une à l’autre.
La transformation est par la suite appliquée sur l’atlas pour obtenir un
nouvel atlas avec les structures qui sont bien recalées. L’évaluation du recalage sera faite sur chaque structure entre l’atlas recalé et la segmentation
manuelle à l’aide du critère de recouvrement DICE. . . . . . . . . . . . . . . .
Description de données IRM/atlas, de gauche à droite : vue axiale, coronale
et sagittale des données. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Description de données Photographie/segmentation, de gauche à droite :
vue axiale, coronale et sagittale des données. . . . . . . . . . . . . . . . . . . .
Vue 3D de la segmentation manuelle des structures utilisées pour évaluer le
FFD (segmentées à partir du volume photographique). Le cerveau entier
(1) est utilisé pour évaluer la qualité du FFD sur la forme globale du
cerveau ; (2-7) différentes structures internes caractérisées par leur forme
et leur orientation. Chaque structure est étiquetée par une valeur comme
montrée dans la figure. Par conséquent, une étape de prétraitement sera
nécessaire pour extraire et ré-étiqueter les structures correspondantes de
l’atlas en respectant ces valeurs avant de passer à étape d’évaluation. Cette
segmentation manuelle se base sur la photographie et a été réalisée par un
expert pendant plusieurs semaines. . . . . . . . . . . . . . . . . . . . . . . . . .
7
9
10
11
19
21
22
23
1
Table des figures
3.4
3.5
3.6
4.1
4.2
4.3
4.4
4.5
4.6
2
Trois commandes Aims principales ont été utilisée pour estimer le recalage
FFD : AimsMIRegister s’occupe de l’initialisation de positionnement de
l’IRM par rapport à la photographie ; AimsBlockMatching donne une estimation sur la déformation globale du cerveau et AimsFFD permet de capturer la déformation locale des structures. La commande AimsThreshold
est utilisée pour extraire les structures d’intérêt à partir de l’Atlas/la segmentation manuelle. L’application du recalage estimé est effectuée à l’aide
de la commande AimsFFDApply. Quant à l’évaluation, l’AimsROIOverlap
permet de mesurer l’indice de recouvrement DICE entre deux structures.
25
On calcule d’abord les sous-échantillonnages de l’IRM et de la photographie
qui sont par la suite utilisés pour l’estimation du recalage. L’application
et l’évaluation de celui-ci sont réalisées sur l’Atlas et la segmentation en
pleine résolution. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
L’indice DICE est mesuré à chaque fois qu’une transformation est estimée. 28
Résultat de l’expérimentation : F = (2, 2, 2; 4, 4, 3) donne une solution optimale dans ce cas (ς o p t ≈ 0.003) avec environ 4 heures de calcul et le
DICE en moyenne le plus élevé. . . . . . . . . . . . . . . . . . . . . . . . . . . .
Le DICE augmente proportionnellement avec l’augmentation des degrés de
liberté des transformations. On voit bien que le FFD a moins d’impact sur
le volume global (cerveau entier) ou sur les grandes structures (striatum,
hippocampe) qui sont bien recalées par la transformation affine. Par contre,
il améliore bien les déformations locales, surtout sur les petites structures
telles que le corps calleux qui présente un gain de 20% entre le FFD et la
déformation affine. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
La grille par défaut G = (10, 10, 10) n’est pas optimale, ce qui semble
surprenant théoriquement, la solution optimale dans ce cas est la grille
G = (5, 4, 6).
Un autre point que l’on doit souligner est que le changement de la dimension de la grille de points de contrôle a un impact plus important sur les
petits structures que sur les grandes structures. . . . . . . . . . . . . . . . . .
Les 7 premiers graphes non-normalisés montrent le score DICE sur chaque
structure en fonction des combinaisons RVB. Le dernier représente la variation moyenne ς . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Les 7 graphes après avoir été normalisés (sauf le dernier qui n’est pas à la
même échelle). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Impact de la position de la grille des points de contrôle : Bien que le
résultat ne présente aucun gain sur le cerveau entier (structure globale),
sur les moyennes et petites structures, il montre une variabilité importante
du score DICE. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
34
35
36
37
38
39
1 Introduction
“Nothing in life is to be feared. It is only to be understood...”
– Marie Curie.
Ce stage s’est déroulé au laboratoire des Maladies Neurodégénératives (LMN), un des
trois laboratoires de la plate-forme MIRCen 1 située au CEA 2 de Fontenay-aux-Roses,
une plate-forme d’imagerie pré-clinique pour la thérapie génique et cellulaire. Elle est
consacrée au développement de modèles animaux pertinents de pathologies humaines
utilisés pour évaluer des thérapies innovantes, principalement dans le domaine des maladies
neurodégénératives mais aussi des maladies infectieuses et cardiaques.
J’ai travaillé dans l’équipe de traitement de l’image bioPICSEL 3 , une équipe de recherche multidisciplinaire qui se compose d’informaticiens et de biologistes, dont le travail
se focalise sur la mise en place de stratégies d’analyse des images acquises par les biologistes, avec l’objectif de faciliter leur interprétation et l’accès aux informations pertinentes.
Concrètement, les différents types d’imageries in vivo disponibles dans le centre, comme
l’IRM et la TEP, sont utilisés pour obtenir une vue globale des organes, plus précisément
des cerveaux, dans des modèles animaux de pathologies. Les différentes modalités d’imagerie post-mortem (histologie, autoradiographie,etc.), peuvent par la suite être corrélées
avec les données acquises in vivo pour avoir une représentation plus précise de la maladie
(neurodégénérative) étudiée afin de mieux comprendre ses mécanismes, son évolution et
de valider des thérapies.
Le travail de ce stage consiste à optimiser les paramètres d’une implémentation de l’algorithme de recalage élastique FFD (3D) afin d’améliorer la qualité des estimations calculées.
Pour cela, il est nécessaire, dans un premier temps, d’acquérir une bonne connaissance
de l’infrastructure logicielle existante (2.6) au sein de l’équipe et de comprendre le fonctionnement de l’algorithme de recalage non-linéaire FFD étudié (2.5). Dans un deuxième
temps, il est indispensable de mettre en œuvre un outil permettant d’évaluer quantitativement les performances de l’algorithme de recalage et de réaliser une série de tests afin
d’optimiser les paramètres de cette méthode. Le but final est de proposer une approche
d’optimisation permettant de pallier les problèmes posés. L’objectif du sujet sera détaillé
dans la section 2.7.
1. Molecular Imaging Research Center - résultat d’un partenariat entre le CEA et l’Inserm
2. Commissariat à l’Énergie Atomique et aux Énergies Alternatives
3. Biomedical Processing of Images Computer Science and Engineering Laboratory
3
1 Introduction
4
2 État de l’art
“If you can solve it, it is an exercise, otherwise it’s a research problem...”
–Richard Bellman.
e chapitre présente la recherche bibliographique sur toutes les méthodes, les techniques, et les travaux préliminaires concernant le sujet ; leurs avantages ainsi que
leurs inconvénients. Cette démarche est une étape préalable qui a pour but de me permettre de maitriser les théories concernant mon sujet, de mieux comprendre les problèmes
posés. Cela m’aide également à établir un protocole d’étude adapté et fiable pour que la
réalisation du sujet soit menée à terme. La fin de ce chapitre décrit clairement l’objectif
du sujet de stage (2.7).
C
2.1 Les maladies neurodégénératives
Les maladies neurodégénératives sont des pathologies dégénératives affectant le fonctionnement du cerveau, ou plus généralement le système nerveux, de façon progressive au
cours de leur évolution. Ces maladies provoquent une détérioration du fonctionnement des
cellules nerveuses, en particulier les neurones, pouvant conduire à la mort cellulaire. Ces
maladies touchent principalement les personnes âgées de plus de 65 ans, ont souvent une
originale génétique, et restent actuellement incurables. Le fait que leur origine ne soit pas
toujours connue précisément pose un vrai problème de recherche dans le domaine biomédical. Les principales maladies neurodégénératives qui sont actuellement étudiées à MIRCen
sont : la maladie d’Alzheimer, la maladie de Huntington et la maladie de Parkinson.
2.2 La recherche pré-clinique et les modèles animaux
L’objectif de la recherche biomédicale est de comprendre les mécanismes physiologiques
du corps humain ainsi que les processus pathologiques afin de permettre le développement
de nouvelles thérapeutiques. Elle se compose de trois grandes parties : (Lebenberg, 2010)
— La recherche fondamentale.
— La recherche pré-clinique.
— La recherche clinique.
Tandis que la recherche clinique s’intéresse principalement à l’être humain en étudiant
l’évolution d’une pathologie cible ou bien l’effet de certaines méthodes thérapeutiques sur
celle-ci, les recherches pré-cliniques et fondamentales visent à reproduire la maladie sur
5
2 État de l’art
des modèles animaux afin de comprendre ses mécanismes d’évolution, développer et tester
des nouvelles approches thérapeutiques avant de passer à la recherche clinique.
À MIRCen, la recherche pré-clinique se fait principalement sur des petits animaux tels
que les souris ou les rats. Ces espèces sont largement utilisées dans les laboratoires car
leur vitesse de reproduction est assez rapide (de l’ordre de quelques semaines), ce qui fait
que ces modèles sont facilement utilisables dans de nombreuses études exploratoires. Pour
les études plus poussées et à fort potentiel de découverte, les biologistes sont amenés à
utiliser les primates du fait qu’ils sont anatomiquement plus proches de l’Homme. Par
contre ces modèles sont beaucoup plus gros et ont un temps de gestation plus important
que les rongeurs ce qui constitue une limite forte à leur utilisation.
2.3 Les différents types d’imagerie
Il existe divers types d’imagerie qui sont utilisés dans la recherche bio-médicale et qui
peuvent être séparés dans en deux grands types : Imagerie in vivo et l’imagerie postmorterm.
2.3.1 Imagerie post morterm
2.3.1.1 Acquisition des données
L’imagerie dite post morterm (Dubois 2008; Lebenberg 2010) désigne toute technique
mise en œuvre pour obtenir une image de l’organisme d’un sujet étudié après l’euthanasie
de celui-ci. Cette approche est actuellement très utilisée par les biologistes : après avoir
sacrifié l’animal, l’organe étudié est extrait de son environnement naturel (le cerveau) et
est immédiatement congelé à -40°C et maintenu à -20 ou -80°C afin d’éviter autant que
possible sa dégradation et sa déformation de structure. À l’aide d’une machine spécifique
(un cryostat), un processus est par la suite mis en place pour découper l’organe en coupes
dont chacune peut avoir une épaisseur très fine, qui peut aller de quelques micromètres à
plusieurs dizaines de micro-mètres. Les coupes sont ensuite montées sur les lames de verre
qui peuvent être directement exposées sur un film d’autoradiographie puis éventuellement
colorées ou traitées en utilisant différentes techniques de marquages histologiques.
L’imagerie post morterm peut présenter plusieurs types d’informations différentes :
L’autoradiographie C’est une technique d’imagerie ex vivo 1 qui permet de révéler, sur
un film photographique, des activités fonctionnelles des tissus telles que la consommation
de glucose (cérébral), le débit sanguin (cérébral) ou encore le taux de synthèse d’une
protéine du sujet étudié avant son euthanasie à l’aide de traceurs radioactifs qui sont
injectés directement au sujet.
1. Les tests biologiques mis en place en dehors de l’organisme
6
2.3 Les différents types d’imagerie
(a)
(b)
(c)
Figure 2.1 – (a) Cerveau entier de souris congelé avant la coupe, (b) une coupe d’autoradiographie (métabolisme du glucose) et (c) la coupe histologique correspondante
(mettant en évidence les corps cellulaires des neurones) d’un cerveau de souris (Dubois
2008; Lebenberg 2010)
Le marquage histologique
Ce type d’information permet de mettre en évidence
certains types cellulaires (neurones, microglie, astrocytes, etc.). Pour cela, une étape de
coloration spécifique est nécessaire pour accentuer le contraste d’un type cellulaire cible.
Il est donc possible d’avoir une multitude de marqueurs qui permettent de mettre en
évidence différentes informations pour un même sujet étudié.
Un grand avantage de ce type d’imagerie est que les images acquises ont une résolution
spatiale très élevée (inférieure au micromètre ce qui permet d’observer des cellules). Ces
images répondent bien aux besoins d’analyse des biologistes même sur des petits animaux
tels que les rongeurs. De plus, cette technique est relativement facile à mettre en œuvre,
ses résultats peuvent être réutilisés plusieurs années et elle est peu coûteuse par rapport
à l’imagerie in vivo qui nécessitent des sytèmes lourds. L’imagerie post mortem présente
néanmoins un inconvénient majeur qui est que l’on obtient une seule observation du sujet
étudié car elle requiert l’euthanasie de l’animal. De plus, le fait de découper et de monter
les tissus sur des lames de verre entraîne la perte de la cohérence tridimensionnelle des
coupes et la déformation locale des coupes du fait des contraintes mécaniques de coupe
et de l’utilisation de produits de marquage.
2.3.1.2 Les différentes types de déformations
L’obtention des données post mortem nécessite une suite de traitements physicochimiques qui peut produisent des déformations non souhaitées sur les coupes. Il y a deux
types de déformations principales :
Déformations primaires Ce genre de déformation apparaît souvent dans l’étape de
prélèvement, après l’extraction de l’organe (le cerveau par exemple) de son environnement
naturel que constitue le crâne. Ce sont des déformations globales tridimensionnelles : «Il
s’agit d’une contraction globale du cerveau due à la perte du liquide céphalo-rachidien et
à la perte d’irrigation sanguine suivies d’une déshydratation, plus diverses déformations
7
2 État de l’art
dues à la gravité ou à d’autres effets mécaniques (manipulation du cerveau). » (Dauguet,
2005)
Déformations secondaires Ces déformations se produisent durant l’étape de coupe
et de montage des coupes sur les lames de verre. Là, on trouve non seulement la perte
de cohérence tridimensionnelle des échantillons mais aussi des déformations locales bidimensionnelles importantes telles que : des cisaillements, des plissements, voire des déchirements. Un point caractéristique de ces déformations est qu’elles n’ont pas les mêmes
effets sur les différentes parties de l’échantillon. Cela signifie que les coupes ne concervent
pas leur géométrie initiale avant la coupe de l’organe.
Ces déformations ont une influence très importante sur la qualité de la reconstruction
du volume 3D à partir des coupes 2D. Ainsi, une étape de correction des déformations
est effectivement nécessaire, utilisant une méthode de recalage d’images (Rigide, Affine,
FFD).
2.3.2 Imagerie in vivo
Cette technique permet l’acquisition d’images sur un sujet vivant afin de réaliser des
études longitudinales, les images étant obtenues sur un même sujet à différents temps. À
MIRCen, on a deux types de systèmes d’imagerie in vivo principaux (Lebenberg, 2010) :
Imagerie par Résonance Magnétique (IRM) est une technique d’imagerie médicale
permettant d’obtenir des vues 2D ou 3D de l’intérieur du corps de façon non invasive
et qui repose sur les propriétés magnétiques des noyaux atomiques que l’on met en interaction avec un champ magnétique extérieur. Les images sont enfin obtenues à l’aide
d’une reconstruction mathématique sur les informations qui représentent la structure des
organes et leur forme (imagerie anatomique).
La Tomographie par Émission de Positons (TEP)
est une méthode d’imagerie
médicale permettant de mesurer en trois dimensions les activités métaboliques d’un organe
grâce aux émissions produites par les positons issus de la désintégration d’un produit
radioactif injecté au préalable. Le principe est qu’on injecte un traceur dans le sujet étudié
dont on connaît le comportement et les propriétés biologiques. Ce traceur est marqué
avec un atome radioactif qui est capable d’émettre des positons qui eux-même produisent
deux photons émis dans deux directions opposées. Ces derniers permettent de localiser la
position d’où a eu lieu l’émission et de connaître la concentration du traceur en chaque
point de l’organe. Ces informations quantitatives sont présentées sous forme d’une image
dans laquelle on fait apparaître en couleurs les zones de forte concentration du traceur.
Le premier intérêt de ces techniques d’imagerie est qu’elles permettent de faire une
étude de manière longitudinale sur un sujet vivant. Les images peuvent être obtenues
rapidement sous forme 3D par rapport à la méthode post mortem qui est 2D. Par contre,
8
2.3 Les différents types d’imagerie
(a)
(b)
(c)
(d)
Figure 2.2 – (a) Vue coronale, (b) sagittale, et (c) axiale d’une IRM d’un cerveau
de souris, source : wiki.phenogenomics.ca. (d) vue coronale d’une TEP d’un cerveau de
souris, source : MIRCen.
à cause des limitations techniques, leur résolution spatiale est assez faible surtout pour
l’étude du petit animal, et leur obtention nécessite des installations souvent coûteuses.
2.3.3 La modalité photographique
Comme déjà abordé précédemment, pour corriger les déformations, une méthode de
recalage est utilisée afin de ré-aligner les échantillons à une structure la plus proche possible
de la morphologie originale. Pour cela, il nous faut, pour chaque coupe, une image dite
référence qui conserve quasiment la courbure originale de la structure correspondante. On
peut utiliser un volume IRM (Malandain et al., 2004) (2.3.2) qui offre les informations
morphométriques et structurelles les plus fidèles et les plus précises. Par contre, ce type de
modalité n’est pas toujours disponible avec une bonne résolution spatiale surtout sur des
petits animaux tels que les rongeurs utilisés à MIRCen. C’est pour cette raison que l’on
a besoin de la modalité photographique. Ce type de modalité est produit en prennent la
photographie du plan de coupe de l’organe avant chaque coupe. Les photos sont acquises
tout au long du processus de coupe, et à la fin, on obtient une série d’images de référence
des coupes histologiques. L’acquisition est en général réalisée à intervalle régulier, par
exemple le plus souvent, une photographie sera acquise toutes les 4 coupes et le tissu
correspondant sera prélevé pour effectuer un marquage histologique d’intérêt. De cette
manière, il est possible de limiter le nombre total d’images à acquérir et à traiter.
La modalité photographique offre une résolution spatiale élevée, jusqu’à une dizaine de
micromètres, et peut fournir des détails anatomiques parfois plus nets que ceux fournis par
l’IRM. De plus, comme chaque photographie est réalisée avant la coupe, les déformations
locales y sont très limitées, c’est pour cela que le volume photographie obtenu par l’empilement de chaque photographie donne une courbure très proche de l’original bien que
des déformations primaires ce soient déjà produites. Ce volume est considéré comme une
référence géométrique permettant d’estimer la cohérence tridimensionnelle et de corriger
les déformations secondaires des coupes histologiques. Dans la mesure où une IRM du
cerveau de souris à étudier aurait été acquise, le bloc photographique pourrait être utilisé
pour estimer les déformations primaires mais également pour reconstruire des volumes
histologiques en compensant les déformations secondaires. Il est même possible de com-
9
2 État de l’art
penser les déformations secondaires et primaires pour un volume histologique (Dauguet,
2005).
(a)
(b)
(c)
Figure 2.3 – (a) installation d’un système photographique permettant de photographier
le plan de coupe d’un cerveau de rat avant chaque coupe au cryostat, (b) la photographie
d’une coupe couleur avant et (c) après le traitement (extraction d’une composante en
couleur et segmentation du tissu par rapport au milieu d’enrobage). Source : MIRCen.
2.4 La reconstruction 3D de données post mortem
Afin de faciliter l’interprétation et de mieux exploiter les données post mortem obtenues,
une approche de reconstruction 3D de celles-ci est proposée afin d’avoir une vue globale en
3D plus précise du sujet étudié. Cette reconstruction 3D se compose de certaines étapes
comme décrites ci-dessous (Dubois, 2008) :
Numérisation des coupes (histologiques, autoradiographiques)
Cette étape est préalable à la reconstruction 3D, les coupes après leur montage sur des
lames de verre doivent être numérisées sous forme des fichiers numériques. Ces derniers
peuvent être acquis à l’aide d’une microdensitomètre, d’une caméra CDD (Charge Coupled
Device), ou d’un scanner à plat haute résolution. À MIRCen, on dispose d’un système
d’acquisition (matériel et logiciel) permettant de numériser, d’extraire individuellement
et de numéroter des coupes de manière automatique à partir de numérisations intégrant
plusieurs coupes. Après cette étape, une série de coupes histologiques numérisées est
disponible pour la construction en 3D.
Recalage et empilement des coupes
Cette étape consiste, à partir des images numérisées, à aligner correctement les coupes
entre elles de telle sorte que leur empilement produise un objet 3D le plus fidèle possible à
l’original (le cerveau, par exemple). Pour cela on profite de la cohérence tridimensionnelle
du volume photographique que l’on prend comme référence géométrique pour reconstruire un volume anatomique. Chaque coupe histologique est recalée ou co-alignée, sur la
photographie correspondante en appliquant des techniques de recalage (2.5).
10
2.5 Le recalage 3D d’images
Notons que pour reconstruire un volume fonctionnel à partir des coupes autoradiographiques, on utilise le volume anatomique obtenu précédemment comme référence. De cette
façon, les résultats de mise en correspondance anatomo-fonctionnelle sont très précises,
la géométrie tridimensionnelle des deux volumes étant la même.
Cette étape peut être réalisée automatiquement à l’aide des processus déjà développés
dans BrainVISA (le module BrainRAT - développé par l’équipe traitement de l’image de
MIRCen).
Représentation en 3D du volume biologique obtenu
(a)
(b)
(c)
(d)
Figure 2.4 – Représentation d’un volume biologique : vue surfacique (a) coronale, (b)
sagittale, (c) axiale et (d) vue volumique d’autoradiographie d’un hémisphère de cerveau
de souris.
Le volume biologique 3D (anatomique ou fonctionnel), après sa reconstruction, peut
être visualisé en mode surfacique ou volumique à l’aide du logiciel Anatomist.
2.5 Le recalage 3D d’images
Une bonne stratégie de recalage joue un rôle très important dans la reconstruction 3D
des données post mortem car elle influence directement la qualité du processus. Il existe
actuellement plusieurs techniques pour effectuer le recalage 3D (Maintz and Viergever,
1998), mais dans ce stage, on s’intéressera plus particulièrement à celles concernant le
recalage élastique FFD.
La mise en correspondance d’une image, dite test, avec une autre image, dite référence,
consiste à estimer la transformation géométrique optimale qui permet de les aligner le
mieux que possible, c.à.d, une transformation optimale qui maximise (Lebenberg, 2010) :
T̂ = a r g max S(I r , I t , T )
T ∈T
(2.1)
Avec T est ensemble des transformations, I r est image de référence, I t est image de
test, T est une transformation de T et T̂ est la transformation optimale souhaitée.
11
2 État de l’art
Une méthode de recalage peut se composer de plusieurs transformations différentes,
mais généralement, elle comporte deux types de transformations principales comme présentées ci-après.
2.5.1 Transformation linéaire
Soit I t l’image de test de dimension N (N = 3 dans notre cas), une transformation
linéaire de I t est décrite comme suit :
∀x ∈ I t , T (x) = M x + ~t
(2.2)
Avec x est un vecteur de N dimensions qui représente la coordonnée d’un élément de
l’image (pixel/voxel), M est une matrice quelconque de taille NxN et t est un vecteur
de translation de N dimensions. Notons que le nombre maximum de degrés de liberté de
ce type de transformation est N×N+N (12 pour N=3, par exemple). En fonction de la
valeur de M, on a différents types de transformations linéaires :
— T est Translation : si M = Id, T a donc N degrés de liberté.
— M = R, la matrice de rotation (orthogonale et det(M) = 1), T est appelé la
transformation rigide.
— M = sR avec s>0 est un facteur d’échelle, on a une transformation de similarité
(homothétie).
— Dans le cas général, c.à.d. M quelconque, on a une transformation dite affine
qui conserve le parallélisme.
Un point à souligner est que ce type de transformation donne une modification globale
de l’image de test (de manière linéaire).
Transformation linéaire par block-matching
Cette technique consiste, dans un premier temps, à rechercher un champ de déplacement
optimal de certaines régions dans l’image de test vers celles de l’image de référence les plus
similaires (estimées par une mesure de similarité, le coefficient de corrélation – (2.5.3)).
Dans ce cas, les régions sont définies comme des blocs rectangulaires (carrés par défaut),
l’estimation se fait de manière itérative avec une approche multi-résolution. À partir de
ce champ de déplacement, on estime par la suite une transformation linéaire globale T0
qui minimise la différence aux moindres carrés (2.5.3) entre les appariements initiaux et
les déplacements induits par T0 (Dauguet, 2005).
2.5.2 Transformation non linéaire – le recalage FFD
La transformation linéaire estime seulement une transformation globale et simple de
l’image test I t . Cependant, il peut être important de corriger les différences de géométrie à une échelle plus locale pour améliorer la superposition des différentes structures
internes. Une transformation additionnelle avec plus de degrés de liberté est donc nécessaire pour permettre la déformation locale des structures. La transformation élastique
12
2.5 Le recalage 3D d’images
FFD (Free Form Deformation) est une des méthodes qui a été proposée avec succès dans
ce domaine car elle donne un nombre important de degrés de liberté pouvant atteindre
plusieurs milliers. Il est ainsi possible d’estimer finement les déformations locales pour
chaque structure. Dans le cadre de ce stage, on s’intéressera à ce type de transformation
qui a déjà été implémentée et intégrée dans le système logiciel de MIRCen.
La méthode FFD est basée principalement sur la B-Spline, une fonction polynomiale
par morceau à support fini (du classe C2) (Thkvenaz and Unser 1997; Lee et al. 1997;
Unser et al. 1990). L’idée de base du FFD est de déformer un objet en manipulant un
maillage sous-jacent de points de contrôle. La déformation résultante va contrôler la forme
de l’objet et produire une transformation «lisse» (smooth) et continue.
Comme, dans notre cas, on travaille avec les volumes 3D, donc, pour simplification,
soit Ω = {(x, y, z) | 0 ≤ x < X , 0 ≤ y < Y, 0 ≤ z < Z} le domaine du volume de l’image ;
Φ est une grille de points de contrôle de taille n x × ny × n z (dont Φi, j ,k est un point)
à l’espacement uniforme δ = (δ x , δy , δ z ). Le FFD peut être représenté par la formule
suivante (Rueckert et al. 1999; Mattes et al. 2003) :
TF F D (x, y, z) =
3 X
3 X
3
X
B l (u)B m (v)Bn (w)Φi +l , j +m,k+n
(2.3)
l =0 m=0 n=0
Avec i = bx/δ x c − 1, j = by/δy c − 1, k = bz/δ z c − 1, u = x/δ x − bx/δ x c, v =
y/δy − by/δy c, w = z/δ z − bz/δ z c et B l présent l e r fonction de B-Spline, donc :
Bo (u)
B1 (u)
B2 (u)
B3 (u)
=
=
=
=
(1 − u)3/6
(3u 3 − 6u 2 + 4)/6
(−3u 3 + 3u 2 + 3u + 1)/6
u 3 /6
(2.4)
(2.5)
(2.6)
(2.7)
À noter que les B-splines sont contrôlées localement, ce qui rend le calcul efficace
même pour un grand nombre de points de contrôle. En particulier, les fonctions de base
de B-splines cubiques ont un support limité, c’est à dire que le changement du point de
contrôle Φi, j ,k affecte seulement la transformation dans le voisinage de celui-ci. (Rueckert
et al., 1999). Les points de contrôle Φ agissent comme les paramètres principaux du FFD
– une partie du travail de ce stage consiste à optimiser ces paramètres de positionnement
et d’espacement de ces points de contrôle. La répartition de ces derniers défini ainsi le
degré de liberté de la transformation, par exemple, un FFD B-spline de 10x10x10 points
de contrôle donne une transformation avec 3000 degré de liberté (déplacements selon X,
Y et Z de chaque point de contrôle).
Approche pyramidale ou multi-échelle
Comme on travaille souvent avec des données très volumineuses, il faut prendre en
compte le coût en terme de temps d’exécution du FFD. De plus, un nombre plus élevé de
points de contrôle rend plus coûteuse la complexité computationnelle et le risque de tomber
13
2 État de l’art
dans un minimum local. Pour pallier ces problèmes, une approche pyramidale ou multiéchelle est généralement proposée (Rueckert et al. 1999) : la transformation est estimée
mathématiquement sur des images sous-échantillonnées pour capturer les déformations
principales de grandes amplitudes. Cette opération est itérée en augmentant la résolution
de la grille de points de contrôle (multi-échelle). Cette approche permet d’optimiser le
temps de calcul global et de limiter le risque d’être piégé dans un minimum local.
2.5.3 Critères de similarité
Il existe dans la littérature plusieurs critères de similarité différents qui peuvent être
utilisés pour optimiser la mise en correspondance des images. Les principaux critères
pertinents pour notre projet sont décrits ci-après.
Relation de conservation des intensités
Dans le cas où les images à recaler ont été obtenues dans les mêmes conditions expérimentales ou même modalité d’imagerie, on peut considérer qu’il y a une relation de
conservation des intensités entre celles-ci. L’opération de recalage peut ainsi être optimisée
en minimisant la somme des carrés de la différence, concrètement :
X
S S D(I r , T (I t )) =
(i − j )2
(2.8)
i, j
Avec I r , I t sont l’image de référence et l’image de test, T (I t ) est l’image recalée, i et
j sont l’intensité du pixel dans l’image I r et T (I t ).
Relation affine entre les intensités des images
Lorsque l’on suppose qu’il y a une relation linéaire entre les images, le coefficient de
corrélation linéaire (de Bravais-Pearson) peut être un bon choix pour l’optimisation du
recalage :
P
ρ(I r , T (I t )) = q
P
i, j (i
i (i
− I r )( j − T (I t ))
− Ir )
2
P
j(j
(2.9)
− T (I t ))
2
Où I r et T (I t ) sont les intensités moyennes de l’image de référence et de l’image de test
recalée. Ce coefficient peut varier entre -1 et 1, s’il est proche 0, on est dans le cas le plus
défavorable, les deux images sont dite dé-corrélées linéairement. L’optimisation consiste
à maximiser la valeur absolue de ce coefficient.
Relation statistique entre les intensités des images
Dans le cas de recalage d’images multimodales, il n’existe pas une relation linéaire entre
les intensités mais plutôt une relation statistique qui peut être représentée par l’information
mutuelle, un critère basé sur la mesure de l’entropie (de Shannon-Wienner) :
14
2.5 Le recalage 3D d’images
MI =
X
pi, j log
pi, j
pi p j
(2.10)
Avec pi j est la probabilité qu’un pixel dans I r ait l’intensité i et que son correspondant
dans l’image T (I t ) ait l’intensité j. pi , p j sont les probabilités d’obtenir i et j dans l’image
I r et T (I t ). Ce critère est optimal lorsqu’il est maximisé.
2.5.4 Critère de recouvrement DICE
La convergence optimale de l’algorithme de recalage n’assure pas que les images soient
correctement recalées. On a donc besoin d’une méthode d’évaluation quantitative pour
mesurer la qualité du recalage. Pour cela, il nous faut d’abord, pour chaque structure dans
l’image de test dite segmentation test S t , extraire une segmentation correspondante (de
l’image de référence) dite segmentation de référence S r . Après avoir recalé la segmentation
test, la qualité du recalage peut être estimée en utilisant une mesure de recouvrement. Il
en existe plusieurs dans la littérature, dans le cadre de ce stage, on s’intéresse surtout au
coefficient de Dice qui est le plus utilisé et qui représente le rapport entre les vrais positifs
et la somme des cardinaux des deux segmentations (Lebenberg 2010; Dice 1945).
κ=2×
ca r d (S t ∩ S r )
ca r d (S t ) + ca r d (S r )
(2.11)
Ce coefficient peut varier entre 0 et 1, un recalage est de bonne qualité si cette valeur
est proche de 1. Généralement, on considèrera que κ ≥ 0.7 donne une bonne qualité de
superposition de deux segmentations.
2.5.5 Le recalage 3D d’images
Une méthode de recalage 3D des images peut se composer de la combinaisons de plusieurs transformations. On peut appliquer une transformation linéaire par block-matching,
pour la déformation globale, suivie par une transformation élastique FFD, pour les déformations locales des images :
T (I t ) = TB M (I t ) + TF F D (I t )
(2.12)
Soit Θ et Φ des paramètres de TB M et TF F D . Θ est optimisé par maximisation du
coefficient de corrélation (2.5.3) dans la transformation linéaire globale TB M . Quant à Φ,
l’optimisation consiste à satisfaire en même temps : (i) la maximisation de l’information
mutuelle des images à recaler M I (I r , T (I t )) en respectant Θ pour assurer un bon alignement de celles-ci ; et (ii) la minimisation de la fonctionne de coût C s moot h associée
à la finesse de la transformation(équation (2.13)) afin d’optimiser la grille de points de
contrôle.
15
2 État de l’art
C s moot h =
1
Z
X
Z
Y
Z Z–
(
∂ 2T
)2 + (
∂ 2T
)2 + (
∂ 2T
)2
∂ x
∂ y
∂ z
™
2
∂ T
∂ T
∂ T
+2( 2 )2 + 2( 2 )2 + 2( 2 )2 d xd yd z
∂ xy
∂ xz
∂ yx
V
0
2
0
0
2
2
2
2
(2.13)
Soit C (Θ, Φ) le critère d’optimisation global, on a donc (Rueckert et al., 1999) :
C (Θ, Φ) = −M I (I r , T (I t )) + λC s moot h
(2.14)
On vise à optimiser C (Θ, Φ) en respectant Θ, c.à.d., on minimise le gradient de C (Θ, Φ)
∂ C (Θ,Φ)
en fonction de Φ : ∇C = ∂ Φ . Notons qu’ici, λ est un paramètre de pondération qui
est un compromis entre les deux critère M I (I r , T (I t )) et C s moot h (λ = 0.01 donne un bon
compromis entre ces deux critères – (Rueckert et al., 1999)). Le recalage FFD est détaillé
dans l’algorithme (2.1).
Algorithme 2.1 L’algorithme de recalage FFD 3D image
Estimer la valeur optimale Θ pour la transformation TB M
Initialiser la grille de point de contrôle Φ
Boucle :
Calculer le vecteur de gradient ∇C =
en respectant Θ
While k ∇C k> ξ do
∂ C (Θ,Φ)
∂Φ
(2.14)
Recalculer la grille de point de contrôle
Recalculer le vecteur de gradient∇C
Augmenter la résolution de la grille de points de contrôle
Augmenter la résolution de l’image
Jusqu’à ce qu’on atteigne la résolution fine de l’image
2.6 Environnement logiciel utilisé
À MIRCen, on dispose d’un système logiciel très puissant permettant d’effectuer différents traitements complexes sur des volumes de données (comme présentées précédemment) très volumineuses. Le travail de ce stage repose sur l’environnement logiciel
suivant :
Aims
Aims contient un ensemble de plusieurs centaines de commandes développées en C/C++
agissant comme une sous-couche qui :
16
2.6 Environnement logiciel utilisé
— Gère la lecture des volumes de données de divers formats : 2D,3D,4D, GIS, et IRM,
TEP, etc.
— Fournit des outils de traitement de l’image nécessaires pour traiter ces données
(segmentation, recalage, analyse, etc.).
BrainVISA
C’est un logiciel qui contient plusieurs modules (pipelines) permettant d’automatiser
des chaînes de traitement (commandes Aims) sur des volumes d’images précisés en entrée.
BrainVISA est organisé sous forme « Plug-and-play » il est donc possible de développer
individuellement les modules (en utilisant le langage Python), de les intégrer et de les
exécuter sans difficulté.
Anatomist
C’est un logiciel qui permet de visualiser (sur différentes vues : sagittale, axiale, coronale
et en 3D), d’analyser (histogramme, affichage du profil,...) et traiter (fusion, segmentation
manuelle,..) les différents types de volumes de données en 3D.
Tous ces trois logiciels sont disponible gratuitement sur le site : http://www.brainvisa.info/.
17
2 État de l’art
2.7 Objectif du stage
L’objectif principal de ce stage est d’optimiser l’algorithme de recalage FFD qui a déjà
été développé et est intégré au sein du système logiciel de MIRCen. Les données du projet
sont un volume photographique d’un cerveau de souris avec une segmentation manuelle
de plusieurs structures et des données téléchargées sur internet (Dorr et al., 2008) qui
se composent d’une IRM de cerveau de souris à haute résolution et d’un atlas (3.1). Le
processus d’évaluation est montré dans la figure 2.5.
Pour optimiser le recalage de ces données (IRM / volume photographique), il nous
faut d’abord pouvoir l’évaluer quantitativement. Jusqu’à présent, l’évaluation du recalage
FFD était le plus souvent réalisée de manière qualitative à l’aide de l’outil de visualisation
Anatomist en fusionnant les volumes après le recalage. De ce fait, le travail du stage se
divise donc en deux étapes principales :
(i) La première étape est de mettre en œuvre un outil d’évaluation quantitative de
l’algorithme en utilisant le critère DICE (Dice, 1945) comme critère d’évaluation. Comme
abordé, l’évaluation par DICE a besoin des segmentations des images à recaler. Il est donc
nécessaire de réaliser une segmentation de certaines structures du volume photographique.
Ces volumes d’intérêt peuvent être utilisés pour évaluer le recalage FFD en calculant le
recouvrement avec les structures correspondantes de l’atlas-IRM. Comme les volumes sont
de très grandes dimensions, les premiers développements algorithmiques sont en œuvre
sur des images dégradées, ce qui a permis de limiter les temps de calcul en phase de
démarrage du projet. En effet, la durée d’un recalage FFD peut atteindre plusieurs heures.
(ii) Dans la deuxième étape, le travail consiste à optimiser l’algorithme de recalage FFD
en déterminant ses paramètres optimaux (le nombre et la position des points de contrôles,
la composante couleur à utiliser pour le volume photographique couleur,...). Ce travail
demandera préalablement que la première partie soit complétée pour pouvoir réaliser et
évaluer une suite de tests avec les paramètres variables. Une fois que les paramètres
optimaux auront été déterminés, une intervention directe dans le code de l’algorithme
pourra-être envisagée pour proposer des améliorations de performance de la méthode de
recalage FFD. Par exemple, nous pourrions intégrer une contribution d’un indice Dice
calculé pendant l’estimation du critère d’information mutuelle qui est le seul optimisé
aujourd’hui.
18
2.7 Objectif du stage
Figure 2.5 – Processus d’évaluation du recalage FFD. L’IRM et la photographie sont utilisées pour estimer la transformation élastique (FFD) de l’une à l’autre. La transformation
est par la suite appliquée sur l’atlas pour obtenir un nouvel atlas avec les structures qui
sont bien recalées. L’évaluation du recalage sera faite sur chaque structure entre l’atlas
recalé et la segmentation manuelle à l’aide du critère de recouvrement DICE.
19
2 État de l’art
20
3 Optimisation des paramètres du
recalage FFD
“If you optimize everything, you will always be unhappy...”
–Donald Knuth.
3.1 Description des données utilisées
Pour le travail du projet, on utilise deux sources de données différentes :
3.1.1 IRM/Atlas
IRM
Dimension
(392, 298, 456)
Voxel size (mm)
(0.029,0.029,0.029)
Size (Mb)
101.6
Atlas
Dimension
(392, 298, 456)
Voxel size (mm)
(0.029,0.029,0.029)
Size (Mb)
101.6
Figure 3.1 – Description de données IRM/atlas, de gauche à droite : vue axiale, coronale
et sagittale des données.
Ce sont des données d’un cerveau de souris récupérées à partir de l’internet (Dorr et al.,
2008) qui se composent d’une IRM et d’un atlas segmenté à partir de celle-ci (figure 3.1).
21
3 Optimisation des paramètres du recalage FFD
L’IRM est utilisée pour estimer le recalage FFD à l’aide d’un volume photographique, la
transformation est par la suite appliquée sur l’atlas pour évaluer la qualité du recalage
(figure 2.5). On utilise l’atlas pour la validation car il présente très nettement les structures
internes du cerveau qui sont intéressantes à évaluer en raison de la variabilité de leur forme,
leur orientation et leur localisation.
La raison du choix des données de Dorr et al. comme données de test est qu’elles sont
bien validées en terme de qualité et de structures internes, ce qui répond à nos besoins
d’évaluation.
3.1.2 Photographie/Segmentation manuelle
Ces données sont disponibles à MIRCen (même souche de souris que pour l’IRM) qui
contient un volume photographique (acquisition photographique lors de l’étape de coupe
au cryostat, avant chaque coupe) et une segmentation manuelle de structures d’intérêt
(réalisée par une biologiste). La photographie est utilisée comme le volume de référence
pour l’estimation du recalage FFD alors que la segmentation manuelle est employée comme
donnée de référence pour l’évaluation du recalage.
Photographie
Dimension
(709, 528, 700)
Voxel size (mm)
(0.017,0.017,0.019)
Size (Mb)
749.7
Segmentation
Dimension
(709, 528, 700)
Voxel size (mm)
(0.017,0.017,0.019)
Size (Mb)
499.8
Figure 3.2 – Description de données Photographie/segmentation, de gauche à droite :
vue axiale, coronale et sagittale des données.
Notons qu’il n’est pas nécessaire d’évaluer toutes les structures disponibles car cela serait
trop coûteux en temps de calcul et en quantité de travail de segmentation manuelle, on
se concentre donc sur les structures les plus pertinentes en terme de forme, d’orientation
et de localisation comme présentées dans la figure 3.3.
22
3.1 Description des données utilisées
Figure 3.3 – Vue 3D de la segmentation manuelle des structures utilisées pour évaluer
le FFD (segmentées à partir du volume photographique). Le cerveau entier (1) est utilisé
pour évaluer la qualité du FFD sur la forme globale du cerveau ; (2-7) différentes structures
internes caractérisées par leur forme et leur orientation. Chaque structure est étiquetée
par une valeur comme montrée dans la figure. Par conséquent, une étape de prétraitement
sera nécessaire pour extraire et ré-étiqueter les structures correspondantes de l’atlas en
respectant ces valeurs avant de passer à étape d’évaluation.
Cette segmentation manuelle se base sur la photographie et a été réalisée par un expert
pendant plusieurs semaines.
23
3 Optimisation des paramètres du recalage FFD
3.2 Évaluation quantitative du recalage FFD par
l’indice DICE
Comme déjà abordé (2.7), avant que ce travail soit réalisé, l’évaluation du recalage
FFD est faite de manière qualitative à l’aide d’Anatomist (2.6), méthode qui n’est pas
toujours très fiable. Cet inconvénient a donc nécessité de mettre en œuvre une mesure
permettant d’évaluer quantitativement le recalage. Cette mesure repose sur le critère de
recouvrement Dice (2.5.4).
Le processus d’évaluation est détaillé dans la figure 3.4 et se compose de 3 phases
principales :
Premièrement, le recalage FFD est estimé par l’application d’une suite des commande
Aims sur l’IRM (image de test) et sur la photographie (image de référence) : (i) d’abord,
la transformation rigide 1 est mesurée sur l’IRM pour assurer une bonne initialisation de
celle-ci par rapport à la photographie. (ii) La transformation affine 2 est par la suite calculée
afin d’estimer le recalage global de l’IRM sur la photographie. (iii) Enfin, l’estimation du
recalage FFD 3 est effectuée pour capturer les déformations locales des structure internes
de l’IRM.
Notons que chaque itération utilise le résultat de l’étape précédente dans son calcul
et à chaque étape, on a une augmentation importante du nombre de degrés de liberté
des transformations. De cette manière, la qualité du recalage doit augmenter au fur et à
mesure à chaque estimation.
Il existe déjà un pipeline 4 pour cette phase, donc, on peut le réutiliser pour diminuer
l’effort de développement et éviter la redondance de pipelines.
Deuxièmement, le recalage estimé est appliqué sur chaque structure d’intérêt (3.1.2)
qui est extraite à partir de l’Atlas. Bien qu’il y ait déjà un pipeline capable de réaliser
cette tâche dans BrainVISA, il n’est pas très compatible avec notre objectif. Une version
plus adaptée de celui-ci a été développée (en Python) et utilisée dans ce cas.
Troisièmement, l’indice de recouvrement entre chaque structure recalée et sa correspondante extraite à partir de la segmentation manuelle est calculé afin d’évaluer quantitativement la qualité du recalage. Un nouveau pipeline a été développé pour effectuer
cette phase.
Ce processus sera utilisé comme le processus de base pour toutes les étapes d’optimisation de paramètres décrites dans le reste de ce rapport.
1. Cette estimation utilise l’information mutuelle comme critère de similarité.
2. La transformation affine est estimée en utilisant l’approche de block-matching (2.5.1).
3. Approche pyramidale ou multi-échelle
4. Un “module” de BrainVISA codé en Python permettant d’automatiser l’exécution d’une suite des
commandes Aims dont les paramètres peuvent être customisés.
24
3.2 Évaluation quantitative du recalage FFD par l’indice DICE
25
Figure 3.4 – Trois commandes Aims principales ont été utilisée pour estimer le recalage FFD : AimsMIRegister s’occupe de l’initialisation de positionnement de l’IRM par rapport à la photographie ; AimsBlockMatching donne une estimation sur la déformation
globale du cerveau et AimsFFD permet de capturer la déformation locale des structures. La commande AimsThreshold est utilisée
pour extraire les structures d’intérêt à partir de l’Atlas/la segmentation manuelle. L’application du recalage estimé est effectuée à
l’aide de la commande AimsFFDApply. Quant à l’évaluation, l’AimsROIOverlap permet de mesurer l’indice de recouvrement DICE
entre deux structures.
3 Optimisation des paramètres du recalage FFD
3.3 Optimisation des paramètres
Le reste de mon travail dans ce stage consiste à optimiser l’algorithme de recalage FFD
implémenté à MIRCen en déterminant ses paramètres optimaux. Il existe un grand nombre
de paramètres dans l’algorithme, il est donc difficile à tous examiner, au lieu, on ne se
concentre que sur ceux qu’on juge pertinents et qui peuvent avoir un impact important
sur la qualité du recalage.
3.3.1 Sous-échantillonnage de données
Le premier problème qu’on rencontre lors qu’on travaille avec les données en pleine
résolution est que le processus de l’estimation du recalage FFD est très couteaux en
terme de temps de calcul. Avec les données décrites dans la section 3.1, si l’on lance
ce processus sur une machine de 16 processeurs (de 2.4 GHz chacun) et de 16 Go de
mémoire, le temps nécessaire pour le réaliser peut durer jusqu’à 3,5 jours de calcul. Là,
des questions se posent : Est-il possible de faire l’estimation sur des sous-échantillonnages
de données pour gagner du temps sans perte de qualité du recalage ou avec une perte
acceptable ? Existe-il un bon compromis entre le sous échantillonnage de données et la
qualité du recalage ?
Pour répondre à ces questions, on a développé un (mega-)pipeline qui s’est basé sur le
processus décrit dans la section 3.2 avec la capacité d’estimer le recalage sur différents
sous-échantillonnages des données (IRM et la photographie) et de les évaluer. Notons que
tous les autres paramètres sont fixés à leur valeur par défaut, l’application et l’évaluation
du recalage se font sur les données à haute résolution (Atlas et la segmentation manuelle).
En se basant sur les données à estimer (IRM et la photographie), différentes possibilités
de sous-échantillonnage de ces dernières peuvent être testées pour examiner leur impact
sur la qualité du recalage FFD. Les images de sous-échantillonnage sont construites par
l’application de la méthode “Median Subsampling”. Concrètement, étant donné les facteurs F de sous-échantillonnage d’une image, F = ( f x, f y, f z), on prend un bloc de
f x × f y × f z voxels consécutifs et on choisit la valeur médiane de ces voxels pour un
nouveau voxel. Les facteurs FI RM et F p h ot o sont calculés en respectant les contraintes suivantes : (i) la taille de voxels des deux sous-échantillonnages doivent être proche l’une à
l’autre ; (ii) chaque sous-échantillonnage conserve la proportion des voxels de la résolution
d’origine (relation isotrope).
Comme les sous-échantillonnages sont testés indépendamment l’un avec l’autre. Le
pipeline a été codé pour pouvoir réaliser plusieurs test en même temps à l’aide d’un outil
de parallélisation Soma Workflow 5 . Le résultat de l’expérimentation sera détaillé dans la
section 4.1.1.
5. Développé est intégré dans Brainvisa
26
3.3 Optimisation des paramètres
Figure 3.5 – On calcule d’abord les sous-échantillonnages de l’IRM et de la photographie
qui sont par la suite utilisés pour l’estimation du recalage. L’application et l’évaluation de
celui-ci sont réalisées sur l’Atlas et la segmentation en pleine résolution.
3.3.2 Stratégie optimale du recalage FFD
Comme présenté précédemment, le recalage se compose d’une suite de transformations :
rigide, affine, et élastique FFD. Théoriquement, si ce processus fonctionne correctement, le score DICE après la transformation élastique doit être le plus élevé (par rapport
aux autres transformations). Pour vérifier cet hypothèse, on a développé un pipeline qui
est capable de mesurer l’indice DICE des structures à chaque fois qu’une transformation
est estimée.
D’abord, le score Dice est calculé sur les structures de l’Atlas et leur correspondantes
de la segmentation manuelle (sans aucune transformation appliquée). Cela nous donne
une idée de base sur l’appariement des deux images. Les transformations sont par la suite
estimées l’une après l’autre, à la fin de chaque estimation, la transformation estimée est
appliquée sur chaque structure de l’Atlas pour obtenir une version recalée de celle-ci. Un
score Dice est enfin mesuré sur cette dernier pour suivre la qualité de la transformation.
De cette manière, on peut quantifier l’évolution de la qualité du recalage, si l’algorithme
fonctionne correctement, le score Dice doit augmenter au fur et à mesure à chaque fois
qu’une transformation est appliquée. Le processus est présenté dans la figure 3.6.
3.3.3 Résolution de la grille de points de contrôle
La grille de points de contrôle peut être considérée comme le paramètre le plus important
de l’algorithme car il représente le nombre de degrés de liberté de la transformation. Un
27
3 Optimisation des paramètres du recalage FFD
Figure 3.6 – L’indice DICE est mesuré à chaque fois qu’une transformation est estimée.
grand espacement entre les points de contrôle permet la modélisation des déformations
non rigides globales, tandis qu’un petit espacement des points de contrôle permet de
mieux capturer les déformations locales. En même temps, la résolution de la grille de
points de contrôle définit le nombre de degrés de liberté et, par conséquent, la complexité
de calcul. Le compromis entre la flexibilité du recalage et de la complexité de calcul est
principalement un choix empirique qui est déterminée en fonction des données utilisées.
Par défaut, le recalage FFD utilise une grille de points de contrôle G = (10, 10, 10),
on a ainsi 3000 degrés de liberté pour contrôler les déformations. Une question se pose :
Est-t-elle optimale ? Il est évident que plus grande est la grille de points de contrôle, plus
coûteuse est la complexité du calcul. Cette expérimentation examine différentes grilles
de points de contrôle qui sont calculées en respectant les contraintes suivantes : (i) le
nombre de points minimum sur chaque axe (direction) est 4 points ; (ii) le nombre total de
points de contrôle ne doit pas dépasser 1000 points ; (iii) la distance entre les deux points
consécutifs quelconques dans la grille est identique. Ainsi, le nombre de points sur chaque
axe dépend également de la dimension de l’image. Concrètement, soit ni t = [4..10],
d
d mi n = mi n(d x, d y, d z) et δ = nmi n avec d x, d y, d z sont les dimensions en x,y et z de
it
l’image. On cherche une grille G telle que :
G = (n x , ny , n z ) = {(
dx dy dz dx dy dz
, ,
)|
×
×
≤ 1000}
δ δ δ
δ
δ
δ
(3.1)
Ce processus se repose sur celui décrit dans la section 3.2. Comme l’évaluation du
recalage sur chaque grille est réalisée indépendamment, il est nécessaire de paralléliser le
28
3.3 Optimisation des paramètres
processus pour gagner du temps et profiter de la ressource matérielle disponible.
3.3.4 Les combinaisons de composants de couleurs (R,V,B)
Le FFD prend l’IRM (en niveau de gris) comme image de test et la photographie
comme image de référence (RVB). Normalement, le FFD est configuré pour travailler
avec la composante verte (V) de la photographie car on pense que cette dernière donne le
meilleur contraste des structures internes. Il est cependant probable que l’utilisation d’une
image construite par une combinaison de composantes de couleur comme l’image de
référence aie une influence directe sur la qualité du recalage FFD. Cette expérimentation
a pour but de tester cette hypothèse. Notons que, dans ce cas, on réutilise les paramètres
optimaux qu’on a trouvé dans les expérimentations précédentes. La nouvelle image de
référence Ic est construite par une combinaison de :
Ic = IR × ρ r + IV × ρv + IB × ρ b | ρ r + ρv + ρ b = 100%
(3.2)
avec IR , IV , IB sont les composants R,V,B de la photographie, et ρ x , ρy , ρ z sont les pourcentages de R,V,B dans la combinaison. Il nous faut ainsi développer un nouveau pipeline
qui prend I p h ot o , ρ x , ρy , ρ z comme paramètres pour la construction de Ic . L’évaluation est
basée sur le processus décrit dans la section 3.2.
3.3.5 Les positions de la grille de points de contrôle
Normalement, la grille de points de contrôle se positionne sur l’origine (0,0,0) du référentiel de l’image IRM et se cale sur les bords de l’image 3D. Il est possible que le
déplacement de cette grille ait une influence sur la qualité du recalage. Dans cette expérimentation, on essaye d’examiner le recalage FFD sur différentes positions de la grille de
points de contrôle dont les facteurs de déplacements ∆ = (∆ x , ∆y , ∆ z ) sont calculés de
manière suivante : le facteur de déplacement sur un tel axe (direction) est mesuré par la
moitié de la distance entre deux points de contrôle consécutif sur cet axe. Concrètement,
soit D = (d x, d y, d z) et S = (s x, s y, s z) la dimension et la taille de voxel de l’image IRM ;
G = (n x , ny , n z ) est la dimension optimale de la grille (obtenue à partir l’expérimentation
décrit dans la section 3.3.3), on a :
∆=(
dx × sx
,
dy × sy
,
dz × sz
2 × (n x − 1) 2 × (ny − 1) 2 × (n z − 1)
)
(3.3)
Comme on a 3 directions (x,y,z) pour déplacer la grille, on a donc au total 8 possibilités
pour la positionner. Ces dernières sont présentées par un vecteur de translation T =
(T x , Ty , T z ) :
(T x , Ty , T z )
(0,0,0)
(∆ x ,0,0)
(0,∆y ,0)
(0,0,∆ z )
(∆ x ,∆y ,0)
(∆ x ,0,∆ z )
(0,∆y ,∆ z )
(∆ x ,∆y ,∆ z )
29
3 Optimisation des paramètres du recalage FFD
Théoriquement, le déplacement de la grille peut être effectué en appliquant la matrice
de translation suivant (notons que la grille est dans le même référentiel qu’avec l’image
IRM) :


1 0 0 Tx
 0 1 0 T 

y 
M =

 0 0 1 Tz 
0 0 0 1
Cependant, à cause de problèmes techniques, l’implémentation du recalage FFD à MIRCen ne permet pas de déplacer la grille. Pour contourner ce problème, au lieu de repositionner la grille, on peut déplacer l’image IRM (et également l’Atlas pour la phase d’évaluation)
dans la direction opposée avec T 0 = −T . Cela peut être modélisé en rééchantillonnant
l’IRM avec le déplacement :


1 0 0 −T x
 0 1 0 −T 

0
y 
M =

0
0
1
−T

z 
0 0 0 1
À noter que M 0 est appliquée dans le référentiel de l’image IRM. Dans l’étape de
l’estimation du recalage FFD, l’initialisation (transformation rigide et affine) produit une
autre matrice de transformation MB M . Il nous faut donc la composer avec M 0 pour avoir
une bonne initialisation M c = MB M ⊗ M 0 .
3.4 Valeur optimale d’un paramètre
En général, chaque expérimentation décrite ci-dessus examine différentes valeurs d’un
paramètre, le processus d’évaluation résulte ainsi un score DICE pour chacune de ces
valeurs. Il nous faut en fait un critère global pour pouvoir déterminer la valeur optimale
parmi ces dernières en fonction de leur score DICE. Le principe se base sur la variation
du score DICE produit par chaque valeur du paramètre (sur une structure) par rapport le
score DICE maximal trouvé (sur la même structure). Concrètement :
Soit " = {"1 , .., "n |n > 0} le paramètre examiné (donc "i est une valeur du paramètre) ;
j
D I j = {D I1 , ..., D Inj |n > 0} est l’ensemble de scores DICE obtenu sur la structure j ,
j
j=1..m, m>0 (donc D Ii est le score DICE correspondant à la valeur "i de " sur la
structure j ). On définit ainsi un vecteur de variations ς j du score DICE sur la structure
j comme suit :
j
ς j = {| D Ii − max(D I j ) |, i = 1..n, n > 0}
(3.4)
Pour chaque valeur du ", on peut donc calculer la variation moyenne ς i du score DICE
sur toutes les structures :
30
3.4 Valeur optimale d’un paramètre
Pm
ς ={
j
j
ςi
k ςi k
|i = 1..n; n, m > 0}
(3.5)
Comme le FFD vise principalement à contrôler les déformations locales, il est évident
que ce dernier est plus sensible aux petites et moyennes structures car la variation du score
DICE y est plus important que sur les grandes structures. Le ς calculé par la formule 3.5
nous permet d’une part de mettre plus l’accent sur les structures de petites et moyennes
tailles et d’autre part de pénaliser l’impact global des grandes structures.
Pour calculer la valeur optimale du paramètre, il suffit de prendre la valeur "o p t dont la
variation ς o p t est la plus faible ce qui signifie une amélioration la plus stable de la qualité
du recalage sur toute les structures examinées :
"o p t = a r g mi n ς
"i ∈"
(3.6)
Ce critère sera utilisé comme critère d’évaluation pour toutes les expérimentations
réalisées ci après.
31
3 Optimisation des paramètres du recalage FFD
32
4 Résultat & Discussion
“If you’re not part of the solution, you’re part of the precipitate...”
–Henry J. Tillman.
4.1 Résultat des expérimentations sur le recalage FFD
Cette section se concentrera sur l’analyse des résultats des expérimentations décrites
précédemment. Notons que pour chaque expérimentation, les étapes indépendantes sont
calculées en parallèle à l’aide une grille de calcul (baptisée Titan) qui se compose de 128
unités de calcul (processeurs de 3.06 GHz chacun) et de 251.6 Gb de mémoire.
4.1.1 Impact du sous-échantillonnage des données
Dans cette expérimentation, en se basant sur l’IRM et la photographie (3.1), différentes
combinaisons de sous-échantillonnages ont été calculées et testées, comme décrit dans le
tableau ci-dessous :
FI RM
(1,1,1)
(1,1,1)
(2,2,1)
(2,2,2)
(2,2,2)
(2,2,3)
(3,3,3)
(3,3,3)
(3,3,3)
F p h ot o
(2,2,1)
(2,2,2)
(3,3,2)
(3,3,3)
(4,4,3)
(4,4,4)
(5,5,4)
(5,5,5)
(6,6,5)
Table 4.1 – Les facteurs expérimentés F = (FI RM ; F p h ot o ). 9 combinaisons de souséchantillonnages ont été calculées en respectant les contraintes décrites dans la section
3.3.1.
Après 72 heures de calcul sur Titan, on obtient le résultat comme montré dans la
figure 4.1. En général, on voit bien qu’en terme de qualité du recalage, il n’y a pas de
changements importants du score DICE en fonction de différents sous-échantillonnages.
Sur les petites structures, telles que le corps calleux, le score DICE est plus variable que
celui des grandes structures.
En revanche, si l’on regarde sur le temps de l’estimation, on trouve une baisse très
importante en fonction de la diminution de la résolution des images (de 42 heures à
quelques heures). Idéalement, en analysant les deux graphes, on arrive à conclure que F =
(FI RM , F p h ot o ) = (2, 2, 2; 4, 4, 3) donne un bonne compromis entre la qualité de l’estimation
et le temps de calcul (environ 4 heures - on obtient ainsi un gain de 90% en terme de
temps de calcul sans perte de qualité du DICE).
33
4 Résultat & Discussion
3 Striatum R
4 Hippocampe L
1.00
0.95
0.90
Dice score
0.85
0.80
0.75
0.70
0.65
0.60
0.55
-1
-2
-2
-3
-3
-4
-4
-5
-5
2-2 1-2-2 1-3-3 2-3-3 2-4-4 3-4-4 3-5-5 3-5-5 3-6-6
1
1
1
2
2
2
2
3
3
3
1
1
2
2
2
2
3
3
3
Subsampling of two volumes F = (FIRM ; Fphoto )
5 Hippocampe R
6 Corps calleux L
ς - Average of Dice score variation for all structures
1 Cerveau entier
2 Striatum L
1
7 Corps calleux R
0.030
0.025
0.020
0.015
0.010
ς opt
0.005
0.000
1
-2-
1-2
-1-
1-2
1-1
2
-2
-3
-3
-4
-4
-5
-5
-23-3 2-3-3 2-4-4 3-4-4 3-5-5 3-5-5 3-6-6
-12
2
2
2
3
3
3
2
2
2
2
3
3
3
Subsampling of two volumes F = (FIRM ; Fphoto )
(a) La courbe à gauche représente la variation du score DICE de chaque structure en fonction de
différents sous-échantillonnages de l’IRM et de la photographie. La variabilité est plus importante sur
les moyennes et petites structures, mais en général, le score DICE reste quasiment stable entre les
différents sous-échantillonnages. La courbe à droite montre la variation moyenne ς du score DICE
(calculé par la formule 3.5) sur toutes les structures en fonction de F .
45
40
35
Time (hours)
30
25
20
15
10
5
0 1-1-1-2-2-1 1-1-1-2-2-2 2-2-1-3-3-2 2-2-2-3-3-3 2-2-2-4-4-3 2-2-3-4-4-4 3-3-3-5-5-4 3-3-3-5-5-5 3-3-3-6-6-5
IRM-x(mm)
IRM-y(mm)
IRM-z(mm)
IRM-size(Mb)
Photo-x(mm)
Photo-y(mm)
Photo-z(mm)
Photo-size(MB)
0.03
0.03
0.03
101.6
0.03462
0.03462
0.02
187.2
0.03
0.03
0.03
101.6
0.03462
0.03462
0.04
93.6
0.06
0.06
0.06
25.4
0.05193
0.05193
0.04
41.6
0.06
0.06
0.06
12.7
0.05193
0.05193
0.06
27.7
0.06
0.06
0.06
12.7
0.06924
0.06924
0.06
15.6
0.06
0.06
0.06
8.5
0.06924
0.06924
0.08
11.7
0.09
0.09
0.09
3.7
0.08655
0.08655
0.08
7.4
Median Subsamples of two volumes (table: voxels size)
0.09
0.09
0.09
0.09
0.09
0.09
3.7
3.7
0.08655 0.103859
0.08655 0.103859
0.1
0.1
5.9
4.2
(b) Gain en terme de temps de calcul : une baisse très importante du temps de calcul. À partir de
F = (2, 2, 2; 4, 4, 3), le temps nécessaire pour estimer le recalage reste stable à quelque heures. Le
tableau au dessous représente la taille de voxel des données correspondant à chaque combinaison
de sous-échantillonnage.
Figure 4.1 – Résultat de l’expérimentation : F = (2, 2, 2; 4, 4, 3) donne une solution
optimale dans ce cas (ς o p t ≈ 0.003) avec environ 4 heures de calcul et le DICE en
moyenne le plus élevé.
34
4.1 Résultat des expérimentations sur le recalage FFD
À partir de ce résultat, pour les prochaines expérimentations, il n’est pas nécessaire de
continuer à utiliser les données à haute résolution, au lieu, on travaille directement avec
le sous-jeu de données optimal pour gagner du temps.
4.1.2 Stratégie optimale de recalage FFD
Cette expérimentation a pour but de vérifier le bon fonctionnement de l’algorithme de
recalage FFD. Le résultat obtenu montre que le score DICE augmente au fur et à mesure
à chaque fois qu’une nouvelle transformation est effectuée avec l’augmentation des degrés
de liberté, ce qui finalement confirme l’hypothèse de départ.
1 Cerveau entier
2 Striatum L
3 Striatum R
4 Hippocampe L
ς - Average of Dice score variation for all structures
1.0
0.9
0.8
Dice score
0.7
0.6
0.5
0.4
0.3
0.2
0.1
lt
u
efa
-D
01
5 Hippocampe R
6 Corps calleux L
igid
2-R
MI
0
M
e-B
fin
f
3-A
0
Transformations used
0
0.40
0.35
0.30
0.25
0.20
0.15
0.10
-
01
ς opt
0.05
0.00
lt
fau
De
D
F
4-F
7 Corps calleux R
igid
-R
02
I
-M
M
e-B
ffin
A
03
Transformations used
FD
-F
04
Figure 4.2 – Le DICE augmente proportionnellement avec l’augmentation des degrés
de liberté des transformations. On voit bien que le FFD a moins d’impact sur le volume
global (cerveau entier) ou sur les grandes structures (striatum, hippocampe) qui sont bien
recalées par la transformation affine. Par contre, il améliore bien les déformations locales,
surtout sur les petites structures telles que le corps calleux qui présente un gain de 20%
entre le FFD et la déformation affine.
4.1.3 Impact de la dimension de la grille de points de contrôle
Avec le sous-échantillonnage de l’IRM obtenu dans la première expérimentation, on
obtient un ensemble de grilles à tester comme suit :
G = (n x , ny , n z )
(4,4,4)
(5,4,6)
(6,5,7)
(8,6,9)
(9,7,11)
(10,8,12)
(10,10,10)
Table 4.2 – Les différentes grilles examinées. Notons que les grilles (4,4,4) - valeurs
minimales - et (10,10,10) - valeur par défaut - ne sont pas calculées par la formule 3.1
mais considérées comme les réglages extrêmes.
35
4 Résultat & Discussion
Théoriquement, on pense que plus grande est la résolution de la grille de points de
contrôle, plus précise est le recalage. Mais l’expérimentation montre que le recalage donne
le résultat le plus optimal avec la grille G = (5, 4, 6) dont la dimension est 8 fois plus petites
par rapport à celle par défaut G = (10, 10, 10). Avec cette grille, toutes les structures
étudiées sont bien recalées (le score DICE dépasse le seuil optimal κ ≥ 0.7 ).
1 Cerveau entier
2 Striatum L
3 Striatum R
4 Hippocampe L
ς - Average of Dice score variation for all structures
1.0
0.9
Dice score
0.8
0.7
0.6
0.5
4
4-0
-0
04
5 Hippocampe R
6 Corps calleux L
6
4-0
-0
05
5-0
-0
06
7
-0
08
6-0
9
1
7-1
-0
09
Knot grids G = (nx , ny , nz )
2
8-1
-0
10
0
0-1
-1
10
7 Corps calleux R
0.07
0.06
0.05
0.04
0.03
0.02
ς opt
0.01
4
4-0
-0
04
-06
-04
05
-07
-05
06
-09
-11
-12
-06
-07
-08
08
09
10
Knot grids G = (nx , ny , nz )
0
0-1
-1
10
Figure 4.3 – La grille par défaut G = (10, 10, 10) n’est pas optimale, ce qui semble
surprenant théoriquement, la solution optimale dans ce cas est la grille G = (5, 4, 6).
Un autre point que l’on doit souligner est que le changement de la dimension de la grille
de points de contrôle a un impact plus important sur les petits structures que sur les
grandes structures.
Le problème ici est que la grille G = (10, 10, 10) peut être optimale avec l’IRM (et la
photographie) en pleine résolution, tandis que dans cette expérimentation, on utilise les
données de sous-échantillonnage dont l’IRM est 8 fois plus petit et la photographie est
dégradée de 48 fois. La grille G = (10, 10, 10) devient trop dense dans ce cas qui cause
un “surcharge” des degrés de liberté, c.à.d, on est dans la situation de sur-estimation des
déformations locales, surtout sur les petites structures. De ce fait, le recalage a trop de
liberté pour modifier les structures , cela risque de baisser la qualité d’appariement. La
résolution optimale de la grille de points de contrôle dépend ainsi de la dimension des
données - on le discutera en détail dans la partie de discussion (4.2).
4.1.4 Impact des différentes combinaisons de composants de
couleurs
Cette expérimentation a pour l’objectif de tester la sensibilité de l’algorithme de recalage
par rapport au contraste de la photographie (la référence). Différentes combinaisons de
composantes couleurs ont étés testées, les figures 4.4 et 4.5 représentent le résultat obtenu.
36
4.1 Résultat des expérimentations sur le recalage FFD
0.972
100
0
90
0.971
10
80
0.876
100
20
70
90
60
50
50
40
30
80
10
50
80
70
60
50
40
30
20
10
0.852
60
30
0.966
0.846
70
80
10
100
100 90
50
20
90
0
0.858
40
40
0.967
70
20
0.864
30
60
0.968
60
20
70
0.969
40
0.870
10
80
0.970
30
0
0
0.965
0.840
90
0
100
100 90
0.964
80
1 Cerveau entier - DICE score
70
60
50
40
30
20
10
0
0.828
2 Striatum L - DICE score
0.856
100
0.848
0
90
100
0.848
10
80
20
70
60
40
40
80
90
0
100
70
60
50
40
30
20
0.824
50
40
0.816
80
80
40
10
0
0.808
0.816
60
30
10
100 90
0.832
30
60
70
20
20
50
0.824
60
30
0.840
10
70
0.832
50
0
90
0.840
30
50
70
20
0.808
80
10
90
0
100
100 90
0.800
3 Striatum R - DICE score
80
70
60
50
40
30
20
10
0
0
90
0.792
0.74
100
0.856
10
80
20
70
90
50
50
40
30
80
10
80
70
60
50
40
30
20
10
50
0.70
60
30
0.69
70
20
0.816
80
10
100
100 90
0.71
40
50
90
0
0.72
30
40
0.824
70
20
20
60
0.832
60
0.73
10
70
0.840
40
0
80
0.848
30
60
0
0.808
0.68
90
0
100
100 90
0.800
5 Hippocampe R - DICE score
80
70
60
50
40
30
20
10
0
0
90
20
70
60
50
40
60
20
80
10
70
60
50
40
30
20
7 Corps calleux R - DICE score
10
0
40
0.040
50
40
0.032
60
30
70
20
0.52
0.48
0.44
0.024
80
10
100
80
0.048
30
60
90
0
20
50
0.56
70
0.056
10
70
0.60
30
100 90
90
0.64
40
0
80
0.68
30
50
0.66
0.064
100
0.72
10
80
0.67
6 Corps calleux L - DICE score
0.76
100
0.800
4 Hippocampe L - DICE score
0.864
100
0.834
90
0
100
100 90
80
70
60
50
40
30
20
10
0
0.016
0.008
ς - Average of Dice score variation for all structures
Figure 4.4 – Les 7 premiers graphes non-normalisés montrent le score DICE sur chaque
structure en fonction des combinaisons RVB. Le dernier représente la variation moyenne
37
ς
4 Résultat & Discussion
0.972
100
0
90
0.971
10
80
0.876
100
20
70
90
60
50
50
40
30
80
10
50
80
70
60
50
40
30
20
10
0.852
60
30
0.966
0.846
70
80
10
100
100 90
50
20
90
0
0.858
40
40
0.967
70
20
0.864
30
60
0.968
60
20
70
0.969
40
0.870
10
80
0.970
30
0
0
0.965
0.840
90
0
100
100 90
0.964
80
1 Cerveau entier - DICE score
70
60
50
40
30
20
10
0
0.828
2 Striatum L - DICE score
0.856
100
0.848
0
90
100
0.848
10
80
20
70
60
40
40
80
90
0
100
70
60
50
40
30
20
0.824
50
40
0.816
80
80
40
10
0
0.808
0.816
60
30
10
100 90
0.832
30
60
70
20
20
50
0.824
60
30
0.840
10
70
0.832
50
0
90
0.840
30
50
70
20
0.808
80
10
90
0
100
100 90
0.800
3 Striatum R - DICE score
80
70
60
50
40
30
20
10
0
0
90
0.792
0.74
100
0.856
10
80
20
70
90
50
50
40
30
80
10
80
70
60
50
40
30
20
10
50
0.70
60
30
0.69
70
20
0.816
80
10
100
100 90
0.71
40
50
90
0
0.72
30
40
0.824
70
20
20
60
0.832
60
0.73
10
70
0.840
40
0
80
0.848
30
60
0
0.808
0.68
90
0
100
100 90
0.800
5 Hippocampe R - DICE score
80
70
60
50
40
30
20
10
0
0
90
20
70
60
50
40
60
20
80
10
70
60
50
40
30
20
7 Corps calleux R - DICE score
10
0
40
0.040
50
40
0.032
60
30
70
20
0.52
0.48
0.44
0.024
80
10
100
80
0.048
30
60
90
0
20
50
0.56
70
0.056
10
70
0.60
30
100 90
90
0.64
40
0
80
0.68
30
50
0.66
0.064
100
0.72
10
80
0.67
6 Corps calleux L - DICE score
0.76
100
0.800
4 Hippocampe L - DICE score
0.864
100
0.834
90
0
100
100 90
80
70
60
50
40
30
20
10
0
0.016
0.008
ς - Average of Dice score variation for all structures
Figure 4.5 – Les 7 graphes après avoir été normalisés (sauf le dernier qui n’est pas à la
même échelle).
38
4.1 Résultat des expérimentations sur le recalage FFD
Notons que, dans ce cas, on réutilise les paramètres optimaux qu’on a trouvé dans les
expérimentations précédentes F = (2, 2, 2; 4, 4, 3) et G = (5, 4, 6).
Les ternary-plots sans normalisation permettant de capturer mieux l’impact local des
combinaisons de composantes de couleur, on voit bien que, en moyenne, la composante
bleue (B) est le meilleur choix pour améliorer la qualité du recalage avec ς B ≈ 0.008 (au
lieu du vert (V) comme prévue). Cependant, regardons maintenant sur les ternary-plots
normalisés (page suivante) pour avoir une vue globale : la contraste des graphes n’est pas
très nette (sauf celle sur le corps calleux droit) ce qui signifie un changement très léger
du score DICE, on peut donc conclure que les combinaisons de composants couleurs n’a
un impact important sur la qualité du recalage sur les grandes et moyennes structures.
Par contre, sur celles de petite taille, le choix d’une bonne combinaison nous permet
d’améliorer le recalage (il y a un fort changement de contraste dans le corps calleux
droit), par exemple sur le corps calleux, on note qu’il y a une variation importante du
score DICE entre les deux côtés : 10% sur le gauche et 30% sur le droit, cela signifie que
le recalage sur les petites structures est un peu sensible au changement de la contraste
de l’image de référence.
4.1.5 Impact des différentes positions de la grille de points de
contrôles
En prenant sur la grille optimale trouvée précédemment, dans cette expérimentation,
on essaye de déplacer celle-ci sur différentes positions afin de vérifier s’il y a une dépendance entre le recalage FFD et l’emplacement des points de contrôle. Les facteurs de
déplacements dans ce test sont ∆ = (1.68, 1.77, 1.54). La figure 4.6 représente le résultat
obtenu.
1 Cerveau entier
2 Striatum L
3 Striatum R
4 Hippocampe L
ς - Average of Dice score variation for all structures
1.0
0.9
Dice score
0.8
0.7
0.6
0.5
0.4
-0
0-0
5 Hippocampe R
6 Corps calleux L
-1
0-0
.54
7-0
.7
0-1
.54
0-1
-1
.77
8
1.6
-0-
0
1.6
.54
-1
8-0
T = (Tx , Ty , Tz )
7-0
1.6
.7
8-1
1
.68
.54
-1
77
-1.
7 Corps calleux R
0.040
0.035
0.030
0.025
0.020
0.015
0.010
0.005
-0
0-0
ς opt
54
-1.
0-0
-0
.77
0-1
.54
7-1
.7
0-1
1.6
-0
8-0
-0
54
54
-1.
.77
-1.
77
8-1
-1.
1.6
8
1.6
8-0
1.6
T = (Tx , Ty , Tz )
Figure 4.6 – Impact de la position de la grille des points de contrôle : Bien que le
résultat ne présente aucun gain sur le cerveau entier (structure globale), sur les moyennes
et petites structures, il montre une variabilité importante du score DICE.
39
4 Résultat & Discussion
Le résultat montre que l’emplacement de la grille de points de contrôle influence directement la qualité des déformations locales des structures, c’est compréhensible car comme
abordé dans la partie théorique (2.5), les B-splines permettent de contrôler le recalage
sur les structures locales, plus il y a de points de contrôle autours d’une telle structure,
plus précises seront les déformations appliquées sur celle-ci. À noter que notre grille est
uniforme, le déplacement y est simplement la translation qui peut produire un changement
de la distribution des points de contrôles dans les différentes structures. Par exemple, bien
que la T = (1.68, 0, 0) nous permet, d’une part, d’améliorer la qualité du recalage sur le
corps calleux droit, elle produit d’autre part une baisse significative du score DICE sur le
corps calleux gauche.
La position par défaut, dans ce cas, n’est pas optimale (T = (0, 1.77, 0) est optimal
dans ce test).
4.2 Discussion
Normalement, avant d’optimiser une telle implémentation d’un algorithme, il est primordial d’assurer que son fonctionnement est correct. Une vérification d’exactitude et
d’efficacité de l’implémentation est nécessaire. La première question qui se posait lors de
l’analyse du sujet était : “L’implémentation du recalage élastique FFD à MIRCen montret-elle un bon fonctionnement ?”. La réponse est très intuitive, cette version de FFD a
été développée et testé pendant 10 ans, il y avait un certain nombre d’améliorations et
d’optimisations qui ont été réalisées pendant cette période. La publication de plusieurs
thèses et articles qui reposent sur cette implémentation a confirmé son bon fonctionnement ainsi que son efficacité. Pour être entièrement convaincu, l’expérimentation montrée
dans la section 4.1.2 peut être considérée comme une confirmation quantitative de ces
conclusions.
La première optimisation consiste à diminuer le temps d’estimation du recalage FFD
en utilisant un sous-jeu de données. Un bon sous-échantillonnage des données peut nous
permettre de gagner un gain important (90%) en terme de temps d’estimation sans perte
de qualité du recalage. Comme le compromis optimal (entre le sous-jeu de données et
la qualité du DICE) dépend principalement des données utilisées (IRM, photographie), il
n’existe pas une valeur théorique de Fo p t = (FI RM ; F p h ot o ) pour tous les données, mais cette
dernière varie en fonction de la dimension et de la taille des voxels des données utilisées.
Il est ainsi difficile de mettre en œuvre une stratégie pour automatiser la détection de la
valeur optimale de F . Une solution possible est de contraindre toutes les données à une
dimension et à une taille de voxels fixée, les facteurs optimaux Fo p t sont calculés une seule
fois et sont réutilisés pour toutes ces données. Bien que cela puisse nous aider à améliorer
le processus de recalage, il n’est pas très flexible dans l’exploitation des données dont la
résolution change en fonction de l’objectif de leur utilisation.
L’expérimentation montre que le changement de contraste de l’image de référence (les
combinaisons de composantes de couleurs RVB) a peu d’impact sur le recalage FFD.
Il n’existe pas une combinaison prioritaire qui permet d’améliorer la qualité du recalage
40
4.2 Discussion
sur toutes les structures. Cependant, il est préférable de travailler avec la composante
bleue car cette dernière montre une qualité de recalage la plus stable sur les structures
examinées et elle permet d’avoir un gain significatif sur les petites organes.
La grille de points de contrôles est le paramètre le plus important de l’algorithme
de recalage FFD parce qu’elle représente à la fois le nombre de degrés de liberté de la
transformation et la complexité de calcul. Pour l’optimiser, il y a deux aspects que l’on
doit prendre en compte :
(i) La résolution de la grille de points de contrôle définit le nombre de degrés de liberté de
la transformation. Plus dense est la grille, plus on a de possibilité de contrôler localement
les déformations des structures internes. Comme les coefficients de transformation sont
calculés et optimisés point-à-point, une grande grille de points de contrôle introduit ainsi
une augmentation de la complexité de calcul. De plus, une grille de points de contrôle trop
dense par rapport à la dimension de l’image propose également un risque de sur-estimer des
déformations qui peuvent diminuer la qualité de recalage. Dans notre expérimentation,
on voit bien que la grille maximale (G = (n x , ny , n z ) = (10, 10, 10)) n’est pas toujours
optimale, en fonction de la dimension de l’image de test, une répartition raisonnable
des points de contrôle (G = (5, 4, 6)) peut nous permettre d’éviter le problème de surestimation d’une part, à augmenter la qualité du recalage et en même temps à diminuer
la complexité de calcul d’autre part.
(ii) L’emplacement des points de contrôles définit la distribution des points dans l’image
de test. On sais que plus de points de contrôle autour une structure nous permet de
mieux maîtriser les déformations locales. Ainsi, une distribution qui donne une proportion
importante de points sur les structures locales peut nous aider à améliorer la qualité
du recalage. Dans l’expérimentation 4.1.5, le paramètre optimal To p t = (T x , Ty , T z ) =
(0, 1.77, 0) est choisie en utilisant le critère décrit dans la section 3.4 (ς o p t ≈ 0.086) qui
représente une variation du score DICE la plus stable sur toutes les structures examinées,
la distribution des points de contrôle dans ce cas est optimale.
To p t nous permet d’optimiser globalement le recalage FFD, mais si l’on regarde localement sur chaque structure, on peut constater que même si le To p t favorise le recalage sur
la plupart des structures, il diminue quand même la qualité d’appariement sur le corps calleux droit. Comme notre implémentation de l’algorithme travaille avec une grille uniforme,
il est donc difficile à trouver une bonne distribution des points pour toutes les structures.
Bien que la grille uniforme facilite le calcul des fonctions B-Splines, elle représente quelques
inconvénients : la distribution uniforme des points de contrôles sur l’image de test peut
produire une proportion des points inutiles qui sont localisés dans les zones homogènes (le
fond par exemple). Ces derniers ne montre pas d’intérêt dans l’amélioration du recalage,
mais on doit tout de même les traiter. De plus, l’emplacement de la grille uniforme peut à
la fois donner une distribution plus importante des points sur une structure et causer un
manque des points sur une autre structure. Cela peut provoquer un recalage instable sur
l’ensemble des structures. Existe-t-il une stratégie pour pallier ces problèmes ? La question reste ouverte. À l’heure actuelle, il existe des travaux qui se focalisent sur ce thème,
par exemple le travail mené par Jacobson and Murphy (2011) propose une approche de
41
4 Résultat & Discussion
recherche de la grille optimale en utilisant des NURBS (Nonuniform Rational B-Splines).
NURBS utilisent une grille non-unifome avec des coefficients de pondération sur chaque
point. En conséquence, elles sont plus flexibles que les B-Splines uniformes. Les auteurs
ont développés une approche qui permet aux points de contrôle de migrer vers les zones
dans lesquelles un appariement précédent, calculé avec une grille uniforme, produit les plus
grandes erreurs. De cette manière, après l’optimisation, les points de contrôle peuvent être
distribués automatiquement dans les zones d’intérêt. Cette méthode reste à discuter car la
mise en œuvre de ce processus d’optimisation rajoute une complexité suplémentaire dans
l’algorithme. Il faut examiner si le gain obtenu par ce processus justifie une augmentation
de la complexité de calcul.
Le travail mené par ce stage a pour l’objectif principal d’étudier quantitativement l’impact des différents paramètres sur la qualité du recalage pour pouvoir envisager une
stratégie d’optimisation raisonnable dans l’avenir. Bien que les valeurs optimales des paramètres qu’on a trouvé ci-dessus ne sont valables que sur les données expérimentées, les
processus d’évaluation que j’ai développés peuvent être réutilisés pour évaluer le recalage
sur n’importe quel jeu de données et sur différentes modalités d’imagerie (l’histologie par
exemple).
42
5 Conclusion
“La conclusion résulte souvent de ce moment précis où vous en avez eu marre...”
–Anonyme.
Nous avons développé à l’occasion de ce stage une suite de pipelines Brainvisa qui
sont capable d’évaluer quantitativement le recalage FFD et d’examiner ses différents paramètres. À l’aide de ces outils, on peut, la première fois, quantifier la qualité du recalage
FFD en fonction de ses paramètres (sous-jeu de données, composantes de couleurs, grille
de points de contrôles, etc.) afin de mieux comprendre leur impact. Ces pipelines nous
permettent également de déterminer la valeur optimale des paramètres pour le recalage
FFD sur un jeu de données particulier.
L’algorithme FFD contient lui-même certains calculs qui sont indépendants l’un à
l’autre. Cela nous donne une idée d’optimisation en parallélisant ces calculs pour gagner
du temps. Les dispositifs matériaux disponible à MIRCen (les machines multi-processeurs,
la grille de calcul, etc.) sont idéals pour la parallélisation de l’algorithme. Du côté logiciel,
cette dernière peut être réalisé en reconstruisant l’implémentation actuelle de l’algorithme
à l’aide du protocole MPI qui nous permet de calculer séparément et en même temps les
calculs indépendants ; on peut penser à réutiliser la librairie OpenMPI, une implémentation opensource du protocole MPI. Grâce à la parallélisation, le gain qu’on obtient lors de
l’estimation du recalage sera important en terme de temps de calcul.
Comme abordé dans la partie de discussion, une autre stratégie d’optimisation possible
est qu’on étudie la possibilité de mettre en œuvre un processus de calculer la grille de points
de contrôles optimale afin d’obtenir une distribution raisonnable des points en fonction
des structures internes des données. Cette stratégie reste à vérifier car l’implémentation
du processus rajoutera certainement une complexité complémentaire dans l’algorithme.
43
5 Conclusion
44
Bibliographie
Dauguet, J. : 2005, ‘L’imagerie post mortem tridimensionnelle cérébrale : constitution et
apport pour l’analyse conjointe de donnees histologiques anatomo-fonctionnelles et la
mise en correspondance avec l’imagerie in vivo.’. Ph.D. thesis, École centrale des arts
et manufactures «ecole centrale paris ».
Dice, R. : 1945, ‘Measures of the Amount of Ecologic Association Between Species’.
26(3), 297–302.
Dorr, a. E., J. P. Lerch, S. Spring, N. Kabani, and R. M. Henkelman : 2008, ‘High
resolution three-dimensional brain atlas using an average magnetic resonance image of
40 adult C57Bl/6J mice.’. NeuroImage 42(1), 60–9.
Dubois, A. : 2008, ‘Exploitation conjointe d’informations anatomiques et fonctionnelles
tridimensionnelles pour l’imagerie cérébrale post mortem chez le rongeur’. Ph.D. thesis,
Université Paris Sud 11.
Duda, R. O., P. E. Hart, and D. G. Stork : 2012, ‘Parzen Windows’.
Jacobson, T. J. and M. J. Murphy : 2011, ‘Optimized knot placement for B-splines in
deformable image registration’. Medical Physics 38(8), 4579.
Lebenberg, J. : 2010, ‘Automatisation et optimisation de l’analyse d’images anatomofonctionnelles de cerveaux de souris par Atlas numérique 3D’. Ph.D. thesis, École
Doctorale " Sciences et Technologies de l ’ Information des Télécommunications et des
Systèmes ".
Lee, S., G. Wolberg, and S. Shin : 1997, ‘Scattered data interpolation with multilevel
B-splines’. IEEE Transactions on Visualization and Computer Graphics 3(3), 228–244.
Maintz, J. B. A. and M. A. Viergever : 1998, ‘A survey of medical image registration
METHODS’. 2(1), 1–36.
Malandain, G., E. Bardinet, K. Nelissen, and W. Vanduffel : 2004, ‘Fusion of autoradiographs with an MR volume using 2-D and 3-D linear transformations.’. NeuroImage
23(1), 111–27.
Mattes, D., D. R. Haynor, H. Vesselle, T. K. Lewellen, and W. Eubank : 2003, ‘PET-CT
image registration in the chest using free-form deformations.’. IEEE transactions on
medical imaging 22(1), 120–8.
45
Bibliographie
Pass, G. and R. Zabih : 1997, ‘Comparing Images Using Joint Histograms Keywords :’.
pp. 1–15.
Pluim, J. P. W., J. B. A. Maintz, and M. a. Viergever : 2003, ‘Mutual-information-based
registration of medical images : a survey.’. IEEE transactions on medical imaging 22(8),
986–1004.
Rueckert, D., A. F. Frangi, and J. a. Schnabel : 2003, ‘Automatic construction of 3-D statistical deformation models of the brain using nonrigid registration.’. IEEE transactions
on medical imaging 22(8), 1014–25.
Rueckert, D., L. I. Sonoda, C. Hayes, D. L. Hill, M. O. Leach, and D. J. Hawkes : 1999,
‘Nonrigid registration using free-form deformations : application to breast MR images.’.
IEEE transactions on medical imaging 18(8), 712–21.
Schestowitz, R. S. : 2009, ‘Unifying Models and Registration : A Framework for Modelbased Registration and Non-rigid Registration Assessment’. Ph.D. thesis, University of
Manchester.
Thévenaz, P., U. E. Ruttimann, and M. Unser : 1998, ‘A pyramid approach to subpixel
registration based on intensity.’. IEEE transactions on image processing : a publication
of the IEEE Signal Processing Society 7(1), 27–41.
Thkvenaz, P. and M. Unser : 1997, ‘Spline Pyramids for Inter-Modal Image Registration
Using Mutual Information’. 3169(Oct), 236–247.
Unser, M., A. Aldroubi, and M. Eden : 1990, ‘Fast B-spline Transformation 4 CIR and
Interpolation.pdf’. IEEE.
Wolberg, G. : 1996, ‘Image metamorphosis with scattered feature constraints’. IEEE
Transactions on Visualization and Computer Graphics 2(4), 337–354.
Zijdenbos, a. P., B. M. Dawant, R. a. Margolin, and a. C. Palmer : 1994, ‘Morphometric analysis of white matter lesions in MR images : method and validation.’. IEEE
transactions on medical imaging 13(4), 716–24.
46