Fusion d`images en multimodalité.

Ch. Jégou, A. Bonmartin
Fusion d’images en multimodalité.
Ch. Jégou, A. Bonmartin
EA 3738 - Faculté de Médecine Lyon-Sud - UCB Lyon 1
Centre TEP clinique - HCL - Centre Hospitalier Lyon-Sud
Résumé
La fusion d’images en multimodalité est la mise en correspondance spatiale d’images
acquises par des techniques différentes. Elle comporte deux étapes fondamentales : le recalage et
la visualisation. Le recalage est la recherche de la transformation géométrique qui aligne les
données. Son utilisation clinique suppose une validation préalable en utilisant des données de
référence. La description du processus de recalage se base sur le cadre défini pour la construction de la bibliothèque de fonctions Insight Toolkit (ITK). Les applications médicales principales
et quelques possibles évolutions de la fusion sont exposées.
Fusion / Recalage / Multimodalité
INTRODUCTION
!Aucune technique d’imagerie prise
isolément n’est, à l’heure actuelle, ni
suffisamment sensible, ni suffisamment spécifique pour apporter à elle
seule l’information diagnostique souhaitée par le clinicien. L’apport de la
multimodalité en imagerie permet
d’améliorer cette information. Les termes de fusion multimodalité ou
intermodalité désignent l’alignement,
dans l’espace, de plusieurs images
issues de techniques d’imagerie différentes, et, dans ce domaine, la fusion informatique est plus performante que la fusion mentale effectuée à partir de documents disjoints.
Ces associations ont donc pour but
de compléter les lacunes propres à
chaque modalité. Le plus souvent, on
souhaite superposer une image fonctionnelle (scintigraphie,Tomographie
par Emission de Positons (TEP), Tomographie par Emission Monophotonique (TEMP), Imagerie par Résonance Magnétique Fonctionnelle
(IRMf) avec une image anatomique
(radiographie, scanner à rayons X
(TDM), IRM, échographie) permettant
de situer plus précisément les fixa-
Correspondance : Alain Bonmartin
Laboratoire de Biophysique - EA 3738 - Faculté de Médecine Lyon-Sud
BP 12 - 69921 Oullins cedex
Tél : 04 78 86 31 46 - E-mail : [email protected]
Médecine Nucléaire -
Imagerie fonctionnelle et métabolique - 2004 - vol.28 - n°11
553
Fusion d'images en multimodalité
tions moléculaires. Dans la pratique
clinique, on fusionne des images provenant d’un même patient (fusion
intra-sujet), et nous nous limiterons
à ce cadre. Cependant, la fusion intersujets à aussi des applications : constitution de modèles, d’atlas (atlas de
Talairach pour le cerveau par exemple) pour des comparaisons anatomiques ou fonctionnelles [1]. On peut
également fusionner des images issues d’une même technique d’imagerie. Dans ce cas on parlera de fusion mono ou intra-modalité, utile
dans le suivi évolutif d’une pathologie ou pour la constitution d’atlas.
On décrira successivement les différentes étapes qui constituent la fusion: le recalage, qui calcule la transformation à appliquer pour mettre en
correspondance le jeu d’images, sa
validation, puis la visualisation et l’interaction avec les images recalées.
Enfin, seront abordés les champs d’application de la fusion et ses perspectives.
pixels
LE RECALAGE
!On définit d’abord l’image fixe, référence sur laquelle on va aligner
l’image mobile en lui faisant subir
des transformations géométriques. Le
processus de recalage des images
peut ensuite se diviser en quatre étapes, représentées dans la Figure 1
1,
selon la cadre mis en place pour la
constitution de la bibliothèque de
fonctions pour le recalage de l’Insight
Toolkit (ITK) [2].
qualité de l'alig
Mesure
Image Fixe
pixels
Interpolation
pixels
Image Mobile
points
Transfo
Figure 1 - Etapes du recalage
deux grandes catégories selon leurs
degrés de liberté.
L’interpolation
!Après l’application d’une transformation, les centres des voxels (volume éléments) de l’image mobile ne
sont pas forcément alignés sur les
centres des voxels de l’image fixe.
L’interpolation consiste alors à évaluer les valeurs d’intensité de l’image
mobile pour les coordonnées en correspondance avec les centres des
voxels de l’image fixe.
Parmi les techniques utilisées [3], la
plus fréquente est l’interpolation linéaire où l’intensité d’un point est
calculée par la combinaison des intensités de ses voisins, affectées de
poids dépendant linéairement de la
distance au point considéré.
La transformation
!Les transformations sont classées en
554
tion peut être libre ou guidée par une
modélisation physique de l’élasticité
des tissus.
Les transformations linéaires
!Parmi les transformations linéaires,
on parle de transformation rigide lorsque seules des translations et des rotations sont autorisées. Une transformation affine est une transformation
rigide à laquelle s’ajoutent des facteurs d’échelle et des torsions. Elle
permet de prendre en compte une
grande partie des distorsions spatiales usuelles.
Les transformations élastiques
Les transformations élastiques sont
plus déformantes que les transformations linéaires. Elles peuvent s’appliquer sur l’ensemble du volume, ou
être uniquement des déformations
locales, mieux adaptées à des variations complexes : correction des déformations liées à l’acquisition,
recalage sur des structures en mouvement (cœur, poumon). La déforma-
Médecine Nucléaire -
La mesure de l’alignement
ou mesure de similarité
!Le choix de la technique d’évaluation de la qualité de l’alignement dépend des images que l’on traite. Parmi
les techniques employées [4], on en
distingue deux grandes catégories :
celles qui utilisent des points de repère, et celles qui exploitent l’image
dans sa totalité.
Mesure de l’alignement utilisant
des points de repère
Le problème de la minimisation de
la distance entre les repères est appelé problème de Procruste. Pour les
transformations rigides, la solution
peut être calculée directement [5, 6].
Dans les autres cas, on peut par exemple utiliser une minimisation itérative
Imagerie fonctionnelle et métabolique - 2004 - vol.28 - n°11
Ch. Jégou, A. Bonmartin
de la distance moyenne (euclidienne,
de Chanfrein) entre les points à mettre en correspondance [7]. L’utilisation de points de repère est le plus
souvent couplée à une transformation linéaire [8].
Les repères utilisés peuvent être externes au sujet ou intrinsèques.
Les rrepèr
epèr
es eexter
xter
nes
epères
xternes
On se sert de marqueurs qui peuvent
être remplis de liquide pour assurer
leur visibilité dans les différentes
modalités [9]. En neurochirurgie, les
marqueurs sont attachés à des cadres
stéréotaxiques fixés dans l’os. Ces
cadres étant nécessaires pour l’opération, les marqueurs, utiles pour la
localisation et le guidage, ne constituent pas une charge supplémentaire
pour le patient [7, 8]. La chirurgie du
cerveau utilise également des marqueurs directement vissés dans l’os,
technique employée pour le positionnement en radiothérapie et pour
l’orthopédie. Par contre, l’utilisation
de marqueurs collés sur la peau est
non invasive, mais diminue la précision du fait des mouvements possibles de la peau. Cet écueil est contourné pour les applications en radiothérapie par l’utilisation de moules
uniques de contention, employés sur
chaque système d’imagerie (IRM,
TDM,TEP) et sur le système de traitement.
Les rrepèr
epèr
es intr
insèques
epères
intrinsèques
Ils sont constitués de caractéristiques
particulières extraites des données,
caractéristiques qui peuvent être anatomiques : on utilise alors des points
de la morphologie que l’on peut situer avec précision et qui sont le plus
souvent identifiés interactivement par
l’utilisateur. On peut se servir également de données géométriques, consistant à extraire automatiquement
des optima de fonctions géométriques comme le maximum d’un rayon
de courbure. Enfin, on peut se servir
de l’intensité des voxels : dans ce cas
les images subissent d’abord une
étape de segmentation pour en extraire des courbes, des surfaces ou
des volumes.
Ces méthodes ont prouvé leur efficacité et leur robustesse dans le
recalage multimodalité intra-sujet en
Médecine Nucléaire -
utilisant, par exemple, la surface de
la peau, facilement identifiable dans
les images d’IRM, TDM ou TEP, et suffisante pour contraindre le calcul
d’une transformation rigide [1, 10].
Mesure de l’alignement utilisant
l’image dans sa totalité
Dans ce type de mesure, basée sur
les propriétés des voxels (“voxel
property based”), les données ne subissent aucune réduction, aucune
segmentation. Ce type d’information
est préféré lorsqu’il est difficile d’extraire des structures communes des
jeux de données. Elle permet aussi
de faciliter l’automatisation du
recalage.
Il existe deux approches distinctes :
l’image peut subir un pré-traitement
pour transformer les intensités en un
ensemble de valeurs associées à une
orientation par la détermination des
axes principaux et le calcul des moments, ou être utilisée telle quelle. La
première approche ne fournit pas, en
général, de résultats très précis, mais
elle est rapide, automatique, et facile
à implémenter [8]. Dans le dernier cas,
on utilise la distribution des intensités de l’image pour calculer une mesure de similarité ou dépendance statistique. Parmi celles-ci, le coefficient
de corrélation mesure une dépendance linéaire entre les distributions
en intensité des données, tandis que
le rapport de corrélation mesure une
dépendance fonctionnelle [11, 12]. Le
critère de Woods, lui, est fondé sur
une hypothèse d’uniformité : une région d’intensité homogène dans un
jeu de données correspond à une
région d’intensité également homogène dans l’autre jeu de données.
Cette hypothèse à été proposée originellement pour répondre au problème du recalage TEP-IRM [12]. Enfin, l’information mutuelle utilise le
calcul de l’entropie des images, qui
est une mesure du “désordre” dans la
distribution de la densité de probabilité des intensités des pixels [7, 13,
14, 15]. L’information mutuelle sera
choisie dans les cas où l’on dispose
de peu de connaissances sur la dépendance statistique des données, ce
qui est le cas pour le recalage IRMTEMP par exemple.
Imagerie fonctionnelle et métabolique - 2004 - vol.28 - n°11
L’optimisation
!La partie optimisation est un algorithme itératif qui recherche la valeur
maximale de la mesure de qualité
d’alignement, correspondant à la
transformation qui conduit au
meilleur résultat pour le recalage. Le
choix de l’algorithme d’optimisation
a une grande influence sur le résultat du recalage, particulièrement en
ce qui concerne la robustesse de la
technique employée par rapport à la
transformation initiale. On distingue
quatre approches de l’optimisation
[16] :
- Les approches quadratiques ou semiquadratiques comprennent la descente de gradient, les méthodes de
Powell, de Newton-Raphson, du
Simplex, ou l’Iterative Closest Point
(ICP) [17]. Une grande partie de ces
techniques est documentée dans [18].
Ces méthodes sont peu robustes et
donc bien adaptées aux problèmes
contraints.
- Les approches stochastiques ou basées statistiques comme le recuit simulé ou les algorithmes génétiques
sont plus robustes que les premières mais leurs temps de calculs sont
plus longs.
- Les approches structurelles sont
basées sur l’utilisation d’arbres ou de
graphes. Elles sont bien adaptées aux
cas où les mesures de similarité peuvent être formalisées par une structure hiérarchique.
- Enfin, la recherche de l’optimum
peut se faire interactivement avec
l’utilisateur, par inspection visuelle.
Dans ce cas, on parle d’approche heuristique.
Pour éviter les extrema locaux qui
conduisent à un mauvais alignement
des images, et/ou pour réduire le
temps de calcul, on complète parfois
le processus d’optimisation par une
stratégie particulière. La multi-résolution, par exemple, consiste à souséchantillonner les images et à effectuer ensuite des recalages successifs
en augmentant la résolution pour affiner progressivement l’alignement
[19, 20, 21]. Pour éviter les erreurs
de recalage, on peut également associer des mesures de similarité com-
555
Fusion d'images en multimodalité
plémentaires, comme l’information
mutuelle et une mesure basée sur l’information spatiale comme la mesure
des gradients [22].
LA VALIDATION DU RECALAGE
!La validation est une étape à part
entière de l’implémentation d’une
méthode de fusion. Elle permet de décrire et d’analyser les caractéristiques
de la méthode, de démontrer ses performances, son intérêt clinique potentiel et de la comparer aux méthodes existantes. Elle consiste en l’étude
de la résolution (liée à l’erreur systé-
matique du processus), de la précision [21], de la robustesse, de la complexité (degré d’automatisation) et du
temps de calcul.
La validation d’une méthode nécessite la définition d’un “Gold Standard”,
c’est à dire, pour le recalage, d’une
transformation géométrique et/ou
d’intensité de référence entre les
données de validation à mettre en
correspondance. Les données de validation peuvent être obtenues par
des simulations numériques [23], des
fantômes physiques plus ou moins
réalistes, ou des données de calcul
réels, c’est à dire par une étape de
recalage basée sur l’utilisation de cadres de stéréotaxie ou de marqueurs
lors des acquisitions [24].
VISUALISATION ET INTERACTION
AVEC LES IMAGES RECALÉES
!Trois approches principales sont
utilisées dans la visualisation de la fusion en pratique clinique :
La superposition d’images
!Il s’agit de calculer une image qui
contient l’information des jeux de
données recalés, par opération arithmétique sur les intensités des voxels,
Figure 2
codage de couleurs (Figure
2).
Cependant, l’image affichée ne correspond plus à une modalité réelle,
ce qui peut gêner le clinicien.
Figure 2 - Fusion TDM-scintigraphie au MIBG pour neuroblastome (Centre Léon Bérard, Lyon).
La triangulation
!Cette approche consiste à partager
556
un curseur 3D entre des modules de
visualisation synchronisés : le curseur
désigne les mêmes coordonnées
dans les images recalées, chacune af-
Médecine Nucléaire -
fichée dans une fenêtre propre (Fi4).
gures 3 et 4
Imagerie fonctionnelle et métabolique - 2004 - vol.28 - n°11
Ch. Jégou, A. Bonmartin
Figure 3 - Fusion TEP (Philips ALLEGRO) et TDM (GE LIGHTSPEED 16)
(Centre Hospitalier Lyon Sud).
Figure 4 - Fusion IRM-TEP (Philips Medical Systems).
Médecine Nucléaire -
Imagerie fonctionnelle et métabolique - 2004 - vol.28 - n°11
557
Fusion d'images en multimodalité
La représentation surfacique
associée à des plans de coupe
nicien de se situer plus facilement
Figure
dans le volume du patient (Figure
5).
!Ce type d’affichage permet au cli-
Il existe d’autres techniques d’affi-
chage d’images fusionnées, certaines
étant plus adaptées à des tâches
comme le recalage interactif ou l’évaluation des résultats d’une procédure
de recalage qu’au diagnostic [25].
Figure 5 - Représentation surfacique (TDM) avec plans de coupe (TEP)
mettant en évidence une lésion dans le lobe droit du foie (Philips Medical Systems).
LESAPPLICATIONS DE LA FUSION
MULTIMODALITÉ
!Comme on l’a dit en introduction,
la fusion intermodalité exploite la
complémentarité des images acquises par des techniques différentes.
Ainsi, l’association d’une image fonctionnelle avec une image anatomique
est utile pour le diagnostic car elle
peut permettre de confirmer ou d’infirmer la nature maligne d’une structure anatomique suspecte, de situer
précisément les fixations du traceur.
A ce titre, elle est utile également pour
l’évaluation de la réponse des tumeurs à un traitement, car des modifications fonctionnelles peuvent se
produire avant une évolution anatomique.
558
En neurologie, la fusion d’images
d’IRM avec des données fonctionnelles comme l’IRM fonctionnelle, la
MEG (Magnetic EncephaloGraphy) la
TEP ou la TEMP permet une corrélation anatomo-fonctionnelle, utile notamment dans des études pré-chirurgicales (chirurgie de l’épilepsie par
exemple) [1].
En radiothérapie, l’association d’images de TEP ou de TEMP avec des images de TDM permet une meilleure planification du traitement en fournissant une définition plus précise des
volumes tumoraux : détection de lésions non identifiées sur le scanner
ou de zones nécrosées ne nécessitant pas d’être irradiées [26]. On utilise également la fusion des images
de TDM et d’IRM, la première servant
Médecine Nucléaire -
au calcul précis de la dose à utiliser,
tandis que l’image d’IRM permet de
délimiter le tissu tumoral [8].
La fusion est aussi utilisée pendant
l’opération chirurgicale. En effet, en
neurochirurgie par exemple, du fait
des déformations des tissus mous, les
images pré-opératoires ne reflètent
plus l’anatomie du patient au moment
de l’intervention. Afin de les utiliser
pour assister le chirurgien, on les fusionne avec des images per-opératoires d’échographie, d’IRM ou de scanner X. La chirurgie guidée par ordinateur est également utilisée principalement en orthopédie, en chirurgie
maxillo-faciale et en radiologie
interventionnelle. Elle fait partie des
applications de fusion de données les
plus utilisées en routine clinique [1].
Imagerie fonctionnelle et métabolique - 2004 - vol.28 - n°11
Ch. Jégou, A. Bonmartin
CONCLUSION
sociées à chacune des étapes de la
fusion, et ce choix doit se faire en
fonction des images que l’on traite
mais également du but recherché.
!La fusion d’images est un processus complexe car constitué de nombreuses phases interdépendantes, ce
qui en fait une technique d’autant
plus difficile à appréhender qu’il
n’existe pas de procédure de fusion
universelle. La qualité des images de
fusion présentées au clinicien va dépendre du choix des techniques as-
L’utilisation de transformations non
linéaires pour le recalage est séduisante car elle permet de modéliser
de façon plus réaliste les phénomènes rencontrés : distorsion des images, mouvement du sujet lors de l’acquisition, déformations anatomiques.
Cependant, il manque encore les procédures de validation pour que ces
transformations élastiques puissent
être utilisées dans la pratique clinique.
Enfin, le développement de la fusion
de données va nécessiter de définir
des standards d’échange entre les
différents équipements d’imagerie
pour les nombreuses informations
véhiculées par cette procédure de
traitement, comme les transformations calculées et les méthodes utilisées à chaque étape du recalage.
Multimodality image fusion
Multimodality image fusion consists in spatially aligning images acquired from different
techniques. It involves two fundamental stages : registration and visualization. The Registration
step searches for the geometric transformation that matches the data. Its validation using a “Gold
Standard” is a necessary prior to clinical use. The description of the registration process is based
on the frame defined for the construction of the Insight Toolkit (ITK) library functions. Finally,
we describe the main medical applications and some possible evolutions of image fusion.
Fusion / Registration / Matching / Multimodality
RÉFÉRENCES
1. Jannin P, Grova C, Gibaud B. Fusion de données en imagerie médicale : revue méthodologique basée
sur le contexte clinique. ITBM-RBM
2001;22:196-215.
2.
3.
Ibañez L, Ng L, Gee J, Aylward S.
Registration patterns : the generic
framework for image registration of
the insight toolkit. IEEE International Symposium on Biomedical
Imaging 2002.
Lehmann T, Gonner C, Spitzer K
Médecine Nucléaire -
Survey : interpolation methods in
medical image. IEEE Trans Med
Imaging 1999;18:1049-1075.
4.
5.
Penney GP, Weeze J, Little JA,
Desmedt P, Hill DLG, Hawkes DJ. A
comparison of similarity measures
for use in 2D-3D medical image
registration.IEEE Trans Med Imaging
1998;17:586-595.
Akca D. Generalized procrustes
analysis and its applications in
photogrammetry. Swiss Federal
Imagerie fonctionnelle et métabolique - 2004 - vol.28 - n°11
Institute of Technology, Institute of
Geodesy and Photogrammetry,
ETH-Hoenggerberg, Zuerich.
6.
Schonemann PH.A generalized solution of the orthogonal Procrustes
problem. Psychometrika 1966;31(1):
1-10.
7.
Pluim JPW. Mutual-informationbased registration of medical images. Phd Thesis, University Medical
Center Utrecht 2000.
559
Fusion d'images en multimodalité
8.
Maintz JBA, Viergever MA.A survey
of medical image registration.
Medical Image Analysis 1998;2:136.
9.
Maurer C, Fitzpatrick J. A review of
medical image registration. Interactive Image-Guided Neurosurgery.
Maciunas RJ (ed), American Association of Neurological Surgeons
1993:17-44.
10. Chen C, Pelizzari CA, Chen GTY,
Cooper MD, Levin DN. Image
analysis of PET data with the aid
of CT and MR images. Information
Processing in Medical Imaging
1987:601-611.
11. Brown LF. A survey of image
registration techniques. ACM
Computing Surveys 1992;24(4):
325-376.
12. Roche A, Malandrain G, Pennec X,
Ayache N. Multimodal registration
by maximization of the correlation
ratio. Rapport de recherche INRIA
n° 3378. 1998.
13. Collignon A, Maes F, Delaere D,
Vandermeulen D, Suetens P,
Marchal G. Automated multimodality image registration using
information theory. Information
Processing in Medical Imaging.
Bizais Y, Barillot C, Di Paola R (eds),
Kluwer Academic Publishers, Dordrecht 1995:263-274.
14. Pluim JPW, Maintz JBA, Viergever
MA. Mutual-information-based
registration of medical images : a
survey. IEEE Trans Med Imaging
2003;22:986-1004.
560
15. Viola P, Wells III WM. Alignment by
maximisation of mutual information. International Journal of
Computer Vision 1997;24(2):137154.
16. Barillot C. Fusion de données et
imagerie 3d en médecine [habilitation à diriger des recherches]. Rennes: IRISA, université de Rennes I.
1999.
17. Besl PJ, McKay ND. A method for
registration of 3-D shapes. IEEE
Transactions on Pattern Analysis
and Machine Intelligence
1992;14:239-256.
18. Press WH, Teukolsky SA,Vetterling WT,
Flannery BP. Numerical Recipies in
C, Second Edition. Cambridge University Press, Cambridge. 2002. Disponible sur internet à l’adresse :
http://www.library. cornell.edu/nr
19. Studholme C, Little JA, Penny GP,
Hill DLG, Hawkes DJ. Automated
multimodality registration using
the full affine transformation : application to MR and CT guided
skull base surgery. Proceedings of
Visualization in Biomedical
Computing. Heinz Hohne K, Kikinis
R (eds), Springer, Lecture Notes in
Computer Science 1996:601-606.
20. Studholme C, Hill DLG, Hawkes DJ.
Automated three-dimensional
registration of magnetic resonance
and positron emission tomography
brain images by multiresolution
optimization of voxel similarity
measures. Med Phys 1997;24(1):2535.
Médecine Nucléaire -
21. Zitova B, Flusser J. Image
registration methods : a survey.
Image and Vision Computing
2003;21:977-1000.
22. Pluim JPW, Maintz JBA, Viergever
MA. Image registration by
maximization of combined
mutual information and gradient
information. IEEE Trans Med
Imaging 2000;19:809-814.
23. Grova C, Biraben A, Scarabin J-M,
Jannin P, Buvat I, Benali H, Gibaud
B. A methodology to validate MRI/
SPECT registration methods using
realistic simulated SPECT data.
MICCAI 2001, Utrecht, Lecture Notes in Computer Science. Niessen WJ,
Viergever MA (eds), Springer
2001;2208:275-282.
24. West J, Fitzpatrick JM, Wang MY,
Dawant BM, Maurer CR, Kessler RM
et al. Comparison and evaluation
of retrospective intermodality brain
image registration techniques. Journal of Computer Assisted
Tomography 1997;2:554-566.
25. Stokking R, Zubal IG, Viergever MA.
Display of fused images : methods,
interpretation, and diagnostic
improvements. Seminars in Nuclear
Medicine 2003;33(3):219-227.
26. Slomka PJ. Software approach to
merging molecular with anatomic
information. J Nucl Med 2004;45:
36S-45S.
Imagerie fonctionnelle et métabolique - 2004 - vol.28 - n°11