recalage et fusion d’images médicales
TRANSCRIPT
![Page 1: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/1.jpg)
Recalage et fusion d’images médicales
Isabelle Bloch
http://www.perso.telecom-paristech.fr/˜bloch
Telecom ParisTech - CNRS UMR 5141 LTCI
Paris - France
Recalage et fusion – p.1/53
![Page 2: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/2.jpg)
Introduction
• Intérêt et nécessité du recalage
• Imagerie multi-modale
• Informations complémentaires
• Prétraitement pour la fusion
• Plus d’information et meilleures décisions
Recalage et fusion – p.2/53
![Page 3: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/3.jpg)
Comment faire ?
Recalage et fusion – p.3/53
![Page 4: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/4.jpg)
Définition du recalage
Mise en correspondance spatiale
Formulation générale :
mint∈T
f(I1, t(I2))
• I1 et I2 images à recaler (ou informations extraites de ces images)
• t : transformation
• T : ensemble des transformations possibles / admissibles
• f : distance (ou similarité ⇒ max f )
Recalage et fusion – p.4/53
![Page 5: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/5.jpg)
Composantes d’un système de recalage
• nature de la transformation (t et son domaine de définition T )
• primitives utilisées (sur quoi portent t et f )
• critère de similarité f
• méthode d’optimisation
non indépendants entre eux
non indépendants du type d’images, des modalités,
et du problème de recalage posé
Difficultés liées
• à la complexité des problèmes
• à la discrétisation des images
• à l’évaluation de la qualité du recalage
Recalage et fusion – p.5/53
![Page 6: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/6.jpg)
Les types de problèmes de recalage
• 2D/2D, 2D/3D, 3D/3D
• recalage d’images mono-modales
• recalage d’images multi-modales
• recalage modalité / modèle (ex : carte, atlas)
• recalage inter-patients
Recalage et fusion – p.6/53
![Page 7: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/7.jpg)
Les transformations admissibles
• Rigide : uniquement translation et rotation
X′ = RX + T
• Affine : transforme des lignes parallèles en lignes parallèles
X′ = SRX + T
• Projective : met en correspondance des lignes non parallèles
• Déformable : transforme des lignes droites en courbes
• transformations polynomiales
• fonctions de base (combinaison) : polynômes, splines...
• déformations de forme libre• déformations élastiques
µ∇2u(x, y, z) + (λ+ µ)∇(∇u(x, y, z)) + f(x, y, z) = 0
u(x, y, z) : champ de déformation, f : forces externes, λ et µ : constantes
d’élasticité• transformations fluides (u est remplacé par le champ de vélocité)
Recalage et fusion – p.7/53
![Page 8: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/8.jpg)
Modèle global / local
modèle global modèle par morceaux(régional)
modèle local
Recalage et fusion – p.8/53
![Page 9: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/9.jpg)
Calcul d’une transformation géométrique
(x′, y′) = t(x, y)
Problèmes :
• (x, y) = coordonnées entières ⇒ (x′, y′) ?
• Calcul ?
• Propriétés ?
Exemple : rotation de π/4
x′ = (x− y)
√2
2y′ = (x+ y)
√2
2
g h i
fed
a b c
g
b f
e
iheda
g
e
eb
c
f
hd
Transformation directe Transformation inverse
(interpolation au plus proche voisin)Recalage et fusion – p.9/53
![Page 10: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/10.jpg)
Rééchantillonnage
Transformation directe :
t
Recalage et fusion – p.10/53
![Page 11: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/11.jpg)
Rééchantillonnage
Transformation inverse (mieux) :
−1t
Recalage et fusion – p.10/53
![Page 12: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/12.jpg)
Interpolation
• Plus proche voisin
• Linéairey
x
y∆
x∆
f(x, y)[(1−∆x)(1−∆y)] + f(x+ 1, y)[∆x(1−∆y)]+
f(x, y + 1)[(1−∆x)∆y] + f(x+ 1, y + 1)[∆x∆y]
• Ordre supérieur
Recalage et fusion – p.11/53
![Page 13: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/13.jpg)
Exemple
10 rotations de 36 degrés de l’image originale, avec différentes interpolations :
Originale Plus proche voisin Linéaire Bspline de degré 4
Source : http://bigwww.epfl.ch/demo/jaffine/index.html (Michael Unser)
Recalage et fusion – p.12/53
![Page 14: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/14.jpg)
Les primitives utilisées
• extrinsèques :
• cadre stéréotaxique
• marqueurs
• calibration des systèmes d’acquisition
• intrinsèques : contenu de l’image
• extraites de l’image :• points de repères anatomiques• structures anatomiques• primitives géométriques et différentielles (lignes de crête, etc.)
• intensités des pixels ou voxels
Choix : modalités, influence sur le critère de similarité
Recalage et fusion – p.13/53
![Page 15: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/15.jpg)
Fonctions de similarité / dissimilarité• recherche du point le plus proche
• minimisation de la distance entre points de repère
• maximisation de l’aire d’intersection de surfaces
• alignement des axes d’inertie
• corrélation entre les deux images (spatial / Fourier)
• fonction de similarité quadratique
• minimisation de la variance des rapports d’intensité
• minimisation de la variance dans des partitions de l’image de référence projetées
sur l’image à recaler
• maximisation de l’information mutuelle de l’histogramme conjoint
• minimisation de la dispersion de l’histogramme conjoint
• comptage des changements de signe
• minimisation de la médiane du carré des erreurs
• minimisation de mesures fondées sur la matrice de co-occurrence
• utilisation de la transformée de distances
• critères bayésiens
• ...
Recalage et fusion – p.14/53
![Page 16: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/16.jpg)
Similarité entre points en correspondance
Hypothèses :
• même nombre de points n
• correspondance entre xi et yi connue
• dimension quelconque
• pas de points aberrants (robuste au bruit gaussien)
Définition du critère :
E =
n∑
i=1
‖xi − (r(yi) + t)‖2
Translation optimale : mise en correspondance des centres d’inertie des deux
ensembles de points
Rotation optimale : formule directe en 2D, méthode des quaternions en 3D
Recalage et fusion – p.15/53
![Page 17: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/17.jpg)
Quaternions
• Définition
q = (q1, q2, q3, q4)t = (s, v)
s = partie réelle
v = partie imaginaire
• Produit :
q × q′ = (ss′ − v · v′, sv′ + s′v + v ∧ v′)
• Conjugué : q = (s,−v)
• Norme :
|q|2 = q × q = q × q = (s2 + ‖v‖2, 0) = (‖q‖2, 0)
• Q1 = ensemble des quaternions de norme 1
Recalage et fusion – p.16/53
![Page 18: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/18.jpg)
Représentation des rotations
par des quaternions
Représentation d’une rotation d’axe ~u et d’angle θ : (s, v) et (−s,−v) avec :
s = cosθ
2
v = sinθ
2~u
Relation d’équivalence : R(q, q′) ⇔ q = −q′
R3 est isomorphe à Q1/RR3 est isomorphe à P3
Rx = q × x× q
Recalage et fusion – p.17/53
![Page 19: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/19.jpg)
Application au recalage rigide
Minimisation de E =∑n
i=1 ‖xi − (r(yi) + t)‖2
E =
n∑
i=1
|xi − q × yi × q|2
=n∑
i=1
|xi − q × yi × q|2|q|2
=
n∑
i=1
|xi × q − q × yi × q × q|2
=
n∑
i=1
|xi × q − q × yi|2 =
n∑
i=1
qtAtiAiq
La rotation optimale s’obtient en calculant les valeurs propres de la matrice A :
A =
n∑
i=1
AtiAi.
Solution du problème de minimisation aux moindres carrés = quaternion qui est le
vecteur propre de norme 1 correspondant à la plus petite valeur propre de A Recalage et fusion – p.18/53
![Page 20: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/20.jpg)
Correspondance inconnue
• Méthode de Fourier en 2D :
I2 = I1 + t ⇒ TF−1[TF (I2)TF ∗(I1)/|TF (I2)TF ∗(I1)|] = δ(x0, y0)
• Réduire la complexité :
• associations progressives entre primitives
• recalage entre les primitives les plus pertinentes, puis ajout progressif des
autres• contraintes géométriques, topologiques, etc.
• mise en correspondance de graphes
• distance entre surfaces
Recalage et fusion – p.19/53
![Page 21: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/21.jpg)
Carte de distances
Recalage et fusion – p.20/53
![Page 22: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/22.jpg)
ICP
Recalage et fusion – p.21/53
![Page 23: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/23.jpg)
ICP
Recalage et fusion – p.21/53
![Page 24: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/24.jpg)
ICP
Recalage et fusion – p.21/53
![Page 25: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/25.jpg)
Similarités entre intensités
(recalage mono-modal)
Quadratique :
E(Θ) =∑
x
[Iref (x)− Irec(TΘ(x))]2
Quadratique avec normalisation d’intentité :
E(Θ) =∑
x
[Irec
IrefIref (x)− Irec(TΘ(x))]2
Corrélation :
R(Θ) =
∑
x[Iref (x)− Iref ][Irec(TΘ(x))− Irec]√
∑
x[Iref (x)− Iref ]2∑
x[Irec(TΘ(x))− Irec]2
(maximum de corrélation pour la bonne transformation)
Similarité robuste :
E(Θ) =∑
x
ρ[Iref (x)− Irec(TΘ(x))]
ρ = M-estimateur
Recalage et fusion – p.22/53
![Page 26: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/26.jpg)
Exemples d’estimateurs robustes
Quadratique :
Recalage et fusion – p.23/53
![Page 27: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/27.jpg)
Exemples d’estimateurs robustes
Quadratique tronquée :
Recalage et fusion – p.23/53
![Page 28: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/28.jpg)
Exemples d’estimateurs robustes
Quadratique atténuée (Geman-McLure) :
Recalage et fusion – p.23/53
![Page 29: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/29.jpg)
Exemples d’estimateurs robustes
Quadratique puis linéaire (Huber) :
Recalage et fusion – p.23/53
![Page 30: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/30.jpg)
Similarités entre intensités
(recalage multi-modal)
Uniformité inter-images : partition de l’image de référence en régions homogènes et
projection (spatiale) sur l’image à recaler, puis minimisation de :
E(Θ) =∑
regions g
Ng
N
σg(TΘ(x))
µg(TΘ(x))
σg(TΘ(x)) =√
∑
x,Iref (x)=g
[Irec(TΘ(x))− µg(TΘ(x))]2
µg(TΘ(x)) =1
Ng
∑
x,Iref (x)=g
Irec(TΘ(x))
Exploitation de l’histogramme conjoint : maximisation de l’information mutuelle
E(Θ) = −∑
g
∑
k
p(g, k) logp(g, k)
p(g)p(k)
Similarité robuste :
E(Θ) =∑
regions g
Ng
Nσg(TΘ(x))
√
∑
Recalage et fusion – p.24/53
![Page 31: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/31.jpg)
Information mutuelle
H(B|A)H(A|B)
NMI
H(A) H(B) H(A, B)
Recalage et fusion – p.25/53
![Page 32: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/32.jpg)
Optimisation
• Algorithmes classiques d’optimisation : gradient, gradient conjugué, Powell,
simplexe, Levenberg-Marquardt, Newton-Raphson, hashage géométrique
• Minima locaux ⇒ importance de l’initialisation
• connaissance de la position du patient ou autres informations a priori
• axes d’inertie• essais à partir de quelques positions et choix du meilleur résultat
• Autres solutions pour sortir des minima locaux : diminution progressive du pas,
optimisation stochastique, algorithmes génétiques, recuit simulé
• Méthodes adaptées à la fonction de coût (exemple : ICP)
• Recherche par graphes, ou programmation dynamique
• Multi-échelles, multi-résolutions : convergence plus rapide, moins de problèmes
de minima locaux
Recalage et fusion – p.26/53
![Page 33: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/33.jpg)
Interactivité ?
• Automatique : souvent visé mais pas toujours souhaitable
• Interactif (assistance par logiciel de visualisation) : lourd, surtout en 3D, peu
reproductible
• Semi-automatique : interaction soit au niveau de l’initialisation (d’où réduction de
l’espace de recherche, position initiale proche de la solution donc moins de
problèmes de minima locaux), soit au niveau du contrôle
Recalage et fusion – p.27/53
![Page 34: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/34.jpg)
Validation et évaluation
Accès à la vérité ?
Critères :
• précision intrinsèque de l’algorithme
• précision de la mesure, robustesse
• fiabilité
• ressources requises
• complexité algorithmique
• vérification des hypothèses
• utilisation en pratique (exemple : contraintes particulières de la routine clinique)
Souvent trois niveaux de tests :
• simulations
• fantômes
• données réelles
Problèmes des objets de test : idéaux, pas de cas rares ou pathologiques.
Exemple d’études en recalage d’images médicales : Vanderbilt
Recalage et fusion – p.28/53
![Page 35: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/35.jpg)
IRM + headshape en EEG/MEG
(thèse de Jérémie Pescatore)
Recalage et fusion – p.29/53
![Page 36: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/36.jpg)
IRM + headshape en EEG/MEG
(thèse de Jérémie Pescatore)
fonction de proximité=2.1 mm
fonction de proximité=1.80 mm Recalage et fusion – p.29/53
![Page 37: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/37.jpg)
Un exemple de recalage rigide
(thèse de Jean-François Mangin)
Recalage et fusion – p.30/53
![Page 38: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/38.jpg)
Un exemple de recalage rigide
(thèse de Jean-François Mangin)
Recalage et fusion – p.30/53
![Page 39: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/39.jpg)
Un exemple de recalage rigide
(thèse de Jean-François Mangin)
Recalage et fusion – p.30/53
![Page 40: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/40.jpg)
Un exemple de recalage rigide
(thèse de Jean-François Mangin)
Recalage et fusion – p.30/53
![Page 41: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/41.jpg)
Un exemple de recalage rigide
(thèse de Jean-François Mangin)
Recalage et fusion – p.30/53
![Page 42: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/42.jpg)
Un exemple de recalage rigide
(thèse de Jean-François Mangin)
Recalage et fusion – p.30/53
![Page 43: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/43.jpg)
Un exemple de recalage rigide
(thèse de Jean-François Mangin)
Recalage et fusion – p.30/53
![Page 44: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/44.jpg)
Recalage anatomo-fonctionnel
Recalage et fusion – p.31/53
![Page 45: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/45.jpg)
Recalage anatomo-fonctionnel
Recalage et fusion – p.31/53
![Page 46: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/46.jpg)
Un exemple de recalage non linéaire
(thèse d’Oscar Camara)
Recalage et fusion – p.32/53
![Page 47: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/47.jpg)
Un exemple de recalage non linéaire
(thèse d’Oscar Camara)
Recalage et fusion – p.32/53
![Page 48: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/48.jpg)
Un exemple de recalage non linéaire
(thèse d’Oscar Camara)
Recalage et fusion – p.32/53
![Page 49: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/49.jpg)
Un exemple de recalage non linéaire
(thèse d’Oscar Camara)
Recalage et fusion – p.32/53
![Page 50: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/50.jpg)
Un exemple de recalage non linéaire
(thèse d’Oscar Camara)
Recalage et fusion – p.32/53
![Page 51: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/51.jpg)
Un exemple de recalage non linéaire
(thèse d’Oscar Camara)
Recalage et fusion – p.32/53
![Page 52: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/52.jpg)
Un exemple de recalage non linéaire
(thèse d’Oscar Camara)
Recalage et fusion – p.32/53
![Page 53: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/53.jpg)
Un exemple de recalage non linéaire
(thèse d’Oscar Camara)
Recalage et fusion – p.32/53
![Page 54: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/54.jpg)
Un exemple de recalage non linéaire
(thèse d’Oscar Camara)
Recalage et fusion – p.32/53
![Page 55: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/55.jpg)
Evaluation : un exemple
Recalage et fusion – p.33/53
![Page 56: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/56.jpg)
Cas pathologiques (thèse d’Antonio Moreno)
Sans contraintes :
Recalage et fusion – p.34/53
![Page 57: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/57.jpg)
Cas pathologiques (thèse d’Antonio Moreno)
Avec contraintes sur la tumeur :
Recalage et fusion – p.34/53
![Page 58: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/58.jpg)
Recalage avec modèle de respiration (A. Moreno
et S. Chambon)
Recalage et fusion – p.35/53
![Page 59: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/59.jpg)
Recalage en protonthérapie
Recalage et fusion – p.36/53
![Page 60: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/60.jpg)
Recalage en protonthérapie
Recalage et fusion – p.36/53
![Page 61: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/61.jpg)
Recalage en protonthérapie
Recalage et fusion – p.36/53
![Page 62: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/62.jpg)
Recalage : quelques exemples de logiciels
• ITK
• Brain Visa
• FSL
• ...
Recalage et fusion – p.37/53
![Page 63: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/63.jpg)
ITK
http://www.itk.org/
Insight Segmentation and Registration Toolkit
Recalage et fusion – p.38/53
![Page 64: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/64.jpg)
BrainVisa
http://brainvisa.info/
BrainVISA is a software, which embodies an image processing factory. A simple control
panel allows the user to trigger some sequences of treatments on series of images.
These treatments are performed by calls to command lines provided by different
laboratories. These command lines, hence, are the building blocks on which are built the
assembly lines of the factory.
BrainVISA is distributed with a toolbox of building blocks dedicated to the segmentation
of T1-weighted MR images.
Recalage et fusion – p.39/53
![Page 65: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/65.jpg)
BrainVisa
http://brainvisa.info/
BrainVISA is a software, which embodies an image processing factory. A simple control
panel allows the user to trigger some sequences of treatments on series of images.
These treatments are performed by calls to command lines provided by different
laboratories. These command lines, hence, are the building blocks on which are built the
assembly lines of the factory.
BrainVISA is distributed with a toolbox of building blocks dedicated to the segmentation
of T1-weighted MR images.
Recalage et fusion – p.39/53
![Page 66: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/66.jpg)
FSL
http://www.fmrib.ox.ac.uk/fsl/
FSL is a comprehensive library of analysis tools for FMRI, MRI and DTI brain imaging
data, written mainly by members of the Analysis Group, FMRIB, Oxford, UK.
Recalage et fusion – p.40/53
![Page 67: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/67.jpg)
FSL
Recalage et fusion – p.40/53
![Page 68: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/68.jpg)
FSL
Recalage et fusion – p.40/53
![Page 69: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/69.jpg)
Nécessité de la fusion d’images
• techniques d’acquisition et sources de données multiples
• un capteur, plusieurs images
• plusieurs capteurs
• une image, plusieurs types d’informations
• images multi-dates, séquences
• phénomènes complexes
• problèmes complexes (détection, reconnaissance, interprétation)
• applications variées
Recalage et fusion – p.41/53
![Page 70: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/70.jpg)
Une définition
Combinaison d’informations issues de sources différentes
dans le but d’améliorer la décision
Recalage et fusion – p.42/53
![Page 71: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/71.jpg)
Spécificités de la fusion d’images
• Informations hétérogènes
• images de sources variées
• information extérieure, connaissance experte
• numérique / symbolique
• Information imparfaite
• incertitude / imprécision
• ambiguïté, incomplétude
• Complexité
• nombreuses techniques d’acquisition
• gros volumes de données
• redondance / complémentarité
• Information spatiale
• Vérité• existe (plus ou moins)
• difficile d’accès
• Objectivité / subjectivité
Recalage et fusion – p.43/53
![Page 72: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/72.jpg)
Classification et typologie
selon plusieurs points de vue :
• architecture, schémas de fusion
• données et leurs spécificités
• niveau d’information
• niveau de fusion
• méthodes
Recalage et fusion – p.44/53
![Page 73: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/73.jpg)
Niveaux de fusion
• Bas (pixels)
• Intermédiaire (primitives extraites des images)
• haut (objets)
⇒ pas les mêmes contraintes sur le recalage, sur la modélisation, etc.
Recalage et fusion – p.45/53
![Page 74: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/74.jpg)
Schéma général
F
C
C
C
...
...
1
2
3
n
I1 I
C
Il
M
M
M
M
M
M
M
M
M
M
2
M
... ... ... ...
x x x
12 l
2 M2
2
3 32
1
1
1
1n n
2
2
l
3l
l11
DDD 1 2 3
n
M
M
M
M
1
2
3
n
...
D?
Conflit ?
...
Recalage et fusion – p.46/53
![Page 75: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/75.jpg)
Système distribué ou centralisé ?
Distribué (fusion de décisions) :
• décision locale
• adéquation source / traitement, ajout de nouvelles sources
• faible coût de communication
• faible coopération entre les sources, problème de conflit
Centralisé :
• toute l’information
• pas de décision intermédiaire
• bande large de communication
Recalage et fusion – p.47/53
![Page 76: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/76.jpg)
Principales étapes
1. modélisation du problème et de l’information
2. estimation
3. combinaison
4. décision
Recalage et fusion – p.48/53
![Page 77: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/77.jpg)
Méthodes numériques
• probabilités
• fonctions de croyance
• ensemble flous, possibilités
⊲ Attention !
• ne modélisent pas exactement la même chose
• pas la même sémantique,
• pas le même pouvoir de représentation
• pas le même pouvoir de raisonnement
Apport des approches à base de connaissances
Recalage et fusion – p.49/53
![Page 78: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/78.jpg)
Reconnaissance guidée par un modèle structurel
Recalage et fusion – p.50/53
![Page 79: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/79.jpg)
Exemple en imagerie cérébrale
Fusion d’informations extraites des images et des connaissances structurelles dans un
modèle déformable
Recalage et fusion – p.51/53
![Page 80: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/80.jpg)
Exemples dans des cas pathologiques
Recalage et fusion – p.52/53
![Page 81: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/81.jpg)
Exemples dans des cas pathologiques
caudate nucleus (3)
tumor (1)
lateral ventricles (2)
Recalage et fusion – p.52/53
![Page 82: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/82.jpg)
Exemples dans des cas pathologiques
putamen (3)
tumor (1)
thalamus (2)
Recalage et fusion – p.52/53
![Page 83: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/83.jpg)
Exemple en imagerie thoracique TEP - TDM
Recalage et fusion – p.53/53
![Page 84: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/84.jpg)
Exemple en imagerie thoracique TEP - TDM
Recalage et fusion – p.53/53
![Page 85: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/85.jpg)
Exemple en imagerie thoracique TEP - TDM
Recalage et fusion – p.53/53
![Page 86: Recalage et fusion d’images médicales](https://reader031.vdocuments.mx/reader031/viewer/2022012508/6185b3571f2a904a57585212/html5/thumbnails/86.jpg)
Exemple en imagerie thoracique TEP - TDM
Recalage et fusion – p.53/53