gradient-based 2d/3d rigid registration of fluoroscopic x-ray to ct harel livyatan ziv yaniv leo...
TRANSCRIPT
![Page 1: Gradient-Based 2D/3D Rigid Registration of Fluoroscopic X-ray to CT Harel Livyatan Ziv Yaniv Leo Joskowicz Boukhriss Isameddine DEA DISIC 2004](https://reader038.vdocuments.mx/reader038/viewer/2022102923/551d9d8c497959293b8c1101/html5/thumbnails/1.jpg)
Gradient-Based 2D/3D Rigid Registration of
Fluoroscopic X-ray to CT
Harel LivyatanZiv YanivLeo Joskowicz
Boukhriss Isameddine DEA DISIC 2004
![Page 2: Gradient-Based 2D/3D Rigid Registration of Fluoroscopic X-ray to CT Harel Livyatan Ziv Yaniv Leo Joskowicz Boukhriss Isameddine DEA DISIC 2004](https://reader038.vdocuments.mx/reader038/viewer/2022102923/551d9d8c497959293b8c1101/html5/thumbnails/2.jpg)
Plan
Buts et spécifications Classification des techniques Problématique Protocoles de recalage Algorithme Paramétrage Expériences et résultats Conclusion
![Page 3: Gradient-Based 2D/3D Rigid Registration of Fluoroscopic X-ray to CT Harel Livyatan Ziv Yaniv Leo Joskowicz Boukhriss Isameddine DEA DISIC 2004](https://reader038.vdocuments.mx/reader038/viewer/2022102923/551d9d8c497959293b8c1101/html5/thumbnails/3.jpg)
Buts et spécifications
Développer une méthode de recalage entre les images
X et les images CT Exactitude : un taux d’erreur en moyenne entre
1 et 1.5 mm et entre 2 et 3 mm au pire des cas Robustesse : réussite au premier test avec un
taux de réussite=95% Vitesse : le recalage doit prendre au max 1 mn Interactivité : simple et minime pendant les
phases interopératives et préopératoires
![Page 4: Gradient-Based 2D/3D Rigid Registration of Fluoroscopic X-ray to CT Harel Livyatan Ziv Yaniv Leo Joskowicz Boukhriss Isameddine DEA DISIC 2004](https://reader038.vdocuments.mx/reader038/viewer/2022102923/551d9d8c497959293b8c1101/html5/thumbnails/4.jpg)
Problématique
Il s’agit de trouver la transformation rigide qui relie le model préopératoire de CT et les images X (prises juste avant l’opération)
Cette transformation peut être trouvée par un trackeur de position et un système interopératoire de raffinement des prises des images X
![Page 5: Gradient-Based 2D/3D Rigid Registration of Fluoroscopic X-ray to CT Harel Livyatan Ziv Yaniv Leo Joskowicz Boukhriss Isameddine DEA DISIC 2004](https://reader038.vdocuments.mx/reader038/viewer/2022102923/551d9d8c497959293b8c1101/html5/thumbnails/5.jpg)
Classification des techniques
Algorithmes à base géométrique Algorithmes à base d’intensité
GRADIENT-BASED
Point/
Point
Point/
Surface
Contour/
Surface
Surface/
Surface
ROIs/
ROIs
Image/
Image
Less Data
More Data
1 2 3 4 5 6
GEOMETRY-BASED INTENSITY-BASED
La méthode
![Page 6: Gradient-Based 2D/3D Rigid Registration of Fluoroscopic X-ray to CT Harel Livyatan Ziv Yaniv Leo Joskowicz Boukhriss Isameddine DEA DISIC 2004](https://reader038.vdocuments.mx/reader038/viewer/2022102923/551d9d8c497959293b8c1101/html5/thumbnails/6.jpg)
Vue globale du système
bonect
tracbonei
tracensifiericamera
ensifiericameract TTTTT ..).()()( ker1ker
intint
![Page 7: Gradient-Based 2D/3D Rigid Registration of Fluoroscopic X-ray to CT Harel Livyatan Ziv Yaniv Leo Joskowicz Boukhriss Isameddine DEA DISIC 2004](https://reader038.vdocuments.mx/reader038/viewer/2022102923/551d9d8c497959293b8c1101/html5/thumbnails/7.jpg)
Protocoles de recalage
On obtient off-line 3 structures de données des images CT :
1. Un maillage surfacique de l’organe2. Un octree de sphère englobbante appliqué à
ce maillage3. Gradient du modèle 3D On prend 2-5 images X Calcul de bonectT
![Page 8: Gradient-Based 2D/3D Rigid Registration of Fluoroscopic X-ray to CT Harel Livyatan Ziv Yaniv Leo Joskowicz Boukhriss Isameddine DEA DISIC 2004](https://reader038.vdocuments.mx/reader038/viewer/2022102923/551d9d8c497959293b8c1101/html5/thumbnails/8.jpg)
Bounding sphere octree
![Page 9: Gradient-Based 2D/3D Rigid Registration of Fluoroscopic X-ray to CT Harel Livyatan Ziv Yaniv Leo Joskowicz Boukhriss Isameddine DEA DISIC 2004](https://reader038.vdocuments.mx/reader038/viewer/2022102923/551d9d8c497959293b8c1101/html5/thumbnails/9.jpg)
Bounding sphere octree
![Page 10: Gradient-Based 2D/3D Rigid Registration of Fluoroscopic X-ray to CT Harel Livyatan Ziv Yaniv Leo Joskowicz Boukhriss Isameddine DEA DISIC 2004](https://reader038.vdocuments.mx/reader038/viewer/2022102923/551d9d8c497959293b8c1101/html5/thumbnails/10.jpg)
Bounding sphere octree
![Page 11: Gradient-Based 2D/3D Rigid Registration of Fluoroscopic X-ray to CT Harel Livyatan Ziv Yaniv Leo Joskowicz Boukhriss Isameddine DEA DISIC 2004](https://reader038.vdocuments.mx/reader038/viewer/2022102923/551d9d8c497959293b8c1101/html5/thumbnails/11.jpg)
Bounding sphere octree
Smallest bounding sphere
8 fils pour chaque nœud
![Page 12: Gradient-Based 2D/3D Rigid Registration of Fluoroscopic X-ray to CT Harel Livyatan Ziv Yaniv Leo Joskowicz Boukhriss Isameddine DEA DISIC 2004](https://reader038.vdocuments.mx/reader038/viewer/2022102923/551d9d8c497959293b8c1101/html5/thumbnails/12.jpg)
Bounding sphere octree
Successive smallest bounding sphere approximation of a proximal femur
surface mesh
![Page 13: Gradient-Based 2D/3D Rigid Registration of Fluoroscopic X-ray to CT Harel Livyatan Ziv Yaniv Leo Joskowicz Boukhriss Isameddine DEA DISIC 2004](https://reader038.vdocuments.mx/reader038/viewer/2022102923/551d9d8c497959293b8c1101/html5/thumbnails/13.jpg)
Algorithme
L’algorithme se divise en 3 étapes. Les deux premières
étapes sont basées sur des travaux précédents :
Estimation de la position initiale Recalage grossier sur les contours de l’organe Recalage par projection du gradient sur les
pixels de contour
![Page 14: Gradient-Based 2D/3D Rigid Registration of Fluoroscopic X-ray to CT Harel Livyatan Ziv Yaniv Leo Joskowicz Boukhriss Isameddine DEA DISIC 2004](https://reader038.vdocuments.mx/reader038/viewer/2022102923/551d9d8c497959293b8c1101/html5/thumbnails/14.jpg)
Estimation de la position initiale
Elle peut se faire par différents moyens:
Précisions cliniques
Points marqueurs (chirurgien)
Marquer des points sur la surface des données CT et les tracker sur les images X par un suiveur de point
! Quelle que soit la méthode : l’estimation est entre 10 et 20 mm et entre 5 à 15° par rapport à la position finale
![Page 15: Gradient-Based 2D/3D Rigid Registration of Fluoroscopic X-ray to CT Harel Livyatan Ziv Yaniv Leo Joskowicz Boukhriss Isameddine DEA DISIC 2004](https://reader038.vdocuments.mx/reader038/viewer/2022102923/551d9d8c497959293b8c1101/html5/thumbnails/15.jpg)
Recalage sur les contours
de l’organe
Cette opération réduit la distance entre le maillage surfacique sphérique de l’organe et l’échantillon des points de contour des images X
Le contour de l’organe des images X est extrait avec l’algorithme de segmentation live-wire
Cette opération de recalage est réalisée grâce à l’algorithme ICP : iterative closest point
![Page 16: Gradient-Based 2D/3D Rigid Registration of Fluoroscopic X-ray to CT Harel Livyatan Ziv Yaniv Leo Joskowicz Boukhriss Isameddine DEA DISIC 2004](https://reader038.vdocuments.mx/reader038/viewer/2022102923/551d9d8c497959293b8c1101/html5/thumbnails/16.jpg)
Algorithme de segmentation live-wire
Choix d’un chemin dans un graphe parmi tous les graphes associés à tous
les pixels
(Dijkstra)
![Page 17: Gradient-Based 2D/3D Rigid Registration of Fluoroscopic X-ray to CT Harel Livyatan Ziv Yaniv Leo Joskowicz Boukhriss Isameddine DEA DISIC 2004](https://reader038.vdocuments.mx/reader038/viewer/2022102923/551d9d8c497959293b8c1101/html5/thumbnails/17.jpg)
Iterative Closest Point
Soit p un ensemble de points et X une surface de référence
1. K=0 et P(0)=P
2. Calcul de l’ensemble Y(k), « projection » de P(k) sur X
3. Calcul de q(k) =[qR|qT]T qui met en
correspondance P avec Y(k)
4. Calcul de P(k+1)= q(k)(P)
5. Arrêt si la convergence est satisfaisante sinon incrémenter K et revenir à l’étape 2
![Page 18: Gradient-Based 2D/3D Rigid Registration of Fluoroscopic X-ray to CT Harel Livyatan Ziv Yaniv Leo Joskowicz Boukhriss Isameddine DEA DISIC 2004](https://reader038.vdocuments.mx/reader038/viewer/2022102923/551d9d8c497959293b8c1101/html5/thumbnails/18.jpg)
Iterative Closest Point
Exemple d’exécution de l’algorithme ICP
![Page 19: Gradient-Based 2D/3D Rigid Registration of Fluoroscopic X-ray to CT Harel Livyatan Ziv Yaniv Leo Joskowicz Boukhriss Isameddine DEA DISIC 2004](https://reader038.vdocuments.mx/reader038/viewer/2022102923/551d9d8c497959293b8c1101/html5/thumbnails/19.jpg)
Projection du gradient
Quand les images CT sont alignées avec l’anatomie réelle, les rayons X passent à travers les pixels du contour sont tangents à la surface de l’organe
Ces rayons passent par des maxima locaux du module du gradient volumique
![Page 20: Gradient-Based 2D/3D Rigid Registration of Fluoroscopic X-ray to CT Harel Livyatan Ziv Yaniv Leo Joskowicz Boukhriss Isameddine DEA DISIC 2004](https://reader038.vdocuments.mx/reader038/viewer/2022102923/551d9d8c497959293b8c1101/html5/thumbnails/20.jpg)
Optimisation
Soit T une matrice de transformation 6D
dpTVThT
vTpTGP ))((1(.)~,(
edgespT
pTGPT~
)~,(maxargˆ
dpVpr
hT
vTp ))((.)~(.)~Im(
E
![Page 21: Gradient-Based 2D/3D Rigid Registration of Fluoroscopic X-ray to CT Harel Livyatan Ziv Yaniv Leo Joskowicz Boukhriss Isameddine DEA DISIC 2004](https://reader038.vdocuments.mx/reader038/viewer/2022102923/551d9d8c497959293b8c1101/html5/thumbnails/21.jpg)
Analyse
Calculer le gradient en volume des images CT en sur -échantillonnant dans une résolution de 0.5 mm3
Extraire les pixels du contour de chaque image X et construire l’ensemble des rayons qui passent à travers ces pixels(Canny)
Appliquer après la méthode du Downhill simplex sur
la fonction E
!Le calcul est fait en échantillonnant chaque rayon
dans des intervalles de 1mm.
![Page 22: Gradient-Based 2D/3D Rigid Registration of Fluoroscopic X-ray to CT Harel Livyatan Ziv Yaniv Leo Joskowicz Boukhriss Isameddine DEA DISIC 2004](https://reader038.vdocuments.mx/reader038/viewer/2022102923/551d9d8c497959293b8c1101/html5/thumbnails/22.jpg)
ParamétrageCategory Parameter Description
Default value
1. 3D model Marching Cubes iso-value 1200
Sphere Tree maximal depth 7
2. Livewire # of points input by user 6-10
200# of contour points per image
3. ICP Max # of iterations 1000
4. Fluoro X-ray images Gaussian mask(,) (0,1)
Lower threshold Lower 5% of grad. mag.
Upper threshold Upper 10% of grad. mag.
Min contour length 30 pixels
# of images 3-5
5. CT volume Gaussian mask(,) (0,1/1024)
Ray sampling interval 1mm
6. Downhill simplex optimisation Contraction 0.5
Expansion 2
Reflection 1
Max. # of iterations 5000
Intenal Simplex delta threshold 10-3
External Simplex delta threshold 10-3
![Page 23: Gradient-Based 2D/3D Rigid Registration of Fluoroscopic X-ray to CT Harel Livyatan Ziv Yaniv Leo Joskowicz Boukhriss Isameddine DEA DISIC 2004](https://reader038.vdocuments.mx/reader038/viewer/2022102923/551d9d8c497959293b8c1101/html5/thumbnails/23.jpg)
Expériences
Les expériences ont été réalisées dans plusieurs situations : Simulation avec des données cliniques Ct et des
images simulées X Des expériences in-vitro avec des organes secs Des expériences sur des cadavres Sur les organes suivants : fémur humain, vertèbre,
bassin et hanche d’agneau Le calcul s’est fait sur un PC windows XP 2.4 GHZ
avec 1GB de RAM.
![Page 24: Gradient-Based 2D/3D Rigid Registration of Fluoroscopic X-ray to CT Harel Livyatan Ziv Yaniv Leo Joskowicz Boukhriss Isameddine DEA DISIC 2004](https://reader038.vdocuments.mx/reader038/viewer/2022102923/551d9d8c497959293b8c1101/html5/thumbnails/24.jpg)
Résultats
Model CT Position initiale et finale de recalage
![Page 25: Gradient-Based 2D/3D Rigid Registration of Fluoroscopic X-ray to CT Harel Livyatan Ziv Yaniv Leo Joskowicz Boukhriss Isameddine DEA DISIC 2004](https://reader038.vdocuments.mx/reader038/viewer/2022102923/551d9d8c497959293b8c1101/html5/thumbnails/25.jpg)
Data set Step Final sTRE
ΔxΔy Δz Δx ΔyΔz(mm) (degree)
Time(secs)
Simulation1. real pelvis
Initial Coarsefine
9.51.70.5
5.3 3.5 4.8 0.8 1.2 1.32.7 1.3 2.4 0.6 0.7 0.60.2 0.3 0.2 0.1 0.1 0.2
5.3139.9
In-vitro2. dry vertebra 3. dry femur
Initial CoarseFine Initial CoarseFine
9.63.60.5
9.82.31.3
3.7 6.4 4.5 3.1 3.9 3.13.5 3.7 3.5 3.5 3.5 1.90.5 0.1 0.4 0.2 0.1 0.2 3.9 4.6 4.8 6.6 4.2 4.61.6 1.3 1.4 3.1 1.0 3.20.3 0.7 0.9 1.2 0.6 1.4
4.6
268.9
3.858.3
Cadaver4. lamb hip 5. human pelvis
Initial CoarseFine Initial CoarseFine
9.82.11.4
9.86.51.7
5.0 5.6 5.0 1.9 0.9 1.74.1 1.5 4.1 4.1 4.1 8.04.8 1.3 1.9 4.4 0.5 3.7 4.4 5.0 6.5 1.8 1.2 0.55.5 2.9 5.5 5.5 5.5 2.52.0 0.4 0.3 0.7 0.1 0.4
24.236.4
4.7153.4
Résultats
![Page 26: Gradient-Based 2D/3D Rigid Registration of Fluoroscopic X-ray to CT Harel Livyatan Ziv Yaniv Leo Joskowicz Boukhriss Isameddine DEA DISIC 2004](https://reader038.vdocuments.mx/reader038/viewer/2022102923/551d9d8c497959293b8c1101/html5/thumbnails/26.jpg)
Étude comparative
Comme la technique géométrique elle est basée sur les pixels de contour
Cependant elle ne dépend pas de la segmentation Comme la technique à base d’intensité, elle
utilise sélectivement toutes les données CT sans segmentation
Cependant elle définie automatiquement les ROIs
ce qui accélère le calcul.
![Page 27: Gradient-Based 2D/3D Rigid Registration of Fluoroscopic X-ray to CT Harel Livyatan Ziv Yaniv Leo Joskowicz Boukhriss Isameddine DEA DISIC 2004](https://reader038.vdocuments.mx/reader038/viewer/2022102923/551d9d8c497959293b8c1101/html5/thumbnails/27.jpg)
Conclusion et perspectives
La convergence de cette technique croit avec chaque étape mais devient plus lourde à chaque passage
L’une des perspectives est d’intégrer cette technique dans un système totalement automatique pour la navigation et le positionnement des organes à traiter