bildnachverarbeitung teil 1: visualisierung und segmentierung
TRANSCRIPT
T. Baumann · M. LangerAbteilung Röntgendiagnostik, Universitätsklinikum Freiburg, Freiburg
Bildnachverarbeitung Teil 1: Visualisierung und Segmentierung
Befördert durch den stetigen Fortschritt der Informationstechnologie steht insbe-sondere für die Bearbeitung und Befun-dung umfangreicher Schnittbilddatensät-ze eine große Zahl verschiedener Nach-verarbeitungsmöglichkeiten zur Verfü-gung und es ist zu erwarten, dass deren Einsatzgebiete, Qualität und Geschwin-digkeit weiter zunehmen werden. Aus der Sicht des Radiologen sind die wachsen-de Bilderflut, die immer spezifischeren Anforderungen der Zuweiser, v. a. auch im Hinblick auf quantitative Auswertun-gen, und die zunehmende Spezialisierung der Untersuchungsprotokolle gute Grün-de, sich mit dieser Technologie auseinan-derzusetzen und deren Möglichkeiten für sich nutzbar zu machen.
Unter „moderner Nachverarbeitung“ sollen hier Methoden verstanden wer-den, die Bildinformationen aus mehreren Schichten, Serien oder Untersuchungen integrieren und daraus neue Bilder, Se-rien, Graphen oder Parameter syntheti-sieren.
Globale Visualisierungsmethoden
Hierunter werden Darstellungsformen verstanden, die aus einem Volumenda-tensatz neue Ansichten bzgl. Projektions-richtung und Repräsentation der Inten-sitätswerte erstellen. Die einfachste und heute nahezu ubiquitär angewendete Me-thode aus dieser Gruppe ist die multipla-nare Rekonstruktion (MPR), bei der neue Schichten oder Schichtstapel in einer frei
wählbaren Ebene rekonstruiert werden. Wird diesen Schichten eine bestimm-te Dicke zugewiesen, können die in ihr enthaltenen Signalwerte entweder gemit-telt werden (meist als „thickMPR“, „ave-rageMPR“ bezeichnet), es wird der höchs-te Wert dargestellt („maximum intensi-ty projection“, MIP) oder der niedrigs-te Wert („minimum intensity projection“, MinIP). Während häufig standardisierte MPRs bereits am Scanner rekonstruiert und dann bei der Befundung als norma-le Serien betrachtet werden, ist der größ-te Informationsgewinn dann zu erzielen, wenn Schichtebene, -dicke und Darstel-lungsmethode interaktiv bei der Befun-dung eines dünnschichtigen Primärda-tensatzes gewählt und verändert werden können.
Aufgrund der verbesserten Verfolg-barkeit tubulärer, signalreicher Struktu-ren, also v. a. von kontrastierten Gefäßen, wird die MIP häufig in Verbindung mit der CT- oder MR-Angiographie einge-setzt (. Abb. 1a). Aber nicht nur die Vi-sualisierung der Gefäße selbst, sondern auch ihre gute Abgrenzbarkeit gegen-über nichttubulären Strukturen wird dia-gnostisch genutzt, z. B. für die Identifika-tion von Lungenrundherden [1]. Die Mi-nIP bietet dagegen Vorteile bei der Quan-tifizierung der Lungenbelüftung und bei der Identifikation von Perfusionsinhomo-genitäten [2]. Bei MIP und MinIP hat die Schichtdicke einen entscheidenden Ein-fluss auf das Ergebnis (. Abb. 1b, c, d, e). Wird die Schicht zu dick gewählt, kön-nen wichtige Informationen verloren ge-
hen. Bei der Nachverarbeitung des ge-samten Aufnahmevolumens wird bei der MIP meist eine Überlagerung durch Kno-chen und bei der MinIP durch umgeben-de Luft auftreten. Aber auch bei dünne-ren Schichten kann es noch zu einer ver-fälschten Darstellung kommen. Findet sich in einem Gefäß beispielsweise ein umflossener Thrombus, kann dieser einer MIP-Darstellung entgehen, wenn die Schichtdicke größer oder gleich dem Ge-fäßdurchmesser ist (. Abb. 1e). Eine An-passung der Parameter an die Zielstruk-tur ist also erforderlich. Auch dieser Um-stand spricht für eine interaktive Nachver-arbeitung während der Betrachtung/Be-fundung, da die Darstellung so für ver-schiedene Abschnitte im Bild separat op-timiert werden kann. Für eine standardi-sierte Nachverarbeitung ist zumindest zu empfehlen, überlappende Schichten zu re-konstruieren (Schichtabstand <Schicht-dicke), um Partialvolumeneffekte unter-schiedlich auf die Einzelschichten zu ver-teilen.
Ebenso zur Gruppe der globalen Al-gorithmen gehört das häufig als Inbegriff der 3-D-Darstellung angesehene „volu-me rendering“ („volume rendering tech-nique“, VRT). Dabei wird der Volumen-datensatz von einem virtuellen Punkt aus „betrachtet“. In einem gewissen Abstand zwischen Objekt und Betrachter wird eine Betrachtungsebene definiert, auf die wie bei einer Mattscheibe die Informatio-nen der beleuchteten, dreidimensionalen Szene projiziert werden. Diese Projek-tion entspricht der Ausgabe auf den Bild-
Informationstechnologie und Management
Radiologe 2013 DOI 10.1007/s00117-013-2513-6© Springer-Verlag Berlin Heidelberg 2013
1Der Radiologe 2013 |
schirm. Die physikalischen Grundlagen der Interaktion zwischen Licht und Ma-terie, die diesem Verfahren zugrunde lie-gen, sind schon lange bekannt, wobei für die in der Radiologie vorkommenden Sze-narien die Gesetze der geometrischen Op-tik ausreichen. Auch wenn manche Teillö-sungen schon länger existieren, kann die 1986 publizierte Renderinggleichung als mathematische Grundlage der VRT an-gesehen werden [3].
Eine numerische Lösung stellt das so genannte „raycasting“ dar, bei dem von je-dem Pixel der Betrachtungsebene aus (al-so umgekehrt zum theoretischen Licht-strahl) ein Strahl in das Objekt gesendet wird. Dieser Strahl akkumuliert dabei die Eigenschaften der einzelnen Voxel, die er passiert, wobei die Intensitätswerte in eine Farbinformation und eine Transpa-renz übertragen werden (. Abb. 2). In der konkreten Umsetzung wird die Opa-zität (Kehrwert der Transmission) statt
der Transparenz verwendet. Eine Opa-zität von 0 beschreibt ein durchsichtiges Voxel, wohingegen eine Opazität von 1 einen vollständig undurchsichtigen Vo-lumenabschnitt kennzeichnet. Den Zu-sammenhang zwischen Signalwert, Far-be und Opazität beschreibt die Übertra-gungsfunktion. Durch Manipulation die-ser Funktion oder die Auswahl bestimm-ter vordefinierter Einstellungen („templa-
Zusammenfassung · Abstract
Radiologe 2013 · [jvn]:[afp]–[alp]DOI 10.1007/s00117-013-2513-6© Springer-Verlag Berlin Heidelberg 2013
T. Baumann · M. Langer
Bildnachverarbeitung Teil 1: Visualisierung und Segmentierung
ZusammenfassungFür die Nachverarbeitung insbesondere gro-ßer Schnittbilddatensätze stehen vielseiti-ge und immer komplexer werdende Algo-rithmen zur Verfügung. Die grundlegenden Techniken der Visualisierung, Segmentierung und Analyse werden in diesem Artikel vorge-stellt. Dabei liegt der Fokus auf den bereits heute in vielen Befundungsprogrammen in-tegrierten Verfahren, wie multiplanare Re-konstruktion, „volume rendering“ und einfa-chen Segmentierungen. Darauf aufbauend werden komplexere Verfahren eingeführt und deren potenzielle Bedeutung für die „Ra-diologie von morgen“ skizziert.
SchlüsselwörterBefundungsprogramme · Bildprozessierung · Dreidimensional · Visualisierung · Analyse
Image post-processing, part 1: visualization and segmentation
AbstractImage post-processing of large thin-slice ra-diological datasets relies on increasingly di-verse and complex algorithms. Basic tech-niques of visualization, segmentation and da-ta analysis will be presented in this article fo-cusing on methods which are integrated into the majority of current viewing and reporting tools, such as multiplanar reformation, vol-ume rendering or basic segmentation. Subse-quently, more complex methods and a possi-ble role of post-processing algorithms in the radiology of the future will be discussed.
KeywordsReporting tools · Image processing · 3 dimensional · Visualization · Analysis
Abb. 1 8 Schema der „maximum intensity projection“ (MIP). a Ein schräg durch die gewählte Schicht verlaufendes Gefäß wird in den Abschn. 1 und 3 bei der normalen Rekonstruktion zum Rand hin aus-laufen und verblassen. Dieser Effekt wird durch die MIP verhindert. b, c Axiale und koronare multipla-nare Rekonstruktionen (MPRs) einer Lungenembolie in der CT erlauben nur eine kurzstreckige Visuali-sierung der Gefäße. d Die koronare MIP zeigt längere, embolisierte Gefäßabschnitt. e Wird die Schicht-dicke zu hoch gewählt, kommen umflossene Emboli nicht mehr zur Darstellung; nur die kleinen voll-ständig verschlossenen Äste können gut erkannt werden
2 | Der Radiologe 2013
tes“) wird der visuelle Eindruck der VRT bestimmt.
Abschnittsweise Visualisierung
Viele Algorithmen greifen nur Anteile des Datensatzes heraus, um diese in besonde-rer Weise zu visualisieren oder weiterge-
hende Analysen an ihnen vorzunehmen. Als Visualisierungsverfahren ist die ge-krümmte Reformatierung („curved pla-nar reformat“, CPR) am häufigsten an-zutreffen (. Abb. 3). Hierbei werden die Intensitäten der resultierenden Pixel zwar wie bei der MPR, MIP oder MinIP festge-legt, die entsprechende Schicht wird aber
nicht durch eine für alle Bildbereiche glei-che Angulierung im Volumendatensatz erreicht. Stattdessen wird zunächst eine Linie im Datensatz festgelegt, die sog. „centerline“ (CL). Die Schichtebene wird dann so gewählt, dass sie diese Linie aus einer bestimmten Blickrichtung vollstän-dig enthält, also gekrümmt ist. Der Blick-
Abb. 2 9 Schema des volu-me rendering (VRT). Oben wird die virtuelle Blickrich-tung auf einen Abschnitt der abdominellen Aorta gezeigt. Die weitere Dar-stellung bezieht sich auf ein fiktives Intensitätsprofil aus diesem Bereich (rote Li-nie). Die Voxel werden der Blickrichtung nach mit den Transferfunktionen 1 und 2 verarbeitet und so die HU-Werte (Hounsfield units, Hounsfield-Einheiten) in Farben und Opazitäten übertragen. Die Überlage-rung der so gewonnen Bil-deigenschaften ergibt den endgültigen Bildeindruck
Abb. 3 9 „Curved planar re-format“ (CPR) in der Kardio-CT. Die „centerline“ wird au-tomatisch extrahiert und erlaubt gekrümmte, ge-streckte und perpendiku-läre Rekonstruktionen des Gefäßes. Auf der gestreck-ten Ansicht fallen die star-ken Verzerrungen bereits in geringem Abstand zum Gefäß auf
3Der Radiologe 2013 |
winkel auf die CL ist dabei frei wählbar und erlaubt z. B. die Rotation um einen Gefäßverlauf.
In zweiter Linie können dann eben-falls zur CL parallelverschobene oder senkrechte Ebenen rekonstruiert wer-den, um beispielsweise Gefäßquerschnit-te durch stenosierte Abschnitte zu erzie-len. Für die Bildqualität und Aussage-kraft ist die Wahl der CL entscheidend. Sie kann automatisch erfolgen (der Rech-ner erkennt selbständig ein Gefäß und verfolgt es), semiautomatisch (der Benut-zer markiert das Zielgefäß, aber die Linie
wird automatisch berechnet) oder manu-ell (durch viele Klicks entlang einer Struk-tur wird die gesamte Linie vom Benutzer vorgegeben). Automatische und semi-automatische Verfahren beruhen dabei auf homogenen und von der Umgebung stark unterschiedlichen Signalwerten in der Zielstruktur, wie bei einem kontras-tierten Gefäß, einer röntgendichten Drai-nage oder Luft im Darm (CT-/MR-Kolo-nographie). In der resultierenden Bildebe-ne kann die CL nochmals gestreckt wer-den, sodass die Zielstruktur einen schein-bar geraden Verlauf annimmt und leich-
ter inspiziert werden kann. Bei dickeren und stark geschlängelten Gefäßen kann es dabei jedoch zu deutlichen Verzerrungen schon im Bereich der Gefäßwand selbst kommen, sodass die Darstellung durch gezielt angulierte MPRs ergänzt werden sollte.
Segmentierung
Eine echte abschnittsweise Nachverarbei-tung oder Visualisierung bedarf vorher einer Aufteilung des Datensatzes, der so genannten Segmentierung. Neben einer
63
64
33
60
65
53
37
51
52 92 91
11
9
61
51
35
25
54
62
26
56
91
53
47
92
93
93
95
94
90
8
91
90
14
12
7
15
17
93
95
92
9
11
12
9
8
94
90
11
9
61
51
35
25
54
62
63
64
33
26
56
60
65
53
37
91
53
51
52
47
92
93
93
95
92
94
90
8
91
90
91
14
12
7
15
17
93
95
92
9
11
12
9
8
94
90
11
9
61
51
35
25
54
62
63
64
33
26
56
65
53
37
91
53
51
52
47
92
93
93
95
92
94
90
8
91
90
91
14
12
7
15
17
93
95
92
9
11
12
9
8
94
90
60
11
9
61
51
35
25
54
62
63
64
33
26
56
60
65
53
37
91
53
51
52
47
92
93
93
95
92
94
90
8
91
90
91
14
12
7
15
17
93
95
92
9
11
12
9
8
94
90
manuell Schwellwert ≥ 60 region growing ± 10 modellbasiert
11
9
61
51
35
25
54
62
63
64
33
26
56
60
65
53
37
91
53
51
52
47
92
93
93
95
92
94
90
8
91
90
91
14
12
7
15
17
93
95
92
9
11
12
9
8
94
90
63
64
33
60
65
53
37
51
52 92 91
11
9
61
51
35
25
54
62
26
56
91
53
47
9299999999999999999999999999999999999
999939999999993999999999999999999999999999999999999999999999399999999999999933
93
95
94
90
8
91
90
14
12
7
15
17
93
95
92
9
11
12
9
8
94
90
11
9
61
51
35
25
54
62
63
64
33
26
56
60
65
53
37
91
53
51
52
47
92
93
93
95
92
94
90
8
91
90
91
14
12
7
15
17
93
95
92
9
11
12
9
8
94
90
11
9
61
51
35
25
54
62
63
64
33
26
56
65
53
37
91
53
51
52
47
92
93
93
95
92
94
90
8
91
90
91
14
12
7
15
17
93
95
92
9
11
12
9
8
94
90
60
11
9
61
51
35
25
54
62
63
64
33
26
56
60
65
53
37
91
53
51
52
47
92
93
93
95
92
94
90
8
91
90
91
14
12
7
15
17
93
95
92
9
11
12
9
8
94
90
manuell Schwellwert ≥ 60 region growing ± 10 modellbasiert
11
9
61
51
35
25
54
62
63
64
33
26
56
60
65
53
37
91
53
51
52
47
92
93
93
95
92
94
90
8
91
90
91
14
12
7
15
17
93
95
92
9
11
12
9
8
94
90
Abb. 4 8 Segmentierungsalgorithmen. Die Funktionsweise wird für eine fiktives Raster von Intensitäten und eine abdomi-nelle CT-Angiographie (CTA) Illustriert. Die manuelle Segmentierung erfolgt durch Umfahrung beliebiger Bildbereiche mit dem Cursor. Das Schwellwertverfahren betrachtet nur die Intensitätswerte (für die CTA >550 HU). Das „region growing“ mar-kiert zusammenhängende Bereiche ähnlicher Intensität ausgehend von einem bestimmten Startpunkt (roter Kasten). Auf-grund der starken Kontrastierung des Nierenkortex werden hier sowohl Gefäße als auch die Nieren selektiert. Das modellba-sierte Verfahren erkennt komplexere Bildmerkmale, hier signalreiche und verzweigte Strukturen. In der CTA werden so nur die Aorta und ihre Äste markiert
4 | Der Radiologe 2013
Informationstechnologie und Management
verbesserten Visualisierung bildet die Seg-mentierung die Grundlage dafür, Ober-flächen, Volumina und räumliche Bezie-hungen bestimmter Strukturen mathema-tisch zu definieren und so ggf. einer weite-ren Verarbeitung zuzuführen. Gerade das Volumen von Organen und Tumoren ge-winnt als therapeutischer Entscheidungs- und Verlaufsparameter zunehmend an Bedeutung. Die Lebervolumetrie zur Re-sektionsplanung [4], die Nierenvolumet-rie zur Berechnung der seitengetrennten Funktion [5] und die volumetrische Re-sponsebeurteilung unter Chemotherapie [6] seien hier nur als Beispiele genannt.
Methoden der Segmentierung exis-tieren von sehr einfach bis hin zu hoch-komplexen Sequenzen von Einzelalgo-rithmen (. Abb. 4). Das einfachste Ver-fahren ist die manuelle Umfahrung von Regionen auf VRT-Darstellungen oder auf einer Serie von Einzelschichten. Wei-ter fortgeschrittene Algorithmen bezie-hen Informationen über die Homogenität der Signalwerte im Zielvolumen mit ein und können anhand von Schwellwerten („thresholding“) und räumlicher Konti-nuität von Voxeln („region growing“) ein Teilvolumen ausgehend von einem vor-her selektierten Punkt im Datensatz seg-mentieren. Diese Möglichkeiten sind heu-te in vielen Nachverarbeitungsprogram-men vorhanden und erlauben eine flexib-le Kombination der Methoden. Je kom-plexer die Geometrie der Zielstruktur ist, je schwieriger sie von der Umgebung ab-zugrenzen ist und je genauer die Segmen-tierung erfolgen muss, desto schwieriger und langwieriger wird es, mit diesen ein-fachen Verfahren ein gutes und v. a. repro-duzierbares Ergebnis zu erzielen.
Um für solche Aufgabenstellungen eine schnelle und zuverlässige Segmen-tierung zu gewährleisten, müssen kom-plexe und spezialisierte Techniken einge-setzt werden. Im Rahmen modellbasier-ter Algorithmen kann hier der Datensatz nach geometrischen, anatomischen oder statistischen Informationen durchsucht werden. Diese Suchkriterien können ent-weder abstrakt formuliert oder anhand manuell bearbeiteter Testdatensätze ge-lernt werden. Für die Segmentierung des Bronchialbaums in der CT könnten sie beispielsweise so lauten: „Gesucht wer-den tubuläre Strukturen mit einer Dichte
von −1000 HU im Zentrum und zirkulär höherer Dichte am Rand, die sich dicho-tom in einen Baum verzweigen und deren Durchmesser mit zunehmender Teilung abnimmt, wobei der dickste Tubus unge-fähr in der mittsagittalen Ebene liegt und kraniokaudal verläuft.“
Ausblick
Der Fortschritt auf dem Gebiet der Bild-nachverarbeitung ist beträchtlich, sodass bereits für viele Fragestellungen schnel-le, robuste und exakte Algorithmen zur Verfügung stehen, die mit einem im-mer geringeren Grad an Benutzerinter-aktion bzw. manuellen Korrekturen aus-kommen. Abgesehen von den grundle-genden Visualisierungsmethoden wer-den die komplexeren Algorithmen da-bei meist im Rahmen spezialisierter An-wendungen angeboten. Der Anwender wird sich also nur diejenigen Program-me zulegen, die zu seinem inhaltlichen Schwerpunkt passen und von denen er sich hier einen Vorteil verspricht.Die Breite an bereits existierenden Al-gorithmen wird in Zukunft jedoch auch einen ganzheitlicheren Ansatz der Bild-nachverarbeitung ermöglichen. Stellt man sich vor, dass in einer beliebigen Untersuchung wesentliche anatomische Landmarken sowie die Konturen und Vo-lumina der wichtigsten Organe automa-tisch identifiziert werden können, ergibt sich ein neues Koordinatensystem, das sich nicht nur auf geometrische Infor-mationen stützt, sondern verschiedene Bildbereiche mit tatsächlichen medizini-schen Inhalten verknüpft. Daraus ergibt sich eine Fülle an neuen Möglichkeiten [7, 8, 9]. Beispielsweise können Läsionen bei Verlaufsuntersuchungen automatisch anhand ihrer Position in diesem Koordi-natensystem wiedergefunden werden. Zudem könnten Veränderungen des Vo-lumens oder der Texturen von Organen und Läsionen automatisch mit Labor-werten und anderen nichtradiologischen Untersuchungen verlinkt und gemein-sam analysiert werden. Eine entschei-dende Voraussetzung für derartige An-sätze sind entsprechend standardisier-te und strukturierte Lexika und Vokabu-lare, so genannte Ontologien, die die in-
haltlichen Bezüge und Bedeutungen für den Computer zugänglich machen. Diese semantische Annotation und Analyse hat das Potenzial, die Bildnachverarbeitung und ihre Bedeutung für die radiologische Diagnostik in den kommenden Jahren grundsätzlich zu verändern.
Korrespondenzadresse
Dr. T. BaumannAbteilung Röntgendiagnostik, Universitätsklinikum Freiburg,Hugstetter Str. 55, 79106 [email protected]
Interessenkonflikt. Der korrespondierende Autor gibt für sich und seine Koautoren an, dass kein Interes-senkonflikt besteht.
Literatur
1. Park EA, Goo JM, Lee JW et al (2009) Efficacy of computer-aided detection system and thin-slab maximum intensity projection technique in the detection of pulmonary nodules in patients with resected metastases. Invest Radiol 44(2):105–113
2. Rossi A, Attina D, Borgonovi A et al (2012) Evaluati-on of mosaic pattern areas in HRCT with Min-IP re-constructions in patients with pulmonary hyper-tension: could this evaluation replace lung perfusi-on scintigraphy? Eur J Radiol 81(1):e1–e6
3. Kajiya JT (1986) The rendering equation. In: ACM SIGGRAPH Computer Graphics, ACM, pp 143–150
4. Abdalla EK (2010) Portal vein embolization (prior to major hepatectomy) effects on regeneration, re-sectability, and outcome. J Surg Oncol 102(8):960–967
5. Soga S, Britz-Cunningham S, Kumamaru KK et al (2012) Comprehensive comparative study of com-puted tomography-based estimates of split renal function for potential renal donors: modified ellip-soid method and other CT-based methods. J Com-put Assist Tomogr 36(3):323–329
6. Vogel MN, Schmucker S, Maksimovic O et al (2012) Reduction in growth threshold for pulmonary me-tastases: an opportunity for volumetry. Br J Radiol 85(1015):959-964
7. Möller M, Tuot C, Sintek M (2008) A scientific work-flow platform for generic and scalable object re-cognition on medical images. In: Lehmann T, Ober-schelp W, Pelikan E, Repges R (Hrsg) Bildverarbei-tung für die Medizin. Springer, Berlin Heidelberg New York, S 267–271
8. Seifert S, Barbu A, Zhou SK et al (2009) Hierarchical parsing and semantic navigation of full body CT data. In: SPIE medical imaging. International So-ciety for Optics and Photonics, S 725902–725902–725908
9. Stegmaier F, Döller M, Schlegel K et al (2011) Ge-nerische Datenintegration zur semantischen Dia-gnoseunterstutzung im Projekt THESEUS MEDICO. In: Heiß H-U, Pepper P, Schlingloff H, Schneider J (Hrsg) Informatik 2011. Lecture Notes in Informa-tics, Berlin
5Der Radiologe 2013 |