Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… ·...

89
Semi-automatische Korrespondenzfindung und Registrierung von Lebergefäßmodellen Diplomarbeit vorgelegt von Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik Arbeitsgruppe Computergraphik Betreuer: Dipl.-Math. Ron Schwarz, Fraunhofer-Institut FIT.LIFE Prüfer: Professor Dr.-Ing. Stefan Müller, Universität Koblenz- Landau, Campus Koblenz August 2005

Transcript of Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… ·...

Page 1: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Semi-automatischeKorrespondenzfindung und Registrierung

von Lebergefäßmodellen

Diplomarbeit

vorgelegt von

Kristine Haase

Institut für Computervisualistik Forschungsbereich Life Science InformatikArbeitsgruppe Computergraphik

Betreuer: Dipl.-Math. Ron Schwarz, Fraunhofer-Institut FIT.LIFEPrüfer: Professor Dr.-Ing. Stefan Müller, Universität Koblenz-

Landau, Campus Koblenz

August 2005

Page 2: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Zusammenfassung

In dieser Diplomarbeit wird ein Verfahren entwickelt, welches das Registrieren vonLebervolumen verschiedener medizinischer Aufnahmearten durchführt. Da es sich beider Leber um ein Organ handelt, dass ein stark deformierbares Weichteilgewebe ist,muss das Verfahren eine elastische Deformation berücksichtigen. Für die Lösung die-ser Aufgabenstellung wird es ermöglicht, aus dem Lebervolumen die Gefäßbäume zuextrahieren und sie schematisch zu Graphen aufzuarbeiten. In diesen Graphen wirdanschließend semi-automatisch nach korrespondierenden Eigenschaften gesucht unddiese für die Registrierung bereitgestellt. Die Deformation der Datenvolumen wird miteiner elastischen Registrierung durch Anwendung der Thin Plate Splines durchgeführtund für eine Qualitätskontrolle dargestellt.

1

Page 3: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

2

Page 4: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Selbständigkeitserklärung

Hiermit versichere ich, Kristine Haase, die vorliegende Arbeit selbständig und nur un-ter Verwendung der angegebenen Quellen und Hilfsmittel angefertigt zu haben. DieseArbeit hat in dieser oder ähnlicher Form noch keiner Prüfungsbehörde vorgelegen.

Kristine Haase

3

Page 5: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Inhaltsverzeichnis

1 Motivation 1

2 Einleitung 12.1 Vorgehensweise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12.2 Projektbeschreibung . . . . . . . . . . . . . . . . . . . . . . . . . . 2

2.2.1 TeilprojektPNT . . . . . . . . . . . . . . . . . . . . . . . . 22.3 Problembeschreibung . . . . . . . . . . . . . . . . . . . . . . . . . . 4

3 Grundlagen 43.1 Anatomie der Leber . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

3.1.1 Medizinischer Hintergrund . . . . . . . . . . . . . . . . . . . 53.1.2 Problemorientierter Hintergrund . . . . . . . . . . . . . . . . 6

3.2 Lebertumor, Metastasen und Radiofrequenz-Ablation . . . . . . . . . 63.3 Lebergefäßbaum . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83.4 Einführung Graphentheorie . . . . . . . . . . . . . . . . . . . . . . . 93.5 Bildgebende Verfahren in der Medizin . . . . . . . . . . . . . . . . . 11

3.5.1 Ultraschall . . . . . . . . . . . . . . . . . . . . . . . . . . . 123.5.1.1 Doppler-Ultraschall . . . . . . . . . . . . . . . . . 153.5.1.2 Artefakte . . . . . . . . . . . . . . . . . . . . . . . 15

3.5.2 Computertomographie . . . . . . . . . . . . . . . . . . . . . 173.6 Registrierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

4 Vorbereitung 234.1 Graph Matching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

4.1.1 Mögliche Verfahren . . . . . . . . . . . . . . . . . . . . . . 234.1.1.1 Verfahren nach Gold und Rangarajan . . . . . . . . 234.1.1.2 Verfahren nach Pisupati, Wolff, Mitzner und Zerhouni 244.1.1.3 The Invisible Hand Algorithmus . . . . . . . . . . 26

4.1.2 Diskussion möglicher Verfahren . . . . . . . . . . . . . . . . 274.1.2.1 Anforderungen . . . . . . . . . . . . . . . . . . . 274.1.2.2 Analyse der Verfahren . . . . . . . . . . . . . . . . 274.1.2.3 Beurteilung und Diskussion . . . . . . . . . . . . . 28

4.2 Registrierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284.2.1 Mögliche Verfahren . . . . . . . . . . . . . . . . . . . . . . 30

4.2.1.1 Thin Plate Splines . . . . . . . . . . . . . . . . . . 304.2.1.2 Algorithmus nach Moshfeghi . . . . . . . . . . . . 35

4.2.2 Diskussion möglicher Verfahren . . . . . . . . . . . . . . . . 384.2.2.1 Anforderungen . . . . . . . . . . . . . . . . . . . . 384.2.2.2 Analyse der Verfahren . . . . . . . . . . . . . . . . 384.2.2.3 Beurteilung und Diskussion . . . . . . . . . . . . . 39

4.3 Visualisierungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394.3.1 Medizinische Visualisierung . . . . . . . . . . . . . . . . . . 404.3.2 Leber- und Gefäßvisualisierung . . . . . . . . . . . . . . . . 41

4.4 Datensätze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

i

Page 6: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

5 Realisierung 455.1 Realisierungskonzept . . . . . . . . . . . . . . . . . . . . . . . . . . 455.2 Grapherstellung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475.3 Graphmatching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

5.3.1 Semi-automatische Korrespondenzfindung . . . . . . . . . . 535.3.2 Matchingalgorithmus . . . . . . . . . . . . . . . . . . . . . . 545.3.3 Verbesserter Matchingalgorithmus . . . . . . . . . . . . . . . 56

5.4 Registrierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 585.4.1 Allgemeine Anwendung der TPS . . . . . . . . . . . . . . . 585.4.2 Kontextbezogende Anwendung der TPS . . . . . . . . . . . . 58

5.5 Qualitätskontrolle . . . . . . . . . . . . . . . . . . . . . . . . . . . . 605.5.1 Originalvolumendaten . . . . . . . . . . . . . . . . . . . . . 605.5.2 Informationsdarstellung . . . . . . . . . . . . . . . . . . . . 60

5.6 Zusammenfassende Bedingungen . . . . . . . . . . . . . . . . . . . 61

6 Ergebnisse und Anwendungstests 626.1 Graph Matching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

6.1.1 Automatisches Matchen . . . . . . . . . . . . . . . . . . . . 626.1.1.1 Künstliche Testgraphen . . . . . . . . . . . . . . . 626.1.1.2 Graphen aus Datensätzen . . . . . . . . . . . . . . 63

6.1.2 Semi-automatisches Matchen . . . . . . . . . . . . . . . . . 656.1.2.1 Anwendungsfall positiv . . . . . . . . . . . . . . . 666.1.2.2 Anwendungsfall negativ . . . . . . . . . . . . . . . 66

6.2 Registrierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 676.2.1 Registrierung identischer Volumen und Graphen . . . . . . . 676.2.2 Registrierung mit zwei Graphtypen . . . . . . . . . . . . . . 68

6.2.2.1 CT-CT . . . . . . . . . . . . . . . . . . . . . . . . 686.2.2.2 US-US . . . . . . . . . . . . . . . . . . . . . . . . 706.2.2.3 Registrierung von zwei US-Volumen einer Person . 71

6.2.3 Registrierung personenfremder CT-und US-Volumen . . . . . 72

7 Bewertung 73

8 Ausblick und Weiterführung 75

ii

Page 7: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Abbildungsverzeichnis

1 Projektübersicht [21] . . . . . . . . . . . . . . . . . . . . . . . . . . 22 Projektbeschreibung, Zeitpunkte der Aufnahme von Daten und Aufga-

ben der zu entwickelnden Software . . . . . . . . . . . . . . . . . . . 33 Schema zur Aufgabenstellung dieser Diplomarbeit, Arbeitsschritte an

den Volumendaten . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 Rolle der Leber im menschlichen Organismus [22] . . . . . . . . . . 55 Schematischer Aufbau, links und Feinbau, rechts [16] . . . . . . . . . 56 Radiofrequenzprinzip [35], links und Radiofrequenzsonde [63], rechts 77 Ultraschallbild mit Tumor vor der Behandlung [63], links und Tumor

mit typischer Koagulationsnekrose nach der Behandlung [63], rechts . 78 Mögliche Graphen . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 Drittes Beispiel für einen Graphen, alle Bilder aus [56] . . . . . . . . 1110 Ultraschall Streuung und Reflektion auf glatter (links) und rauher (rechts)

Oberfläche [12] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1311 Schallabsorption [12] . . . . . . . . . . . . . . . . . . . . . . . . . . 1312 Schallstreuung [12] . . . . . . . . . . . . . . . . . . . . . . . . . . . 1313 Ultraschallbild, Leber [51] . . . . . . . . . . . . . . . . . . . . . . . 1414 Dopplerschema [50] . . . . . . . . . . . . . . . . . . . . . . . . . . . 1515 Farbdoppler, links und Powerdoppler, rechts [53] . . . . . . . . . . . 1616 Abschattungen im Bild mit starkem Echo, links und ohne Echo, rechts

[26] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1617 Schallverstärkung und Abschattung durch kreisförmige Objekte [26] . 1718 Schichtdickenartefakt und Mehrfachreflektion [26] . . . . . . . . . . 1719 Spiegelung an starken Reflektoren [26] . . . . . . . . . . . . . . . . . 1720 Wellenbereiche, aus [37] . . . . . . . . . . . . . . . . . . . . . . . . 1821 Computertomographie, Beispiel und Scheibenprinzip [9] . . . . . . . 1822 CT-Aufnahmeprinzip [9] . . . . . . . . . . . . . . . . . . . . . . . . 1923 Hounsfield-Skala [9] . . . . . . . . . . . . . . . . . . . . . . . . . . 2024 Aus einem Bild erstellte Graphen [23] . . . . . . . . . . . . . . . . . 2425 Schema der Matchingmatrix als Permutationsmatrix [23] . . . . . . . 2426 Problematik der Korrespondenzsuche [40] . . . . . . . . . . . . . . . 2527 Darstellung möglicher Korrespondenzen im ersten Level [40] . . . . 2628 Das Registrierungsproblem [45] . . . . . . . . . . . . . . . . . . . . 2929 Gewünschtes Ergebnis einer Registrierung [45] . . . . . . . . . . . . 2930 Beispiele für radiale Basisfunktionen [36] . . . . . . . . . . . . . . . 3031 Darstellung verschiedener Basisfunktionen, links und lineare Basis-

funktion um die Punkte(0,0), (2,2) und(3,1) [36] . . . . . . . . . . 3132 Originalbilder für das Image Morphing [62] . . . . . . . . . . . . . . 3333 Morphingschritte und Ergebnisbild rechts [62] . . . . . . . . . . . . . 3334 Fähigkeit der TPS bei schlechten Landmarken, links und korrekte An-

wendung rechts [45] . . . . . . . . . . . . . . . . . . . . . . . . . . 3435 Hierachieansatz für Thin Plate Splines [29] . . . . . . . . . . . . . . 3436 PolygonzügeC1 undC2 von Moshfeghi [60] . . . . . . . . . . . . . . 3537 Positionsberechnung von Moshfeghi [60] . . . . . . . . . . . . . . . 3638 Ausnahmefälle für die Lotberechnung von Moshfeghi [60] . . . . . . 3639 Darstellung der Verschiebungsvektoren von Moshfeghi [60] . . . . . 3740 Anwendung von Moshfeghi auf medizinische Datensätze [60] . . . . 37

iii

Page 8: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

41 Visualisierungsbeispiele, links: Tensorfeld, mitte: dargestellte Wahr-scheinlichkeitsdichte einer Reaktion mit einem anderen Molekül, rechts:Verzweigungsmuster zweier Neuronen in einem Pilzkörper [24] . . . 40

42 links: Lunge rechts: Oberflächenmodell eines Kopfes und zugehörigesMesh [39] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

43 Darstellung von Zusatzinformationen [38] . . . . . . . . . . . . . . . 4144 Modellierung eines Uterus und Original [54] . . . . . . . . . . . . . . 4145 Lebervisualisierungen [38] . . . . . . . . . . . . . . . . . . . . . . . 4246 Modelle zur Modellierung von Gefäßen [42] . . . . . . . . . . . . . . 4247 Modellierung von Gefäßverzweigungen, links und Gefäßen, rechts [20]

[1] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4348 links: Gefäß innen, rechts: Blutfluss-Darstellung [1] . . . . . . . . . . 4349 Ultraschallbeispiel 1 mit Angabe der anatomischen Elemente . . . . . 4450 Ultraschallbeispiel 2 mit Angabe der anatomischen Elemente . . . . . 4451 SonoNavigator, normale Ansicht . . . . . . . . . . . . . . . . . . . . 4652 Programmoberfläche Graphgeneration . . . . . . . . . . . . . . . . . 4753 Ultraschalldatensatz, links und CT-Datensatz, rechts . . . . . . . . . . 4754 CT-Datensatz, Gefäße gerendert, links und Kontextmenü in der Gra-

pherstellung, Farbunterstützung, rechts . . . . . . . . . . . . . . . . . 4855 Im 3D-Panel: Graph und Gefäße überschneiden sich . . . . . . . . . 4956 Graph, alleinstehend im 3D-Panel, Anzeige mit Kegelstümpfen . . . 5057 UML-Ansicht der Datenstruktur für den Graph . . . . . . . . . . . . 5158 Neu geladene Graphen ohne Ausrichtung . . . . . . . . . . . . . . . 5259 Graphen nach der manuellen Ausrichtung . . . . . . . . . . . . . . . 5260 Ergebnis manuelle Korrespondenzsetzung . . . . . . . . . . . . . . . 5361 Ergebnis der Registrierung . . . . . . . . . . . . . . . . . . . . . . . 6062 Visualisierung der Sicherheit; grüne Bereiche sind sehr sicher, sie be-

finden sich in der Nähe der Stützstellen; rote Bereiche sind nicht sicher,dies sind zum Beispiel Seitenarme, die nur im CT-Graphen erfasst wur-den, nicht aber im Ultraschall . . . . . . . . . . . . . . . . . . . . . . 61

63 Abbildung der beiden Testgraphen, links und maximal erlaubte Fehl-stellung der Graphen, rechts . . . . . . . . . . . . . . . . . . . . . . 63

64 Matching der Testgraphen . . . . . . . . . . . . . . . . . . . . . . . 6365 Die Graphen aus dem CT-Datensatz, links und Matchingergebnis der

Graphen, rechts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6466 Optimale Vorregistrierung der Graphen, links und ein CT-Graph auf

sich gematcht, rechts . . . . . . . . . . . . . . . . . . . . . . . . . . 6467 Maximale Fehlstellung . . . . . . . . . . . . . . . . . . . . . . . . . 6568 Graphen aus dem Ultraschall bei Ergebnis des Matchen, links und Mat-

chingergebnis von Graphen aus zwei Organen, rechts . . . . . . . . . 6569 Ergebnis der Benutzerinteraktion, links und Ergebnis des semi-automatischen

Suchens, rechts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6670 Ergebnis der ersten Benutzerinteraktion (falsches Setzen, Endpunkte),

links und Ergebnis des semi-automatischen Suchens, rechts . . . . . . 6671 Ergebnis der zweiten Benutzerinteraktion (falsches Setzen, im Graph),

links und Ergebnis des semi-automatischen Suchens, rechts . . . . . . 6772 Registrierung identischer Volumen . . . . . . . . . . . . . . . . . . . 6873 Registrierung, Vergrößerung des Blickfensters . . . . . . . . . . . . . 6874 1. Registrierung mit zwei Graphen und einem CT-Volumen, Parameter

0.01 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

iv

Page 9: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

75 2. Registrierung mit zwei Graphen und einem CT-Volumen, Parameter0.01 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

76 Vergrößerung von Abbildung 75, links und Vergrößerung von Abbil-dung 74, rechts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

77 Registrierung mit zwei Graphen und einem CT-Volumen, Parameter0.0 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

78 Vergrößerung von Abbildung 77 . . . . . . . . . . . . . . . . . . . . 7079 Registrierung mit zwei Graphen, US . . . . . . . . . . . . . . . . . . 7180 Registrierung, Vergrößerung des Blickfensters . . . . . . . . . . . . 7181 Registrierung, zwei Volumen, eine Person, Vergrößerung des Blick-

fensters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7182 Registrierung, zwei Volumen, eine Person . . . . . . . . . . . . . . . 7283 Registrierung von zwei verschiedenen Lebern, CT-US . . . . . . . . . 72

v

Page 10: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

1 Motivation

Ein Verfahren zur Bekämpfung von Tumoren in der menschlichen Leber ist die Radio-frequenz-Ablation. Dieses Verfahren erhitzt lokal das Gewebe des Tumors und zer-stört es dabei. Da die Leber ein sehr weiches, formbares Gewebe ist, können im Vor-feld aufgenommene medizinische Daten während der Operation nur bedingt helfen.Stattdessen muss durch Tasten und Fühlen der aktuelle Tumor lokalisiert und durchErfahrung die optimalen Ultraschallwinkel festgelegt werden. Die Verformbarkeit desGewebes bedingt außerdem, dass die anatomischen Strukturen sich ebenfalls in ihrerLage verändern. In einem aktuellen Projekt wird eine Software entwickelt, die medi-zinische Daten die vor und während der Operation aufgenommen wurden miteinanderverknüpft, so dass die aktuelle Lage der Tumoren und der anatomischen Strukturenerkennbar wird. Um die Daten eines Gewebes wie das der Leber aus verschiedenenmedizinischen bildgebenden Verfahren zu registrieren, werden Strukturen benötigt, diein beiden Datensätzen leicht zu finden sind. Da das Gewebe im Ultraschall sehr homo-gen ist und sich nur die Gefäße gut darstellen lassen, wurde die Idee, den Gefäßverlaufder Leber für die Registrierung zu benutzen, weiterentwickelt. Ein Gefäßbaum lässtsich als Graph schematisieren und damit vereinfachen. Das Teilgebiet des Vergleichsder Graphen zur Feststellung der Verformung und die anschließende Registrierung derDatensätze wird in dieser Arbeit untersucht.

2 Einleitung

2.1 Vorgehensweise

Das Ziel dieser Arbeit ist die Umsetzung eines Verfahrens, das es ermöglicht, Leber-gefäßmodelle zu erstellen, mit deren Hilfe eine Registrierung durchzuführen und eineanschließende Qualitätskontrolle zu ermöglichen.

Das Korrespondenzproblem soll semi-automatisch gelöst und im Anschluss dar-an, die mit Benutzerinteraktion unterstützte Registrierung durchgeführt werden. ZurPrüfung der Ergebnisse wird eine optische Qualitätskontrolle erarbeitet werden. DerSchwerpunkt dieser Arbeit liegt in der Einarbeitung in die medizinische Bilderfassungund dessen Anwendungsfeld, die Durchführung von Maßnahmen zur Erstellung vonDatensätzen und die Einarbeitung in die Methoden zum Matchen von Graphen undzur semi-automatischen Korrespondenzfindung. Desweiteren muss eine Analyse undAuswahl geeigneter Verfahren erfolgen. Es folgt der Entwurf zur Umsetzung und dieImplementierung der ausgewählten Verfahren sowie der Entwurf und die Implementie-rung einer Visualisierung zur Qualitätssicherung. Zum Abschluss soll eine Dokumen-tation der Ergebnisse erfolgen.

In dieser Ausarbeitung werden die Ergebnisse präsentiert und beurteilt. Hierzu wer-den einleitend zunächst die Grundlagen erklärt, die zum Verständnis der weiterführen-den Kapitel notwendig sind und dem fachfremden Leser einen Einstieg bieten. DieGrundlagen dienen auch dazu, angrenzende Themen ansprechen zu können. Das dar-auffolgende Kapitel stellt Lösungsansätze aus der aktuellen Literatur vor und diskutiertderen Verwendung. In diesem Kapitel werden die einzusetzenden Lösungsstrategienbeurteilt und ausgewählt. Im Anschluss daran wird die Realisierung der Lösung erläu-tert und Anwendungstests betrachtet. In diesem Zusammenhang werden die Ergebnisseder Arbeit vorgestellt. Abschließend wird die Lösungsstrategie bewertet und weiterfüh-rende Ideen dokumentiert.

1

Page 11: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

2.2 Projektbeschreibung

Teil des SOMIT-Programmes (Schonendes Operieren mit innovativer Technik) desBundesministerium für Bildung und Forschung ist das VerbundvorhabenFUSION(FU-ture environement for gentle liver Surgery using Image-guided planning and intra-Operative Navigation). Die Zielvorgabe des Fusion-Projektes ist die Entwicklung einerindividualisierten, schonenden Präzisionschirurgie für Weichgewebe. Das speziell aufdie Operation von Lebertumoren zugeschnittene Projekt, sieht eine Verbesserung deraktuellen Therapieformen vor, indem der Zugriffsbereich der Instrumente verkleinert,der Erfolg der Tumorresektion gesichert und das Restvolumen des Organs maximiertwird. In der Umsetzung werden präoperative Volumendaten auf den Patienten übertra-gen und zur Navigation minimal-invasiver Instrumente, Dokumentation und zielgenau-en Umsetzung der Operationsplanung genutzt. Anders als in der computergestütztenNavigation und Planung in knöchernen Strukturen, treten bei Weichteilgeweben be-sondere Problematiken auf. Hierzu zählen Organdeformierungen und atemabhängigeBewegung. Die Abbildung 1 zeigt den Aufbau der Arbeitsgruppen des ProjektesFU-SION. Das TeilprojektPNT übernimmt die technische Umsetzung des Einbindens der

Abb. 1: Projektübersicht [21]

präoperativen Daten in die chirurgische Situation für verschiedene Anwendungen.

2.2.1 Teilprojekt PNT

Das ModulLeberablationist Bestandteil des TeilprojektPNT desFUSION-Projektesund erhielt den Titel: „Bildgestützte Navigation in der interventionellen Tumorablati-on“. Im Vordergrund der Aufgabenstellung steht die Verbesserung der lokal - ablati-ven, minimal - invasiven Lebertumortherapie. Dazu sollen präoperative 3D-Planungs-und Bilddatensätze mit intraoperativer Ultraschallbildgebung fusioniert werden undin eine Navigationssoftware einfließen, die zur Therapie selbst aber auch zur post -interventionellen Kontrolle dient. Ein weiteres Ziel ist es, eine Trennung von Inter-ventionsinstrumenten und dem Ultraschallkopf zu erreichen. Dann könnte auf einen

2

Page 12: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Punktionsschallkopf verzichtet werden, der eine schlechtere Bildqualität aufweist alsein normaler Schallkopf.

Abb. 2: Projektbeschreibung, Zeitpunkte der Aufnahme von Daten und Aufgaben der zu entwi-ckelnden Software

Die intraoperative Lage der Leber soll anhand der Registrierung und anhand vonsensorischen Messungen berechnet werden. An diesem Modul sind verschiedene Fir-men beteiligt, eine ist die Arbeitsgruppe LIFE im Fraunhofer - Institut FIT. Die Ar-beitsgruppe LIFE entwickelt medizinische und molekularbiologische Trainings- undInformationssysteme. Hierzu werden bildbasierte und mit Virtual-Reality-Elementenversehene Navigationssysteme entwickelt, die für diagnostische und therapeutischeZwecke eingesetzt werden. Zum Verständnis des Projektes und der daraus resultie-renden Aufgabenstellung zeigt die Abbildung 2 den Ablauf des operativen Szenarios.Die obere Hälfte der Darstellung steht für die präoperativen Handlungen, während dieuntere Hälfte den intraoperativen Ablauf schematisiert. Eine Aufgabe der von den Pro-jektpartnern zu entwickelnden Software ist das Zusammenführen der Daten aus einerComputertomographie- und einer Ultraschallaufnahme. Aus diesem Themenbereichentstammt die Idee für die Arbeit in dieser Diplomarbeit. Die zugrunde liegende Auf-gabenstellung wird in einer Abbildung schematisiert. Die Abbildung 3 stellt dar, wiedie Volumen verarbeitet werden und welches Ergebnis erwartet wird [21].

Abb. 3: Schema zur Aufgabenstellung dieser Diplomarbeit, Arbeitsschritte an den Volumenda-ten

3

Page 13: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

2.3 Problembeschreibung

Zu der Aufgabenstellung gehören Fragestellungen, die zur Durchführung dieser Arbeiterläutert werden müssen. Da die Aufgabe einen aktuellen Hintergrund hat, muss zu-nächst geklärt werden, für welche Bereiche Lösungen existieren oder ob neue Ideengefunden werden müssen. Um zwei Graphen zu erhalten muss entschieden werden,ob mehrere Aufnahmearten in Frage kommen. Darüberhinaus muss eine Interaktionentworfen werden, die auf einfache Art das Erstellen der Graphen ermöglicht. Hierbeimüssen Attribute festgelegt sein und vom Benutzer eingegeben werden können, die fürdie weitere Verarbeitung von Bedeutung sind. Sind zwei Graphen erstellt, soll eine Re-gistrierung ausgeführt werden. Eine Registrierung, wie sie in dieser Arbeit angedachtist, benötigt korrespondierende Bereiche in den Zuständen, die aufeinander gerech-net werden sollen. Ein Graph besteht im Allgemeinen aus einer Wurzel, Knoten undKanten. Das bedeutet, innerhalb von nur drei Elementgruppen müssen Partnerpunkteidentifiziert werden. Wendet man eine Transformation an, die beide Graphen grob ineine gleiche Ausrichtung im Raum bringt, so wird dies nicht ausreichen, da durch dieDeformation weitere Transformationen notwendig werden. Durch die unterschiedlicheQualität von bildgebenden Verfahren unterscheiden sich die Graphen in der Praxis inihrer Detailstärke. Sich in der Realität entsprechende Kanten werden Differenzen inihrer Länge und der Anzahl der Knoten aufweisen, welches aus der nicht-identischenDetailstärke und der Deformation entlang der Kanten resultiert. Es wird zusätzlich ei-ne Teilbaumsuche in Betracht gezogen werden müssen, in dem der Teilbaum durch diegeringere Detailstärke definiert wird. In diesem Fall helfen Graphen, die für die Regis-trierung notwendigen Daten zu erstellen. Mit Hilfe der Graphen werden gemeinsamePunkte in den Datenvolumen identifiziert, deren Lageveränderung die Verformung inden Volumen beschreibt. Durch das Matchen der Graphen werden die Punkte einanderzugeordnet und somit korrespondierende Paare definiert. Sind die Korrespondenzenerrechnet, kann die Registrierung ausgeführt werden. Die Anforderung hierbei ist, dieRegistrierung elastisch und genau zu gestalten. Die Registrierung muss eine Defor-mation der Datensätze mit sich führen. Sind die Berechnungen ausgeführt, muss eineeffiziente Informationsdarstellung entwickelt werden, die die Qualität des Ergebnissesdarstellt. Übergeordnetes Ziel der Aufgabe ist die Genauigkeit und der Praxisbezug derRegistrierung.

3 Grundlagen

Dieses Kapitel stellt grundsätzliche Themen vor, die zum Verständnis dieser Arbeitdienen können. Im folgenden werden der medizinische Hintergrund und einleitendeGebiete der Thematik vorgestellt.

3.1 Anatomie der Leber

Die zu entwickelnde Software ist auf das Organ Leber des menschlichen Körpers spe-zifiziert. Die Leber stellt die größte Drüse des menschlichen Körpers dar und hat einEigengewicht von etwa 1,5 kg. Sie befindet sich bei den meisten Menschen im rechtenOberbauch unter den Rippen und ist mit dem Zwerchfell verwachsen. Ihre Unterseiteliegt auf weiteren Bauchorganen auf.Die Nachbarschaft wird durch Milz, Gallenblase, Magen und Bauchspeicheldrüse ge-bildet. Die nebenstehende Abbildung demonstriert Lage und Funktionen der Leber im

4

Page 14: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

menschlichen Organismus. Die Leber ist in ihrem Aufbau und in ihren Funktionen einkomplexes Gebilde.

Abb. 4: Rolle der Leber im menschlichen Organismus [22]

3.1.1 Medizinischer Hintergrund

Anatomisch gesehen besteht die Leber aus zwei Leberlappen mit unterschiedlicherGröße, die von einem festen Gewebe umgeben sind und einem Gewebeband getrenntwerden. Die Leberlappen sind aus 50.000 bis 100.000 Leberläppchen aufgebaut, dieim weiteren aus etwa 3 Millionen Leberzellen bestehen [3]. Diese Leberzellen bildenein Volumengitter, in dessen Zwischenräumen sich Wege bilden, die zur Versorgungder Zellen genutzt werden. Daraus entsteht ein feines Netzwerk an Lymphwegen, Gal-lenkanälen und Blutgefäßen, welches sich zum äußeren Rand der Leber vergröbert. ImVergleich zu anderen Organen hat dieses eine besondere Blutzufuhr. Zusätzlich zu hin-führenden Adern und abführenden Venen, besitzt die Leber eine weitere Vene, die dasBlut aus den angrenzenden Verdauungsorganen in die Leber transportiert [16].

Abb. 5: Schematischer Aufbau, links und Feinbau, rechts [16]

5

Page 15: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Diese Vene wird als Pfortader bezeichnet. Zusammen mit ausfließenden Lymphge-fäßen, Gallenwegen und Nerven bilden die Pfortader und Leberarterie die sogenannteLeberpforte. Die großen Gefäße verästeln sich nach Eintritt in die Leber bis zur Kapil-largröße, wo sich arterielles und venöses Blut mischen. Die Vene, die das verbrauchteBlut abtransportiert, wird als Hohlvene bezeichnet [49].Funktionell betrachtet werden in den Leberzellen lebenswichtige Stoffwechselvorgän-ge ausgeführt. Die zentralen Aufgaben beginnen bei den Aminosäure-, Kohlenhydrat-und Lipidstoffwechseln, der Entgiftung und reichen weiter über die Synthese von Gal-lensäuren, der Inaktivierung von Hormonen bis hin zur Speicherung von Vitaminen.Auf dem ersten Bild der Abbildung 5 ist die Leber mit ihren anatomischen Elementendargestellt. Am wichtigsten sind hierbei der rechte und linke Leberlappen sowie diePfortader und Hohlvene. Im zweiten Bild sind die kleineren Elemente, die Leberläpp-chen gezeichnet. Sie geben einen Aufschluss über den feineren Aufbau der Leber.

3.1.2 Problemorientierter Hintergrund

Die Lage der Leber ist abhängig von der Stellung des Zwerchfells. Das bedeutet, diePosition der Leber ist abhängig vom Luftvolumen in den Lungen, von der Körperlageund vom äußeren Druck, der ausgeübt wird, da sich dadurch die Lage des Zwerchfellsverändert. Auch das Alter der Person beeinflusst die Lage. So ist die kindliche Le-ber verhältnismäßig groß und überragt den Rippenbogen, wogegen sich im Alter dasZwerchfell wie andere Eingeweide verhält und sich im Körper absenkt. Die Befesti-gung der Leber ist durch Bindegewebe mit dem Zwerchfell und der Vena cava gegeben,die wiederum im Zwerchfell verankert ist. Eine gesunde Leber weist auf ihrer Vorder-seite ein glattes, gleichartiges Gewebe auf. Dabei sind spezifische Erhebungen undFurchen zu beachten, die aus angrenzenden Muskelsträngen, Rippen oder anliegendenOrganen kombiniert mit der starken Verformbarkeit der Leber entstanden sind. Indivi-duelle Unterschiede der Form können bei gleichartigen, gesunden Organen sehr starkausgeprägt sein. Zusammenfassend wird die Software mit einem deformierbaren Ob-jekt agieren müssen, wobei außerdem das gesamte Organ betreffende Lageveränderun-gen zu berücksichtigen sind. Die am stärksten hervortretenden anatomischen Elementesind die Pfortader, sowie die austretende Hohlvene. Auf Grund der weitreichendenVerzweigungen der eintretenden Blutgefäße, hat sich in der Leber ein feinmaschigerGefäßbaum entwickelt. Sieht man die Leberpforte als Startpunkt, die sogenannte Wur-zel des Baumes an, so kann ein Gefäßbaum betrachtet werden, dessen stärksten Gefäßein gesundem Zustand ca. 1,5 cm messen und dessen Anzahl der Verzweigungen hochist.

3.2 Lebertumor, Metastasen und Radiofrequenz-Ablation

Einer aktuellen Statistik aus Die Welt vom 28. Februar 2005 ist zu entnehmen dasLeberkrebs, an seiner Häufigkeit im Vergleich aller Krebsarten weltweit gemessen,an fünfter Stelle steht. Die Sterblichkeitsrate belegt hingegen den zweiten Platz [43].Krebs, der in der Leber primär entsteht, ist ohne Vorerkrankungen wie Hepatitis B,C oder Leberzirrhose relativ selten. Allerdings kommt es häufig zu Lebermetastasen,wenn Krebszellen aus anderen Körperbereichen beginnen, sich über den Blut- oderLymphkreislauf zu verbreiten. Bei dieser Streuung der kranken Zellen ist die Leberdas risikoreichste Organ, da sie das Blut entgiftet und sich dadurch die abgesiedeltenZellen häufig in diesem Organ anheften. Metastasen sind kleine Tochtertumore, dieaus anderen Krebsarten resultieren. Zur Behandlung können verschiedene Strategien

6

Page 16: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

verfolgt werden. Diese sind anhängig davon, ob eine Heilung erzielt oder ob eine Ver-zögerung erreicht werden soll. Sind Primärtumore sehr klein oder handelt es sich umwenige Metastasen kann ein lokales Therapieverfahren angewendet werden [44]. Die

Abb. 6: Radiofrequenzprinzip [35], links und Radiofrequenzsonde [63], rechts

Radiofrequenz-Ablation gehört zu den gewebezerstörenden Verfahren, die mit Hilfevon Radiofrequenzwellen das Gewebe lokal erhitzt und koaguliert. Bei einer Koagu-lation wird das Gewebe zerstört, das bedeutet es bewirkt eine Zellschwellung, die De-naturierung von Proteinen und die Zersetzung der Zellorganellen. Diese sogenannteKoagulationsnekrose ist charakteristisch und in Ultraschallaufnahmen sehr gut sicht-bar. Für das Erreichen der Metastasen wird eine mit Ultraschall überwachte Sonde indie Leber eingeführt [63]. Diesbezüglich wird die Leber entweder operativ freigelegtoder perkutan bearbeitet, das heißt, dass die Bauchdecke geschlossen bleibt. Abbildung6 zeigt die Lage der Sonde im Bauchraum und eine Nahaufnahme der Sonde im Tu-morgebiet. Um das Verfahren zu erklären, zeigt Abbildung 7 eine Ultraschallaufnahmeder Leber vor der Behandlung mit deutlich sichtbarem Tumor. Sie stellt auch den Zu-stand nach der Radiofrequenztherapie dar. Der Bereich, in dem der Tumor sich befindetist mit einem hellen Bereich sichtbar. Die Helligkeit resultiert aus der Zerstörung desGewebes. Es ist nicht mehr möglich, die Ausmaße des Tumors zu erkennen und damitist keine Aussage über den Erfolg oder Misserfolg der Behandlung zu treffen. Tumoresind anfälliger gegen Hitze als gesundes Gewebe. Dies ermöglicht zusätzlich, dass dasumliegende Gewebe nur minimal in Mitleidenschaft gezogen wird. Die Frequenzenliegen zwischen 400 und 12.500 MHz. Dieser Spielraum ergibt sich, da mit Anzahl derErhitzungen die Frequenz abhängig von der Gewebeart erhöht werden muss, da sichder Widerstand im Gewebe verändert. Für eine Prognose über den langfristigen Erfolgder Tumorresektion ist dieses Verfahren und seine Anwendung in der Praxis zu jung[44].

Abb. 7: Ultraschallbild mit Tumor vor der Behandlung [63], links und Tumor mit typischer Ko-agulationsnekrose nach der Behandlung [63], rechts

7

Page 17: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

3.3 Lebergefäßbaum

Gefäßbäume spielen in der Medizin eine große Rolle. Nicht nur Blutgefäße bildenbaumartige Strukturen, auch Nervenzellen, Gallenwege und Lymphwege sind in einerderartigen Struktur aufgebaut. Desweiteren verursachen viele Krankheiten Verände-rungen der Bäume in deren Topologie oder Topographie. Die Benutzung der Bäume istdamit nicht beschränkt auf die Orientierung, sondern auch im therapeutischen Bereichvon zunehmender Bedeutung.Einzelne Organe sind zumeist mit einer äußeren Trennwand vom umliegenden Gewebesepariert und lassen sich daher leicht lokalisieren. Zudem ist die Lage und der Aufbaubekannt. Bei den Gefäßbahnen verhält sich dies anders. Zum einen sind sie überall imKörper positioniert, auf der anderen Seite ist der genaue Aufbau ohne Untersuchungennicht bekannt. Man kann nicht davon ausgehen, dass Verzweigungen binär verlaufen,oder dass eine bestimmte Anzahl von Verzweigungen zu erwarten sind. Der Bau dieserElemente ist selbst im gesunden Zustand nicht vorhersehbar. Damit stellen Gefäßbäu-me keine zuverlässige Quelle für die Lokalisation von anatomischen Elementen dar.Trotzdem sind sie im Kontext der Leber die Bausteine, die in den Mittelpunkt derÜberlegungen gerückt sind. Sie können im Gegensatz zum umliegenden homogenenLebergewebe mit den bildgebenden Verfahren sichtbar gemacht werden und da sie dieDeformation der Leber annehmen, kann durch sie die Berechnung der dadurch entste-henden Transformation durchgeführt werden.Zu beachten ist, dass die Leber trotz ihrer Verformung am Zwerchfell verankert ist, ge-nauso ist die Eintrittsposition der Leberpforte gleichbleibend. Damit stellen sich zweiPunkte zur Verfügung, die relativ unverändert hinsichtlich der Deformation sind. Nurder Verlauf der Gefäße wird transformiert. Im Allgemeinen stellen Bäume eine Spezi-alform eines Graphen dar. Die wichtigste Charakteristika ist hierbei, dass der Aufbaueines Baumes gerichtet ist. Das heißt, intern besteht eine Richtungsangabe. Diese Ei-genschaft findet man auch im Gefäßsystem des menschlichen Körpers, jedoch sind dortviele Gefäßbäume zu finden, wodurch eine Trennung der einzelnen Bäume notwendigwird. Der Gefäßdurchmesser verringert sich mit der Anzahl der Verzweigungen, bisdie Kapillarebene erreicht ist. Dort enden Adern und Venen entstehen, da sich dort diebeiden Blutarten vermischen. Von dort aus erweitert sich der Durchmesser der Venenin der entgegengesetzten Richtung. Wird der Venenbaum von der entgegengesetztenSeite betrachtet, ergeben sich zwei Bäume nach Definition, die sich auf der Kapillare-bene verbinden.Will man die Gefäßbäume des menschlichen Körpers betrachten, so ist eine Trennungder Teilbäume notwendig. Betrachtet man hingegen einen Teilbezirk des gesamten Ge-fäßbaumes, zum Beispiel den Gefäßbaum eines Organs, so kann man Vorwissen ein-setzen, um Teilbäume und Richtungen zu definieren. Im Fall der Leber kann die Le-berpforte als Wurzel eines Gefäßbaumes betrachtet werden. Damit ist die Richtungund damit auch die Tendenz der Gefäßdurchmesser festgelegt. Sieht man zusätzlichdie untere Hohlvene als Wurzel eines zweiten Gefäßbaumes an, so erhält man zweiGefäßbäume, die sich auf Kapillarebene treffen. Durch diese Überlegung ist zunächstunwichtig, welchem Graph welcher Blutfluss zugeordnet werden muss. Das bedeutet,die Aufnahmeart oder die Software muss diesen Punkt nicht zwingend beachten. Durchdie Angabe der Wurzel sind Eintritts- und Austrittspunkt aus der Leber definiert, sowiedie damit verbundene Flussrichtung.

8

Page 18: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

3.4 Einführung Graphentheorie

Diese Einführung in die Theorie der Graphen stellt die Grundlage für weiterführendeKapitel wie 4.1 dar. Graphen sind eine effiziente Darstellung von Mengen und Rela-tionen. Sobald sich die Basiselemente in Kategorien oder Merkmalsklassen einordnenlassen, ist die Verwendung eines Graphen möglich. Graphen können weitreichendeArten von Strukturen modellieren. Mit ihnen gelingt ein abstrakter Überblick auchhinsichtlich großer, komplizierter Datensätze. Graphen sind aus Knoten und Kantenaufgebaut, wobei die Semantik der Kanten problemabhängig ist. Ihre Bedeutung mussjeweils definiert werden. Zur bildlichen Darstellung können die Knoten als Punkte unddie Kanten als Verbindungen dazwischen dargestellt werden. Je nach Graphkatego-rie werden die Kanten mit Pfeilen oder ohne gezeichnet. Die bildliche Darstellung istjedoch unabhängig von der formalen Definition des Graphen und kann mittels subjek-tiver Ästhetik gewählt werden. Die formale Definition eines Graphen direkt nach [52]ist:

• Ein Graph Gist ein PaarG = (P,K). P aus einer endlichen MengeP 6= {} undeiner MengeK von zweielementigen Teilmengen vonP. Die Elemente vonPheißenKnoten, die vonK Kanten. Für eine Kantek = {a,b} = {b,a} heißenaundb Endknotenvonk.

• Ein Kantenzugist eine Folge von Kantenki = {pi−1, pi} ∈ K, i = 1, ...,n mitPunktenp j ∈ P, j = 0, ...,n. Sind die pi paarweise verschieden, liegt einWegvor, bei geschlossenen Wegenp0 = pn ein Kreis. Die Knotenp0 und pn heißenAnfangs-undEndpunkt.

• Zwei Knotena undb heißenverbindbar, wenn es einen Kantenzug mit Anfangs-punkta und Endpunktb gibt. Wenn alle Punkte eines GraphenG paarweise ver-bindbar sind, nennt manG zusammenhängend.

• Ein gewichteter Graphist ein Graph, bei dem jeder Kante eine oder mehrereMaßzahlen zugeordnet sind.

Abhängig von einer vorhandenen Richtung der Kanten, werden Graphen also ingerichtete und ungerichtete Graphen eingeteilt [5]. Ein Weg in einem Graph ist festge-legt mit der Strecke, der zwischen Start- und Endpunkt zurückgelegt werden muss. Istdieser Weg uneingeschränkt möglich, handelt es sich um einen ungerichteten Graphen,anderenfalls liegt ein Richtungszwang vor und der Weg unterliegt Regeln, die aus derTiefe der Elemente im Graphen resultieren. Ist ein Start- und Endpunkt für einen Weggleich, liegt ein Kreis vor. Anhand des Vorhandenseins von Kreisen kann wiederum inkreisfreie oder Graphen mit Kreisen unterteilt werden [10]. Ein Baum ist ein speziellerGraph, der kreisfrei und gerichtet ist. Seine weitere Definition ist nach [52] übernom-men die folgende:

• Ein Baumist ein GraphG, der zusammenhängend und kreisfrei ist. Jeder Kno-ten, der nur eine Kante besitzt, heißtBlatt. Blätter werden im folgenden auch alsEndknoten PE eines Graphen bezeichnet, alle übrigen Knoten alsVerzweigungs-knoten PV

• Ein gerichteter Graph Gist ein PaarG = (P,K) aus einer endlichen MengeP 6= {} von Knoten und einer MengeK ⊆ (P×P) von geordnetenPaaren ausP. Eine Kantek = (a,b),a 6= b heißtgerichtete Kantemit Anfangsknoten aund

9

Page 19: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Endknoten b. Alle Kanten mit Anfangsknotena werden im folgenden alsNach-folgerkantenvona bezeichnet, alle Kanten mit Endknotenb alsVorgängerkantenvonb.Ersetzt man inG jede gerichtete Kante der Form(a,b) durch eine ungerichteteKante der Forma,b, erhält man denzugehörigen ungerichteten Graphen|G|.Umgekehrt seiH = (P,K) ein ungerichteter Graph. Jeder gerichtete GraphG mitH = |G| heißt dann eineOrientierungvonG.

• Ein gerichteter Wegist eine Folge von gerichteten Kantenki = (pi−1, pi)∈K, i =1, ...,n mit paarweise verschiedenen Punktenp j ∈ P, j = 0, ...,n. Die Knotenp0

und pn heißenAnfangs-undEndpunkt.

• Ein Knotenb ∈ P eines gerichteten GraphenG = (P,K) ist von einem Knotena ∈ P auserreichbar, wenn es einen gerichteten Weg mit Anfangspunkta undEndpunktb gibt.

• EineWurzelist ein Knotenw∈ P, von dem aus jeder andere Punkt des gerichte-ten GraphenG = (P,K) erreichbar ist.

• Ein gerichteter GraphG = (P,K) heißtBaum, falls der zugehörige ungerichteteGraph|G| ein Baum ist. BesitztG eine Wurzel, spricht man von einemgerichte-ten Baum.

• Unter einemUnterbaum Uvon G mit Wurzelkantekw = (w,w′) ∈ K soll einBaumU = (P′,K′) verstanden werden, derw und alle vonw′ aus erreichbarenPunkteP′ ⊆ P enthält, sowie die verbindenden KantenK′ = {(a,b) ∈ K|a ∈P′ und b∈ P′}.

Die Verwendung von Graphen reicht über die Modellierung von Aktivitäten über Ver-bindungswege, Zusammenhänge zwischen Personen, zeitliche Abläufe, Syntaxbäume,Entscheidungsbäume und Suchbäume in verschiedenen Kontexten. Die Abbildungen 8und 9 zeigen Beispiele für Graphen und verdeutlichen die große Anzahl von möglichenAbbildungsvarianten .

Abb. 8: Mögliche Graphen

Eine weitere Eigenschaft ist, dass Graphkanten mittels Gewichten attributiert wer-den können. Teilbäume sind Graphen, die Teil eines anderen Graphen sind. Sie besitzen

10

Page 20: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Abb. 9: Drittes Beispiel für einen Graphen, alle Bilder aus [56]

identische Knoten, Kanten und Attribute für einen Bereich des Obergraphen. TypischeAlgorithmen im Graphkontext sind unter anderem Breitensuche, Tiefensuche, das Fin-den kürzester Wege, das Finden von Wegen, Berechnen des minimal spannenden Bau-mes, Teilbaumsuche und Zyklensuche. Weitere Informationen zu dieser Problematiksind in [10] und [18] zu finden.

3.5 Bildgebende Verfahren in der Medizin

Der Begriff „Bildgebung“ wurde in der Medizin geprägt und beschreibt die Unterstüt-zung der Diagnose durch wissenschaftliche bildgebende Verfahren. Das Ziel ist es,das Innere des menschlichen Körpers möglichst genau wiederzugeben, um die Prä-zision bei medizinischen Diagnosen und Therapien zu erhöhen. Als Beispiele dafürsind Computertomographie, Positronenemissionstomographie, Ultraschall, Magnetre-sonanztomographie, Singlephotonemissions- Computertomographie und Kameras ge-nannt. Abhängig von den Eigenschaften der bildgebenden Verfahren werden sie in un-terschiedlichen Bereichen der medizinischen Behandlung eingesetzt. Im Groben wer-den drei Teilgebiete separiert, die Diagnose und Planung, die Operationsdurchfüh-rung und die Nachsorge [51]. Während die Unterstützung für die Diagnosestellungund Operationsplanung eine maximale Genauigkeit fordert und dabei den zeitlichenAspekt vernachlässigen kann, verlangt die intraoperative Anwendung zusätzlich dieBeachtung der zeitlichen Komponente. Es werden gerade im intraoperativen Bereichbesondere Ansprüche gestellt. So ist die Möglichkeit zur Echtzeitbetrachtung der Auf-nahmen wichtig, allerdings auch die Qualität für den jeweiligen Zweck. Zu beachtensind auch die Strahlenbelastungen für den Patienten, aber auch die Belastung für dasPersonal durch eventuelle Streuung der Strahlung, wenn ein Verlassen des Raumesnicht möglich ist. Zudem wird in der Praxis die Kostenfrage kritisch behandelt sowiedie nachfolgende Ausrüstung des Operationssaales mit Instrumenten, die Bildfehleroder Strahlungsreflektion bei der Aufnahme verhindern oder vermeiden. Hinzukom-men eventuelle Verabreichungen von Kontrastmitteln für die Aufnahme und die Artdes Aufnahmevolumens, da fast jedes Verfahren auf bestimmte Gewebestrukturen spe-zialisiert ist.Bei diesen Anforderungen müssen Prioritäten gesetzt werden, da es noch kein Gerätgibt, das alle Anforderungen erfüllen kann. So ist die Computertomographie für intra-operative Bildgebung, wenn eine Auswahl der Verfahren möglich ist, nicht das Mittelder Wahl, da sie zeitintensiv ist und die Patienten belastet [51]. Trotzdem wird sie

11

Page 21: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

manchmal eingesetzt, da es noch keine Alternative bezüglich der gestellten Anforde-rungen gibt. Der Ultraschall ist ein schnelles Verfahren, das keine besonderen Ansprü-che an das Aufnahmevolumen stellt. Das bedeutet, der Patient kann die momentaneLage beibehalten, es ist keine Strahlenbelastung vorhanden. Leider ist die Qualität derAufnahme gering. In vielen Fällen wird eine Kombination mit einem Verfahren ange-raten sein, welches sich in der präoperativen Phase als effektiv erwiesen hat. Hierzuzählt etwa die Computertomographie, da sie den Informationsverlust des Ultraschallsdurch eine höhere Qualität ausgleichen kann. Die speziellen Eigenschaften der Verfah-ren werden nachfolgend erläutert. Verbindet man diese beiden Verfahren, so entstehteine umfassende Informationsbasis, die mittels einer Software entwickelt wird. Ergänztman die Informationen des Ultraschalls mit denen der präoperativen Computertomo-graphie intraoperativ, so ist die Datenbasis schnell und vor Ort während der Operationabrufbar. Die Magnetresonanz-Tomographie ist ebenfalls für diese Kombination denk-bar, jedoch ist sie aufwendig und bildet qualitativ wertvoll nur Weichteilgewebe ab.Für eine Kombination mit Ultraschall und für die Anwendung eines Trackings ist aller-dings ein bildgebendes Verfahren zu empfehlen, dass feste Bestandteile des Körpers,wie zum Beispiel Knochen, abbilden kann, um geeignete Orientierungspunkte zu er-halten. Die Schlussfolgerung aus diesen praxisnahen Überlegungen ist die Wahl derKombination aus Computertomographie und Ultraschall. Die Datensätze für die Er-stellung der Graphen sind Aufnahmen dieser bildgebenden Verfahren, allerdings isteine Nutzung anderer Verfahren ohne Einschränkungen möglich.

3.5.1 Ultraschall

Ultraschall ist von besonderer Bedeutung für diese Arbeit, da es sich um eine Aufnah-meart für die Datensätze, aus denen die Graphen erstellt werden handelt. Um damitverbundene Eigenschaften der Datensätze erklären zu können, wird eine Einführung inden Ultraschall gegeben.Ultraschall wird von Energiewellen erzeugt, die sich anders als Lichtwellen nicht imVakuum fortbewegen können, sondern auf feste, flüssige oder gasförmige Materiali-en angewiesen sind. Physikalisch gesehen treffen auf den Ultraschall die Gesetze derOptik, wie Brechung und Reflexion ähnlich zu, wie sie bei Licht gelten, nur hat derUltraschall eine höhere Frequenz, womit die Anzahl der Schwingungen benannt wirdund eine andere Wellenausbreitung. Dieses Verfahren liefert ein akustisches Bild desAufnahmevolumens. Schwingungen in einem Frequenzbereich von 20 Hz bis 20.000Hz sind für den Menschen hörbar. Frequenzen unter diesen Werten werden als Infra-schall bezeichnet, Frequenzwerte über 20.000 Hz sind als Ultraschall bekannt. In die-sem Wertebereich sind die Schallwellen für den Menschen nicht mehr wahrnehmbar.Ultraschall findet heute vielfache Verwendungen. Er dient zur Orientierung, zur Mate-rialprüfung und Reinigung, sowie als Katalysator für bestimmte chemische Vorgänge.Im medizinischen Kontext wird Ultraschall zur Therapie und für die Diagnostik alsSonographie eingesetzt.

Luft streut Ultraschallwellen in einem sehr hohen Maße, weswegen für die Verwen-dung von gerichteten Wellen eine Trägerflüssigkeit auf Wasserbasis verwendet wird,um Lufträume zwischen dem Schallkopf und dem Beschallungsraum zu überbrücken[50]. Treffen die Ultraschallwellen auf Materie unterschiedlicher Dichte, ändert sichdie Schallgeschwindigkeit auf Grund von Wellenbrechung, Reflektion und Absorpti-on, siehe auch Abbildung 10. Unterschiedliche Dichten erzeugen unterschiedliche Bre-chungen, woraus sich in der Medizin verschiedene Gewebeklassen spezifizieren lassen[13]. Die Abbildung 11 zeigt die Absorptionswerte des Schalls und die Abbildung 12

12

Page 22: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Abb. 10: Ultraschall Streuung und Reflektion auf glatter (links) und rauher (rechts) Oberfläche[12]

die Streuwerte abhängig von der gewählten Frequenz. Damit ergibt sich, dass luftge-füllte Organe nicht untersucht werden können. Dies gilt ebenso für Gewebe, die hintereiner Luftbrücke liegen oder ähnliche Dichten aufweisen. Ein Ultraschallgerät verfährtnach dem Prinzip eines Echos. Ein Echo wird von einem Sender geschickt, von einemGegenstand reflektiert und zum Sender zurückgesendet.

In diesem Fall ist der Schallkopf der

Abb. 11: Schallabsorption [12]

Sender und Empfänger. Abhängig von derLaufzeit des Schalls kann eine Entfernungberechnet werden. Aus diesen Abstands-informationen wird die Aufnahme gene-riert. In der Praxis werden kleinere Wel-lenpakete gebündelt und in das Gewebegeschickt. Nachdem die zurückgesende-ten Wellen registriert wurden, werden siedigitalisiert und komprimiert, da der Si-gnalumfang um Vielfaches größer ist alsdie Darstellungsmöglichkeit eines Moni-

tors. Nach einer Zuordnung der Grauwerte abhängig von den gemessenen Amplituden

Abb. 12: Schallstreuung [12]

werden die Daten an den Videogenerator weitergegeben und dargestellt. Der Ultra-schall kann nicht in beliebigen Tiefen verwendet werden. Die Abbildung 13 zeigt einetypische Ultraschallaufnahme.

13

Page 23: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Abb. 13: Ultraschallbild, Leber [51]

Die Schallgeschwindigkeit ist abhängig von dem Durchdringungsgewebe. Die Ge-schwindigkeiten schwanken von 3600 m/s in Knochen, bis hin zu 1470 m/s in Fettge-webe [2]. Blut, Muskeln und Wasser werden mit einer Geschwindigkeit zwischen denbeiden Werten durchdrungen, wobei die Geschwindigkeit von der Temperatur beein-flusst wird. Da die Geschwindigkeit im Vergleich zu Licht gering ist, reicht eine ver-hältnismäßig einfache Messtechnik aus, um die Laufzeiten des Schalls zu bestimmen.Es gibt verschiedene Aufnahmearten bei der Ultraschalldiagnostik. Die bekanntestensind der A-Mode und der B-Mode. Der A-Mode ist die zuerst entwickelte Darstel-lungsart, das A im Begriff steht für Amplitude, das B bei B-Mode für brightness. DieAmplitude spielt in sofern eine Rolle, als dass sie sehr gering wird, wenn sie in tiefeSchichten vordringt. Damit gehen lange Laufzeiten einher, weswegen die Amplitudezeitabhängig verstärkt wird. Dieser Vorgang wird time gain compensation genannt. DieInformation wird in Form eines Diagrammes dargestellt, wobei die Eindringtiefe undEchostärke abgebildet wird. Es werden somit nur die zeitlichen Information der Re-flektion berücksichtigt. Der A-Mode wird heute kaum noch angewandt [15].

Das B-Mode ist die um eine Dimension erweiterte Darstellungsform. Dieses wirddurch eine Abtastung in zwei Richtungen erreicht, wobei die Richtung sich abhängigvon der Abtastungszeile ändert. Im B-Mode fließt zusätzlich die Helligkeit der abgetas-teten Punkte ein. Dieser Mode ist der am häufigsten angewandte und kann mit anderenModen wie dem M-Mode (A-Mode plus Bewegung) oder dem Doppler-Mode 3.5.1.1gekoppelt werden.Ultraschall ist ein schnelles Verfahren, dass relativ zu anderen bildgebenden Verfahrenkostengünstig ist. Es tritt praktisch keine Belastung für den Patienten auf, weder durchStrahlung, durch zeitliche Inanspruchnahme noch durch Pharmaka, die zwingend erfor-derlich sind. Die geringe Belastung lässt sich auch an der Verwendung in der Schwan-gerschaftsdiagnostik erkennen. Desweiteren kann Ultraschall die Durchblutung oderdie Bewegung von Geweben gegeneinander in Echtzeit darstellen. Negativ dagegen istdie im Vergleich mit der Computertomographie oder der Magnetresonanztomographiegeringe Auflösung und die fehlende Fähigkeit Knochen und dahinterliegende Gewebeoder luftgefüllte Organe abzubilden [17].

14

Page 24: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

3.5.1.1 Doppler-Ultraschall

Der Dopplereffekt beschreibt die Erscheinung, dass sich die Frequenzen von Wellenverändern, wenn der Empfänger und Sender sich relativ zu einander bewegen. Der Ef-fekt ist bekannt bei Sirenenfahrzeugen, die sich zunächst auf eine Person zu bewegenund sich dann von ihr entfernen. Die Sirene scheint ihren Klang abhängig vom Nähernund Entfernen zu verändern. Dieser Effekt tritt bei einer Sonographie auf, wenn derSchall auf sich bewegende Elemente, in diesem Fall das Blut, trifft. Das sich in Be-wegung befindende Blutplättchen reflektiert abhängig von der Geschwindigkeit eineverschobene Frequenz, gemessen an der, die ausgestrahlt wurde [51]. Diese Doppler-frequenz kann im hörbaren Bereich liegen und wird deswegen auch zur Kontrolle desHerzschlages angewendet. Anhand der Dopplerfrequenz kann die Blutflussgeschwin-digkeit errechnet werden. In die Berechnung fließt außerdem der Winkel ein. Dazuzeigt Abbildung 14 das Schema der Doppleraufnahme.

Abb. 14: Dopplerschema [50]

Der Fehler der Messung hängt damit vom Einstrahlwinkel ab. In der Praxis wirktsich das derartig aus, dass die Messung nur in einem senkrecht zum Schallkopf befind-lichen Bereich durchgeführt werden kann, wodurch viele Gefäße nicht erfasst werden.Bei der Farbdoppler-Sonographie, siehe Abbildung 15, werden die Flüsse in überla-gerten Farben, standardmäßig rot und blau, dargestellt. Diese Mode ist zumeist mitdem B-Mode gekoppelt, so dass die Farbinformationen über das normale B-Mode-Bild überlagert werden [12]. Wird die Menge der sich bewegenden Teilchen gemessen,spricht man von Powerdoppler. Die Abbildung 15 zeigt eine solche Aufnahme. Beidiesem Verfahren können insbesondere kleine Gefäße dargestellt werden und die Win-kelabhängigkeit ist geringer. Die Information ist in einem Farbverlauf von rot nachgelb kodiert. Eine weitere Eigenschaft, die wichtig für die Problemstellung ist, ist dieTatsache, dass das Ergebnisbild nicht die exakten Durchmesser der Gefäße wiedergibt,sondern den Fluss in den Gefäßen, welcher sich teilweise von den Gefäßdicken unter-scheiden kann.

3.5.1.2 Artefakte

Bei der Vorstellung des Ultraschallverfahren seien auch die entstehenden Artefakteerwähnt, die maßgeblich an der geringeren Qualität der Aufnahmen beteiligt sind. Ar-tefakte sind fehlerhafte Bereiche im Aufnahmebild. Es wurde bereits erwähnt, dass die

15

Page 25: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Abb. 15: Farbdoppler, links und Powerdoppler, rechts [53]

Tiefe der Schalls nicht ohne Grenzen frei wählbar ist und dass Luft zu einer starkenStreuung der Wellen führt. Ein weiteres Problem ist die Abschattung, die auftritt, wennder Schall auf stark reflektierendes Gewebe trifft. Hinter diesem Gewebe ist keine wei-tere Messung möglich. Zu diesen Geweben gehören Knochen, Luft oder andere festeStoffe wie Ablagerungen. Die Bilder in Abbildung 16 zeigen Abschattungen mit star-kem Echo des Reflektors bei fast senkrechtem Halten des Schallkopfes und ohne star-kes Echo bei schrägem Schalleinfall. Eine Schallverstärkung kann auftreten, wenn die

Abb. 16: Abschattungen im Bild mit starkem Echo, links und ohne Echo, rechts [26]

tiefenabhängige Verstärkung auf Grund eines schwach gedämpften Gewebes falsch be-rechnet wurde. Dadurch erscheint das dahinterliegende Gewebe zu hell. In Abbildung17 ist im ersten Bild die Schallverstärkung durch ein schwach dämpfendes Gewebedargestellt. Zu weiteren Abschattungen kann es kommen, wenn runde Strukturen be-schallt werden. Hierbei kann es passieren, dass Randstrahlen weg gespiegelt werden.Durch die fehlenden Randelemente werden dann Abschattungen hervorgerufen. EineDarstellung dieses Fehlers zeigt Abbildung 17 im zweiten Bild.Ein weiteres Problem sind flüssigkeitsgefüllte Organe, da an deren Randgebieten Schicht-dickenartefakte auftreten können. Es treten Unschärfe auf und falsche Strukuranzeigen.Diesbezüglich zeigt das erste Bild der Abbildung 18 das Ergebnisbild. Reverberationentreten auf, wenn der Kontakt zur Haut fehlerhaft ist und der Schall damit mehrfach imgleichen Abstand reflektiert wird [15].Mehrfachreflexionen entstehen bei stark reflektierenden Flächen, diese können ganzeBilder erzeugen, die zu virtuellen Objekten führen. Bild zwei in Abbildung 18 und Ab-bildung 19 zeigen diesen Sachverhalt [13]. Diese Fehleranfälligkeit schränkt den Ge-brauch der Ultraschalltechnik zwar ein, dennoch wiegen die restlichen Eigenschaften

16

Page 26: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

diesen Nachteil oft auf. Trotz der minderen Bildqualität können auf groben Strukturenschnell entscheidene Aussagen getroffen werden.

Abb. 17: Schallverstärkung und Abschattung durch kreisförmige Objekte [26]

Abb. 18: Schichtdickenartefakt und Mehrfachreflektion [26]

Abb. 19: Spiegelung an starken Reflektoren [26]

3.5.2 Computertomographie

Die Computertomographie ist ein Schichtbildverfahren, das von einem Objekt zwei-dimensionale Querschnitte mittels einer Röntgenaufnahme erzeugt. Die ausgesendeteStrahlung wird von mehreren Detektoren, in den neuesten Geräten sind es zwischen

17

Page 27: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

600 und 2400, aufgezeichnet. Durch einen Vergleich der ausgehenden mit der emp-fangenen Strahlung kann errechnet werden, wie viel Strahlung vom Objekt absorbiertwurde. Die Gewebearten im menschlichen Körper besitzen unterschiedliche Durch-lässigkeiten für diese Strahlung. Abbildung 21 zeigt eine typische Computertomogra-phieaufnahme sowie ein Schichtbild. Das gesamte Aufnahmeprinzip ist in Abbildung22 ersichtlich. Die Grauwerte des Beispielbildes in Abbildung 21 entsprechen der Ab-sorptionsfähigkeit des Gewebes gegenüber der Strahlung. Röntgenstrahlen sind im Ge-

Abb. 20: Wellenbereiche, aus [37]

gensatz zu Ultraschallwellen elektromagnetische Wellen, die einen Frequenzbereich<380 nm besitzen und welcher damit unterhalb des farbigen, sichtbaren Lichtes liegt.Dieser Wertebereich umfasst ultraviolettes Licht, Gammastrahlen und reicht bis hin zurkosmischen Strahlung. Die Berechnung innerhalb des Röntgengerätes zur Rekonstruk-tion des aufgenommenen Objektes ist eine zweidimensionale Integraltransformation,die Radontransformation genannt wird.

Abb. 21: Computertomographie, Beispiel und Scheibenprinzip [9]

Für die zur Berechnung notwendige Umkehrung der Radontransformation wirdsich der Fouriertransformation bedient. Auch bei der Computertomographie gibt es

18

Page 28: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

verschiedene Aufnahmetechniken. Der Unterschied liegt in der Führung des Scanvor-gangs. Ältere Geräte arbeiteten mit einem festen Detektorring und einem Röntgen-strahl. Später wurden die Röntgenstrahlen fächerförmig durch das Objekt geschickt.Andere neuere Geräte lassen nur noch die Röntgenröhre rotieren, da die Detektorenin 360◦ um den Patienten positioniert sind oder lenken die Röntgenstrahlen derart ab,dass weder die Röntgenröhre noch die Detektoren bewegt werden müssen.Bei der jüngeren Spiral-Computertomographie bewegt sich die Röntgenröhre mit denDetektoren spiralförmig um das Objekt. Damit hat sich die Schichtbildaufnahme zueinem Volumenverfahren entwickelt. Die Mehrzeilenspiral-Computertomographie be-nutzt den gleichen Weg, nimmt aber zeitgleich mehrere Schichten des Objektes auf. Diegewebetypische Attenuation, also die Dämpfung des Signales, hat zu der Hounsfield-Skala geführt, die diese Bezüge zueinander ausdrückt. Die Abbildung 23 stellt dieseSkala dar. Von ihr kann abgelesen werden, welche Gewebeklasse zu welchem Hounsfield-Wert korrespondiert. Es lässt sich erkennen, dass Knochen und die Lunge einem großenBereich zugeordnet werden können zu dem keine weitere Gewebeart zugewiesen ist.Dieses deckt sich mit der Erfahrung, dass sowohl Knochen als auch die Lunge am bes-ten in einer computertomographischen Aufnahme zu erkennen sind.Anders verhält es sich mit Niere, Pankreas, Blut und der Leber. Sie entsprechen einemsehr kleinen Bereich, den sie sich, wie in der Vergrößerung ersichtlich ist, zum Teilmit zwei weiteren Gewebeklassen teilen. Da unser Augenmerk auf der Leber mit ihrenBlutgefäßen liegt, wird ersichtlich, dass sie sich einen sehr kleinen Grauwertbereichteilt.

Abb. 22: CT-Aufnahmeprinzip [9]

Die Computertomographie führt eine Belastung für den Patienten mit sich, die ausder Röntgenstrahlung entsteht und beachtet werden muss. Die Bildqualität wird be-einträchtigt durch Bildrauschen, die durch Störungen der Röntgenstrahlen entstehen,durch Quantenrauschen, dass kleine Punkte beschreibt, die aus Messfehlern zustandekommen und durch Artefakte, die objektfremde Abbildungen sind und durch techni-sche oder manuelle Fehler erzeugt werden. Die Röntgenstrahlen können abgelenkt,

19

Page 29: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Abb. 23: Hounsfield-Skala [9]

zerstreut, überlagert, ungleichmäßig in ihrer Dichte erzeugt oder falsch von den Detek-toren interpretiert werden, wenn diese nicht korrekt kalibriert worden sind. Auf Grundder zeitlichen Inanspruchnahme kann es zu Bewegungen des Objektes kommen, die imweiteren zu Sprüngen in den Aufnahmen führen. Für die Computertomographie sprichtdie trotzdem sehr gute Qualität der Aufnahmen, die im weiteren durch zu Hilfenahmevon Kontrastmitteln verbessert werden können. Organe können trotz Überlagerungenin hoher dreidimensionaler Auflösung dargestellt werden und können zudem vielfäl-tig nachbearbeitet werden. Diese Aufnahmeart ist nicht in der Lage Temperaturen zumessen, allerdings ist sie ein schmerzfreies Verfahren [15][51][9].

3.6 Registrierung

Unter Registrierung ist eine Transformation von einem Zustand zu einem zweitem zuverstehen. Das bedeutet, das Ziel ist die Anpassung der Zustände zueinander. Im Falleder Bildverarbeitung können diese Zustände sich durch viele Faktoren unterscheiden.Diese Faktoren können die Dimensionalität, die Art der Koordinatensysteme, die be-nötigte Transformation, die Modalitäten oder die Form des Objektes betreffen. DasGebiet der Registrierung ist inzwischen eine eigenständige Disziplin, die ein weitrei-chendes Anwendungsfeld hat. Begriffe, die häufig im gleichen Kontext benutzt werdensind Matching, Fusion oder Morphing, wobei die Definition allerdings eine Trennungvorsieht.Das Matching ist ein allgemeiner Begriff, der fächerübergreifend benutzt wird, die Fu-sion ist bei der Benutzung verschiedener Bildtypen geprägt worden und das Morphingbeschreibt den definierten Übergang von einem Zustand in den nächsten. Mit der Re-gistrierung soll das Berechnen einer Transformation für korrespondierende Punkte inbeiden Zuständen und das möglichst genaue Abbilden dieser Punkte aufeinander im

20

Page 30: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Raum erreicht werden. Die Summe der sich zwischen den Zuständen veränderndenFaktoren bestimmt die Komplexität der Transformation.Die Aufgabenfelder lassen sich in vier Kategorien einteilen. Das monomodale Mat-ching steht für Registrierungen zwischen zwei Bildern der gleichen Aufnahmeart. Mul-timodales Matchen beschreibt demzufolge die Registrierung zwischen verschiedenenbildgebenden Verfahren. Das Template Matching ist modellbasiert und sieht das Re-gistrieren eines extern generierten Modells mit einer Aufnahme vor. Das physikalischeMatching wird notwendig, wenn eine Transformation zwischen verschiedenen Koordi-natensystemen berechnet werden muss. Dies ist insbesondere beim computergestütztenOperieren der Fall.Eine allgemeine Klassifikation der Registrierung dagegen ist schwieriger, da Registrie-rungen zumeist problembezogen sind. Die Faktoren, die die Komplexität bestimmensind die Art der Bilddaten, der Bereich der Registrierung, Art der Transformation, Be-rechnung der Parameter, Grad der Automatisierung und Grad der Genauigkeit. DieSchritte zum Ablauf einer Registrierung sind unabhängig der genannten Fragestellun-gen die folgenden. Zunächst werden Merkmale in beiden Bildern segmentiert. Danachmüssen gleiche Bildbereiche gefunden werden. Nach der Wahl der Transformationwerden die Parameter mittels einer Suchstrategie berechnet, bis die Übereinstimmungder Bilder, gemessen an einem ausgewählten Ähnlichkeitsmaß, dem Grad der Genau-igkeit entsprechen. Im Anschluss wird die Transformation ausgeführt.Das Segmentieren der Interessensgebiete gehört streng genommen in den Bereich derVorverarbeitung. Der Schritt der Korrespondenzfindung, der für einige Registrierungs-verfahren notwendig ist, ist oft nicht trivial. Die Merkmale für diese Punkte könnensehr vielfältig sein. Als Auswahl sind angefangen von Pixelwerten, über Raumpunktemit deren Farbwerten oder Kanten und Konturen bis hin zu Oberflächen und Struk-turen möglich. Auch eigenständig definierte Marken können verwendet werden. Dieskönnen statistische Werte, Graphen, Modelle oder andere Subpattern sein. Sind diesePunkte gefunden und definiert, werden sie häufig als Landmarken bezeichnet.Landmarken können, wie beschrieben, von geometrischer oder anatomischer Struktursein. Die geometrischen Punkte ergeben sich aus auffälligen Strukturelementen. Ana-tomische Marken dagegen sind im medizinischen Bereich bestimmend. Sie werdendurch leicht erkennbare, anatomisch festgelegte Punkte definiert. Es gibt verschiedeneAnsätze, um Landmarken festzulegen. Entscheidend ist zumeist der Grad der Interak-tionsmöglichkeit, der zum manuellen, semi-automatischen oder automatischen Setzenführt.Um eine Registrierung auszuführen sind die Korrespondenzen zwischen den Landmar-ken der beiden Bilder bzw. Zustände notwendig. Diese Korrespondenzfindung kannUnklarheiten ergeben, auch wenn die Landmarkenpaare manuell ausgewählt werden.Das korrespondierende Punktepaar kann in beiden Zuständen mit Faktoren unterschied-licher Werte aufgenommen worden sein. Diesbezüglich seien Koordinatensystem, Zeit-punkt, Blickwinkel oder Aufnahmeart genannt. Hinzukommen modellabhängige Ver-änderungen, die aus der Bewegung oder einer Entwicklung des Modells selbst resultie-ren. Das Finden des gemeinsamen Punktepaares beschäftigt noch immer die aktuelleForschung, und wird, auf das Problem dieser Arbeit bezogen, ein größeres Problemdarstellen, über welches entschieden werden muss. Je genauer die korrespondierendenPunkte festgelegt werden können, desto genauer ist das Ergebnis der Registrierung.Eine Transformation kann global oder lokal, elastisch oder starr, interpolierend oderapproximierend sein. Globale Transformationen verändern das gesamte Bild oder Ob-jekt, während lokale Transformationen dagegen nur einen definierten Bereich transfor-mieren. Eine weitere Möglichkeit der Klassifizierung ist der Elastizitätsgrad. Die im

21

Page 31: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

folgenden genannten Gruppen sind mathematisch abgeschlossen.Beginnend bei der starren Transformation, Gleichung 1, die die geringste Anzahl

von Freiheitsgraden besitzt, sind Drehungen und Verschiebungen erlaubt. Im dreidi-mensionalen Fall besitzt sie drei Translationskomponenten (tx,ty,tz) und drei Rotations-winkel (θ1,θ2,θ3) als Freiheitsgrade. Im Falle ihrer Invertierbarkeit erhält die Transfor-mation Geraden, Parallelen und Teilverhältnisse, also die Abstände der Punkte bleibengleich.

~y = cR~x+~t (1)

Mehr Freiheitsgrade bieten affine Transformationen, siehe Gleichung 2. Sie erlau-ben zusätzlich Scherung und Skalierung und besitzen bereits 12 Parameter. Die Gera-den, Parallelen und Teilverhältnisse bleiben erhalten.

~y = cA~x+~t (2)

Noch mehr Freiheitsgrade haben Projektionen. Mit ihnen können bis auf die Gera-den im Bild alle geometrischen Eigenschaften verändert werden. Projektionen sollenhier nicht weiter erläutert werden [61][32][25], da ihre Eigenschaften noch nicht fürden Anwendungsfall in dieser Arbeit ausreichen.

Die elastischen Transformationen beleben die allgemeinste Klasse. Der Begriffelastisch ist nicht festgelegt und kann zu Verwirrungen bei der Suche von geeigne-ten Algorithmen führen. Diese Transformationen können durch eine große Auswahlvon Funktionen beschrieben werden. Eine mögliche Unterklasse sind Polynome, sieheGleichung 3 und 4.

x′=N

∑i=0

N−i

∑j=0

ai, jxiy j (3)

y′=N

∑i=0

N−i

∑j=0

bi, jxiy j (4)

Eine Möglichkeit ergibt sich hier durch die Verwendung von stückweisen Polyno-men, womit in das Kapitel 4.2.1.1 der Thin Plate Splines übergeleitet wird.

22

Page 32: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

4 Vorbereitung

In diesem Kapitel werden die Schritte erläutert, die vor der Realisierung durchgeführtwurden. Zunächst wird die Recherche vorgestellt, ausgewertet und diskutiert. Hier sinddie Argumente für die Entscheidungen zu finden, die zu der endgültigen Realisierunggeführt haben. Im Anschluss wird beschrieben, welche Maßnahmen notwendig waren,um die Datensätze aufnehmen zu können.

4.1 Graph Matching

Der Begriff Graph Matching wird in vielen Bereichen der Informatik verwendet. DieNotwendigkeit zwei Graphen, zum Beispiel aus der Wissensrepräsentation zu matchen,entsteht bei vielen Anwendungsfragen. Das Graph Matching in diesem Zusammenhangist allerdings nicht die Basis der Recherche. Das Matchen in dieser Aufgabenstellungbenötigt ein Verfahren, das sich mit dem Spezialfall der Unterklasse Baum beschäftigt.Selbst aus diesem Gebiet sind viele Verfahren zu aufwendig oder zu wenig Kontext be-zogen, um in die nähere Auswahl genommen zu werden. Aus dem benötigten Kontextbezogenen Bereich stehen nur sehr wenig Algorithmen zur Verfügung, da die Problem-stellung noch sehr jung ist. Betrachtet man ähnliche Projekte aus Deutschland, die mitGraphen aus Gefäßbäumen arbeiten, so muss man feststellen, dass noch kein Graph-Matching durchgeführt worden ist. Dies liegt zum Teil an der Problemstellung, die diesnicht erforderte, zum anderen an der Aktualität des Projektes. Ein Graph-Matching Al-gorithmus, der von einer Projektgruppe noch nicht angewendet aber angedacht wurde,wird im folgenden mit vorgestellt werden.

4.1.1 Mögliche Verfahren

Das Problem des Graph Matching kann von verschiedenen Herangehensweisen be-trachtet werden. Zunächst wird der Algorithmus vonGold undRangarajanbeschrie-ben, welcher vom Deutschen Krebsforschungszentrum in Heidelberg für das ProjektARION (Augmented Reality for Intra-Operative Navigation) für ein Graph Matchingin Betracht gezogen wurde. Das zweite vorgestellte Verfahren nachPisupati undWolffet al., befasst sich mit dem Matchen von Lungenwegen. An dieses Verfahren werdenähnliche Anforderungen gestellt, wie sie auch für den gesuchten Algorithmus gefordertwerden. Das dritte Verfahren verfolgt einen weiteren Ansatz. Anstatt den Graphen imGanzen zu matchen, könnte auch ein Punktmatchingverfahren der gesuchte Algorith-mus sein. Das Invisible Hand Verfahren wird in ähnlichen Bereichen verwendet.

4.1.1.1 Verfahren nach Gold und Rangarajan

Dieses Verfahren wurde für einen globalen Einsatz in der Computer Vision entwickelt.Das vorrangige Anwendungsfeld sind aus Bildern mittels Bildverarbeitung erstellteGraphen, die die Form eines Objektes repräsentieren. Abbildung 24 zeigt ein Bild mitden resultierenden Graphen. Der entwickelte Algorithmus matcht gewichtete, attribu-tierte aber ungerichtete Graphen. Er baut auf einem ähnlichen Verfahren wie der In-visible Hand Algorithmus auf, jedoch ist er auf Graphen erweitert und verstärkt dieAttribute während der Suche. AuchGold undRangarajanstellen alle möglichen Kor-respondenzen in einer Matrix zusammen. Die Zeilen- und Spaltensummen werden ite-

23

Page 33: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Abb. 24: Aus einem Bild erstellte Graphen [23]

rativ immer wieder normiert, bis eine Permutationsmatrix gefunden ist. Abbildung 25zeigt eine Matchmatrix, die eine Permutationsmatrix ist.

Abb. 25: Schema der Matchingmatrix als Permutationsmatrix [23]

In einer Permutationsmatrix ist die Summe der Zeilen und die Summe der Spaltengleich eins. Danach wird eine Heuristik angewandt, mit welcher die Ergebnisse verbes-sert werden. Diese Heuristik wird verwendet, da die Konvergenz des Verfahrens nichtimmer gegeben ist. Das Verfahren ist auch auf nicht durchgängig zusammenhängendeGraphen anwendbar. Das Verfahren ist universell und damit für alle Graphen einsetz-bar. Es ist akkurat, schnell und stabil [23].

4.1.1.2 Verfahren nach Pisupati, Wolff, Mitzner und Zerhouni

Eine ähnliche Problemstellung zu der in dieser Arbeit findet sich in der Medizin imBereich der Atemwege. Die Struktur der Bronchien ist vergleichbar mit einem Ge-fäßbaum. Zwar ist der Bronchienbaum mit Luft gefüllt, wodurch eine andere Aufnah-meart verwendet werden muss, das Matching Problem ergibt sich allerdings auch indiesem Bereich, und zwar durch das Atmen während der Aufnahme von Datensätzen.Dies bezüglich muss ein Abgleich der Daten nach der Aufnahme verfolgen, wozu einTree Matching Algorithmus verwandt werden kann. Ein weiterer Faktor bestimmt dieÄhnlichkeit der Gegebenheiten. Bei dem Vergleich von Gefäßbäumen aus Ultraschall

24

Page 34: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

und CT ergeben sich auf Grund der unterschiedlichen Detailstärke unterschiedlich feinstrukturierte Graphen. Bei der Aufnahme der Bronchienwege tritt der gleiche Effektauf, allerdings hier ausgelöst durch den beim Ein- und Ausatmen unterschiedlichenLuftdruck in den Bronchien. Dadurch werden kleinere Abzweigungen verschiedensichtbar und man erhält zwei Aufnahmen, die sich abhängig von der Atmung in ih-rer Detailliertheit unterscheiden.Die Anforderung an diesen Algorithmus ist ebenfalls sowohl die Erhaltung der Topolo-gie und geometrischen Information als auch die Möglichkeit zur Erweiterung auf attri-butierte Elemente.PisupatiundWolff et al.stellten ein Verfahren vor, das zunächst dieMittellinie aus 3D-Lungenbäumen bestimmt und anschließend das eins-zu-eins Mat-ching dieser Bäume durchführt.Die Abbildung 26 zeigt einige Probleme, die für das Matchingverfahren auftreten. Derlinke Baum beschreibt die Aufnahme während des Ausatmens, der rechte Baum dage-gen wurde mit hohem Druck beim Einatmen aufgenommen. Die Abbildung zeigt dieMehrdeutigkeit der Korrespondenzen, die gefunden werden könnten.Die Extraktion der Mittellinien wurde mit dem Robust Central Axis Algorithm vonWest, D. , 1995durchgeführt. Der Matching Algorithmus durchläuft die Bäume stufen-weise und sucht in jedem Level nach Korrespondenzen.

Abb. 26: Problematik der Korrespondenzsuche [40]

Es werden vier Parameterbereiche zu Hilfe genommen, die für eine maximale Än-derung der Werte im Gefäßdurchmesser, Gefäßlänge, Punktposition und Winkel zwi-schen den Kanten stehen. Diese Bereiche müssen eingehalten werden, um eine Korre-spondenz setzen zu können. In jedem Baumlevel d werden mögliche Korrespondenzenim Partnerbaum im Level d gesucht. Daraufhin werden im Partnerbaum im Level d+1in den Kindern nach weiterführenden Korrespondenzen gesucht. Eines dieses Kinderist die beste Korrespondenz und respektive dessen Vater, wenn es die sieben Kriterienam besten erfüllt. Die nachfolgende Aufzählung beschreibt die Kriterien:

1. Die Anzahl aller gefundenen möglichen Korrespondenzen ist die Größte.

2. Das Level ist das nächste zum aktuellen Vaterlevel.

25

Page 35: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

3. Der Unterschied im Gefäßdurchmesser muss innerhalb der maximalen Änderungliegen.

4. Der Pfad ist möglichst unverzweigt.

5. Der euklidische Abstand zwischen den Punktpositionen muss innerhalb der ma-ximalen Änderung für die Position liegen.

6. Der Richtungsvektor zwischen den korrespondierenden Kanten soll möglichstklein sein.

7. Die drei Winkel zwischen Vater-Kind und Kind-Kind zu denen im Partnerbaumsollen innerhalb der maximalen Änderung liegen.

Die ersten beiden Kriterien erhalten die Topologie und sind zwingend. Die darauffolgenden geometrischen Kriterien verbessern die Auswahl, müssen aber nicht erfülltwerden. Abbildung 27 zeigt die beiden Graphen in einer Situation des Matchings. DerKreis umc1 symbolisiert die maximale Änderung der Position des Punktes. Es sinddie möglichen Korrespondenzen für die ersten beiden Kanten vonT1 dargestellt. DerAlgorithmus wird in [41] und [40] näher erläutert.

Abb. 27: Darstellung möglicher Korrespondenzen im ersten Level [40]

4.1.1.3 The Invisible Hand Algorithmus

Eine weitere Alternative stellt das Matchen von Punkten dar. Hierbei werden die Kan-ten im Graphen vernachlässigt und nur die Knoten als Information benutzt. Der folgen-de Algorithmus bedient sich aus dem Bereich der Statistik. Eingeführt vonKosowskyundYuille ist der The Invisible Hand Algorithmus ein Punktmatchingverfahren, das zurKorrespondenzsuche in Graphen verwendet werden kann. Der grundlegende Ansatzdes Verfahrens ist die Definition einer minimierenden Zielfunktion, die das Problemals Lösung einer Optimierung beschreibt. Das heißt, die Minimierung der Funktion

26

Page 36: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

entspricht der optimalen Korrespondenz.Diese Zielfunktion enthält Parameter, die die räumliche Lage der Punkte und die Kos-ten für diesen Pfad enthalten. Die Kosten ergeben sich aus dem euklidischen Abstands-maß. Für die Darstellung der Korrespondenz zwischen den Punktmengen wird einequadratische Permutationsmatrix verwendet. Diese Matrix wird binär aufgebaut, sodass für die gefundene Korrespondenz eine Eins eingetragen wird und sonst die Null.In der Matrix sind alle möglichen Korrespondenzen eingetragen.Bei KosowskyundYuille werden die Kosten als Temperatur interpretiert und als Kon-trollparameter benutzt. Die optimale Lösung definiert sich durch die geringste Tempe-ratur, die für einen Pfad notwendig ist (Energie-Spar-Prinzip). Das Verfahren ist itera-tiv, in dem es für jeden Schritt die momentane Temperatur für alle Zeilen und für alleSpalten summiert und ein Reihensummenkriterium forciert, wobei die Temperatur er-niedrigt wird. Die erniedrigte Temperatur dient als Startwert für die nächste Iteration.Diese wird abgebrochen, wenn der Temperaturwert unter einen kritischen Wert fällt.Das Ergebnis ist die optimale Matrix, die die entsprechenden Korrespondenzen enthält.Das Verfahren ist für gleichgroße Punktmengen definiert. Durch Einführung von „ima-ginären“ Punkten, die zum Auffangen von überzähligen Punkten dienen, kann dieserFaktor eliminiert werden, siehe [28] und [57].

4.1.2 Diskussion möglicher Verfahren

Im vorherigen Abschnitt wurden drei Matchingverfahren vorgestellt. Ziel des folgen-den Abschnittes ist die Diskussion der Verfahren mit Herausstellung ihrer Vor- undNachteile. Das Ergebnis ist die Entscheidung für ein Verfahren, das für die Problem-stellung umgesetzt werden soll.

4.1.2.1 Anforderungen

Der gesuchte Algorithmus soll zwei Graphen matchen und dabei die Topologie undgeometrischen Eigenschaften bewahren. Dies bedeutet auch, dass Vater-Kind- Bezie-hungen erhalten bleiben müssen. Hierzu stehen gegebenenfalls Attribute zur Verfü-gung. Die Graphen unterscheiden sich in ihrer Detailstärke, was bedeutet, dass einGraph als Teilbaum angesehen werden kann. Die Graphen sind zudem gerichtet undzyklenfrei. Gesucht ist ein möglichst genaues Verfahren, das die korrespondierendenGraphknoten findet. Für das Erhalten der Genauigkeit kann eine Interaktion mit demBenutzer verwendet werden. Das Verfahren sollte einen geringen Aufwand besitzen,um eine Echtzeitanwendung zu ermöglichen. Die Graphen sind außerdem nicht uni-form skaliert und nicht linear deformiert. Zu beachten ist weiterhin, dass die Graphenrelativ klein sein werden und dies mit der Komplexität der Verfahren abzuwägen ist.

4.1.2.2 Analyse der Verfahren

Das Verfahren nachPisupatiundWolff et al.wurde für eine ähnliche Problemstellungentwickelt wie die hier zu Grunde liegende. Das Verfahren nutzt die erstellten Attribu-te aus, um die bestmögliche Kombination der Korrespondenzen zu finden. Allerdingsist das Verfahren für binäre Graphen aufgebaut, da die Lungenwege diese Eigenschafterfüllen. Der Algorithmus ist schnell und akkurat. Er erfüllt außerdem das Genauig-keitsmaß. Positiv ist außerdem, dass dieses Verfahren nicht zunächst alle möglichenKombinationen aufstellt, um dann nach geeigneten Löschkriterien die Zahl zu verrin-gern, sondern sucht nur in jeweils zwei Level des Baumes. Der Invisible Hand Algo-

27

Page 37: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

rithmus dagegen arbeitet entgegengesetzt und stellt eine große Matrix auf. Der großeNachteil dieses Verfahrens ist die Nicht-Beachtung der Topologie. Nur eine falsch ge-fundene Korrespondenz könnte ausreichen, um den Zusammenhang des Graphen auf-zulösen. Hierbei ist zu beachten, in wie weit ein Benutzer in der aufgelösten Hierarchiedie falsche Korrespondenz finden könnte, wenn das Ergebnis nicht entsprechend demOriginalgraphen aufbereitet werden würde. Das Verfahren vonGold undRangarajanist eine Weiterentwicklung für relationale, attributierte Graphen. Die Vorstellung desVerfahrens war auf zweidimensionale Graphen limitiert. Desweiteren sind die verwen-deten Graphen nicht gleich bedeutend mit den hier zu verwendenden Gefäßgraphen.Das Verfahren ist universell einsetzbar, allerdings ist nicht erkennbar, ob für diesenspeziellen Zweck eine Anpassung des Verfahren notwendig wird oder ob dieses globa-le Verfahren diesen Anwendungsfall abdeckt.

4.1.2.3 Beurteilung und Diskussion

Da der Algorithmus für die Lungenwege binäre Graphen voraussetzt, ist für diese Ei-genschaft, wenn der Algorithmus verwendet werden soll, eine Lösung zu finden. Ent-weder werden die Ausgangsgraphen auf binäre Kanten reduziert oder es wird der Al-gorithmus erweitert werden müssen. Da aber die Gefäßgraphen eine Abstrahierung derInformationen aus dem Ultraschalldatensatz sind und bereits die Verwendung des Ul-traschall zu Informationsverlust führt, ist eine Binarisierung der Graphen nicht anzura-ten. Hierbei erfolgt ein weiterer Informationsverlust, denn entweder werden überzäh-lige Kanten gelöscht oder verschoben werden müssen. Das PunktmatchingverfahrennachYuille ist nicht Topologie erhaltend und verspricht allein dadurch keine guten Er-gebnisse. Der zweite Algorithmus dieser Kategorie vonGold undRangarajanarbeitetmit relationalen Graphen. Außerdem erscheint seine Implementierung zu aufwendigund zu universell für so kleine und spezielle Graphen, wie sie aus der hier gestelltenProblematik zu erwarten sind. Zusammenfassend ist das Verfahren nachPisupati undWolff et al.am vielversprechendsten. Jedoch ist zu erwarten, dass es zu einigen Ände-rungen führen wird, die aus den oben genannten Problemen resultieren. Der lösendeAlgorithmus wird mit Vorlage des Verfahrens erstellt, wobei eine Anpassung an dashier gestellte Problem erfolgen muss.

4.2 Registrierung

Eine Einführung in die Thematik der Registrierung wurde in Kapitel 3.6 gegeben.Nachdem einige Merkmale vorgestellt worden sind, mit denen Registrierungsalgorith-men eingeordnet werden können, richtet sich der Fokus jetzt auf die elastischen, dreidi-mensionalen Registrierungsmethoden. Um das Problem der Registrierung zu verdeutli-chen, ist in der Abbildung 28 das Ergebnis einer schlechten Registrierung zu sehen. Essind Bilder aus zwei verschiedenen bildgebenden Verfahren zu sehen, die auf Grundunterschiedlicher Informationen, im linken Bild ist ein Tumor erkennbar, registriertwerden müssen. Verschiedene Verfahren bedeuten wie im Kapitel 3.6 beschrieben, ei-ne Vielzahl unterschiedlicher Aufnahmefaktoren, was zur Folge hat, dass eine starreRegistrierung wie abgebildet nicht ausreicht. Das erwünschte Ergebnis der Registrie-rung dagegen ist in der darauffolgenden Abbildung 29 dargestellt. Die Informationenbeider Verfahren werden in einem Bild vereinigt und passend zueinander dargestellt.

Die elastischen Methoden entsprechen den Anforderungskriterien, die für die Auf-gabe benötigt werden. Zu diesen Kriterien gehört, dass die Transformation elastischeDeformationen von Volumen zulassen muss, die durch wenige Punkte unterstützt wird.

28

Page 38: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Abb. 28: Das Registrierungsproblem [45]

Abb. 29: Gewünschtes Ergebnis einer Registrierung [45]

Für die Computertomographie wurden spezielle Algorithmen entwickelt, die zunächstauf die Registrierung von Schädelknochen spezialisiert waren. Dazu gehört die Aus-arbeitung vonChristensen et al.(1996), in welcher ein elastisches Morphing zwischeneiner Computertomographieaufnahme und einem Atlas mittels Intensitätsunterschie-den vorgestellt wurde. Als Basis dienten anatomische Landmarken und eine vorange-stellte rigide Registrierung.Fang et al. (1996)verzichtete auf den Atlas und benutztedagegen einen zweiten Schädelknochen. Auch dieses Verfahren ist landmarkenbasiert.Yeung et al.stellte 1994 einen Algorithmus vor, der voxelbasiert anhand der Grauwer-te eine lokale elastische Verformung berechnet [60]. Diese Algorithmen sind entwe-der auf unterschiedliche Intensitätswerte oder Voxel aufgebaut. Auf das Objekt Leberspezifiziert sind weitere Algorithmen entwickelt worden, allerdings sind diese Verfah-ren weitgehend für dreidimensionale, rigide Transformationen[31]. Eine Vorstellungder Verfahren nachArun et al. (1987),Horn et al. (1988),Horn (1987),Walker etal. (1991), die sich in der Verwendung von Eigenwerten, Single Value Decomposi-tion und Quaternionen unterscheiden ist in [14] veröffentlicht. Dabei wird auch einVergleich der Algorithmen ausgearbeitet. Zwei Verfahren haben sich in der hier ge-stellten Problematik besonders häufig durchgesetzt. Die vonBookstein[4] eingeführteThin Plate Spline-Methode stellt eine Splineklasse vor, die die elastische Transforma-tion zwischen den Landmarken berechnen kann. Mit ihrer Hilfe können landmarken-basiert Oberflächen auf Punktwolken registriert werden. Das zweite Verfahren wurdevon Moshfeghi (1989) [30] durch eine Erweiterung des Algorithmus vonD. J. Burrerarbeitet und ist eine interaktive, kantenbasierte Transformationsberechnung.

29

Page 39: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Nachdem in den Graphen die Korrespondenz gefunden worden ist, dient ein Graphals Reservoir für die Richtpunkte, zu deren Positionen im Raum das Volumen des Da-tensatzes deformiert werden soll. Für diese Problematik kommen auch die Kanten einesGraphen in Betracht, da sie im Vergleich zu Graphknoten gleichwertige Informationenenthalten. Dementsprechend kommen punktbasierte und kantenbasierte Algorithmenin Frage, was zu der Auswahl der folgenden Verfahren geführt hat.

4.2.1 Mögliche Verfahren

Im folgenden wird zunächst ein punktbasierter und später ein kantenbasierter Algorith-mus vorgestellt und erläutert.

4.2.1.1 Thin Plate Splines

In der Mathematik stellt die Interpolation von Datenpunkten in zwei und mehr Dimen-sionen ein nicht triviales Problem dar. Im Allgemeinen soll eine Interpolation eine glat-te Funktion ergeben. Werden Polynome zur Interpolation verwendet, treten vor allembei hohem Polynomgrad nicht kontrollierbare Schwingungen (Oszillation) zwischenden Stützpunktenv0,v1,...vn auf. Diese Eigenschaft ist im Hinblick auf glatte Ergeb-nisfunktionen nicht erwünscht. Zusätzlich zu der Forderung der Stetigkeit bis zu derAbleitung der Ordnung (n-1), wie sie bei Splines definiert werden kann, werden daherZusatzbedingungen formuliert. Es lassen sich zwei Eigenschaften der Splinefunktion

Abb. 30: Beispiele für radiale Basisfunktionen [36]

erweitern. Zum einen die Nachbarschaftsbeziehung zwischen den Orten der Daten-punkte und zum anderen die Gewichtung ausgewählter Nachbarpunkte. Die Nachbar-schaftsbeziehungen beschreiben die Wertung der Distanzen der Nachbarn zum Stütz-punkt und sind charakteristisch für eine Funktion.Diesen Nachbarschaftsbeziehungen können verschiedene Gewichtungsfunktionen zu-gewiesen werden. Für die Nachbarschaftsbeziehungen stehen eine Reihe von bekann-ten Funktionen zum Beispiel radiale Basisfunktionen zur Verfügung. In der folgendenTabelle 30 seien einige davon genannt. Eine lineare Basisfunktion ist in Abbildung 31grafisch dargestellt. Durch das Verwenden von anderen Basisfunktionen, werden dieNachbarschaftsbeziehungen unterschiedlich berechnet [48].Einen Eindruck über die Unterschiede gibt Abbildung 31, in der einige der genannten

30

Page 40: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Funktionen im zweidimensionalen Raum grafisch dargestellt sind. Diese Bilder führen

Abb. 31: Darstellung verschiedener Basisfunktionen, links und lineare Basisfunktion um diePunkte(0,0), (2,2) und(3,1) [36]

anschaulich den Hintergrund der Thin Plate Splines (TPS) vor. Die radiale Basisfunkti-on der TPS istr2 logr. Diese Wahl ist darauf zurückzuführen, dass die hütchenförmigeradiale Basisfunktion durch gleichwertige, aber runder verlaufende, glockenförmigeFunktionen ersetzt werden sollen [36][59]. Hinter dieser Wahl steht der Wunsch nachglatteren Kurven. Für den linearen Ansatz des Interpolationsproblems lässt sich fol-gende Gleichung aufstellen:

f ′(x) =n

∑i=1

ωi(x) f i

mit f i als Nachbarschaftsrelation undωi als Gewichtungsterm. Erweitert man dieseFormel um Koordinaten und den affinen Teil der Transformation erhält man folgendeGleichung [7]:

f ′(x,y) = a1 +a2x+a3y+n

∑i=1

ωi fi(P) = a1 +a2x+a3y+n

∑i=1

ωiU(|Pi − (x,y)|) (5)

1. U(r) = r2 logr ist die Basisfunktion,

2. a = [a1a2a3]t ist die affine Transformation,

3. w ist die non-lineare Transformation, die Gewichtung,

4. P repräsentieren die Landmarken bzw. Stützpunkte,

5. |Pi − (x,y)| ist der Abstand des zu transformierenden Punktes zum aktuellenStützpunkt.

Damit ist die Thin Plate Spline(TPS) Gleichung aufgestellt. Die radiale Basisfunkti-on wird auch als Energieterm bezeichnet, da sie die Verformung der Spline minimalhält. Die TPS wurden nach einem physikalischen Modell entwickelt, das beschreibt,wie eine dünne Metallplatte deformiert werden kann, die mittels weniger punktueller

31

Page 41: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Belastungen in eine dadurch definierte neue Form gezwungen wird. Dieses physikali-sche Prinzip wurde idealisiert und genähert in eine mathematische Form gebracht. DasErgebnis der TPS ist eine Funktion, mit welcher alle Objektpunkte transformiert wer-den können. Die einführenden mathematischen Gleichungen beschreiben die TPS imzweidimensionalen Raum, eine Erweiterung auf den dreidimensionalen Anwendungs-fall wird später im Kapitel folgen.

Die TPS-Methode ist eine punktbasierte Deformation, die eine Oberfläche an eineverteilte Datenmenge interpoliert. Außerdem ist dieses Verfahren invariant bezüglichSkalierung, Translation und Rotation. Die Parameterωi unda = [a1a2a3]t lassen sichaus der Folgerung errechnen, dass f’ alle Datenpunkte treffen soll. Hierbei gelten nach[11] die folgenden Bedingungen, die spezielle Terme unterdrücken:

p

∑i=1

wi =p

∑i=1

wixi =p

∑i=1

wiyi = 0 (6)

Auf Grund dieser Bedingungen lässt sich ein lineares Gleichungssystem aufstellen,mit dessen Hilfe sich die Parameter berechnen lassen.

Betrachtet man die Gleichung 5 für beide Koordinaten getrennt, ergibt sich:

fx(x,y) = a0 +a1x+a2y+12 ∑

iλir

2i logr2

i (7)

fy(x,y) = b0 +b1y+b2x+12 ∑

iµir

2i logr2

i (8)

mit r2i = (x−xi)2 +(y−yi)2

Darüber lässt sich die Aufstellung des Gleichungssystems nachvollziehen:

0 U(r12) . . . U(r1n) 1 x1 y1

U(r21) 0 ... U(r2n) 1 x2 y2

... ... ... ... 1 ... ...U(rn1) U(rn2) ... 0 1 xn yn

1 1 . . . 1 0 0 0x1 x2 . . . xn 0 0 0y1 y2 . . . yn 0 0 0

λ12

µ12

λ22

µ22

· ·· ·· ·

λn2

µn2

a0 b0

a1 b1

a2 b2

=

ςx1 ςy

1ςx

2 ςy2

· ·· ·· ·

ςxn ςy

n

000

(9)

mit

• r i j = r ji

• ςi = xi −x′i für fx undςi = yi −y′i für fy

Die algebraische Form ist von [4] eingeführt worden. Die Matrix K enthält dieDistanzen zwischen den Stützpunkten, die Matrix P die Position der Stützpunkte selbst.[

K PPT 0

][ω′

a

]=

[v0

]

32

Page 42: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Durch Invertieren der großen Matrix kann der Lösungsvektor berechnet werden mit

ω′ = M−1v

.Der Lösungsvektorω′ enthält die Parameter in folgender Form:

ω′ =

ω1

ω2...

ωn

a1

a2

a3

Nach Berechnung der fehlenden Werte wird die TPS-Gleichung 5 ausgeführt und

der transformierte Objektpunkt erhalten. Für Details der Implementierung wird hier aufdas Kapitel 5.4 verwiesen. Beispiele der TPS können die Fähigkeit dieses Verfahrensverdeutlichen und sind in den Abbildungen 32 und 33 im Anwendungsfall eines ImageMorphing dargestellt. Die Bilder in der oberen Reihe sind die Originalbilder, die untereReihe repräsentiert den Transformationsweg bis hin zum Ergebnisbild rechts. Wie ausden Gleichungen ersichtlich wird, ist die TPS in der Lage die affinen und nicht-linearenTransformationen getrennt voneinander zu behandeln.

Abb. 32: Originalbilder für das Image Morphing [62]

Abb. 33: Morphingschritte und Ergebnisbild rechts [62]

33

Page 43: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Abb. 34: Fähigkeit der TPS bei schlechten Landmarken, links und korrekte Anwendung rechts[45]

Die Abbildung 34 verdeutlicht das Ergebnis der TPS, wenn sie auf medizinischeDaten angewendet wird. Das linke Bild zeigt das Ergebnis falscher Landmarken, aberauch die Fähigkeit des Verfahrens. Das rechte Bild dient als Referenz auf ein korrektesErgebnisbild.Die Erweiterung der erläuterten zweidimensionalen Gleichungen ist nahezu trivial.Statt x und y wird zusätzlich die z - Koordinate eingesetzt und um die affinen Parame-ter a1,a2,a3 um a4 erweitert. Die betroffenen Vektoren im Gleichungssystem werdenmit Null ebenfalls erweitert. Die Robustheit der Lösung eines Gleichungssystems istberechenbar, in dem die Kondition der Koeffizientenmatrix errechnet wird. Für quadra-tische Matrizen ist diese durch

K = ‖A‖‖A−1‖

gegeben.Nimmt man die euklidische Norm zu Hilfe, lässt sich K aus dem Quotienten des

größten und dem kleinsten Eigenwert bestimmen. Ist K sehr groß, handelt es sich umein „schlecht gestelltes“ Problem [27]. Dieses Problem kann auftreten, wenn die Stütz-punkte sehr dicht beieinander liegen. Skaliert man desweiteren die Koordinaten in einIntervall [0,1] und verkleinert damit K, so lässt sich die numerische Genauigkeit derLösung erhöhen.

Abb. 35: Hierachieansatz für Thin Plate Splines [29]

34

Page 44: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Ein ähnliche Idee hatteThompson[55] 1917, der ein Raster über das Objekt legteund die Deformation am Raster ausführte [6].Booksteinentdeckte 1989 das VerfahrenvonThompsonerstmals für medizinische Anwendungen.Evansführte die Idee fort, indem er den Algorithmus auf die dritte Dimension erweiterte [45]. Eine weitere Fort-setzung der Idee liefertLikar [29]. Likar nutzt die Anwendung einer Hierarchie undkann damit die Stützpunkte automatisch definieren. Dazu werden die Objekte in vierAreale unterteilt und diese einzeln rigide und affin transformiert. Dies wird fortgeführt,bis eine minimale Größe erreicht ist. Die Zentren der Areale dienen als Stützpunkte.Die Vorgehensweise dieses Prozesses ist in Abbildung 35 dargestellt. Auch die Elastic-Body-Splines [8] führen die TPS-Idee weiter. Sie können ebenfalls elastisch deformie-ren, verwenden aber partielle Differentialgleichungen zur Berechnung [59].

4.2.1.2 Algorithmus nach Moshfeghi

Der zweite Algorithmus der direkt vorgestellt wird, hatMoshfeghi 1989 [30] für denzweidimensionalen Anwendungsfall vorgestellt und 1994 auf die dritte Dimension er-weitert [33]. Es sind drei Schritte zu unterscheiden, die zur Durchführung des Verfah-rens benötigt werden. Zunächst muss eine Kontur gefunden und markiert werden, dannkann ein Matching der Konturen vollzogen werden und im Anschluss wird eine Trans-formationsmatrix erstellt, die Vektoren enthält, die die Art der Verschiebung für jedenBildpunkt angeben. Da mit Konturen gearbeitet wird, kann dieses Verfahren mit multi-modalen Bildern agieren. Deswegen setzt es allerdings auch eine grobe Registrierungder Daten voraus. Es wird desweiteren vorausgesetzt, dass die Kontursegmentierungabgeschlossen und die Korrespondenz zwischen den Konturen gegeben ist. Die Kontu-ren werden innerhalb des Algorithmus als Polygonzüge angenähert, woraus abzusehenist, dass die Genauigkeit von der Wahl der Polygone abhängt. Der Startwert für dasMatchen der Kanten ist eine Start- und Zielkontur, gegeben durch

~C1 = {(x1i ,y1i )}mit1≤ i ≤ N1

~C2 = {(x2 j ,y2 j )}mit1≤ j ≤ N2,

wobeiN1 ≥ N2 gelten muss.Aus der nachstehenden Bedingung wird ersichtlich, dass die Startkontur, gemessen

an der Anzahl der Stützpunkte, nicht kleiner als die Zielkontur sein darf. Dies bedeutet,dass die Wahl des Referenzbildes nicht austauschbar ist, sondern über das Ergebnisentscheidet. Abbildung 36 zeigt die Repräsentation der Konturen.

Abb. 36: PolygonzügeC1 undC2 von Moshfeghi [60]

35

Page 45: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Über diese Konturen wird ein Ähnlichkeitsmaß erstellt, welches sich aus dem eu-klidischen Abstand und den Richtungen errechnet. Zunächst erfolgt eine Berechnungder Positions- und Richtungsunterschiede. Der Sinuswinkel zwischen zwei korrespon-dierenden Segmenten der Polygonzüge entscheidet darüber, ob es sich um parallele,orthogonale oder anders gewinkelte Strecken handelt. Abbildung 37 zeigt die Berech-nung der Position der Konturen zueinander.

Abb. 37: Positionsberechnung von Moshfeghi [60]

Dazu wird vom Startpunkt des aktuellen Segmentes der KonturC2 ein Lot auf dieKontur C1 gefällt. Wenn dieses Lot nicht auf das korrespondierende Liniensegmentfällt, wird der Abstand zum nächstliegenden Eckpunkt ermittelt und addiert. Zwei mög-liche Fälle sind in Abbildung 38 dargestellt. In jedem Fall gibt die Länge des Lotes denPositionsunterschied an.

Abb. 38: Ausnahmefälle für die Lotberechnung von Moshfeghi [60]

Der Gesamtabstand ergibt sich aus der Summe des Positions- und des Richtungs-unterschiedes. Ist dieser Gesamtabstand für alle Linienpaare berechnet, wird für einaktuelles Liniensegment das Segment mit dem kleinsten Abstand gesucht. Für die Ver-schiebungsvektoren, deren Berechnung noch aussteht, gilt, dass sie immer orthogonalzum Liniensegment inC2 stehen, außer in den Ausnahmefällen, in denen das Lot dasSegment nicht treffen kann. Dieser Sachverhalt ist in Abbildung 39 aufgezeigt, wobeian den PunktenP1i−2 undP1i+1 diese Ausnahmefälle zu sehen sind. Die Verschiebungs-vektoren repräsentieren die Kräfte, die zwischen den Konturen wirken. Wenn das Lotgrößer gleich Null ist, aber kleiner gleich der Länge des Liniensegmentes vonC2, dannberechnet sich der Verschiebungsvektor aus der Länge des minimalen Lotes multipli-ziert mit dem normierten gedrehten Richtungsvektor. Dieser ergibt sich aus:

36

Page 46: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Abb. 39: Darstellung der Verschiebungsvektoren von Moshfeghi [60]

−B2y ∗ (1,0,0)+B2x ∗ (0,1,0)

|B2|

Damit sind die Verschiebungsvektoren berechenbar und weiterführend ein globalesKraftfeld, in welchem alle Kräfte eingetragen sind. Um nun mit einem Verschiebungs-vektor weiter arbeiten zu können, muss dieser mit seiner Nachbarschaft gemittelt undgewichtet werden. Die Gewichtsfunktion dafür entspricht der Gaußverteilung. Damitwird sichergestellt, dass die Nähe zum Vektor durch stärkere Gewichte belohnt wirdund entgegengesetzt dazu, die Gewichtung mit der Entfernung abnimmt. Anhand die-ser Werte wird die Interpolation im Kraftfeld iterativ gestartet. Nach Abbruch der Ite-rationen durch Unterschreiten eines Schwellwertes, liegen die Konturen genau odersehr nahe beieinander. Ist eine Kontur gematcht, wird zu der nächsten segmentiertenKontur übergegangen. Aus dem Mittel aller lokalen Verschiebungsvektoren lässt sichauch eine globale Transformation errechnen. Diese wird vonMoshfeghivor den loka-len Transformationen ausgeführt. Die Iteration kann derart beeinflusst werden, dass dasMaß der Elastizität festgelegt werden kann. Die dreidimensionale Variante vonMosh-feghi[33] benutzt die Oberflächen von Objekten zur Berechnung der Transformation.Dazu werden die Oberflächen mit einem Active Contour Modell extrahiert und trian-guliert. Das zuvor beschriebene Verfahren matcht die Oberflächen, wobei es um eineDistanzberechnung erweitert wurde [58]. Die Abbildung 40 zeigt das Verfahren mitrealen Datensätzen. Das linke und mittlere Bild stellen die Originale dar, das rechteBild ist das Ergebnis nach der Transformation [60].

Abb. 40: Anwendung von Moshfeghi auf medizinische Datensätze [60]

37

Page 47: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

4.2.2 Diskussion möglicher Verfahren

4.2.2.1 Anforderungen

Die Idee zur Lösung der gestellten Aufgabe ist das elastische Registrieren eines medizi-nischen Volumendatensatzes auf zuvor definierte Korrespondenzpunkte. Da ein Graph,der aus einer Ultraschallaufnahme resultiert auf Grund der Qualität der Bilder nur einenUmfang von optimistisch maximal 30 Knoten enthalten wird, muss das gesuchte Ver-fahren mit wenigen Korrespondenzmerkmalen sehr gute Ergebnisse erzielen können.Dabei muss zwischen den wenigen Punkten das Volumen an die neue Form angepasstwerden können. Die Korrespondenzmerkmale, die durch einen Graphen repräsentiertwerden, können Wurzel, Knoten oder Kanten des Graphen sein. Da außerdem eine be-nutzerfreundliche Umgebung im Hintergrund steht, sollte eine kurze Laufzeit möglichsein. Sehr wichtig ist durch den Praxisbezug die Genauigkeit des Verfahrens. Durchmanuelles Wählen der Landmarken ist die Grundlage dafür geschaffen, allerdings mussdieser Faktor mit Gewicht in die Auswahl eingehen. Da es sich bei den beiden zu regis-trierenden Zuständen um medizinische Aufnahmen mit in jedem Bildbereich relevan-ten Fakten handelt, muss außerdem sichergestellt sein, dass es zu keinen Artefakten aufGrund der Registrierung kommt oder zu starken Abweichungen zwischen den Stütz-punkten, bewirkt durch die Interpolation im Verfahren. Das gesuchte Verfahren mussin der Lage sein, die gegebenen Stützdaten exakt aufeinander zu matchen. Dabei istzu beachten, dass auf Grund von nicht zu verhindernden Ungenauigkeiten beim Set-zen der Landmarken, dieses Verfahren trotzdem gering approximieren muss. Für eineAnwendung der Deformation in nur einem Teilbereich des Volumens, wie es bei ei-ner tumorabhängigen Registrierung der Fall sein kann, sollte das Verfahren über dieMöglichkeit verfügen, lokale Änderungen zuzulassen.

4.2.2.2 Analyse der Verfahren

Beide oben angeführten Verfahren sind in der Lage, ein Volumen elastisch zu verfor-men. Das Verfahren TPS zeichnet sich dabei aus, dass sie die Eigenschaften an denStützpunkten erhalten können, obwohl der Datensatz gleichzeitig geglättet wird.

Die Splines haben einen symmetrischen Charakter und stellen somit keine Anfor-derung an die Reihenfolge der Originalbilder. Das Wählen von Punkten als Korre-spondenzmerkmale hat zur Folge, dass weniger Informationen aus dem Bild in dieBerechnung eingehen können. Im kantenbasierten Verfahren vonMoshfeghihingegenliefern die Kanten Informationen über Ausrichtung und Form der Oberfläche oder desVolumens. Bei einem rein punktbasierten Verfahren ist dies nicht der Fall, allerdingserleichtert sich die Korrespondenzsuche [45].So benötigen die TPS eine(N + 3)× (N + 3) Matrix, wobei N die Anzahl der Land-marken beschreibt. Demzufolge ist die Laufzeit um so besser, je niedriger die Anzahlder Landmarken ist. Die Komplexität des Algorithmus nachMoshfeghidagegen ist2MN(M +N)K, mit M,N für die Anzahl der Stützpunkte auf den Konturen und mit derAnzahl der Iterationen K. Es ist ersichtlich, dass die Rechenzeit des kantenbasiertenVerfahrens sehr viel höher ist, als sie es bei den TPS ist. Hinzu kommen 7 Parameter,die als Eingabewerte gesetzt werden müssen und deren Werte in einigen Testreihenauszuprobieren sind. Die TPS dagegen erwarten nur eine Parameterangabe, deren Wertrelativ schnell zu ermitteln ist. FürMoshfeghisAlgorithmus existiert zwar die Idee, nurStützpunkte in einem definierten Radius zur Berechnung einzubringen, die Laufzeitwird sich aber nicht derart verringern, dass sie mit der der TPS konkurrieren könn-

38

Page 48: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

te. Ein weitere Überlegung gilt den Landmarken. In Körperteilen wie dem Abdomen(Bauchraum) sind einzelne anatomische oder geometrische Landmarken schwer zu fin-den. In diesem Zusammenhang sind im Allgemeinen kontur- und oberflächenbasierteVerfahren effizienter. Desweiteren lässt das Verfahren nachBooksteinkeine Ausdeh-nung in entgegengesetzte Richtungen zu [60]. Dementsprechend werden die TPS nichtin der Lage sein, Vorgänge wie die Atmung zu visualisieren. Die Genauigkeit der Ver-fahren ist hauptsächlich abhängig von der Wahl der Stützpunkte, welche unabhängigvon der Extraktionsart zu Ungenauigkeiten neigen. Bei großen Datensätzen ist zu be-achten, dass die TPS ein Verfahren ist, das mit wenigen Landmarken auskommt. Eingroßer Datensatz allerdings verlangt eine größere Anzahl von charakteristischen Punk-ten.

4.2.2.3 Beurteilung und Diskussion

Die vorgestellten Verfahren wurden im Kapitel 4.2.2.2 analysiert. Es gibt einige Fak-toren, die für die Thin Plate Splines (TPS) sprechen. Zum einen die Laufzeit, die einengroßen Anteil an der Auswahl hat und zum anderen die Genauigkeit, die ebenfallsdie Auswahl stark beeinflussen sollte. Das beschriebene Problem, dass charakteristi-sche Punkte schlecht in gleichartigen Strukturen, wie sie im Abdomen vorkommen, zufinden sind, wird hier durch die Erstellung eines Graphen gelöst. Ein zweiter wichti-ger Punkt ist, dass das TPS-Verfahren keine derartigen Organdeformierungen darstel-len kann, wie es beim Abbilden einer leeren und einer vollen Blase oder bei der At-mung der Fall wäre. Da die Aufgabenstellung aber zwei Aufnahmen ohne Bewegungvorsieht, die schematisch aufgearbeitet werden, wobei der statische Zustand erhaltenbleibt, ist dieser Anwendungsfall in diesem Zusammenhang nicht vorgesehen. Nebendem Laufzeitverhalten, das auf Grund der Benutzerfreundlichkeit hoch bewertet wird,wirkt sich auch das Vorhandensein von nur einem Parameter positiv aus. Dieser kannwährend der Implementierungsphase erprobt und dem gewünschten Ergebnis entspre-chend festgesetzt werden. Der Algorithmus vonMoshfeghistellt eine Alternative dar,ist aber nicht der Algorithmus für die hier gestellte Aufgabe, da die Eigenschaften derTPS zutreffender sind. Die Ideen, die in diesem Verfahren verwirklicht wurden, sindaber sehr interessant und sollten in der Hinsicht überdacht werden, als dass sie in dieEntwicklung eines Graph Matching Verfahrens mit einfließen könnten. Zum Abschlussdieses Abschnittes sei noch auf die Veröffentlichungen [46] und [47] verwiesen, da inihnen eine Anwendung der Thin Plate Spline dokumentiert ist, dieRohr für die Regis-trierung von Computer- und Magnetresonanz - Tomographie - Aufnahmen des Gehirnsentwickelt hat.

4.3 Visualisierungen

An die wissenschaftliche Visualisierung werden viele Anforderungen gestellt. Die zulösenden Problematiken sind im Allgemeinen problembezogen und erfordern daher einZusammenspiel aus verschiedenen Bereichen der Computergraphik, Geometrieverar-beitung oder Datenanalyse. Die Darstellung komplexer Daten kann durch Abstraktionkategorisiert, klassifiziert und analysiert werden, durch Geometrien in ihrer Komple-xität dargestellt und mittels Computergraphik im dreidimensionalen Raum optisch an-sprechend repräsentiert werden. Je nach wissenschaftlichem Bereich entsteht die Da-tenvielfalt aus verschiedenen Verfahren, die eigene Herangehensweisen benötigen. Sobasieren die Daten in den Ingenieurswissenschaften häufig auf numerischen Prozessen,

39

Page 49: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

während Daten aus dem physikalischen Bereich oft aus Differentialgleichungen entste-hen, die hohe Grade an Dimensionen und Maßstäben haben. Die Abbildung 41 zeigtexemplarische Visualisierungen der beschriebenen Anwendungsfelder. In der Medizinwerden Daten aus bildgebenden Verfahren gewonnen, die zum größten Teil mit zwei-dimensionalen Aufnahmen arbeiten. Die dreidimensionale Bildgebung befindet sich inder Entwicklung und wird in Teilbereichen bereits angewandt. Mit diesen Daten wer-den dreidimensionale Datensätze erstellt, Teilbereiche segmentiert oder verschiedeneDatensätze aufeinander registriert. Je besser die Aufnahmeart ist, desto höher ist dieAuflösung der Ergebnisbilder, was einen um ein Vielfach größeren Datensatz zur Fol-ge hat. Dies bedeutet, mit der Entwicklung verbesserter Aufnahmetechniken steigt derBedarf an eine effiziente Datenverwaltung und damit verbunden, erhöht sich die Pro-blematik im Bereich der Visualisierung [24].

Abb. 41: Visualisierungsbeispiele, links: Tensorfeld, mitte: dargestellte Wahrscheinlichkeits-dichte einer Reaktion mit einem anderen Molekül, rechts: Verzweigungsmuster zweierNeuronen in einem Pilzkörper [24]

4.3.1 Medizinische Visualisierung

In medizinischen Anwendungen besteht ein hoher Bedarf an gleichzeitig zur Verfü-gung stehenden Informationen. Zum Beispiel kann gefordert sein, dass innerhalb einerBildschirmanzeige, zwei registrierte dreidimensionale Bilddatensätze angezeigt wer-den, während gleichzeitig einzelne segmentierte Bereiche, die visuell aufgearbeitetwurden, überlagert werden. Zusätzlich zur Darstellung können dabei andere Informa-tionen relevant sein, die in Textform angezeigt werden müssen. Eine gute Visualisie-rung kann notwendige Informationen von überflüssigen trennen und dabei eine leichtverständliche, intuitive und optisch überzeugende Darstellung aufbauen [24]. Hierbeimuss ein Weg gefunden werden, auf der einen Seite die Flut an Daten zu abstrahierenund auf der anderen Seite genug Daten für eine feinauflösende Darstellung bereitzuhal-ten. Die Abbildung 42 zeigt eine segmentierte Lunge (links) als transparentes Volumenmit in den Bild eingefügten kalzifizierten Rundherden. Das Bild rechts daneben enthältDistanzinformationen, die für die Durchführung des Verfahrens wichtig sind.

Das rechte Bild in Abbildung 42 zeigt zwei verschiedene Darstellungsarten einesKopfes. In der Medizin muss immer wieder neu entschieden werden, welche der vie-len Darstellungsformen effektiv und zweckerfüllend ist. Auch Abbildung 43 zeigt ei-ne Darstellungsform in diesem Sachverhalt. Ein Visualisierungskonzept muss den ge-nannten Gründen zufolge überlegt sein. Bei den medizinischen Visualisierungen mussim Allgemeinen zwischen zwei Anwendungsbereichen unterschieden werden. Auf dereinen Seite werden Visualisierungen genutzt, um theoretische Sachverhalte für Lern-systeme, Simulationen oder Präsentationen darzustellen. Hierbei steht das Ergebnis im

40

Page 50: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Abb. 42: links: Lunge rechts: Oberflächenmodell eines Kopfes und zugehöriges Mesh [39]

Vordergrund, ohne den zeitlichen Faktor mit einrechnen zu müssen. Auf der anderenSeite werden die Visualisierungen in Echtzeit innerhalb einer agierenden Software be-nötigt. Die dort präsentierten Daten stellen eine Entscheidungsgrundlage dar.

Abb. 43: Darstellung von Zusatzinformationen [38]

Eine weitere Darstellung zeigt Abbildung 44. Hier ist eine Nachbildung eines Ute-rus zu erkennen, die zu Simulationszwecken erstellt worden ist. Der Benutzer bekommtdurch dieses virtuelle Modell die Möglichkeit, die Bewegungsfähigkeit und andere Ei-genschaften zu testen, ohne auf einen realen Patienten angewiesen zu sein.

Abb. 44: Modellierung eines Uterus und Original [54]

4.3.2 Leber- und Gefäßvisualisierung

Für die Thematik der Leberresektion sind einige computergestützte Lösungen entwi-ckelt worden. Beispielhaft wird ein System zur Planung von Resektionen der Leberoder von Leberteilen zur Tumortherapie von der Firma MeVis GmbH aus Bremen vor-gestellt. Bei der Entwicklung des Verfahrens steht die Optik im Vordergrund. Abbil-dung 45 zeigt zwei in [34]präsentierte Ergebnisbilder. Im linken Bild ist die Einteilung

41

Page 51: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

der Leber in Lebersegmente erkennbar sowie ihre Lage im Körper. Die Daten, die die-ser Repräsentation zu Grunde liegen sind Computertomographiedatensätze. Im rechtenBild ist ein Tumor und der Gefäßbaum dargestellt. Anhand dieser Daten kann ein Spe-zialist erkennen, welche Segmente bei einer Tumorresektion unbeschädigt bleiben undob die Anzahl der Segmente für eine Wiederaufnahme der Leberfunktion ausreichendist.

Abb. 45: Lebervisualisierungen [38]

Um auch feine Strukturen realistisch darstellen zu können, müssen Modelle entwi-ckelt werden, die in der Lage sind, vorkommende Eventualitäten darstellen zu können.Dies gilt im Allgemeinen, wenn es für eine reine Darstellung benötigt wird. Soll dieVisualisierung aber für fachliche Entscheidungen im medizinischen Bereich genutztwerden, so steht hinter den Modellen außerdem eine Interpretation. Die Abbildung 46,oben zeigt mögliche Ansätze für die Ableitung von Krankheitsbildern, in diesem Fallhandelt es sich um Verengungen oder Erweiterungen der Gefäße, aus einer Visualisie-rung. In [42] wird der physikalische und mathematische Hintergrund für dieses Modellerläutert und für Voxelvolumen ausgeführt.

Abb. 46: Modelle zur Modellierung von Gefäßen [42]

Generelle Visualisierungen für Gefäße haben sich mit dem Problem der Verzwei-gung beschäftigt. Der Übergang von einem Gefäß zu seinen Seitenarmen soll stetigverlaufen und damit einen Eindruck von einem weichen Verlauf verleihen. Werden dieGefäße mit Polygonen konstruiert, ergeben sich eben an diesen Stellen Brüche, wenndie Topologie der Gefäßhierarchie erhalten werden soll. Beispielhaft sei [19] genannt.In diesem Artikel wird diese Modellierung entwickelt. Die Abbildung 47 zeigt im rech-ten Bild Ansätze zur Realisierung einer Verzweigung mit Polygonen. Die Ergebnisseder Arbeit sind in der Abbildung 47 links anzusehen.

42

Page 52: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Abb. 47: Modellierung von Gefäßverzweigungen, links und Gefäßen, rechts [20] [1]

Abb. 48: links: Gefäß innen, rechts: Blutfluss-Darstellung [1]

Das Projekt mit dem Titel Viva modelliert nicht nur die Gefäße, sondern stellt auchden Blutfluss realistisch dar. In der Abbildung 48 sind die Visualisierungen der Blut-flussparameter und eine Innenansicht eines Gefäßes mit markiertem Durchmesser dar-gestellt. Das Ziel des Projektes [1] ist eine Informationsbasis, die innere Strukturenwiedergibt, ohne dass invasive Eingriffe am menschlichen Körper vorgenommen wer-den müssen.

4.4 Datensätze

Zu den ersten Arbeiten für die Aufgabenstellung gehört das Ermöglichen der Erstel-lung von Datensätzen. Die Aufnahme von Computertomographiedaten ist in kooperie-renden Kliniken möglich. Für die Aufnahme von B-Mode Ultraschalldaten existiert imFraunhofer Institut FIT eine Software eines früheren Projektes, jedoch reicht dies fürerste Überlegungen nicht aus. Es soll zusätzlich die Aufnahme von Dopplerultraschall-daten ermöglicht werden, da die Qualität der B-Mode Aufnahmen Sorge bereitet. Auchbenötigt das Sehen von Gefäßen ein geschultes Auge und viel Sorgfalt. Die Abbildun-gen1 49 und 50 zeigen zwei Beispiele, in denen eine Ultraschallaufnahme zu sehen istund eine entsprechende Schemazeichnung, die die sichtbaren Elemente benennt. Dader Dopplerultraschall nur den Blutfluss in den Gefäßen abbildet, besteht die Möglich-keit höherer Qualität. Der Vorteil für die Erstellung eines Graphen könnte hierbei sein,dass bei einer Doppleraufnahme nur Gefäßinformationen dargestellt werden. Ein Su-chen der Gefäße, wie es im B-Mode notwendig ist, könnte damit entfallen. Im Kapitel3.5 sind der B-Mode und das Dopplerverfahren näher erläutert. Da die Software nur für

1 http://www.idr.med.uni-erlangen.de/Kurs%20Ultraschall%20Anatomie.htm

43

Page 53: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

den B-Mode konzipiert wurde, arbeitet sie ausschließlich für Grauwertbilder. Um zu-sätzlich Dopplerbilder einlesen zu können, musste eine weitere Funktion programmiertwerden, die auch Farbinformationen aus dem Videosignal verarbeiten kann. Dazu wa-ren einige Aufwendungen notwendig, da die B-Mode Funktion erhalten bleiben sollteund alle Datentypen, Speichervariablen und Anzeigemodis auf 8-Bit-Grauwertbildereingerichtet waren.

Abb. 49: Ultraschallbeispiel 1 mit Angabe der anatomischen Elemente

Abb. 50: Ultraschallbeispiel 2 mit Angabe der anatomischen Elemente

Nach der Einarbeitung in den Source code, wurde das Einlesen des Videosignaleserweitert. Farbinformationen wurden nicht mehr, wie bisher, nicht beachtet, sondern fürdie Weiterverarbeitung gesichert. Die Grauwertinformationen berechneten sich bisherdurch die Auswahl des Rotkanals und dessen Interpretation als Helligkeitswert. DerGrün- und Blaukanal wurde vernachlässigt. In einem zweiten Schritt wurde das Anzei-gen der Farbinformation in den Panels der Software programmiert. Hierfür musste dieFrage geklärt werden, ob das verwendete Ultraschallgerät, SonoSite GmbH, SonoHeartL38/10, RGB oder YUV Werte sendet, im Falle des zur Verfügung stehenden Geräteswerden RGB-Werte verwendet. Um das Speichern zu ermöglichen wird aus dem ein-gehenden Videosignal der maximale RGB-Wert gefiltert. Für das Testgerät kommennur Rot- und Blauwerte für die Doppleranzeige in Frage, andere Geräte könnten aller-dings auch den Grünkanal im Farbverlauf benutzen, was zu der Entscheidung führte,auch den Grünkanal in die Berechnung mit einzubeziehen. Werte, die mit einem Tole-ranzwert für Rauschfehler gleiche Einzelwerte für alle Kanäle aufweisen, werden alsGrau interpretiert und im Ergebnisvolumen auf Schwarz gesetzt. Damit werden die B-Mode-Bereiche in der Aufnahme ausgeblendet. Die restlichen Farbwerte werden als

44

Page 54: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Helligkeit interpretiert. Demnach entsteht ein Volumen, dass nur die Farbinformatio-nen der Doppleraufnahme wiedergibt. Zum Testen der Implementierung wurde dasobengenannte Testgerät und ein Phantom verwendet. Das Phantom wurde mit Silikon-Schläuchen erweitert, um gefäßähnliche Strukturen zu simulieren. Da Ultraschall aufunterschiedliche Dichten reagiert, wurde die Wahl der Schläuche durch eine Schwimm-probe ermittelt. Der Schlauch, der den ähnlichsten Zustand zur Schwebe aufwies, wur-de ausgewählt. Das Schweben im Wasser stellt sicher, dass der Schlauch eine ähnlicheDichte wie das Wasser besitzt. Den Dichteunterschied, der zu der benötigten Aufnah-me führen sollte, wurde durch das Verwenden von salzhaltigem Wasser für den Flussinnerhalb des Schlauches erreicht. Salz verändert die Dichte von Wasser, wodurch derSchall erst innerhalb des Schlauches reflektiert wurde.

Im Anschluss wurden mehrere Datensätze in der kooperierenden Klinik Düssel-dorf, Abteilung Radiologie mit dem Gerät Aloka Pro Sound SSD-5000 aufgenommen.Der Arbeitsschritt hat sich im Laufe der Arbeiten für Diplomarbeit als überflüssigherausgestellt. Durch das Ausblenden des B-Mode-Bildes, hat der Benutzer keiner-lei Orientierung in den neuerstellten Volumen. Eine manuelle Grapherstellung ist nurunter sehr schweren Bedingungen in einem solchen Volumen durchführbar. Aus die-sem Grund wurde eine Alternative implementiert, die das B-Mode-Bild als Hinter-grund beibehält, um für die Orientierung zu sorgen. Dies wurde ermöglicht, in demdas Spektrum des B-Mode-Bildes skaliert wurde, in dem es sich auf einen Bereich von[0,200] beschränkt. Die restlichen Werte von [201-255] wurde der Dopplerinformationzur Verfügung gestellt. Dies ist ausreichend, da die Dopplerfarbwerte, wie beschrieben,als Helligkeit interpretiert werden. Dennoch ist dieses Verfahren für eine manuelle Gra-pherstellung nicht empfehlenswert, da die Dopplerinformation nicht die tatsächlichenGefäßdicken beinhaltet, sondern die Flussinformation der Gefäße. Dies würde zu Un-genauigkeiten führen. Kann dieser Punkt vernachlässigt werden, könnte eine Doppler-aufnahme mit eingeblendetem B-Mode eine Verbesserung für den Benutzer darstellen,wenn er zur manuellen Graphgenerierung die Orientierung im B-Mode und die Gefäßeim Doppler-Mode angezeigt bekommen würde.

5 Realisierung

In diesem Kapitel wird die endgültige Umsetzung der Lösung beschrieben und das Er-gebnis dokumentiert. Zunächst folgt eine Zusammenfassung der Recherche. Anschlie-ßend werden die einzelnen Abschnitte der Realisierung erläutert und Tests und Ergeb-nisse dargestellt.

5.1 Realisierungskonzept

Aus den bisherigen Ergebnissen der Überlegungen ist ein Konzept entstanden, nachwelchem die Lösung des praktischen Teils der Aufgabenstellung durchgeführt wer-den soll. Es wird vom Fraunhofer Institut eine Software zur Verfügung gestellt, die imRahmen eines früheren Projektes entstanden ist. Die Abbildung 51 zeigt eine Ansichtder Programmoberfläche. Diese Software wird im Rahmen dieser Arbeit erweitert. ZurGrapherstellung werden Mittel zur Interaktion bereitgestellt, die es ermöglichen, ineinem Volumen bequem zu manövrieren und einen Graphen entsprechend der Gefäß-bahnen zu erstellen. Dieser Graph wird in einem 3D-Panel parallel zur Erstellung zurKontrolle und Orientierung dargestellt.

45

Page 55: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Abb. 51: SonoNavigator, normale Ansicht

Ist der Graph erstellt, muss eine Schnittstelle zur Speicherung mit einer dafür er-stellten Datenstruktur geschaffen werden. Das Speichern und Laden eines Graphenermöglicht den Übergang zu automatisch erstellten Graphen, wie sie in einer paral-lelen Diplomarbeit2 ermittelt werden. Der darauf folgende Arbeitsschritt beschäftigtsich mit der Korrespondenzsuche in zwei Graphen. Hierzu sollen die Graphen gela-den und grob registriert werden. Danach wird zunächst das rein manuelle Setzen derKorrespondenzen aufgebaut und anschließend ein Matchingalgorithmus geschrieben,der sich an der Verfahrensweise vonPisupatiundWolff et al.orientiert. Die damit ge-fundenen Korrespondenzen sollen anschließend interaktiv geprüft und erst dann derRegistrierung übergeben werden. Die Ausführung der Matchingschritte soll austausch-bar sein. Das bedeutet, dass es ebenso ermöglicht werden wird, direkt zu Beginn ersteKorrespondenzen manuell zu setzen und damit den automatischen Matchingschritt zuinitialisieren. Die Registrierung wird mit Hilfe der Thin Plate Splines durchgeführt,die ein Original- Datenvolumen aus der Computertomographie deformiert, so dass diezusätzlichen Daten in den Datensatz aus dem Ultraschall integriert werden können. Ab-schließend wird das Ergebnis zur Überprüfung durch den Benutzer derart dargestellt,dass beide Volumen zeitgleich zu betrachten sind.Die Realisierung ist in drei Bereiche aufgeteilt, der Grapherstellung, dem Graphmat-ching und der Registrierung. Dementsprechend ist die Benutzerführung in drei Ar-beitsschritte eingeteilt worden. In der Entwicklungszeit entspricht jeder Arbeitsschritteinem eingefügten Reiter in das Interaktionsmenü der Ausgangssoftware. Die Benut-zerführung wird mit zwei Buttons realisiert, die zwischen den großen Arbeitsschrittennavigieren können. Für die Fertigstellung der Implementierung ist dann das Zusam-menfügen in eine Oberfläche geplant, so dass sich die Oberfläche bei dem Übergang in

2Bauer, Christian: Extraktion und Modellerstellung von Gefäßbäumen aus medizinischen Volumendaten,Universität Koblenz-Landau, Fachbereich Informatik, 2005

46

Page 56: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

einen neuen Arbeitsschritt aktualisiert und die zusätzlichen Reiter dadurch überflüssigwerden. Die Möglichkeit des Rückschrittes ist dabei gegeben.

5.2 Grapherstellung

Die Grundlage zur Implementierung stellt die Software SonoNavigator dar. Mit dieserSoftware ist es möglich, Ultraschall-Datensätze aufzunehmen und ein Trackingsys-tem anzuschließen. Für die Ansicht der Volumen ist die Oberfläche in vier Bereicheunterteilt. Drei Bereiche stellen je eine Schnittebene der Dimensionen dar, der vierteBereich rendert die Oberfläche des Volumens für eine 3D-Orientierung. Die dargestell-ten Schnittebenen werden parallel in der 3D- Ansicht angezeigt, um die Orientierungzu erleichtern. Die Aufteilung ohne geladenes Volumen wird in Abbildung 52 ersicht-lich. Beispiele für geladene Ultraschall- und CT-Volumen sind in der Abbildung 53gegeben. Für den Wiedererkennungswert der Schnittebenen sind die Panels und das

Abb. 52: Programmoberfläche Graphgeneration

Abb. 53: Ultraschalldatensatz, links und CT-Datensatz, rechts

Orientierungskreuz in der 3D-Ansicht mit rot, blau oder gelb umrandet, was der medi-zinischen Ansicht von sagittal, axial und coronal entspricht.Für das Rendern der Oberfläche kann ein Schwellwert angegeben werden, der darüberentscheidet, welcher Grauwert der Oberfläche entspricht. Dadurch ist es möglich, Ab-bildung 54, die Gefäße zwar nicht exakt, aber zur Orientierung genügend herauszustel-len. Der erste Schritt bestand darin, in dem 3D-Panel die Navigation mit Mouseevents

47

Page 57: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

zu erweitern. Bisher war die Translation, Rotation und Skalierung des Volumens mög-lich. Die Erweiterung sollte ermöglichen, dass durch Anklicken der Gefäße, zum Bei-spiel an einer Verzweigung, die Ansicht inklusive der Schnittebenen, auf diesen Punktaktualisiert wird. Dadurch wird es beim Grapherstellen möglich, die Verzweigungen

Abb. 54: CT-Datensatz, Gefäße gerendert, links und Kontextmenü in der Grapherstellung, Far-bunterstützung, rechts

im 3D-Panel zu suchen, anzuklicken und ohne weitere Navigation zu setzen. DieseIdee wurde mit der Pickingbehaviour von Java3D implementiert. Außerdem wurde einKontextmenü eingefügt, mit welchem sich die Oberfläche ein- und ausblenden sowiemit ein Transparenzwert versehen lässt. Dies ist für die spätere Grapherstellung vonBedeutung, da der Graph in diesem Panel während des Entstehens eingesetzt wird.Dadurch ist eine Ansicht der Oberfläche, des Graphen und die Ansicht beider Objek-te mit unterschiedlichen Transparenzwerten möglich. Für die Grapherstellung muss inden Volumen direkt gearbeitet werden können, dementsprechend wurden die Interakti-onsmethoden auf die Schnittebenen ausgelegt. Die Benutzung der Methoden erfolgt ineinem Kontextmenü, das mit der rechten Maustaste aufgerufen wird. Dadurch wurdeerreicht, dass die Menüführung direkt an der Stelle durchgeführt werden kann, an wel-cher sich der Benutzer befindet.Die Alternative lag in der Nutzung des Buttonpanels auf der rechten Seite der Program-moberfläche. Diese konnte durch die Verwendung des Kontextmenüs dafür genutztwerden, um ein Textfeld zu integrieren, in dem Anweisungen über die zu erledigendenArbeitsschritte zu lesen sind, siehe Abbildung 52. Die Grapherstellung selbst funktio-niert nach dem folgenden Prinzip. Zunächst bewegt sich der Benutzer zum Beginn derAorta durch das Volumen.Er kann hierzu die Pickingmethode im 3D-Panel benutzen oder die Schnittebenenselbst bewegen. Die Mittelpunkte der Schnittebenen sind zueinander korrespondieren-de Punkte und damit in allen drei Panels gleich. Das vorherige Setzen von Markierun-gen ausschließlich im Zentrum der Schnittebenen wurde derart abgeändert, dass derBenutzer nun jeden beliebigen Punkt auf einer der Schnittebenen wählen kann. Beimerstmaligen Setzen einer Markierung wird nur ein Punkt gesetzt. Ab dem zweiten Ein-trag sind die Punkte mit einander verbunden und es öffnet sich ein Dialog, mit welchemdie Durchmesser der Linien, respektive der Gefäße gewählt werden können. Dies wirdin Abbildung 54 gezeigt.Aktive Graphkanten, wie es zum Beispiel die zuletzt erstellten sind, sind grün ein-gefärbt, während die restlichen rot dargestellt sind. Mit Hilfe des Kontextmenüs las-sen sich alle Graphkanten und Graphknoten anwählen. Dies geschieht zunächst durchein Mouseover im Kontextmenü, bei welchem die betroffenen Kanten oder Knoten

48

Page 58: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

aktiviert, also grün dargestellt werden. Erst bei Bestätigung der Wahl durch einenMausklick wird die neue aktive Graphkante gesetzt.Dadurch wurde ermöglicht, dass durch einfache Mausbewegung eine Anzeige mit farb-licher Unterstützung benutzt werden kann. Mit ihr ist es möglich zu jeder beliebigenVerzweigung oder Graphkante zurückzukehren, um einen neuen Teilbaum zu erstellen.Wird eine Graphkante ausgewählt, aktualisiert sich der aktive Graphknoten automa-tisch. Die Ausrichtung der Schnittebenen wurde derart geändert, dass sie der Ebene deraktiven Graphkante entspricht. Dadurch ist gewährleistet, dass der Benutzer die akti-ve Graphkante im Gesamten sehen kann. Nach jeder Navigation in den Schnittebenenkann der Benutzer zur Orientierung das 3D-Panel benutzen und seine Lage überprü-fen. Hier ist ebenso überprüfbar, ob die Durchmesser der Graphkanten korrekt gewähltworden sind.Sollten die zu klein sein, ist der Graph bei einer nicht-transparenten Oberfläche in denGefäßen nicht zu sehen, sollte er zu groß ausgefallen sein, so wären die Gefäßwändeder Volumendarstellung innerhalb der Graphdarstellung, wie in Abbildung 55 darge-stellt ist. Blendet der Benutzer die Volumendarstellung vollständig aus, kann der ge-samte Graph besichtigt werden. Im Laufe der Erstellung eines Realisierungskonzepteshat sich herausgestellt, dass es keine Vorgaben oder Einschränkungen bezüglich derWahl von Landmarken gab. Sowohl externe als auch interne Landmarken als auch die

Abb. 55: Im 3D-Panel: Graph und Gefäße überschneiden sich

Anzahl und Position sind für frei wählbar erklärt worden. Die Thin Plate Splines bein-halten eine grobe Registrierung, so dass hierfür keine externen oder internen Landmar-ken notwendig sind, allerdings benötigt das Graph Matching eine grobe Ausrichtungder Graphen. Für diesen Zweck wurde eine interne zwei externen Landmarken vorge-zogen.Diese Landmarke entspricht einer Graphkante und ist die Aorta in der Leberpforte. DasSetzen der Position der Aorta musste bei der Grapherstellung ermöglicht werden. Dadie Grapherstellung an der Aorta beginnt, kann der Benutzer eine Graphkante wäh-len, die der Aorta entspricht und im Kontextmenü diese Graphkante markieren. Damitsind beide Bedingungen, die an die Graphen gestellt werden, beim manuellen Aufbauberücksichtigt worden. Für die Darstellung des Graphen in der 3D-Ansicht gab es ver-schiedene Alternativen.

49

Page 59: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Zum einen hätten einfache Linien gewählt werden können oder einfache Polygone.Da die Radien der Graphkanten sich aber am Anfangs- und Endpunkt unterscheidenkönnen, fiel die Wahl auf Kegelstümpfe, siehe Abbildung 56. Dazu wurde eine Klasse

Abb. 56: Graph, alleinstehend im 3D-Panel, Anzeige mit Kegelstümpfen

geschrieben, die dieses 3D-Objekt aufbaut. Damit wurde eine Ansicht erzielt, die dieAttribute des Graphen darstellen kann. Dadurch wird auch möglich, den Beginn desGraphen anhand der Tendenz der Durchmesser der Gefäße zu erkennen, da die Ge-fäßdicken mit steigender Verzweigung im Durchschnitt abnehmen. Die Auswahl derGefäßdurchmesser hat eine reine Visualisierungsaufgabe. Dem Benutzer wird es er-leichtert, die grobe Registrierung vor dem Graph Matching durchzuführen. Für denMatchingalgorithmus sind die Gefäßstärken nicht von Bedeutung.Für das Verwalten der Graphelemente ist eine neue Datenstruktur entstanden. Die Ba-sisklasse ist ein listenartiges Element, dass alle Informationen enthält, die ein Graphele-ment benötigt. Um die Graphelemente zu verwalten, ist eine zweite Klasse aufgebautworden, die Elemente in den Graph einfügt, löscht, sucht oder anderweitig verarbeitet.Die Abbildung 57 zeigt die UML-Ansicht der beiden Klassen. AGraphelement stelltdabei die elementare Klasse dar und HandleAGraphelement die Verwaltungsklasse.In jedem Element wird der Vater und bis zu fünf Kindern gespeichert. Diese Anzahl istallerdings in der Realität nicht zu erwarten. Desweiteren kann gespeichert werden, obes sich bei dem Graphelement um die Aorta handelt und ob der später folgende Mat-chingalgorithmus dieses Element als sichere Korrespondenz identifiziert hat. In derVerwaltungsklasse wird unterschieden, ob die Wurzel gesetzt werden soll oder ob essich um ein Kind-Element handelt.Für die Wurzel erfolgt eine Initialisierung des Graphen, für Kinder wird der Vater ge-sucht und das Element in den Graphen mit allen relevanten Eintragungen eingehängt.Das Speichern des Graphes wurde mit der Implementierung einer XML-Schnittstellerealisiert. Ein resultierender Graph der Graphgeneration ist in Abbildung 56 dargestellt.

5.3 Graphmatching

Für das Graphmatching ist ein weiterer Reiter und damit ein neuer Arbeitsschritt ein-gefügt worden. Die Oberfläche ist identisch zu der in der Grapherstellung. Es befindet

50

Page 60: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Abb. 57: UML-Ansicht der Datenstruktur für den Graph

sich wiederum ein Textfeld auf der rechten Seite, in dem Anweisungen für den Benut-zer gegeben sind. Die Aufteilung in vier Teilansichten ist aufgegeben und stattdessenzwei 3D- Ansichten eingefügt worden. Um das Graphmatching zu starten, müssen zweiGraphen geladen werden.Hierzu wurde das Dateimenü erweitert. Wichtig ist hierbei, dass der erste Graph demVolumen aus der Computertomographie (CT) entspricht und der zweite Graph aus demUltraschall (US)-Datensatz erstellt wurde. Sind diese Graphen geladen, werden sie in-tern grob vorregistriert. Dies geschieht allein anhand der Information, die durch dasIdentifizieren eines Graphelementes als Aorta gewonnen wurden. Da ein Graphele-ment einer Graphkante entspricht, sind für jeden Graphen die Anfang- und Endpunkteder Aorta gegeben. Durch ein Transformieren des US-Graphen mit dem Endpunkt desAortaelementes auf den Endpunkt des Aortaelementes des CT-Graphen ist ein identi-scher Raumpunkt gefunden.Im nächsten Schritt wird die Rotationsachse für eine weitere Transformation des US-Graphen anhand der Richtungs- und Winkelinformationen der beiden Aortaelementedurchgeführt. Mit Hilfe der Rotationsachse wird der US-Graph auf die Achse des CT-Aortaelementes gedreht. Damit ist ein Raumpunkt und eine Richtung ohne externeLandmarken gefunden worden. Die einzig fehlende Komponente ist die Rotation umdie Aortaachse, die allerdings leicht durch den Benutzer festzulegen ist. Hierfür wer-den beide Graphen wie beschrieben transformiert und im oberen Panel dargestellt.Über das Betätigen des Mausrades kann die Rotation vollzogen werden und das Ergeb-

51

Page 61: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

nis zeitgleich betrachtet werden. Alle ursprünglichen Mouseevents zur Navigation inder gesamten Szene sind beibehalten worden. In den Abbildungen 58 und 59 sind dieGraphen vor und nach der Ausrichtung durch den Benutzer dargestellt.

Abb. 58: Neu geladene Graphen ohne Ausrichtung

Abb. 59: Graphen nach der manuellen Ausrichtung

Ist die Ausrichtung abgeschlossen wird das Ergebnis an das darunter liegende Panelmittels eines Buttons in der rechten Programmoberfläche durch den Benutzer überge-ben. Dazu werden intern alle Transformationen ausgelesen und übergeben. Für einebessere Sichtbarkeit der Graphelemente sind die Szenegraphen auseinander gerücktworden.In diesem Teil der Arbeitsschritte angekommen, hat man nun die Wahl der Vorgehens-weise. Die Korrespondenzen können entweder manuell mit Hilfe eines Kontextmenüsgesetzt oder semi-automatisch errechnet werden. Zunächst wird die manuelle Methodebeschrieben. Hierzu wurde ein Kontextmenü erstellt, dass sich genauso wie bei der Gra-pherstellung verhält. Bei Übergabe der Graphen an das aktuelle Panel wird das Kon-textmenü initialisiert, so dass sämtliche Graphknoten und Graphkanten vorrätig sind.Außerdem werden intern die ersten Vorbereitungen für das Graphmatching ausgeführt,

52

Page 62: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

was zur Folge hat, dass die Graphen ohne Zwischenschritte sondern nur mit Verzwei-gungen erscheinen. Da bei dem Graph Matching nur echte Verzweigungen, welche sichdurch mindestens zwei Kinder definieren, berücksichtigt werden, ist so sichergestellt,dass bei dem manuellen Setzen der Korrespondenzen nur relevante Graphkanten, dienicht vom Algorithmus ausgesondert werden, ausgewählt werden. Die Auswahl derzu setzenden Korrespondenzen erfolgt wie gehabt durch Überfahren der aufgezähltenGraphknoten und der dabei entstehenden farblichen Aktualisierungen in der Szene.Die gesetzten Korrespondenzen werden als einfache Linien dargestellt und gespeichert.Da für die semi-automatische Korrespondenzfindung ein eigener Algorithmus geschrie-ben worden ist, folgt die Beschreibung dieser Korrespondenzfindung gesondert. In Ab-bildung 60 ist das Ergebnis des manuellen Setzens abgebildet.

Abb. 60: Ergebnis manuelle Korrespondenzsetzung

5.3.1 Semi-automatische Korrespondenzfindung

Für das interaktive Matchen der Graphen wird zunächst die grobe Transformation ausdem oberen Panel wie bei dem manuellen Setzen der Korrespondenzen übergeben. In-tern erfolgt nicht nur eine Anpassung der Ansicht, sondern eine Transformation derKoordinaten der Graphen und die ersten beiden Schritte der Aufzählung, die im fol-genden die groben Schritte des Matchings aufführt:

53

Page 63: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

1. Transformation der US- und CT- Graphkoordinaten anhand der groben Regis-trierung

2. Linearisierung der Graphen

3. Kopieren des US-Graphs in die Matching- Graphstruktur

4. Festlegen der Wurzelelemente als gefundene Korrespondenz

5. Starten des Matchings (Top-Down, von den Wurzeln zu den Kindern)

6. Auslesen des Matching-Graphen mit paralleler Korrespondenzsetzung

7. Delinearisierung der Graphen und Zeichnen der Korrespondenzen

8. Kontrolle durch den Benutzer

9. Manuelles Setzen und ggf. Löschen von Korrespondenzen

10. Wenn notwendig, starten der Verbesserung (Bottom-Up, von den Korresponden-zen zu den Wurzeln, mit Sprung zu 5.)

11. Festlegen der gesicherten Korrespondenzen

Wahlweise kann dieser Ablauf mit Schritt 9 beginnen. In diesem Fall würde derBenutzer nicht mit dem automatischen Finden beginnen, sondern zuerst Korresponden-zen setzen und dann den Algorithmus mit diesen Startwerten aufrufen. Der Algorith-mus bekommt dann Startwerte, die in jedem Level des Graphen vorkommen können.Hier wurde eine Bottom-up -Suche realisiert, die die Väterknoten der gesetzten Korre-spondenzen sucht und prüft, ob diese bereits sicher zugeordnet werden können. DieseVorgehensweise macht den semi-automatischen Schritt aus. Der Sprung zum Punkt 5nach der Ausführung von 9. und 10. kann so oft wiederholt werden, bis alle Korre-spondenzen gesetzt sind. Da Verzweigungen im Graphen mit nur einem Kind das Mat-chen erschweren, wird als Erstes eine Linearisierung der Graphen durchgeführt. Hierzuwerden alle Graphelemente verworfen, die nicht zumindest eine Bifurkation darstel-len. Dabei bleibt die Graphstruktur und Graphgröße erhalten. Im folgenden werdenzwei Generationen des Matchingalgorithmus vorgestellt. Beide Varianten sind funk-tionstüchtig, unterscheiden sich aber in ihrer Komplexität. Zunächst wurde das ersteVerfahren entwickelt und später Vereinfachungen vorgenommen, die zu dem zweitenAlgorithmus geführt haben. Für den Fall, dass ein solcher Algorithmus in anderen An-wendungsbereichen eingesetzt werden soll und es zu Fehlern kommen sollte, könntemit Hilfe des anderen vorgestellten Verfahrens gearbeitet werden.

5.3.2 Matchingalgorithmus

Für die Matchingprozedur wurde die Graphstruktur verändert und dadurch eine neueDatenstruktur erstellt. Diese wird im folgenden Matching - Graph genannt. Die Erwei-terungen sind die Kandidatenlisten und die Sicherheit der Korrespondenz. In jedemElement befinden sich die Daten der alten Graphstruktur sowie die Daten, die währenddes Matchens erforderlich sind. Dadurch vereinen sich die Informationen der beidenGraphen in einem Graph, der nach Abschluss des Matchens durchlaufen wird, wobei

54

Page 64: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

parallel zum Durchlauf aus dem jeweiligen Element beide Korrespondenzen ausgele-sen werden. Vor dem Start des eigentlichen Suchens wird der US-Graph als Matching-Graph neu aufgebaut. Dieser Matching-Graph wird Top-Down Element für Elementdurchlaufen und die gefundenen Kandidaten in die Liste der dazugehörigen Kante ein-getragen.Die Richtung der Suche, also das Top-Down-Verfahren wurde gewählt, die sie der je-weils größten Sicherheit entspricht. Je feiner ein Graph verzweigt ist, desto schwierigerwird die Zuordnung. Als Start dienen die Wurzeln der Graphen, die als sichere Korre-spondenz angesehen werden können, da sie der internen Landmarke entsprechen. Umdie Kinder der Wurzel zu matchen, wird jedes Kind im US - Graph einzeln durchlau-fen. Für jedes dieser Wurzelkinder wird im CT - Graph nach dem Wurzelkind gesucht,dass den kleinsten Winkelunterschied zu der aktuellen Kante im US - Graph hat. Istdiese CT - Kante gefunden, wird in einem definierten Umkreis um einen berechnetenPunkt nach Graphknoten gesucht.Der Punkt, von dem die Suche ausgeht, ist der Punkt der CT-Kante, der wenn die CT-Kante auf die Länge der US-Kante skaliert werden würde, der neue Endpunkt wäre.Die drei dichtesten Graphknoten werden in eine Kandidatenliste aufgenommen. Nunwird dies für alle US-Kanten des gleichen Levels wiederholt. Im Anschluss werdendie Kinder des aktuellen US-Levels und die Kinder der beim Vater für diese Kanteeingetragenen Kandidaten auf die gleiche Art gematcht.

Nach dem Durchlauf wird ein Update auf den Matching-Graphen ausgeführt. Hier-bei werden mehrfach gesetzte Elemente versucht zu löschen. Dabei wird geprüft, ob einKandidat zu einem Element als sicher angesehen werden kann und wenn ja, ob er in an-deren Kandidatenlisten redundant ist. In diesem Fall kann gelöscht werden, allerdingsauch seine Väter und Kinder, wenn diese in diesem Teilgraph auch in Kandidatenlistenstehen. Desweiteren können bei Feststellung eines solchen sicheren Kandidaten auchdie Väter eingetragen werden, wenn sie als Kandidaten im darüberliegenden Teilgra-phen vertreten sind. Zur besseren Veranschaulichung sind die wichtigsten Schritte desMatchings aufgezählt:

1. Laufe durch den Matching-Graph

2. Für jede Kante im Matching-Graph, prüfe die Kanten im CT-Graph, die Kinderder dazu gehörigen Vater-Korrespondenz sind

3. Errechne mit Hilfe der Richtung den Winkel zur Kante im US-Graph

4. Entscheidung für die Kante mit dem kleinsten Winkel

5. Interpretation der Kante als Richtung und setzen einer Länge, die der Länge derUS-Kante entspricht

6. Der Endpunkt der CT - Kante mit US-Kantenlänge ist der Suchpunkt

7. Suche in einem festgelegten Umkreis des Suchpunktes nach den nächsten Graph-knoten, maximal 3 Kandidaten

8. Aufräumen des Matching-Graphen, Suche nach doppelten oder mehrfachen Kan-didaten, Löschen von sicheren Korrespondenzen aus anderen Elementen

9. Nächste Kante im Matching-Graph des gleichen Levels und weiter mit 2.

55

Page 65: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

10. Wenn keine weitere Kante im Matching-Graph im gleichen Level, nimm Kinderund matche sie mit den Kindern der eingetragenen Kandidaten, wieder weitermit 2. bis Matching-Graph durchlaufen

In den Kandidatenlisten ist eine Ordnung eingefügt worden. Die Position in derListe gibt die Höhe der Wahrscheinlichkeit an. Faktoren, die sichere Korresponden-zen bestimmen, sind zum Beispiel eine Distanz zum Suchpunkt, die einen Schwellwertunterschreitet und damit als fast passend angesehen wird und wenn der Kandidat alseinziger in der Liste steht und in keiner anderen Kandidatenliste vorkommt. Die Posi-tion in der Liste wird während der Suche aktualisiert. Damit entspricht die Position inder Liste der Bewertung des Kandidaten. Bei dem letztendlichen Anzeigen der Korre-spondenzen wird der erste Kandidat der Liste gewählt.

Ist auf diese Weise der Matching - Graph einmal Top-Down durchlaufen worden, istfür jedes Element eine Korrespondenz gesucht worden. Das Ergebnis wird angezeigt,in dem die Korrespondenzen in den delinearisierten Graphen angezeigt werden. DieDelinearisierung ist nicht notwendig, wenn genügend Korrespondenzen gefunden wor-den sind. Sind es zu wenig, werden die Graphknoten, die vorher entfernt worden sind,mittels einer Distanzsuche auf der linearisierten Kante bestimmt. Der Benutzer hat nundie Möglichkeit falsche Korrespondenzen zu löschen und neue Korrespondenzen zusetzen. Dieser Schritt kann auch als erstes ausgeführt werden, in dem der Benutzereine beliebige Anzahl von für ihn sicheren Korrespondenzen setzt. Diese Korrespon-denzen werden anschließend als sicher interpretiert und nicht weiter geprüft und nichtim Matching als Kandidaten zur Verfügung gestellt. Dieses zweite Matchen beginntmit einer Bottom-Up- Suche im Matching-Graphen. Dabei werden die sicheren Kor-respondenzen eingetragen und geprüft, ob die Väter sicher zu ermitteln sind. Nachdiesem Schritt wird das Top-Down Matching ausgeführt, allerdings mit Auslassen dergemachten Elemente und bereits verwendeten Kandidaten aus dem CT - Graph. DiesesVerfahren sucht im CT-Graph nur in dem Teilgraphen, der durch die Kinder der ge-fundenen Korrespondenzen definiert wird. Eine falsche Entscheidung sehr weit obenim Graphen würde einen kompletten Teilgraphen falsch matchen. Da diese Graphen ander Wurzel noch relativ grob verzweigt sind und die grobe Registrierung die Winkelzwischen den Kanten optimal vorbereitet, tritt dieser Fall nicht ein. Dafür kann aber intieferen Leveln, wenn die Verzweigungen eng und dicht beieinander liegend werden,dafür Sorge getragen werden, dass nur Kandidaten in Frage kommen, die Kinder desTeilgraphen sind, da die Väter bereits zugeordnet wurden.

5.3.3 Verbesserter Matchingalgorithmus

Der Ablauf des Algorithmus hat sich nach der Vereinfachung des Verfahrens nicht ge-ändert. Zu Änderungen kam es im Kern der Suche. Zunächst entfällt die Erstellung ei-ner Matching-Graphenstruktur. Die ursprüngliche Graphenstruktur wird mit zwei Ein-trägen erweitert und kann für das gesamte Programm verwendet werden. Diese Einträ-ge sind zum einen, ob das Element als sicher angesehen wurde und zum anderen einKandidat, da nur noch ein einzelner Kandidat eingetragen werden muss. Durch die ge-ringe Anzahl der Einträge entfällt eine neue Datenstruktur, wie es der Matching-Graph

56

Page 66: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

war. Die folgende Aufzählung zeigt den neuen Ablauf:

1. Laufe durch den US-Graph

2. Für jede Kante im US-Graph, prüfe alle Kanten im CT-Graph, die im aktuellenLevel sind

3. Der Endpunkt der US-Kante ist der Suchpunkt

4. Suche nach den nächsten 3 Graphknoten in den Kindern der CT-Kante (inklusiveeigener Endpunkt) zum Suchpunkt, kein festgelegter Radius

5. Errechne von allen Kindern der Kandidaten die Distanz zu den Kindern der US-Kante anhand der Raumkoordinaten

6. Wähle von den gefundenen Kindern das Kind mit der kleinsten Distanz für jedesUS-Kind

7. Für den Fall, dass es keine Kinder gibt, bestrafe den Fall mit einer hohen Distanz

8. Addiere die Distanzen von den Kandidaten aus 6. und dem dichtesten Kind proKante aus 8.

9. Entscheidung für die Kante mit der geringsten Distanzsumme, setze den Kandi-daten ins Graphelement ein

Die Unterschiede werden im folgenden erläutert. Die Suche beginnt mit der Aus-wahl einer passenden Kante durch den Winkel. Dies wurde beibehalten. Als Suchpunktdient nun allerdings der Endpunkt der US-Kante. Da die Graphen vorregistriert wurden,befinden sie sich in unmittelbarer Nähe zu einander, wodurch der Suchpunkt realistischist. Durch die Wahl der Winkel kann es in den unteren Graphen zu Fehlentscheidungenkommen, wenn sich eine Drehung in einem Teil des Graphen befindet. Während derImplementierungsphase ist dieser Fall nicht aufgetreten, ist aber denkbar.

Der zuvor notwendige Radius, der zur Umkreissuche festgelegt werden musste,entfällt ebenso. Bei dem ersten Verfahren musste auf Grund von unterschiedlichenAufnahmeverfahren der Datensätze und dadurch resultierende unterschiedliche Ko-ordinatenintervalle der Radius angepasst werden. Da die Koordinatenintervalle nichtzum Wissen des Benutzers gehören können, ist ein Wegfallen der Radiuseinstellungvorteilhaft. Bei der Prüfung der Kandidaten werden die Kinder nicht mehr dem glei-chen Verfahren unterworfen, sondern es werden pro US-Kante alle Kandidatenkinderabgelaufen. Das Summieren der Distanzwerte ist neu und ermöglicht eine Suche aufnur noch zwei Leveln. Der gefundene Kandidat wird gesetzt, wobei das Element damitfertig berechnet ist. Die Kandidatenlisten sind nicht mehr vorhanden. Soll ein Kandidatgesetzt werden, obwohl bereits ein Eintrag vorhanden ist, wird der Eintrag aufgehobenund nichts eingetragen. Insgesamt entfällt auch das Update der Kandidatenlisten voll-ständig. Zusammenfassend entfällt die zweite Graphstruktur, die Radiusfestlegung, dasNormieren und Skalieren von Kanten und das aufwendige Durchsuchen aller Kandida-tenlisten beim Aufräumen des Matchinggraphen. Der Programmieraufwand des zwei-ten Verfahrens ist sehr viel geringer und damit ist dieses Verfahren empfehlenswert.

57

Page 67: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Das Ergebnis des Matchingverfahrens ist in dem Abschnitt 6 zu lesen und wurde mitdem zweiten Verfahren realisiert.

5.4 Registrierung

Die Wahl des Algorithmus für die Registrierung von zwei medizinischen Volumenda-tensätzen fiel auf die Thin Plate Splines (TPS). Für diesen Arbeitsschritt wurde eben-falls ein neuer Reiter eingefügt. Anstatt zwei 3D-Ansichten sind für diese Problematikeine Original-Volumenansicht und eine 3D-Ansicht implementiert worden. Die Kor-respondenzen, die durch das Graphmatching gefunden worden sind, dienen jetzt alsEingabewerte für die Registrierung.

5.4.1 Allgemeine Anwendung der TPS

Für die Implementierung der TPS steht eine algebraische Umsetzung in [6] zur Ver-fügung. Der Algorithmus wurde direkt nach dieser Vorlage aufgebaut. Wichtig für dieEingabeparameter für dieses Verfahren ist die gleichartige Transformation der Koordi-naten. Da für das Matching der Graphen Transformationen auf die Graphen angewen-det worden sind, müssen diese nach dem Setzen der Korrespondenzen zurückgerechnetwerden. Befinden sich die Datensätze und Graphen im dazu gehörigen Raum, dienendiese vier Angaben als Eingabeparameter für die TPS. Es wird ein neues Volumenerstellt, in dem jede Koordinate des Startvolumens mit Hilfe der TPS-Gleichung de-formiert und in das Zielvolumen geschrieben wird. Da die Berechnung durch Matrizenaufgebaut ist, wurde das JAMA3 - Paket importiert. Nach Aufstellung des linearenGleichungssystems können durch Invertierung der Matrizen die für die Berechnungfehlenden Parameter errechnet und in die Lösungsgleichung eingesetzt werden. DieseGleichung wird auf jeden Punkt des Startvolumens angewandt. Die Rückgabe ist daskomplette Volumen. Das Verfahren der Deformation ist in 4.2.1.1 erläutert. Dies ist derAblauf für die angedachte Anwendung der TPS für Oberflächen und ungleichmäßigverteilte aber mit Korrespondenzwerten versehenen Daten im Raum. Zur Steuerungder Deformationsstärke kann ein Parameter im Bereich von[0,∞] gesetzt werden, wo-bei bei Null interpoliert wird und bei steigenden Werten die Deformationskraft zurückgeht. Deswegen hat sich in der Praxis für die geforderte Deformationskraft ein Bereichvon [0,0.1] herausgestellt.

5.4.2 Kontextbezogende Anwendung der TPS

Bei der beschriebenen Anwendung der TPS stellt die Oberfläche die Startwerte dar unddie Daten im Raum die Zielwerte. Für jeden Startwert wird der neue Wert durch dieradiale Basisfunktion relativ zu den Zielwerten berechnet. Das erwünschte Ergebnisist ein Ultraschalldatensatz, der durch die höhere Qualität der CT-Aufnahme verbes-sert wurde, indem die Lücken der groben aber schnellen Ultraschallaufnahme mit derhoch aufgelösten CT-Aufnahme gefüllt wurden. Dies bedeutet, es soll eine Deformati-on der CT-Datensatzes auf den US-Datensatz vollzogen werden. Nimmt man nun denCT-Datensatz und deformiert die Koordinaten der Voxel und füllt dabei ein neues Volu-men, so werden im Zielvolumen Löcher entstehen. Dies geschieht, da einige Startwerteauf das gleiche Zielvoxel transformiert werden und einige Zielvoxel nie das Ergebnisder Rechnung sind. Hinzukommt, dass bei der Umrechnung der Ergebniskoordinaten

3 http://math.nist.gov/javanumerics/jama/doc/

58

Page 68: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

in Voxel eine geeignete Interpolation gewählt werden muss, wenn die Koordinate kei-nem Voxel allein zugeordnet werden kann.Stattdessen wird aus diesem Grund ein leeres Ergebnisvolumen erstellt und durchlau-fen. Für jedes Voxel wird nun das Voxel mit der gleichen Position im US-Volumengewählt und berechnet, welcher Voxel im CT-Volumen ihm entspricht. Dessen Grau-wert wird dann in das Ergebnisvolumen an der Stelle des aktuellen Voxels eingetragen.Für dieses rückwertige Vorgehen ist eine Invertierung der TPS-Gleichung notwendig.Da die Invertierung der Gleichung aufwendig ist, sollte möglichst nach einer anderenVariante gesucht werden. In diesem Falle wurde eine Vertauschung der Start- und Ziel-werten als Lösung in Betracht gezogen und letztendlich implementiert. Diese Lösungumgeht die Invertierung und bietet für diesen Kontext äquivalente Ergebnisse. Es seinoch erwähnt, dass das Zielvolumen eine dem CT entsprechende Voxelgröße aufweist,damit der Informationsvorteil des CT nicht verloren geht. Das bedeutet, der Vorgangist der folgende. Das neue Volumen erhält die Transformationen des US-Volumens,die Voxelgröße des CT-Volumens und angepasste Dimensionen, die sich aus den ers-ten beiden Werten errechnen lassen. Für jedes Voxel des leeren Volumens wird nundie dazugehörige Koordinate errechnet, die durch die gleiche Transformation auch ei-ne Koordinate des US-Volumens ist und der TPS-Gleichung übergeben. Diese lieferteine deformierte Koordinate, die einem Punkt im CT-Volumen entspricht. Dieser Punktwird in einen Voxel umgerechnet und der Grauwert aus dem dem Punkt entsprechendenVoxel im CT-Volumen ermittelt. Dieser Grauwert wird in das aktuelle Voxel des neu-en Volumens eingetragen. Die Interpolation oder die Stärke der Approximation kanndurch einen Deformationsparameter gewählt werden. Er muss bei der Initialisierungder TPS-Gleichung übergeben werden. Ist der Parameter auf Null gesetzt, so wird dieSpline interpolieren, jeder Wert größer Null, wird eine approximierende Spline berech-nen lassen. Je näher der Wert an Null liegt, desto geringer wird approximiert. Zusam-menfassend zeigen die folgenden Schritte den Ablauf des implementierten Verfahrens:

1. (Rück)Transformation der Graphen in die Volumen

2. Auslesen der Korrespondenzen, (Rück)Transformation

3. Erstellung eines neuen Volumens mit den Transformationen des US-Volumensund der Auflösung des CT-Volumens

4. Initialisierung der TPS-Klasse mit den Koordinaten der sich korrespondierendenGraphknoten und dem Deformationsparameter 0.001

5. Berechnen der Koordinaten der Voxel

6. Transformation jeder Voxelkoordinate des Ergebnisvolumens durch Einsetzen indie erstellte TPS-Gleichung

7. Die erhaltene Koordinate in Voxel umrechnen und den Voxel im CT-Volumensuchen

8. Rückgabe des trilinear-interpolierten Grauwertes

9. Setzen des Voxelwertes

Bei einem Volumen von 300 x 300 x 300 Voxeln ergibt sich ein eine Zahl von27.000.000 Aufrufen für die TPS-Gleichung. Hinzukommen die Umrechnungen von

59

Page 69: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Voxel zu Koordinate und umgekehrt, die ebenfalls im Inneren dieser Schleife notwen-dig sind. Dieser Bereich ist also definitiv der Punkt der gesamten Berechnungen, derso zeitintensiv ist, dass er die Gesamtrechenzeit vorgibt. Rechenzeiten und die Qualitätder Registrierung sind in Kapitel 6 nach zu schlagen.

5.5 Qualitätskontrolle

Die Visualisierung ist ein wichtiges Mittel, um dem Benutzer ein Gefühl für die Si-cherheit des Ergebnisses zu liefern. Es müssen zwei Funktionen erfüllt werden, zumeinen muss zu ersehen sein, ob der Algorithmus das gewünschte Ergebnis gefundenhat und zum anderen muss gezeigt werden, wie sicher das Ergebnis ist. Hierfür sindzwei Visualisierungen verwendet worden.

5.5.1 Originalvolumendaten

Vor allem die Sicherheit ist in dem praxisnahen Kontext, in dem die Problemstellungsteht, von Relevanz. Für die Visualisierung sind zwei Konzepte verfolgt worden. Dieerste Vorgehensweise zeigt das Ergebnis in den Volumendatensätzen. Damit hat dermedizinisch versierte Benutzer eine vertraute Ansicht zur Verfügung. Für diese Ansichtwerden beide Datensätze zeitgleich im gleichen Panel dargestellt. Für das Vergleicheneines Bereiches, zum Beispiel der Leberpforte, kann per Mausklick auf den Bereichein Fenster aktiviert werden, dass den dahinter liegenden Datensatz frei gibt. Somitkann direkt ein interessanter Bereich verglichen werden. Die Abbildung 61 zeigt diesesVerfahren. Mit Hilfe der Slider kann durch die Volumen navigiert werden. In dieserAnsicht zeigen sich sehr schnell Fehler der Registrierung. Den besten Vergleich erhältman durch das Vergleichen und Verfolgen von Gefäßen. Diese erste Visualisierung istimplementiert worden.

Abb. 61: Ergebnis der Registrierung

5.5.2 Informationsdarstellung

Die zweite Herangehensweise nutzt die 3D-Ansicht der Volumen. Hierbei werden dieVolumen der segmentierten Gefäße in einem gemeinsamen Panel dargestellt. DieseVolumen entsprechen dem Arbeitsschritt vor dem Thinning und Erstellen eines Gra-phen. Auf diese Volumen wird die gleiche Transformation wie auf die Datensätze an-gewendet, wodurch in der 3D - Darstellung sehr schnell und intuitiv ersichtlich wird,in welchen Bereichen die Volumen nicht deckungsgleich sind. Um die Information

60

Page 70: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

noch effektiver zu gestalten, wird in den Volumen eine farbliche Codierung eingebaut,die das Maß der Sicherheit wiedergeben wird. Der Farbverlauf ist hierbei von Grün,sehr sicher zu Rot, sehr unsicher. Da die Sicherheit in den Stützpunkten am größtenist und sich auf Grund der Beschaffenheit der radialen Basisfunktion mit wachsendemAbstand zu den Stützpunkten verschlechtert, sinkt dadurch potenziell parallel die Ge-nauigkeit der Registrierung. Sollte Seitenarme im CT- aber nicht Ultraschallgraphenerfasst worden sein, so sind für diese Teilgraphen keine Korrespondenzen und damitkeine Stützstellen gefunden worden. In diesem Fall müssten in dieser Ansicht die Sei-tenarme rot eingefärbt werden, damit der Benutzer erkennen kann, dass diese Bereichenicht in die Deformationsberechnung eingegangen sind. Diese zweite Visualisierung,siehe Abbildung 62, ist entwickelt, aber nicht implementiert worden.

Abb. 62: Visualisierung der Sicherheit; grüne Bereiche sind sehr sicher, sie befinden sich in derNähe der Stützstellen; rote Bereiche sind nicht sicher, dies sind zum Beispiel Seitenar-me, die nur im CT-Graphen erfasst wurden, nicht aber im Ultraschall

5.6 Zusammenfassende Bedingungen

Für die Lösung der Problemstellung wurden keine Bedingungen festgelegt. Es standzum einen die Wahl der Landmarken in der Art und Anzahl frei. Desweiteren gab esdie Möglichkeit zur Festlegung der Aufnahmevolumen, was bedeutet, dass bei einerCT-Aufnahme die Rippen mit aufgenommen hätten werden können, wenn sie als knö-cherne Struktur als Grundlage für Landmarken hätten dienen sollen. Die Aufnahmeartdes Ultraschall, das heißt, ob die Dopplermode notwendig ist oder ob der normaleB-Mode ausreichend ist, wurde nicht festgelegt. Der Ausbau des Phantoms oder dieVerwendung von Mitteln wurde ebenfalls nicht eingeschränkt. Im Laufe der Entwick-lung wurden einige Festlegungen getroffen, die bei der Benutzung berücksichtigt wer-den müssen. Bei der Aufnahme der Volumen ist die Größe frei wählbar. Dies bedeutet,dass eine CT-Aufnahme verwendet werden kann, die in einem anderen Zusammenhangaufgenommen wurde, zum Beispiel, um den gesamten Oberbauch zu betrachten. Eineerneute Aufnahme nur für diesen Zweck ist nicht notwendig, sofern es sich nicht umeine veraltete Aufnahme handelt. Bei der Ultraschallaufnahme bestimmt der Benutzerder Grapherstellung die Aufnahmeart. Wenn der Benutzer geschult mit dem Umgangvon Ultraschall ist, ist die B-Mode-Aufnahme ausreichend. Der Dopplermode könntedagegen leichter zu interpretieren sein. Für den Programmablauf ist dies jedoch nicht

61

Page 71: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

relevant. Die Volumen müssen eine Matrix aufweisen, die Einheitsmatrix ist dabei aus-reichend. Sind die Volumen geladen muss bei der Grapherstellung zwingend die Aortaidentifiziert werden. Dazu muss der Benutzer wissen, dass das erste Graphelement dieAorta sein sollte. Damit legt er die Richtung und die Wurzel des Graphen fest. DiesesAortaelement ist in einem Schritt wählbar, definiert aber zwei interne Landmarken. Beider letztendlichen Registrierung müssen vom Benutzer die beiden Datenvolumen unddie beiden dazugehörigen Graphen mit den gesetzten Korrespondenzen geladen sein.

6 Ergebnisse und Anwendungstests

Dieses Kapitel dient zur Darstellung der Fähigkeiten des entwickelten Programmes.Dazu werden die Ergebnisse unter verschiedenen Einstellungen gezeigt und beschrie-ben. Die Tests sind anhand von künstlichen Graphen und Graphen aus Datenvolumendurchgeführt worden. Es standen keine geeigneten Datensätze aus Ultraschall und CTvon einer Person zur Verfügung. Zunächst wird näher auf das automatische und semi-automatische Matchen im Zusammenhang mit der groben Vorregistrierung eingegan-gen und im Anschluss die Registrierung behandelt. Die folgenden Laufzeiten bezie-hen sich auf einen Computer mit Windows XP, Pentium 4, 2.40 GHz und 1,0 GB Ar-beitsspeicher.

6.1 Graph Matching

6.1.1 Automatisches Matchen

Das automatische Matchen gehört nicht zu den zwingend notwendigen Entwicklun-gen dieser Arbeit. An erster Stelle steht die Genauigkeit der Registrierung, weswegenbei jedem Arbeitsschritt die Kontrolle durch den Benutzer eingefügt worden ist. Beider Kontrolle müssen die geleisteten Arbeitsschritte gelöscht und neu ausgeführt wer-den können. Auf Grund dieser Interaktion ist ein automatisches Ausführen der Korres-pondenzfindung nicht notwendig, da der semi-automatische Schritt so oft wiederholtwerden könnte, bis die geforderte Genauigkeit gegeben ist. Trotzdem spielt der Zeitfak-tor eine wichtige Rolle und durch eine gute Vorgabe der Korrespondenzen verringertsich die Zahl der Eingriffe durch den Benutzer und damit die Ausführungszeit die-ser Anwendungssequenz. Aus diesem Grund ist das automatische Matchen entwickeltworden. Der automatische Schritt ist mit künstlichen Graphen und mit Graphen ausUltraschall- und CT-Datensätzen getestet worden, dies wird im Folgenden beschrie-ben.

6.1.1.1 Künstliche Testgraphen

Die erstellten Testgraphen sind im Volumen der Datensätze aufgenommen worden, ha-ben in ihrer Topologie allerdings keinen Bezug zu den Gefäßen in den Volumen. Siesind vorrangig in einer Ebene erstellt worden und weisen Verzweigungen in drei Levelnauf. Sie sind relativ gleichmäßig verzweigt, unterscheiden sich aber jeweils in leichtenVerschiebungen und Deformationen. Damit ergeben sich 18 und 17 Graphknoten unddamit 17 zu findende Korrespondenzen. Die Abbildung 63 zeigt die Graphen. Wennbeide Graphen korrekt vorregistriert werden, dass heißt, dass sie optisch in eine Ebenegedreht werden, dann findet der Matchingalgorithmus alle Korrespondenzen und allegefundenen Korrespondenzen sind richtig. Diesen Sachverhalt zeigt die Abbildung 64.

62

Page 72: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Die Unterschiede in der Optik der Graphen sind in der Linearisierung begründet. DieAbbildung 63 zeigt einen Toleranztest, der prüft, wie fehlerhaft die grobe Vorregistrie-rung sein darf. Bis zu einem Winkel von 70◦, mit der die Graphen von der richtigenVorregistrierung abweichen, bleibt dieses Ergebnis erhalten. Auf der Abbildung ist die-ser maximale Winkel dargestellt. Ein Winkel, der größer als dieser Wert ist, ist nichtzu empfehlen, da die Korrespondenzen ab dann falsch gesetzt werden. Der Wert desmaximalen Winkels wird sich bei anderen Graphen unterscheiden. Die Zeit für diesenMatchingvorgang beträgt 63 ms.

Abb. 63: Abbildung der beiden Testgraphen, links und maximal erlaubte Fehlstellung der Gra-phen, rechts

Abb. 64: Matching der Testgraphen

6.1.1.2 Graphen aus Datensätzen

Für diesen Teil der Tests sind Graphen aus einem CT-Volumen erstellt worden, de-ren Topologie der der Gefäße entspricht. Einer der Graphen weist eine höhere Detail-stärke auf und ist damit der CT-Graph, während der kleinere Graph den US-Graphenimitiert. Die Wahl viel auf das CT-Volumen, da damit die maximale Größe der Gra-phen erreicht werden kann, was bedeutet, dass die Wahrscheinlichkeit für Fehler des

63

Page 73: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Algorithmus größer ist, als sie es bei US-Graphen wäre. Die Abbildung 65 zeigt dieAusgangsgraphen und das Ergebnis des Algorithmus bei optimalem Ablauf. Auch hierwurde der Fehlwinkel der Vorregistrierung getestet. Der maximale, fehlerhafte Vorre-gistrierungswinkel beträgt 30◦ und ist in Abbildung 67 zu betrachten. Die optimaleVorregistrierung ist dem in Abbildung 66 gegenübergestellt. Die Graphen besitzen 14und 6 Graphknoten, womit 6 Korrespondenzen zu finden sind. Der Test zeigt, dass 5gefunden worden sind. Diese Korrespondenzen sind richtig. Die Laufzeit beträgt 47ms.

Abb. 65: Die Graphen aus dem CT-Datensatz, links und Matchingergebnis der Graphen, rechts

Abb. 66: Optimale Vorregistrierung der Graphen, links und ein CT-Graph auf sich gematcht,rechts

Zum Vergleich wurde ein Test ausgeführt, der den größeren der CT-Graphen aufsich matcht. Hiermit soll ausgeschlossen werden, dass das Matchingergebnis des vor-herigen Testes in der Topologie der Graphen begründet liegt. Bei dem Test hat sich einFehlstellungswinkel von 30◦ ergeben und ein Matchingergebnis, dass alle 14 von 14Korrespondenzen richtig gesetzt wurden. Die Abbildung 66 zeigt rechts das Matchin-gergebnis.

Um auch einen Graph, der aus dem Ultraschallvolumen generiert wurde zu testen,wurde ein weiterer Test durchgeführt. Das Ergebnis ist in der Abbildung 68 zu betrach-ten. Hier wurden von 9 zu findenden Korrespondenzen neun gefunden.

Graphen, die aus Datensätzen resultieren, die von verschiedenen Patienten aufge-nommen wurden, werden sehr schlecht gematcht. Die Unterschiede in der Anatomieder beiden Organe sind so groß, dass das Verfahren nur 4 von 9 Korrespondenzen ge-funden hat. Dieses Ergebnis könnte vom Benutzer verbessert werden, jedoch ist ein

64

Page 74: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Abb. 67: Maximale Fehlstellung

Abb. 68: Graphen aus dem Ultraschall bei Ergebnis des Matchen, links und Matchingergebnisvon Graphen aus zwei Organen, rechts

Zuordnen der Punktepaare schwierig, da sich die Unterschiede auch optisch ergeben.Die Abbildung 68 zeigt rechts das Ergebnis. Im oberen Bildabschnitt ist die beste Vor-registrierung zu sehen, sie zeigt die Unterschiede in den Graphen.

6.1.2 Semi-automatisches Matchen

Das semi-automatische Matchen kann auf zwei Weisen durchgeführt werden. Entwe-der der Benutzer setzt zu Beginn Korrespondenzen beliebiger Anzahl und startet denAlgorithmus oder es wird zuerst der Algorithmus gestartet und danach korrigiert undneu gestartet. In jedem Fall kann der Vorgang des anschließenden Korrigierens so langewiederholt werden, bis alle Korrespondenzen richtig gesetzt sind. Da die Korrekturenvom Benutzer als richtig angesehen werden, hängt der Erfolg des semi-automatischenMatchings vom Benutzer ab. In diesem Zusammenhang ergeben sich zwei zu prüfendeAnwendungsfälle. Für den Fall, dass der Benutzer zu Beginn Korrespondenzen setzt,von denen er sich sicher ist, so ist zu prüfen, ob der semi-automatische Algorithmusalle fehlenden Korrespondenzen liefert. Ebenfalls interessant ist das Verhalten des Al-gorithmus, wenn der Benutzer falsche Korrespondenzen setzt.

65

Page 75: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

6.1.2.1 Anwendungsfall positiv

Im Folgenden wurde der CT-Graph für die Tests herangezogen, der im vorigen Kapitelzum Selbstmatching verwendet wurde. Dies erschien sinnvoll, da der Algorithmus alleKorrespondenzen richtig gefunden hat und in diesem Test das Verhalten des Verfahrensgetestet werden soll, wenn nur der Benutzer zu falschen Korrespondenzen führen sollte.In dem hier behandelten ersten Fall, setzt der Benutzer beliebig viele, aber richtigeKorrespondenzen. Das Ergebnis dieser Interaktion ist in Abbildung 69 dargestellt.

Abb. 69: Ergebnis der Benutzerinteraktion, links und Ergebnis des semi-automatischen Suchens,rechts

Wird danach die Bottom-Up-Suche mit anschließendem Top-Down-Matchen aus-geführt, was im Gesamten den semi-automatischen Schritt ergibt, dann findet der Algo-rithmus alle restlichen Korrespondenzen, siehe Abbildung 69. Die Laufzeit für diesesVerfahren beläuft sich auf 31 ms.

6.1.2.2 Anwendungsfall negativ

Die Abbildung 70 zeigt die gesetzten, falschen Korrespondenzen und das Ergebnisdieses Anwendungsfalles. Der Algorithmus ist so konzipiert, dass die vom Anwendergesetzten Korrespondenzen als sicher angesehen werden. Diese Korrespondenzen wer-den nicht geprüft und gehen in das Matching nicht mit ein. Daraus ergibt sich, dass dergesamte Teilbaum, wie in der Abbildung zu sehen ist, nicht zugeordnet werden kann.

Abb. 70: Ergebnis der ersten Benutzerinteraktion (falsches Setzen, Endpunkte), links und Er-gebnis des semi-automatischen Suchens, rechts

Bei einem zweiten Versuch ergaben sich die Abbildungen in 71. Hier ist zu er-kennen, das, wenn die falsche Korrespondenz nicht zwischen Endpunkten, sondern im

66

Page 76: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Graph gesetzt worden ist, auch der gesamte Unterbaum falsch ist. Die anderen Korre-spondenzen sind richtig, womit sich zeigt, dass die Suche im Übrigen nicht beeinträch-tigt worden ist. Da die gesetzten Korrespondenzen nicht geprüft werden und auch nichtin die Suche eingehen, sondern sogar gemieden werden, ergibt sich, dass die Suche inden Kindern fehlschlägt, da die Menge der Kinder nicht der tatsächlichen Anzahl ent-spricht.

Abb. 71: Ergebnis der zweiten Benutzerinteraktion (falsches Setzen, im Graph), links und Er-gebnis des semi-automatischen Suchens, rechts

6.2 Registrierung

Die Registrierung kann nur mit den Daten arbeiten, die vom Benutzer geliefert wer-den. Sollten falsche Korrespondenzen gesetzt worden sein, wird das Ergebnis dement-sprechend aussehen. In wie weit Fehler toleriert werden und ob die Registrierung beiordentlichen Eingabewerten das gewünschte Ergebnis liefert, wird im Folgenden ge-testet.

Dazu wird zunächst ein CT-Volumen und ein Ultraschall-Volumen auf sich selbstregistriert. Hierzu werden jeweils identische Graphen verwendet. Ziel dieses Testes istdie Prüfung, ob die Registrierung richtig implementiert worden ist. Anschließend wer-den zwei Ultraschall-Datensätze von einer Person mit zwei daraus erstellten Graphenregistriert. Das gleiche Prinzip wird im Anschluss daran an einem CT-Datensatz mitzwei daraus erstellten Graphen getestet. Diese Graphen weisen Unterschiede in derDeformation und Detailstärke aus. Zum Schluss wird ein CT-Datensatz auf ein Ultra-schalldatensatz registriert. Hierbei sind die Datensätze von zwei verschiedenen Perso-nen aufgenommen worden.In den Tests werden folgende Eigenschaften geprüft. Zum einen, das Verhalten derRegistrierung bei identischen Eingabewerten. Desweiteren wird die Registrierung vonzwei einzeln generierten Graphen unabhängig von den Originalvolumen getestet. Dasheißt, es werden ein einzelnes Volumen, aber unterschiedliche Graphen benutzt. Derdarauf folgende Test dient dazu, das Registrieren von zwei verschiedenen Original-volumen zu prüfen. Der letzte Test zeigt die Registrierung von Daten, die von zweiverschiedenen Personen geliefert wurden.

6.2.1 Registrierung identischer Volumen und Graphen

Dieser Test dient dazu, die richtige Implementierung der Registrierung zu prüfen. Zu-nächst wird ein Ultraschall-Volumen auf sich selbst registriert. Dazu wird das Original-

67

Page 77: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

volumen und das gleiche, allerdings durch Filter optisch veränderte Volumen geladen.Für die Korrespondenz dient ein in dem Volumen erstellter Graph, der für beide Vo-lumen geladen und automatisch gematcht wurde. Das Ergebnis ist in Abbildung 72dargestellt. Es ist zu erkennen, dass in dem für diese Abbildung hervorgehobene Blick-fenster das zweite Volumen zu sehen ist. Dieses Blickfenster kann frei bewegt werdenund ermöglicht daher das Vergleichen aller aussagekräftigen Strukturen im Datensatz.Der konkrete Vergleich von einem Gefäßsegment ist in Abbildung 73 zum besserenVerständnis und zur besseren Darstellung allein dargestellt. Das Ergebnis der Prüfungdes CT-Volumens ist in Abbildung 72 rechts gezeigt. Hierbei wurde wiederum ein CT-Volumen und ein Graph automatisch gematcht und registriert. Bei dem CT-Volumenwurde keines der Volumen optisch verändert, so dass das Blickfenster mit bloßem Au-ge nicht erkennbar ist. Dies zeigt die Genauigkeit der Registrierung. Die Laufzeitenbetragen für das Ultraschallvolumen 150 sec, und für das CT-Volumen ungefähr 600sec.

Abb. 72: Registrierung identischer Volumen

Abb. 73: Registrierung, Vergrößerung des Blickfensters

6.2.2 Registrierung mit zwei Graphtypen

6.2.2.1 CT-CT

Aus einem CT-Volumen wurden zwei Graphen erstellt. Ein Graph weist dem anderengegenüber eine höhere Feinheit auf. Dadurch, dass die Graphen einer eigenen Graph-generierung unterliegen, sind Verschiebungen und andere Deformationen in ihnen ent-halten. Die Registrierung wurde zweifach ausgeführt. Der erste Durchlauf ist mit ei-nem Approximationsparameter von 0.01 gestartet worden. Die Zeit der Berechnungbetrug 632 sec. Das Ergebnis ist in den Abbildungen 74 bis 76 zu sehen. Beim zwei-ten Durchgang wurde der Parameter auf 0 gesetzt. Die Dimensionen der Volumen sind512x512x174. Die Laufzeit betrug 609 sec.

68

Page 78: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Abb. 74: 1. Registrierung mit zwei Graphen und einem CT-Volumen, Parameter 0.01

Abb. 75: 2. Registrierung mit zwei Graphen und einem CT-Volumen, Parameter 0.01

Abb. 76: Vergrößerung von Abbildung 75, links und Vergrößerung von Abbildung 74, rechts

69

Page 79: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Das bessere Ergebnis lieferte die Einstellung des Parameters auf 0.0. Zur besserenDarstellung sind die Bilder mit Helligkeits- und Kontrasteinstellungen nachbearbei-tet worden und es wurden Teilausschnitte zur Verfügung gestellt. Für das Vergleichender Volumen sei bemerkt, dass sich auf Grund der Korrespondenzen nur die Bereicheder Leber vergleichen lassen. Das restliche Volumen weist starke Verschiebungen undandere Transformationen auf, da sich diese Bereiche sehr weit weg von den Stützpunk-ten befinden. Für die Bereiche der Leber gilt bei einem Parameter von 0.0, dass dieRegistrierung das erwünschte Ergebnis liefert. Es sind kleine Unterschiede erkennbar,allerdings halten sie sich in einem kleinen Rahmen. Diese Ergebnisse sind in den Ab-bildungen 77 bis 78 dargestellt.

Abb. 77: Registrierung mit zwei Graphen und einem CT-Volumen, Parameter 0.0

Abb. 78: Vergrößerung von Abbildung 77

6.2.2.2 US-US

Bei diesem Test wurde ein Ultraschalldatensatz verwendet. Auf diesem Datensatz istmit verschiedenen Filtern gearbeitet worden. Dadurch sind die beiden Datensätze inder Registrierungsansicht optisch sehr gut zu unterscheiden. Die verwendeten Graphensind in dem Originaldatensatz und in einem segmentierten Volumen der Gefäße die-ses Datensatzes erstellt worden. Der Approximationsparameter wurde auf den Wertder obigen Registrierung gesetzt, auf 0.0. Das Resultat ist in Abbildung 79 zu betrach-ten. Die Laufzeit betrug 138 sec., bei einer Volumendimension von 192x256x384. Einanderer Bereich der Gefäße ist vergrößert in der Abbildung 80 zu betrachten.

70

Page 80: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Abb. 79: Registrierung mit zwei Graphen, US

Abb. 80: Registrierung, Vergrößerung des Blickfensters

6.2.2.3 Registrierung von zwei US-Volumen einer Person

Ein weiterer Test ergibt sich aus der Benutzung von zwei Ultraschall-Datensätzen, dieeinzeln aufgenommen wurden. Der Patient hat sich zwischen den Aufnahmen bewegt.Der Schallkopf ist dabei auch nicht zwangsläufig den selben Weg geführt worden. Anden Datensätzen ist erkennbar, dass sie unterschiedliche Aufnahmen sind und dass anverschiedenen Stellen Aufnahmefehler zu erkennen sind, die aus einem zu schnellenSchwenken des Schallkopfes resultieren. Aus diesen Daten sind zwei Graphen erstelltworden, die sich anhand aller Eigenschaften unterscheiden, die durch die Aufgaben-stellung gefordert werden. Sie sind deformiert und unterscheiden sich in ihrer Detail-liertheit, wobei dies hierbei nicht aus der Aufnahmetechnik resultiert, sondern aus derzweifachen Graphgenerierung. Das Ergebnis dieser Registrierung ist in Abbildung 82und deren Vergrößerung in Abbildung 81 zu sehen.

Abb. 81: Registrierung, zwei Volumen, eine Person, Vergrößerung des Blickfensters

71

Page 81: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Abb. 82: Registrierung, zwei Volumen, eine Person

6.2.3 Registrierung personenfremder CT-und US-Volumen

Dieser Fall der Registrierung stellt den Zusammenhang dar, wenn zwei verschiedeneLebervolumen registriert werden. Die Aufnahmen der Volumen resultieren nicht voneiner Person. Bereits die Vorregistrierung erwies sich als schwierig und das Matchenals fehleranfällig. Die Registrierung ist in Abbildung 83 dargestellt. Die Zeit betrug437 sec bei Dimensionen von 512x512x174 im CT und 192x256x384 im US. Da sichzwei gesunde Lebern in großem Maße unterscheiden können, ist das Ergebnis der Re-gistrierung nicht zufriedenstellend. Die Region im CT entspricht der Leber und selbstder Eintrittspunkt der Aorta ist passend zum Ultraschall registriert. Trotzdem unter-scheiden sich die Datensätze in dem Umfang, dass die Transformationen das CT insUnkenntliche deformiert haben. Eine Anwendung dieser Registrierungstechnik bei ver-schiedenen Personen ist nicht anzuraten.

Abb. 83: Registrierung von zwei verschiedenen Lebern, CT-US

72

Page 82: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

7 Bewertung

Die Aufgabenstellung dieser Arbeit ist das Ermöglichen einer manuellen Grapherstel-lung aus medizinischen Datensätzen, das Matchen von Graphen und die Registrierungvon Ultraschall- und CT-Datensätzen auf Grundlage der zuvor erhaltenen Informatio-nen. Die manuelle Grapherstellung wurde ermöglicht, in dem dem Benutzer verschie-dene Interaktionsmöglichkeiten bereitgestellt wurden, die es ihm ermöglichen, Gefäßein einem Datensatz so zu markieren, das ein Graph entsteht. Darüberhinaus wurde aufBenutzerfreundlichkeit geachtet, in dem wichtige Informationen farblich markiert dar-gestellt werden und die Bedienelemente in dem Bereich platziert wurden, in dem derBenutzer sich beim Manövrieren durch den Datensatz befindet. Er ist nicht gezwungen,diesen Bereich zu verlassen, um Bedienelemente am rechten Rand des Programm-fensters zu betätigen, sondern kann durch den Aufruf eines Kontextmenüs direkt imArbeitsbereich agieren. Für die manuelle Grapherstellung ist die Art des Datensatzesnicht relevant.Es gibt bis zu diesem Punkt der Implementierung keine Vorschriften für die Durchfüh-rung der Grapherstellung.Es haben sich allerdings Unterschiede in Graphen gezeigt, die aus den gleichen Daten-sätzen entstanden sind und von einer Person erstellt wurden. Sollten mehrere Personenan der Erstellung der Graphen mitarbeiten, werden Festlegungen notwendig werden,die diese Unterschiede eingrenzen oder minimieren sollten. Dieses Problem könnteallerdings vollständig behoben werden, wenn die Ergebnisse einer weiteren Diplomar-beit vorliegen und positiv sind, da sich in der Arbeit mit der automatischen Extraktionder Gefäßbäume aus Ultraschalldatensätzen beschäftigt wird4.Für das Matchen von Graphen wurde eine grobe Vorregistrierung durchgeführt, die mitdem Setzen einer internen Landmarke bei der Grapherstellung und einer einfach zu be-dienenden Rotationsausrichtung durch den Benutzer auskommt. Die Genauigkeit derVorregistrierung ist für den anschließenden Matchingalgorithmus wichtig. Bei den An-wendungstests haben sich mögliche Fehlstellungen von 30 - 70◦ herausgestellt. DieseFreiheit sollte in der Realität ausreichen, da durch die unterschiedliche Optik der Gra-phen bei einem Winkel von 30◦ die Fehlstellung leicht ersichtlich ist. Der Benutzerwird dementsprechend kleinere Fehlwinkel erreichen, wenn er nach der Optik der Gra-phen die Rotation ausführt. Ist diese Vorregistrierung abgeschlossen, kann der Benutzerüber die Ausführungsart des Matchings wählen.Entweder der Benutzer startet den automatischen Algorithmus gleich und korrigiertanschließend mögliche falsch gesetzte Korrespondenzen oder er setzt zunächst belie-big viele Korrespondenzen, von denen er sich sicher ist, und startet dann das semi-automatische Verfahren. Der Matchingalgorithmus wurde selbständig entwickelt, wo-bei als Grundlage ein ähnlicher Algorithmus vonPisupati undWolff et al.diente. Beiden Tests hat sich gezeigt, dass der Erfolg des automatischen Algorithmus davon ab-hängig ist, wie die zu matchenden Graphen aufgebaut sind. Werden gleiche Graphenaufeinander gematcht, findet der Algorithmus alle gesuchten Korrespondenzen richtig.Werden Graphen gemacht, die aus einem Datensatz mittels zweier Graphgenerierungenerstellt wurden, werden nur einzelne Korrespondenzen nicht gefunden. Hier wäre eineinmaliger Eingriff des Benutzers notwendig, allerdings meistens ohne ein weiteresAusführen des Algorithmus. Werden Graphen gematcht, die aus zwei verschiedenenLebern resultieren und damit von zwei Personen abstammen, sind die Ergebnisse sehr

4Bauer, Christian: Extraktion und Modellerstellung von Gefäßbäumen aus medizinischen Volumendaten,Universität Koblenz-Landau, Fachbereich Informatik, 2005

73

Page 83: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

schlecht. Dort wurden kaum richtige Korrespondenzen gefunden, was darin begründetliegt, dass bereits bei der Vorregistrierung keine klare Position gefunden werden konn-te, in der die beiden relevanten Seitenarme aufeinander gedreht werden konnten. Somitmusste sich der Benutzer auf einen Seitenarm reduzieren.Da die Arme recht dicht nebeneinander im Raum stehen, hat der Algorithmus bei derDistanzsuche die Graphknoten beider Seitenarme eines Graphen vermischt. 4 von 9Korrespondenzen wurden gefunden. Bei diesem Ergebnis müsste der Benutzer 5 Kor-respondenzen erst löschen und im Anschluss neu setzen oder einige neu setzen undden Algorithmus erneut starten. Dies ist sehr zeitaufwendig und nicht zu empfehlen.Das Matchen von zwei Graphen aus Datensätzen von zwei verschiedenen Patienten istdamit nicht empfehlenswert. Für die übrigen Anwendungstests gilt, dass die Rechen-zeit nicht zu beachten sein braucht, da sie weit unter einer Sekunde liegt und damitvom Benutzer nicht wahrgenommen wird. Das Matching wurde so konzipiert, dass al-le relevanten Schritte so oft ausgeführt werden können, dass das Ergebnis vollständigrichtig gesetzte Korrespondenzen sind. Zu Fehlern oder Ungenauigkeiten kommt es beider Berechnung zum Beispiel bei der Linearisierung der Graphen. Dort werden Kan-ten, die nur ein Kind haben, eliminiert und die Vaterkante gewinnt den Längenbetragdazu. Das führt dazu, dass bei gekrümmten Kanten, die aus mehreren Graphknoten alsStützstellen bestehen, eine Kante eingefügt wird, deren Länge nur der direkten Stre-cke zwischen den äußeren Knoten entspricht. Die tatsächliche Länge, wie sie durch dieKrümmung beschrieben wird, geht dabei verloren. Dies kann zu kleinen, aber auch zugrößeren Ungenauigkeiten führen, da die Registrierung mit sehr wenig Stützpunktenauskommt und dementsprechend schwer wiegend wirkt sich eine falsche Position ei-nes Knotens aus. Ein weiterer Punkt ist das Matchen von Endknoten. Ein gutes Beispielfür diesen Punkt ist die Aorta. Für die grobe Vorregistrierung wird der Aortaendpunktverwendet.Das Matchen konzentriert sich auf die Knoten. Sind zwei Kanten unterschiedlich lang,müssen sich die Knoten nicht entsprechen, wenn die Kante ein Gefäß schematisiert,dass in einer Aufnahme kürzer dargestellt ist, als in der anderen, was durch die unter-schiedlichen Aufnahmequalitäten passieren kann. Das heißt, die Knoten entsprechensich nicht, sondern der sichtbaren Länge des Gefäßes in der Aufnahme. In diesem Fallwäre es richtig, die kürzere Kante auf die Längere zu projizieren und einen neuen End-punkt auf der längeren Kante zu setzen, um mit ihm die Korrespondenz zu bilden. Dadieser Fall nur Endkanten betrifft, kann es nicht zu Verfälschungen in darunterliegen-den Knoten kommen. Dieser Punkt muss verbessert werden.Der letzte Arbeitsschritt ist die Registrierung. Zusammenfassend kann die Registrie-rung als erfolgreich bei gleichen Datensätzen von einer Person angesehen werden. DieTests ergaben, dass bei Graphen aus der Leber einer Person die Datensätze sehr ge-nau aufeinander registriert wurden. Hierbei war die Art der Datensätze nebensächlich.Das Verwenden des Verfahrens bei Datensätzen von zwei Personen hat sich als nichtverwendbar herausgestellt. Dies begründet sich darin, dass das Organ Leber bereits ingesunder Ausprägung anatomische Unterschiede im Vergleich aufweist. Dieser Fall istnicht von der Aufgabenstellung gegeben. In Ermangelung von Datensätzen aus Ultra-schall und CT von einer Person, wurden die Tests so ausgeführt, dass auf die Fähigkeitfür diesen Anwendungsfall geschlossen werden kann. Da sich das Registrieren vonCT-Daten aufeinander als sehr gut herausgestellt hat und das Registrieren von zweiunterschiedlichen Ultraschall-Datensätzen ebenso gute Ergebnisse zeigte, zeigen sichkeine Probleme, die mit dem beschriebenen Anwendungsfall auftreten könnten. Trotz-dem muss dieser Fall noch dringend geprüft werden, sobald diese Datensätze zur Ver-fügung gestellt werden.

74

Page 84: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Es sei noch angemerkt, dass für eine erfolgreiche Registrierung, wie sie in den Testsauch zu sehen war, auf Genauigkeit geachtet werden muss. Bereits eine falsche Kor-respondenz kann zu sehr schlechten Ergebnissen führen. Die Laufzeiten der Registrie-rung sind sehr lang und belaufen sich auf bis zu 600 sec. Die Optimierung dieser Zei-ten stand nicht im Vordergrund der Implementierung und wurde daher nicht verfolgt.Die gesamte Anwendung benötigt eine Zeit von mindestens 15 Minuten, im Falle ei-ner schnellen Ausführung. Dieser Wert ergibt sich aus einer geübten Anwendung derGraphgenerierung, die 5 min in Anspruch nimmt, dem sehr schnellen Graphmatchingund der langsamen Registrierung, die mit 6 min berechnet wurde. Die Ladezeiten fürdie Volumen fließen in diese Berechnung nicht mit ein.

8 Ausblick und Weiterführung

Wichtig für die weitere Beurteilung des Verfahrens ist die Anwendung von Ultraschall-und CT-Datensätzen von einer Person. Der Unterschied der Graphen wird darüber ent-scheiden, ob der Matchingalgorithmus als effektiv angesehen werden kann oder nicht.Gegebenenfalls sollte der Matchingalgorithmus auf eine Distanzsuche verzichten undsie durch eine äquivalente Suche ersetzen. In diesen Fall ist auch zu testen, in wie weitdie Ähnlichkeit der Graphen durch Vorgaben an die Aufnahmeprozedur der Datenvo-lumen oder durch genauere Vorgaben bei der Graphgenerierung erhöht werden könnte.Desweiteren mussten Faktoren während der kurzen Implementierungszeit vernachläs-sigt werden, die den Ablauf des Verfahrens und dessen Genauigkeit verbessern werden.Zum einen ist die Delinearisierung nicht umgesetzt worden. Sie wäre ein Mittel, um dasMatchingergebnis durch zusätzliche Korrespondenzen zu verbessern, wenn im Gesam-ten zu wenig Korrespondenzen zur Verfügung stehen. Damit könnten zwischen Graph-knoten weitere Stützpunkte gefunden werden. Noch ein Faktor ist das Brechen der End-kanten auf die Länge der kürzeren Kante, wie es im vorigen Abschnitt angesprochenwurden. Die resultierenden Ungenauigkeiten müssen in Anbetracht dessen, dass dieGraphen bereits eine Abstrahierung sind und damit auch Informationsverlust bedeu-ten, nicht in Kauf genommen werden. Desweiteren muss für eine benutzerfreundlicheAnwendung die Rechenzeit der Registrierung optimiert werden. Es bieten sich hierfüraußer der reinen Optimierung der Implementation mehrere Möglichkeiten an, die abernoch nicht diskutiert wurden. Diese Verfahren sind im dazugehörigen Kapitel 4.2.1.1aufgezählt. Zu einer Verbesserung des Graph-Matchings könnte eine Mitwirkung derGefäßdicken führen. Im Rahmen der Überlegungen für das Matching ist dieses Attri-but für nicht aussagekräftig angesehen worden, da die Suche innerhalb gleicher Leveldes Graphen stattfindet, also in einem Bereich, der ähnliche Gefäßdicken aufweisenmüsste, allerdings ist diese Überlegung nicht geprüft und getestet worden. Ein weitererTest des Verfahrens wäre die Anwendung von Ultraschalldatensätzen, die mittels einerKontrastmittelgabe entstanden sind. Hier wäre zu überprüfen, ob die Graphgenerierunggenauer durchgeführt werden könnte.

75

Page 85: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Danksagung

Für die Bereitstellung des Themas, der Arbeitsumgebung und der guten Betreuungbedanke ich mich bei den Mitarbeitern der Abteilung Life Science Informatics desFraunhofer-Instituts FIT. Im besonderen gilt mein Dank meinem Betreuer Herrn Schwarzfür seine umfassende Betreuung und Einsatzbereitschaft, außerdem Herrn Wisskirchenfür mathematische Vorschläge und Erklärungen sowie Herrn Schmitgen und Herrn Ar-nold für die Unterstützung bei Implementierungsfragen. Für persönlichen Zuspruchbedanke ich mich bei Herrn Bublat.Mein Dank geht desweiteren an Herrn Professor Müller von der Universität Koblenz-Landau, AG Computergraphik für seine Betreuung, Aufmerksamkeit, Vorschläge undAnregungen.

Zum Schluss möchte ich meinen Eltern danken, die es mir ermöglicht haben, meinStudium zielstrebig und schnell durchführen zu können.

76

Page 86: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

Literatur

[1] A BDOULAEV, G., AND CADEDDU, S. E. A . Viva: The virtual vascular project.IEEE Transactions on Information Technology in Biomedicine. CRS4, Via Sauro10, 09123 Cagliari, Italy.

[2] BAUER, D. Ultraschall. Uni Karlsruhe (TH), Proseminar Simulation und Virtu-elle Realität in der Medizin, SS 2002.

[3] BECKMANN , I.-A. Krebs der Leber und Gallenwege. Deutsche Krebshilfe e.V.,Deutsche Krebsgesellschaft, Juli Ausgabe 2004. Broschüre.

[4] BOOKSTEIN, F. L. Principal warps: Thin-plate splines and the decomposition ofdeformations. IEEE trans. Pattern Analysis and Machine Intelligence, Vol. 11,No. 6(1989).

[5] BREWKA, G. Mengentheoretisch-algebraische Grundlagen, Kapitel 7, Graphen-theorie und Graphentheorie2. Universität Leipzig, Theoretische Informatik I.http://www.informatik.uni-leipzig.de/ brewka/papers/TheorieI7.pdf.

[6] CERNEY, M., ADAMS, D., AND VANCE, J. Image warping of threedimensionalbody scan data, 2003.

[7] CHUI , H., AND RANGARAJAN, A. A new point matching algorithm for non-rigidregistration, 2002.

[8] DAVIS , M. E. A . A physics-based coordinate transformation for 3- d image mat-ching. IEEE Transactions an medical imaging, v. 16, n. 3(1997).

[9] D IEHL , S. J. Grundlagen der Computertomographie. Institut für Klinische Ra-diologie, Universitätsklinikum Mannheim. Oktober 2002.

[10] DIESTEL, R. Graph theory. Springer-Verlag New York 1997, 2000, 2000. Elec-tronic Edition.

[11] DONATO, G., AND BELONGIE, S. Approximation methods for thin plate splinemappings and principal warps, 2002.

[12] DÖSSEL, P. D.R. N. O. Bildgebung in der Medizin mit Ultraschall. Institut fürBiomedizinische Technik Universität Karlsruhe. Skriptum zur Vorlesung.

[13] DÖSSEL, P. D. R. N. O. Ultraschall 2. Institut für Biomedizinische TechnikUniversität Karlsruhe. Skriptum zur Vorlesung.

[14] EGGERT, D., LORUSSO, A., AND FISHER, R. Estimating 3-d rigid body trans-formations: a comparison of four major algorithms.Machine Vision and Appli-cations (1997) 9: 272-290(1997).

[15] EICHELBERG, W. Germanien Sonographie. http:infos.aus-germanien.de/SonografieModen.

[16] ELSEVIER, D. Krankenpflegeprüfung.Universität Köln ISBN 3-437-26720-5(2003).

[17] ELSEVIER, G. Roche Lexikon Medizin, 5. Aufl. Urban and Fischer, 2003.

77

Page 87: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

[18] EMDEN-WEINERT, HOUGARDY, KREUTER, STEGER, AND PRÖMEL. Einfüh-rung in Graphen und Algorithmen. Humboldt-Universität zu Berlin, 1996. Ma-nuskript.

[19] FELKEL , P., KANITSAR, A., FUHRMANN , A. L., AND WEGENKITTL, R. Sur-face models of tube trees. Computer Graphics International (CGI’04), Los Alami-tos: IEEE Computer Society, 2004, p. 70-77. ISBN 0-7695-2171-1, 2004. Paperin Conference Proceedings.

[20] FELKEL , P. E. A . Surface reconstruction of the branching vessels for augmentedreality aided surgery. BIOSIGNAL 2002, 2002.

[21] FRAUNHOFER INSTITUT, F. Fusion - Projektunterlagen, 2005. Fraunhofer Insti-tut FIT.LIFE.

[22] GOESER, P. D. T. Grundlagen der Leberfunktion. Universität Köln, Januar Aus-gabe 1/2000. Lebenslinien.

[23] GOLD, S.,AND RANGARAJAN, A. A graduated assignment algorithm for graphmatching. IEEE Transactions on Pattern Analysis and Machine Intelligence 18,4 (1996), 377–388.

[24] HEGE, H.-C. Information Technology, Current Applications of Scientific Vi-sualization. Konrad-Zuse-Zentrum für Informationstechnik Berlin (ZIB), March2004.

[25] HENN, S., JARRE, F., AND WITSCH, K. Mathematische Bildverarbeitung EinÜberblick ueber verschiedene Modelle und Methoden zur Registrierung digitalerBilddaten. Universität zu Düsseldorf, 2002.

[26] HESSER, J. Ultraschallbildgebung. Universität Mannheim. Technology of Ima-ging Systems, Kap. 6.

[27] HOFFMANN, A. Ultraschnelle molekulare Quantendynamik durch konischeDurchschneidungen. PhD thesis, Fakultät für Physik der Ludwig-Maximilians-Universität München, 07.06.2001.

[28] KOSOWSKY, J., AND YUILLE , A. The Invisible Hand Algorithm: Solving theAssignment Problem With Statistical Physics.Neural Network, Vol.7, No. 3, pp.477-490(1994).

[29] L IKAR , B., AND PERNUS, F. A hierarchical approach to elastic registration basedon mutual information.Image and Vision Computing 19, pp. 33.44(2001).

[30] M., M. Elastic matching of multimodality medical images.CVGIP: GraphicalModels and Images Processing 53(3): S. 271-282(1991).

[31] MAINTZ , J. A., AND V IERGEVER, M. A. A survey of medical image registrati-on. Medical Image Analysis Volume II, Number 1, pp 1-36(1998).

[32] MATTES, J., AND SCHUBERT, R. Medizinische Bildverarbeitung 2 M.Sc.WS2004/2005. Institut für Biomedizinische Bildanalyse, 2004. Kap. 6,7.

[33] MOSHFEGHI, M., RANGANATH , S., AND NAWYN , K. Three-dimensional ela-stic matching of volumes.IEEE Transactions On Image Processing, 3(2):128-138(1994).

78

Page 88: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

[34] OLDHAFER, K. J., HÖGEMANN, D., SCHINDEWOLF, T., MALAGÓ , M., RAAB ,R., PEITGEN, H.-O., AND GALANSKI , M. Bildanalyse und 3-D-Visualisierungin der Leberchirurgie. Deutsches Ärzteblatt 96, Heft 51,52,(31), 27. Dezember1999.

[35] OSORIO, M. R. LiverCancer Hepatocellularcarcinoma. California Pacific Medi-cal Center. Procedure Profile.

[36] PARODAT, S. MARABU - Ein Werkzeug zur Approximation nichtlinearer Kenn-linien mit radialen Basisfunktionen. FhG IIS/EAS Dresden, 12 1997. 6.Work-shop.

[37] PAULUS, D. W. Bildverarbeitung, 2003. Handout zur Vorlesung Bildverarbei-tung WS2002/03 Universität Koblenz-Landau.

[38] PEITGEN, H.-O. E. A . Computergestützte OP-Planung in der Leberchirurgie.MeVis, Centrum für medizinische Diagnosesysteme und Visualisierung, Bremen.

[39] PEITGEN, H.-O. E. A . Projektionsansichten zur Vereinfachung der Diagnosevon multiplen Lungenrundherden in CT-Thorax-aufnahmen. MeVis, Centrumfür medizinische Diagnosesysteme und Visualisierung, Bremen.

[40] PISUPATI, C., WOLFF, L. B., MITZNER, W., AND ZERHOUNI, E. A. Tracking3-D Pulmonary Tree Structures. Dept of Copmuter Science, The John HopkinsMedical Institutions.

[41] PISUPATI, C., WOLFF, L. B., MITZNER, W., AND ZERHOUNI, E. A. Geo-metric tree matching with applications to 3d lung structures. InSymposium onComputational Geometry(1996), pp. C–19–C–20.

[42] PUIG, P. A. Cerebralblood vessel modelling. Published in the IEEE Visualization’97 Conference, April 2 1997. Software Department, Politechnical University ofCatalonia.

[43] RADESTOCK, E. Dramatischer Anstieg von Leberkrebs in den USA.Die Welt(28. Februar 2005).

[44] RAMSES WASSEF, FACULTY OF MEDICINE SURGERY, H. S. L. New Techni-ques in Liver Surgery. Réal Lapointe, MD FRCSC Unité de Chirurgie Hépato-Biliaire et Pancréatique Département de Chirurgie Université de Montréal. PublicForum held November 17, 2004 in Montréal.

[45] ROHR, K. Elastic Registration of Multimodal Medical Images: A Survey. Künst-liche Intelligenz, arenDTaPVerlag, Bremen, ISSN 0933-1875, 3 2000.

[46] ROHR, K., STIEHL , H., SPRENGEL, R., BEIL , W., BUZUG, T., WEESE, J.,AND KUHN, M. Nonrigid Registration of Medical Images Based on AnatomicalPoint Landmarks and Approximating Thin-Plate Splines.

[47] ROHR, K., STIEHL , H. S., SPRENGEL, R., BEIL , W., BUZUG, T. M., WEESE,J., AND KUHN, M. H. Point-based elastic registration of medical image datausing approximating thin-plate splines. InVBC (1996), pp. 297–306.

79

Page 89: Semi-automatische Korrespondenzfindung und Registrierung ...cg/Diplomarbeiten/Diplomarb… · Kristine Haase Institut für Computervisualistik Forschungsbereich Life Science Informatik

[48] SCHAEBEN, H., AND L INDNER, S. Mathematische Geologie 2 Statistik regio-nalisierter Variablen Geostatistik. Mathematische Geologie und GeoinformatikInstitut für Geologie TU Bergakademie Freiberg, SS 2000 2000. Stand 10. April2000.

[49] SCHEIDT, R. D. M . Medizin für Medizininformatiker, Januar 2003. Skript zurVorlesung Medizin 1, Version 1.5.

[50] SCHNEIDER, W. B. Ultraschall Praktikum. Universität Er-langen, Institut Physik, Abteilung 6. http://www.physik.uni-erlangen.de/praktik/nebenfach/Ultraschall.pdf.

[51] SCHÖTTLE, J. Bildgebende Verfahren in der Medizin. Universität Karlsruhe(TH) Institut für Rechnerentwurf und Fehlertoleranz (IRF), WS 03/04. Prosemi-nar Simulation und Virtuelle Realität in der Medizin.

[52] SELLE, D. Analyse von Gefäßstrukturen in medizinischen Schichtdatensätzen fürdie computergestützte Operationsplanung. PhD thesis, Universität Bremen, 1999.

[53] SGUM. Fall der Woche Nr. 47. Schweizerische Gesellschaft für Ultraschall inder Medizin, 28. März 2005. http://www.sgum.ch/FALL/fall1-50/47fall.htm.

[54] SZÉKELY, BRECHBÜHLER, HUTTER, RHOMBERG, IRONMONGER, AND

SCHMID. Modelling of soft tissue deformation of laprascopic surgery simula-tion. Swiss federal institut od technology, ETH Zentrum, Zürich, 27. February1999.

[55] THOMPSON, D. On growth and form. Cambridge University press, 1917.

[56] TSS. Tom Sawyer Software. http://www.tomsawyer.com/home/index.php.

[57] VOGT, M. Matching von Spotdaten in der Analyse zweidimensionaler elektro-phoretischer Gele. Diplomarbeit, 17. Oktober 2000.

[58] WARFIELD, ROBATINO, DENGLER, JOLESZ, AND K IKINIS . Nonlinear Regis-tration and Template Driven Segmentation, 06 1999.

[59] WÄCHTER, I. Wissensbasiertes Verfahren zur automatischen Segmentierung vonWeichgewebestrukturen im Halsbereich. Master’s thesis, Institut f¨ur Rechner-entwurf und Fehlertoleranz Universit¨at Karlsruhe (TH), 2004.

[60] WEDEKIND, K. Analyse, Implementierung und Evaluation von Matchingverfah-ren in der medizinischen Bildverarbeitung. Deutsches KrebsforschungszentrumAbteilung Medizinische und Biologische Informatik, 1995. Technical Report No.79.

[61] WILKE , C. Vergleichende Analyse von Algorithmen zur Registrierung der Bild-daten verschiedener Schnittbildverfahren. Fachbereich Physik, Bergische Univer-sität, Gesamthochschule Wuppertal, April 2000. WU-D-00-07.

[62] ZHANG, Y. Image morphing based on thin-plate splines, January 2001.

[63] ZUBER-JERGER, SPANGENBERG, MOHR, AND BECKER. Nicht-chirurgischeTherapiemöglichkeiten beim hepatozellulärem Karzinom.Medizinische Univer-sitätsklinik Freiburg, Abteilung Innere Medizin II(2005).

80