1/97

Segmentierung

“The whole is greater than the sum of its parts.”

Max Wertheimer

10

2/97

Inhalt Einführung

Bildverarbeitungssystem Segmentierung

Kantenbasiert Kantendetektion Konturverfolgung Modellbasiert Hough – Transformation

Pixelorientiert Regionenbasiert

Region Growing Split & Merge Wasserscheide

3/97

EinführungZiel1. Unterscheidung von „Teilbildern/Inhalte“ 2. Automatische Klassifikation jedes Inhalts

BeispieleMedien – SchrifterkennungBiometrie – Erkennung von PersonenProduktionsanlagen – Identifizierung von TeilenMedizin – Identifizierung von Zellen/GewebeUmwelt – Auswertung von Luftaufnahmen

4/97

Beispiele

5/97

EinführungSegmentierung Zusammenfassen von Punkten zu größeren Einheiten Unterteilung des Bildes in „zusammenhängende“ Bereiche, BildsegmenteKlassifizierung Zuweisung von Bereichen in „Objektklassen“

Segmentierung ist der erste Schritt der erkennenden Bildverarbeitung

Segmentierung ist eines der komplexesten Kapitel der Bildverarbeitung !

6/97

Schritte der Bildverarbeitung

7/97

BildverarbeitungssystemStufen eines Bildverarbeitungssystems

Bilderfassung

Bildvorverarbeitung

Segmentierung

Merkmalsextraktion

Klassifikation

8/97

Objekte werden mit Sensorik erfasst

Nur erfasste Eigenschaften können ausgewertet werden

1: Bilderfassung

9/97

2: Bildvorverarbeitung

Bildmodifikation, welche den Informationsgehalt nicht bedeutend ändert

Beispiele:• Beleuchtungskorrekturen• Rauschreduzierung• Kontrasterhöhung• Größenanpassung

10/97

Gegeben Bild B mit Bildpunkten f1,...,fn

Gesucht Regionen Ri für die gilt:

•

•

• jiffRfRf tsjtis ~:,

ji RR

BRsii

,..,1

3: Segmentierung

11/97

Merkmale beschreiben Eigenschaften von Objekten

Einfache Merkmale• Umschreibendes Rechteck• Mittlerer Intensität• Flächeninhalt• Schwerpunkt• Umfang

Abgeleitete Merkmale• Kompaktheit• Lage, Orientierung

4: Merkmalsextraktion

12/97

5: KlassifizierungKlassifizierung von Objekten anhand ihrer Merkmale

Notwendige VoraussetzungMerkmalsanalyse / Clustering des Merkmalraums

Beispiel

13/97

Einfache/Heuristische Vorgehensweise

Durch a-priori-Wissen Segmente identifizieren / ausschließen

• Segmente kleiner N Pixel werden ignoriert• Segmente außerhalb des Area-Of-Interest / Region-Of-Interest werden ignoriert• Größenverhältnis• Farbe

6: Erfassung von Objekten

14/97

Segmentierung

15/97

Gegeben Bild B mit Bildpunkten f1,...,fn

Gesucht Regionen Ri für die gilt:

•

•

• jiffRfRf tsjtis ~:,

ji RR

BRsii

,..,1

Segmentierung

16/97

Strategien

Diskontinuität Kanten

Ähnlichkeit Schwellwert („lose“ Punkte) Wachstumsverfahren (Regionen)

17/97

Segmentierung durch Detektion von Diskontinuitäten

18/97

Detektion von DiskontinuitätenDetektion von scharfen, lokalen Änderungen der Bildintensität

Kantenpunkte

Kanten entstehen durch die Verbindung von Kantenpunkten

19/97

Detektion von Diskontinuitäten

Laplace: Punkte-Detektoren

20/97

Detektion von Linien

Gradienten: Linien-Detektoren

21/97

Detektion von Linien

Laplace

Absolute Positive

22/97

Kantenbasierte VerfahrenKanten entsprechen häufig den Konturen der gesuchten Objekte

Im Gegensatz zu punktbasierten Verfahren werden die gesuchten Objekte nicht als Fläche, sondern als Umrandung extrahiert

Verarbeitungsschritte Hochpaß Konturverfolgung Konturverdünnung / Skelettierung / Thinning Bestimmung der umrandeten Gebiete

23/97

Kantentypen

24/97

Kantentypen

25/97

Reele Kanten

26/97

Kantenextraktion

Bild

Profil einerhorizontalen Linie

Erste Ableitung

Zweite Ableitung

Extremum

Nulldurchgang

27/97

Kantenextraktion Berechnung der Ableitung in jedem Pixel:

Ableitungsfilter 1. Ordnung(Roberts)

Ableitungsfilter mit einfacher Mittelwertbildung (Prewitt, Sobel)

Ableitungsfilter 2. Ordnung(Laplace)

Ableitungsbilder werden (mittels Schwellwert) binarisiert

28/97

KantenextraktionAbleitungsfilter 1er Ordnung (Gradienten): Linienfilter „Dicke” Linien Nicht sehr rauschempfindlich

Ableitungsfilter 2er Ordnung (Laplace): Punktefilter „Dünne“ Linien Rauschempfindlich

29/97

A B C

D

Beispiele

A: OriginalB: PrewittC: SobelD: Laplace

30/97

Einfluß von Rauschen

Var = 0.1

Var = 1

Var = 10

1. Ableitung 2. Ableitung

Rauschfrei

31/97

LoG Operator („Mexican hat“)

32/97

LoG Operator („Mexican hat“)

Tiefpaß & Laplace

Zero crossing

Zero crossing

4% Schwelle

33/97

KantendetektionSobel

LoG Schwellwert Zero Cross

34/97

Konturverfolgung: CannyZiel

Binärbild mit möglichst geschlossenen Konturen

Einfaches VorgehenVon Startpunkt aus wird der nächste Konturpunkt entlang eines Suchstrahls identifiziertRichtung ergibt sich aus bereits erhaltenen Punkten oder dem Gradienten

NachteilEinmalige Fehlberechnung führt zu falscher Kontur

35/97

Vorgehen1. Tiefpaß mit Gauß Kernel2. Berechne Gradienten M und Senkrechte a 3. „Verdünne“ Gradienten, Unterdrücke lokale Minima:

Unterteile alle Kanten in 4 Hauptrichtungen (N-S, O-W, NO-SW, NW-SO)

Ordne a zu einer Hauptrichtung Falls Gradient M kleiner als einer der Nachbargradienten entlang

der Hauptrichtung, Stopp

4. Definiere zwei Schwellen Thigh und Tlow (~3:1) Thigh Punkte werden sofort als „Kantenpunkte“ definiert

5. Prüfe Konvektivität Verbinde Thigh Punkte über andere Thigh oder Tlow Punkte

36/97

Orientierung der Normale

37/97

Konturverfolgung

Kante

Gradient

Hintergrundx

y

f(x,y)(Grauwert)

Suchrichtung senkrecht zum Gradienten

Objekt

38/97

Gradient vs. LoG vs. Canny

39/97

Gradient vs. LoG vs. Canny

40/97

Hough Transformation

Ziel: „Globale“ LinienerkennungTransformiert das Segmentierungsproblem im Bildraum in ein Finden von lokalen Maxima („Punkte“) im Parameterraum

Man habe n Punkte vorsegmentiert Suche Submengen dieser Punkte, welche auf

Geraden liegen

41/97

Hough Transformation

BildraumParameterraumHough-Raum

'' dxky

)( 2,2 yxB )( 1,1 yxA

22 ykxd

11 ykxd

k

y

x 'k

'd

d

Im Parameterraum wird jeder Punkt des Bildraums durch eine Gerade abgebildet

Punkte, die auf einer Gerade liegen, schneiden sich an einer Stelle (Fächern)

42/97

Hough TransformationFür einen beliebigen Punkt (xi, yi) im Bild gilt:

yi = axi + b Es gibt unendlich viele a & b, welche die Gleichung erfüllen

b = -xia + yi in der ab Ebene alle a & b liegen auf einer Gerade Die ab-Geraden von ko-linearen Punkten schneiden sich!

43/97

Geraden Detektion Finde alle Kanten im Bild (= Hochpaß, Menge von Punkten) Unterteile den Parameterraum in Zellen Für jeden detektierten Punkt (xk, yk) im Bild:

Setze ai zu einem Zellenwert aus i = (imin, imax ) Löse bi = -xkai + yk und finde bi

Inkrementiere entsprechende (ai, bi) Zelle

44/97

Hough Transformation

1

2

3

6

7

8

5

4

1 2 3 4 5 6 7 8 9 10

1

2

3

6

7

8

5

4

0.2 0.4 0.6 0.8 1

1

1

1 1 1

2 3 2 1

1 2 3 3 4

1 1 1 2 5 6 5 2 1 1 1

4 3 3 2 1

1 2 3 2

1 1 1

Bildraum

Parameter-raum

Akkumulator

1

2

3

6

7

8

5

4

00 0.2 0.4 0.6 0.8 1

y

x

k

d

45/97

Hessesche Normalenform:

Parameter (Radon Transformation)

sincos yxp

cossin

, npxn Hough Transformation

x

y

´

p´n

,p

46/97

Hough Transformation Punkte im Bildraum bilden sich auf Sinus-Kurven

im Parameterraum ab Alle Sinus-Kurven ko-linearer Punkte schneiden

sich an einer Stelle

47/97

Hough Transformation

48/97

Hough Transformation

49/97

Hough Transformation

x

max ( ) ,R x xo 94 101

x

50/97

Hough Transformation

51/97

Hough Transformation

Original Kantenbild

Hough-Raum Ergebnis

52/97

Hough Transformation

53/97

Hough TransformationVerhalten• Robust gegenüber unterbrochenen Linien: Wert wird zwar verringert, lokales Maximum bleibt• Bei verrauschten Linien: Cluster mit hohen Werten anstatt diskretes Maximum

54/97

Hough Transformation

55/97

Segmentierung durch Detektion von Ähnlichkeiten

56/97

Schwellwertverfahren Global: T fester Grauwert Dynamisch/adaptiv: T hängt von der Position

innerhalb des Bildes ab Lokal: T hängt von den lokalen Grautönen ab (z.B.

lokalen Mittelwert)

57/97

Verfahren Schwellwertverfahren Bereichswachstum Split-and-merge Wasserscheide

58/97

Punktorientierte SegmentierungEinfacher Schwellwert T (Threshold)= Segmentierung aufgrund der Grauwertinformation

2550für

, wenn ,0, wenn ,1

,

TTyxfTyxf

yxg

T

59/97

Multi-modale Histogramme

60/97

Punktorientierte Segmentierung

61/97

Punktorientierte Segmentierung

1 23

62/97

RauscheneinflußVar = 10 Var = 50

63/97

Rauschentfernung & Schwellwert

64/97

Rauschentfernung in kleinen Regionen

65/97

Gradient & lokale Histogramme

66/97

Beleuchtungseinfluß

67/97

BeleuchtungseinflußErweiterung auf multimodale Histogramme

1T 2T

68/97

Beleuchtungseinfluß

69/97

Adaptives Schwellwertverfahren

70/97

Adaptives Schwellwertverfahren

71/97

Adaptives Schwellwertverfahren

72/97

Adaptives Schwellwertverfahren

74/97

Lokaler Schwellwert

75/97

Regionenbasierte VerfahrenZiel

Aufteilung des Bildes in Zonen maximaler Homogenität (Grauwert, Farbe, etc.)

VerfahrenBottom up: Region Growing Top Down: Split & Merge

Vorteil• Information über Nachbarschaft• Robuster bei verrauschten Bildern

76/97

Ausgehend von n-Ursprungspixel (Saatzellen, seed points) werden andere Pixel, die ein Homogenitätskriterium erfüllen, aggregiert

Region Growing

R1

R2

R3

77/97

Parameter Anzahl & Position der Startpunkte Homogenitätskriterium

Intensität Farbe Statistiken, Textur

Stopp Regelung Lokale Kriterien: Grauton/Farbe, Textur Regionsgröße und –Form (Addaptive) Ähnlichkeit zu der Region

78/97

Region Growing1. Setzen von n Seed Points (Initiale Regionen)

- Zufällig- Aufgrund von Beurteilung des Bildinhalts

2. Untersuchung der 4 (oder 8)-NachbarschaftFall1: Punkt gehört zu keiner Region & H.-Krit. erfüllt Zuordnung zur RegionFall2: Punkt gehört zu keiner Region & H.-Krit. nicht erfüllt Keine ZuordnungFall3: Punkt gehört bereits zu einer anderen Region & Homogenitätskriterium erfüllt Regionen werden vereinigtFall4: Punkt gehört bereits zu einer anderen Region & Homogenitätskriterium nicht erfüllt Keine Vereinigung

3. Wiederhole 1 und 2 bis keine Änderungen mehr eintreten

79/97

Region Growing

Originalbild Segmentiertes Bild

81/97

Region GrowingProblem• Wahl der Seed Points• Wahl des Homogenitätskriteriums• Formulierung des Stop-Kriteriums

Vorteile• Einfache Erweiterbarkeit auf 3D• Eleganteste Lösung multimodaler Historgamme

Nachteile• Unterschiedliche Seed Points können zu vollständig anderen Segmentierungen führen• Anzahl der Regionen muß vorher festgelegt werden

82/97

Split & Merge

Unterteilung und Verbindung von Bereichen in Quadrate entsprechend einem Homogenitäts-kriterium.

Beispiele für Homogenitätskriterium:Grau-/Farbwerte identisch/ähnlich Grau-/Farbwerte im gleichen Intervall Grau-/Farbwerte ähnlich verteilt (Momentum, Textur)

83/97

Split & Merge

1R 2R

3R41R

44R43R42R

Split Region Ri, wenn:

P(Ri)=false

Merge angrenzende und homo-gene Regionen Ri und Rj, wenn:

P(RiRj)=true

Rekursionen beendet, wenn kein weiteres Unterteilen / Vereinigen mehr möglich ist

84/97

Split & Merge

1 2

00 01 02 03 30 32 33

310 311 312 313

Quadtree 1

2

00

02

01

03

30

32 33

310311312314

85/97

Split

Merge

Gefahr von „Overgrowing“ – zu viele Regionen „Undergrowing“ – zu wenige Regionen

86/97

Split & Merge

Eliminierung von kleinen Regionen infolge Overgrowing:

• Suche die kleinste / eine kleine Region Ri• Finde die benachbarte Region Rn zu der Ri unter

Berücksichtigung des Homogenitätskriteriums ambesten paßt und vereinige diese

Diese Schritte werden so lange wiederholt, bisalle Regionen eine vorgegebene Mindestgrößebesitzen

87/97

Split & Merge

32 ²

16² 8²

88/97

Wasserscheide Segmentierung

89/97

Wasserscheide Segmentierung

90/97

Damm Konstruktion Finde letzten Schritt vor

Vereinigung M1 und M2

Finde vereinigte Menge q Dilatiere M1 und M2:

Strukturelement platziert nur in q Keine Dilatation an Stellen,

welche M1 und M2 vereinigen Damm sind die übrig

gebliebenen Pixel innerhalb von q

91/97

Wasserscheide Segmentierung auf Gradientenbild

92/97

Über-Segmentierung der Gradientenbilder

93/97

Marker Konstruktion1. Tiefpaßfilterung2. Vereine Nachbarpunkte gleichen Grautons = seeds 3. Wasserscheide auf den Seeds4. => Unterteilung des Gesamtbildes in „Zellen“5. Gradient des Gesamtbildes6. Wasserscheide lokal in jeder „Zelle“

94/97

Marker-Boundaries

95/97

Markers Berücksichtigung von a-priori „Wissen“ oder „Kontext“ über

das Bild Größe Form Position Orientierung Relative Abstände Textur etc. etc.

96/97

Wissen Berücksichtigung

97/97

Modellbasiertes Segmentieren• Berücksichtigung von a priori Informationen über Art und Aussehen

der zu segmentierenden Objekte

• Mensch besitzt ein „Modell“ des Objektes im Kopf, das Segmentieren vereinfacht:

Die Kreisausschnitte werdenzu durchgehenden Streckenergänzt