Billedsegmentering vedhjælp af grafsnit

Ditte-Maria Christiansen

Peter Pilgaard Rasmussen

• Formål med specialet• Hvorfor segmentere billeder?• Segmentering og grafsnit• De undersøgte metoder• Brugergrænseflade• Test af metoderne• Konklusion• Perpektivering

– Pause

• Spørgsmål?

Formål med specialet

• At undersøge metoder til billed-segmentering for at finde den hurtigste og bedste.

• Bedste?

Hvorfor segmentere billeder

• Medicinsk billedbehandling

• Tidsserieanalyse – still-billeder

• Fremhævning af enkeltelementers datainformation – satellitbilleder

Segmentering og grafsnit• Fra billede til graf

– Graf – Minimum Cut: 4 naboer (up, down, left og

right)– Normalized Cut og Average Cost Gap: Alle

naboer

• Vægtfunktion (gaussisk)2

2i j

I

I

ijw e

2

2

0

ij

X

X

e

Minimum Cut grafen

0 0 0up

6 6 1

0 2 6 1 3 9 2 6 0

0 2 1 7 9 10 2 1 0

left right

6 6 1down

0 0 0

Normalized Cut

1

1

3

3

9

5

7

2

9

4

10

6

0 6 2 8 8 9

6 0 4 2 2 3

2 4 0 6 6 7

8 2 6 0 0 1

8 2 6 0 0 1

9 3 7 1 1 0

1

1

3

3

9

5

7

2

9

4

10

6

0 6 2 8 0 0

6 0 4 2 0 0

2 4 0 6 6 7

8 2 6 0 0 1

0 0 6 0 0 1

0 0 7 1 1 0

1 2 3 4 5 6

1

2

3

4

5

6

1 2 3 4 5 6

1

2

3

4

5

6

De undersøgte metoder

• Grafen • Minimum Cut

– Minimerer

• Normalized Cut– Minimerer

• Average Cost Gap– Minimerer et gab i

løftet af grafen til et hyperplan

,V A B A B

,ij

i A j B

w

, ,

, ,

ij iji A j B i A j B

ij iji A j V i B j V

w w

w w

-parametren

• Estimere [Huang og Mumford]

– Implementeret i Normalized Cut

ij

I

I

sijw e

Vægtfunktion MinimererEgenværdi-

problem

Minimum Cut

Normalized Cut

Næstmindste egenværdi til:

Average Cost Gap

Minimerer et gab i løftet af grafen til et

hyperplan

Største egenværdi til:

,ij

i A j B

w 2

2i j

I

I

ijw e

22

22

0

iji j

XI

XI

ijew e

22

22

0

iji j

XI

XI

ijew e

, ,

, ,

ij iji A j B i A j B

ij iji A j V i B j V

w w

w w

11

1 1

T

T

W WW

W

1 1

2 2( )D D W D

Fordele og ulemper ved metoderne• Minimum Cut

– Kræver viden om objekternes placering– Mange objekter Mange s’er og t’er– Kun en parameter

• Normalized Cut– Mange parametre at skrue på– Kan segmentere i flere dele (flere egenvektorer)– Kræver ingen viden om objekternes placering

• Average Cost Gap– Skal gange 2 n×n matricer sammen (n: antal pixel)– Deler ikke langstrakte elementer

Den grafiske brugergrænseflade

• Overvejelser

• Afprøvning

• Udvidelser

Overvejelser

• Brugervenlighed– Definition

• Lethed

• Brugbarhed

• Let at huske

• Tilfredshed

• Forståelighed

• Bekvemmelighed

• Hvor let det er at bruge programmet

• Om programmet er effektivt i brug

• Om det er let at huske hvordan programmet bruges efter længere tids fravær

• Om man generelt kan lide at arbejde med programmet

• Om man kan forstå hvad der sker idet man aktiverer en funktion i programmet

• Om man føler at alt virker som det beskrives udfra knapper og menuer

Overvejelser

• Brugervenlighed– Gestaltlovene

• Lukkethed

• Nærhed

• Lighed

• Linier

Overvejelser

• Farveopfattelse– Farveblindhed

– Negativt efterbillede

Afprøvning

• Vi så…– Minimum Cut for 2D med :

• En kilde og en terminal– Grænsetilfælde

– Utilstrækkelig information

• En kilde og to terminaler– Passende information

– Normalized Cut for 2D :• Flere typer afhængig af tilfældighedgenerator

Afprøvning

Minimum Cut Normalized Cut

Udvidelser• Farvebilleder – Farvesegmentering

• Visualisering af kilder og terminaler

• Valgmulighed:– Flere skiver efter update– Colormap

• Lyssætning (problem i Matlab 6.5.1)

• Afbryder-funktion

• Yderligere segmenteringstyper

Testning

•Det vi har testet

•Resultater

Det vi har testet• Minimum Cut

– Hvor stor betydning billedstørrelsen har på segmenteringstiden

– Hvilken betydning antallet af elementer har for tidsforbrug og kvalitet af segmenteringen

– Hvilken indflydelse støj har på segmenteringstid og kvalitet

– 4-naboskab versus 8-naboskab – Indbyrdes forhold mellem vægtfunktionens

parametre– Forskellige I’ers indflydelse på tid og kvalitet i

voluminer– Parameteren I’s betydning for tid og kvalitet i 2D

Det vi har testet• Normalized Cut

– Hvorvidt der tages højde for gråtonerne– Hvor stor betydning billedstørrelsen har på

segmenteringstiden– Hvilken betydning antallet af elementer har for

tidsforbrug og kvalitet af segmenteringen– Hvordan tidsforbruget er fordelt på funktionerne– Hvilken indflydelse støj har på segmenteringstid

og kvalitet – Udskiftning af vægtfunktion til en generaliseret

Laplace

Det vi har testet

• Average Cost Gap– Evne til at segmentere langstrakte elementer– Støjens indflydelse på kvaliteten

Resultater• Minimum Cut

– Tidsforbruget af segmenteringen er afhængig af formen og størrelsen af de elementer der skal segmenteres, samt af billedets størrelse

– Støj har ikke direkte indflydelse på segmenteringstiden, men påvirker hvor meget der segmenteres, og derved påvirkes segmenteringstiden indirekte

– Segmenteringstiden stiger når der introduceres flere naboer

Resultater

• Minimum Cut– Segmenteringstiden stiger, når afstanden

mellem kilde og terminal øges, dette bliver endnu mere markant ved 8 naboer end ved 4

– Tidsforbruget ved voluminer er ligesom for billeder afhængig af størrelse af voluminet og antallet af kilder, idet dette giver flere kanter

Resultater• Minimum Cut

– Når 8 naboer bruges fremfor 4 naboer bliver kvaliteten god ved brug af færre terminaler

– Støj forringer kvaliteten af segmenteringen i en sådan grad at det er svært at genkende objekterne

– Når støjen tiltager i en billedrække er det nødvendigt at sænke I værdien

– Støj har ikke påvirket kvaliteten af de tests vi har lavet på voluminer

Resultater

• Minimum Cut– Både segmenteringstid og kvalitet er afhængig af

I

– Man kan afgrænse intervallet af I ved at finde intensitetsforskelle i områderne omkring kilder og terminaler. Intervallet mellem mindste kilde intensitet og mindste terminalintensitet anbefales og det anbefales at bruge størsteværdien i dette interval først

Resultater

• Minimum Cut– Kvaliteten falder idet segmenteringstiden

falder, dette sker ved forskellig I – afhængig af elementerne i voluminet

– Der findes en nedre grænse I hvorunder segmenteringen bliver en thresholding fremfor en segmentering. Denne grænse er afhængig af det enkelte billede eller volumen

Resultater

• Normalized Cut– Tidsforbruget stiger i takt med billedstørrelsen,

dog kan overgangen fra normal matrix til sparse matrix ses af tidsforbruget

– Hvis vi forsøger udfra tallene at udregne det videre forløb uden sparse, ser det ud til at tidsforbruget ikke ville have havnet så langt fra de tidsforbrug vi får ved sparse matricen

Resultater• Normalized Cut

billede n^2 forholdstal sekunder forholdstal sekunder

billede1 390625 16 10 full 32.6

billede2 6250000 326 full

billede2 6250000 5.0625 326 full 10 udregnet

billede3 31640625 3311 sparse 3260 full udregnet

billede3 31640625 3.1605 3311 sparse 6 udregnet 3260 full udregnet

billede4 100000000 18313 sparse 19560 full udregnet

Resultater

• Normalized Cut– Segmenteringsfunktionen tager kun få sekunder– Udregningen af egenværdier og egenvektorer

står for 74-96% af den fulde segmenteringstid – For 100 x 100 pixels ligger segmenteringstiden

fra ca. 27 minutter til 9 ¾ time – For 25 x 25 pixels er segmenteringstiden nede i

2 til 18 sekunder

Resultater

• Normalized Cut– Opbygning af grafen og markering af pixels er

uafhængig af billedets art, udregningen af egenvektorer er dog afhængig af størrelsen af elementerne i billedet

– Billedets art betyder noget for beregningstiden og kvaliteten, idet selve elementernes indbyrdes placering lader til at influere på begge dele ved segmenteringen

Resultater• Normalized Cut

– Kvaliteten afhænger af billedets størrelse og afstanden mellem pixels, der ligner hinanden

– Når støjen tiltager i en billedrække er det nødvendigt at mindske I og hæve radius

– Støjen har ikke indflydelse på om elementerne segmenteres, men segmenteringen vil indeholde mere støj

– Udskiftning af gaussisk vægtfunktion med en generaliseret Laplace har ikke vist sig fordel-agtig. Dog, i de få tilfælde hvor kvaliteten var god er kanten blevet mere korrekt

Resultater

• Normalized Cut– Gråtoner kan adskilles, men forekomster af

forskellige gråtoner kan også forekomme i samme segment

Resultater

• Average Cost Gap– Denne er ikke en forbedring til Normalized Cut– Finder grænser i billederne, der ikke eksisterer– Er følsom overfor støj

Væsentlige fejl

• Under testforløbet har der været fejl i koden til opsamling af tidsforbrug under Minimum Cut. Ved indskrivning af testresultater har vi ikke været kritiske nok overfor tallene for tidsforbruget, dette har vi fundet ud af senere. Minimum Cut er dog stadig betydeligt hurtigere end Normalized Cut.

Konklusion – generelt

• Det er et problem, at det tager så lang tid at segmentere billeder større end 10.000 pixels

• Der bør bruges metoder, der søger at minimere tiden i forhold til billedstørrelsen

• Vi har med succes implementeret og afprøvet Minimum Cut og Normalized Cut

• Average Cost Gap og udskiftning af vægtfunktion til generaliseret Laplace har ikke givet gode resultater

Konklusion – Minimum Cut

• Minimum Cut har vist sig at være hurtigere end Normalized Cut, hvorfor vi i det tilfælde hvor billedet ikke er generet af for meget støj vil foretrække denne metode

• Ulempen ved metoden er, at der er 1 parameter + minimum 2 punkter der skal sættes. Det er en lang interaktionstid med GUIen

Konklusion – Normalized Cut

• Normalized Cut har vist sig at være bedre end Minimum Cut for billeder der er støjgenerede – kvaliteten bliver bedre

• Ulempen ved Normalized Cut er, at der er 4 parametre, der skal sættes, hvor de alle afhænger af hverandre

Konklusion – Average Cost Gap

• Metoden er kun vist i teorien i artiklen

• Den giver dårligt resultat i vores test

• Vi har muligvis ikke fundet den rette type billede

• Den danner grænser i billedet, der ikke eksisterer

Konklusion – -parameteren

• Det er ikke lykkedes os at vise at en udskiftning af den gaussiske vægtfunktion med en generaliseret Laplace skulle være bedre til naturlige billeder

Konklusion – Brugergrænsefladen

• Vi ville lave en GUI, der både var funktionel og pæn

• Segmenteringsmetoderne skulle kunne køres deri, og der skulle være mulighed for at vælge flere kilder/terminaler og flere inddelinger end 2

Perspektivering

• Udvidelse med Nyström-tilnærmelsen giver mindre matricer under udregningerne

• Eliminering af oversegmentering ved hjælp af middelværdi og varians på segmenterne

• Flere I til ét billede kan muligvis afhjælpe støjgener

• Eliminering af større ens områder indenfor elementerne vil kunne mindske antallet af udregninger