Mixture models – Soft Tissue Filterhomes.di.unimi.it/~frosio/Lessons/AY2010-2011-SI/... · •...

Mixture models – Soft Mixture models – Soft Tissue Filter

I. Frosio. FAIS Lab.

[email protected]:\\homes.dsi.unimi.it\∼frosio\

http:\\homes.dsi.unimi.it\∼frosio\1/45A.A. 2010-2011

Overview

• Mixture models: introduzione;Mixture models: introduzione;• Segmentazione di radiografia

f lcefalometrica;• Derivazione di EM per il caso di unDerivazione di EM per il caso di un

mixture model a componentigaussiane;gaussiane;

• Ottimizzazione vincolata(moltiplicatori di Lagrange);

• Soft Tissue Filterhttp:\\homes.dsi.unimi.it\∼frosio\2/45A.A. 2010-2011

Soft Tissue Filter.

Mixture models: introduzione

• La funzione di verosimiglianzaLa funzione di verosimiglianzapermette di stimare i parametriinc niti di una distribuzi ne (esincogniti di una distribuzione (es.media e varianza di una gaussiana);

• Nei casi reali, la densità di probabilitàpuò essere complessa a piacere;può essere complessa a piacere;

• In particolare, si può considerare unabi i li ( i t ) dicombinazione lineare (mixture) di

variabili casuali mixture models



• In un mixture model la d d p complessiva èIn un mixture model, la d.d.p. complessiva èla combinazione lineare di M d.d.p. di base.

P b bilità d l d t ll J i

dd l i

Probabilità del dato x nella J-esima distribuzione

∑M

jPj )()|()( xx

ddp complessivaProbabilità che il dato x provenga∑

=

=j

jPjpp1

)()|()( xx θdato x provenga

dalla J-esima distribuzione

∑ ∫ =<=<==M

jpjPjP 1)|(;1)(0;1)( xθ


∑ ∫=j 1

Mixture models: introduzione (incognite)(incognite)

M

∑=

=M

jjPjpp

1)()|()( xx θ

j

Dati

La d.d.p. complessiva, p(x), viene misurata.

La forma delle d.d.p. di base, pq(x|j), viene scelta a priori (es.ussi n )gaussiana).

Incognite

I parametri θ di ogni d.d.p. di base, pθ(x|j), devono essere stimati.

Le probabilità per ogni d.d.p. di base, P(j), devono essere stimate.



• Per la stima del vettore dei parametri θPer la stima del vettore dei parametri θviene utilizzato…

• … L’approccio alla massima verosimiglianza.… L approcc o alla mass ma veros m gl anza.• Mixture model:• p(x) = Σj 1 M pθ(x | j) ·P(j)p(x) = Σj=1..M pθ(x | j) P(j)• Likelihood function:• L = L (θ) = p(x | θ) p(x | θ) p(x | θ);• L = L (θ) = p(x1 | θ) · p(x2 | θ) ·… p(xD | θ);• Negative log likelihood function:

E E (θ) l (L) Σ l [ ( | θ)]• E = E (θ) = -log(L) = -Σi=1..D log [p(xi | θ)] ==− Σi=1..D log [Σj=1..M pθ(xi | j)P(j)]


Mixture models: esempip• In un supermercato vi sono due tipi di clienti: single e coppie.p p g pp

La percentuale di single è pari al 33%. La spesa per un singleè descritta da una variabile casuale distribuita come unagaussiana, media 70 euro, varianza 30 euro; per una coppia, lagaussiana, media 70 euro, varianza 30 euro; per una coppia, lamedia è pari a 100 euro, la varianza 40 euro -> mixture modelper descrivere la spesa media (istogramma bimodale);

• Si supponga che esistano altre categorie (famiglie,frequentatore occasionale, ...) -> è sufficiente estendere ilqmodello per includere le nuove categorie...

• Si supponga che la spesa per le famiglie sia ben• Si supponga che la spesa per le famiglie sia benrappresentata da una variabile casuale con distribuzione chiquadro, media xxx, etc...E’ un problema? -> NO! Possiamoi l d h t l i t d l


includere anche questo caso nel mixture model...

Mixture models: introduzione (riassunto)(riassunto)

• Mixture models: una combinazione lineareMixture models: una combinazione linearedi densità di probabilità utilizzata perdescrivere la densità di probabilità deglidescrivere la densità di probabilità deglielementi di un vettore di dati misurato.

• Le incognite sono i parametri di ogni ddp• Le incognite sono i parametri di ogni ddpdel mixture e la probabilità di ogni singolacomponente del mixturecomponente del mixture.

• I parametri vengono calcolatissi i d l f i dimassimizzando la funzione di

verosimiglianza.


Mixture models: segmentazione radiografia cefalometricaradiografia cefalometrica

I(x,y) immagine NRow x NCol, 8 bit (256 livelli di grigio g);Hist(·) istogramma 256 componenti;Hist( ) istogramma, 256 componenti;Hist(g) # pixel t.c. I(x,y)=g;Hist(g) / (NRow * NCol) = p(g). ddpp

Hist(g)

I(x,y) ) = #pixSolo 4 livelli di xelSolo 4 livelli di grigio

http:\\homes.dsi.unimi.it\∼frosio\9/45A.A. 2010-2011g


nde

ackg

roun

kgro

und

Soft

tiss

ueBone tissue

Bone tissueIstogramma tipico immagine

radiografica cefalometrica

Ba

Bac

k SSoft tissue

o e ssue g

p(g)

Measured histogram

Background Bone tissue

http:\\homes.dsi.unimi.it\∼frosio\10/45A.A. 2010-2011 g

Soft tissue


p(g)p(g)

Measured histogram

BackgroundSoft tissue

Bone tissue

g

Soft tissue

Livelli di grigio diversiLivelli di grigio diversiidentificano tessutidiversi (soglia


d ve s (sogsegmentazione).


p(g)p(g)

Measured histogram

Soft tissue

Bone tissue

g

Soft tissue

Pixel classificati erroneamente



• L’istogramma di una radiografiag gcefalometrica è composto da trecomponenti principali;Il bl di t i d ll’i i• Il problema di segmentazione dell’immaginesi presta ad essere trattato con unapproccio tipo mixture model;approccio tipo mixture model;

• Ogni componente del mixture model saràresponsabile rispettivamente dellap pgenerazione dei dati relativi a background,soft tissue e bone tissue;M i i i d ll i i li EM• Massimizzazione della verosimiglianza: EM(massimizzazione di lower bound).



• Funzione da minimizzare (incognita θ):Funzione da minimizzare (incognita θ):

( ) ( ) ( )∏ ∑−=−=−=N N

nn xpxpLE lnlnln ϑϑ( ) ( ) ( )∏ ∑= =n n

pp1 1

ϑϑ

• Per ogni iterazione, i parametri vengonoaggiornati (old new, indice θ omesso):gg ( , )

( ) ( ) ( )( )∑∑∑ ⎥

⎦

⎤⎢⎣

⎡−=⎥

⎦

⎤⎢⎣

⎡−−−=−

N

nold

nnewNnold

Nnnewoldnew xpxpxpEE lnlnln ( ) ( ) ( )∑∑∑

===⎥⎦

⎢⎣

⎥⎦

⎢⎣ n

noldnn xp

pp111



( ) ( ) ( )( )∑∑∑ ⎥

⎤⎢⎡

=⎥⎤

⎢⎡

=N nnewN

noldN

nnewoldnew xpxpxpEE lnlnln ( ) ( ) ( )( )∑∑∑

===⎥⎦

⎢⎣

−=⎥⎦

⎢⎣−−−=−

nnold

nn xpxpxpEE

111lnlnln

( ) ( ) ( )∑ ⋅=M

jxpjPxp |

Ricordando che:

( ) ( ) ( )∑=

⋅=j

jxpjPxp1

|1

Si ottiene:

( ) ( )( )

( )( )∑ ∑ ⎥

⎦

⎤⎢⎣

⎡⋅−=−

N M

nold

nold

nold

nnewnewoldnew

jPxjPjxpjPEE

|||ln


( ) ( )∑ ∑= = ⎦⎣n j

noldnold xjPxp1 1 |


• La disuguaglianza di Jensen dice che:La disuguaglianza di Jensen dice che:1.. 22 =∑

M

jj ctdati λλ1=j

( )∑∑ ⇒≥⎟⎟⎞

⎜⎜⎛ MM

KK 22 lnln λλ ( )∑∑==

⎞⎛

⇒≥⎟⎟⎠

⎜⎜⎝

MM

jjj

jjj KK

11lnln λλ

( )∑∑==

−≤⎟⎟⎠

⎞⎜⎜⎝

⎛−⇒

M

jjj

M

jjj KK

1

2

1

2 lnln λλ⎠⎝ jj 11



12 =∑M

jλ ( ) nxjPM

nold ∀=∑ ,1|1

∑=j

j ( )j∑

=1

Jensen Mixture model

E’ p ssibil pplic r l disu u li nz di J ns n i E possibile applicare la disuguaglianza di Jensen ai mixture model, ove i Pold(j | xn) giocano il ruolo dei λj

2.



• Applicando Jensen:Applicando Jensen:

⎞⎛ MM

( )∑∑ −≤⎟⎟⎠

⎞⎜⎜⎝

⎛−

M

jjj

M

jjj KK

1

2

1

2 lnln λλ== ⎠⎝ jj 11

( ) ( ) ( )⎤⎡ ( ) ( )( )

( )( )∑ ∑ ⎥

⎦

⎤⎢⎣

⎡⋅−=−

N M

jnold

nold

nold

nnewnewoldnew

xjPxjP

xpjxpjPEE

1 1 |||ln


( ) ( )= = ⎦⎣n j xjPxp1 1 |


( ) ( )( )

( )( )∑ ∑ ⎥

⎦

⎤⎢⎣

⎡⋅−=−

N M

nold

nold

nold

nnewnewoldnew

jPxjPjxpjPEE

|||ln ( ) ( )∑ ∑

= =⎥⎦

⎢⎣n j

noldnold xjPxp1 1 |

( ) ( ) ( )( ) ( )∑ ⎥

⎤⎢⎡ ⋅

⋅−≤M

ldld

nnewnewnold jxpjPxjP |ln|( ) ( ) ( )∑

=⎥⎦

⎢⎣ ⋅j

noldnold xjPxpj

1 ||



( ) ( ) ⎫⎧N M nnewnew |( ) ( ) ( )( ) ( )∑∑

= = ⎭⎬⎫

⎩⎨⎧

⋅−≤−

N

n

M

jnoldnold

nnewnewnoldoldnew

xjPxpjxpjPxjPEE

1 1 ||ln| ( ) ( )⎭⎩n j jp1 1 |

ld QEE oldnew +≤ Minimizzando Q si minimizza E!

Pold(xn), Pold(j | xn) costanti…

d Q Q (θ )!… dunque Q = Q (θnew)!



Eliminando i termini costanti (old) nella somma (! trasf. Logaritmica!), è

N M

Eliminando i termini costanti (old) nella somma (! trasf. Logaritmica!), è sufficiente minimizzare ad ogni iterazione:

( ) ( ) ( ){ }∑∑−=N M

nnewnewnold jxpjPxjPQ |ln|~= =n j1 1

Tenendo inoltre conto del fatto che:

( ) nxjPM

nnew ∀=∑ ,1|

Tenendo inoltre conto del fatto che:Siamo tornati alla funzione

expectation!!!i i i è ò i

( )jj∑

=

,|1

L’ottimizzazione è però, in questo caso,

VINCOLATA


VINCOLATA...


Si minimizza allora (metodo dei moltiplicatori di Lagrange):

( ) ⎟⎟⎠

⎞⎜⎜⎝

⎛−+= ∑

=

M

j

new jPQf1

1~ ψ⎠⎝ =j 1

⎧ ∂f

Cioè: Vincolo

⎪⎪⎪⎧

∂

=∂

∂ 0μ

f

fnewj

D t i t⎪⎪⎪

⎨

=∂

∂ 0σ

fnewj

Da questo sistema possono esserericavate le equazioni perl’aggiornamento dei parametri del

⎪⎪⎪⎨

=∂

∂ 0)( jP

fnew

l aggiornamento dei parametri delmixture model ad ogni iterazione.

http:\\homes.dsi.unimi.it\∼frosio\22/45A.A. 2010-2011⎪⎪⎪

⎩=

∂∂ (vincolo)0ψf

Ottimizzazione vincolata (moltiplicatori di Lagrange)(moltiplicatori di Lagrange)

• Vogliamo trovare (x y) t c f(x y) èVogliamo trovare (x,y) t.c. f(x,y) èminima nell’insieme g(x,y) = c.f( ) f d• f(x,y) -> funzione da ottimizzare.

• g(x y) – c = 0 -> vincolog(x,y) c 0 vincolo.

• Nel caso dell’ottimizzazione nonvincolata -> (df/dx = 0) & (df/dy = 0).( f ) ( f y )



• Nel caso di ottimizzazionevincolata la g(x,y) – c =0identifica una linea curvanello spazio (x,y).

f(x,y)

nello spazio (x,y).• Il vettore [dg/dx dg/dy]

identifica la normale ag(x y)=c ( )g(x,y)=c.

• Il punto massimo/minimot.x. g(x,y) = c deve essere

g(x,y)=c[dg/dx dg/dy]

g yt.c. [dg/dx dg/dy] èparallelo al gradiente di f[quindi, muovendosi lungo[q , m gg(x,y)=c, si osservalocalmente una variazionenulla di f] [df/d df/d ]


nulla di f]. [df/dx df/dy]


• Coma facciamo ad imporre che [dg/dxComa facciamo ad imporre che [dg/dxdg/dy] sia parallelo a [df/dx df/dy]?

• Imponiamo che grad(f) possa essere• Imponiamo che grad(f) possa essereottenuto semplicemente scalando grad(g)per un fattore λ (incognito – moltiplicatoreper un fattore λ (incognito – moltiplicatoredi Lagrange), ovvero:

d(f) λ d( ) 0 (1)grad(f) + λ·grad(g) = 0 (1)• L’equazione (1) si ottiene minimizzando

(ottimizzazione non vincolata) la funzionef+λ·(g-c) (detta funzione Lagrangiana).



• (x*,y*, λ*) = argmaxx y λ f(x,y)+λ·(g(x,y)-c) =>(x ,y , λ ) argmaxx,y,λ f(x,y) λ (g(x,y) c)

df(x*,y*)/dx+λ·dg(x*,y*)/dx = 0 Derivando rispetto a x,y ottieniamo il

ll ldf(x*,y*)/dy+λ·dg(x*,y*)/dy = 0 parallelismo tra i due gradienti

g(x*,y*)-c = 0 Derivando rispetto a λ ottieniamo il vincolo



• Aggiornamento P(j):Aggiornamento P(j):( ) ( )∑=

Nnoldnew xjP

NjP |1

• Nel caso di ddp gaussiane:

( )∑=nN 1

• Nel caso di ddp gaussiane:

( )∑N

ld ( )( )N 2( )

( )∑

∑== N

nold

n

nnold

newj

xxjP1

|

|μ ( )

( )( )

( )∑

∑=

−= N

nold

nj

nnold

newj

jP

xxjP1

2

2

|

| μσ

( )∑=n

nold xjP1

| ( )∑=n

nold xjP1

|


Risultato (bone tissue)( )

• Clusterizzazione immagine in 3 zoneClusterizzazione immagine in 3 zone(background, soft tissue, bonetissue)tissue).


Bibliografiag• Cristopher M. Bishop, Pattern Recognition and Machine

L rnin C pit l 2 3 9 (mixtur di ussi n ) C pit l 9 1Learning, Capitolo 2.3.9 (mixture di gaussiane), Capitolo 9.1,9.2, 9.3 (K-means, mixture models, EM).

I Frosio G Ferrigno N A Borghese “Enhancing Digital• I. Frosio, G. Ferrigno, N. A. Borghese, Enhancing DigitalCephalic Radiography with Mixture Model and Local GammaCorrection,” IEEE Transaction on Medical Imaging, Vol. 25,No. 1, Jan. 2006, pp. 113-121 (mixture models e radiografiaNo. 1, Jan. 2006, pp. 113 121 (mixture models e radiografiacefalometrica).

• Poul Erik Frandsen, Kristian Jonasson, Hans Bruun Nielsen,oul Er k Frandsen, Kr st an Jonasson, Hans Bruun N elsen,Ole Tingleff, Unconstrained Optimization, disponibile inrete, algoritmi di minimizzazione (approfondimento).

• Cristopher M. Bishop, Pattern Recognition and MachineLearning, Capitolo 9.4, EM come minimizzazione di un lowerbound (approfondimento).


Exposure problemsExposure problems

• From film to phosphor film to CCDp p• Underexposed radiographies: bone cannot be

distinguished from soft tissued d h f d• Overexposed radiographies: soft tissue tends to mix

with background


Typical HW solutionyp

Lo intensit X raH h X Low intensity X-ray

fieldHigh intensity X-

ray field

Cu Filter


SW solution: gamma correctioncorrection

’Gray level correctionformula;U d f l b l

γ = 3g’

Used for global exposurecorrection;For 8 bit image gray level

γ = 1

For 8 bit image, gray levelg is corrected to g’ as:

g’ = 255 · [(g / 255) 1/γ]

γ = 0.33g g

g

γ > 1 Stretching of the low levels, compression of the high levels.γ < 1 Compression of the low levels, stretching of the high levels.


Global γ correctionGlobal γ correction

γ 3γ = 3

• Nowadays clinicalNowadays cl n calpractice: global γcorrection

• γ = 0 25 (underexposed)• γ = 0.25 (underexposed),soft tissue darkens!

• γ = 3 (overexposed),


bone tissue mixes withsoft tissue!

Typical histogram Typical histogram

• Three characteristic gray zones: background (1), softhree character st c gray zones background ( ), softtissue (2), bone tissue (3)

• 5% boundary eliminated (white margins, logo)y ( g g )• Gray level zero eliminated (saturated pixels)


Mixture model• A powerful technique to estimatep q

complex probability densitiesdistributions by using a restricteddistributions by using a restrictednumber of parametersLi bi ti f M b bilit• Linear combination of M probabilitydensities:

( ) ( ) ( )∑ ⋅=M

MM jxpjPxp |=j 1


Two Gaussian one LognormalTwo Gaussian, one Lognormal

• Mixture of three components (M = 3)M xture of three components (M 3)• Two Gaussians: background, soft tissue (symmetric

peaks)p )• One Inverted Lognormal: bone tissue (asymmetric

peak)


Parameters estimation• Parameters: P(j), μj, σj, j=1…3(j), μj, j, j• Negative log likelihood

{ }∑ ∑−=−=−=N N

nn jPjxpxpLE )()|(ln)(lnln { }∑ ∑= =

===n n

MM jPjxpxpLE1 1

)()|(ln)(lnln

• E is minimized through the EMalgorithmalgorithm


Updating equationsp g q• Mixing parameters ( ) ( ) ( )gHgjP

NjP

GLNoldnew ⋅= ∑

−1

|1N g=0

G i( ) ( )∑

−

⋅⋅1

0

|GLN

g

old gHggjP

( )( ) ( ) ( )∑

−

⋅−⋅1

2|GLN

newj

old gHggjP μ• Gaussians

( ) ( )∑−

=

=

⋅= 1

0

0

|GLN

g

old

gnewj

gHgjPμ ( )

( ) ( )∑

∑−

=

=

⋅= 1

0

02

|GLN

g

old

gj

newj

gHgjPσ

−1GLN 1N

• Lognormal( ) ( ) ( )

( ) ( )∑

∑−

=

⋅

⋅−⋅= 1

1

0

|

ln|

GL

GL

Nold

N

gGL

old

newj

gHgjP

gHgNgjPμ ( )

( ) ( )[ ] ( )

( ) ( )∑

∑−

=

−

=

⋅

⋅−−⋅= 1

0

1

0

2

2

|

ln|

GL

GL

N

g

old

N

g

newjGL

old

newj

gHgjP

gHgNgjP μσ


=0g=0g

ClusteringClustering

• Thresholds Th(j,j+1) minimizehresholds h(j,j ) m n m ze

( ) ( ) ( ) ( )∫∫−

+

+⋅++⋅+

1

)1,(

)1,(

0|1|1 GLN

jjTh

jjThdxjxpjPdxjxpjP

• Three classes: Background, soft tissue, bone tissue


Local γ CorrectionLocal γ Correction

• γ = 1 backgroundγ background• γ = 0.25 bone tissue• γ = 1.5 soft tissueγ 1.5 soft tissue• Artifacts, patient profile not clearly visible!


γ smoothing: low pass filteringfiltering

f l f• Low pass filtering of γ …

Filter (5x5):Filter (5x5):

1/25 1/25 1/25 1/25 1/251/25 1/25 1/25 1/25 1/25

1/25 …

…

… 1/25


γ smoothingγ smoothing

• γ map has to be smoothedγ map has to be smoothed• Down sampling, moving average 3x3 filtering, up

sampling using bilinear interpolation (or efficientp g g p (moving average filter in space domain)

• Two classes: Background & soft tissue, bone tissue


ResultsResults

Original Gamma correction

Unsharp masking Soft tissue filter


Unsharp masking Soft tissue filter

Summary Soft Tissue Filtery• Mixture model for clustering;g• Gamma correction;

L filt i f• Low pass filtering of gamma map.


Mixture models – Soft Tissue Filterhomes.di.unimi.it/~frosio/Lessons/AY2010-2011-SI/... · •...

Documents

Transcript of Mixture models – Soft Tissue Filterhomes.di.unimi.it/~frosio/Lessons/AY2010-2011-SI/... · •...