Fréchet Filters for Color and Hyperspectral Images Filtering

E.Ostheimer1 , V.G. Labunets, D.E.Komarov,

T.S.Fedorova , V.V.Ganzha

Yekaterinburg , AIST-2015

Ural Federal University, pr. Mira, 19, Yekaterinburg,

620002, Russian Federation

Capricat LLC 1340 S. Ocean Blvd., Suite 209 Pompano

Beach 33062 Florida USA

1. Введение

2. Постановка

проблемы

4. Экспериментальные

результаты

3. Предлагаемый подход

5. Выводы

S1 S2

S3

S4

S5

Основные требования, предъявляемые к алгоритмам

фильтрации:

1) Эффективное подавление шума

2) Минимальные искажения полезного сигнала (в частности

сохранение перепадов яркости)

3) Высокое быстродействие.

СХЕМА

Скалярные фильтры

Оптимальный вектор

Фреше

Векторные фильтры

Обобщенная стоимостная функция Метрика

Пакет изображений, полученных оптическими датчиками вразличных частотных диапазонах, называется гиперспектральнымизображением.

Математической моделью гиперспектрального изображенияявляется двумерный векторно-значный сигнал:

( , ) :[0, 1] [0, 1] Kn m N M f R

2

11

2

( , )( , )

( , ) ( , )( , )

... ...

( , ) ( , )KK

f n mf n m

f n m f n mn m

f n m f n m

f

Гиперспектральные изображения

Цветные изображения

S1 S2

S3

S4

S5

Модель обрабатываемого изображения

Рассмотрим изображение следующей формы

( ) ( ) ( )f x s x η x

где - оригинальное К-канальное изображение,

- шум, воздействующий на

- искаженное шумом изображение( )η x

( )f x

( )s x( )s x

Восстановление полезного сигнала

Задача: максимально точно выделить полезное

изображение и с максимальной степенью подавить помеху.

Степень точности оценки (точности фильтрации)

определяется некоторой мерой близости (мерой схожести)

между и :( )s rˆ( )s r

ˆ( ), ( ) s r s r

Наилучшим фильтром будет такой, который минимизирует

функционал .

( ) ( )ˆ( ) FILTER πs r s r r

S1 S2

S3

S4

S5

( ,

( 1, 1) ( 1, ) ( 1, 1)

( , 1) ( , 1)

( 1, 1) ( 1, ) ( 1,

)ˆ( ,

1

)

)

s i

f i j f i j f i j

f i j f i j

f i j f i j f i j

f i jj

Filter

Filter

Упрощающее предположение 1. Для простоты будем считать,

что наблюдаемый сигнал является аддитивной смесью

полезного сигнала и шума

2( ) ( ) ( ), f r s r r rπ Z

1 1 2 2 1 2 1 2( | , ), 0, ( , ) ( , ) ( ) ( )p x i j m i j i j E i i j j

( ) ( , ) t x y

( )t

Упрощающее предположение 2. Будем также предполагать,

что полезный сигнал (изображение) представляет собой

объединение областей, в которых сигнал принимает постоянные

значения (изображение типа “лоскутного одеяла”)

, ) 1 2(

.( , ) , ,..., , ,...,m n Лоскут

N

Nm n s s s

s

Упрощающее предположение 3. Будем предполагать, что

совместная плотность распределения вероятностей наблюдаемых

данных определяется совместной плотностью распределения

шума, т.е.

1 2 1 2, ,..., , ,...,N Np x x x p x x x

Более того, будем предполагать, что шум в во всех пикселях

действует независимо друг от друга, т.е.

1

1 2, ,...,

N

ii

Nx x xp p x

1 1 1 2 2 2

1 2

1

1

1

1 2

log log

log log

, ,...,

, , ...,

, ,...,

max max

экс экс экс

N N N

экс экс экс

N

opt

N

ii

Nэксi

i

Nэксi

i

N

Эксперимент

f f f

p x

L x

L x

L x

p x x x

x x x

L L x x x

L

L

1

Nэксi

i

2

2

( )

2X

2

1( | , )

2

x m

x m e

N

2

1 22

2

2

2

2

( )

2

1 1

( )

2

1

2 2

1 1

1 2

1

2

1

2

log ( ) log ( )

, ,...,

, ,...,

max min

i

экс экс экс

N N

opt

эксi

xN N

ii i

xN

i

N Nэкс эксi i

i i

N

const

p x e

e

x x

p x x x

L L x x x

L L

1

10log opt

Nэксi

iNxL

2 2

1 11 1

ˆ = ( )arg min arg minэкс

opt i

N N

ii i

x

R R

(1)эксx

(9)эксx

(5)эксx

(4)эксx

(3)эксx

(2)эксx (6)

эксx(8)эксx

(7)эксx

(1)эксx

(9)эксx

(5)эксx

(4)эксx(3)

эксx(2)эксx (6)

эксx(8)эксx

(7)эксx

29 ( )

28 ( )

24 ( )

27 ( )

26 ( )

21 ( )

22 ( )

23 ( )

29 ( )

28 ( )

27 ( )

26 ( )

25 ( )

23 ( )

22 ( )

21 ( )

1R

1R

1

1opt

Nэксi

iNx

+

+

+

+

1 2

2| |

1 1

2| |

1

1 1

1 2

2

2

log log

, ,...,

, ,...,

max min

N

N

экс экс экс

N

экс экс

i opt i

i

эксi

N N x

ii i

N x

i

N N

i i

N

const x x

p x e

e

p x x x

L L x x x

L L

?? ???log optL

2| |2

( | )x

p x e

1 11 1

ˆ = ( )arg min arg minэкс

opt i

N N

ii i

x

R R

(1)эксx

(9)эксx

(5)эксx

(4)эксx

(3)эксx

(2)эксx (6)

эксx(8)эксx

(7)эксx

(1)эксx

(9)эксx

(5)эксx

(4)эксx

(3)эксx

(2)эксx (6)

эксx(8)эксx

(7)эксx

9 ( )

8 ( )

4 ( )

7 ( )

6 ( )

1 ( )

2 ( )

3 ( )

9 ( )

8 ( )

7 ( )

6 ( )

5 ( )

3 ( )

2 ( )

1 ( )

1R

1R+

+

+

+

11 2 2, ,...,

ˆ arg min экс

quasiopt i

N

iэкс экс эксx x x

x

(1)эксx

(9)эксx

(5)эксx

(4)эксx

(3)эксx

(2)эксx

(8)эксx

(7)эксx

(1)эксx

(9)эксx

(5)эксx

(4)эксx(3)

эксx (2)эксx (6)

эксx(8)эксx

(7)эксx

9 ( )

8 ( )

4 ( )

7 ( )

6 ( )

1 ( )

2 ( )

3 ( )

9 ( )

8 ( )

7 ( )

6 ( )

5 ( )

2 ( )

1 ( )

1 2 2, ,...,quasiopt

экс экс эксx x x

= Med

1 2 2, ,...,экс экс эксx x x

1 2 2, ,...,экс экс эксx x x

Пусть - метрическое гиперспектральное пространство с

метрикой . Пусть N нормированных весов и

пусть - N экспериментальных данных

,KR

1 2, ,..., Nw w w1 2, ,..., N K x x x D R

Определение 1. Оптимальным взвешенным вектором (медианой)

Фреше, ассоциированным с метрикой , называется вектор

который минимизирует функцию стоимости Фреше

и формально определяется как

( )K K

opt med c R c R

1

,N

i

i

i

w

c x

1 2

1

, ,..., ,K

NN i

opt i

i

w

Rcc FrechVec x x x arg min c x =

1 2

1 2

, ,..., 1

ˆ , ,..., ,N

NN i

opt i

i

w

x x xc

c FrechMed x x x argmin c x=

1x2x

3x

4x

5x6x

R

G

B

1x2x

3x

4x

5x6x

R

G

B

1

ˆ arg min , k

N

opt iR

i

x

+

+

1x2x

3x

4x

5x6x

R

G

B

1x2x

3x

4x

5x6x

R

G

B

1 2

1

ˆ arg min , , ,...,ˆi

N

opt i Nx

i

quasioptx Med x x xμ

Сити метрика:

Евклидова (квадратичная) метрика:

Lp - метрика:

Расстояние по Колмогорову:

Max метрика:

Min метрика:

1

1

1( , ) ( , )

K

i i

i

x yN

x y x y x y

2

2 21

1( , ) ( , ) ( )

K

i i

i

x yN

x y x y x y

1

1( , ) ( , ) ( )

Kpp

p i ipi

x yN

x y x y x y

1 1

1

1( , ) ( , ) Kol (Kol( )) Kol ( Kol( ))

K

Kol i i

i

x yN

x y x y x y

1 1max( ) max( ,..., )k kx y x y x y

1 1min( ) min( ,..., )k kx y x y x y

Медианная псевдо-метрика (агрегация координат):

Ранговая псевдо-метрика (агрегация координат):

Все известные метрики имеют агрегированный тип, поэтому мы предлагаем использовать агрегационное расстояние вместо классического расстояния .

1 1med( ) med( ,..., )med k kx y x y x y

1 1( ) ( ,..., )rank k krank rank x y x y x y

Agg

1 2 1 2

1 2

1 2 1 2

1

... 1 2 ... 1 2

( , ,..., )

1( , ,..., ) ( , ,..., )

( , ,..., ) ( , ,...,N k

N

N

N N i

i

w w w N w w w

x x x

x x x x x x xN

x x x x x x

Aggreg

M

1. Арифметическое среднее

ean

2. Взвешенное ср

Arithm

Aggreg Mean

еднее

1 2 ... 1 2

1 1

1

)

1 ( , ,..., )

k

N

N N

iw w w N i i iNi i

i

i

x x x w x w x

w

Arithm

1 2 1 2

1

1 ( , ,..., ) ( , ,..., )

Npp

p N p N i

i

x x x x x x xN

Aggreg M

3. Степенные p - сре

e n

д

a

ние

1 2 1 2

1

1 2 1 2

1

( , ,..., ) ( , ,..., )

1 ( , ,..., ) ( , ,..., )

1

(

N

NGeo N Geo N i

i

Har k Har N N

i i

x x x x x x x

x x x x x x

x

x

4. Геометрическое среднее

5. Гармоническое среднее

6. Min-, Max - средние

Aggreg Mean

Aggreg Mean

Aggreg 1 2 1 2

1 2 1 2

1 2 1 2

1 2 1 2

, ,..., ) ( , ,..., )

( , ,..., ) ( , ,..., )

( , ,..., ) ( , ,..., )

( , ,..., ) ( , ,..., )

N N

N N

Med N N

N N

x x x x x

x x x x x x

x x x x x x

x x x x x x

Min

Aggreg Max

Aggreg Med

Aggr

7. Mедиа

x

на

eg Ma

11 2 1 2

1

1

( , ,..., ) ( , ,..., )N

iN NKol Koli

x x x x x x K K xN

9. Среднее по Колмогорову

Aggreg Mean

maxx

Физическая шкалаФизическая шкала

maxK x

Шкала Комогорова

maxx

minx

minK xminx

K

1K

Agg

Frechet Cost Function Metric

Aggregation functionAggregation function

costAgg

...

... ... ... ...

...

...

...

cos

1

tAgg

...

cos

2

tAgg

cost

nAgg

1Agg

2Agg

mAgg

cos ,

11

tAgg

cos ,

21

tAgg

cos ,

1

t

nAgg

cos ,

12

tAgg

cos ,

22

tAgg

cos ,

2

t

nAgg

cos ,

1

t

mAgg

cos ,

2

t

mAgg

cos ,t

nmAgg

cos tAgg

Agg

costAgg

Mean

Med

Min

Geo

Agg

2

2,meanGenVectAgg

2,medGenVectAgg

2,minGenVectAgg

2geo,GenVectAgg

0 1 2( , )p x x 1 9( , )p x x

0

0

1x 2x 9x

2x

9x

...

... ... ... ... ...

2 1( , )p x x 2 9( , )p x x

9 1( , )p x x 9 2( , )p x x ...

...

...

1x 9

1

1

, q

p i

i

x x

9

2

1

, q

p i

i

x x

9

2

1

, q

p i

i

x x

1

min ,N

q

p i j

i

x x

Векторные медианные фильтры,

ассоциированные с метрикой Lp и

усредняющей стоимостной функцией

0 1 2( , )p x x 1 9( , )p x x

0

0

1x 2x 9x

2x

9x

...

... ... ... ... ...

2 1( , )p x x 2 9( , )p x x

9 1( , )p x x 9 2( , )p x x ...

...

...

1x 1, q

p iMed x x

min ,q

p i jMed x x

Векторные медианные фильтры,

ассоциированные с метрикой Lp и

медианной стоимостной функцией

2 , q

p iMed x x

9 , q

p iMed x x

0 1 2( , )p x x 1 9( , )p x x

0

0

1x 2x 9x

2x

9x

...

... ... ... ... ...

2 1( , )p x x 2 9( , )p x x

9 1( , )p x x 9 2( , )p x x ...

...

...

1x 1, q

p iMin x x

Векторные медианные фильтры,

ассоциированные с метрикой Lp и

Min-стоимостной функцией

2 , q

p iMin x x

9 , q

p iMin x x

min ,q

p i jMin x x

Векторные медианные фильтры

а) Original image b) Noised images, PSNR = 21.83cos

2, tAgg Agg Mean

PSNR = 32.524

cos

2, tAgg Agg Med

PSNR = 31.788

cos

2, tAgg Agg Min

PSNR = 28.293

cos

2, tAgg Agg Geo

PSNR = 30.517

Fig. 1. Noise: “Salt-Peper”. Denoised images (c)-(f)

c)

d) e) f)

Векторные медианные фильтры

а) Original image b) Noised images, PSNR = 28.24cos

2, tAgg Agg Mean

PSNR = 30.68

cos

2, tAgg Agg Med

PSNR = 29.61

cos

2, tAgg Agg Min

PSNR = 27.77

cos

2, tAgg Agg Geo

PSNR = 30.14

Fig. 3. Noise: “Laplacian PDF”. Denoised images (c)-(f)

c)

d) e) f)

Векторные медианные фильтры

а) Original image b) Noised images, PSNR = 17.18cos

2, tAgg Agg Mean

PSNR = 21.83

cos

2, tAgg Agg Med

PSNR = 20.84

cos

2, tAgg Agg Min

PSNR = 19.04

cos

2, tAgg Agg Geo

PSNR = 20.50

Fig. 3. Noise: “Gaussian PDF”. Denoised images (c)-(f)

c)

d) e) f)

Векторные медианные фильтры

b) Noised images, PSNR = 17.18

“Gaussian PDF”

cos

2, tAgg Agg Mean

PSNR = 21.83

Noised images, PSNR = 28.24

cos

2, tAgg Agg Mean

PSNR = 30.68

“Laplacian PDF”

Noised images, PSNR = 21.83c)

cos

2, tAgg Agg Mean

PSNR = 32.524

“Salt-Peper”

ВОПРОСЫ

1 2

1

ˆ arg min , , ,.. ,ˆ .N

opt i N

i

quasioptx Med x xμ x

0 1 2( , )p x x 1 9( , )p x x

0

0

1x 2x 9x

2x

9x

...

... ... ... ... ...

2 1( , )p x x 2 9( , )p x x

9 1( , )p x x 9 2( , )p x x ...

...

...

1x 9

1

1

, p i

i

x x

9

2

1

, p i

i

x x

9

2

1

, p i

i

x x

1

min ,N

p i j

i

x x

Векторные медианные фильтры,

ассоциированные с метрикой Lp и

усредняющей стоимостной функцией

Что есть агрегационный оператор?

1 2

1 2

1

11.

= ( , ,..., )

( , ,..., )

N

N

N

ii

xN

x x x

x x x

x

Arithm

Mean

1 22. ( , ,..., )Nx x x xMed

minx

maxx

Mean

Med

min maxx x x

1 2( , ,..., )Nx x x x

1 2( , ,..., )Nx x x y x Aggreg

Основные свойства АО

1) ( )

2) (0,...,0) 0 and (1,...,1) 1,

3) ( ,..., ) ( ,..., ),

если ( ,..., ) ( ,..., ).

l n l n

l n l n

y x x

y

y x x y y

x x y y

Aggreg

Aggreg Aggreg

Aggreg Aggreg

Основные ограничения:

1 2 1 2 2

1 2 1 2

11) min( , ,..., ) ( , ,.

( , ,..., ) ( , ,..

.., ) max( , ,..., )

2) ., )

n n n

n nx m x m x m A

x x x x x x x x

m x x

x

x

Aggreg A

Aggreg

ggreg

Дополнительные ограничения:

0 1 2( , )p x x 1 9( , )p x x

0

0

1x 2x 9x

2x

9x

...

... ... ... ... ...

2 1( , )p x x 2 9( , )p x x

9 1( , )p x x 9 2( , )p x x ...

...

...

1x 9

91

1

, p i

i

x x

Векторные медианные фильтры,

ассоциированные с метрикой Lp и

Geo-стоимостной функцией

9

9

1

min , p i j

i

x x

9

92

1

, p i

i

x x

9

99

1

, p i

i

x x

Экспериментальная часть

𝑓𝑀𝑐𝑜𝑙 𝑥 = 𝑆𝑀𝑐𝑜𝑙 𝑥 + 𝜂𝑀𝑐𝑜𝑙(𝑥), где

𝑆𝑀𝑐𝑜𝑙 𝑥 = 𝑠1 𝑥 , 𝑠2 𝑥 , … , 𝑠𝑘 𝑥 - оригинал k-канального изображения, 𝜂𝑀𝑐𝑜𝑙 𝑥 =(𝜂1 𝑥 , 𝜂2 𝑥 , … , 𝜂𝑘(𝑥)) - k-канальный шум, 𝑓𝑀𝑐𝑜𝑙 𝑥 =(𝑓1 𝑥 , 𝑓2 𝑥 , … , 𝑓𝑘 𝑥 ) – искаженное изображение, полученное воздействием шума 𝜂𝑀𝑐𝑜𝑙 𝑥 на изображение 𝑆𝑀𝑐𝑜𝑙 𝑥 .

𝑥 = (𝑖, 𝑗) ∈ 𝑍2 – это двухмерное пространство, которое принадлежит к области изображения и представляет собой местоположение пикселей.

Общая схема фильтрации

𝑀 𝑖,𝑗 (𝑚, 𝑛)𝑚=−𝑟,𝑛=−𝑟

𝑚=+𝑟,𝑛=+𝑟- квадратное окно размером

N= 2 ∙ 𝑟 + 1 ∙ 2 ∙ 𝑟 + 1 .

𝑆𝑀𝑐𝑜𝑙 𝑖, 𝑗 = 𝑀𝑒𝑎𝑛(𝑚,𝑛)∈𝑀(𝑖,𝑗)

{ 𝑓𝑀𝑐𝑜𝑙(𝑚, 𝑛)},

где 𝑆𝑀𝑐𝑜𝑙 𝑖, 𝑗 – это отфильтрованное изображение

{ 𝑓𝑀𝑐𝑜𝑙(𝑚, 𝑛)}(𝑚,𝑛)∈𝑀(𝑖,𝑗)– это блок изображения

фиксированного размера N, извлеченного из 𝑓𝑀𝑐𝑜𝑙, перемещая окно M(i,j) в позицию (i,j)