Rastreo - Lección 31

IntroduccionRastreador de desplazamiento de medias

Rastreador MOSSE

RastreoLeccion 31

Dr. Pablo Alvarado Moya

CE5201 Procesamiento y Analisis de Imagenes DigitalesArea de Ingenierıa en Computadores

Tecnologico de Costa Rica

I Semestre, 2017

P. Alvarado — TEC — 2017 Rastreo 1 / 40


Rastreador MOSSE

Contenido

1 Introduccion

2 Rastreador de desplazamiento de mediasDesplazamiento de mediasCoeficiente de Bhattacharyya y modelos de densidadRastreo con desplazamiento de medias

3 Rastreador MOSSEFiltros de correlacionPreprocesamientoFiltros MOSSE



Rastreador MOSSE

Rastreadores



Rastreador MOSSE

Rastreo

Rastreo (tracking): proceso de localizar un objeto/region en elespacio y tiempo.

Necesita secuencia de imagenes (vıdeo)

Usos:

Interaccion humano-maquinaSeguridad y vigilanciaCompresionRealidad aumentadaControl de traficoImagenes medicas y biologicasEdicion de videoVisual servoing

Puede rastrearse uno o varios objetos


https://youtu.be/InqV34BcheM?t=7s

https://youtu.be/Y9HMn6bd-v8?t=4s

https://youtu.be/SLYgvHzAm2w

https://www.youtube.com/watch?v=M413lLWvrbI


Rastreador MOSSE

Desplazamiento de mediasCoeficiente de Bhattacharyya y modelos de densidadRastreo con desplazamiento de medias

Rastreador dedesplazamiento de medias



Rastreador MOSSE


Desplazamiento de medias (1)Mean-shift

Procedimiento de desplazamiento de medias se uso ensegmentacion

Permite encontrar modas de funcion de densidad probabilıstica

Sea {xi}i=1...n un conjunto de n puntos d-dimensionales

La densidad estimada con el kernel K (x) para el punto x es

f (x) =1

nhd

n∑i=1

K

(x− xih

)con h el ancho de banda (radio de la ventana)



Rastreador MOSSE



0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 1

Ca

ract.

2

Caract. 1

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 1

Ca

ract.

2

Caract. 1

Si se minimiza el error global entre la estimacion y la densidadverdadera, se obtiene el kernel de Epanechnikov

KE (x) =

{1

2cd(d + 2)(1− ‖x‖2) si ‖x‖ < 1

0 en otro caso

con cd el volumen de la hiperesfera unitaria d-dimensional



Rastreador MOSSE



Otro kernel muy usado es el normal

KN(x) = (2π)−d/2 exp

(−1

2‖x‖)



Rastreador MOSSE


Perfil de kernel

Los kernel se pueden definir radialmente con perfiles

k : [0,∞)→ R K (x) = k(‖x‖2)

‖x‖

k(‖x‖2)

kE : EpanechnikovkN : Normal

Estimacion de densidad se reexpresa entonces como

fK (x) =1

nhd

n∑i=1

k

(∥∥∥∥x− xih

∥∥∥∥2)



Rastreador MOSSE


Estimacion de gradiente de densidad (1)

Suponemos que el gradiente de la densidad se puede calcularcon el gradiente de la estimacion de la densidad:

∇fK (x) ≡ ∇fK (x) =2

nhd+2

n∑i=1

(x− xi )k′

(∥∥∥∥x− xih

∥∥∥∥2)

=2

nhd+2

n∑i=1

(xi − x)g

(∥∥∥∥x− xih

∥∥∥∥2)

donde g(x) = −k ′(x)

∇fK (x) =2

nhd+2

[n∑

i=1

g

(∥∥∥∥x− xih

∥∥∥∥2)]

∑ni=1 xig

(∥∥∥x−xih

∥∥∥2)

∑ni=1 g

(∥∥∥x−xih

∥∥∥2) − x



Rastreador MOSSE



∇fK (x) =2

nhd+2

[n∑

i=1

g

(∥∥∥∥x− xih

∥∥∥∥2)]

︸︷︷︸fG (x) 2/C

h2

∑n

i=1 xig

(∥∥∥x−xih

∥∥∥2)

∑ni=1 g

(∥∥∥x−xih

∥∥∥2) − x

︸︷︷︸

Mh,G (x)

con

Mh,G (x) el vector de desplazamiento de media

fG (x) 2/Ch2 el estimado de densidad en x usando el kernel

G (x) = Cg(‖x‖2) = −Ck ′(‖x‖2)

y C una constante de normalizacion.



Rastreador MOSSE



De lo anterior se deriva:

Mh,G (x) =h2

2/C

∇fK (x)

fG (x)

lo que indica que el vector de desplazamiento de mediasobtenido con el kernel G es un estimado del gradiente dedensidad normalizado, estimado con el kernel K .



Rastreador MOSSE


Procedimiento de desplazamiento de medias

El procedimiento de desplazamiento de medias calcula elvector de desplazamiento Mh,G (x) y traslada el centro delkernel G por Mh,G (x)

Sea {yj}j=1,2... la sucesion de posiciones del kernel G

yj+1

=

∑ni=1 xig

(∥∥∥yj−xih

∥∥∥2)

∑ni=1 g

(∥∥∥ yj−xih

∥∥∥2)

Si el kernel K tiene un perfil convexo y monotonicamentedecreciente, entonces la secuencia de y

jconverge.



Rastreador MOSSE


Problema de rastreo

En segmentacion, aplicamos el desplazamiento de medias apuntos en (L, u, v , x , y)

¿Que usamos para el rastreo?

Se busca posicion y en la imagen actual cuya distribucion decolores se parezca lo mas posible a la distribucion meta

Sea

z la caracterıstica del pixel (color, textura, etc.)qz la funcion de densidad de z del modelo (histogramanormalizado)pz(y) la funcion de densidad centrada en y para un candidato



Rastreador MOSSE


Error de clasificacion

Enfoque como problema de clasificacion (invertido)

Error de clasificacion depende de similitud de distribuciones

1 2 3 4 5 6

0,1

0,2

0,3

0,4

Se busca entonces maximizar el error de Bayes asociado a lasdistribuciones de modelo y de candidato

Supuesto: la meta tiene la misma probabilidad de desplazarseen vecindario alrededor de y



Rastreador MOSSE


Coeficiente de Bhattacharyya

Coeficiente de Bhattacharyya esta relacionado con error deBayes:

ρ(y) ≡ ρ[p(y), q] =

∫ √pz(y)qz dz

Se usa ρ(y) para comparar estimaciones de las distribucionespor medio de histogramas con m celdas:

ρ(y) =m∑

u=1

√pu(y)qu

Histogramas no son la mejor estimacion no-parametrica, peroson rapidos de calcular

La distancia entre dos distribuciones se puede definir como:

d(y) =√

1− ρ[p(y), q]



Rastreador MOSSE


Calculo del modelo meta

Modelo meta corresponde a ventana a rastrearCada posicion de ventana rastreada tiene un peso menorconforme se alejan del centroSean

{x∗i }i=1...n las posiciones de modelo meta, centrado en 0b : IR2 → {1 . . .m} mapeo de posicion en ventana a ındice decelda del histograma correspondiente al color del pixelk un perfil de kernel decreciente, monotonico, convexo ynormalizado a ventana del modelo

Entonces el modelo meta se calcula con:

qu = Cn∑

i=1

k(‖x∗i ‖2)δ[b(x∗i )− u]

C =1∑n

i=1 k(‖x∗i ‖2)para que

m∑u=1

qu = 1



Rastreador MOSSE


Calculo de candidatos

La estimacion del modelo de un candidato es:

pu(y) = Ch

nh∑i=1

k

(∥∥∥∥y − xih

∥∥∥∥2)δ[b(xi )− u]

Ch =1∑nh

i=1 k

(∥∥∥y−xih

∥∥∥2) para que

m∑u=1

pu = 1

con

{xi}i=1...nh las posiciones de los pıxeles de la ventana candidatay el centro de la ventana candidatak el mismo kernel usado por el modelo meta pero con radio hCh constante de normalizacion



Rastreador MOSSE


Minimizacion de distancia (1)

Posicion y mas probable es aquella que minimiza

d(y) =√

1− ρ[p(y), q]

Eso es equivalente a maximizar el coeficiente deBhattacharyya ρ(y)

La busqueda en cuadro actual inicia en la posicion y0

estimada en el cuadro anterior

Primero se estiman las probabilidades de color {pu(y0)}u=1...m



Rastreador MOSSE



Usando series de Taylor, el coeficiente se aproxima para y con

ρ[p(y), q] ≈ 1

2

m∑u=1

√pu(y

0)qu +

1

2

m∑u=1

pu(y)

√qu

pu(y0)

valido si la distribucion {pu(y)}u=1...m no cambia muchorespecto a y

0

Introduciendo la estimacion de pu(y)

pu(y) = Ch

nh∑i=1

k

(∥∥∥∥y − xih

∥∥∥∥2)δ[b(xi )− u]

en la aproximacion del coeficiente de Bhattacharyya se obtiene



Rastreador MOSSE



ρ[p(y), q] ≈ 1

2

m∑u=1

√pu(y

0)qu +

Ch

2

nh∑i=1

wik

(∥∥∥∥y − xih

∥∥∥∥2)

con

wi =m∑

u=1

δ[b(xi )− u]

√qu

pu(y0)

El segundo termino debe ser maximizado para minimizar ladistancia

El segundo termino representa el estimado de densidad usandoel perfil de kernel k en y en la imagen actual con pesos wi

Maximizacion se puede hacer eficientemente condesplazamiento de medias



Rastreador MOSSE


Maximizacion del coeficiente de Bhattacharyya (1)

Dada la distribucion {qu}u=1...m del modelo meta y la posiconestimada y

0de la imagen anterior:

1 Inicialice posicion en imagen actual con y0, calcule la

distribucion {pu(y0)}u=1...m y evalue

ρ[p(y0), q] =

m∑u=1

√pu(y

0)qu

2 Calcule los pesos wi con

wi =m∑

u=1

δ[b(xi )− u]

√qu

pu(y0)



Rastreador MOSSE



3 Con el vector de desplazamiento de medias, calcule lasiguiente posicion

y1

=

∑nhi=1 xiwig

(∥∥∥∥ y0− xih

∥∥∥∥2)

∑nhi=1 wig

(∥∥∥∥ y0− xih

∥∥∥∥2)

Actualice {pu(y1)}u=1...m y evalue

ρ[p(y1), q] =

m∑u=1

√pu(y

1)qu



Rastreador MOSSE



4 Mientras que ρ[p(y1), q] < ρ[p(y

0), q]

fuerce y1← 1

2

(y

0+ y

1

)5 Si ‖y

1− y

0‖ < ε pare

De otro modo: y0→ y

1y regrese a 1.

El paso 4. valida la nueva posicion y asegura que el coeficientede Bhattacharyya se incremente

Solo 0, 1 % de las maximizaciones requieren paso 4

Umbral ε se elige de modo que y0

y y1

esten en mismo pixel

Rastreo repite el proceso para la sucesion de imagenes



Rastreador MOSSE


Adaptacion de la escala

Si objetos se alejan o acercan tamano de ventana debeajustarse

El radio h del perfil del kernel se puede ajustar en un rango

Artıculo original varia h en ±10 %

Se elije el nuevo radio que produce el mayor decremento dedistancia

Un filtro IIR se usa para combinar radios anteriores y actual



Rastreador MOSSE


Ejemplos

Ejemplos


https://youtu.be/RG5uV_h50b0


Rastreador MOSSE

Filtros de correlacionPreprocesamientoFiltros MOSSE

Rastreador MOSSE



Rastreador MOSSE


Rastreador MOSSEFiltro MOSSE

Rastreador MOSSE pertenece a los filtros adaptativos decorrelacion

Propuesto por David S. Bolme y otros (Colorado StateUniversity) en IEEE CVPR 2010

Algoritmo moderno mas rapido comparado a esquema anterior

MOSSE: Minimum Output Sum of Squared Error

Filtros de correlacion estables aun inicializados con una solaimagen



Rastreador MOSSE


Rastreo con correlacion

Metodo ingenuo de correlacion: correlacion directa conventana a rastrear

Este metodo produce respuestas falsas en el fondoNo es robusto a variaciones en la aparienciaPierde el objeto facilmente

Idea es sintetizar otros tipos de filtros robustos ante cambiosde apariencia y con mayor discriminancia entre fondo y objeto

Metodo MOSSE es robusto a rotacion, escala, iluminacion yocultamiento parcial

Metodos de deteccion ASEF y UMACE necesitaban unengorroso proceso de entrenamiento y no sirven entonces pararastreo



Rastreador MOSSE


Rastreadores basados en filtros

El “blanco” se escoge en la primera imagen con una ventanacentrada en el objeto a rastrear

De ahı en adelante el rastreo y el entrenamiento del filtrotrabajan juntos

El blanco se rastrea correlacionando el filtro en una ventanade busqueda en imagen siguiente

El pico de correlacion indicara nueva posicion del blanco

El filtro se actualiza usando la informacion de la nuevaposicion

La correlacion se calcula en el dominio de frecuencia



Rastreador MOSSE


Respuestas de filtros de correlacion



Rastreador MOSSE


Razon pico a lobulo lateral

La razon pico a lobulo lateral (PSR, peak-to-sidelobe ratio)permite detectar oclusiones o fallas de rastreo.

Si PSR es bajo, proceso de actualizacion de modelo rastreadoen lınea puede detenerse para reasumir en una reaparicion



Rastreador MOSSE


Preprocesamiento

La convolucion rapida (en dominio de frecuencia) ocurre bajoefectos de simetrıa toroidal

Posible solucion: utilizar rellenado de ceros (padding)

Otra solucion: enventanar

En el caso de MOSSE

Se aplica funcion log para ayudar en situaciones de iluminacionpobreSe normalizan los valores de pıxeles para tener media 0 ynorma 1Se multiplica la ventana con ventana cosenoidal que reducevalores en bordes a cero (funcion similar a kernel k en metodode desplazamiento de medias)



Rastreador MOSSE


Filtros MOSSE (1)

La correlacion en el espacio es igual a la convolucion con elkernel reflejado

Sea

f la imagen de entrada y F = F {f }h el filtro y H = F {h}

Por la simetrıas toroidal y hermıtica, y con las propiedades dela DFT

g(x , y) = f (x , y)∗h(−x ,−y)� G (ωx , ωy ) = F (ωx , ωy )H∗(ωx , ωy )

Asumase un conjunto de imagenes de entrenamiento fi y desalidas gi

Para gi� Gi tomese un impulso gaussiano centrado en elblanco de la imagen de entrenamiento fi� Fi



Rastreador MOSSE


Filtros MOSSE (2)

Ası, se puede calcular el filtro con:

Hi∗ =

Gi

Fi

Para mapear las entradas a las salidas, MOSSE encuentra elfiltro H que minimiza la suma de los cuadrados de erroresentre la salida real y la salida deseada:

mınH∗

∑i

|FiH∗ − Gi |2



Rastreador MOSSE


Filtros MOSSE (3)

Eso se deriva e iguala a cero para cada componentefrecuencial:

∂

∂H∗(ωx , ωy )

∑i

|Fi (ωx , ωy )H∗(ωx , ωy )− Gi (ωx , ωy )|2 = 0

lo que resulta en el filtro MOSSE

H∗ =

∑i GiFi

∗∑i FiFi

∗ =

∑i GiFi

∗∑i ‖Fi‖2

El numerador es la correlacion entre entrada y salida deseada

El denominador es el espectro de energıa de la entrada

Para producir las imagenes de entrenamiento se usantransformaciones afines aleatorias de la ventana a rastrear enla imagen inicial



Rastreador MOSSE


Filtros MOSSE (4)

Durante el rastreo se utiliza un filtro IIR paso-bajo de primerorden para actualizar el filtro de la siguiente forma:

Hi∗ =

Ai

Bi

Ai = ηGiFi∗ + (1− η)Ai−1

Bi = ηFiFi∗ + (1− η)Bi−1

donde η ajusta la posicion del polo.

Los autores recomiendan η = 0,125

Metodo de ajuste no puede lidear con rotaciones en 3D queexpongan el fondo, porque lo aprende



Rastreador MOSSE


Ejemplo:

Ejemplo 1Ejemplo 2


https://youtu.be/Wx3o354xazU

https://youtu.be/xYVD7IKcLgQ


Rastreador MOSSE


Resumen

1 Introduccion

2 Rastreador de desplazamiento de mediasDesplazamiento de mediasCoeficiente de Bhattacharyya y modelos de densidadRastreo con desplazamiento de medias

3 Rastreador MOSSEFiltros de correlacionPreprocesamientoFiltros MOSSE



Rastreador MOSSE


Este documento ha sido elaborado con software libre incluyendo LATEX, Beamer, GNUPlot, GNU/Octave, XFig,Inkscape, LTI-Lib-2, GNU-Make, Kazam, Xournal y Subversion en GNU/Linux

Este trabajo se encuentra bajo una Licencia Creative Commons Atribucion-NoComercial-LicenciarIgual 3.0 Unpor-ted. Para ver una copia de esta Licencia, visite http://creativecommons.org/licenses/by-nc-sa/3.0/ o envıeuna carta a Creative Commons, 444 Castro Street, Suite 900, Mountain View, California, 94041, USA.

© 2017 Pablo Alvarado-Moya Escuela de Ingenierıa Electronica Instituto Tecnologico de Costa Rica


http://creativecommons.org/licenses/by-nc-sa/3.0/

Rastreo - Lección 31

Documents

Transcript of Rastreo - Lección 31