http://vision.fe.uni-lj.si/

Strojni vid

Stanislav Kovačič

Univerza v Ljubljani

Fakulteta za elektrotehniko

Analiza gibanja

Laboratorij za slikovne tehnologije

Analiza gibanja, ....Analiza gibanja, ....

• Detekcija, sledenje, analiza, ....• Področja uporabe, ....• Pristopi, ....• Sledenje s Kalmanovim filtrom (Matej Perše)• Analiza športnih dogodkov (Janez Perš)

Detekcija,sledenje,analiza,...Detekcija,sledenje,analiza,...

• Detekcija (zaznavanje) (Angl. Motion detection)

kje se objekt zanimanja nahaja v sliki

• Sledenje (Angl. (Motion) Tracking)

kje se objekt zanimanja nahaja v zaporedju slik

• Analiza (kvalitativna, kvantitativna) (Angl. Motion Analysis)

kaj se z objektom zanimanja dogaja

• Razpoznavanje (Angl. Recognition) kaj objekt zanimanja je

• Razumevanje (Angl. Understanding)

kakšen je pomen

Področja uporabePodročja uporabe

• Prometni sistemi

• Nadzorni (varnostni) sistemi

• Uporabniški vmesniki

• Šport

• ....

Prometni sistemi

• Samostojno vozilo (navigacija, ....)

• Podpora vozniku (zaznavanje pešcev, ...)

• Nadzor prometa (gostota, zastoji, ...)

Samostojno vozilo

Ernst Dickmanns, Universität der Bundeswehr München, 1999.

Podpora vozniku

D. M. Gavrila, DaimlerChrysler Research, Ulm, Germany, 1999-

Primerjnaje s predlogo in ‘distančni transform’, od grobega k finejšemu.

Nadzor prometa

J. Malik et al., Computer Vision Group, University of California, Berkeley, ~ 1996

Nadzorni (varnostni) sistemi

D. Hogg, School of Computing, University of Leeds, UK, ~ 1998.

Uporabniški vmesniki

D. Gorodnichy, Computational Video Group National Research Council of Canada, 2002.

Analiza športnih dogodkov

• Raziskave na področju športa

• Pomoč trenerjem

• Obogatitev športnih prenosov,

priprava novic, arhiviranje

Športni dogodki

I. Lesjak, A. Leonardis, LRV, FRI, UNI-LJ, 2001.

Športni dogodki

I. Lesjak, A. Leonardis, LRV, FRI, UNI-LJ, 2001.

Športni dogodki

J. Perš, G. Vučkovič, FE, FŠ, UNI-LJ, 2001

Analiza gibanja

• V računalniškem vidu skušamo na podlagi zaporedja

slik iz ene (ali več) kamer sklepati na gibanje

objektov v prostoru. • Slika se kot posledica gibanja objektov v

prostoru s časom spreminja in • z analizo teh sprememb skušamo sklepati na

gibanje objektov.• Op.:

• Stacionarna kamera, gibljiv prizor• Gibljiva kamera, stacionaren prizor• Gibljiva kamera, gibljiv prizor

Analiza gibanja – streo vid

• Problematika analize gibanja (zaporedja slik) ima

precej skupnega s stereo vidom. • V obeh primerih gre za iskanje korespondence med

dvema podobnima slikama.• V primeru časovnega zaporedja slik je ta razlika

običajno majhna – primerjanje je manj zahtevno.• So pa disparitete slik bolj svobodne.

Pristopi

• Diferenčne metode• Odštevanje ozadja • Odštevanje (zaporednih) slik• Optični tok (in polje gibanja)

• Primerjalne metode (podobno kot stereo)• Primerjanje – sledenje področij• Primerjanje - sledenje značilnosti• Prilagodljivi modeli (‘kače’)• Kalmanov filter• ....

Čas do “dotika”

• Gibljivi vizualni vzorci vsebujejo veliko količino informacije.• Že samo na podlagi slike se da ugotoviti čas do dotika (trčenja)

(Angl. Time to Impact, Time to Collison).

Slikovna

ravnina

XX

Z0

Z = Z0 - v . tf

x0

x

V

Zτ0τVZZ 0

0

(t)x

x(t)τ,

τ

1

Z

V x(t)(t)Z

(t)Z

Xf(t)x,

Z(t)

Xfx(t)

2

v

PP

p

Polje gibanja

• Polje gibanja (angl. Motion Field) je 2D upodobitev polja

(vektorjev) hitrosti gibanja (Angl. Velocity Field) v prizoru.

Slikovna

ravnina

Zf

2Z

Z

PV - VZ f v p ,

Z

Pf p P,ωTV

P

p

V

Translatorna

hitrost

Kotna

hitrost

v

Vektor

hitrosti

Vektor

gibanja

Optični tok (angl. Optical Flow)

• Časovne spremembe svetlosti slike imenujemo

‘optični tok’ (Angl. Optical Flow).• Na podlagi optičnega toka skušamo sklepati na

gibanje objekov.• Optični tok pove veliko o polju gibanja in

polju hitrosti,• Vendar so svetlostne spremembe v sliki

posledica tudi drugih učinkov, ne le gibanja.

Enačba optičnega toka

t

tyx

E - vE

E- yE xE

0 δt

δE

t

y

δy

δE

t

x

δx

δE

0 t δt

δE y

δy

δE x

δx

δE

t)y, E(x, t δt

δE y

δy

δE x

δx

δE t)y, E(x,

t)y, E(x, t) t y, y x, E(x

T

x+x

y

x

y+y

E(x+x,y+y,t+t)

E(x,y,t)

Časovna

sprememba

svetlosti

Svetlostni

gradient

Optični tok – problem reže

• Koliko nam enačba optičnega toka pove o polju gibanja?

• Določiti se da samo komponento hitrosti v smeri svetlostnega

gradienta• Pojav je znan kot ‘problem reže’

(angl. Aperture problem).

tE - vE T

Optični tok

• Računanje optičnega toka je zelo občutljivo na šum.• Priporočljivo je (predhodno) filtriranje z nizkopasovnim (na

primer Gaussovim) filtrom. • Lahko pa operacijo filtriranja in odvajanja kar združimo, t.j.

filtriramo z odvodom Gaussa.

E G )E(G E

• Smiselna je tudi naslednja predpostavka:

polje gibanja se počasi spreminja

(je konstantno v majhni okolici izbrane točke).• Torej lahko za vse točke (slikovne elemente) v majhni okolici

določimo skupen (povprečen) vektor polja gibanja.

Optični tok

• Za vsako točko pi v majhni okolici, t.j. ‘oknu’ velikosti N x N

lahko zapišemo:

0E vE t(i)(i)

T

• Iščemo v, ki minimizira srednjo kvadratno odstopanje:

2p

t(i)(i)

i

E vE e(v) T

• Za vsako točko v oknu izračunamo svetlostni gradient in

časovni odvod ter izračunamo optimalni v.• To naredimo za vse točke v sliki ?

Optični tok

• Minimizacija

• pomeni rešiti enačbo

2p

tii

i

)E(p v)E(p e(v) T

bA A vA TT

)E(p

)E(p

)E(p

A

NxN

2

1

)(pE

)(pE

)(pE

b

NxNt

2t

1t

Še o optičnem toku

2yyx

yx2xT

EEE

EEE A A

T

2

1TT Mλ0

0λMMMAA

• ‘Dobre’ sledilne točke so tiste z velikima

lastnima vrednostima.

‘Detektor oglišč’

Optični tok – primer rezultata

J. Perš, LST, FE, UNI-LJ, 2003.

(A. Jepson, M. Black, University of Toronto, 1993)

Optični tok – polje gibanja

• Optični tok je dobra aproksimacija polja gibanja:• v primeru Lambertovih površin,• majhnih fotometričnih distorzij,• oddaljenega točkovnega svetila,• na mestih z velikim svetlostnim gradientom.

Toge predloge

Janez Perš, FE, UNI-LJ, 1999.

Deformabilni modeliDeformabilni modeli

• Krivulji v(s)=(x(s),y(s)), s [0,1] pripada energijski funkcional:

1

0

)( dssEsEE extint vvv

2

2

22)()(

2

1

s

ss

s

sssEint

vvv

0)(

)()(

)(4

4

2

2

sPs

ss

s

ss v

vv

•Minimum energijskega funkcionala poiščemo

z rešitvijo Eulerjeve diferencialne enačbe:

• Aktivni modeli krivulj (kače) (Kass, Witkin):

Krivuljo položimo na slikovno ravnino, kot da je elastična

in jo prilagodimo na vsebino slike.

Elastični model krivulje

Diskretna oblika kačeDiskretna oblika kače

.0

222

21

1

2121

1121221

2

11

1

i

iiii

iiii

iiii

iii

iii

P

hhhh

hhh

v

vvvvvvvvv

vvvv

0)( vAv P

Z diskretizacijo po metodi končnih deiferenc (za i-to točko krivulje):

Vektor diskretnih točk krivulje

Matrika prožnosti (model krivulje)

‘Privlačno’ polje, ki ga generira slika

Deformabilni modeli

J. Denzler, H. Niemann, Institut für Informatik, UNI-Erlangen-Nürenberg, ~1997.

Aktivni modeli krivulj (Angl. Active contours models) “Snakes”.

Kalmanov filter (R.E.Kalman 1960)

• Kalmanov filter je danes osnovno orodje, ki se na

področju računalniškega vida uporablja za sledenje

objektov v povezavi z najrazličnejšimi drugimi pristopi.

• Kalmanov filter s stališča sledenja pomaga oceniti nov položaj

gibajočega se objekta (značilne točke) in negotovost položaja, • to je napove kje iskati objekt v naslednji sliki in• kolikšno naj bo področje iskanja (pregledovanja).

• Rešuje probleme v zvezi z • mankajočo informacijo,• nepopolno informacijo,• moteno informacijo.

Analiza športnih dogodkov

• Začetki 1998 • ..... • Komercialni projekt , 2004 –

Sledenje - rezultat