Digitális képelemzés alapveto algoritmusai

Csetverikov Dmitrij

Eötvös Lóránd Egyetem, Budapestcsetverikov@sztaki.hu

http://vision.sztaki.hu

Informatikai Kar

Köszönetnyilványítás

A kurzus megírásában az alábbi munkatársaim segítettek:

Verestóy Judit

Lerch Attila

Szabó Zsolt

A kurzus témái

Képelemzés feladatai és alkalmazásai

Képszurés

Megfeleltetés és mintaillesztés

Élek és sarkok detektálása

Képküszöbölés

Vázreprezentációk és távolság-transzformáció

Morfológiai képfeldolgozás

Alakelemzés

Képelemzés és képszurés alapfogalmai

1 BevezetésAlapfogalmakKépelemzés tipikus alkalmazásaiKépek és feladatok példáiKépelemzés és felismerés fázisai

2 KépszurésKorreláció és konvolúció

3 Irodalom

Alapfogalmak

terület bemenet kimenetképfeldolgozás képek feldolgozott képekképelemzés képek képleírásokalakfelismerés képleírások objektum osztályokszámítógépes látás képek 3D-s modellek

Képek: kép, képhalmaz, vagy video

Számítógépes látás: képfeldolgozás, képelemzés,alakfelismerés

Számítógépes grafika és képelemzés

DescriptionImage

Image Processing

Graphics

Image Analysis

Számítógépes grafika: matematikai modellbol képdirekt probléma, szintézis

Képelemzés: képbol matematikai modellinverz probléma, analízisbonyolultabb

Képfeldolgozás: képbol kép

Digitális kép

Két- vagy többdimenziós mátrix:

Tárgy, színtér vagy egy másik kép sík- vagy térbelireprezentációjaIntenzitás kép (világosság- vagy színkód)

a felület által visszavert, kamera által érzékeltelektromágneses energialátható vagy láthatatlan tartományban (pl. homérséklet)

Távolság kép (range image)a felület és az érzékelo közötti 3D-s távolság

Szimbolikus kép

képponthoz hozzárendelt osztálycimke, index, vagyszimbolumpl. talajtípus, mezogazdasági felhasználás típusa

Számítógépes látás fobb céljai

Ismert objektumok detektálása és felismerése

Ismeretlen objektumok 3D-s modellezése

Pozició- és orientáció-meghatározásGeometriai tulajdonságok mérése

távolságok, méretek, stb.

Mozgáselemzés

Szín- és textúraelemzés

Képelemzési alkalmazások 1/3

Alkalmazások Területek

Levél szortírozás, cimkeolvasás, Dokumentum-banki papirok feldolgozása, szövegolvasás, feldolgozásmuszaki rajzok értelmezéseTumordetektálás, belso szervek mérét- és Orvosialakmérése, kromoszóma-elemzés,vérsejtek számlálásaAlkatrész-felismerés szereléshez, Iparihibadetektálás, minoségellenorzés automatizálásTárgy- és környezet-felismerés, Robotikavizuális alapú mozgásirányítás

Képelemzési alkalmazások 2/3

Alkalmazások Területek

Térképek készítése fényképekbol, Térképészet,idojárás-térképek készítése, térinformatikaépületek és utcák 3D-s modellezése

Ujjlenyomat illesztés, arcfelismerés, Bunüldözés,járáselemzés, más biometrikus mérések, biztonságpéldául, fül, iriszArckifejezés-elemzés, szemmozgás-követés, Ember-gépgesztus-felismerés interakcióAutók és emberek követése, Térmegfigyelésesemények és tevékenységek elemzése

Képelemzési alkalmazások 3/3

Alkalmazások Területek

Kép- és video alapú színtér-rekonstrukció, Film- és játékipar,fotórealisztikus modellezés kulturális örökségKép és video alapú keresés, Multimédiaindexelés; alakzat, textúra és mozgás adatbázisokreprezentációja és kódolásaCélkeresés és -azonosítás, Radarképeklégi jármüvek és rakéták irányítása feldolgozásaMultispektrális képelemzés, idojárás Távérzékeléselorejelzés, városi, mezogazdasági és víziterületek megfigyelése és osztályozása

Ellenorzés és vizsgálat

szilánk üveg alján kozetrepedés szövethiba

ferritmag repedés ultrahang. talajkép kábel ker.metszet

Bel- és kültéri színterek, képi adatbázisok

bel. sztereó 1 bel. sztereó 2 kül. sztereó 1 kül. sztereó 2

logó fénykép ikon/festmény ujjlenyomat

Orvosi képek

MRI (térd) sejtek (radiológia) bikaspermium

röntgen (szív) mammogram (mell) vizelet

Dokumentumok

folyóirat oldal térkép kézírás

bankszámla muszaki rajz

Képelemzés lépéseii 1/2

Képalkotás (imaging): Kamerák és más érzékelok,világítás, fényvisszaverodési modellekKépjavítás (enhancement): Képminoség javítása,képkorrekció, zavaró vagy fölösleges információeltüntetése

zajszurés, kontrasztemelés

Sajátság (jellemzo) kiemelés (feature extraction):Jellemzopontok meghatározása, lokális képleírásokhozzárendelése képelemekhez

képküszöbölés, éldetektálás

Képelemzés lépései 2/2

Régió alapú szegmentálás (region-based segmentation,grouping): Hasonló tulajdonságokkal rendelkezo,összefüggo képrészek kiemelése

összefüggo komponensek (connected components),élláncok (edge linking)

Régió leírás: Régiók geometriai, szín- és -textúra leírása,régiók közötti rélációk meghatározása

terület, súlypont, orientáció, méretek, görbület, szín, textúra

Megfeleltetés, illesztés (correspondence, matching):Modell és kapott képleírás megfeleltetése, képértelmezés

betufelismerés beturészek megfeleltetése alapján

Lokális operátorok

Az (x , y) pontban az eredmeny apont környezetétol (ablaktól) függ:

g(x , y) = T [f (x , y)]

f (x , y) a bemeneti (input) kép,g(x , y) a kimeneti (output) képT egy, a környezeten definiáltoperátor

Feltételezzük, hogy csak a közeliképelemek korrelálnak egymással

korreláció csökken távolsággalnem igaz periodikus képek esetén

’

’xx

Image

(x,y)

y

y

Egy 3 × 3-as ablakaz (x , y) pontban.

x ′, y ′: lokális koord.

Rekurzív és nemrekurzív operátorok

Nemrekurzív lokális operátoraz eredmény csak a bemenet aktuális környezetétol függa kimenet el van választva a bemenettol: a muködés sorána bemenet nem módosula muvelet hatása korlátozódik a környezetre

Rekurzív operátor

az aktuális eredmény a bemenettol és az elozoeredményektol is függheta kimenet nincs elválasztva a bemenettol: a muködéssorán a bemenet módosula muvelet hatása nem korlátozódik a környezetrehasznos, de sokkal bonyolultabb

Csak a nemrekurzív operátorokkal foglalkozunk

Általános nemrekurzív operátor

g(x , y) = φ[x , y , f (x ′, y ′) : (x ′, y ′) ∈ N(x , y)]

f (x , y) a bemeneti kép, g(x , y) a kimeneti kép

N(x , y): az (x , y) valamely környezete (pl. ablak)

(x ′, y ′): lokális koordináták a környezeten belül

f (x ′, y ′) : (x ′, y ′) ∈ N(x , y) a környezbeli értékek listája

φ függhet x , y -tol (adaptív operátor)az N(x , y) környezet változhataz eredmény kiszámítási módja is változhat

φ nemlineáris is lehetlineáris operátor A: A(αp + βq) = αAp + βAq

Korreláció

Lineáris eltolás-invariáns operátor a bemeneti értékek lineáriskombinációja: az f képnek a w maszkkal valókereszt-korrelációja

g(x , y) = (f ⊗w)(x , y).=

∑

(x ′,y ′)∈W

(x+x ′,y+y ′)∈F

f (x + x ′, y + y ′) ·w(x ′, y ′)

W az ablakon belüli, F a képen belüli poziciók halmaza

a W ablak és a w(x ′, y ′) súlyok nem függnek az x , y -tol

w : súlymátrix, maszk (angolul kernel, mask )

Konvolúció

Az f kép és a w maszk konvolúciója

g(x , y) = (f ∗ w)(x , y).=

∑

(x ′,y ′)∈W

(x−x ′,y−y ′)∈F

f (x − x ′, y − y ′) · w(x ′, y ′)

A W ablakot az ellenkezó sorrendben olvassuk be.Szimmetrikus maszkokkal fogunk dolgozni.⇒ nem lesz különbség korreláció és konvolúció között

Konvolúció tulajdonságai 1/2

Tetszoleges f , g képekre és w , v maszkokra

Korreláció a tükrözött maszkkal való konvolúció:

f ⊗ w = f ∗ w∼,

ahol w∼(x , y).= w(−x ,−y)

Kommutativitás (tetszoleges sorrend):

w ∗ v = v ∗ w

Konvolúció tulajdonságai 2/2

Asszociativitás:

(f ∗ w) ∗ v = f ∗ (w ∗ v)

w ∗ v : a w maszkot nullákkal körülvett képnek tekintjük és av maszkkal konvolváljukaz eredmény egy nagyobb maszkasszociativitás ⇒ gyors megvalósítás

Disztributivitás:

(f + g) ∗ w = f ∗ w + g ∗ w

Homogénitás: tetszoleges α konstansra

(αf ) ∗ w = α(f ∗ w)

A kurzusban felhasznált irodalom

1 E.Trucco, A.Verri, "Introductory Techniques for 3-DComputer Vision", Prentice Hall.

2 R.Klette, P.Zamperoni, "Handbook of Image ProcessingOperators", J.Wiley and Sons.

3 I.Pitas, "Digital Image Processing Algorithms",Prentice-Hal.

4 R.C.Gonzales, R.E.Woods, "Digital Image Processing",Addison-Wesley.

5 R.M.Haralick, L.G.Shapiro, "Computer and Robot Vision",Addison-Wesley, volumes I-II.

6 A.K.Jain, "Fundamentals of Digital Image Processing",Prentice-Hall.

Más hasznos irodalom és a kurzus diái

1 Álló G., "A Digitális Képfeldolgozás Alapproblemái",Akadémiai Kiadó, 1989.

2 M.Sonka, V.Hlavac, R.Boyle, "Image Processing, Analysisand Machine Vision", Thomson.

3 B.Jähne, "Digital Image Processing", Springer.4 W.K.Pratt, "Digital Image Processing", J.Wiley.5 A.Rosenfeld, A.C.Kak, "Digital Picture Processing",

Academic Press, vol. I-II.

A kurzus diái:

Lásd Csetverikov Dmitrij honlapját

Google Csetverikov vagy Chetverikov