Post on 28-Jan-2020
Digitális képelemzés alapveto algoritmusai
Csetverikov Dmitrij
Eötvös Lóránd Egyetem, Budapestcsetverikov@sztaki.hu
http://vision.sztaki.hu
Informatikai Kar
Köszönetnyilványítás
A kurzus megírásában az alábbi munkatársaim segítettek:
Verestóy Judit
Lerch Attila
Szabó Zsolt
A kurzus témái
Képelemzés feladatai és alkalmazásai
Képszurés
Megfeleltetés és mintaillesztés
Élek és sarkok detektálása
Képküszöbölés
Vázreprezentációk és távolság-transzformáció
Morfológiai képfeldolgozás
Alakelemzés
Képelemzés és képszurés alapfogalmai
1 BevezetésAlapfogalmakKépelemzés tipikus alkalmazásaiKépek és feladatok példáiKépelemzés és felismerés fázisai
2 KépszurésKorreláció és konvolúció
3 Irodalom
Alapfogalmak
terület bemenet kimenetképfeldolgozás képek feldolgozott képekképelemzés képek képleírásokalakfelismerés képleírások objektum osztályokszámítógépes látás képek 3D-s modellek
Képek: kép, képhalmaz, vagy video
Számítógépes látás: képfeldolgozás, képelemzés,alakfelismerés
Számítógépes grafika és képelemzés
DescriptionImage
Image Processing
Graphics
Image Analysis
Számítógépes grafika: matematikai modellbol képdirekt probléma, szintézis
Képelemzés: képbol matematikai modellinverz probléma, analízisbonyolultabb
Képfeldolgozás: képbol kép
Digitális kép
Két- vagy többdimenziós mátrix:
Tárgy, színtér vagy egy másik kép sík- vagy térbelireprezentációjaIntenzitás kép (világosság- vagy színkód)
a felület által visszavert, kamera által érzékeltelektromágneses energialátható vagy láthatatlan tartományban (pl. homérséklet)
Távolság kép (range image)a felület és az érzékelo közötti 3D-s távolság
Szimbolikus kép
képponthoz hozzárendelt osztálycimke, index, vagyszimbolumpl. talajtípus, mezogazdasági felhasználás típusa
Számítógépes látás fobb céljai
Ismert objektumok detektálása és felismerése
Ismeretlen objektumok 3D-s modellezése
Pozició- és orientáció-meghatározásGeometriai tulajdonságok mérése
távolságok, méretek, stb.
Mozgáselemzés
Szín- és textúraelemzés
Képelemzési alkalmazások 1/3
Alkalmazások Területek
Levél szortírozás, cimkeolvasás, Dokumentum-banki papirok feldolgozása, szövegolvasás, feldolgozásmuszaki rajzok értelmezéseTumordetektálás, belso szervek mérét- és Orvosialakmérése, kromoszóma-elemzés,vérsejtek számlálásaAlkatrész-felismerés szereléshez, Iparihibadetektálás, minoségellenorzés automatizálásTárgy- és környezet-felismerés, Robotikavizuális alapú mozgásirányítás
Képelemzési alkalmazások 2/3
Alkalmazások Területek
Térképek készítése fényképekbol, Térképészet,idojárás-térképek készítése, térinformatikaépületek és utcák 3D-s modellezése
Ujjlenyomat illesztés, arcfelismerés, Bunüldözés,járáselemzés, más biometrikus mérések, biztonságpéldául, fül, iriszArckifejezés-elemzés, szemmozgás-követés, Ember-gépgesztus-felismerés interakcióAutók és emberek követése, Térmegfigyelésesemények és tevékenységek elemzése
Képelemzési alkalmazások 3/3
Alkalmazások Területek
Kép- és video alapú színtér-rekonstrukció, Film- és játékipar,fotórealisztikus modellezés kulturális örökségKép és video alapú keresés, Multimédiaindexelés; alakzat, textúra és mozgás adatbázisokreprezentációja és kódolásaCélkeresés és -azonosítás, Radarképeklégi jármüvek és rakéták irányítása feldolgozásaMultispektrális képelemzés, idojárás Távérzékeléselorejelzés, városi, mezogazdasági és víziterületek megfigyelése és osztályozása
Ellenorzés és vizsgálat
szilánk üveg alján kozetrepedés szövethiba
ferritmag repedés ultrahang. talajkép kábel ker.metszet
Bel- és kültéri színterek, képi adatbázisok
bel. sztereó 1 bel. sztereó 2 kül. sztereó 1 kül. sztereó 2
logó fénykép ikon/festmény ujjlenyomat
Orvosi képek
MRI (térd) sejtek (radiológia) bikaspermium
röntgen (szív) mammogram (mell) vizelet
Dokumentumok
folyóirat oldal térkép kézírás
bankszámla muszaki rajz
Képelemzés lépéseii 1/2
Képalkotás (imaging): Kamerák és más érzékelok,világítás, fényvisszaverodési modellekKépjavítás (enhancement): Képminoség javítása,képkorrekció, zavaró vagy fölösleges információeltüntetése
zajszurés, kontrasztemelés
Sajátság (jellemzo) kiemelés (feature extraction):Jellemzopontok meghatározása, lokális képleírásokhozzárendelése képelemekhez
képküszöbölés, éldetektálás
Képelemzés lépései 2/2
Régió alapú szegmentálás (region-based segmentation,grouping): Hasonló tulajdonságokkal rendelkezo,összefüggo képrészek kiemelése
összefüggo komponensek (connected components),élláncok (edge linking)
Régió leírás: Régiók geometriai, szín- és -textúra leírása,régiók közötti rélációk meghatározása
terület, súlypont, orientáció, méretek, görbület, szín, textúra
Megfeleltetés, illesztés (correspondence, matching):Modell és kapott képleírás megfeleltetése, képértelmezés
betufelismerés beturészek megfeleltetése alapján
Lokális operátorok
Az (x , y) pontban az eredmeny apont környezetétol (ablaktól) függ:
g(x , y) = T [f (x , y)]
f (x , y) a bemeneti (input) kép,g(x , y) a kimeneti (output) képT egy, a környezeten definiáltoperátor
Feltételezzük, hogy csak a közeliképelemek korrelálnak egymással
korreláció csökken távolsággalnem igaz periodikus képek esetén
’
’xx
Image
(x,y)
y
y
Egy 3 × 3-as ablakaz (x , y) pontban.
x ′, y ′: lokális koord.
Rekurzív és nemrekurzív operátorok
Nemrekurzív lokális operátoraz eredmény csak a bemenet aktuális környezetétol függa kimenet el van választva a bemenettol: a muködés sorána bemenet nem módosula muvelet hatása korlátozódik a környezetre
Rekurzív operátor
az aktuális eredmény a bemenettol és az elozoeredményektol is függheta kimenet nincs elválasztva a bemenettol: a muködéssorán a bemenet módosula muvelet hatása nem korlátozódik a környezetrehasznos, de sokkal bonyolultabb
Csak a nemrekurzív operátorokkal foglalkozunk
Általános nemrekurzív operátor
g(x , y) = φ[x , y , f (x ′, y ′) : (x ′, y ′) ∈ N(x , y)]
f (x , y) a bemeneti kép, g(x , y) a kimeneti kép
N(x , y): az (x , y) valamely környezete (pl. ablak)
(x ′, y ′): lokális koordináták a környezeten belül
f (x ′, y ′) : (x ′, y ′) ∈ N(x , y) a környezbeli értékek listája
φ függhet x , y -tol (adaptív operátor)az N(x , y) környezet változhataz eredmény kiszámítási módja is változhat
φ nemlineáris is lehetlineáris operátor A: A(αp + βq) = αAp + βAq
Korreláció
Lineáris eltolás-invariáns operátor a bemeneti értékek lineáriskombinációja: az f képnek a w maszkkal valókereszt-korrelációja
g(x , y) = (f ⊗w)(x , y).=
∑
(x ′,y ′)∈W
(x+x ′,y+y ′)∈F
f (x + x ′, y + y ′) ·w(x ′, y ′)
W az ablakon belüli, F a képen belüli poziciók halmaza
a W ablak és a w(x ′, y ′) súlyok nem függnek az x , y -tol
w : súlymátrix, maszk (angolul kernel, mask )
Konvolúció
Az f kép és a w maszk konvolúciója
g(x , y) = (f ∗ w)(x , y).=
∑
(x ′,y ′)∈W
(x−x ′,y−y ′)∈F
f (x − x ′, y − y ′) · w(x ′, y ′)
A W ablakot az ellenkezó sorrendben olvassuk be.Szimmetrikus maszkokkal fogunk dolgozni.⇒ nem lesz különbség korreláció és konvolúció között
Konvolúció tulajdonságai 1/2
Tetszoleges f , g képekre és w , v maszkokra
Korreláció a tükrözött maszkkal való konvolúció:
f ⊗ w = f ∗ w∼,
ahol w∼(x , y).= w(−x ,−y)
Kommutativitás (tetszoleges sorrend):
w ∗ v = v ∗ w
Konvolúció tulajdonságai 2/2
Asszociativitás:
(f ∗ w) ∗ v = f ∗ (w ∗ v)
w ∗ v : a w maszkot nullákkal körülvett képnek tekintjük és av maszkkal konvolváljukaz eredmény egy nagyobb maszkasszociativitás ⇒ gyors megvalósítás
Disztributivitás:
(f + g) ∗ w = f ∗ w + g ∗ w
Homogénitás: tetszoleges α konstansra
(αf ) ∗ w = α(f ∗ w)
A kurzusban felhasznált irodalom
1 E.Trucco, A.Verri, "Introductory Techniques for 3-DComputer Vision", Prentice Hall.
2 R.Klette, P.Zamperoni, "Handbook of Image ProcessingOperators", J.Wiley and Sons.
3 I.Pitas, "Digital Image Processing Algorithms",Prentice-Hal.
4 R.C.Gonzales, R.E.Woods, "Digital Image Processing",Addison-Wesley.
5 R.M.Haralick, L.G.Shapiro, "Computer and Robot Vision",Addison-Wesley, volumes I-II.
6 A.K.Jain, "Fundamentals of Digital Image Processing",Prentice-Hall.
Más hasznos irodalom és a kurzus diái
1 Álló G., "A Digitális Képfeldolgozás Alapproblemái",Akadémiai Kiadó, 1989.
2 M.Sonka, V.Hlavac, R.Boyle, "Image Processing, Analysisand Machine Vision", Thomson.
3 B.Jähne, "Digital Image Processing", Springer.4 W.K.Pratt, "Digital Image Processing", J.Wiley.5 A.Rosenfeld, A.C.Kak, "Digital Picture Processing",
Academic Press, vol. I-II.
A kurzus diái:
Lásd Csetverikov Dmitrij honlapját
Google Csetverikov vagy Chetverikov