Stereovizijski sustavi
description
Transcript of Stereovizijski sustavi
![Page 1: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/1.jpg)
Kruno Kruno KantociKantoci
![Page 2: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/2.jpg)
2Stereovizijski sustavi
Uvod Osnove fotogramentrije Strojni stereo vid Primjeri
![Page 3: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/3.jpg)
3Stereovizijski sustavi
Za percepciju udaljenosti objekata od nas, potrebna su nam 2 oka
Testirajte se:Testirajte se:
![Page 4: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/4.jpg)
4Stereovizijski sustavi
Slike koje vidimo lijevim i desnim okom nisu potpuno jednake mali razmak između ljudskih očiju
![Page 5: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/5.jpg)
5
Uvod – ljudski vidUvod – ljudski vid
Na toj se činjenici temelji strojni stereo vid
Stereovizijski sustavi
![Page 6: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/6.jpg)
6Stereovizijski sustavi
2 ili više kamera omogućuju percepciju 3D svijeta
Osnovni pojmovi:• Kalibracija• Koordinatni sustavi• Projekcijska geometrija • Epipolarna geometrija• Paralelne i konvergirane kamere• Korespondencija
• Segmentacija slike• Korelacija
• Strukturirano svijetlo
![Page 7: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/7.jpg)
7Stereovizijski sustavi
Ljudski vid
Strojni vid
![Page 8: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/8.jpg)
8Stereovizijski sustavi
![Page 9: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/9.jpg)
9Stereovizijski sustavi
Fotogrametrija je umjetnost, znanost i tehnologija za dobivanje pouzdanih informacija o objektima realnog svijeta i okruženja kroz proces snimanja, mjerenja i interpretacije fotografskih slika
Područja primjene:• Blokaerotriangulacija• Arhitektura i zaštita spomenika• Građevinarstvo• Arheologija• Industrija i strojarstvo • Medicina• Fotorealistična vizualizacija i animacija• ......
![Page 10: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/10.jpg)
10
Stereovizijski sustavi
Prednosti• Raznovrsni podaci• Velike mogućnosti automatizacije• Veliki raspon točnosti• Velika pouzdanost• Jednostavna mogućnost naknadnih mjerenja• Široka spektralna osjetljivost (IC, termalno ...)
![Page 11: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/11.jpg)
11
Stereovizijski sustavi
Tipovi obrade• Metrička fotogrametrija• Interpretativna fotogrametrija
Tipovi snimanja• Terenska i bliskopredmetna fotogrametrija• Aerofotogrametrija• Satelitska fotogrametrija
Tehnologije obrade• Analogna fotogrametrija• Analitička fotogrametrija• Digitalna fotogrametrija
![Page 12: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/12.jpg)
12
Stereovizijski sustavi
Beskontaktna digitalizacija• Usporedba s CAD modelima• Kontrola kvalitete• Inverzno inženjerstvo• Pakiranje• Virtualna stvarnost• ...
![Page 13: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/13.jpg)
13
Stereovizijski sustavi
Prostorno mjerenje• Izmjera točaka, provrta, bridova• Određivanje deformacija• Definiranje koordinatnih sustava• ...
![Page 14: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/14.jpg)
14
Stereovizijski sustavi
Analiza deformacija• Prostorno mjerenje deformacija i naprezanja• Testiranje materijala• Dimenzioniranje komponenata• Određivanje svojstava materijala• Eksploatacija u industrijskoj sredini• …
![Page 15: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/15.jpg)
15
Stereovizijski sustavi
Praćenje dinamičkih deformacija• Mjerenje 3D deformacija i vibracija• Dinamičko testiranje materijala• Analiza relativnog gibanja• …
![Page 16: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/16.jpg)
16Stereovizijski sustavi
![Page 17: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/17.jpg)
17
Stereovizijski sustavi
![Page 18: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/18.jpg)
18
Stereovizijski sustavi
Koordinate piksela koordinate slike
Ekstrinsični parametri – definiraju lokaciju i orijentaciju koordinatnog sustava kamere u odnosu prema poznatom referentnom koordinatnom sustavu svijeta
Intrinsični parametri – povezuju koordinate piksela s korespodentnim slike s korespodentnim točkma u referentnom sustavu kamere
Procjena parametara kamere• Fotogrametrička kalibracija• Samokalibracija
![Page 19: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/19.jpg)
19
Stereovizijski sustavi
Koordinatni sustav svijeta (w) Koordinatni sustav kamere (c) Koordinatni sustav slike – euklidski (i) Koordinatni sustav slike – afina (a)
![Page 20: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/20.jpg)
20
Stereovizijski sustavi
Koordinatni sustav slike
Koordinatni sustav kamere
![Page 21: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/21.jpg)
21
Stereovizijski sustavi
Odnos (X, Y, Z) i (x, y) određuje se preko omjera trokuta
Jednadžbe perspektivne transformacije:
f – fokalna duljina kamera
fZ
Xx f
Z
Yy
![Page 22: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/22.jpg)
22
Stereovizijski sustavi
Virtualna slika• Slika u kameri je invertirana potrebna prilagodba• Za prikazivanje slike na ekranu• Geometrija ista kao i prije• Nalazi se ispred kamera
![Page 23: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/23.jpg)
23
Stereovizijski sustavi
B – duljina osnovne linije kamera
f – fokalna duljina kamera Z – dubina (udaljenost) točke:
Koordinate točke:
d
BfZ
d
Bx
f
ZxX
d
By
f
ZyY
![Page 24: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/24.jpg)
24
Stereovizijski sustavi
Često korištenje “Cyclopean” koordinatnog sustava
Izrazi za konverziju:
Geometrija paralelnih kamera se izbjegava
xRxL
xRxLDX
2 xRxL
DyY
xRxL
DfZ
![Page 25: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/25.jpg)
25
Stereovizijski sustavi
Mnogo češći slučaj - dubina fiksacijske točke
Izraz da dubinu glasi:
0Z
0Z
BfD
BfZ
![Page 26: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/26.jpg)
26
Stereovizijski sustavi
Omogućava epipolarno ograničenje koje smanjuje dimenzije prostora u kojem tražimo korespodenciju između točke viđene različitim kamerama sa cijele slike na ograničeni prostor Epipolarna ravnina definirana je sa OP i O’P l i l’ - epipolarne linije e i e’ – epipolovi tj. virtualne slike optičkog centra prve kamere viđene drugom kamerom
![Page 27: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/27.jpg)
27
Stereovizijski sustavi
Određivanje ekvivalentnih točaka iz dvije slike iste scene Pretpostavke:
• Odgovarajuća područja slika su slična• Točka u jednoj slici može odgovarati samo jednoj točki u drugoj
slici• Ako su dva odgovarajuća elementa blizu na slici tada je u većini
slučajeva njihova nepodudarnost ista jer okoliš predstavlja kontinuirana površina omeđena granicama
Osnovne metode:• Segmentacija • Korelacija
![Page 28: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/28.jpg)
28
Stereovizijski sustavi
Provodi se u nekoliko koraka:• Ekstrakcija značajki pojedinog segmenta
• Odabir segmenta na lijevoj slici• Usporedba sa svakim segmentom desne slike • Odabir segmenta koji najbolje odgovara traženom segmentu
sa lijeve slike • Iteracija prijašnjih koraka
![Page 29: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/29.jpg)
29
Stereovizijski sustavi
![Page 30: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/30.jpg)
30
Stereovizijski sustavi
Epipolarno ograničenje Ograničenje jedinstvenosti Fotometričko ograničenje Ograničenje geometrijskih sličnosti Ograničenje istih značajki Ograničenje rasporeda Obostrana korespondencija
![Page 31: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/31.jpg)
31
Stereovizijski sustavi
Za rješavanje problema korespondencije Za scene bez dovoljno detalja za
usporedbu Izbjegavanje kalibracije stereopara Daje gustu mapu udaljenosti
![Page 32: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/32.jpg)
32
Stereovizijski sustavi
Binarno kodiranje
Sinusni val
![Page 33: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/33.jpg)
33Stereovizijski sustavi
![Page 34: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/34.jpg)
34
Stereovizijski sustavi
Zbog nepravilnog pozicioniranja Kamere snimaju pločicu i svrdlo 2 kamere udaljenost svrdla od
pločice Paralelne kamere
![Page 35: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/35.jpg)
35
Stereovizijski sustavi
4 referentne podloge Razlika CAD modela i obrađenih slika stvarna pozicija
svrdla Nije potrebna kalibracija stereopara
![Page 36: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/36.jpg)
36
Stereovizijski sustavi
pogreška
pogreška
ispravljena
![Page 37: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/37.jpg)
37
Stereovizijski sustavi 37
Višerezolucijski stereovizijski sustav Jeftina integrirana stereo glava Stereo algoritam pokretan na PC-u Cilj: autonomnost robota pri prepoznavanju okoline
![Page 38: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/38.jpg)
38
Stereovizijski sustavi
Dinamička promjena rezolucije Rezolucije od 320x60, 160x60 i 80x60 piksela Svaka slika pojedine rezolucije se posebno obrađuje
![Page 39: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/39.jpg)
39
Stereovizijski sustavi
Traženje širine hodnika
Kreirana mapa hodnika
![Page 40: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/40.jpg)
40
Prijedlog pitanja za kolokvijPrijedlog pitanja za kolokvij Na kojoj se prirodnoj činjenici temelji strojni stereo vid?
◦ Zbog malog razmaka između ljudskih očiju, slike koje vidimo pojedinim okom nisu potpuno jednake
Koje tehnologije obrade slika poznajete u fotogrametriji?◦ Analogna fotogrametrija◦ Analitička fotogrametrija◦ Digitalna fotogrametrija
Koje su dvije metode kalibracije za procjenu parametara kamere?◦ Fotogrametrička kalibracija◦ Samokalibracija
Koji se koordinatni sustav najčešće koristi pri geometriji paralelnih kamera te gdje mu je ishodište?◦ Cyclopean – ishodište je na polovici udaljenosti između kamera
Koji su najčešći oblici strukturiranog svjetla?◦ Binarno kodiranje◦ Sinusni val
![Page 41: Stereovizijski sustavi](https://reader031.fdocuments.net/reader031/viewer/2022013103/56814257550346895dae7f72/html5/thumbnails/41.jpg)