Shape from Shading Hauptseminar Computer Vision Thema 7 Vortrag von Jakob Thomsen.
-
Upload
berahthraben-stoeber -
Category
Documents
-
view
106 -
download
1
Transcript of Shape from Shading Hauptseminar Computer Vision Thema 7 Vortrag von Jakob Thomsen.
Shape from ShadingShape from Shading
Hauptseminar
Computer Vision
Thema 7
Vortrag von
Jakob Thomsen
26. Januar 2001 Shape from Shading (J. Thomsen) 2
Inhalt
I Einführung
II Propagationsverfahren
III Globale Verfahren
IV Lokale Verfahren
26. Januar 2001 Shape from Shading (J. Thomsen) 3
I. Was ist Shape from Shading?
- Shape from Shading bedeutet etwa „Form aus Schattierung“
- Ziel: aus Irradianzen die Objekt-Oberfläche rekonstruieren
- schlecht gestelltes Problem, nur eingeschränkt verwendbar
- Anwendungsgebiete, bei denen SFS (trotzdem) sinnvoll ist:- einzelne Bilder- weit entfernte Objekte
- allgemeine Vorraussetzung:durchsichtiges Medium, undurchsichtige Körper=> nur Oberfläche sichtbar
26. Januar 2001 Shape from Shading (J. Thomsen) 4
I.1 allgemeine Vorgehensweise
1. aus den Irradianzwerten mittels Umkehrung der Reflektanzfunktion auf die Orientierung der Oberfläche schließen
2. die Gradienten integrieren um die Höhe der Oberflächenpunkte zu berechnen (siehe Abschnitt 3), z.B. mit dem R.T. Frankot und R. Chellapa Algorithmus
26. Januar 2001 Shape from Shading (J. Thomsen) 5
I.2 Problem: MehrdeutigkeitDie Freiheitsgrade der Irradianzwerte (eindimensional) bzw. Gradientenvektoren (zweidimensional) passen nicht zusammen!
=>nur die Beziehung zwischen p und q ist direkt aus der Irradianz berechenbar,
genaue Werte der Gradienten können nur mit zusätzlichen Informationen rekonstruiert werden.
Je nach Verfahren gibt es unterschiedliche Möglichkeiten, diese Mehrdeutigkeit aufzulösen.
),()),(),,(( yxEyxqyxpR
26. Januar 2001 Shape from Shading (J. Thomsen) 6
26. Januar 2001 Shape from Shading (J. Thomsen) 7
I.3 weitere EinschränkungenBeleuchtung
- keine Intra-oder Interobjektreflexionen- i.a. paralleles Licht gleicher Stärke E0- konstante und bekannte Beleuchtungsrichtung- möglichst Beleuchtungs- gleich Betrachterrichtung
Reflexion- bekanntes lambertsches Reflexionsverhalten- Annahme einer bekannten und konstanten Albedo
Geometrie- stetige, stetig differenzierbare Oberfläche- Orientierungen / Höhen in einigen Punkten bekannt
26. Januar 2001 Shape from Shading (J. Thomsen) 8
I.4 verschiedene Verfahren
Propagationsverfahren entwickeln Objekt-Oberfläche ausgehend von Punkten bekannter Orientierung bzw. Höhe
Globale Minimierungsverfahren optimieren bestimmte Funktionen um die Bildinformation insgesamt auszuwerten
Lokale Methoden berechnen die Oberflächenorientierungen jeweils nur anhand einer kleinen Nachbarschaft des Punktes
Sonderfall direkte 3d-Interpretation von Bildirradianzen
26. Januar 2001 Shape from Shading (J. Thomsen) 9
I.5 Sonderfall
direkte Interpretation: unter folgenden Bedingungen
- rotationssymmetrische Reflektanzfunktion
- Betrachterrichtung senkrecht auf Projektionsebene
- Objektfläche perfekt diffus mit uniformer Albedo
sind die Bildirradianzen direkt als Höhenwerte interpretierbar
26. Januar 2001 Shape from Shading (J. Thomsen) 10
26. Januar 2001 Shape from Shading (J. Thomsen) 11
26. Januar 2001 Shape from Shading (J. Thomsen) 12
I.6 Grundlagengegeben: ein Bild, d.h. eine Funktion E(x,y) von Irradianzen
gesucht: die Objektoberfläche, d.h. die Höhenwerte Z(x,y)
weitere Funktionen:
(p,q) sind die Gradienten (partielle Ableitungen von Z(x,y)) in x-bzw. y-Richtung (geben die Steigung in Z(x,y) an)
R(p,q) ist die Reflektanzfunktion, die in Abhängigkeit von den Gradienten der Oberfläche die Irridianzen bestimmt
Vektoren:
s zeigt in Richtung der Lichtquelle, v in Betrachterrichtung
n ist die Normale der Oberfläche in (x,y)
26. Januar 2001 Shape from Shading (J. Thomsen) 13
II. Propagationsverfahren
Propagationsverfahren breiten Oberfläche ausgehend von Punkten bekannter Orientierung auf das ganze Objekt aus
Der Wachstumsprozess erfolgt
- iterativ
- entlang bestimmter Pfade
Alle Propagationsverfahren setzen (orthografische) Parallelprojektion voraus
26. Januar 2001 Shape from Shading (J. Thomsen) 14
II.1 lineare Reflektanzfunktionen
Definition: )(),( qbpahqpR
0 qapb
Eigenschaft: Punkte gleicher Irradianz liegen im Gradientenraum auf Graden, parallel zur Ursprungsgraden
Flächen mit gleicher Irradianz sind in eine Richtung gleich und senkrecht dazu beliebig geneigt (z.B.Kugelgroßkreise)
Vorgehensweise:
Richtungsableitung aus Irradianzen bestimmen
Entlang charakteristischer Kurve integrieren
26. Januar 2001 Shape from Shading (J. Thomsen) 15
26. Januar 2001 Shape from Shading (J. Thomsen) 16
Richtungsableitung (Berechnung)
enthält. Variablen bekanntenur Term letzteder da
),((sincos
berechnen, ableitung Richtungsdie auch sichlässt Damit
,)sin(cos und arctan
:werdenermittelt Variablen folgende können ,Mit
22
1
2200
22220,00
ba
yxEh
ba
qbpaqp
dt
dZ
ba
b
ba
a
a
b
ba
26. Januar 2001 Shape from Shading (J. Thomsen) 17
lineare Reflektanzkarte
26. Januar 2001 Shape from Shading (J. Thomsen) 18
Integration d. Richtungsableitung
022
00001
0
022
1
00
))sin,cos((
)),(()(
dtba
tytxEhZ
dtba
yxEhZdt
dt
dZZZ
)sin,cos(),( 0000 tytxyx
ist. vorhandenGeradeder aufStartwert ein jeweils falls ...
werden...integriert kann RichtungGeraden paralleler Entlang 0
26. Januar 2001 Shape from Shading (J. Thomsen) 19
Mars Global Surveyor OrbiterPIA01046, Quelle: http://photojournal.jpl.nasa.gov/
26. Januar 2001 Shape from Shading (J. Thomsen) 20
26. Januar 2001 Shape from Shading (J. Thomsen) 21
26. Januar 2001 Shape from Shading (J. Thomsen) 22
Rekonstruktion 1
26. Januar 2001 Shape from Shading (J. Thomsen) 23
Rekonstruktion 2
26. Januar 2001 Shape from Shading (J. Thomsen) 24
II.2 rotationssymmetrische R.
Definition:
Zusätzlich muss h(p,q) differenzierbar sein
Die Irradianz hängt von der Deklination zwischen dem Beleuchtungsvektor s und der Oberflächennormalen n ab.
Vorgehensweise:
Gradientenlänge durch Umkehrung der Irradianz bestimmen
orthogonal zu Isohöhenkurven integrieren
)(),( 22 qphqpR
26. Januar 2001 Shape from Shading (J. Thomsen) 25
26. Januar 2001 Shape from Shading (J. Thomsen) 26
Steigung & Richtung des Gradienten
26. Januar 2001 Shape from Shading (J. Thomsen) 27
Steigung in Gradienten-Richtung
)),(()),(()( 1122122 yxEhqpRhqphhqpm
)(),(),(mit 22 qphqpRyxE
26. Januar 2001 Shape from Shading (J. Thomsen) 28
Richtung des Gradienten
h
Eq
h
Ep
yx
2,
2
Veränderungen bei einem Schritt in Richtung des Gradienten mit Schrittlänge m
)),(()( 122 yxEhqpZ
lineare Abschätzung der Änderungen in p und q mit Hilfe der ersten partiellen Ableitungen der Bildirradianzfunktion
qy
px
26. Januar 2001 Shape from Shading (J. Thomsen) 29
Diffgls
Mit ergeben sich fünf Differentialgleichungen,
)()(
),()(
)()(
)()(
),()(
22
qd
dqp
d
dp
qpZd
Zd
yd
dyx
d
dx
die mit Hilfe bekannter Startwerte numerisch lösbar sind.
Die Kurven, entlang derer integriert wird, verlaufen orthogonal zu den Isohöhenlinien.
0
26. Januar 2001 Shape from Shading (J. Thomsen) 30
II.3 allgemeine Reflektanzf.
Es ergeben sich fünf gewöhnliche Differentialgleichungen,
yx Eqd
dqEp
d
dp
q
qpRq
p
qpRpZ
d
Zd
q
qpRy
d
dy
p
qpRx
d
dx
)()(
,)()(
),(),()(
)(
),()(
)(,
),()(
)(
die numerisch lösbar sind wenn Startwerte vorliegen.
Ansatz der Cauchyschen Streifen von B.K.P. Horn (1986)
26. Januar 2001 Shape from Shading (J. Thomsen) 31
II.4 Robustere Verfahren
bisher vorgestellte Verfahren rekonstruieren Oberfläche entlang charakteristischer Kurven
Problem: Fehler in Z-Werten pflanzen sich ungehindert fort
Lösung: alle unmittelbaren Nachbarn einbeziehen
26. Januar 2001 Shape from Shading (J. Thomsen) 32
Verfahren von Bichsel & Pentland
Initialisierung:
bekannte Z-Werte in Höhenkarte eintragen
Vorverarbeitungsschritt:
für jeden Punkt Oberflächensteigungen in Richtung seiner Nachbarn bestimmen (8-Nachbarschaft)
Iteration:
Z-Wert jedes Punktes mit bester Richtungsableitung inkrementieren
26. Januar 2001 Shape from Shading (J. Thomsen) 33
Bestimmung der Steigungen
1. Anhand der Bildirradianz wird jedem Punkt eine Menge von Oberflächen-Orientierungen zugeordnet...
2. ...diese entsprechen einer Schar von Steigungen in eine vorgegebene Richtung...
3. ...aus der die beiden Extremwerte bestimmt werden...
4. ...von denen die Steigung gewählt wird, bei der die Oberfläche sich in Richtung -s entwickelt.
26. Januar 2001 Shape from Shading (J. Thomsen) 34
mögliche Oberflächenorientierungen
26. Januar 2001 Shape from Shading (J. Thomsen) 35
Iteration
für jeden Punkt:
1. testen, mit welcher der acht Steigungen die Oberfläche am besten der Beleuchtung entspricht
2. die maximale Steigung zu Z-Wert summieren (maximal wegen Konvergenz)
26. Januar 2001 Shape from Shading (J. Thomsen) 36
Beispiel
26. Januar 2001 Shape from Shading (J. Thomsen) 37
III. globale Verfahren
Oberfläche wird als (unbekannte) Funktion Z(x,y) betrachtet, die gewisse Eigenschaften erfüllt
Messung der Abweichung der rekonstruierten Funktion von den Zielwerten durch Aufsummierung der Fehler in jedem Punkt
Rekonstruktion der Oberfläche durch Minimierung des Fehlers
26. Januar 2001 Shape from Shading (J. Thomsen) 38
Fehlerfunktionen
Die (wichtigsten) BedingungenIrradianzbedingungGlattheitsbedingungIntegrabilitätsbedingung
beschreiben die erwünschten Eigenschaften der rekonstruierten Bildfunktion
Allgemein:
Die Fehler in jedem einzelnen Punkt werden über die gesamte Bildfläche integriert (bzw. aufsummiert)
26. Januar 2001 Shape from Shading (J. Thomsen) 39
Irradianzbedingung
dxdyyxqyxpRyxEqpb 21 )),(),,((),(),(F
Ziel: rekonstruierte Irradianz soll ursprünglicher I. entsprechen
26. Januar 2001 Shape from Shading (J. Thomsen) 40
Glattheitsbedingung
dxdyyxqyxqyxpyxpqqppg yxyxyxyx ),(),(),(),(),,,(F 22221
2
22
2
2
2
),(),( ,
),(),(
),(),( ,
),(),(
y
yxZ
y
yxqq
xy
yxZ
y
yxqq
yx
yxZ
y
yxpp
x
yxZ
x
yxpp
yx
yx
Die Argumente geben die Änderung der Gradienten an, die bei einer glatten Oberfläche minimal sind.
Ziel: Auflösung der Mehrdeutigkeit der rekonstruierten Ober-flächenorientierungen durch Annahme einer glatten Oberfläche
26. Januar 2001 Shape from Shading (J. Thomsen) 41
Glattheitsbedingung (Beispiel)
26. Januar 2001 Shape from Shading (J. Thomsen) 42
Integrabilitätsbedingung
x
yxq
xy
yxZ
yx
yxZ
y
yxp
),(),(),(),( 22
Ziel: Integration über verschiedene Wege soll gleiche Z-Werte ergeben
Folgende Funktion sollte minimal sein
dxdyyxqyxpqpi xyxy2
1 ),(),(),(F
26. Januar 2001 Shape from Shading (J. Thomsen) 43
Integrabilitätsbedingung
26. Januar 2001 Shape from Shading (J. Thomsen) 44
Minimierung der Integrale
Die Integrale können entweder
mittels Variationsrechnung
oder
diskretisiert und danach mit anderen Optimierungsmethoden
minimiert werden
26. Januar 2001 Shape from Shading (J. Thomsen) 45
Stereographische Projektion
2222 11
2,
11
2
qp
qg
qp
pf
26. Januar 2001 Shape from Shading (J. Thomsen) 46
Variationsrechnung
Ziel: Funktion minimieren
notwendige Bedingung: Ableitung im Optimum ist Null
26. Januar 2001 Shape from Shading (J. Thomsen) 47
die Fehlerfunktion e
dxdygfRyxEggffe
edingungIrradianzb
s
bedingungGlattheits
yxyx
22222 ),(),()()(
yxgfggff yxyx bzw. nach und vonnAbleitunge partielle sind ,,,
e misst die Qualität der rekonstruierten Oberfläche
26. Januar 2001 Shape from Shading (J. Thomsen) 48
Ableitung der Fehlerfunktion e
e hängt von f ,g und deren partiellen Ableitungen ab
=> bei der Ableitung ergeben sich die Eulergleichungen
dxdyggffgfF yxyx ,,,,,
0
0
yx
yx
ggg
fff
Fy
Fx
F
Fy
Fx
F
26. Januar 2001 Shape from Shading (J. Thomsen) 49
Anwendung der Eulergleichungen
Operator)-(Laplace
wobei
),(),(
),(),(2
2
2
22
2
2
yx
g
RgfRyxEg
f
RgfRyxEf
ss
ss
26. Januar 2001 Shape from Shading (J. Thomsen) 50
Algorithmus von Ikeuchi & Horn
Vorgehensweise:
1. Bedingungen diskretisieren
2. für jeden Punkt
1. Fehler (lokal) berechnen
2. Werte korrigieren
3. wiederholen bis akzeptable Lösung erreicht
26. Januar 2001 Shape from Shading (J. Thomsen) 51
Diskretisierung
2,1,
2,,1
2,1,
2,,1, )()()()(
4
1jijijijijijijijiji ggggffffs
2,,,, ),( jijisjiji gfREr
i j
jiji rse )( ,,
Diskretisierung der Glattheitsbedingung:
Diskretisierung der Irradianzbedingung:
Fehlerfunktion: Summe der mit gewichteten Bedingungen
26. Januar 2001 Shape from Shading (J. Thomsen) 52
(Fortsetzung)
g
RgfREgg
g
e
f
RgfREff
f
e
sjijisjijiji
ji
sjijisjijiji
ji
),(2)(2
),(2)(2
,,,,,,
,,,,,,
1,,11,,1,
1,,11,,1,
4
14
1
jijijijiji
jijijijiji
ggggg
fffff
partielle Ableitungen der Fehlerfunktion...
...geben Abweichung zum optimalen f bzw. g Wert an
Durchschnitt der Umgebung um (i,j)
26. Januar 2001 Shape from Shading (J. Thomsen) 53
Iterationsvorschrift
Abweichungder Korrektur
),(
Wertalter Wertneuer
),(
,,,,1
,
,,,,1
,
g
RgfREgg
f
RgfREff
nji
njisji
nji
nji
nji
njisji
nji
nji
26. Januar 2001 Shape from Shading (J. Thomsen) 54
IV. lokale Verfahren
- berechnen Gestalt an einem Punkt anhand kleiner Umgebung
- können i.a. nur Oberflächenorientierungen rekonstruieren, Höhenberechnung erst nach Integration möglich
- sind leicht implementierbar und effizient, da nicht iterativ
26. Januar 2001 Shape from Shading (J. Thomsen) 55
Beispiel: Kugelapproximation
Annahme: Objekt ist in etwa kugelförmig
Ziel: Mehrdeutigkeit der Orientierungen auflösen
26. Januar 2001 Shape from Shading (J. Thomsen) 56
26. Januar 2001 Shape from Shading (J. Thomsen) 57
Azimutbestimmung
),(lpunkt Kugelmittemit arctan
:ktorsNormalenve des Azimuts des Berechnung
)sinsin,cos(sin),(
: Azimut und n Deklinatiomit Kugeleiner Gradienten
000
0 yxxx
yy
qp
Problem: Azimut ist wegen Mehrdeutigkeit nicht aus Irradianz bestimmbar
Lösung: Objekt als kugelförmig annehmen und Azimut wie bei einer Kugel berechnen
26. Januar 2001 Shape from Shading (J. Thomsen) 58
Deklinationsbestimmung
Bestimmung der Deklination aus der Irradianz
Albedo und gsstärkeBeleuchtunmit ),(
arccos
cos)(
00
0
EE
yxE
EE
(erfordert eine Rotationssymmetrische Reflektanzfunktion)
26. Januar 2001 Shape from Shading (J. Thomsen) 59
Rekonstruktion - Beispiel
26. Januar 2001 Shape from Shading (J. Thomsen) 60
Zusammenfassung
I SFS-Beschreibung
II Propagationsverfahren
III Globale Verfahren
IV Lokale Verfahren
26. Januar 2001 Shape from Shading (J. Thomsen) 61
Vielen Dank für die Aufmerksamkeit!