A Model of Saliency-Based Visual Attention for Rapid Scene Analysis Hauptseminar Aufmerksamkeit und...
-
Upload
zenzi-muske -
Category
Documents
-
view
105 -
download
0
Transcript of A Model of Saliency-Based Visual Attention for Rapid Scene Analysis Hauptseminar Aufmerksamkeit und...
A Model of Saliency-Based Visual Attention for Rapid Scene Analysis
Hauptseminar
Aufmerksamkeit und ObjekterkennungSS 2000 - 15.05.2000
Rebecca Fay
15.05.2000 - SS 2000Seminar Aufmerksamkeit & Objekterkennung
Rebecca Fay 2
Modell - Übersicht
15.05.2000 - SS 2000Seminar Aufmerksamkeit & Objekterkennung
Rebecca Fay 3
ModellVorgehensweise
Getrenntes Betrachten der Eigenschaften Farbe, Intensität und Orientierung (Parallele Eigenschaftsextraktion)
Erstellen von Eigenschaftskarten–Erstellen von Gauss- bzw. Gaborpyramiden
–Bestimmung der Zentrums-Umgebungs-Differenzen
–Normalisierung
Erstellen von Auffälligkeitskarten–Kombinieren der Eigenschaftskarten
–Normalisierung
Erstellen einer Salienzkarte
Aufmerksamkeit entsprechend abnehmender Salienz verschieben
ZielSchnelles Bestimmen von herausragenden Punkten
Beschleunigung der Szenen Analyse (Bildinterpretation)
15.05.2000 - SS 2000Seminar Aufmerksamkeit & Objekterkennung
Rebecca Fay 4
EigenschaftenFarbe
4 Farben (rot, grün, blau, gelb)
–3 ursprüngliche Farbkanäle (rot, grün, blau)
–Ableiten eines 4. Farbkanals (gelb)
2 Gegenfarbpaare (rot/grün, blau/gelb)
Intensität (Helligkeit)
Orientierung4 Orientierungen (0°, 45°, 90°, 135°)
15.05.2000 - SS 2000Seminar Aufmerksamkeit & Objekterkennung
Rebecca Fay 5
Lineare FilterungVorgehensweise
Verwenden von Gauss- bzw. Gaborfiltern
Erstellen von neunstufigen Gauss- bzw. Gaborpyramiden
Ergebnis9 Pyramiden
ZielGlätten (Herausfiltern von Rauschen)
15.05.2000 - SS 2000Seminar Aufmerksamkeit & Objekterkennung
Rebecca Fay 6
Zentrums-Umgebungs-DifferenzenVorgehensweise
Bestimmung der Differenzen zwischen einzelnen Ebenen der Pyramiden zueinander
Interpolieren der Bilder mit der gröberen Auflösung auf die Größe des zu vergleichenden Bildes
Punktweises Subtrahieren
ZielKontrastbestimmung (Für Punkte mit starkem Kontrast zu ihrer Umgebung entstehen große Differenzen)
15.05.2000 - SS 2000Seminar Aufmerksamkeit & Objekterkennung
Rebecca Fay 7
NormalisierungVorgehensweise
Bestimmen des absoluten Maximums M der betrachteten Karte
Normalisierung (Abbildung des Wertebereichs der Karte auf das Intervall [0..M])
Bestimmen der lokalen Maxima mi
Bilden des Mittelwerts der lokalen Maxima mi (ohne Berücksichtigung des absolute Maximums M)
Multiplizieren der Karte mit der quadrierten Differenz des absoluten Maximums und des Mittelwertes
ZielVergleichbarkeit der unterschiedlichen Karten
Stärkere Gewichtung von Karten mit aufmerksamkeitserzeugendem Kontrast
m
( )²M m
15.05.2000 - SS 2000Seminar Aufmerksamkeit & Objekterkennung
Rebecca Fay 8
Normalisierung
15.05.2000 - SS 2000Seminar Aufmerksamkeit & Objekterkennung
Rebecca Fay 9
EigenschaftskartenVorgehensweise
Bestimmen der Zentrums-Umgebungs-Differenz
Normalisierung
Ergebnis42 Eigenschaftskarten
ZielVerteilung von Zentrums-Umgebungs-Kontrasten bei unterschiedlichen Auflösungsstufen für die einzelnen Eigenschaften
15.05.2000 - SS 2000Seminar Aufmerksamkeit & Objekterkennung
Rebecca Fay 10
AuffälligkeitskartenVorgehensweise
Reduzieren aller Eigenschaftskarten auf die Auflösung 1:16
Addieren der Eigenschaftskarten
Normalisierung
Ergebnis3 Auffälligkeitskarten
–Farbe
–Intensität
–Orientierung
ZielAuffälligkeitsverteilung getrennt nach Eigenschaften
15.05.2000 - SS 2000Seminar Aufmerksamkeit & Objekterkennung
Rebecca Fay 11
SalienzkarteVorgehensweise
Kombinieren der Auffälligkeitskarten
ZielSalienzverteilung (welchen Kontrast zu ihrer Umgebung weisen die einzelnen Bildbereiche auf?)
15.05.2000 - SS 2000Seminar Aufmerksamkeit & Objekterkennung
Rebecca Fay 12
AufmerksamkeitsverschiebungVorgehensweise
Neuronales „winner-take-all“ Netzwerk
Richten der Aufmerksamkeit auf den Punkt, für den die größte Salienz berechnet wurde
–Dieser Punkt weist hinsichtlich Farbe, Intensität oder Orientierung den größten Kontrast zur Umgebung auf.
Inhibition of Return
–Hemmen der Neuronen, die dieser Stelle zugeordnet sind
ZielVerhindern, daß die Aufmerksamkeit mehrmals auf den selben Punkt gerichtet wird
Verschiebung der Aufmerksamkeit entsprechend abnehmender Salienz
15.05.2000 - SS 2000Seminar Aufmerksamkeit & Objekterkennung
Rebecca Fay 13
Beispiel 1a - Eingabe + Ergebniskarten
15.05.2000 - SS 2000Seminar Aufmerksamkeit & Objekterkennung
Rebecca Fay 14
Beispiel 1b - Focus of Attention
15.05.2000 - SS 2000Seminar Aufmerksamkeit & Objekterkennung
Rebecca Fay 15
Beispiel 2 - Eingabe + Salienzkarten
a) Eingabe: Farbbilder
b) Ergebnis: Salienz-Karten
15.05.2000 - SS 2000Seminar Aufmerksamkeit & Objekterkennung
Rebecca Fay 16
Referenz
IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 11, November 1998 - Laurent Itti, Christof Koch, Ernst Niebur
http://www.klab.caltech.edu/~itti/attention/publications/98_PAMI/pami_final.html