Abbildung einer partiellen Realität in eine virtuelle Online-Welt, zum spielerischen Kennenlernen...

3D Informationen aus 2D Bildern extrahieren

Michael Kuzmin | Denis Smirnov

Einführende Worte

Überblick I

Modelaufbau Kantendetektion

Canny-Algorithmus Hough-Transformation Tracking Points of Interest

Schnittpunkte von Geraden

Überblick II

Modelaufbau Brauchbare Bilder erstellen

Objektdetektion Objekt erkennen und extrahieren

Objektübereinstimmung (Template-Matching) Objekt in verschiedenen Bildern finden

Epipolargeometrie Rektifizieren der Bilder

3D Informationen Tiefeninformationen des Objektes ermitteln

Modelaufbau

Kantendetektion

Sobel Laplace Prewitt Canny

Canny-Algorithmus

Sehr Robust

Verwendet den Sobel-Operator

Berechnet den Gradientenbetrag und die Gradientenrichtung des Bildes

Optimalität für folgende Kriterien:

Erkennung: alle tatsächlichen Kanten sollen gefunden werden

Lokalisierung: Abstand zwischen tatsächlicher und erkannter Kanten soll möglichst klein sein

Ansprechverhalten: keine Mehrfacherkennung von gleichen Kanten

Canny-Algorithmus

1. Glättung

2. Kantendetektion

3. Unterdrücken von Nicht-Maxima

4. Hysterese

Gauß’scher Glättungsfilter

• Rauschen Minimieren

Canny-Algorithmus

1. Glättung

2. Kantendetektion

4. Hysterese

Sobel-Operator in X-Richtung

Sobel-Operator in Y-Richtung

Gradientenrichtung berechnen:

0°, 45°, 90°, 135°

Euklidischer Betrag:

Canny-Algorithmus

1. Glättung

2. Kantendetektion

4. Hysterese

Canny-Algorithmus

1. Glättung

2. Kantendetektion

4. Hysterese

non-maximum suppression

• ausdünnen der Kanten

• vergleich der Richtung von Nachbarpunkten

• Pixel entlang der Gerade übernehmen, alle anderen Pixel auf Grauwert 0 setzen

Canny-Algorithmus

1. Glättung

2. Kantendetektion

4. Hysterese

Ab welcher Kantenstärke wird ein Pixel als Kante identifiziert?

Hysterese:

• Zwei Schwellenwerte T1,T2 mit T1 ≤ T2

• Unterdrückt „schwache“ bzw. falsche Kanten

• „Zerreißt“ weniger Kanten als einfache Schwellenwertverfahren

Hough-Transformation

Voraussetzung: Binäres Gradientenbild

Erkennung von geometrischen Objekten Detektiert kollineare Punkte Erkennt Kreise und Geraden Allgemein: Erkennt Objekte die sich in

geschlossener parametrisierbarer Form darstellen lassen

Erschaffen eines Akkumulatorraums Dualraum (d,Ɵ)-Raum

Geradengleichung: y = m * x + t

Aufgelöst nach Y-Achsenabschnitt: t = -m * x + y

P(x|y) Q(m|t)

Probleme bei Darstellung von vertikalen-Linien da Steigung ± ∞

Besser: Hessesche Normalform

Ortsvektor

Normalvektor

Abstand vom Ursprung

Statt (x,y)-Koordinate des Ortsvektors genügt der Winkel Ɵ:

Codierung in den Hough-Raum: (d,Ɵ)-Raum

Jede Gerade kann durch einen Punkt im Hough-Raum dargestellt werden

Hessesche Normalform: Nach d aufgelöst:

Gerade-zu-Punkt-Transformation

Akkululatorraum „säubern“ Cluster bilden Störeinflüsse beseitigen

Akkululatorraum analysieren Maximas auslesen Schwellenwerte überprüfen

Rücktransformation nach

Geradenbüschel durch P(x|y) für alle Winkel zwischen 0 und π :

Das selbe für mehrere Punkte:

Mehrere Punkte:

Stellt eine Art „Brute-Force“-Algorithmus dar Eignet sich nur für das Vorhandensein von

„wenigen“ Geraden

Störanfällig bei falscher Quantisierung:

Tracking

Bestimmt Anfangs- und Endpunkt einer Strecke Über morphologische Filter Über Schablonen

Points of Interest

Punkte mit besonders markanten Merkmalen Eckpunkte Schnittpunkte von Geraden Veränderung der Intensität der Farbwerte

Kantendetektoren Moravec-Interest Operator

berechnet die mittleren quadratischen Gradientensummen

Harris-Kanten-Detektor Vollständig rotationsinvariant

Naives Verfahren Schnittpunkte von Geraden finden

Points of Interest

Markante Punkte über Schnittpunkte von Geraden Steigung berechnen:

Auflösen nach y:

Gleichsetzen:

Nach x auflösen:

x in y1 oder y2 einsetzen

Points of Interest

Zusammenfassung Part1

Modelaufbau

Zwei Bilder zur 3D Rekonstruktion nötig

Kamerapositionen leicht versetzt oder leicht um das Objekt rotiert

Je weiter ein Objekt entfernt ist, desto weniger Informationen können erschlossen werden

Optionale Kalibrierung der Bilder

Modelaufbau

Leicht versetzte Kamerapositionen

Modelaufbau

Leicht rotierte Kamerapositionen

Modelaufbau

Nahaufnahmen des Objekts

Objektdetektion

Welcher Farbraum ist am besten geeignet? RGB, Grauwert, HSV, Lab, …

Wie detektiert man das Objekt in den Bildern? Nahaufnahmen Markierungen Kantendetektion GaussianBGModel

Objektdetektion

Grauwert

Objektdetektion

GaussianBGModel

Markierungen notwendig

Objektdetektion

Kantendetektion des Objekts Canny, Laplace, …

Problem der Parametrisierung von Algorithmen

Objektübereinstimmung

Points Of Interest in beiden Bildern suchen Mindestens 8 Stück notwendig!

Template-Matching der POIs auf beiden Bildern Nicht immer richtig!

Wie kann man sicher gehen, dass die gefundenen POIs auf beiden Bildern die selben sind? Nur manuell

Objektübereinstimmung

Braucht man die Korrespondenzpunkte überhaupt?

Epipolargeometrie

Berechnung der Fundamentalmatrix (3x3 Matrix) anhand der Korrespondenzpunkte

Mit Hilfe von Fundamentalmatrix die Epipolarlinien berechnen oder die Bilder rektifizieren

Was ist Epipolargeometrie und wozu werden Epipolarlinien benötigt?

Quelle: Wikipedia

Epipolargeometrie

Quelle: Wikipedia

Epipolargeometrie

Rektifiziertes Bild

Epipolargeometrie

Epipolarlinien in rektifizierten Bildern

3D Informationen

Erstellung des 3D Objektes Texturierung des 3D Objektes

Originalbild Tiefenbild

3D Informationen

Pro Textur das Eingangsbild entzerren Mapping-Qualität abhängig vom generierten

Objekt

Probleme

Viele Parameter erschweren die Automatisierung

Fehlerhaftes Template-Matching

Objektdetektion zu ungenau

Zusammenfassung Part2

Ergebnisse sind brauchbar für kleine Objekte Schwer realisierbar für Gebäude

Hoher Aufwand Rechenaufwand der Algorithmen Große Bildmengen Stark abhängig von Belichtung und Qualität der

Bilddaten

Tiefeninformationen können berechnet werden

Großer Funktionsumfang von OpenCV

~500 Zeilen Code

Interessantes Themengebiet

Bessere Verfahren

Objektrekonstruktion mittels Videodaten Benötigt wird eine Stereoskopische Videokamera

oder andere Verfahren Andere Verfahren:

3D Rekonstruktion mittels Microsofts Kinect Besser: Asus Xtion

Warum Kinect/Asus Xtion Liefert von Haus aus Tiefeninformationen Videodaten ->Streaming

Sehr viele Bilder helfen alle Stellen des Objekts zu „beleuchten“

Klein und Handlich Ermöglicht es mit einem Laptop bequem ein Haus

von allen Seiten zu filmen Viel bekanntes wissen aus Microsofterfahrung

kann wieder verwendet werden Liefert schneller und bessere Ergebnisse als

einzelne Fotoaufnahmen

Microsoft Kinect Veröffentlichung: November 2010 Verfahren zur Berechnung des Tiefenbildes:

Light Coding Einschränkungen: Sonne und reflektierende

Oberflächen Distanz: 60cm bis 10m IR, RGB & Depth Bilder

OpenNI Framework für die Kinect Zugriff auf Joint-Informationen Einfache Gestenerkennung, vordefinierter

Gesten

Abbildung einer partiellen Realität in eine virtuelle Online-Welt, zum spielerischen Kennenlernen...

Documents

Transcript of Abbildung einer partiellen Realität in eine virtuelle Online-Welt, zum spielerischen Kennenlernen...

Fallstudien/Projektbeispiele Zielgruppen kennenlernen eResult GmbH

SIMATIC Getting Started PCS 7 - Erstes Kennenlernen

Das Kennenlernen von Dörfern in Patagonien (Chile und ...runa-masi.de/aktuelles/das-kennenlernen-von-doerfern.pdf · COCOCANTO – Jorge Aquino, Chilimarka, Tiquipaya, Cochabamba

korrigiert Gott Kennenlernen 1 (Einheit 1-2)bibelfuerkinder.de/download/Gott-Kennenlernen-1-Einheit-1-2.pdf · Erste Schritte mit Jesus Gott Kennenlernen: Einheiten 1-2, für 3-5jährige

Sap tool zum partiellen und konsistenten kopieren von sap mandanten und business objekten für tests und schulungen

Einführung ins Systemische Coaching. Willkommen Kennenlernen.

Geräte und Betriebssysteme kennenlernen und vergleichen.

Ausbildungskonzept der Jugendabteilung des · 2.3 E-Junioren (U11) - Vertiefung der technisch-spielerischen ... • Mixed-Training: Kleine Fußballspiele, parallel dazu Ablauf von

Fernkopierer Bedienungsanleitung - Justiz-Auktion · 7 Kennenlernen des Gerätes Kennenlernen des Gerätes Sicherheitsinformationen! WARNUNG Kennzeichnet eine Gefahrenquelle, die

Kennenlernen, Regeln & Sanktionen, Organisatorisches.

EINFUHRUNG IN DER PARTIELLEN¨ … · 2015-04-18 · EINFUHRUNG IN DER PARTIELLEN DIFFERENTIALGLEICHUNGEN 2015 5¨ Fazit: Das Potential u2C2(U) einer station¨aren, inkompressiblen

OpenStage 20 T, HiPath 4000 - Unify · 12 Das OpenStage kennenlernen Das OpenStage kennenlernen Die nachfolgenden Informationen dienen zum Kennenlernen häufig genutzter Bedienelemente

LUDWIG- DEUTSCHKURSE UNIVERSITÄT FÜR AUSLÄNDER … · und spielerischen Übungen wie Streifen-, Kärtchen-, Lege-und Würfelspielen angewendet. Als Arbeitsformen setzen wir Partner-,

Zellen des zentralen Nervensystems - helmholtz-muenchen.de · HTLV-assoziierte Myelopathie/Tropische spastische Paraparese. Funktionelle Störungen des Rückenmarks führt zu partiellen

Ergebnisse aus dem SmartH2O Projekt: Kundensensibilisierung mit spielerischen Smartmeter-Anwendungen

5. Kennenlernen ausgewählter Sprachstandserhebungsverfahren.

Mathematik - Leibniz Universität Hannover · moderne Halbgruppentheorie ist ein funktionalanalytischer Zugang zu einer Vielzahl solcher Evolutionsprobleme. Dabei werden die partiellen

Modul 1: Kennenlernen, Biografie, Motivationen und Erwartungen · 2020. 11. 9. · 3. Modul 1. Kennenlernen, Biografie, Motivationen . Einführung und Erwartungen – Einführung

Dokumentation - SkyTelecom · Asterisk OpenStage 40 SIP, OpenStage 40 G SIP ... 11 Das OpenStage kennenlernen Die nachfolgenden Informationen dienen zum Kennenlernen häufig ge-

neue Leute kennenlernen an einem spannenden Experiment ...