Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE...
-
Upload
vicente-navarrete-salazar -
Category
Documents
-
view
218 -
download
0
Transcript of Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE...
![Page 1: Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3)](https://reader035.fdocuments.net/reader035/viewer/2022062809/5665b48f1a28abb57c922ebd/html5/thumbnails/1.jpg)
Structure from Motion 1
3D structure from motion
Tony Jebara, Ali Azarbayejani, Alex Pentland
IEEE signal processing Magazine 16(3)
![Page 2: Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3)](https://reader035.fdocuments.net/reader035/viewer/2022062809/5665b48f1a28abb57c922ebd/html5/thumbnails/2.jpg)
Structure from Motion 2
Introduccion
• Estructura a partir del movimiento (SfM: Structure from Motion): Cálculo de geometría 3D a partir del flujo óptico o movimiento en 2D.
• Asunciones que simplifican el problema– Los objetos se mueven de forma rígida o, equivalentemente, sólo la cámara se
mueve en el entorno
– Existe un módulo que preprocesa las imágenes para extraer todas las características relevantes en 2D (puntos caracteristicos, esquinas, lineas) en cada trama las caracteristicas se extraen y se obtienen las correspondencias intertrama
– No asumen conocimiento sobre las posiciones 3D, el movimiento de la cámara o la geometría de la cámara
![Page 3: Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3)](https://reader035.fdocuments.net/reader035/viewer/2022062809/5665b48f1a28abb57c922ebd/html5/thumbnails/3.jpg)
Structure from Motion 3
![Page 4: Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3)](https://reader035.fdocuments.net/reader035/viewer/2022062809/5665b48f1a28abb57c922ebd/html5/thumbnails/4.jpg)
Structure from Motion 4
Aplicaciones
• Reconstrucciones de modelos 3D: reconstrucción de construcciones arquitectónicas
• Movimiento 3D coordinado (motion matching)– Inserción de objetos virtuales en las escenas (fig 2)
– Animación controlada visualmente (fig 1)
– Juegos, cine, video, medios interactivos. Diseño industrial, visualizacion, realida virtual y realización aumentada virtualmente
• Calibración de cámara: visión activa– Parámetros externos de posición de la cámara
– Parámetros internos como la longitud focal
![Page 5: Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3)](https://reader035.fdocuments.net/reader035/viewer/2022062809/5665b48f1a28abb57c922ebd/html5/thumbnails/5.jpg)
Structure from Motion 5
![Page 6: Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3)](https://reader035.fdocuments.net/reader035/viewer/2022062809/5665b48f1a28abb57c922ebd/html5/thumbnails/6.jpg)
Structure from Motion 6
Aplicaciones
• Visión 3D: SfM como subcomponente de aplicaciones de visión 3D
• Interfaces perceptivas: reconocimiento de gestos
• Robótica– Coordinación ojo-mano, navegación, detección de obstaculos
• Codificación 3D de secuencias
• Mosaicos y rectificación: reconocimiento remoto
![Page 7: Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3)](https://reader035.fdocuments.net/reader035/viewer/2022062809/5665b48f1a28abb57c922ebd/html5/thumbnails/7.jpg)
Structure from Motion 7
Origenes de SfM
• Photogrammetry: extracción de información tridimensional para construcción de mapas. SfM se utilizó originalmente para rectificar y construir mosaicos, y para estimar elevaciones
• Visión– Marr and Poggio reconstrucción 3D a partir de estereo, basado en
emparejamientos de puntos singulares
– Ulman muestra que el emparejamiento de cuatro puntos en tres tramas da una solución única para los parámetros de movimiento y estructura, a través de un algoritmo no-lineal
![Page 8: Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3)](https://reader035.fdocuments.net/reader035/viewer/2022062809/5665b48f1a28abb57c922ebd/html5/thumbnails/8.jpg)
Structure from Motion 8
Técnicas lineales
• Métodos lineales: – tienen solución directa
– Son más elegantes
– Son inestables numericamente
![Page 9: Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3)](https://reader035.fdocuments.net/reader035/viewer/2022062809/5665b48f1a28abb57c922ebd/html5/thumbnails/9.jpg)
Structure from Motion 9
Geometría proyectiva
COP: centro de proyección
Proyección de perspectiva
![Page 10: Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3)](https://reader035.fdocuments.net/reader035/viewer/2022062809/5665b48f1a28abb57c922ebd/html5/thumbnails/10.jpg)
Structure from Motion 10
Geometría epipolar: visión estereo
Plano epipolar
Lineas epipolares: intersección de la imagencon el plano epipolar
F matriz fundamental
![Page 11: Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3)](https://reader035.fdocuments.net/reader035/viewer/2022062809/5665b48f1a28abb57c922ebd/html5/thumbnails/11.jpg)
Structure from Motion 11
Geometria epipolar: La matriz fundamental F
• Relaciona las dos vistas
• Codifica la geometría intrínseca tanto como el movimiento relativo extrínseco entre las cámaras
• Es una relación lineal
• La estimación de F es independiente de la escena
• Identificar un punto en una imagen nos da una línea epipolar en la otra imagen
![Page 12: Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3)](https://reader035.fdocuments.net/reader035/viewer/2022062809/5665b48f1a28abb57c922ebd/html5/thumbnails/12.jpg)
Structure from Motion 12
Geometria epipolar: La matriz fundamental F
• Dados ocho puntos observados y emparejados, se plantean 8 ecuaciones que dan un sistema de ecuaciones lineal
• Dados mas de 8 puntos se resuelve por mínimos cuadrados
• La estimación es numericamente inestable, involucra la SVD
• Degeneraciones: coincidencia de los COP, puntos coplanares en la escena, sensibilidad al ruido
![Page 13: Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3)](https://reader035.fdocuments.net/reader035/viewer/2022062809/5665b48f1a28abb57c922ebd/html5/thumbnails/13.jpg)
Structure from Motion 13
Geometria trifocal
Tensor trifocal con 18 grados de libertad que se pueden estimarpor minimos cudrados
![Page 14: Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3)](https://reader035.fdocuments.net/reader035/viewer/2022062809/5665b48f1a28abb57c922ebd/html5/thumbnails/14.jpg)
Structure from Motion 14
Tomasi-Kanade factorización
• Basado en la proyección ortográfica
![Page 15: Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3)](https://reader035.fdocuments.net/reader035/viewer/2022062809/5665b48f1a28abb57c922ebd/html5/thumbnails/15.jpg)
Structure from Motion 15
Tomasi-Kanade
• P puntos seguidos en F tramas en una matriz W de tamaño 2FxP
• Para cada trama los P puntos se registran substrayendo la media
• La matriz resultante es factorizada W=RS
• Inconvenientes: no calcula movimientos hacia delante, movimientos: traslaciones en el plano imagen, rotaciones limitadas de la camara
![Page 16: Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3)](https://reader035.fdocuments.net/reader035/viewer/2022062809/5665b48f1a28abb57c922ebd/html5/thumbnails/16.jpg)
Structure from Motion 16
Issues for motion sequences
• Seguimiento probabilistico de las caracterísiticas. Es preciso modelar el error de estimación de las caracteristicas (Gausianas)
• Causalidad y recursion:el movimiento de la cámara puede ser tenido en cuenta para añadir robusted
• Los desplazamientos entre los COP (baseline) son pequeños: genera inestabilidades numericas/facilita el seguimiento de caracteristicas
![Page 17: Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3)](https://reader035.fdocuments.net/reader035/viewer/2022062809/5665b48f1a28abb57c922ebd/html5/thumbnails/17.jpg)
Structure from Motion 17
Proposición
• Recuperación recursiva de estructura 3D, movimiento 3D y geometría de la cámara a partir de correspondencias sobre una secuencia
• Caracteristicas– Integra un modelo dinámico
– Modela el error
– Tiempo real, online
– Da un resultado métrico 3D completo
![Page 18: Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3)](https://reader035.fdocuments.net/reader035/viewer/2022062809/5665b48f1a28abb57c922ebd/html5/thumbnails/18.jpg)
Structure from Motion 18
El sistema dinámico
• Sistema dinámico definido en el plano imagen, x es el estado interno, y el observable
• La observación es no lineal y corrompida por ruido
• La dinámica interna es lineal y corrompida por ruido, en general se considera un random walk
![Page 19: Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3)](https://reader035.fdocuments.net/reader035/viewer/2022062809/5665b48f1a28abb57c922ebd/html5/thumbnails/19.jpg)
Structure from Motion 19
Representación interna
• Geometria proyectiva central
Desacopla la inversa de la distanciafocal de la coordenada Z del puntocentral de la image
![Page 20: Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3)](https://reader035.fdocuments.net/reader035/viewer/2022062809/5665b48f1a28abb57c922ebd/html5/thumbnails/20.jpg)
Structure from Motion 20
Representacion interna
• Modelo 3D: N puntos seguidos en la secuencia de F trama
• Cada punto se representa por su rayo de perspectiva
• Reducida complejidad y mejora de estabilidad numerica
![Page 21: Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3)](https://reader035.fdocuments.net/reader035/viewer/2022062809/5665b48f1a28abb57c922ebd/html5/thumbnails/21.jpg)
Structure from Motion 21
Representación interna
• Traslacion 3D, definida sobre el sistema centrado en la imagen
• Debido a la sensibilidad de la estimación en el eje Z se usa la transformación que permite observarlo
![Page 22: Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3)](https://reader035.fdocuments.net/reader035/viewer/2022062809/5665b48f1a28abb57c922ebd/html5/thumbnails/22.jpg)
Structure from Motion 22
Representación interna
• Rotación 3D: mediante un cuaternion unitario que tiene tres grados de libertad.
• Y un cuaternio incremental que permite mantener un estimador de la rotación global
![Page 23: Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3)](https://reader035.fdocuments.net/reader035/viewer/2022062809/5665b48f1a28abb57c922ebd/html5/thumbnails/23.jpg)
Structure from Motion 23
Extended Kalman filter
• La representación interna es
• Mas un cuaternion de rotación externo al algoritmo
![Page 24: Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3)](https://reader035.fdocuments.net/reader035/viewer/2022062809/5665b48f1a28abb57c922ebd/html5/thumbnails/24.jpg)
Structure from Motion 24
Experimento 1
![Page 25: Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3)](https://reader035.fdocuments.net/reader035/viewer/2022062809/5665b48f1a28abb57c922ebd/html5/thumbnails/25.jpg)
Structure from Motion 25
![Page 26: Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3)](https://reader035.fdocuments.net/reader035/viewer/2022062809/5665b48f1a28abb57c922ebd/html5/thumbnails/26.jpg)
Structure from Motion 26
Experimento 2
![Page 27: Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3)](https://reader035.fdocuments.net/reader035/viewer/2022062809/5665b48f1a28abb57c922ebd/html5/thumbnails/27.jpg)
Structure from Motion 27
![Page 28: Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3)](https://reader035.fdocuments.net/reader035/viewer/2022062809/5665b48f1a28abb57c922ebd/html5/thumbnails/28.jpg)
Structure from Motion 28
Real time face tracking
![Page 29: Structure from Motion1 3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3)](https://reader035.fdocuments.net/reader035/viewer/2022062809/5665b48f1a28abb57c922ebd/html5/thumbnails/29.jpg)
Structure from Motion 29