Modelado automático 3d de entornos mediante realidad aumentada orientado a extracción de objetos...

Presentación PFCPresentación PFC

Modelado automático 3D deModelado automático 3D de entornos mediante Realidad entornos mediante Realidad

Aumentada orientado a Aumentada orientado a extracción de objetosextracción de objetos

AutorAutor: Alejandro Domínguez Caneda: Alejandro Domínguez Caneda

Universidad de MálagaUniversidad de Málaga

TutoraTutora: Cristina Urdiales García: Cristina Urdiales García

ContenidoContenido

0. 0. IntroducciónIntroducción

1. 1. Modelado 3D del entornoModelado 3D del entorno

2. 2. Extracción de objetosExtracción de objetos

3. 3. Composición de la escenaComposición de la escena

4. 4. Actualización del modeloActualización del modelo

5. 5. Conclusiones y trabajo futuroConclusiones y trabajo futuro

6. 6. DemostraciónDemostración

0. Introducción0. Introducción

✔ Comunicaciones cada vez más rápidasComunicaciones cada vez más rápidas● Avances tecnológicosAvances tecnológicos● Protocolos más avanzadosProtocolos más avanzados● Algoritmos de compresión más potentesAlgoritmos de compresión más potentes

✗ Usuario cada vez más exigenteUsuario cada vez más exigente● El usuario se ha acostumbrado a la tecnologíaEl usuario se ha acostumbrado a la tecnología● Exigencias de velocidadExigencias de velocidad● Prestaciones altas y bajo costePrestaciones altas y bajo coste


● Se propone una técnica de compresión de vídeo para Se propone una técnica de compresión de vídeo para dispositivos de bajo coste orientada a videoconferenciadispositivos de bajo coste orientada a videoconferencia

● Enfoque oEnfoque orientado a contenido (MPEG-4)rientado a contenido (MPEG-4) vs. enfoque vs. enfoque clásico orientadoclásico orientado a fotogram a fotograma.a.✔ Descomposición en objetos (Descomposición en objetos (media objectsmedia objects))✔ Composición en recepciónComposición en recepción✔ Escalabilidad en la transmisiónEscalabilidad en la transmisión

● Extracción de objetos no se especifica en el estándarExtracción de objetos no se especifica en el estándar

● Distinción entre lo que varía y lo que no varía, paradigma Distinción entre lo que varía y lo que no varía, paradigma fondo-móvilesfondo-móviles


● FondoFondo dado a priori dado a priori

● Móviles (objetos)Móviles (objetos) extraídos mediante técnicas de extraídos mediante técnicas de sustracción del fondosustracción del fondo

● Opción. Promediado de imágenesOpción. Promediado de imágenes✔ Modelo plano del fondo estáticoModelo plano del fondo estático✗ Movimientos de cámara prohibidosMovimientos de cámara prohibidos

● Propuesta. Modelado 3D previoPropuesta. Modelado 3D previo✔ Permite movimientos de cámaraPermite movimientos de cámara✗ Requiere posicionamiento de la cámara (seguimiento o lo-Requiere posicionamiento de la cámara (seguimiento o lo-

calización)calización)

● Composición en recepción con Composición en recepción con fondo virtualfondo virtual y y objetos objetos realesreales extraídos extraídos


● Realidad Aumentada (RA)Realidad Aumentada (RA)

Entornoreal

Entornovirtual

RealidadAumentada

VirtualidadAumentada

i)i) Mundo real y virtual componen una única realidadMundo real y virtual componen una única realidadii)ii) Existe interacción con el usuario, en tiempo realExiste interacción con el usuario, en tiempo realiii)iii) Combinación se realiza en 3DCombinación se realiza en 3D

● Problema de registroProblema de registro

ContenidoContenido








1. Modelado 3D del entorno1. Modelado 3D del entorno

● Modelo virtual + posición cámara real = vista virtualModelo virtual + posición cámara real = vista virtual

● Modelado tridimensional automáticoModelado tridimensional automático

● Tracker mecánico fijado a la cámaraTracker mecánico fijado a la cámara✗ Movimientos de cámara limitadosMovimientos de cámara limitados✗ Sensible a campos electromagnéticosSensible a campos electromagnéticos

● Marcas artificialesMarcas artificiales✔ Mucha mayor libertad de movimiento, segui-Mucha mayor libertad de movimiento, segui-

miento muy rápido y precisomiento muy rápido y preciso Localización supeditada a marcas dentro del Localización supeditada a marcas dentro del

campo de visióncampo de visión


● Herramientas empleadas: OpenGL y ARToolkitHerramientas empleadas: OpenGL y ARToolkit

● OpenGL (graphics library) es una biblioteca gráficaOpenGL (graphics library) es una biblioteca gráfica✔ abierta y multiplataformaabierta y multiplataforma✔ permite gráficos 2D y 3Dpermite gráficos 2D y 3D✔ operaciones SW y HWoperaciones SW y HW✔ notación matricialnotación matricial

● ARToolkit es una biblioteca que emplea algoritmos de vi-ARToolkit es una biblioteca que emplea algoritmos de vi-sión por computador para la localización de la cámara sión por computador para la localización de la cámara mediante marcas artificialesmediante marcas artificiales✔ altas prestaciones: precisión, velocidadaltas prestaciones: precisión, velocidad✔ distribución gratuitadistribución gratuita✔ idónea para investigación, no tanto para uso comercialidónea para investigación, no tanto para uso comercial


● ¿Cómo es una marca de ARToolkit?¿Cómo es una marca de ARToolkit?– Recuadro negro sobre fondo blanco con todos sus lados Recuadro negro sobre fondo blanco con todos sus lados

iguales...iguales...– ... y un patrón negro en su interior... y un patrón negro en su interior

● ¿Cómo trabaja ARToolkit?¿Cómo trabaja ARToolkit?


● 3 Ideas, podemos...3 Ideas, podemos...a)a) ...detectar planos (ARToolkit)...detectar planos (ARToolkit)b)b)...reconocer el patrón interior (ARToolkit)...reconocer el patrón interior (ARToolkit)c)c) ...colocar objetos virtuales sobre la marca (OpenGL)...colocar objetos virtuales sobre la marca (OpenGL)

● Creación del modeloCreación del modeloa) a) Es posible aproximar el entorno por superficies planas Es posible aproximar el entorno por superficies planas

que se cortan y asignar una marca distinta a cada plano que se cortan y asignar una marca distinta a cada plano realreal

b) b) La relación entre marca y plano real es unívocaLa relación entre marca y plano real es unívocac) c) Es posible asignar a cada plano real un objeto virtual que Es posible asignar a cada plano real un objeto virtual que

lo caracterice.lo caracterice.


● Registro de planos (o marcas)Registro de planos (o marcas)– Modelo inicial formado por cero planosModelo inicial formado por cero planos– Se añaden marcas haciendo clic sobre ellasSe añaden marcas haciendo clic sobre ellas– Marca de referencia en el registroMarca de referencia en el registro– NNplanosplanos Matrices de transformación M Matrices de transformación M

ii

– NNplanosplanos-1 Matrices de conversión T-1 Matrices de conversión Tijij

TTijij = M = Mii-1-1·Mj·Mj MMjj =M =M

ii · T · Tijij MMkk = M = M

ii·T·Tijij·T·Tjkjk

● Registro de texturasRegistro de texturas✔ Captura de imagen con el registroCaptura de imagen con el registro✗ Deformación de la imagenDeformación de la imagen✗ Campo de visión limitadoCampo de visión limitado


● Deformación: problema de mapeo de texturasDeformación: problema de mapeo de texturas

✔ Técnica rápida y exacta -> Proceso inverso a la represen-Técnica rápida y exacta -> Proceso inverso a la represen-tación (o renderizado) de OpenGLtación (o renderizado) de OpenGL

● Registro de las texturas con múltiples capturasRegistro de las texturas con múltiples capturas

Mi


● Problema de ocultamientoProblema de ocultamiento


✔ VentajasVentajas– Modelado in situ y de rápida ejecuciónModelado in situ y de rápida ejecución– Localización (matrices) y apariencia (texturas) separadasLocalización (matrices) y apariencia (texturas) separadas– Volumen de datos a transmitir muy bajoVolumen de datos a transmitir muy bajo

RestriccionesRestricciones– No modela entornos complejos: superficies complejas, ob-No modela entornos complejos: superficies complejas, ob-

jetos no asociados a planos, esquinasjetos no asociados a planos, esquinas– Área total limitada por tamaño de marcasÁrea total limitada por tamaño de marcas

✗ Errores de posicionamiento debido a ruido en la imagen: Errores de posicionamiento debido a ruido en la imagen: desalineamientos, vibracióndesalineamientos, vibración

● Actualización del modeloActualización del modelo

ContenidoContenido








2. Extracción de objetos2. Extracción de objetos

● Objetivo desde el punto de vista del Sistema..Objetivo desde el punto de vista del Sistema..– .. extraer los objetos de una escena para completar la divi-.. extraer los objetos de una escena para completar la divi-

sión de ésta en fondo y objetos. Paradigma fondo-objetossión de ésta en fondo y objetos. Paradigma fondo-objetos

● Objetivo desde el punto de vista del subsistema..Objetivo desde el punto de vista del subsistema..– ..comparar dos imágenes dadas para quedarse con la ima-..comparar dos imágenes dadas para quedarse con la ima-

gen diferencia. Segmentación por color mediante sustrac-gen diferencia. Segmentación por color mediante sustrac-ción del fondo.ción del fondo.

● Postprocesado de la imagenPostprocesado de la imagen

● Diezmado previo por 4Diezmado previo por 4


Escena real con objeto..

Fondo estimado..

Algoritmo de comparación


● Tras el algoritmo de comparación se obtiene una máscara Tras el algoritmo de comparación se obtiene una máscara binaria..binaria..– Píxel fondo (-1)Píxel fondo (-1)– Píxel objeto (+1)Píxel objeto (+1)– No existe concepto de “objeto”No existe concepto de “objeto”

● Agrupación en objetosAgrupación en objetos

● Paso previo: Homogeneización por vecindad..Paso previo: Homogeneización por vecindad..

...


Escena real con objeto..

Fondo estimado..

Algoritmo de comparación

Algoritmo de homogeneización

● Lista de objetos con información referente a cada objetoLista de objetos con información referente a cada objeto– identificador (etiqueta) local de objetoidentificador (etiqueta) local de objeto– tamaño y posición de la bounding boxtamaño y posición de la bounding box– información de colorinformación de color– color transparente ...color transparente ...


● Agrupación en objetos y etiquetado. Concepto de “objeto”Agrupación en objetos y etiquetado. Concepto de “objeto”

Máscara binariaMáscara binaria Máscara de objetos Máscara de objetos (etiquetas)(etiquetas)


Algoritmo de Algoritmo de homogeneizaciónhomogeneización

● Id. = 1Id. = 1

● TamTambbbb = 159 x 125 = 159 x 125

● PosPosbbbb = (161,0) = (161,0)

● AAefef = 15000 pix = 15000 pix

● CCtransptransp = verde = verde

AgrupaciónAgrupación


● Postprocesado orientado a objetosPostprocesado orientado a objetos

● Posibles criteriosPosibles criterios– Tamaño real del objetoTamaño real del objeto– Tamaño de la Tamaño de la bounding boxbounding box– Relación área efectiva-área de la Relación área efectiva-área de la bounding boxbounding box– FormaForma– ......

● 2 criterios2 criterios– Se establece un área mínimaSe establece un área mínima– Se establece un número de apariciones mínimo, reducien-Se establece un número de apariciones mínimo, reducien-

do la aparición de objetos que parpadeando la aparición de objetos que parpadean


Algoritmo de Algoritmo de homogeneizaciónhomogeneización ● Id. = 1Id. = 1

● TamTambbbb = 159 x 125 = 159 x 125

● PosPosbbbb = (161,0) = (161,0)

● AAefef = 15000 pix = 15000 pix


PostprocesadoPostprocesado

● Id. = 1Id. = 1

● TamTambbbb = 159 x 125 = 159 x 125

● PosPosbbbb = (161,0) = (161,0)

● AAefef = 15000 pix = 15000 pix


AgrupaciónAgrupación


● Muchas fuentes de errorMuchas fuentes de error– Desalineamiento en el modeloDesalineamiento en el modelo– Cambios en la iluminaciónCambios en la iluminación– Ruido presente en la imagenRuido presente en la imagen– CamuflajeCamuflaje– SombrasSombras– ......

● ConclusionesConclusiones– FiableFiable– Técnica rápida (en torno a 24 fps)Técnica rápida (en torno a 24 fps)– No hace más presunción que conocer el fondoNo hace más presunción que conocer el fondo– Información adicional mejoraría el resultado: sensores de Información adicional mejoraría el resultado: sensores de

temperatura, o distanciatemperatura, o distancia

ContenidoContenido








3. Composición de la escena3. Composición de la escena

● Se realiza en el extremo receptorSe realiza en el extremo receptor

● Matemáticamente se expresa así..Matemáticamente se expresa así..

● En la práctica componer la escena es pegar los “objetos En la práctica componer la escena es pegar los “objetos reales” extraídos sobre un “fondo virtual”, a partir de la reales” extraídos sobre un “fondo virtual”, a partir de la información de aquéllosinformación de aquéllos

● Extremo receptor debe disponer de ambas componentesExtremo receptor debe disponer de ambas componentes

● Aplicación de RAAplicación de RA

C x , y , t =M x , y , t ⋅F i x , y ,t M x , y , t ⋅I x , y ,t


(Mi, Tij)

RECEPTORRECEPTORTRANSMISORTRANSMISOR


● Ventajas de todo esto..Ventajas de todo esto..– Enviar fondo y objetos por separado reduce el volumen de Enviar fondo y objetos por separado reduce el volumen de

datosdatos– Problema del hombre del tiempo. Sustituir el fondo origi-Problema del hombre del tiempo. Sustituir el fondo origi-

nalnal


(Mi, Tij)





nalnal– Procesado de objetosProcesado de objetos


(Mi, T

ij)





nalnal– Procesado de objetos: OCR, reconocimiento de objetos, Procesado de objetos: OCR, reconocimiento de objetos,

mejorar la imagen...mejorar la imagen...

● ConclusionesConclusiones✔ Proceso sencillo y rápidoProceso sencillo y rápido✔ VersátilVersátil✗ Composición con texturas no originales precisa tratamien-Composición con texturas no originales precisa tratamien-

t0 específicot0 específico

ContenidoContenido








4. Actualización del modelo4. Actualización del modelo

● El fondo también sufre variacionesEl fondo también sufre variaciones

● CausasCausas– Cambios en la iluminaciónCambios en la iluminación– Equilibrio automático de blancos (AWB) defectuosoEquilibrio automático de blancos (AWB) defectuoso

● AlgoritmoAlgoritmo

B x , y , t =1−⋅B x , y , t−1⋅I x , y , t

C x , y , t =M x , y , t ⋅[ 1−⋅B x , y , t−1⋅I x , y ,t ]M x , y , t ⋅B x , y , t−1


● Máscaras de objetos rectangularesMáscaras de objetos rectangulares– Evitar objetos engullidosEvitar objetos engullidos– Aumentar velocidad ejecuciónAumentar velocidad ejecución

● Parámetro de olvido Parámetro de olvido αα [0,1] [0,1]– α ≈ 0α ≈ 0

● Actualización lentaActualización lenta● Robustez frente a errores en extracciónRobustez frente a errores en extracción

– α ≈ 1α ≈ 1● Mayor adaptación a los cambiosMayor adaptación a los cambios● Muy sensible a errores en extracciónMuy sensible a errores en extracción

● Tasa de actualizaciónTasa de actualización

ContenidoContenido








5. Conclusiones y trabajo futuro5. Conclusiones y trabajo futuro

● Modelado 3DModelado 3D– ConclusionesConclusiones

✔ Modelado in situ, cuasi tiempo real y sencilloModelado in situ, cuasi tiempo real y sencillo✔ Representación veloz (hasta 24 fps) y alta fidelidadRepresentación veloz (hasta 24 fps) y alta fidelidad✔ Volumen de transmisión muy bajoVolumen de transmisión muy bajo✗ Imprecisión en el cálculo de la posición de las marcasImprecisión en el cálculo de la posición de las marcas✗ Entornos con restricciones: 20 mEntornos con restricciones: 20 m22, compuesto por planos, sin , compuesto por planos, sin

esquinasesquinas– Trabajo futuroTrabajo futuro

● Mejor tratamiento de estabilización en el posicionamiento (ARTag, Mejor tratamiento de estabilización en el posicionamiento (ARTag, ARToolkitPlus)ARToolkitPlus)

● Aumentar la complejidad de los entornos: marcas coplanares, uso Aumentar la complejidad de los entornos: marcas coplanares, uso de bibliotecas de objetos 3D, detección de interseccionesde bibliotecas de objetos 3D, detección de intersecciones


● Extracción de objetosExtracción de objetos– ConclusionesConclusiones

✔ Extracción de objetos satisfactoria para diferentes entornosExtracción de objetos satisfactoria para diferentes entornos✔ Postprocesado de objetos contribuye al resultado sustancialmentePostprocesado de objetos contribuye al resultado sustancialmente✔ Proceso veloz, se mantiene tasa hasta 24fpsProceso veloz, se mantiene tasa hasta 24fps✗ En general, sustracción del fondo por comparación del color no es En general, sustracción del fondo por comparación del color no es

suficiente (camuflaje)suficiente (camuflaje)✗ Pérdida de resolución del recorte debido a diezmadoPérdida de resolución del recorte debido a diezmado

– Trabajo futuroTrabajo futuro● Postprocesado específico para el contornoPostprocesado específico para el contorno● Información adicional: temperatura, distanciaInformación adicional: temperatura, distancia● Altas tasas fps permiten algoritmos más complejosAltas tasas fps permiten algoritmos más complejos● Protocolo específico de transmisión de objetos comprimidosProtocolo específico de transmisión de objetos comprimidos


● Composición de la escenaComposición de la escena– ConclusionesConclusiones

✔ Proceso muy rápido por su sencillezProceso muy rápido por su sencillez✔ Tasa de fotogramas se mantiene en torno a 24 fpsTasa de fotogramas se mantiene en torno a 24 fps✗ Composición con fondos alternativos mejorableComposición con fondos alternativos mejorable

– Trabajo futuroTrabajo futuro● Adaptar la salida al estándar MPEG-4Adaptar la salida al estándar MPEG-4● Mejorar la composición en fondos alternativosMejorar la composición en fondos alternativos


● Actualización del modeloActualización del modelo– ConclusionesConclusiones

✔ Expectativas satisfechas con cambios no bruscosExpectativas satisfechas con cambios no bruscos✔ Tasa instantánea final de fotogramas no inferior a 16 fpsTasa instantánea final de fotogramas no inferior a 16 fps✗ Congelación de la imagenCongelación de la imagen

– Trabajo futuroTrabajo futuro● Evitar la congelación de la imagen en el momento de la actualiza-Evitar la congelación de la imagen en el momento de la actualiza-

ciónción● Incluir procesado a las texturas para compensar el AWBIncluir procesado a las texturas para compensar el AWB

ContenidoContenido








Modelado automático 3d de entornos mediante realidad aumentada orientado a extracción de objetos...

Engineering

Transcript of Modelado automático 3d de entornos mediante realidad aumentada orientado a extracción de objetos...