RECONSTRUÇÃO 3DHildebrando Trannin

Visão Computacional e Realidade Aumentada

Prof.: Marcelo Gattass

OBJETIVO

Implementar uma aplicação que gere uma nuvem de pontos para posterior geração manual de uma malha de triângulos de um objeto 3D

Entrada: vídeo ou conjunto de imagens Saída: Nuvem de pontos

ETAPAS

Extração de frames Detecção de características Calibração da câmera Correspondência entre essas características Criação de retalhos entre par de frames Alinhamento dos retalhos para geração da

nuvem de pontos

EXTRAÇÃO DE FRAMES Entrada: vídeo

Distância deve ser pequena: próximo de 5 graus Distância maior:

Qualidade inferior Perda de características

Entrada: imagens Imagens capturadas de acordo com o esperado

pela aplicação Distância pode ser maior: 10 graus

Qualidade superior Não perde características

DETECÇÃO DE CARACTERÍSTICAS

Características Estruturas específicas em uma imagem

canto, aresta, ...

Detector de características: SIFT

Não varia na escala e rotação da imagem Detecção de texturas Algoritmo possui 4 etapas:

Detecção dos máximos locais = Keypoints DoG = Invariante à escala

Localização dos keypoints = Refinamento Cálculo da orientação dos keypoints considerando o

gradiente = Invariante à rotação Gera descritor de acordo com orientação do

keypoint

CALIBRAÇÃO

Padrão utilizado é o tabuleiro de xadrez Tsai 2D

Simples Somente uma imagem do padrão Parâmetros intrínsecos considerados os mesmos

em todas as imagens

CORRESPONDÊNCIA Geometria epipolar

Correspondência pela geometria das câmeras Calcular matriz fundamental

Precisa de calibração (extrínsecos e intrínsecos) Resultados não satisfatórios

CORRESPONDÊNCIA SIFT

Distância Euclidiana para cálculo dos correspondentes Força bruta Kd-tree Best Bin First (modificação do kd-tree)

Não precisa de calibração Melhores resultados

Utiliza facilidades oferecidas pela detecção de características ter sido feito com SIFT

CORRESPONDÊNCIA RANSAC - RANdom SAmple Consensus

Método iterativo para estimar dados relevantes de um modelo matemático de um conjunto de dados que contém outliers

Resultados produzidos baseados na probabilidade de um certo dado ser inlier ou outlier

Eliminação dos outliers de acordo com probabilidade

Resultados muito melhores

NUVEM DE PONTOS Triangulação

Retas R e R’ deveriam se intersectar em um ponto, mas erros na calibração e correspondência impedem

Construir segmento de reta perpendicular a R e R’ e calcular o ponto médio P desta reta

P é o ponto associado a p e p’

NUVEM DE PONTOS Triangulação feita a cada par de frame

Cada par é somente um ponto de vista Geração de retalhos do objeto 3D

Alinhamento dos retalhos Correspondência entre pontos característicos do

objeto cantos, bordas, ...

Informação presente no sistema Rotação inversa do ângulo de cada retalho

10 graus (imagens) ou 5 graus (vídeo) Resultado não satisfatório

RESULTADOSDETECÇÃO DE CARACTERÍSTICAS

Imagem 1 – PataHi

RESULTADOSDETECÇÃO DE CARACTERÍSTICAS

Imagem 2 – PataHi

RESULTADOSCORRESPONDÊNCIA

Match 1 e 2 na imagem 1 – PataHi

RESULTADOSCORRESPONDÊNCIA

Match 1 e 2 na imagem 1 – PataHi

RESULTADOSDETECÇÃO DE CARACTERÍSTICAS

Imagem 1 – Carro

RESULTADOSDETECÇÃO DE CARACTERÍSTICAS

Imagem 1 – Carro Voodoo Camera Tracker

RESULTADOSCORRESPONDÊNCIA

Match 1 e 2 na imagem 1 – Carro

RESULTADOSCORRESPONDÊNCIA

Match 1 e 2 na imagem 1 – Carro Voodoo Camera Tracker

RESULTADOSDETECÇÃO DE CARACTERÍSTICAS

Imagem 1 – Pequeno construtor

RESULTADOSDETECÇÃO DE CARACTERÍSTICAS

Imagem 2 – Pequeno construtor

RESULTADOSCORRESPONDÊNCIA

Match 1 e 2 na imagem 1 – Pequeno construtor

RESULTADOSCORRESPONDÊNCIA

Match 1 e 2 na imagem 2 – Pequeno construtor

RESULTADOS CALIBRAÇÃO

Calibração – PataHi

RESULTADOS CALIBRAÇÃO

Calibração – Pequeno construtor

RESULTADOSNUVEM DE PONTOS

Retalho 1 - PataHi

RESULTADOSNUVEM DE PONTOS

Retalho 2 - PataHi

RESULTADOSNUVEM DE PONTOS

Retalho 4 - PataHi

MELHORIASCALIBRAÇÃO

Tsai 3D ou Zhang Calibração do Tsai 2D só é boa para pontos

próximos ao plano do padrão Mais adequados para reconstrução 3D

Estimar matriz fundamental pelo algoritmo de oito pontos

MELHORIASNUVEM DE PONTOS

Retificação antes da triangulação Retas que saem de p e p’ se intersectam

realmente em P

MELHORIASNUVEM DE PONTOS

Iterative Closest Point Método para alinhar pares de retalhos Iterativamente, transforma dois conjuntos de

pontos minimizando a distância entre eles Etapas do algoritmo:

Pares de pontos são identificados nos dois retalhos Método de otimização calcula o movimento rígido que

reduz a distância entre ambos

Programa de visualização da nuvem de pontos Mudar rotação pelo mouse Mudar translação pelo teclado

CONCLUSÃO Projeto válido por possibilitar um amplo

estudo dos assuntos abordados no curso

Resultados satisfatórios dependem: Estudo mais a fundo de todas as fases Utilização de diversas técnicas em cada fase Teste dessas técnicas para ajustes

REFERÊNCIAS A Review of 3D Reconstruction from Video Sequences -

MediaMill3D technical reports series, Dang Trung Kien Automatic Camera Calibration and Scene Reconstruction

with Scale-Invariant Features, Jun Liu and Roger Hubbold Computer Vision - A Modern Approach, David A. Forsyth Fotografia 3D, Luiz Velho e Paulo Cezar Carvalho Visual modeling with a hand-held camera, Marc Pollefeys VideoTrace: Rapid interactive scene modelling from video

- http://www.acvt.com.au/research/videotrace Voodoo Camera Tracker -

http://www.digilab.uni-hannover.de/docs/manual.html Object Recognition from Local Scale-Invariant Features,

David G. Lowe A method for registration of 3D shapes, Paul J. Besl e Neil

D. Mckay