Reconstrução de cenas a partir de imagens através de Escultura do Espaço por Refinamento...
-
Upload
mirella-benke-pacheco -
Category
Documents
-
view
216 -
download
0
Transcript of Reconstrução de cenas a partir de imagens através de Escultura do Espaço por Refinamento...
Reconstrução de cenas a partir de imagens através de Escultura do Espaço por
Refinamento Adaptativo por
Anselmo A. Montenegro
Tese de doutorado
Orientadores: Marcelo Gattass, PUC-Rio Paulo Cezar Carvalho, IMPA
Roteiro
• Introdução• Trabalhos anteriores• Processamento no espaço das imagens• Processamento no espaço da cena• O método proposto• Implementação do sistema• Resultados• Conclusões e trabalhos futuros
Motivação básica
• Cenários virtuais• Telepresença• Jogos• Engenharia: “As-built” models
Um sistema de modelagem de objetos baseado em câmeras e computadores pessoais para dar suporte a atividades como:
Reconstrução por superfícies
Cena reconstruída
Texturização
Estruturação
Registro
Aquisição de dados
Reconstrução Volumétrica
Características:– Representa a cena através de uma subdivisão
volumétrica do espaço.– Não requer a solução explícita do problema de
correspondências.– A solução é obtida através da satisfação de
restrições.– Subdivide-se em duas classes:
• Métodos baseados em silhuetas.• Métodos baseados em foto-consistência.
Reconstrução Volumétrica
• Reconstrução volumétrica através de silhuetas:–Primeiro método de reconstrução volumétrica. –Procura estimar o Visual Hull:
forma que quando visualizada reproduz as silhuetas observadas
–Aproximado através de interseções de cones volumétricos.–Não captura formas com curvatura negativa.
Reconstrução Volumétrica
• Reconstrução baseada em critérios de foto-consistência:– Baseia-se na existência de coerência das cores geradas pelos
pontos da cena em cada uma das imagens. – Não requer uma segmentação explícita da cena em fundo e
objeto.– Exemplos:
• Coloração de voxels (Seitz e Dyer 1997/1999).• Escultura do espaço (Kutulakos e Seitz 2000).
– Assume que a iluminação é localmente computável.
Reconstrução Volumétrica
Reconstrução Volumétrica: cronologia
Interseções entre
Superfícies
Martin e Aggarwal (83)
Representações por octrees
Chien(84, 85), Potmesil(87), Szeliski(93)
Representações por voxels
Massone(85), Fromhertz(94,95) e Moezzi(96, 97)
Reconstrução baseada em silhuetas
Seitz e Dyer
(1997,1998)
Seitz e Kutulakos
(2000)
Variações
Reconstrução baseada em foto-consistência
Escultura do espaço no espaço das imagens
Imagem 1 Imagem 2 Imagem 3 Imagem 4 Estado
Segmentação objeto objeto objeto objeto OBJETO
Amostra/Visibilidade
VISÍVEL
Resultado combinado
NÃOCONSISTENTE
Exemplo 1: não-foto-consistência
Escultura do espaço no espaço das imagens
Imagem 1 Imagem 2 Imagem 3 Imagem 4 Estado
Segmentação objeto objeto objeto objeto OBJETO
Amostra/Visibilidade
VISÍVEL
Resultado combinado X X CONSISTENTE
Exemplo 2: foto-consistência
Escultura do espaço no espaço das imagens
Imagem 1 Imagem 2 Imagem 3 Imagem 4 Estado
Segmentação fundo objeto objeto objeto FUNDO
Amostra/Visibilidade X X X X XResultado combinado X X X X NÃO
CONSISTENTE
Exemplo 3: não-foto-consistência trivial
Escultura do espaço no espaço das imagens
Imagem 1 Imagem 2 Imagem 3 Imagem 4 Estado
Segmentação objeto objeto objeto objeto OBJETO
Amostra/Visibilidade
NÃO VISÍVEL
Resultado combinado X X X X NÃO
CONSISTENTE
Exemplo 4: foto-consistência trivial
Escultura do espaço no espaço das imagens
Escultura do espaço no espaço das imagens: problemas
Dificuldade de registro
Amostragem inadequada
Conseqüências:–Erros na avaliação de foto-consistência.
–Erros no tratamento das informações sobre a visibilidade dos voxels.
–Dificuldade de lidar com imagens em resoluções diferentes .
Solução: Processamento no espaço da cena.
Aproximação da reprojeção dos voxels
através de pontos
Escultura do espaço no espaço da cena• Estratégia:
– Registrar as informações relevantes nos planos de varredura (referência).
• Mecanismo utilizado:– Mapeamento projetivo de texturas.
• Vantagens:– Fácil registro.– Reamostragem correta.– Tratamento correto da visibilidade.– Possibilidade de programação em hardware.
Escultura do espaço no espaço da cena
Escultura do espaço no espaço da cena
Imagens e segmentação
Mapas de visibilidade
Escultura do espaço no espaço da cena
Imagens e segmentação
Mapas de visibilidade
amostra
Escultura do espaço no espaço da cena
Imagem 1 Imagem 2 Imagem 3 Imagem 4 Estado
SegmentaçãoO O O O O F F O
FUNDOO F O O O O O O
AmostraX X X X X X X X
XX X X X X X X X
Resultado combinado
X X X X X X X X NÃOCONSISTENTEX X X X X X X X
Exemplo1: não-foto-consistência
Escultura do espaço no espaço da cena
Imagem 1 Imagem 2 Imagem 3 Imagem 4 Estado
SegmentaçãoO O O O O O O O
FUNDOO O O O O O O O
AmostraVISÍVEL
Resultado combinado CONSISTENTE
X X X X
Exemplo 2: foto-consistência
Escultura do espaço no espaço da cena
Proposta do trabalho: Escultura do espaço por refinamento adaptativo
• Motivação:– Não é possível conhecer a príncipio a resolução
adequada para a realização da reconstrução.– A representação do espaço através de partição
uniforme não é econômica.– Processo ineficiente: muitos elementos
individuais são avaliados de forma desnecessária.
Escultura do espaço por refinamento adaptativo
• Objetivos:– Descartar grandes regiões vazias já nos
estágios iniciais do processo.– Concentrar esforços em regiões próximas à
superfície da cena.– Utilizar células de grande resolução
somente onde for necessário.
• Estratégia:– Representar o espaço de reconstrução através de
subdivisão adaptativa: octrees. – Projetar as imagens de entrada em níveis de resolução
compatíveis com o nível de refinamento do espaço(uso de mipmapping).
– Aplicar uma etapa do algoritmo de varredura de planos para cada nível de refinamento.
– Utilizar as informações sobre a segmentação dos objetos de interesse para a remoção de espaços vazios.
– Trabalhos correlatos: Prock 1999 e Sainz 2002.
Escultura do espaço por refinamento adaptativo
Escultura do espaço por refinamento adaptativo
Escultura do espaço por refinamento adaptativo
• Varredura dos planos.– O número de planos de varredura depende somente
do nível de refinamento corrente da octree.– As células em cada plano de varredura podem ser
determinadas através da interseção do plano corrente com a octree.
– Em uma dada iteração são consideradas somente células não avaliadas.
Escultura do espaço por refinamento adaptativo
Escultura do espaço por refinamento adaptativo
– Classificações para cada célula:• Foto-consistente.• Não-foto-consistente.• Indefinida.
– Célula indefinida:• Caso 1: célula mista (fundo/objeto).• Caso 2: célula intermediária com informação fotométrica incoerente.
– Célula não-foto-consistente:– Caso 1: célula de fundo.– Caso 2: célula de nível máximo com informação fotométrica
incoerente.
Escultura do espaço por refinamento adaptativo: classificação das células
• É realizada com base em teste estatístico (determinar se as diferenças fotométricas são significantes, comparadas com o ruído).
• Deve levar em consideração os efeitos da filtragem sobre as imagens projetadas.
Escultura do espaço por refinamento adaptativo: avaliação da coerência fotométrica.
Efeito da filtragem na foto consistência
Sistema de aquisição
Calibração do fundo da cena
Calibração das câmeras
Captura das imagens
Segmentação dos objetos
Reconstrução por E.E.
Dificuldades na calibração das câmeras
• Excesso de ruído nas imagens.• Necessidade de um método robusto.• Método utilizado: (Szenberg 2001).
– Baseado em reconhecimento de modelos.– Não requer que todas as feições sejam
identificadas nas imagens.
Calibração das câmeras
Resultado da calibração
Identificação do fundo da cena
• Necessária para a segmentação dos objetos de interesse.
• As imagens do fundo são modeladas através de intervalos de confiança para as médias dos valores observados nas componentes r, g e b de cada pixel.
• Feita em etapa de pré-processamento e pode usar um número grande de amostras (foram usadas 128 amostras, obtidas de 128 quadros).
Captura das imagens e segmentação
• Cada imagem é obtida como uma média de vários quadros (foram usados quatro quadros).
• Os objetos de interesse são segmentados com base nos mapas de intervalos de confiança.
• Se o valores observados para um pixel estão dentro dos respectivos intervalos de confiança, o pixel é classificado como do fundo; senão, ele é considerado como pertencente aos objetos.
• Problemas: sombras e penumbras são consideradas como parte dos objetos.
Captura das imagens e segmentação: tratamento de sombras
• Métodos baseados em correlação não conseguem corrigir problemas associados às sombras.
• Solução: teste com base em intervalos de confiança para os canais de cromaticidade.
Testes: dado I – “Al”
Testes: dado I – imagens segmentadas
Testes: dado II – “Dolphins”
Testes: dado II – imagens segmentadas
Testes: dado III – “Tigre”
Testes: dado III – imagens segmentadas
Testes: dado III – “Tigre”
Testes: dado III – imagens segmentadas
Recontrução EEEI - dado I – 256x256
Recontrução EEEC - dado I – 256x256
Recontrução EERA - dado I – 256x256
Recontrução EEEI - dado II – 256x256
Recontrução EEEC - dado II – 256x256
Recontrução EERA - dado II – 256x256
Recontrução EEEI - dado III – 256x256
Recontrução EEEC - dado III – 256x256
Recontrução EERA - dado III – 256x256
Reconstruções em diferentes resoluções – dado Tigre
EEEI 64x64
EEEI 128x128
EEEC 64x64
EEEC 128x128
EERA 64x64
EERA 128x128
Reconstruções em diferentes resoluções – dado Dino
EEEI 64x64
EEEI 128x128
EEEC 64x64
EEEC 128x128
EERA 64x64
EERA 128x128
Níveis de refinamento no método EERA
Nível 5Nível 6Nível 7Nível 8
Níveis de refinamento no método EERA
Nível 4Nível 5Nível 6Nível 7Nível 8
Níveis de refinamento no método EERA
Nível 5Nível 6Nível 7Nível 8
Níveis de refinamento no método EERA
Nível 5Nível 6Nível 7Nível 8
Resultados: dado “Al”EEEI
Tamanho Total de voxs. Voxs. removidos Voxs. consistentes Tempo64x64 262144 242683 19461 1s
128x128 2097152 1941614 155538 6s
256x256 16777216 15532893 1244323 49s
EEEC
Tamanho Total de voxs. Voxs. removidos Voxs. consistentes Tempo64x64 262144 244540 17604 3s
128x128 2097152 1948049 149103 12s
256x256 16777216 15530995 1246221 70s
EERA
Tamanho Tempo64x64 4s
128x128 8s
256x256 18s
Resultados: dado “Dolphins”EEEI
Tamanho Total de voxs. Voxs. removidos Voxs. consistentes Tempo64x64 262144 257438 4706 1s
128x128 2097152 2059575 37577 6s
256x256 16777216 15532893 299199 45s
EEEC
Tamanho Total de voxs. Voxs. removidos Voxs. consistentes Tempo64x64 262144 258286 3858 3s
128x128 2097152 2062666 34486 12s
256x256 16777216 16476192 301024 71s
EERA
Tamanho Tempo64x64 3s
128x128 6s
256x256 13s
Resultados: dado “Tigre”EEEI
Tamanho Total de voxs. Voxs. removidos Voxs. consistentes Tempo64x64 262144 260314 1803 1s
128x128 2097152 2033893 63259 2s
256x256 16777216 16010084 767132 12s
EEEC
Tamanho Total de voxs. Voxs. removidos Voxs. consistentes Tempo64x64 262144 252885 9259 4s
128x128 2097152 2009781 80371 9s
256x256 16777216 16058761 718455 31s
EERA
Tamanho Tempo64x64 6s
128x128 11s
256x256 22s
Resultados: dado “Dino”EEEI
Tamanho Total de voxs. Voxs. removidos Voxs. consistentes Tempo64x64 262144 259663 2481 1s
128x128 2097152 2033893 33985 2s
256x256 16777216 16434518 342698 12s
EEEC
Tamanho Total de voxs. Voxs. removidos Voxs. consistentes Tempo64x64 262144 252885 3542 4s
128x128 2097152 2061380 35772 9s
256x256 16777216 16474304 302912 34s
EERA
Tamanho Tempo64x64 5s
128x128 10s
256x256 21s
Conclusões
• Reconstrução no espaço da cena:– Resolve parte dos problemas de amostragem
encontrados no método que trabalha no espaço da imagem.
Permite que a reconstrução seja realizada mesmo quando a taxa de ruído é bastante elevada.
Sem programação em GPU é mais lento que o método no espaço da imagem.
Conclusões
• Uso de informações de segmentação:– É importante para aumentar a precisão geométrica
da reconstrução.É fundamental quando poucas imagens são
utilizadas.É fundamental em estratégia baseadas em
refinamento adaptativo.
Conclusões
• Uso de refinamento adaptativo:– Produz resultados de qualidade similar aos métodos não
adaptativos que trabalham no espaço da cena.– Apresenta-se como uma estratégia eficiente para
reconstrução.– Aproveita coerência espacial da cena.– Tem potencial para aproveitar também a coerência
temporal.Com a classificação proposta ele pode ser
implementado sem critérios de foto-consistência complicados.
Conclusões
Sobre o aparato implementado:– É de fácil construção e de baixo custo.– É simples de se utilizar.– É escalonável.– Produz resultados razoáveis mesmo com
equipamentos de aquisição de baixo custo.– Consegue lidar razoavelmente bem em
condições de pouco controle sobre a iluminação.
Trabalhos futuros
• Programação em placas gráficas.• Investigação de outras estruturas para
representação do espaço.• Uso de câmeras reposicionáveis.• Reconstrução em tempo real.• Investigação de modelos probabilísticos.• Uso de estimativas da superfície no cálculo da
foto-consistência.