Universidade de São Paulo

Instituto de Matemática e Estatística

Departamento de Ciência da Computação

Técnicas de Rastreamento de Faces em Técnicas de Rastreamento de Faces em Seqüências de ImagensSeqüências de Imagens

Rogério Schmidt Ferisrferis@ime.usp.br

http://www.ime.usp.br/~rferis

Organização da ApresentaçãoOrganização da Apresentação

Motivação

Revisão Bibliográfica

Representação de Faces Utilizando GWNs

Rastreamento de Faces em um Subespaço Wavelet

Resultados Experimentais

Conclusões

MotivaçãoMotivação

Interação Homem-Máquina

Interfaces Baseadas em Visão Computacional

1) Onde?

2) Quem?

3) O quê? Por quê?

Rastreamento de Faces

Desafio: Sistemas Robustos e Eficientes

Revisão BibliográficaRevisão Bibliográfica

Cor [Yang and Waibel, 1997]

Movimento [McKenna et al., 1996]

Revisão BibliográficaRevisão Bibliográfica

Bordas

Edge Counting [Silva et al., 1995]

Active Contours [Blake and Isard, 1998]

Características

Gabor Wavelets [Maurer and Malsburg, 1996]

Infra-vermelho / Pupilas [Morimoto et al., 1998]

Revisão BibliográficaRevisão Bibliográfica

Modelos Holísticos

Modelos de Geometria e Iluminação [Hager and Belhumeur, 1998]

Modelo Wavelet [Krüger and Sommer, 2000]

Integração de Informações [Toyama, 1998]

Revisão BibliográficaRevisão Bibliográfica

Rastreamento 3D da Face

Abordagens Baseadas em Modelo [Sclaroff et al., 2000]

Revisão BibliográficaRevisão Bibliográfica

Abordagens Baseadas em Características [Stiefelhagen and Yang, 1997]

Representação Baseada em GWNsRepresentação Baseada em GWNs

)2()2

1exp()( xusinxxx TT

Wavelet Networks

Wavelet Mãe

f x w xi ni

M

i

~

( ) ( )

1

Representação Baseada em GWNsRepresentação Baseada em GWNs

cossin

sin-cos RRotação

ysDilatação

0

0sS

x

y

x

c

cc Translação

))(()( cxSRxn

},...,,{21 Nnnn

),,,,( yxyx ssccn

Representação Baseada em GWNsRepresentação Baseada em GWNs

2

,||)(||min

i

niiwn i

ii

wfE

Imagem Original Representação Wavelet

Os parâmetros são escolhidos a partir do espaço de configurações contínuo !!!

Representação Baseada em GWNsRepresentação Baseada em GWNs

Atenção Progressiva

Interesse32, 52, 100 e 320 wavelets

Representação Baseada em GWNsRepresentação Baseada em GWNs

Cálculo Direto dos Pesos

}~,...,~,~{~

21 Nnnn

k i se0,

k i se ,1~, ,kinn ki

ji nnijA ,

N

jnijn ji

A1

1)(~

ini fw ~,

Representação Baseada em GWNsRepresentação Baseada em GWNs

Reparametrização

Representação Baseada em GWNsRepresentação Baseada em GWNs

Superwavelet

))(()( cxSRwxi

nin i ),,,,,( xyyxyx sssccn

y

xyx

s

ssS

0

Reparametrização

2min n

nJE

Rastreamento de FacesRastreamento de Faces

Rastreamento Utilizando GWNs

Rastreamento de Características Faciais

2min

tt

ntn

JE

Rastreamento em um Subespaço WaveletRastreamento em um Subespaço Wavelet

Rastreamento no Espaço de Imagens

Rastreamento Baseado nos Pesos das Wavelets

ini Jw ~,

N

ini i

wJ1

ˆ

(Subespaço Wavelet)

Rastreamento em um Subespaço WaveletRastreamento em um Subespaço Wavelet

Metodologia

Pesos de Referência

Deformação do Subespaço <>

Projeção de uma imagem J em <>

jniji j

JAw ,)( 1

in

~J, iw

||||min wvEn

jnij

yxi cxSRJA

ssw

j))((,)(

1 1

)()(

|||| ||||

T

1 1

wvAwv

wvwv

ij

N

i

N

jnjni ji

),,,,,( xyyxyx sssccn

Rastreamento em um Subespaço WaveletRastreamento em um Subespaço Wavelet

Distância entre Pesos

Rastreamento em um Subespaço WaveletRastreamento em um Subespaço Wavelet

Algoritmo

Dada uma seqüência de imagens [J1, J2, …, JN]

Otimize a GWN (,v) na face da imagem J1, obtendo, desta forma, os pesos de referência v.

Inicialize o vetor de parâmetros n1 = (cx, cy, , sx, sy, sxy) com a posição, escala e orientação da face na imagem J1. Isto configura uma parametrização inicial do subespaço <>.

Para i de 2 até N faça

Calcule w, projetando Ji em <>.

Enquanto ||v - w|| não é mínimo faça

Ajuste o vetor de parâmetros ni (deformação do subespaço <>) com o método Levenberg-Marquardt

Calcule w, projetando Ji em <>.

Fim Enquanto

Fim Para

Resultados ExperimentaisResultados Experimentais

Rastreamento em um Subespaço Wavelet

Análise de Precisão

Resultados ExperimentaisResultados Experimentais

Análise de Robustez

Análise de Eficiência

Resultados ExperimentaisResultados Experimentais

Aplicação: Reconhecimento de Faces a partir de Vídeo

Formação do Banco de dados

Etapas Detecção da Face

Posicionamento das Características Faciais

Rastreamento das Características Faciais

Seleção e Normalização dos Melhores Quadros

Resultados ExperimentaisResultados Experimentais

ConclusõesConclusões

Robustez x Eficiência

Trabalhos Futuros

Representação Wavelet Genérica da Face

Segmentação Precisa das Características Faciais

Representação Wavelet 3D

http://www.ime.usp.br/~rferis

Rastreamento Eficiente de Faces em um Rastreamento Eficiente de Faces em um Subespaço WaveletSubespaço Wavelet

rferis@ime.usp.br

Rogério Schmidt Feris