Caricaturização de Personagens Virtuais por Deformação … · 1. Introdução Caricaturas (do...

Caricaturização de Personagens Virtuais por Deformação de Medidas

Antropométricas

Roberto C. Cavalcante Vieira, Creto Augusto Vidal, Joaquim B. Cavalcante-Neto Department of Computing, Federal University of Ceará - Fortaleza, CE, Brazil

[email protected], [email protected], [email protected]

Abstract

Caricatures are models of a person or thing in which

certain striking characteristics are exaggerated in

order to create a comic or grotesque effect. This

humorous way of representing people, when done as

drawings, can be used to entertain, illustrate

magazines, represent facts in a more humorous way

etc. When applied in three-dimensional models, they

can also be used to create funny models for virtual

reality applications, games, animation movies, etc.

This paper deals with the definition of a strategy for

the automatic generation of caricatures in three-

dimensional models based on anthropometric

measures and geometric manipulations by influence

zones. The measures of an average model are collected

to be compared with other models. The features that

differ from the average model are deformed to be

highlighted automatically.

1. Introdução

Caricaturas (do italiano caricare = carregar, acentuar, sublinhar) são retratos, geralmente cômicos, que salientam formas faciais de uma determinada pessoa, que fogem do padrão de sua população. Geralmente os traços salientados são características marcantes da pessoa. Essas representações bem-humoradas de pessoas, quando feitas em forma de desenho 2D, podem ser utilizadas para divertir, ilustrar revistas, representar fatos de forma humorística, etc. Quando aplicadas a modelos tridimensionais, as caricaturas também podem ser utilizadas para gerar modelos divertidos para aplicações de realidade virtual, jogos, filmes de animação, etc.

Este trabalho trata da definição de uma estratégia para a geração automática de caricaturas em modelos tridimensionais. Para isso, são utilizados conceitos de antropometria, juntamente com deformações baseadas em zonas de influência.

Figura 1. (A) Modelo médio. (B) Coleta de

medidas. (C) Modelo estudado. (D) Coleta de

medidas comparando-as às medidas do modelo

médio. (E) Aplicação de deformações baseadas nas

comparações do passo anterior. (F) Caricatura. O problema tratado neste artigo pode ser formulado

da seguinte maneira: “É possível definir uma

estratégia de geração de caricaturas 3D para

aplicação em modelos com malhas topologicamente

distintas?”

XII Symposium on Virtual and Augmented Reality Natal, RN, Brazil - May 2010

93

A solução proposta para esse problema é ilustrada na Figura 1. Medidas faciais de um modelo médio são coletadas para serem comparadas aos modelos que serão transformados em caricaturas. Definidas as medidas do modelo a ser caricaturado, são aplicadas deformações, baseadas nas comparações feitas com as medidas do modelo médio. Caso uma medida do modelo estudado seja superior à medida do modelo médio, as características que envolvem essa medida são aumentadas, proporcionalmente a essa variação, segundo alguns padrões de deformação. Medidas inferiores podem ser também deformadas, diminuindo as formas das regiões afetadas pela medida. Com essa solução, é possível gerar caricaturas de forma automática de modelos tridimensionais.

As seções restantes estão estruturadas da seguinte maneira. Na Seção 2, apresentam-se as soluções encontradas na literatura. Na Seção 3, é feita uma breve exposição dos conceitos da antropometria. Na Seção 4, é definido o sistema utilizado para a deformação das malhas. Na Seção 5, são apresentados os passos do processo e estudos de caso. Na Seção 6, são apresentadas as conclusões sobre o trabalho.

2. Trabalhos Relacionados

O problema de geração automática de caricaturas, em modelos 3D, ainda não foi bem explorado. A geração de caricaturas nesses modelos exige técnicas de modelagem e manipulação de malhas. Noh e seus co-autores [10] produziram um survey descrevendo diversas técnicas de modelagem e manipulação de modelos para a geração de animações faciais. São técnicas de morphing, antropometria, deformação por free-form, deformações baseadas em músculos, etc.

DeCarlo[4] foi um dos pioneiros na utilização de técnicas antropométricas para a geração automática de faces, com medidas distintas, na construção de avatares a serem utilizados em aplicações de realidade virtual. Blanz [1; 2] foi um dos primeiros a estudar o espaço de faces. Ele usou a técnica de PCA (Principal Component Analysis) para gerar um modelo linear passível de mudanças morfológicas a partir de um banco de dados de faces e expressões obtidas por scanner 3D. Com essa técnica, é possível comparar o posicionamento de cada vértice de um modelo, com o posicionamento dos vértices de um modelo médio. Após essa comparação, é possível deslocar os vértices de acordo com a diferença encontrada. Os vértices com maior diferença de posicionamento são deslocados mais fortemente, acentuando assim, as características que fogem mais da média. Os resultados são interessantes, mas é necessário ter modelos com mesma topologia. Também

não existe muita liberdade para criar caricaturas com estilos diferentes. Chen e seus co-autores [3] criaram um sistema que identifica padrões em caricaturas 2D feitas por artistas, tentando reproduzi-los em seguida. Liu [8] e seus co-autores desenvolveram um sistema de aprendizado de padrões, baseado em PCA, mas com modelos 3D gerados a partir de caricaturas 2D feitas por artistas. Com esse banco de modelos caricaturados em 3D, é possível fazer análises semelhantes às de Blanz, gerando caricaturas com deformações mais próximas das caricaturas feitas por artistas. Porém, continua sendo necessário ter um banco de modelos e malhas com mesma topologia. Outros sistemas baseados em aprendizado de padrões também foram propostos [5; 7; 12]. Noh e seus co-autores [11] utilizaram a técnica de RBF (Radial Basis Funcions), deformando modelos, para gerar expressões faciais em tempo real, a serem utilizadas em sistemas de videoconferência. Foi desenvolvido um sistema de deformação facial baseado em movimentação de pontos em uma região de influência. Esse sistema de deformação possui a vantagem de ser independente da topologia da malha.

Este estudo baseia-se nas técnicas de antropometria, juntamente com técnicas semelhantes às de Noh [11]. As malhas dos modelos são ajustadas utilizando-se zonas de influência, permitindo-nos gerar deformações, de forma automática, acentuando determinadas características.

3. Fundamentos de Antropometria A antropometria estuda as medidas do corpo

humano. No caso da face, um conjunto de pontos especialmente localizados, as chamadas Landmarks (vide Figura 2) ajudam a definir as medidas faciais de interesse.

Figura 2. Exemplos de landmarks faciais.

Há cinco tipos de medidas faciais [4,9] em

antropometria (Vide Figura 3): • Menor distância entre duas landmarks (ex:en-ex); • Distância axial entre duas landmarks (ex:v-tr);


94

• Distância geodésica entre duas landmarks (ex: ch- t); • Ângulo de inclinação de uma landmark em relação a um dos eixos de coordenadas (ex: inclinação da orelha em relação ao eixo vertical); e • Ângulo entre pontos (ex: ângulo do queixo).

Figura 3. Tipos de medidas baseadas em landmarks.

Nas últimas décadas, os estudos antropométricos em

todo o mundo levaram os pesquisadores a coletar medidas faciais (Figura 4) que hoje estão armazenadas em bancos de dados. Esses bancos, vistos de forma integrada, são ricos de informações faciais de indivíduos de diferentes etinias, de diferentes idades e dos dois sexos. O uso desse tipo de base de dados permite estudar e simular variações faciais em modelos tridimensionais [4].

Figura 4. Algumas medidas da face.

Dado o conjunto de medidas armazenado em bancos

de dados para uma determinada população, é possível calcular o valor médio de cada medida e, com essas medidas médias, construir um modelo facial 3D representando o modelo facial típico ("médio") daquela população. Neste estudo, utilizam-se as landmarks antropométricas para efeito de definição das medidas de um modelo base, considerado o modelo médio de uma população (Figura 5). Essas medidas são armazenadas para posterior comparação com medidas de outros modelos, a fim de identificar aquelas que se afastam do padrão médio. Quanto mais afastada do

padrão estiver uma medida, mais ela será exagerada na definição do modelo caricaturado.

Figura 5. Definição de medidas do modelo médio.

4. Manipulação de Medidas Faciais

A manipulação de medidas faciais é feita por um sistema especialmente concebido com o objetivo de ser simples e genérico. Assim, o modelo a ser manipulado pode ser representado por qualquer tipo de malha de triângulos. O processo de manipulação das medidas consiste na combinação das operações de translação e escala sobre zonas de influência esféricas posicionadas de forma a englobar as regiões que precisam ser ajustadas.

A manipulação por translação de zonas de influência é ilustrada na Figura 6 e descrita na Figura 7, em forma de algoritmo. No exemplo da Figura 6, uma medida do nariz é alterada, deslocando duas zonas de influência, centralizadas nas extremidades das narinas do modelo. A posição inicial e a posição final, após o ajuste dos vértices da região afetada, são ilustradas respectivamente nas figuras 6A e 6B.

Figura 6. (A) Início do ajuste por translação. (B)

Resultado do ajuste por translação.


95

Figura 7. Aplicação das zonas de influência com

translação. A deformação causada pela zona de influência

esférica é limitada aos vértices da malha que estão estritamente dentro da zona de influência. A deformação é mais acentuada à medida que os pontos ficam mais próximos ao centro da zona e é exatamente igual a zero no limite da zona. Esse tipo de ajuste gera deformações com transição mais suave entre as regiões de dentro e fora da zona de influência. Os raios das zonas de influência também podem variar, caso seja necessário englobar uma área maior ou menor do modelo manipulado. Resultados distintos são obtidos se forem usadas as mesmas medidas de translação sobre zonas de influência com raios diferentes.

O conceito de zonas de influência já foi utilizado por Noh e seus co-autores [8] para a geração de expressões faciais, sendo chamada de Radial Basis Funcions (RBF), porém existem diferenças importantes na forma em que foram utilizadas. Noh descreveu um sistema, onde é necessário identificar as zonas de influência manualmente (as zonas de influência são fixas). Para ajustar o modelo, são definidos vértices que movem-se dentro da zona de influência, que ajustam a vizinhança. Os vértices que estão fora da zona, não sofrem modificações. Além do trabalho manual de identificar as zonas de influência para cada modelo e da necessidade de definir pontos que serão transladados para ajustar a vizinhança, Noh também descreve, em suas discussões finais, que o sistema pode gerar descontinuidades, caso o ponto seja movido para fora. O próprio autor indica em suas conclusões, que para solucionar tais problemas seria necessário definir zonas de influências móveis.

No sistema proposto, as zonas de influência são definidas no espaço tridimensional, por esferas de raios distintos. Não é necessário definir vértices que serão movidos e a esfera não necessariamente deve ter o seu centro em um determinado vértice. No sistema proposto, é a esfera quem se move, forçando os vértices que estão em seu interior a ajustarem suas posições. O método funciona, como se o centro da

esfera fosse um vértice da malha e a sua movimentação altera a posição da zona de influência, resolvendo assim, o problema de possível descontinuidade descrito por Noh. O sistema é simples e flexível, gerando resultados satisfatórios.

A manipulação por escala das zonas de influência é ilustrada nas figuras 8 e 9 e descrita na Figura 10, em forma de algoritmo. No exemplo da Figura 8, uma das medidas do nariz é alterada, aplicando-se escala em suas zonas de influência, centralizadas nas extremidades no ponto médio entre as narinas do modelo. As figuras 8A e 8B ilustram, respectivamente, a situação inicial e a situação de ajuste dos vértices após a expansão da zona de influência. A Figura 9 também ilustra uma manipulação por aplicação de escala, porém, com a redução da zona de influência, diminuindo as dimensões da boca do modelo, ao término do ajuste.

Figura 8. (A) Início do ajuste por escala. (B)

Expansão da zona de influência.

Figura 9. (A) Início do ajuste por escala. (B)

Redução da zona de influência.


96

Figura 10. Aplicação das zonas de

influência por escala.

É importante notar que à medida que a esfera é

transladada ou alterada sua dimensão, alguns vértices que encontram-se próximos à fronteira da zona de influência, podem sair da esfera e outros vértices podem entrar, conforme ilustrado em detalhe na Figura 11, no caso de manipulação por translação. O mesmo pode ser facilmente visto nas figuras 8 e 9 em caso de manipulação por escala.

Figura 11. Entrada e saída de pontos da zona de

influência móvel.

Na Figura 11A, os pontos indicados em amarelo

entraram na zona de influência à medida que ela foi sendo transladada para a posição indicada na Figura 11B, passando a sofrer ajustes em seus posicionamentos na malha. Da mesma forma, os pontos destacados na cor verde, saíram da zona de influência após o movimento de translação da esfera. Isso indica que, no início do processo, eles sofreram algum ajuste, mas à medida que foram saindo da zona de influência, ficaram fixos em suas novas posições.

Com esse sistema de manipulação da malha, é possível gerar deformações em medidas de modelos tridimensionais, conforme ilustradas nas figuras 12 e 13.

Figura 12. Deformações aleatórias, utilizando

manipulação por translação de zonas de influência.

Figura 13. Deformações aleatórias, utilizando

manipulação por aplicação de escala em zonas de

influência.


97

As deformações geradas na Figura 12 foram feitas de forma aleatória e apenas utilizando manipulação por translação. As deformações geradas na Figura 13, da mesma forma, foram feitas aleatoriamente e apenas utilizando manipulação por escala.

5. Sistema Proposto e Estudos de Caso

As deformações aplicadas nas figuras 12 e 13 foram feitas de forma aleatória, ou seja, não houve critério, por isso não representam caricaturas aceitáveis do modelo deformado. Nesta seção, são descritos os passos do processo de geração de caricaturas com base nos critérios reais, adotados nas técnicas tradicionais.

Passo 1: Identificação do modelo médio. Esse passo consiste em identificar um modelo com medidas médias de uma população. A idéia de modelo médio já foi descrita na Seção 3. Neste estudo, adotou-se o modelo masculino da Figura 14 e o modelo feminino da Figura 15.

Passo 2: Identificação das landmarks faciais e

armazenagem das medidas do modelo médio. Nesse passo, são identificadas as landmarks faciais dos modelos médios e armazenadas as medidas de cada um desses modelos. Na geração de caricaturas masculinas, as medidas são comparadas com as do modelo médio masculino. No caso de caricaturas femininas, o modelo de comparação é o modelo médio feminino.

Figura 14. Modelo médio masculino.

Figura 15. Modelo médio feminino.

Passo 3: Identificação das landmarks faciais e

armazenagem das medidas do modelo a ser

caricaturado. Nesse passo, escolhe-se um modelo qualquer a ser transformado em caricatura. Para exemplificar o processo, foi adotado o modelo da Figura 16, como modelo a ser estudado. Da mesma forma que foi feito nos modelos médios, é necessário identificar as landmarks faciais e armazenar as medidas consideradas no sistema. A identificação das landmarks pode ser feita por um sistema simples de picking. Essa é a única etapa que exige trabalho manual, no entanto, as técnicas atuais de reconhecimento facial podem ser utilizadas a fim de tornar o sistema mais automatizado. Em caso de modelos com associação ponto a ponto, é possível definir landmarks como sendo vértices da malha, caso ela seja suficientemente refinada para ter vértices nos pontos desejados. Desta forma o processo de definição das landmarks é automático.

Figura 16. Modelo estudado.

Passo 4: Comparação das medidas do modelo médio

com o modelo a ser caricaturado. Nesse passo, as medidas do modelo a ser caricaturado são comparadas com as medidas armazenadas do modelo médio, conforme ilustrado na Figura 17.

Figura 17. Comparação de medidas do modelo

estudado com o modelo médio.


98

Passo 5: Aplicação das deformações no modelo a ser

caricaturado. Nesse passo aplicam-se as deformações por translação ou escala de zonas de influência. É importante mencionar que os raios das esferas são definidos através de regras baseadas em distância de pontos. Medidas que afetam regiões maiores exigem esferas maiores. Desta forma, essas regiões a serem movidas ou sofrerem mudança de dimensão também são definidas pelas medidas das landmarks.

Assim como os caricaturistas têm a liberdade de criar caricaturas com medidas mais exageradas ou não, destacando mais uma ou outra medida, resultando em diversas possibilidades de estilos e resultados, pode-se fazer ora uso de deformação por translação, ora de deformação por escala ou combinação dos dois tipos de deformação. Mesmo com essa liberdade, nos exemplos apresentados neste trabalho, adotou-se o critério de proporção correto. Assim, quando a medida é maior do que a do modelo médio, aplica-se translação para aumentar a medida ou escala para produzir expansão. Quando a medida é inferior à média, aplica-se translação para diminuir a medida ou escala para produzir redução. A Figura 18 ilustra um aumento de medida do nariz por translação. A Figura 18A ilustra o modelo inicial, as figuras 18B e 18C as posições iniciais e finais das zonas de influência e a Figura 18D o resultado da deformação.

Figura 18. Aumento de medida por translação.

A Figura 19 ilustra um aumento de medida do nariz

por aplicação de escala. A Figura 19A ilustra o modelo inicial, a Figura 19B mostra a dimensão inicial da zona de influência centralizada no ponto médio entre as narinas e as figuras 19C e 19D mostram duas possibilidades de expansão da malha pela aplicação de escala sobre a zona de influência. A Figura 19C mostra uma deformação dos vértices em todos os eixos (X,Y,Z) e a Figura 19D, uma escala apenas no eixo X.

Definidas as possibilidades de deformação, é possível aplicá-las nas diversas medidas. As regras de aplicação de translação ou escala ficam a critério do usuário. O processo pode ser aplicado várias vezes, gerando modelos com características aumentadas ou diminuídas, cada vez mais evidentes. Um possível

resultado para o modelo adotado nesse estudo de caso está ilustrado na Figura 20.

Figura 19. Geração de expressões faciais

utilizando zonas de influência esféricas.

Figura 20. Modelo estudado e sua caricatura.

Outros modelos também foram utilizados como

estudo de caso: dois modelos femininos ilustrados na Figura 21 e dois modelos masculinos ilustrados na Figura 22.

6. Conclusões Este trabalho apresenta um modelo de geração de

caricaturas, baseado em antropometria e deformação de malhas por zonas de influência. O controle da adaptação do modelo usou pontos definidos por landmarks faciais para coletar medidas de um modelo médio e comparar com os modelos a serem transformados em caricaturas. As proporções em relação às medidas do modelo médio e do modelo estudado definem o nível de deformação que pode ser


99

feita por translação ou escala de zonas de influência. Este método garante o automatismo e a independência de topologia de malha. Diferente de outras técnicas, é possível gerar variações de caricaturas, adotando sequências diferentes de translação e escala, assim como afetar áreas maiores ou menores a serem deformadas, com a utilização de zonas de influência com raios variados. Desta forma, é possível gerar modelos caricaturados, salientando suas características mais marcantes. Como resultado final, são gerados modelos divertidos que podem ser utilizados em aplicações de realidade virtual, jogos, filmes de animação, etc.

10. Referências [1] Blanz, V.; Vetter T. A morphable model for the synthesis of 3D faces. In: Warren Waggenspack editor. 26th annual conference on Computer graphics and interactive techniques; 1999 Aug 8-13; Los Angeles, CA, USA. New York: ACM Press/Addison-Wesley Publishing Co.; 1999. p. 187-194.

[2] Blanz, V. Computing human faces for human viewers: Automated animation in photographs and paintings Proceedings of the IEEE International Conference on Multimodal User Interfaces, Banff, Canada. 249-256, 2006

[3] Chen H.,Xu Y., Shum H.,Zhu S., Zheng N.:Example based facial sketch generation with non-parametric sampling. In Procedings of the ICCV’01 (2001), vol. 2, pp. 433–438.

[4] DeCarlo, D. ; Metaxas, D.; Stone M.. An anthropometric face model using variational techniques. In: Stephen N. Spencer editor. 25th annual conference on Computer graphics and interactive techniques; 1998 Jul 19-24; Orlando, FL, USA. New York: ACM Press/Addison-Wesley Publishing Co.; 1998. p. 67-74.

[5] Liang L., Chen H., Xu Y.-Q., Shum H.-Y.: Example-based caricature generation with exaggeration. In IEEE Proceedings of the 10th Pacific Conference on Computer Graphics and Applications (2002), pp. 386– 393.

[6] Lim Y.-K., Fedorov A., Kim S.-D.: 3d caricature generation system on the mobile handset using a single photograph. In Proceedings of the ICPPW’07 (2007), pp. 37–37.

[7] Liu J., Chen Y., Gao W.: Mapping learning in eigenspace for harmonious caricature generation. In Proceedings of the ACM International Conference on Multimedia (2006), pp. 683–686.

[8] Liu J.; Chen Y.; Miao C.; Xie J.; Ling, C. X.; Gao, X. ; Gao, W. Semi-Supervised Learning in Reconstructed Manifold Space for 3D Caricature Generation, Computer Graphics Forum 2009. Volume 28 Issue 8, Pages 2104 – 2116.

[9] Kolar, J. C.; Salter, E. M. Craniofacial Anthropometry – Practical Measurement of the Head and Face for Clinical, Surgical and Research Use. Charles C. Thomas Publisher, Ltd. Springfield, Illinois, USA, 1997.

[10] Noh, J.; Neumann, U. A Survey of facial modeling and animation techniques, USC Technical Report 99-705, 1998.

[11] Noh, J.; Fidaleo, D. and Neumann, U. Animated deformations with radial basis functions. In VRST, pages 166–174, 2000.

[12] Shet R. N., Lai K. H., Edirisinghe E. A., Chung P. W.: Use of neural networks in automatic caricature generation: an approach based on drawing style capture. In Proceedings IbPRIA’05 (2005), pp. 343–351.


100

Figura 21. Modelos femininos e suas caricaturas.

Figura 22. Modelos masculinos e suas caricaturas.


101

Caricaturização de Personagens Virtuais por Deformação … · 1. Introdução Caricaturas (do...

Documents

Transcript of Caricaturização de Personagens Virtuais por Deformação … · 1. Introdução Caricaturas (do...