AnaisWRVA2010

VII WORKSHOP DE REALIDADE

VIRTUAL E AUMENTADA

WRVA'2010

08 a 11 de Novembro de 2010 São Paulo SP Brasil

Computação e InformáticaFaculdade de

ii

ANAIS WRVA'2010

VII WORKSHOP DE REALIDADE VIRTUAL E AUMENTADA

São Paulo (SP), 08 a 11 de Novembro de 2010

COORDENADOR

Luciano Silva Universidade Presbiteriana Mackenzie ‐ MACKENZIE

EDITADO POR


iii

006.3 W873

Workshop de Realidade Virtual e Aumentada; 7. : 2010 : São Paulo, SP. [Anais do] WRVA’2010 7 Workshop de Realidade Virtual e Aumentada, 08 a 11 de Novembro de 2010, São Paulo ‐ SP / Luciano Silva (org.). – São Paulo : MackPesquisa, Mackenzie‐Faculdade de Computação e Informática : Sociedade Brasileira de Computação 2010. 313p. + xx Bibliografia ISSN 1982‐1657 1. Realidade Virtual. 2. Realidade Aumentada. 3. Linguagens – Bibliotecas.

I. Silva, Luciano. II. Título.

iv

PROCEEDINGS WRVA'2010

VII WORKSHOP ON VIRTUAL AND AUGMENTED REALITY

São Paulo (SP), November 08‐11, 2010

CHAIR


EDITED BY


v

WRVA'2010 VII WORKSHOP DE REALIDADE VIRTUAL E AUMENTADA

Realização:

Computação e InformáticaFaculdade de

Apoio:

vi


Comitê Organizador

Luciano Silva (Chair) ‐ Mackenzie‐SP Beatriz de Almeida Pacheco Fronterotta (Vice‐Chair) ‐ Mackenzie‐SP Ismar Frango Silveira ‐ Mackenzie‐SP Ilana de Almeida Souza ‐ Mackenzie‐SP Maria Amelia Eliseo‐ Mackenzie‐SP

vii


Comitê de Programa

Luciano Pereira Soares ‐ Chair ‐ PUC/RJ José Remo Ferreira Brega ‐ Vice‐Chair ‐ UNESP/Bauru Alberto Raposo ‐ PUC‐Rio Alexandre Cardoso ‐ UFU Anderson Maciel ‐ UFRGS Antonio Carlos Sementille ‐ UNESP Arthur Augusto Bastos Buccioli – UEMG Asla Medeiros e Sá ‐ FGV Beatriz de Almeida Pacheco ‐ MACKENZIE‐SP Bianchi Serique Meiguinis – UFPA Carlos Morimoto ‐ USP Celso Kurashima ‐ UFABC Claudio Kirner ‐ UNIFEI Creto Vidal ‐ UFC Cristina Vasconcelos ‐ UFF Daniela Kutschat Hanns ‐ SENAC‐SP Edgard Afonso Lamounier Júnior – UFU Eduardo Albuquerque ‐ UFG Eliane Raimann ‐ IFET/GO Eunice Nunes ‐ UFMT Ezequiel Roberto Zorzal ‐ IFET/SP Fátima de Lourdes dos Santos Nunes – USP Glauco Todesco ‐ Universidade de Sorocaba Ildeberto Aparecido Rodello ‐ FEARP/USP Joaquim Bento Cavalcante‐Neto ‐ UFC José Barbosa Jr. ‐ UFU e IFET/GO Jose Paiva ‐ UFU Jucelino Araujo ‐ Iles/Ulbra

viii

Judith Kelner ‐ UFPE Kenedy Lopes Nogueira ‐ UFU Luciana Nedel ‐ UFRGS Luciano Silva ‐ Mackenzie‐SP Liliane Machado – UFPB Luiz Fernando Braga Lopes – UFU Manuel Loaiza ‐ PUC‐Rio Marcelo de Paiva ‐ Faculdade Campo Limpo Paulista Marcio Lobo Netto ‐ USP Marcos Wagner Souza Ribeiro ‐ UFG ‐ Jataí Mario Massakuni Kubo ‐ FATEB Monica Oliveira ‐ UFU Paulo Bressan ‐ Universidade Federal de Alfenas Robson Siscoutto ‐ Universidade de Cuiabá Romero Tori ‐ USP e Senac/SP Rosa Maria Costa ‐ UERJ Selan Rodrigues dos Santos ‐ UFRN Veronica Teichrieb – UFPE Wender Antônio da Silva ‐ UFRR

ix


Revisores

Alberto Raposo PUC‐RioAlexandre Cardoso UFUAnderson Maciel Universidade Federal do Rio Grande do SulAntonio Carlos Sementille Universidade Estadual Paulista ‐ UNESPArthur Augusto Bastos Bucioli

Universidade Federal de Uberlândia

Asla Medeiros e Sá Fundação Getúlio VargasBianchi Meiguins Universidade Federal do Pará Carlos Morimoto USPCelso Kurashima Universidade Federal do ABC Claudio Kirner Universidade Federal de Itajubá ‐ UNIFEICreto Vidal Federal University of Ceará Cristina Vasconcelos Universidade Federal Fluminense Daniel Trindade Pontificia Universidade Católica Daniela Kutschat Hanns CAS_SENAC SP/ FAUUSPEdgard Lamounier UFUEduardo Albuquerque UFGEliane Raimann IFGoias ‐ JataíEunice Nunes Universidade Federal de Mato GrossoEzequiel Roberto Zorzal Universidade Federal de São Paulo ‐ UNIFESPFatima Nunes EACH‐USPGlauco Todesco Universidade de Sorocaba Henrique Debarba Universidade de Caxias do Sul Herbet Rodrigues Universidade Federal da Paraíba Ildeberto Rodello FEARP ‐ USPJerônimo Grandi Universidade de Caxias do Sul Joaquim Bento Cavalcante‐Neto

Universidade Federal do Ceará

Jose Remo F. Brega UNESP ‐ BauruJose Paiva Universidade Federal de Uberlandia Jucelio C. Araujo Iles‐Ulbra

x

Judith Kelner CIn ‐ UFPEKenedy Nogueira Universidade Federal de Uberlândia Leonardo Fischer Universidade Federal do Rio Grande do SulLiliane Machado Universidade Federal da Paraíba Lucas Teixeira PUC‐RioLuciana Nedel UFRGSLuciano Silva Universidade Presbiteriana MackenzieLuciano Soares PUC‐Rio ‐ Pontifícia Universidade Católica do

Rio de Janeiro Luiz Fernando Braga Lopes UFUManuel Loaiza Tecgraf ‐ Depto. de Informática, PUC‐RioMarcelo de Paiva Guimarães

Instituto Fed. de São Paulo/Faculdade Campo Limpo Paulista

Marcio Netto EPUSPMarcos Wagner Souza Ribeiro Universidade Federal de Goiás ‐ Campus Jataí Marcus Alencar PUCMarilena Maule UFRGSMario Kubo FATEPMonica Oliveira UFUPaulo Bressan Universidade Federal de Alfenas Robson Siscoutto Universidade de CuiabáRomero Tori Centro Universitário Senac / Universidade de

Sao Paulo Rosa Maria Costa Universidade do Estado do Rio de JaneiroSelan dos Santos Universidade Federal do Rio Grande do NorteThaise Costa UFPBVeronica Teichrieb Centro de Informática ‐ UFPE Wender Silva Universidade Federal de Roraima

xi

SUMÁRIO

Mensagem ‐ Presidente da CERV ................................................................... 1 Mensagem ‐ Comitê Organizador ................................................................... 2 Mensagem ‐ Comitê de Programa ................................................................... 3 Mini‐cursos ............................................................................................................ 4 Palestras ............................................................................................................ 5 TRABALHOS COMPLETOS/FULL PAPERS Jogos em Realidade Virtual e Aumentada Chair: Ilana de Almeida Souza Uma Arquitetura para Integração de Sistemas Hápticos e Engines de Jogos ........................... 8 Herbet Rodrigues, Liliane Machado, Universidade Federal da Paraíba, Brasil. Análise de um Sistema de Interação Tangível 3D para Jogos com Realidade Aumentada ...... 14 Daniel Tokunaga, University of São Paulo, Brasil Silvio Sanches, Escola Politécnica da Universidade de São Paulo, Brasil Fernando Tsuda, Escola Politécnica da USP, Brasil Ricardo Nakamura, POLI‐USP, Brasil Romero Tori, Centro Universitário Senac / Universidade de Sao Paulo, Brasil. Livro Interativo de Xadrez Potencializado com Realidade Aumentada .................................... 20 Raryel Souza, Universidade Federal de Itajubá (UNIFEI), Brasil Claudio Kirner, Universidade Federal de Itajubá ‐ UNIFEI, Brasil. Desenvolvimento de um Jogo Tridimensional com Realidade Aumentada ............................. 26 Kleber Silva, UNIFEI, Brasil, Claudio Kirner, Universidade Federal de Itajubá ‐ UNIFEI, Brasil.

xii

Aplicações em Engenharia Elétrica Chair: Ismar Frango Silveira Realidade Aumentada para Auxiliar o Aprendizado de Motor Elétrico ................................. 32 Roberto Costa Junior, Roberto Claudino da Silva, Christopher Cerqueira, Universidade Federal de Itajubá, Brasil Antonio Almeida, UNIFEI, Brasil. Ferramenta de Auxilio ao Aprendizado de Motores com o Uso de Realidade Virtual ............ 37 Wedson Gomes, Universidade Federal de Uberlândia, Brasil Edgard Lamounier, Alexandre Cardoso, UFU, Brasil. Uso de Realidade Aumentada na melhoria do processo de ensino‐aprendizagem ............... 42 de motores elétricos Fábio Henrique Monteiro Oliveira, Universidade Federal de Uberlândia, Brasil Eliane Raimann, IFGoias ‐ Jataí, Brasil Edgard Lamounier, Alexandre Cardoso, UFU, Brasil. Desenvolvimento de uma Arquitetura para Distribuição de Realidade Aumentada na Web Aplicada ao Ensino de Motores de Corrente Contínua ......................... 47 Marlus Dias Silva, Eduardo Santos, Universidade Federal de Uberlândia, Brasil Renato Oliveira Abreu, Instituto Federal de Educação, Ciência e Tecnologia de Goiás, Brasil Alexandre Cardoso, Edgard Lamounier, UFU, Brasil.

Ambientes Virtuais Chair: Alexandre Cardoso Humano Virtual ou Virtual Humano ‐ O devir do processo de criação em ambientes imersivos ................................................................................................................. 54 Luciana Louro, Donizetti Louro, Pontificia Universidade Catolica de São Paulo, Brasil. Museu 3I: Publicação e Visitação Online de Acervos Tridimensionais .................................... 60 Eduardo Lucena Falcão, UFPB, Brasil Liliane Machado, Universidade Federal da Paraíba, Brasil. X3D e Integração Multimídia para Representação de um Sítio Arqueológico ........................ 66 Daniel Pires de S∙ Medeiros, UFPB, Brasil. Liliane Machado, Universidade Federal da Paraíba, Brasil. Sistema Solar com Realidade Aumentada ........................................................... 72 Eduardo Okawa, Universidade Federal de Itajubá, Brasil Claudio Kirner, Universidade Federal de Itajubá ‐ UNIFEI, Brasil Tereza Kirner, UNIFEI, Brasil.

xiii

Técnicas de Interação Chair: José Remo Ferreira Brega Reconhecimento de Gestos com Segmentação de Imagens Dinâmicas Aplicadas a Libras ...................................................................................................................... 78 Adilson Pavan, Fábio Caravieri Modesto, Anhanguera Educacional, Brasil. Controle de Navegação em Ambientes Virtuais 3D através do Rastreamento de Objetos ..... 84 Matheus Gadelha, Selan dos Santos, Universidade Federal do Rio Grande do Norte, Brasil. Melhorando o desempenho do rastreamento de pontos de interesse em imagens através do paralelismo em GPU ................................................................................................ 90 Crystian Leão, Universidade Federal de Pernambuco, Brasil Joãoo Marcelo Teixeira, CIn ‐ UFPE, Brasil Eduardo Albuquerque, UFG, Brasil Veronica Teichrieb, Centro de Informática ‐ UFPE, Brasil Judith Kelner, CIn ‐ UFPE, Brasil. Metodologia de geração de dados de referência para rastreamentos ópticos ..................... 96 Lucas Teixeira, PUC‐Rio, Brasil Manuel Loaiza, Tecgraf ‐ Depto. de Informática, PUC‐Rio, Peru Alberto Raposo, Marcelo Gattass, PUC‐Rio, Brasil.

Fatores Humanos Chair: Fátima Nunes

Estudo Comparativo sobre a Percepção de Pistas Sonoras em Ambientes Virtuais ............. 103 Alyson Souza, Selan dos Santos, Universidade Federal do Rio Grande do Norte, Brasil. Conceitos de Presença ........................................................................................................... 109 Fernando Obana, Universidade do Estado de Mato Grosso, Brasil Romero Tori, Centro Universitário Senac / Universidade de São Paulo, Brasil. Realidade Aumentada e Publicidade: Até onde pode ir essa relação ? ............................... 113 Antonio Lutfi, Alberto Raposo, PUC‐Rio, Brasil.

xiv

Visualização Chair: Claudio Kirner Evaluating the CapCam: a device for thermal inspection of electrical equipment ............. 120 Eduardo Souza, UFPE, Brasil Luis Arthur Vasconcelos, Universidade Federal de Pernambuco, Brasil João Marcelo Teixeira, CIn ‐ UFPE, Brasil Eduardo Albuquerque, UFG, Brasil Veronica Teichrieb, Centro de Informática ‐ UFPE, Brasil Judith Kelner, CIn ‐ UFPE, Brasil. Java 3D para Sistemas de Multiprojeção utilizando Aglomerados Gráficos ...................... 126 Diego Colombo Dias, Universidade Estadual Paulista, Brasil Anthony Ferreira La marca, Universidade Paulista, Brasil Mario Popolin, UNESP, Brasil Jose Brega, UNESP ‐ Bauru, Brasil Marcelo de Paiva Guimarães, Instituto Federal de São Paulo/Faculdade Campo Limpo Paulista, Brasil José Roberto Pereira Lauris, USP, Brasil. Uma plataforma para visualização estereoscópica horizontal ............................................ 132 Bruno Madeira, Instituto Nacional de Matemática Pura e Aplicada, Brasil Luiz Velho, IMPA, Brasil.

Aplicações em Realidade Virtual e Aumentada Chair: Liliane Machado Desafios e Oportunidades da Engenharia Cognitiva na Concepção de Sistemas de Realidade Virtual e Aumentada ....................................................................................... 137 Eunice Nunes, Universidade Federal de Mato Grosso, Brasil Lucia Vilela Leite Filgueiras, Universidade de São Paulo, Brasil Fatima Nunes, EACH‐USP, Brasil Romero Tori, Centro Universitário Senac / Universidade de Sao Paulo, Brasil. Análise De Técnicas De Limiarização Adaptativa Para Realidade Aumentada Embarcada .............................................................................................................................. 143 Bernardo Reis, João Marcelo Teixeira, CIn ‐ UFPE, Brasil Eduardo Albuquerque, UFG, Brasil Veronica Teichrieb, Centro de Informática ‐ UFPE, Brasil Judith Kelner, CIn ‐ UFPE, Brasil.

xv

Utilização de Realidade Aumentada num Mapa em Suporte de Papel para a Gestão de Crises .................................................................................................................... 148 Luis Ponciano, Instituto Universitario de Lisboa, Portugal Miguel Dias, Microsoft, Portugal. PROVAR: Interface com Realidade Aumentada para Comércio Eletrônico ............................ 155 Hipólito Douglas Moreira, Universidade Federal de Itajubá, Brasil Tereza Kirner, UNIFEI, Brasil Claudio Kirner, Universidade Federal de Itajubá ‐ UNIFEI, Brasil.

Realidade Aumentada na Educação Chair: Luciana Nedel

Usando a Realidade Aumentada no Desenvolvimento de Software Educacional para Aprendizagem de Datilologia ..................................................................... 162 Cleberson Forte, Faculdade Anhanguera de Piracicaba / FATEC Americana, Brasil, Renan Andrade, Roosevelt Guedes, Marco Cavallari, Faculdade Anhanguera de Piracicaba, Brasil.

Aplicações de Realidade Aumentada para Ensino de Física no Instituto Federal de Educação, Ciência e Tecnologia de Goiás Campus Jataí ..................................................... 166 Clarissa Xavier de Camargo, Federal Institute of Education, Science and Technology of Goiás, Brasil, Vanessa Xavier de Camargo, Federal University of Goias, Brasil, Eliane Raimann, Instituto Federal de Goiás ‐ Jataí, Brasil, Italo Tiago da Cunha, Universidade Federal de Goiás, Brasil, Marcos Wagner Souza Ribeiro, Universidade Federal de Goiás ‐ Campus Jataí, Brasil. SELTRA ‐ Learning Traffic Laws by using Augmented Reality ................................................. 172 Edison Jesus, Isabela Drummond, Universidade Federal de Itajubá, Brasil. Uso de Realidade Aumentada e Reconhecimento de Voz Como Ferramenta de Apoio ao Aprendizado Para Pessoas com Dislexia ........................................................... 178 Emilia Alves Nogueira, Universidade Federal de Goias, Brasil Bruno Rocha, Rafael Tomaz Parreira, Universidade Federal de Goiás, Brasil, Thamer Horbylon Nascimento, Universidade Federal de Goiás, Brasil Vanessa Xavier de Camargo, Federal University of Goias, Brasil, Laurence Amaral, Universidade Federal de Goiás, Brasil, Marcos Wagner Souza Ribeiro, Universidade Federal de Goiás ‐ Campus Jataí, Brasil Clarissa Xavier de Camargo, Federal Institute of Education, Science and Technology of Goiás, Brasil.

xvi

Colaboração Chair: Judith Kelner Um Estudo sobre Manipulação Cooperativa em Ambientes Virtuais Colaborativos ........... 185 Paulo Paiva, Instituto Federal de Educação, Ciência e Tecnologia da Paraíba (IFPB), Brasil Liliane Machado, Universidade Federal da Paraíba, Brasil. Ambiente Virtual Colaborativo para Auxílio no Processo de Ensino‐Aprendizagem em disciplinas de Algoritmo e Programação de Computadores ....... 191 Luciana Berretta, Fabrizzio Soares, Márcio Cunha Fernandes, Universidade Federal de Goiás, Brasil Eliane Raimann, Instituto Federal de Goiás ‐ Jataí, Brasil Marcos Wagner Souza Ribeiro, Universidade Federal de Goiás ‐ Campus Jataí, Brasil On Interoperability Between Online Virtual Worlds And Augmented Reality..................... 196 Rui de Almeida, ISCTE ‐ IUL Lisboa, Portugal Miguel Dias, Microsoft, Portugal.

Realidade Virtual na Educação Chair: Edgard Lamounier

Uso de Realidade Virtual e Aumentada como Ferramenta Complementar ao Ensino das Principais Ligações entre Átomos.................................................................. 203 Dionata Araújo, Instituto Luterano de Ensino Superior ‐ ULBRA, Brasil Nayara Vieira, ULBRA/Itumbiara, Brasil. Simulador para Treinamento de Operadores de Colheitadeira Axial de Grãos .................... 209 Tales Bogoni, PUCRS, Brasil Benevid Felix da Silva, Giovane Maia do Vale, Ivan Luiz Pedroso Pires, Everton Valdomiro Pedroso Brum, UNEMAT, Brasil Marcio Pinho, Pontifícia Universidade Católica do Rio Grande do Sul, Brasil. Sistema de Ensino de Física Óptica Geométrica da Reflexão em Espelhos Usando Realidade Virtual ....................................................................................................... 214 Rafael Tomaz Parreira, Universidade Federal de Goiás, Brasil Vanessa Xavier de Camargo, Federal University of Goiás, Brasil Bruno Rocha, Universidade Federal de Goiás, Brasil Emilia Alves Nogueira, Universidade Federal de Goias, Brasil Thamer Horbylon Nascimento, Universidade Federal de Goiás, Brasil Marcelo Freitas, Universidade Federal de Goiás, Brasil Marcos Wagner Souza Ribeiro, Universidade Federal de Goiás ‐ Campus Jataí, Brasil Clarissa Xavier de Camargo, Federal Institute of Education, Science and Technology of Goiás, Brasil.

xvii

Aplicações Médicas Chair: Rosa Maria Costa

Web‐based Augmented Reality applied to upper limb simulation ........................................ 219 Jean Maurice G. Gagnepain, Kenedy Nogueira, Universidade Federal de Uberlândia, Brasil Edgard Lamounier, Alexandre Cardoso, UFU, Brasil. Visualização do Tratamento Ortodôntico Utilizando Realidade Virtual e Realidade Aumentada ............................................................................................................................... 224 Daniela Uebele, Universidade Santa Cecília, Brasil Giuliano Moraes, FATEC de Praia Grande, Brasil Alexandre Cardoso, Edgard Lamounier, UFU, Brasil. Utilização de redes neurais para a classificação de sinais EMG aplicados no controle de próteses virtuais de mão ..................................................................................... 230 Fernando Mattioli, Daniel Stefany Duarte Caetano, Wedson Gomes Edgard Lamounier, Alexandre Cardoso, UFU, Brasil. Produção de um laboratório virtual para treinamento na utilização de equipamento para captação de sinal biomédico .................................................................... 236 Marcel Nagm, Universidade Federal de Roraima, Brasil Fabio Parreira, Universidade Federal de Uberlândia, Brasil Wender Silva, Luciano Ferreira Silva, Universidade Federal de Roraima, Brasil.

Desenvolvimento Chair: Miguel Dias Modificações geométricas aplicadas a elementos reais em aplicações de RA ..................... 242 Crystian Leão, João Lima, Federal University of Pernambuco, Brasil Veronica Teichrieb, Judith Kelne, Centro de Informática ‐ UFPE, Brasil Eduardo Albuquerque, UFG, Brasil. Aplicações baseadas em Grafo de Cena‐ uma abordagem estrutural para critérios de teste .................................................................................................................................... 247 Adriano Bezerra, Marcio Delamaro, Universidade de São Paulo, Brasil Fatima Nunes, EACH‐USP, Brasil. Reconstrução de Superfícies a Partir de Pontos não‐organizados ........................................ 253 Caio Santiago, Helton Biscaro, Universidade de São Paulo, Brasil A platform for of Spatial Augmented Reality .......................................................................... 259 Julio Lucio, VISGRAF, Luiz Velho, IMPA, Brasil.

xviii

PÔSTERES

Dispositivos Hápticos: Tendências No Desenvolvimento E Limitações De Uso Para Suporte A Ambientes Autênticos De Aprendizagem ................................................... 265 Wilson M. Silva, UFPE, Brasil. Interface De Realidade Virtual Para Gerenciamento E Monitoramento De Redes ............... 267 Affonso Moia Vieira, Ingrid Aigner Ostroski, Renan Bergamin Stuchi, Bruno Monteiro Dos Santos, Flávio Yukio Nakabayashi, Raphael Zanguettin Parra, Yuri Costa Da Mata, José Ferreira Remo Brega, UNESP, Brasil. Métodos E Ferramentas Para O Desenvolvimento De Cenários De Um Sistema De Treinamento De Pilotos De Helicóptero ................................................................................ 269 Mairlo Hideyoshi Guibo Carneiro Da Luz, Alexandre Carlos Brandão Ramos, Edison Oliveira De Jesus, Felix Mora Camiño, Universidade Federal De Itajubá, Brasil. Uso Da Realidade Aumentada Como Ferramenta Auxiliar Ao Vídeo Educacional No Ensino Presencial E À Distância ............................................................................................................271 Eduardo Luis Schneider, André Grassi, Leonardo Piccoli, Daiana Vivan, Maria Isabel Timm, UFRGS, Brasil. Modelagem De Objetos Para Ambientes Virtuais Exteriores ................................................ 273 Andson Felipe Pontes Belo, Thaíse Kelly De Lima Costa, UFPE, Brasil. Proposta De Um Sistema De Realidade Aumentada Para Auxiliar No Tratamento Da Doença De Alzheimer ............................................................................................................................ 275 Keynes M. Kanno, Fábio H. M. Oliveira, Edgard A. Lamounier Jr., Alexandre Cardoso, Ederaldo J. Lopes, Universidade Federal De Uberlândia, Brasil. Implementação Em Java De Uma Estrutura De Dados Para A Representação De Malhas Elásticas Em Modelos Com Geometrias Complexas ............................................................... 277 Mariana Porlan Navarro, Helton Hideraldo Bíscaro, Fátima. L. S. Nunes, EACH‐USP, Brasil. Visualização De Estruturas Hierárquicas Por Meio De Técnicas De Realidade Virtual .......... 279 Daniel S. D. Caetano, Fernando E. R. Mattioli, Lucas P. Vasconcelos, Keynes M. Kanno, Lázaro V. O. Lima, Alexandre Cardoso, Edgard A. Lamounier Jr., Universidade Federal De Uberlândia, Brasil. Low Cost Equipment For First Person Augmented Reality Systems ...................................... 281 Christopher Shneider Cerqueira, Universidade Federal De Itajubá, Brasil.

xix

A Realidade Virtual Como Instrumento De Estudo De Concepções Espontâneas Em Dinâmica ............................................................................................................................. 283 Leandro Rezende Franco, Ruberley Rodrigues De Souza, Eliane Raimann, IFG, Campus Jataí, Brasil. A Utilização De Um Ambiente De Realidade Aumentada No Ensino Fundamental E Médio E A Difusão Da Robótica Móvel – Acesso Pela Web ..................................................................... 285 Fábio Akira Nazima, Marcelo De Souza Augusto Zanetti, Antônio Carlos Sementille, Humberto Ferasolli Filho, João Fernando Marar, UNESP, Brasil. Proposta De Arquitetura De Uma Ferramenta De Desenvolvimento De Software De Realidade Virtual Multi‐Participativo Utilizando Dispositivos Móveis Como Ferramenta De Interação ......................................................................................................... 287 Alexandre Carvalho Silva, Ligia Christine Oliveira Sousa, Marcos Wagner De Sousa Ribeiro, Universidade Federal De Goiás, Brasil. Alexandre Cardoso, Edgard Lamounier, Universidade Federal De Uberlândia, Brasil. Entendendo E Padronizando Ambientes Para Videoconferência Em Ambiente De Realidade Virtual ....................................................................................................................................... 289 Rainier A. F. Sales, PUC‐MG, Brasil. Ambiente Inteligente Para Visualização De Plantas E Maquetes 3d Baseado Em Realidade Virtual Utilizando OpenGL ....................................................................................................... 291 Alexandre Cardoso, Bruno Souto Borges, Edgard Lamounier, Hulgo Leonardo Jacinto Andrade, Marcos Wagner Souza Ribeiro, Pedro Moises, Roger Luz, Instituto Luterano De Ensino Superior De Itumbiara, Brasil. USO DA REALIDADE VIRTUAL COMO FERRAMENTA COMPLEMENTAR DE ENSINO DA GEOGRAFIA ............................................................................................................................... 293 Bruno Souto Borges, Leisson Pereira Fonseca, Pedro Moises De Sousa, Roger Armandio Luz, Vinícius Brás Feliciano, Instituto Luterano De Ensino Superior De ItumbiaraMarcos Wagner Sousa Ribeiro, Universidade Federal De Goiás, Brasil. Documentação Digital Do Patrimônio: Uma Implementação Virtual De Um Edifício Com Valor Histórico ................................................................................................................................... 295 Maria Amelia Eliseo, Ismar Frango Silveira, Fabio Silva Lopes, Beatriz A. Pacheco Fronterotta, Universidade Presbiteriana Mackenzie, Brasil. Sistemas Supervisórios Virtuais ............................................................................................. 297 Kenedy Lopes Nogueira, Keila De Fátima C. Nogueira, Gerson Flavio Mendes De Lima, Edgard A. Lamounier, Alexandre Cardoso, Universidade Federal De Uberlândia, Brasil.

xx

Panorama Atual Da Realidade Virtual E Aumentada No Brasil ........................................... 299 Luciana De Oliveira Berretta, Fabrizzio Alphonsus Alves De Melo Nunes Soares, Deborah Silva Alves Fernandes, Universidade Federal De Goiás, Brasil. Edgard Lamounier, Alexandre Cardoso E Marcos Wagner De Souza Ribeiro, Universidade Federal De Uberlândia, Brasil. Realidade Aumentada Interativa: Um Estudo De Caso Com O Ensino Do Movimento Circular ................................................................................................................ 301 Vanessa Avelino Xavier De Camargo, Bruno Moraes Rocha, Clarissa Avelino Xavier De Camargo, Emília Alves Nogueira, Rafael Tomaz Parreira, Thamer Horbylon Nascimento, Marcos Wagner De Souza Ribeiro, Joslaine Cristina Jeske De Freitas, Universidade Federal De Goiás, Campus Jataí, Brasil. Uso Da Realidade Virtual Como Ferramenta Auxiliar No Ensino Das Três Leis De Newton Da Física ...................................................................................................................... 303 Thamer Horbylon Nascimento, Bruno Moraes Rocha, Emilia Alves Nogueira, Rafael Tomaz Parreira, Vanessa Avelino Xavier De Camargo, Wanderley De Souza Alencar E Marcos Wagner De Souza Ribeiro, Universidade Federal De Goiás,Campus Jataí, Brasil. Realidade Virtual Como Apoio No Tratamento Da Siderodromofobia ................................ 305 Bruno Moraes Rocha, Emilia Alves Nogueira, Rafael Tomaz Parreira, Vanessa Avelino Xavier De Camargo, Thamer Horbylon Nascimento, Fabrizzio Alphonsus Soares De Melo Nunes E Marcos Wagner De Souza Ribeiro, Universidade Federal De Goiás, Campus Jataí, Brasil. Desenvolvimento De Uma Arquitetura Para A Distribuição De Realidade Virtual E Aumentada Aplicada Na Educação ....................................................................................... 307 Keila Nogueira, Kenedy Nogueira, Edgard A. Lamounier, Alexandre Cardoso, Universidade Federal De Uberlândia, Brasil. Uso De Realidade Virtual Como Ferramenta Complementar Ao Ensino De Problemas Matemáticos ..................................................................................................... 309 Nayara Da Silva Vieira, Dionata Martins De Araújo, Instituto Luterano De Ensino Superior De Itumbiara, Brasil. Realidade Aumentada No Marketing: Merchandising De Produtos Eletrônicos Na Web ......311 Antônio S. Veloso, Carlos Alberto C. Ramos, Elizângela S. Moreno, Jullyandry Coutinho, Pedro Ivo L. Souza, Jacquelaine A. Machado, Faculdade Atual Da Amazônia, Brasil. Wender A. Silva, Universidade Federal De Roraima, Brasil.

MENSAGEM DO PRESIDENTE DA CERV/SBC

É com imenso prazer que, em nome da Comissão Especial de Realidade Virtual da Sociedade Brasileira de Computação (CERV/SBC), apresentamos nossas mais cordiais boas vindas a todos participantes do Workshop de Realidade Virtual e Aumentada (WRVA 2010)! Este ano, o evento está em sua sétima edição e mostra de forma contundente o avanço da área no território nacional, seja no mundo acadêmico ou no mundo empresarial. Este avanço não seria concretizado sem o esforço dos profissionais de educação e pesquisa, e seus respectivos aprendizes, presentes nos laboratórios de nossas universidades. Mas, mesmo assim, sentimos que temos ainda um longo caminho a percorrer no sentido de explorar os benefícios que esta tecnologia pode proporcionar aos seres humanos. Dentre outras, esta é uma grande motivação para a realização deste encontro científico: apresentar e discutir os desafios da área para os estudantes de uma determinada região do país, a fim de identificar e capacitar os futuros profissionais a conquistar estes desafios. Portanto, gostaríamos de agradecer, profundamente, à Universidade Presbiteriana Mackenzie, São Paulo‐SP, não somente pela calorosa acolhida nas salas e corredores de sua instituição, mas também pelo suporte providenciado para a realização do workshop. Especificamente, somos muito gratos aos seus professores Luciano Silva, Beatriz Pacheco, Ismar Frango e demais colegas da Comissão Organizadora pelo grandioso trabalho, seriedade e profissionalismo dedicados ao evento, que certamente garantiram o sucesso do mesmo, confirmando assim o que alguém uma vez disse: “Que ninguém se engane só se consegue a simplicidade através de muito trabalho”. Igualmente, a CERV/SBC, reconhece e agradece ao trabalho da Comissão de Programa, liderada pelo empenho dos professores Luciano Soares e José Remo Brega pela constante preocupação em preservar a qualidade científica dos artigos a serem apresentados. Sem dúvida, são ações como estas que alavancam os ideais de ensino e pesquisa de Realidade Virtual e Realidade Aumentada em nosso país. E, certamente, providencia uma posição de destaque dos trabalhos brasileiros no cenário internacional. Finalmente, gostaríamos de deixar uma palavra para nossos estudantes. Aproveitem! Este evento foi preparado com muito carinho para você. Sucesso a todos!

Edgard Lamounier Jr.

Presidente CERV/SBC – Gestão 2010/2012

VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

1

MENSAGEM DO COMITÊ ORGANIZADOR

As áreas de Realidade Virtual e Aumentada têm recebido, nos últimos anos, um incrível impulso não só do ponto de vista teórico quanto tecnológico. Distribuições de processamento e dados, novas formas de interação, bibliotecas e frameworks cada vez mais complexos, ubiquidade e mobilidade são alguns dos desafios que pesquisadores e estudantes enfrentam em salas de aulas e laboratórios. Assim, o incentivo à produção e intercâmbio acadêmicos e industricias devem ser práticas constantes para avanços cada vez maiores dessas áreas. Neste contexto, o Workshop de Realidade Virtual e Aumentada, em sua sétima edição, vem cumprir uma parte muito significativa desta tarefa: proporcionar interações acadêmicas e industriais nos âmbitos nacional e internacional a alunos e pesquisadores, através de mini‐cursos, palestras e apresentações de trabalhos completos e pôsteres. A Universidade Presbiteriana Mackenzie, em particular a Faculdade de Computação e Informática, tem o prazer de recebê‐los para quatro dias onde possamos aumentar a nossa rede de interação acadêmica e industrial. O conjunto de atividades foi planejado de tal forma a maximizar a acesso a todas as atividades do workshop e reflete um trabalho conjunto de inúmeros colaboradores no Brasil e no exterior. Deixamos, inicialmente, os nossos agradecimentos a CERV/SBC, nas pessoas dos professores Claudio Kirner (ex‐presidente) e Edgard Lamounier Jr. (atual presidente), pela confiança e apoio na condução deste evento. Ao comitê organizador da Universidade Mackenzie (Ismar, Ilana, Maria Amélia) pelo excelente trabalho desenvolvido. Ao comitê de programa, liderados pelo Luciano Soares e José Remo, pelo exímio trabalho condução das chamadas e revisões. Nossos agradecimentos também se estendem aos revisores, professores que ministrarão cursos, palestrantes e pesquisadores e estudantes que acreditaram no evento e enviaram suas contribuições. Agradecemos, também, ao Prof. Dr. Arnaldo Vallim, diretor da Faculdade de Computação e Informática, por todo apoio recebido. Finalmente, agradecemos ao Fundo MackPesquisa, que custeou integralmente o evento, abrindo‐nos diversos caminhos internos para resolução de questões logísticas.

Luciano Silva – Chair do Comitê Organizador Beatriz de Almeida Pacheco Fronterotta ‐ Vice‐Chair do Comitê Organizador


2

MENSAGEM DO COMITÊ DE PROGRAMA

Em sua sétima edição, o Workshop de Realidade Virtual e Aumentada vem se mostrando um evento da área cada vez mais importante no cenário nacional. Desde que a CERV/SBC (Comissão Especial de Realidade Virtual da Sociedade Brasileira de Computação) optou pela união entre o Workshop de Realidade Aumentada (2004, 2005 e 2006) e o Workshop de Aplicações de Realidade Virtual (2005 e 2006), realizando o Workshop de Realidade Virtual e Aumentada (2007, 2008 e 2009), percebemos que um número crescente de pesquisadores vem participando e apresentando seus trabalhos. Nesta edição, realizada na cidade de São Paulo, diversos pesquisadores dos mais diversos cantos do Brasil e até do exterior estão presentes possibilitando a disseminação e troca de conhecimentos, além de motivar muitos estudantes para esta área. Este ano foram realizadas 71 submissões de artigos, apresentando trabalhos nas mais diversas áreas da realidade virtual e aumentada, dos quais 44 foram selecionados para artigos completos por apresentar um excelente nível de qualidade, assim tornando o evento mais inclusivo. Devido ao elevado número de submissões, tivemos que expandir o comitê de programa em quase o dobro para podermos realizar as revisões em tempo hábil. Todos os artigos sofreram pelo menos 3 revisões, o que além de garantir uma avaliação mais justa serviu como forma dos membros do comitê apontarem diversos pontos que podem ser melhorados nos artigos e na pesquisa em si. Também foram aceitos 24 pôsteres que serão apresentados durante a semana. Gostaríamos de agradecer a todo o apoio da CERV/SBC representado pelo seu presidente Edgard Lamounier, a Universidade Presbiteriana Mackenzie e comitê organizador do WRVA2010, liderado pelo Luciano Silva, além de todo o comitê de programa e revisores que fizeram um excelente trabalho. Esperamos que VII Workshop de Realidade Virtual e Aumentada seja muito proveitoso para todos os participantes e desejamos que os leitores consigam aproveitar o conteúdo aqui presente e que lhes ajudem a compreender melhor o mundo da realidade virtual e aumentada.

Luciano Pereira Soares – Chair do Comitê de Programa José Remo Ferreira Brega ‐ Vice‐Chair do Comitê de Programa


3

MINI‐CURSOS

Mini‐Curso 1: Augmented Reality: Principles and Techniques Miguel Sales Dias (Microsoft, Portugal)

In this mini course, we will address the principles and foundations of Augmented and Mixed Reality and will provide an historical perspective of this area, illustrating with an overview of the performed R&D, at the Computer Graphics and Multimedia Lab of ADETTI, in Portugal. The course will then focus in the key enabling technologies for AR, namely, presentation devices, tracking and HCI. Tracking will cover with some detail the techniques behind video‐based marker and texture tracking. HCI will focus in tangible augmented interfaces and gesture. The course will end with conclusions and open issues.

Mini‐Curso 2: Desenvolvendo Aplicações de Realidade Aumentada para a Web Cláudio Kirner (UNIFEI), Alexandre Cardoso (UFU), Edgard Lamounier (UFU), Fábio

Henrique (UFU), Pedro Cacique (UFU)

O lançamento do AS3 (ActionScript 3.0), juntamente com o ambiente de desenvolvimento Flex 2.0 e o Flash player 9.0, pela Adobe em 2006, possibilitou a evolução das aplicações RIA (Rich Internet Applications ‐ Aplicações Ricas para Internet). O desenvolvimento dessas aplicações possibilitou a criação de diversas ferramentas de apoio para a criação de aplicações de RV (Realidade Virtual) na Web, suportadas pelo FlashPlayer. Como passo seguinte, a extensão destas tecnologias proveu condições de desenvolvimento de soluções de Realidade Aumentada (RA) na Web, com a utilização de webcam e marcadores (impressos em papel comum) e da tecnologia FLARToolkit. O objetivo deste mini‐curso é apresentar tal tecnologia como ferramenta para desenvolvimento de aplicações de RA para web e apresentar alguns conceitos básicos da linguagem AS3, associado ao desenvolvimento com o FLARToolkit.

Mini‐Curso 3: RV e RA em Jogos ‐ Aplicações e Perspectivas Fátima Nunes (USP), Liliane Machado (UFPB), Rosa Costa (UERJ)

O mini‐curso mostra os principais conceitos de RV e RA aplicados ao desenvolvimento de jogos digitais, ambiente adequado para interações não‐convecionais via RV/RA. Além disto, são apresentadas perpectivas e tendências de uso de RV/RA em jogos.


4

PALESTRAS

Palestra 1 : 2014K ‐ Captação e Transmissão de Alta Definição em 3D para a Copa do Mundo de Futebol de 2014 Eunézio de Souza (Mackenzie), Jane de Almeida (Mackenzie) e Joaquim Pessoa Filho (Mackenzie) O objetivo do PROJETO 2014K é transmitir os jogos da Copa do Mundo de Futebol de 2014 no Brasil em resolução 4K/3D para cinemas de ultra‐definição através de redes fotônicas. A transmissão deverá ocorrer dentro do Brasil e do Brasil para os cinco continentes. Este é um projeto colaborativo e experimental de alta tecnologia e conta com a participação de organizações voltadas à pesquisa e inovação tecnológica, assim como do setor empresarial. Palestra 2: Interação Em Jogos: Do Joystick À Realidade Virtual Luciana Nedel (UFRGS) A palestra traz um panorama histórico da interação em jogos digitais, passando desde interações com mouse/joystick até mecanismos mais complexos de interação via RV. Jogos digitais representam um ambiente muito propício para interação não‐convencional e esquemas de RA/RV têm oferecido muitas contribuições a este contexto, tanto acadêmicas quanto industriais. Palestra 3: Realidade Virtual e Aumentada para uma Educação sem Distância Romero Tori (USP/SENAC‐SP) Desde o primeiro experimento de telepresença, realizado por Ivan Sutherland na década de 1960, a redução de distância por meio da realidade virtual e, mais recentemente, da realidade aumentada, vem se tornando cada vez mais viável e eficaz. No campo da educação, em que proximidade é essencial, tanto entre aluno e professor, quanto entre aluno e colegas e entre aluno e conteúdo, o emprego de recursos de RV e RA pode contribuir para o aumento da sensação de presença e do engajamento do aluno, não apenas em cursos a distância como também em atividades presenciais. Nesta palestra, discutiremos os conceitos de presença, distância, interatividade e flow, mostrando como podem ser trabalhados em atividades de aprendizagem, com a ajuda da RV e da RA, para se chegar a uma “educação sem distância”.


5

TRABALHOS COMPLETOS

Full Papers


6

SESSÃO TÉCNICA 1

JOGOS EM REALIDADE VIRTUAL E

AUMENTADA


7

Uma Arquitetura para Integração de Sistemas Hápticos e Engines de Jogos

Herbet Ferreira Rodrigues e Liliane dos Santos Machado

Laboratório de Tecnologias para o Ensino Virtual e Estatística - LabTEVE

Universidade Federal da Paraíba – UFPB

Cidade Universitária s/n – 58051-900 – João Pessoa – PB – Brasil

{herbet, liliane}@di.ufpb.br

Resumo

O sentido do tato e a interação física estão entre os

aspectos fundamentais em que o ser humano precisa

para compreender o mundo e provocar mudanças

nele. Para os jogos, os sistemas hápticos podem

oferecer um conceito de interação de forma avançada,

ampliando o nível de realismo e oferecendo uma maior

imersão no ambiente virtual. Este artigo apresenta um

estudo, um planejamento e o desenvolvimento de uma

arquitetura para integrar uma engine de jogos com

sistemas hápticos.

Abstract

The sense of touch and physical interaction are

among the fundamental aspects that human being

needs to understand the world and cause changes to it.

For games, haptic systems can offer a concept of

interaction in a sophisticated way, increasing the level

of realism and offering greater immersion in the

virtual environment. This paper presents a study, a

planning and development of an architecture to

integrate a game engine with haptic systems.

1. Introdução

Os serious games vêm sendo utilizados para

identificar jogos com um propósito específico, ou seja,

que extrapolam a ideia de entretenimento e oferecem

outros tipos de experiências, como às voltadas ao

aprendizado e treinamento [13]. Estes jogos permitem

aos jogadores experimentarem tarefas e atividades que

poderiam ser difíceis de realizar repetidas vezes sejam

pelo seu alto custo, tempo, logística ou por razões de

segurança [5]. De acordo com Rankin e Sampayo [17]

estes jogos estão sendo aplicados em diversas áreas do

conhecimento, tais como militar, empresarial,

governamental, política, religião e artes. Entretanto, um

dos setores que tem mais se beneficiado do uso dos

serious games, principalmente com a combinação de

treinamento e ensino, é o da saúde [12]. Para os serious

games com este foco, os mesmos devem fornecer um

excelente grau de realismo a fim de que o jogador

possa interagir com o ambiente do mesmo modo que o

faz em situações reais. Além de um sistema de

visualização eficiente, é importante incluir um sistema

de interação que permita que o jogador possa sentir os

objetos virtuais no ambiente. Este tipo de interação é

chamado de interação háptica e ocorre através de um

dispositivo que reflete força, permitindo que um

jogador toque, sinta e manipule os objetos 3D da cena.

Aliado à Realidade Virtual (RV), o

desenvolvimento dos serious games em ambientes

imersivos com a inclusão de dispositivos hápticos,

podem contribuir para a motivação e aprendizado do

jogador. A incorporação de um dispositivo háptico

possibilitaria ampliar o nível de realismo e oferecer

uma forma mais eficiente de envolvimento, trazendo

melhores resultados na realização das atividades de

natureza tátil inseridas nos jogos. Diversos projetos de

RV têm comprovado que a utilização de dispositivos

hápticos em aplicações na saúde, para a educação e

treinamento, melhora o nível de percepção e

aprendizado efetivo ampliando a sensação de imersão

sentida pelo usuário [10]. Entretanto, poucos são os

incentivos da aplicação destes dispositivos em serious

games.

A partir da proposta de Rodrigues et al. [18] cujo

objetivo é o desenvolvimento de um serious game

relacionado ao treinamento e educação para a higiene

bucal de adultos utilizando um dispositivo háptico

como forma de interação, este artigo traz como

contribuição o estudo e as etapas de planejamento,

integração e desenvolvimento dos módulos gráfico,

físico e háptico do jogo proposto. Os demais elementos

que fazem parte do desenvolvimento do serious game

como roteiro, conceituação artística, jogabilidade,

inteligência, interface, entre outros, não serão

abordados neste artigo.


8

2. Sistemas Hápticos

A computação tem fornecido informações para os

sentidos humanos da visão e da audição, como

também, sistemas de áudio e vídeo têm sido

aperfeiçoados por muitas décadas. Mas recentemente, o

aumento na capacidade do computador e o desejo de

criar melhores formas de interagir com mundos virtuais

gerados por computador têm levado ao

desenvolvimento de sistemas que permitam a inclusão

do sentido do tato [11].

A percepção do toque está relacionada a duas

componentes: tato e cinestesia. O tato permite

identificar sensações como temperatura, pressão ou

vibrações e depende da sensibilidade cutânea. Esta

sensibilidade varia de acordo com a região utilizada

para realizar o contato. A cinestesia, por sua vez,

refere-se à percepção das tensões aplicadas aos

músculos e juntas. Esta percepção é também chamada

de propriocepção ou force-feedback (retorno de força)

[3] e permite identificar a rigidez de objetos.

Em sistemas computacionais, a identificação do tato

e de retorno de força depende de duas partes

igualmente importantes que formam os sistemas

hápticos: os dispositivos, responsáveis por receber

ações do usuário e apresentar-lhe as propriedades

relacionadas ao toque, e as rotinas de controle,

responsáveis por calcular e enviar as propriedades do

toque ao dispositivo.

Atualmente os dispositivos hápticos disponíveis

variam em sofisticação e fidelidade. Em um extremo

estão os gamepads com vibração e os joysticks com

retorno de força que oferecem interatividade limitada

[11]. No outro extremo se encontram os dispositivos

hápticos mais sofisticados como o PHANToM Omni

(Figura 1) da SensAble Technologies Inc. [19] e o

Falcon da Novint Technologies Inc. [21] que oferecem

um maior nível de interatividade, pois permitem até 6

graus de liberdade em movimentos de posição/rotação

e 3 graus de liberdade em retorno de força para o

usuário.

Figura 1. Dispositivo Háptico PHANToM Omni da

SensAble Technologies Inc.

3. Sistemas Hápticos em Jogos

De acordo com Chang et al. [6], tecnologias

hápticas passarão a fazer parte integrante do processo

de design de jogos, exigindo um planejamento criativo

a fim de aproveitar ao máximo esta tecnologia. Os

hábitos dos jogadores também poderão mudar a fim de

incorporar o sentido do tato, o que lhes darão uma

interação mais complexa com o ambiente do jogo,

ampliando a imersão e tornando o processo de

entendimento de tomada de decisão mais completo.

Jones [11] afirma que o aumento dos jogos com

sistemas hápticos, em que os alunos se tornam

participantes ativos no ambiente, representa uma das

mais interessantes inovações na concepção de ensino e

aprendizagem baseados por computador dos últimos

anos.

Como exemplo de jogos que utilizam um

dispositivo háptico como forma de interação, pode-se

destacar o HaptiCast [1], um jogo 3D multiplayer que

coloca os jogadores em um ambiente de primeira

pessoa. Ele é projetado para proporcionar ação e um

alto nível de interatividade utilizando o dispositivo

háptico PHANToM Omni. No HapiCast, o jogador se

torna um bruxo e tem disponível alguns tipos de

varinhas mágicas. Quando o jogador usa uma varinha,

é lançado um feitiço que exibe um efeito háptico, o

qual oferece uma maneira diferente de interagir com o

ambiente. O jogo também simula a sensação de arrastar

objetos pesados, gravidade e forças de impulso

provocado por colisões entre objetos.

Outro exemplo de jogo encontrado na literatura é o

Haptic Battle Pong [14], uma versão do jogo Pong

com suporte a dispositivo háptico. Nele, o retorno de

força proporcionado pelo dispositivo é utilizado para

mostrar o contato entre a bola e a raquete do jogador.

No entanto, os efeitos hápticos apresentados são

limitados, não utilizando todo potencial que um

dispositivo háptico pode oferecer.

O HapticCycle [7], é um jogo 3D que consiste em

uma bicicleta inserida no contexto de um jogo de

triciclos e integrada a um dispositivo de interação

háptico. O retorno háptico fornecido pela aplicação

ocorre pela simulação de resistência de acordo com o

relevo de um terreno, percebida no ato de pedalar a

bicicleta. Através dos resultados da avaliação feita

pelos desenvolvedores do HapticCycle, foi concluído

que a inclusão de uma resposta háptica na aplicação 3D

de corrida de triciclos contribuiu de forma significativa

para um aumento no nível de atratividade e diversão do

jogador, ampliando sua imersão na aplicação.

De acordo com as pesquisas realizadas e os

trabalhos mencionados acima, observa-se que ainda são


9

poucas as iniciativas voltadas para o uso de serious

games com foco em treinamento e ensino com a

utilização de sistemas hápticos. Dessa forma, torna-se

relevante o estudo e investigação em relação à

aplicabilidade dos sistemas hápticos como forma de

interação em serious games.

4. Integração de Dispositivos Hápticos em

Jogos

Farias et al. [7] analisa que para a construção de um

jogo deve-se adotar um modelo de desenvolvimento

rápido e eficiente, devido à crescente rapidez com a

qual novos jogos e tecnologias chegam no mercado. E

para alcançar este objetivo, foram criados os motores

de jogos ou game engines.

As game engines de jogos tem sido constantemente

utilizadas por oferecerem gerenciamento do cenário,

animação de personagens, iluminação, fluxo do código

e suporte a diferentes plataformas [12]. Entretanto,

Farias et al. [7] e Machado et al. [12] explicam que um

problema existente na utilização destas engines é que o

desenvolvedor limita-se às mesmas formas de interação

convencionais como joysticks, não havendo um suporte

genérico a dispositivos com características diferentes

como os dispositivos hápticos, por exemplo.

Neste ponto, observa-se que para que ocorra a

comunicação entre uma engine e dispositivos hápticos

é necessário o uso de programas específicos ou APIs

(Application Programming Interface). Geralmente,

cada dispositivo possui um programa ou API própria

para sua programação.

Há alguns trabalhos sobre a integração de sistemas

hápticos em motores de jogos. Nilsson e Aamisepp

[16] explicam da importância de incorporar o háptico

em um motor 3D e um plug-in para a engine Crystal

Space foi desenvolvido para demonstrar esta

integração. No entanto, os processos e detalhes sobre a

integração não foram bem exploradas por este projeto.

Existem outros esforços [4] para combinar

renderização gráfica e sistemas hápticos, mas estes não

contêm características que são desejáveis para o

desenvolvimento de jogos, como mecanismos de

inteligência artificial e controles de estados, por

exemplo.

Outro componente importante no desenvolvimento

de jogos com sistemas hápticos é o motor de física ou

physics engine, que simula a física para todos os

objetos no ambiente virtual do jogo. Variáveis tais

como massa, velocidade, inércia, fricção e forças

externas, contribuem para o realismo do jogo. Este

componente fornece detecção de colisões e resposta

entre objetos, permitindo que os jogadores percebam

uma dinâmica física, bem como o acesso à informação

utilizada pelos algoritmos de renderização de forças

para os dispositivos hápticos.

5. Proposta de Integração

A partir do estudo realizado e da necessidade de

desenvolver um serious game com interação háptica

para saúde com foco em treinamento e ensino é

proposto um conjunto de módulos e classes para a

integração entre sistemas hápticos e uma engine de

jogos.

Um jogo com retorno háptico deve considerar

quatro fatores para a sua implementação [2]. Esses

fatores são: a posição e orientação do jogador no

mundo virtual, a detecção de colisão do jogador com o

objeto virtual e a reação da colisão, que é transmitida

ao usuário através de dispositivos hápticos. A Figura 2

mostra como funciona a interação de um jogador com o

ambiente virtual do jogo.

Figura 2. Esquema de interação de um jogo com

dispositivo háptico.

Portanto para o desenvolvimento de rotinas para

incorporação do toque em jogos é necessária à criação

de classes para a interação háptica, para as colisões

físicas e para a visualização de todos os

comportamentos resultantes destas colisões na cena

gráfica.

5.1 O Módulo Gráfico

O módulo gráfico é responsável pela renderização

da cena 3D visual e exibição da interface gráfica para o

usuário.

A engine gráfica escolhida para o projeto foi a

Irrlicht [9], uma engine 3D rápida, multiplataforma e

que inclui recursos como sombreamento, z-buffering,

iluminação dinâmica, carregadores de malha, sistemas

de partículas, texturização, entre outros. Esta engine é


10

responsável por exibir os objetos 3D na tela, bem como

a interface gráfica do usuário.

5.2 O Módulo Físico

A engine de física escolhida para o jogo é a Newton

Game Dynamics [15], que é uma engine de física

simples com desenvolvimento em C/C++. Cada objeto

do mundo do jogo tem uma representação física e,

portanto, é capaz de exibir um comportamento físico

realista em tempo-real.

Este módulo será responsável pela identificação das

colisões ocorridas no ambiente. Estas colisões devem

ocorrer não apenas entre objetos gráficos, mas também

entre eles e objetos hápticos. Deste modo, o módulo

fornecerá as variáveis relacionadas ao ponto e

momento da colisão.

5.3 O Módulo Háptico

Neste projeto está sendo utilizado a dispositivo

háptico PHANToM Omni da SensAble Technologies.

Este dispositivo foi selecionado por possuir as

características adequadas para simulações e jogos de

destreza manual. Para a utilização do PHANToM

Omni, existe o pacote chamado OpenHaptics Toolkit

[20] que oferece suporte ao dispositivo.

O OpenHaptics Toolkit é desenvolvida nos mesmos

moldes da API OpenGL, sendo familiar aos

programadores gráficos e facilita a integração com as

aplicações OpenGL e engines existentes. A

OpenHaptics é composta de duas camadas: a API do

dispositivo háptico (HDAPI) e a API da biblioteca

háptica (HLAPI). A HDAPI fornece acesso de baixo

nível ao dispositivo háptico. Já a HLAPI fornece

acesso de mais alto nível para a programação do

dispositivo, facilitando a atribuição das propriedades

hápticas. Ela permite significante reuso de código

existente no OpenGL e simplifica a sincronização dos

processos hápticos e gráficos. [20]. Embora a técnica

de renderização de força na cena gráfica pela HLAPI é

amplamente utilizada, apenas a HDAPI está sendo

usada no jogo devido à sua flexibilidade em produzir

vários efeitos de força e a sua independência com as

engines gráficas.

5.4 Arquitetura Proposta

A arquitetura em alto nível do jogo e os módulos

principais descritos anteriormente é mostrada na Figura

3. A camada central – chamada de Framework – possui

os módulos Gráfico, Físico e Háptico, no qual contem

todas as classes necessárias para a inicialização da cena

gráfica, inicialização do dispositivo háptico, geração

dos objetos e suas características físicas, como

também, o controle de posições, colisões e forças que

serão utilizados pela camada Lógica do jogo (camada

superior).

Figura 3. Arquitetura proposta em alto nível.

Para o jogo proposto [18] foi criado um conjunto de

classes. A classe Main inicializa a engine gráfica e

possui o loop principal do jogo. A classe

GameManager adiciona todos os objetos que farão

parte da cena do jogo, como também suas posições. A

classe Object define todas as variáveis e métodos

necessários para a interação dos objetos na cena. Já as

classes Physics e Haptics representam os módulos

Físico e Háptico. A classe Player, uma das principais

classes do jogo, representa o dispositivo háptico na

cena do jogo. A Figura 4 mostra o Diagrama de Classes

em alto nível das classes criadas para esta integração.

Figura 4. Diagrama de classes do jogo.


11

A seguir será descrito com mais detalhes algumas

das principais funcionalidades que a classe Player

fornece para o restante da arquitetura.

5.5 A classe Player

A HDAPI requer que o desenvolvedor maneje

diretamente a renderização da força para o dispositivo

háptico [20]. Para prover renderização direta da força

são requeridos algoritmos para detecção de colisão e

estruturas de dados eficientes devido à alta necessidade

de atualização para estabilizar o laço de controle do

dispositivo háptico. Um problema de usar uma engine

física com a HDAPI é que as forças que atuam sobre

um objeto, necessárias para calcular a força de retorno

sobre os dispositivos hápticos, não são acessíveis

diretamente. A classe Player foi proposta para evitar

estes tipos de problemas, permitindo calcular os

retornos de força com os dados geométricos fornecidos

pelo Módulo Físico, como também, o envio das forças

para o dispositivo háptico via HDAPI.

A classe recebe a posição do dispositivo háptico e

transforma esta posição na posição do objeto

representado pelo dispositivo na cena gráfica. As

colisões detectadas pelo Módulo Físico são passadas

para a classe Player para calcular a força resultante e

enviar para o dispositivo háptico.

A Figura 6 ilustra de forma resumida o fluxo de

dados entre a classe Player e os Módulos Físico e

Háptico. Neste caso particular, a engine física funciona

em 60Hz enquanto a interface háptica é executado de

forma assíncrona em 1000Hz.

Figura 6. Fluxo de dados entre os Módulos Físico e

Háptico pela classe Player.

Pelo módulo Háptico, a posição do dispositivo é

atualizada a cada loop da HDAPI. A posição do

dispositivo pode ser obtida usando a função

“hdGetDoublev” com um dos seguintes parâmetros:

HD_CURRENT_POSITION ou

HD_CURRENT_TRANSFORM. Novamente pelo

módulo Háptico, a força pode ser enviada para o

dispositivo usando a função “hdSetDoublev” com o

parâmetro HD_CURRENT_FORCE.

No Módulo Físico, as colisões são interceptadas

usando a função “NewtonCollisionCollide”. Sempre

que uma colisão é detectada em um objeto, a função irá

retornar algumas informações sobre a colisão, como o

ponto de contato, o vetor normal e a distância de

penetração de um objeto com o outro, no qual estas

informações são utilizadas para calcular o retorno de

força resultante.

5.6 Renderização das Forças

Há vários modos de se computar as forças que são

produzidas pelo dispositivo háptico. Algumas das mais

interessantes forças de interação consideram o finalizar

do dispositivo (ponta do braço articulado que o usuário

segura nas mãos) e seu relacionamento com os objetos

no ambiente do jogo.

O vetor força é a unidade de saída do dispositivo

háptico. Há vários modos de computar força para gerar

uma variedade de sensações. Há três classes principais

de forças que podem ser simuladas: dependente do

movimento, dependente do tempo, ou uma combinação

de ambos [2].

As forças dependentes do movimento são

computadas baseadas nos movimentos do dispositivo

háptico [2]. Algumas delas são:

Elasticidade: a força de elasticidade é a mais

comum. Ela pode ser computada pela lei de

Hooke: F = k * x, onde k é a constante de rigidez e

x é o vetor de deslocamento.

Amortecedora: a principal utilidade da força

amortecedora é reduzir as vibrações, opondo-se ao

movimento. Ela é proporcional a velocidade do

finalizar do dispositivo. A equação padrão para

seu cálculo é F = - b * v, onde b é a constante de

amortecimento e v é a velocidade do finalizador.

As forças dependentes do tempo, como o próprio

nome já diz, são forças computadas com uma função

dependente do tempo [2]. Algumas delas são:

Constante: a força constante é uma força com

magnitude e direção fixa.

Periódica: a força periódica é um padrão que se

repete em um intervalo de tempo, tendo um

período e uma amplitude que determina a potência

da força.

Impulsiva: é uma força que é instantaneamente

aplicada e na prática, com o dispositivo háptico,

atua em pequeno intervalo de tempo.

A partir das informações destes dois tipos de classes

de forças, podem-se criar os algoritmos que resultarão


12

na sensação que o jogador irá sentir no dispositivo

háptico durante o jogo.

6. Considerações Finais

Toque e interação física estão entre os aspectos

fundamentais em que o ser humano precisa para

compreender o mundo e provocar mudanças nele [8].

Os sistemas hápticos permitem oferecer um conceito de

interação avançada para jogos, ampliando o grau de

realismo da aplicação.

Neste artigo foi apresentado um estudo, o

planejamento e a definição de uma arquitetura para

integrar sistemas hápticos e engines de jogos com o

objetivo de permitir o desenvolvimento de um serious

game voltado ao ensino e treinamento em saúde.

Atualmente o projeto se encontra na fase de

implementação dos algoritmos de renderização de

retorno de forças para o dispositivo háptico. A

integração do dispositivo à engine já foi realizada de

modo a permitir visualizar os movimentos do mesmo

no ambiente do jogo.

7. Agradecimentos

Este projeto é financiado pelo CNPq através do

processo 133693/2009-0.

8. Referências [1] Andrews, S., “HaptiCast: A Physically Based 3D Game

with Haptic Feedback”, Emerging Input/Output in Games,

Futureplay, Canada, 2006.

[2] Basdogan, C., Srinivasan, M.A., “Haptic Rendering In

Virtual Environments”,Virtual Environments HandBook, Ed:

K.M. Stanney, Publisher: Lawrence Erlbaum Associates,

2001, pp. 117-134.

[3] Burdea, G., Coiffet, P., “Virtual Reality Technology”,

Wiley-Interscience, 2003.

[4] Conti F., Barbagli F., Morris D., Sewell C., “CHAI:An

Open-Source Library for the Rapid Development of Haptic

Scenes”, Demo paper presented at IEEE World Haptics, Pisa,

Italy.March 2005.

[5] Corti, K., “Games-based Learning: A Serious Business

Application”.

http://www.pixelearning.com/docs/seriousgamesbusine

ssapplications.pdf., 2006. Acesso em agosto de 2010.

[6] Chang, D., “Haptics: Gaming's New Sensation”,

Computer, Volume 35, Issue 8, 2002, pp. 84-86.

[7] Farias, T., Silva, D., Moura, G., Teixeira, J. M., Costa, L.

H., Dias, G. Teichrieb, V., Kelner, J., “Um Estudo de Caso

sobre a Construção e a Integração de Dispositivos Hápticos

com Aplicações Interativas”, Anais do Simpósio Brasileiro

de Jogos de Computador e Entretenimento Digital

(SBGAMES 2006), Vol. 2006. Recife – PE, 2006.

[8] Faust, M.; Yoo, Yong-Ho., “Haptic Feedback in

Pervasive Games”, Pervasive Gaming Workshop at

Pervasive, Ireland, 2006.

[9] Irrlicht Engine, http://irrlicht.sourceforge.net/. Acesso

em agosto de 2010.

[10] Jones, M.G., Bokinsky, A., Tretter, T.; Negishi. A., “A

Comparison of Learning with Haptic and Visual Modalities”,

Haptics-e 3.6, 2005.

[11] Jones, M. G., “Getting a "Feel" for Serious Games”, In

L.A. Annetta (Ed.), Serious educational games. Rotterdam,

The Netherlands: Sense Publishing, 2008, pp. 73-81.

[12] Machado, L.S.; Moraes, R.M.; Nunes, F., “Serious

Games para Saúde e Treinamento Imersivo”, Book Chapter.

In: Abordagens Práticas de Realidade Virtual e Aumentada.

Porto Alegre: SBC, 2009, pp. 31-60.

[13] Michael, D., Chen, S., “Serious Games: Games That

Educate”, Train and Inform. Course Technology PTR, 2005.

[14] Morris, D., Neel, J., and Salisbury, K., “Haptic Battle

Pong: High-Degree-of-Freedom Haptics in a Multiplayer

Gaming Environment”, Experimental Gameplay Workshop,

GDC, 2004.

[15] Newton Dynamics Game Engine.

http://www.newtondynamics.com/. Acesso em agosto de

2010.

[16] Nilsson, D., and Aamisepp, H., “Haptic Hardware

Support in a 3D Game Engine”, Master thesis, Department of

Computer Science, Lund University, May 2003.

[17] Rankin, J.R., Sampayo S., “A Review of Serious Games

and Other Game Categories for Education”, SimTect 2008,

Melbourne, Australia, 2008, pp. 305-311.

[18] Rodrigues, H. F., Machado, L. S., Valença, A. M. G.,

“Uma Proposta de Serious Game Aplicado à Educação em

Saúde Bucal”, In: anais do Workshop de Realidade Virtual e

Aumentada, Santos, Brazil, CDROM, 2009.

[19] SensAble Technologies Inc., http://www.sensable.com/.

Acesso em agosto de 2010.

[20] SensAble Technologies, Programmer’s Guide 3D Touch

SDK OpenHaptics Toolkit. Versão 3.0, 2009.

[21] Novint Technologies Inc., http://www.novint.com/.

Acesso em agosto de 2010.


13

Analise de um Sistema de Interacao Tangıvel 3D para Jogos com RealidadeAumentada

Daniel M. Tokunaga, Silvio R. R. Sanches, Fernando Tsuda, Ricardo Nakamura, Romero ToriInterlab – Laboratorio de Tecnologias InterativasEscola Politecnica da Universidade de Sao Paulo

Abstract

This paper presents an analysis of a system for tangi-ble interface based on computer vision that allows the userto specify position and orientation informations in a natu-ral way. Our system is characterized by presenting stabilityand robustness in relation to different manipulations of theusers. Additionally, in applications based on AugmentedReality the device can be used for the registration of virtualobjects, increasing the sense of presence by the illusion ofdirect manipulation of it. A game based on Augmented Rea-lity was developed to evaluate this system, either due to thecharacteristics of tangible interface, or the fact that gamesare suitable for the testing of new interactive technologies.We intend that interaction techniques can be studied fromthe proposed solution, as well as other applications of thesame.

1 Introducao

Interfaces nao convencionais tem se mostrado um re-curso cada vez mais comum em pesquisas industriais eacademicas que exploram o uso de tecnologia e tecnicas deinteracao em jogos eletronicos. Exemplos a serem citadossao os sistemas GuitarHero, EyeToy e Wii.

Em jogos de Realidade Aumentada (RA), que combinamelementos reais com objetos virtuais para representar perso-nagens e compor o cenario do jogo, uma forma de interacaoalternativa pode ser desejavel. Em um ambiente no qual ojogador pode visualizar sua propria imagem como um ele-mento do jogo, por exemplo, a interacao feita por meio dedispositivos convencionais pode ter um aspecto pouco moti-vador se comparada a uma interface que explore movimen-tos mais naturais (como golpear um objeto com as maos ouesquivar-se dele).

Neste contexto, o presente trabalho apresenta umaanalise de um sistema de interface tangıvel baseado emvisao computacional, cujo objetivo e servir de base para

futuros estudos de tecnicas de interacao, aplicadas, inici-almente, em jogos eletronicos de RA, mas que pode ter suautilizacao estendida para aplicacoes de outros domınios.

2 Interfaces Tangıveis em Jogos com Reali-dade Aumentada

O conceito de interface tangıvel consiste na relacao me-taforica direta de um objeto fısico com um objeto virtual,de forma que a movimentacao de um deles (normalmenteo fısico) seja reproduzida pelo objeto virtual ao qual se co-necta, i.e., utiliza-se interacoes com o mundo real (no caso,o cubo real mostrado na Figura 2) como metafora para ainformacao manipulada no ambiente virtual (um campo deforca em forma de cubo que envolve a nave, modelado parao prototipo descrito na secao 6.2) [8].

A combinacao de um sistema de RA com interface deusuario tangıvel e chamada Tangible Augmented Reality(TAR) [4]. Por meio de uma TAR, objetos reais podem serutilizados para manipulacao de elementos dentro de ambi-entes virtuais, ainda que o usuario nao seja treinado parapraticar tecnicas convencionais de interacao 3D [3].

Segundo Kato et al [9], a utilizacao de interfacestangıveis em sistemas de RA pode trazer benefıcios aousuario devido as propriedades fısicas dos objetos, que po-dem ser usadas para sugerir como o objeto virtual associ-ado ao objeto real se comporta. Essas propriedades tambemrestringem o modo como esses objetos podem ser manipu-lados.

Tarefas de manipulacao em sistemas imersivos, porexemplo, tem seu desempenho aumentado quando se uti-lizam TARs [9], alem do fato de os objetos poderem sertocados tambem contribuir para o aumento da sensacao depresenca em ambientes virtuais ou aumentados [7] e, con-sequentemente, em jogos que utilizem essas tecnologias.

Muitos trabalhos envolvendo TARs aplicadas a jogos po-dem ser encontrados na literatura. Entre os projetos quepodem ser destacados, encontra-se o trabalho de Starner etal. [11], que consiste em um jogo multi-player no qual os


14

jogadores podem utilizar uma TAR baseada em visao com-putacional para reconhecer objetos do jogo. Outro exemplode utilizacao de TAR baseada em visao computacional e oprojeto MonkeyBridge [2]. O sistema e um jogo colabora-tivo de RA cuja interacao e feita, entre outras formas, pormeio de marcadores fiduciais.

O Jumanji Singapore [14], executado em um ambientede RA, consiste em um ambiente no qual jogadores podemse movimentar entre o mundo real, aumentado e virtual.Marcadores fiduciais manuseados pelo usuario e a forma dedirecionar a movimentacao do personagem no jogo.

Outro trabalho a ser destacado, voltado ao ensino de sig-nificados de sımbolos, foi apresentado por Wagner e Bara-konyi [12]. Os autores propuseram um jogo em ambientede RA que tambem utiliza TAR por meio de marcadoresfiduciais como forma de interacao. Uma extensa lista detrabalhos envolvendo jogos de RA que exploram diferentestecnologias de interfaces tangıveis pode ser encontrada emBernardes et al. [3].

3 Problemas

Uma das principais dificuldades na utilizacao de tecnicasde visao computacional para rastrear objetos – e obter suaposicao e orientacao – e contornar o problema da oclusao(perda de visibilidade do marcador).

A nao identificacao do objeto (ou marcador, no caso dasolucao proposta) pode ser provocada por diversos moti-vos como: posicionamento das maos do usuario, que cobreparte da marca; distancia do objeto em relacao a camera;iluminacao insuficiente ou mal distribuıda no ambiente; oupouca qualidade do dispositivo de captura. Como con-sequencia, acoes dentro do jogo – como movimentacao depersonagens – podem ser interrompidas.

Alem dos problemas citados, fatores mais sutis surgemcomo empecilhos a aplicacao de tecnicas desse tipo. Bibli-otecas de software que se baseiam em marcadores fiduci-ais [6, 5, 13], por exemplo, estimam posicao e orientacaodessas marcas com precisao e desempenhos aceitaveis paragrande parte das aplicacoes. No entanto, essas ferramentasainda se mostram instaveis, pois suas funcoes retornam di-ferentes valores de coordenadas mesmo quando o marcadorreconhecido nao e movimentado. No contexto de um jogo,tal instabilidade pode ser suficiente para causar prejuızo aojogador. O ultimo problema citado e tratado no presentetrabalho.

Uma analise do processo de deteccao do ARToolkit [6],uma das bibliotecas mais conhecidas, pode ser encontradano trabalho de Abawi et al. [1]. Sua precisao, exibidacomo uma funcao da distancia da camera em relacao ao seuangulo de rotacao no eixo Y , pode ser visualizada na Figura1.

Como pode ser observado, os resultados obtidos pelos

Figura 1. Precisao do processo de deteccaodo ARTookit, como uma funcao da distanciada camera em relacao ao seu angulo derotacao no eixo Y.

autores mostram que os erros sistematicos do ARToolkit,em relacao a distancia do marcador na faixa entre 20 e 70cm sao baixos e o desvio padrao entre 20 e 50 cm e pe-queno. Em relacao aos angulos de rotacao no eixo Y , oserros sistematicos sao menores na faixa entre 30◦ e 40◦, e odesvio padrao e pequeno na faixa entre 40◦ e 85◦.

4 Solucao Proposta e Desenvolvimento doSistema

Como forma de minimizar os problemas citados e de tor-nar a solucao utilizavel em jogos eletronicos, o sistema de-senvolvido faz uso de varios marcadores fiduciais com o ob-jetivo de aumentar a estabilidade no processo de reconheci-mento. Seis diferentes marcas, correspondentes a cada facedo cubo mostrado na Figura 2, sao utilizadas.

A aplicacao de marcadores fiduciais nas faces de umcubo e uma estrategia que tem sido bastante explorada emsistemas baseados em visao computacional. Grande partedesses sistemas utiliza esse recurso para obter redundancia(mais de uma marca associada a um unico objeto) e, as-sim, minimizar a interrupcao do processo de obtencao dascoordenadas nas quais um objeto virtual sera inserido [10].


15

Figura 2. Marcadores fiduciais aplicados so-bre cada face do cubo (seis marcadores).

No sistema desenvolvido, as coordenadas de todas as facesvisıveis colaboram para sua estabilidade.

A matriz de transformacao (dados de posicao e rotacao)do cubo e obtida a cada quadro de vıdeo pelo calculo damedia das matrizes de transformacao de cada marcador fi-ducial, fazendo com que os valores finais sofram meno-res variacoes quando comparados aos valores de posicaoe rotacao obtidas de um unico marcador. Para que issoaconteca, o sistema e configurado de modo que o centro –posicao (0, 0, 0) – de cada marcador representem a mesmaposicao, o centro do cubo. Consequentemente, os eixos (X,Y e Z) dos marcadores visıveis representam um unico sis-tema de coordenadas, como mostrado na Figura 3.

Figura 3. Media das rotacoes dos marcadoresvisıveis e utilizada para obter a orientacao.

Devido a caracterıstica fısica do cubo, uma, duas ou tresfaces podem estar visıveis a camera em determinado quadrode vıdeo. Quanto maior o numero de faces visıveis, maiorestabilidade e alcancada, pois as orientacoes das marcas emrelacao a camera, alem de serem as mais proximas a ideal(Figura 1), podem ser utilizadas no calculo.

5 Testes Realizados

Como forma de validar o sistema, foram realizados tes-tes para verificacao a precisao e desempenho da interface.Para isso, o prototipo desenvolvido, que sera detalhado nasecao 6.2, foi modificado para possibilitar o registro das co-ordenadas necessarias para os calculos.

Para realizacao dos testes foi montado um ambiente quepermitisse a medicao da estabilidade e o desempenho demaneira controlada e com repetibilidade. Foram tomadoscuidados com o posicionamento da camera e do cubo, como controle da iluminacao do ambiente e com caracterısticasdo dispositivo de captura, como compensacao automaticade iluminacao. Fatores como esses poderiam influenciaro resultados dos testes. O cubo foi fixado a distancia de40 cm da camera de vıdeo, ambos fixados em tripes, comomostrado na Figura 4.

Foram capturados em torno de 600 quadros comresolucao 640x480 pixels para cada bateria de testes, a umataxa de aproximadamente 30 quadros por segundo. Os equi-pamentos utilizados foram um laptop com processador IntelCore 2 Duo T7250 2 GHz, equipado com 4 GB de memoriaRAM, placa de vıdeo Nvidia GeForce 8400M GS 128 MBe Windows 7 (versao 64 bits). A camera utilizada para cap-tura das imagens foi uma Logitech QuickCam Pro 5000. Aestrutura utilizada pode ser visualizada na Figura 4.

Figura 4. Estrutura utilizada nos testes de de-sempenho e estabilidade.

6 Resultados

Nesta secao sao apresentados os resultados dos testesdescritos na secao 5 e o prototipo desenvolvido para ava-liar a interface de interacao tangıvel baseada no cubo.


16

6.1 Estabilidade da interface

Inicialmente foram mantidas tres faces visıveis, comomostrado na Figura 5, e respeitou-se a denominacao indi-cada na mesma Figura. Em seguida, ocultou-se outras facespara manter visıveis, duas e uma face respectivamente.

Figura 5. Imagem do cubo, com tres facesvisıveis, sobre o tripe.

Considerou-se todas as combinacoes de faces possıveis(ABC, AB, BC, AC, A, B e C). Para cada combinacao,foram registrados os valores das coordenadas de posicaoe rotacao das faces identificadas, a cada quadro captu-rado, alem do tempo de processamento. Foram registradastambem a variacao das coordenadas Prt, do centro cubo (notempo t), e Ryt, da rotacao do eixo Y do cubo em relacao ascoordenadas obtidas do quadro anterior (tempo t−1), comomostrado na Equacao 1 e 2. Desta forma, e possıvel quan-tificar a instabilidade em relacao as coordenadas reais daposicao e da rotacao do cubo. Como consequencia, pode-seobter um valor relacionado a acuracia do sistema.

Prt = |Pt − Pt−1| (1)

Rrt = |Ryt −Ryt−1| (2)

A precisao do sistema aumenta nas situacoes em queduas e tres faces sao capturadas, o que contribui para adiminuicao dos valores medios e maximos dos erros, comopode ser visualizado na Figura 7. A menor precisao quantoao reconhecimento de duas faces em relacao a tres pode seratribuıda ao problema da inclinacao das marcas em relacaoao ponto de vista da camera [1].

Nos casos em que apenas uma face e reconhecida, nota-se que a face B apresenta maior estabilidade em relacao asdemais. Sua variacao media do erro e menor em relacao aovalor das faces A e C. Essa diferenca pode ter relacao coma inclinacao do marcador ou com os diferentes padroes doscentros das marcas.

Figura 6. Valores medios e maximos dos er-ros de posicao.

Figura 7. Valores medios dos erros derotacao.

Quando duas faces sao reconhecidas, percebe-se que oerro diminui, principalmente nos casos em que as faces ABe BC sao reconhecidas. Por esse motivo, acredita-se que apostura do marcador da face B contribua de forma significa-tiva para a melhoria dos resultados. Os valores medios doserros das faces AB e BC se mostraram menores em relacaoa face B reconhecida isoladamente.

E importante observar que a influencia da iluminacao edos objetos presentes na cena capturada foram fatores con-siderados durante a realizacao dos testes. O uso de um ob-jeto de determinada cor para a oclusao das faces do cubo,por exemplo, pode interferir no mecanismo de ajuste debranco (white balance) da camera, comprometendo a va-lidade dos resultados obtidos. Alguns dispositivos de cap-tura, como as webcams utilizadas nos testes, utilizam a corbranca como base para ajustes automaticos para compensarvariacoes de iluminacao. Assim, para que nao ocorram es-tas influencias nao desejaveis durante o teste, a iluminacaodo ambiente de teste foi mantida, e todos os parametrosdo teste como as da camera e do cubo foram mantidosestaticos, de forma a nao influenciarem a iluminacao du-rante o teste.

O tempo de processamento de cada quadro tambem foi


17

um aspecto do sistema analisado durante a realizacao dostestes. Os tempos medios de processamento do quadro (emmilissegundos) quando tres, duas ou uma face e reconhecidasao apresentados na Figura 8.

Figura 8. Tempo medio de processamento doquadros (em milissegundos).

Como pode ser observado, a queda de desempenho econsideravel quando mais faces (mais marcadores) sao re-conhecidos. Quando compara-se o tempo de processamentodo quadro no qual apenas uma face e reconhecida aos tem-pos obtidos quando duas ou tres faces sao visıveis a camera,o desempenho do sistema cai 83,41%, no primeiro caso e170,12% no segundo.

Este comportamento era esperado devido ao custo com-putacional dos algoritmos de reconhecimento de padroesimplementados na biblioteca ARToolkit. Esta queda de de-sempenho, porem, nao causou impacto no desempenho ge-ral do jogo, que manteve uma taxa de quadros por segundosatisfatoria, limitada pelo dispositivo de captura.

6.2 Sistema aplicado no prototipo

Diante da viabilidade tecnica demonstrada pelos resulta-dos dos testes, foi desenvolvido um prototipo, baseado nojogo classico “Asteroids1”, com o objetivo de integrar efeti-vamente o sistema a um jogo eletronico de RA (Figura 9).

No jogo, o usuario deve movimentar o cubo para provo-car colisoes com os asteroides que possuem a mesma cor danave (objeto virtual gerado sobre o cubo). Foram modela-dos dois tipos de “campos de forca” para envolver a nave,um esferico e outro em forma de cubo (para que houvessecorrespondencia direta com a forma do cubo real). A co-lisao faz com que o jogador ganhe pontos e incremente suabarra de sobrevivencia. Por outro lado, a colisao com as-teroides de cor diferente da nave faz com que a barra desobrevivencia seja decrementada.

1http://www.asteroidsgame.net

Figura 9. Ambiente de RA em que o jogo eexecutado.

O final do jogo ocorre quando a barra de sobre-vivencia chega ao valor mınimo. Asteroides destruıdostransformam-se em fragmentos que destroem outros aste-roides em suas rotas de colisao.

Figura 10. Efeitos de explosao.

O cubo deve permanecer visıvel a camera de vıdeo du-rante todo tempo de execucao do jogo. Caso contrario, anave permanece imovel no ambiente e pode ser atingidapor asteroides. Movimentos de translacao do cubo – emqualquer direcao – provocam o deslocamento da nave peloambiente e movimentos de rotacao disparam a acao de ca-muflagem, que torna a nave vermelha (rotacao sobre o eixoZ, no sentido horario) ou azul (rotacao sobre o eixo Z, nosentido anti-horario).

A simplicidade da integracao do sistema com o jogomostrou a viabilidade de sua utilizacao em outros jogos,embora o codigo fonte ainda nao esteja organizado comoum componente de software totalmente independente.


18

7 Conclusoes e Trabalhos Futuros

No presente trabalho foi realizada uma analise de umsistema baseado em visao computacional para ser utilizadocomo interface tangıvel em jogos eletronicos executados emambientes de RA. Um prototipo tambem foi desenvolvidopara testes e aplicacao pratica.

O sistema permite aprimorar a estabilidade numerica dasestimativas de posicao e orientacao do cubo e, quando apli-cado em jogos eletronicos, possibilita interacao, por meiode visao computacional.

Os resultados obtidos mostraram que maior robustez noprocesso de deteccao e alcancada quando um numero maiorde marcas esta presente na cena. Embora exista impacto nodesempenho do sistema, existe um ganho na estabilidade daposicao e orientacao em que os objetos virtuais – ou perso-nagens do jogo – sao gerados (sempre sobrepostos ao cubo).A partir dessa avaliacao, a forma de manuseio do cubo pelojogador e um fator importante, sendo desejavel que mais deuma face do mesmo permaneca visıvel a camera de vıdeo.

Pretende-se, como trabalhos futuros, realizar testes comusuarios e disponibilizar o sistema para que tecnicas deinteracao possam ser estudadas a partir da solucao desen-volvida. Outros tipos de marcadores (por exemplo, um cubocom faces coloridas) podem ser testados. A organizacao docodigo fonte como um componente de software indepen-dente tambem se faz necessaria para facilitar sua integracaoem outros jogos e demais aplicacoes que envolvam interfa-ces tangıveis.

Agradecimentos

Os autores agradecem a CAPES, pelas bolsas de estudode Daniel M. Tokunaga e Silvio R. R. Sanches, e a FA-PESP, pelo apoio financeiro. Esta pesquisa e parte do pro-jeto TIDIA-Ae, financiado pela Fundacao de Amparo a Pes-quisa do Estado de Sao Paulo (Processo n◦ 2005/60618-1).

Referencias

[1] D. Abawi, J. Bienwald, and R. Dorner. Accuracy in opti-cal tracking with fiducial markers: an accuracy function forartoolkit. In Mixed and Augmented Reality, 2004. ISMAR2004. Third IEEE and ACM International Symposium on,pages 260–261, Nov. 2004.

[2] I. Barakonyi, M. Weilguny, T. Psik, and D. Schmalstieg.Monkeybridge: autonomous agents in augmented reality ga-mes. In ACE ’05: Proceedings of the 2005 ACM SIGCHIInternational Conference on Advances in computer enter-tainment technology, pages 172–175, New York, NY, USA,2005. ACM.

[3] J. L. Bernardes Jr, R. Tori, R. Nakamura, D. Calife, andA. Tomoyose. Extending Experiences: Structure, analy-sis and design of computer game player experience, chapter

Augmented Reality Games, pages 228–246. Lapland Uni-versity Press, Laplan, 2008.

[4] M. Billinghurst, H. Kato, and I. Poupyrev. Collaborationwith tangible augmented reality interfaces. In HCI Interna-tional, pages 234–241, 2001.

[5] M. Fiala. Artag, a fiducial marker system using digital te-chniques. In CVPR ’05: Proceedings of the 2005 IEEEComputer Society Conference on Computer Vision and Pat-tern Recognition (CVPR’05) - Volume 2, pages 590–596,Washington, DC, USA, 2005. IEEE Computer Society.

[6] HIT Lab. Artoolkit. Disponıvel emhttp://www.hitl.washington.edu/artoolkit/, 2010. Acessadoem jan. 2010.

[7] H. G. Hoffman. Physically touching virtual objects usingtactile augmentation enhances the realism of virtual envi-ronments. In VRAIS ’98: Proceedings of the Virtual RealityAnnual International Symposium, page 59, Washington, DC,USA, 1998. IEEE Computer Society.

[8] H. Ishii and B. Ullmer. Tangible bits: towards seamless in-terfaces between people, bits and atoms. In CHI ’97: Proce-edings of the SIGCHI conference on Human factors in com-puting systems, pages 234–241, New York, NY, USA, 1997.ACM.

[9] H. Kato, M. Billinghurst, I. Poupyrev, K. Imamoto, andK. Tachibana. Virtual object manipulation on a table-topar environment. In Augmented Reality, 2000. (ISAR 2000).Proceedings. IEEE and ACM International Symposium on,pages 111–119, 2000.

[10] V. F. Pamplona, L. A. F. Fernandes, J. L. Prauchner, L. P.Nedel, and M. M. Oliveira. The image–based data glove.In SVR 2008: Proceedings of The X Sympoisum on Virtualand Augmented Reality, pages 204–211, Porto Alegre, RS,Brasil, 2008. Sociedade Brasileira de Computacao.

[11] T. Starner, B. Leibe, B. Singletary, and J. Pair. Mind-warping: towards creating a compelling collaborative aug-mented reality game. In IUI ’00: Proceedings of the 5thinternational conference on Intelligent user interfaces, pa-ges 256–259, New York, NY, USA, 2000. ACM.

[12] D. Wagner and I. Barakonyi. Augmented reality kanji le-arning. In ISMAR ’03: Proceedings of the 2nd IEEE/ACMInternational Symposium on Mixed and Augmented Reality,page 335, Washington, DC, USA, 2003. IEEE Computer So-ciety.

[13] D. Wagner and D. Schmalstieg. Artoolkitplus for pose trac-king on mobile devices. In Proceedings of 12th ComputerVision Winter Workshop (CVWW’07), pages 139–146, 2007.

[14] Z. Zhou, A. D. Cheok, T. Chan, and Y. Li. Jumanji singa-pore: an interactive 3d board game turning hollywood fan-tasy into reality. In ACE ’04: Proceedings of the 2004 ACMSIGCHI International Conference on Advances in computerentertainment technology, pages 362–363, New York, NY,USA, 2004. ACM.


19

Livro Interativo de Xadrez Potencializado com Realidade Aumentada

Raryel Costa Souza e Claudio KirnerDMC – Depto. de Matemática e Computação – UNIFEI (Universidade Federal de Itajubá)

[email protected], [email protected]

Resumo

O aprendizado das regras do jogo de xadrez é difícil. Tradicionalmente, o livro e apresentações por instrutores tem sido usados, mas algumas inciativas tem procurado novas formas de ensino e aprendizagem de xadrez, explorando vídeos, realidade virtual e realidade aumentada. Esse trabalho apresenta uma aplicação de realidade aumentada para ser usado no ensino de xadrez, tanto por alunos como instrutores. Faz-se uso de animações 3D combinadas com instruções sonoras e visuais permitindo ao aluno um melhor entendimento das regras do jogo se comparado a forma tradicional de ensino (quadro-negro e livros). Também são inclusos exercícios de fixação em que o usuário tem liberdade para interagir com a aplicação fazendo uso de marcadores específicos para cópia, transporte e apagamento de objetos virtuais. Para complementar foi incluso um módulo que permite que o usuário jogue xadrez livremente com um amigo.

1. Introdução

O xadrez é um jogo de tabuleiro, mas devido ao estrategismo e raciocínio exigidos do jogador, ele acaba sendo muito mais que isso. Justamente por essas características que ele tem sido usado como uma ferramenta pedagógica em escolas do mundo todo, em algumas ele acabou se tornando uma disciplina [7]. Entretanto, a forma de ensino tradicional são o quadro-negro e livros, o que, por vezes, acaba não oferendo clareza suficiente, sendo cansativo e pouco motivador ao aluno.

Com a intenção de se oferecer uma forma diferente de se ensinar o básico do xadrez, de forma interativa (com exercícios) e dinâmica (com animações 3D) foi criado um ambiente de ensino constituído do LIXPRA (Livro Interativo de Xadrez Potencializado com Realidade Aumentada) e vídeos. A ideia aqui é de tanto fornecer ao aluno uma ferramenta de estudo para usar em sua casa (podendo fazer exercícios e rever as explicações), como para o instrutor em suas aulas. Mesmo com todos os esforços para transmitir com as

regras com o máximo de clareza, o uso da ferramenta com a orientação de um instrutor é altamente recomendável.

A justificativa para o uso da realidade aumentada (RA) em vez da realidade virtual(RV) é que, a última tem a desvantagem de exigir do usuário um equipamento intermediário para interagir (como por exemplo o mouse). Na realidade aumentada, por ela trazer a aplicação para o ambiente real, a interação pode ser feita usando os movimentos naturais do corpo (por exemplo, movimentando um marcador com as mãos), o que acaba sendo bem mais intuitivo. [5,11]

Os objetivos do trabalho desenvolvido são, basicamente, que o ambiente de realidade aumentada possibilite que o usuário possa fazer um curso básico sobre o xadrez. Para isso ele receberá instruções áudio-visuais e posteriormente fará exercícios de fixação. Ao final do curso deve haver a possibilidade de o usuário jogar xadrez em RA com um amigo.

Na seção 2 serão abordados alguns trabalhos relacionados, enquanto que nas seções de 3 a 4 fala-se sobre o ambiente de ensino desenvolvido, abordando, respectivamente, o ambiente de realidade aumentada e o ambiente de apoio constituído do livro e vídeos. Na seção 5 apresentam-se as conclusões do trabalho desenvolvido.

2. Trabalhos Relacionados

Dentre as aplicações computacionais de xadrez já existentes, a maior parte se foca ou totalmente no jogo de xadrez em si ou totalmente no ensino. Não se encontrou, até o momento, nenhuma aplicação, da área de RV e RA que abordasse esses dois aspectos em conjunto.

Entre alguns trabalhos semelhantes na área tem-se um que oferece um jogo de damas com realidade aumentada [12] que possa ser jogado entre um humano e o computador. O programa, desenvolvido usando ARToolKit, reconhece o tabuleiro e as peças posicionadas sobre ele a cada jogada. Com essas informações, o computador pode realizar sua jogada contra o oponente real. Há também um trabalho


20

mailto:[email protected]


semelhante, só que destinada a dispositivos móveis [6].

O Distributed Augmented Chess [1] tem características semelhantes ao jogo de damas com realidade aumentada, entretanto, envolvendo algoritmos bem mais complexos nas jogadas do computador (devido aos vários tipos de movimentação das peças do xadrez e às regras em número bem maior do que o jogo de damas). Ele também detecta o tabuleiro e as peças, obtendo assim os dados para que o computador faça sua jogada. A aplicação também inclui recursos colaborativos, permitindo assim que se façam partidas via rede local ou internet. Ao contrário do jogo de damas, o rastreamento óptico foi feito de forma personalizada pelos próprios desenvolvedores: eles não fizeram uso do ARToolKit.

Também se encontrou um trabalho sobre um jogo de damas chinesas [4] (indevidamente chamado por muitos de xadrez chinês), mas que também foi desenvolvido em realidade aumentada. O interessante é que se faz uso de várias câmeras para detecção dos marcadores usados, de forma que problemas de obstrução sejam solucionados. Uma inovação nesse trabalho foi o uso de um controle remoto adaptado para indicar que o usuário quer movimentar uma peça (ao invés do tradicional, que é deixar o marcador parado numa posição por um certo intervalo de tempo). Nessa aplicação também é feita a detecção de movimentos inválidos.

Outra aplicação encontrada é uma representação moderna [13,14] do histórico autômato de xadrez denominado “Chess Turk”, criado por volta de 1789. Ele era um “autômato” mecânico, em tamanho real, de um turco que ficava sentado numa mesa e jogava xadrez com as pessoas. No início da apresentação as portas da mesa de xadrez eram abertas para mostrar o mecanismo interno, mas ninguém podia ver o jogador de xadrez que ficava escondido dentro da mesa. Esse jogador era quem controlava o turco (que não era autômato coisa nenhuma) através de um mecanismo mecânico complexo, permitindo grande precisão na movimentação dos braços do mesmo.

A aplicação moderna em realidade aumentada permite que o usuário não apenas conheça a história e o mistério a respeito do autômato, mas também jogue contra o Turco Virtual (que agora é um verdadeiro autômato). Usam-se recursos pesados de rastreamento óptico, permitindo que o usuário dispense dispositivos complexos de interação, basta usar suas próprias mãos e um touchpad para fazer as jogadas. O jogo prossegue naturalmente até certo ponto, depois disso o jogador humano perde o controle sobre a movimentação de suas peças e o jogo corre cada vez mais rápido até que o Turco Virtual vença (a intenção dos desenvolvedores foi mostrar o perigo de algum dia o homem perder o controle sobre a tecnologia).

Foram encontrados alguns vídeos no YouTube [2,3] de trabalhos aplicações de realidade aumentada que lidam especificamente com o jogo de xadrez. Neles foram colocadas funções que fazem o ajuste do posicionamento das peças após a movimentação, detecção de captura de peça, detecção de movimentos ilegais, entre outros. Um deles fez uso de ARToolKit [2].

3. Desenvolvimento do ambiente com realidade aumentada

3.1. Ferramentas usadas

A aplicação foi desenvolvida com o SACRA (Sistema de Autoria Colaborativa com Realidade Aumentada) [8,9,10]. O SACRA foi desenvolvido com a intenção de facilitar que usuários leigos de computação, que tinham muitas vezes dificuldades para instalar e configurar o ARToolKit, pudessem usar e desenvolver aplicações com realidade aumentada. Com o uso dessa ferramenta dispensa-se o uso de programação: toda a aplicação é desenvolvida através da edição de arquivos de texto que configuram os objetos virtuais a serem colocados em cena. A desvantagem disso é que surgem várias limitações na criação da aplicação, como por exemplo, não ser possível fazer um teste se uma resposta foi dada corretamente ou que uma movimentação ilegal no jogo de xadrez foi feita, se ocorreu um xeque, etc.

Os objetos virtuais e as animações foram desenvolvidos usando o Vivaty Studio [15], uma ferramenta que permite a modelagem visual dos objetos 3D. O uso dessa ferramenta acelera em muito o desenvolvimento de animações se comparado com a modelagem textual em código VRML (Virtual Reality Modeling Language).

3.2. Estruturação

A implementação do SACRA foi feita de tal forma que, a partir de uma lista circular de arquivos com código VRML, usando um marcador denominado controle, é possível alternar entre as cenas geradas por cada arquivo.

Para permitir que um áudio seja novamente executado após seu término é usado o marcador de inspeção. Ele praticamente desativa a cena, e após mais uma interação com ele, a cena é ativada desde o início, o que resulta na repetição do som.

Dessa forma, basicamente, cada um dos módulos é formado por um conjunto sequencial de cenas (geradas por um ou mais arquivos VRML), podendo ser alternados pelo uso do marcador de controle. Resumidamente, pode-se dizer que o marcador de controle permite o avanço em profundidade no módulo


21

enquanto que o de inspeção funciona como o “replay” das cenas.

3.3. Módulos do LIXPRA

O livro interativo de xadrez desenvolvido aborda alguns dos aspectos básicos desse jogo: o nome das peças, o posicionamento, a movimentação, a captura e os xeques. Cada um desses temas é abordado em um módulo diferente. Para auxiliar no entendimento, usam-se animações 3D combinadas com explicações em áudio sobre as regras do jogo.

Para auxiliar a navegação de usuários iniciantes no ambiente de RA são apresentadas, em alguns casos, instruções de como proceder (os marcadores usados, onde colocá-los, etc). Em instruções muitos longas optou-se por instruções sonoras, para as mais breves usou-se recursos visuais, dessa forma permite-se que algumas partes da aplicação possam ser usadas até mesmo por pessoas com dificuldades visuais ou auditivas.

Os módulos são seis no total: Nomes das Peças, Posicionamento, Movimentação, Captura, Xeque e Jogo. Devido as próprias características do SACRA (herdadas do ARToolKit), para cada módulo é utilizado um marcador de referência diferente.

Ao fim de alguns módulos há exercícios de fixação. Neles, o usuário tem grande grau de liberdade para interagir, podendo escolher a ordem em que vai fazer o exercício, para onde movimentar os objetos virtuais, entre outros. A interação com os objetos virtuais é feita através de marcadores designados especificamente para uma função (cópia, apagador, transporte, entre outros).

Figura 1 - Cena inicial do m dulo “Nomesó das Pe as”ç

3.3.1. Nomes das Peças. Nesse módulo são apresentados as peças, em modelos tridimensionais, e os respectivos nomes. Assim que se termina a apresentação das peças há um exercício de fixação: o usuário, fazendo uso de outros marcadores (cópia, transporte e apagador), deverá posicionar cada uma

das peças sobre os respectivos nomes (ver figura 3). Ao fim é apresentada a solução do exercício.

Na figura 1 apresenta-se uma captura de tela da cena inicial do módulo sendo usado, está sendo aproximado o marcador de controle da esfera azul escura para avançar para a próxima cena.

Na figura 2, a cena que aparece após a aproximação do marcador de controle.

Figura 2 - Segunda cena 2 do m dulo “Nomesó de Pe as”ç

Figura 3 – Exerc cio de colocar as pe así ç sobre os respectivos nomes

Figura 4 - Posi o dos cavalos no tabuleiroçã


22

3.3.2. Posicionamento. Aqui se apresenta o posicionamento de cada uma das peças no tabuleiro (na figura 4, uma captura de tela da posição dos cavalos), acompanhando, é claro explicações em áudio sobre as regras sobre o posicionamento. Ao fim há um exercício de fixação semelhante ao do módulo anterior. A diferença aqui é que, em vez de colocar as peças sobre os nomes, o usuário deverá posicionar as 32 peças sobre o tabuleiro (veja a figura 5 e 6). Após o término é apresentada a solução do exercício.

Figura 5 – Exerc cio de posicionar as pe así ç no tabuleiro

Figura 6 – Resposta do exerc cio deí posicionamento

3.3.3. Movimentação. Nessa seção são apresentadas animações em loop sobre a movimentação de cada uma das peças. As explicações em áudio são bem mais extensas do que nas partes anteriores já que cada peça do xadrez possui regras específicas de movimentações. Algumas possuem casos especiais que exigem maior

detalhamento. Ao fim das demonstrações há um exercício de perguntas e respostas sobre as regras de movimentação apresentadas (ver figura 7).

Figura 7 – Exerc cio de perguntas e respostasí

3.3.4. Captura. A captura de peças no xadrez também possui algumas particularidades, nesse módulo se faz uma breve demonstração (com animações e áudio) de cada uma delas.

3.3.5. Xeque. Após o ensino do nome das peças, movimentação e captura o usuário já pode entender melhor o xeque, algo intrinsecamente relacionado com o objetivo do jogo de xadrez, que é dar o xeque-mate no rei adversário. Aqui, a combinação entre animação 3D e as explicações (ver figura 8) de forma sonora e visual de um caso de xeque (ver figura 9), e outro de xeque-mate (ver figura 10), permitem que o entendimento seja facilitado e muito em relação a outras formas de apresentação do tema (como livros e quadro-negro).

Figura 8 – Instru es sobre o xequeçõ


23

Figura 9 – Exemplo animado de xeque

Figura 10 – Exemplo animado de xeque-mate

3.3.6. Jogo. Para que o usuário possa também começar a fazer suas primeiras partidas, de preferência, com um instrutor ou jogador experiente (porque, fazendo uso do SACRA não é possível testar se a movimentação das peças foi feita corretamente), há um módulo em que ele pode jogar livremente. (ver figura 11).

Figura 11 – Jogo de xadrez com realidade aumentada

4. Desenvolvimento do Ambiente de Apoio

Como complemento ao ambiente de realidade aumentada foram gravados vídeos da utilização de cada um dos módulos de uma forma bem mais resumida (e sem as explicações em áudio com as regras envolvidas).

Entre as vantagens do vídeo cita-se o fato de ele dispensar que o usuário tenha que se preocupar com questões de iluminação do ambiente (que afetam o rastreamento óptico) e não requerer programas especiais para ser executado. Essa última vantagem é importante, pois no caso de ocorrem problemas de compatibilidade do SACRA com possíveis versões mais novas dos sistemas operacionais e bibliotecas, pode-se ainda continuar o uso (restrito, é claro) do ambiente de ensino de xadrez. Caso isso venha a ocorrer a solução poderá ser o uso de uma máquina virtual com uma versão mais antiga do sistema operacional.

Já as desvantagens da utilização de vídeos é o fato de serem estáticos, não permitirem a interação (o grande ênfase da realidade virtual e aumentada). Assim, perde-se boa parte do potencial educativo (fornecido através dos exercícios e do jogo de xadrez implementados em RA).

O LIXPRA também funciona como um livro normal de xadrez, já que além dos marcadores de RA, há textos e ilustrações apresentando as regras do jogo de xadrez. Os temas abordados são praticamente os mesmos da parte interativa do livro.

O pacote do LIXPRA, o manual de utilização e os vídeos se encontram disponíveis para download no site http://www.ckirner.com/sacra/aplica/xadrez/.

5. Conclusão

Através desse trabalho foi apresentado um ambiente completo de ensino do básico sobre o xadrez, desenvolvido usando recursos de realidade aumentada. A aplicação possibilita ao usuário a interação (permitindo avançar para a próxima cena, atuar livremente em exercícios de fixação e atuar num jogo de xadrez em RA) e o aprendizado dinâmico (através de animações 3D). Para complementar também foi criado um ambiente de apoio constituído de um livro de xadrez e vídeos do funcionamento da aplicação de RA.

Devido a facilidade de uso do SACRA, foi possível implementar o ambiente de ensino de xadrez com realidade aumentada e até mesmo o jogo de xadrez em RA com relativa rapidez. Algumas limitações do SACRA impediram que, por exemplo, fossem feitos testes se um usuário acertou uma resposta de exercício ou se movimentou uma peça incorretamente durante o jogo. Devido a algumas falhas do SACRA, algumas


24

http://www.ckirner.com/sacra/aplica/xadrez/

animações não funcionaram de forma perfeitamente bem, ocorrendo desaparecimentos dos objetos em cena por alguns segundos, mas nada de muito grave que afetasse o uso do LIXPRA.

Como contribuição do trabalho desenvolvido pode-se citar a criação de uma ferramenta diferente para ser usada no ensino de xadrez, dando ao aluno a possibilidade de estudar sozinho em sua casa (e fazendo exercícios) e ao instrutor de apresentar as regras do jogo de uma forma mais clara, dinâmica e interativa.

Como trabalhos futuros pode-se citar a criação de uma versão do ambiente de RA voltado para usuários mais experientes, com menos explicações em áudio. Também planeja-se desenvolver a aplicação usando a biblioteca FLARToolKit, o que possibilitará a superação das limitações encontradas com o SACRA, a inclusão de recursos mais complexos e o uso de menos marcadores. A aplicação também poderá ser usada sem a necessidade de instalar nenhum software extra no computador, bastando ao usuário acessar uma página na internet e possuir o plugin de Flash instalado no navegador.

6. Agradecimentos

Agradecimentos a FAPEMIG pela bolsa PIBIC de iniciação científica que possibilitou o desenvolvimento desse trabalho.

7. Referências Bibliográficas

[1] ABRAHAM, Frederico Rodrigues; BRAGA, Otavio. Distributed Augmented Chess System. Disponível em: <http://www.tecgraf.puc-rio.br/~mgattass/ra/trb03/Fre&Otavio/>. Acesso em: 17 ago. 2010.

[2] Augmented reality chess game. Disponível em: <http://www.youtube.com/watch?v=vTB8q2UAEuE>. Acesso em: 17 ago. 2010.

[3] BUCCIO, Marco. Augmented Reality Chess. Disponível em: <http://www.youtube.com/watch?v=W94CEyVGrm0>. Acesso em: 17 ago. 2010.

[4] COOPER, Nicholas; KEATLEY, Aaron; DAHLQUIST, Maria; MANN, Simon; SLAY, Hannah; ZUCCO, Joanne; SMITH, Ross; THOMAS, Bruce H. Augmented Reality Chinese Checkers. Disponível em: <http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.102.9448&rep=rep1&type=pdf>. Acesso em: 17 ago. 2010.

[5] KIRNER, Claudio; SISCOUTTO, Robson. Realidade Virtual Aumentada: Conceitos, Projeto e Aplicações. Livro do Pré- Simpósio: IX Symposium of Virtual and

Augmented Reality. Petrópolis – RJ. 28 mai. 2007. Disponível em: <http://www.ckirner.com/download/livros/Realidade%20Virtual%20e%20Aumentada-2007.zip>. Acesso em: 25 jul. 2010.

[6] LUZ, Lucas Faria da. Jogo de Damas usando Realidade Aumentada. Disponível em: <http://www.fileden.com/files/2010/4/23/2837301/ULBRA-TCC2-lucas_luz.pdf>. Acesso em: 17 ago. 2010.

[7] OLIVEIRA, Cléber Alexandre Soares de; CASTILHO, José Eduardo. O Xadrez como Ferramenta Pedagógica Complementar na Educação Matemática. Disponível em: <http://www.matematica.ucb.br/sites/000/68/00000069.pdf>. Acesso em: 15 out. 2010 .

[8] SACRA HOMEPAGE. Disponível em: <http://www.ckirner.com/sacra>. Acesso em: 18 ago. 2010.

[9] SANTIN, Rafael; KIRNER, Claudio. ARToolKit: Conceitos e Ferramenta de autoria colaborativa. Disponível em: <http://www.ckirner.com/sacra/ARTK-tutor-CK-final.pdf>. Acesso em: 19 ago. 2010.

[10] SANTIN, Rafael. Sistema de autoria em ambiente colaborativo com realidade aumentada. Disponível em: <http://www.ckirner.com/sacra/SACRA-diss.zip>. Acesso em: 19 ago. 2010.

[11] TORI, Romero; KIRNER, Claudio; SISCOUTTO, Robson. Fundamentos e Tecnologia de Realidade Virtual e Aumentada. Livro do pré-simpósio: VIII Symposium on Virtual Reality. Belém – PA. 02 mai. 2006. Disponível em: <http://www.ckirner.com/download/capitulos/Fundamentos_e_Tecnologia_de_Realidade_Virtual_e_Aumentada-v22-11-06.pdf>. Acesso em: 21 ago. 2010.

[12] TRINDADE, Daniel Ribeiro. Jogo de Damas em Realidade Aumentada. Disponível em: <http://www.tecgraf.puc-rio.br/~mgattass/ra/trb08/DanielRibeiro/pagina/Realidade%20Aumentada%20-%20Daniel%20Ribeiro%20Trindade.html>. Acesso em: 21 ago. 2010.

[13] Vienna University of Technology . The Virtual Showcase: An innovative augmented reality display system. Disponível em: <http://studierstube.icg.tu-graz.ac.at/virtualshowcase/>. Acesso em: 17 ago. 2010.

[14] Vienna University of Technology. Turkish Chess-Player. Disponível em: <http://www.ims.tuwien.ac.at/~flo/vs/chessplayer.html>. Acesso em: 17 ago. 2010.

[15] VIVATY STUDIO HOME PAGE. Disponível em: <http://developer.vivaty.com>. Acesso em: 06 mai. 2010.


25

http://www.matematica.ucb.br/sites/000/68/00000069.pdf

http://developer.vivaty.com/

http://www.ims.tuwien.ac.at/~flo/vs/chessplayer.html

http://www.ims.tuwien.ac.at/~flo/vs/chessplayer.html

http://studierstube.icg.tu-graz.ac.at/virtualshowcase/

http://studierstube.icg.tu-graz.ac.at/virtualshowcase/

http://www.tecgraf.puc-rio.br/~mgattass/ra/trb08/DanielRibeiro/pagina/Realidade%20Aumentada%20-%20Daniel%20Ribeiro%20Trindade.html



http://www.ckirner.com/download/capitulos/Fundamentos_e_Tecnologia_de_Realidade_Virtual_e_Aumentada-v22-11-06.pdf



http://www.ckirner.com/sacra/SACRA-diss.zip

http://www.ckirner.com/sacra/ARTK-tutor-CK-final.pdf

http://www.ckirner.com/sacra

http://www.fileden.com/files/2010/4/23/2837301/ULBRA-TCC2-lucas_luz.pdf

http://www.fileden.com/files/2010/4/23/2837301/ULBRA-TCC2-lucas_luz.pdf

http://www.ckirner.com/download/livros/Realidade%20Virtual%20e%20Aumentada-2007.zip

http://www.ckirner.com/download/livros/Realidade%20Virtual%20e%20Aumentada-2007.zip

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.102.9448&rep=rep1&type=pdf

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.102.9448&rep=rep1&type=pdf

http://www.youtube.com/watch?v=W94CEyVGrm0

http://www.youtube.com/watch?v=vTB8q2UAEuE

http://www.tecgraf.puc-rio.br/~mgattass/ra/trb03/Fre&Otavio/

http://www.tecgraf.puc-rio.br/~mgattass/ra/trb03/Fre&Otavio/

Desenvolvimento de um Jogo Tridimensional com Realidade Aumentada

Kleber Anderson Corrêa e Silva, Claudio Kirner DMC – ICE - UNIFEI

E-mail: [email protected], [email protected]

Resumo

A indústria dos jogos eletrônicos tem apresentado

crescimento considerável nos últimos anos. A ampliação da faixa etária dos jogadores, a criação significativa de jogos casuais e novos equipamentos com maior acessibilidade são fatores importantes para este novo cenário. O grande fator de imersão presente na interação com aplicações em Realidade Aumentada mostra seu potencial no setor do entretenimento eletrônico. Este trabalho teve como objetivo criar um jogo tridimensional com Realidade Aumentada na qual o usuário controle o posicionamento do cenário com as próprias mãos, através de um marcador, com maior naturalidade. Toda a experiência adquirida, o código fonte inclusive, será compartilhada através do site promocional.

Abstract

The electronic games industry has been

considerable growth in recent years. Extending the age range of players, the creation of casual games increasing and new equipments with greater accessibility are important factors for this new scenario. The big factor of immersion that has in the interaction in Augmented Reality’s applications shows its potential in the sector of electronic entertainment. This paper aimed to create a three-dimensional game with Augmented Reality that the user will control the positioning of the scene with his own hands, with a marker, more easily. The whole experience, including source code, will be shared through the promotional site. 1. Introdução

Desde 2003, a indústria de jogos eletrônicos já tinha superado o mercado dos filmes americanos em faturamento. Na ocasião, o setor tinha acumulado US$ 30 bilhões durante o período fiscal [4]. Segundo

Olausson [8], este valor deve chegar em US$ 65 bilhões até o ano de 2013.

Esta expansão reflete também no mercado nacional. Mesmo durante a crise de 2008, o setor apresentou crescimento de 31% na área de software e 8% na parte de hardware [6]. E a expectativa é que este crescimento continue.

A partir deste cenário, este trabalho teve como

finalidade: compreender as possibilidades presentes no processo de desenvolvimento de jogos tridimensionais, assim como as dificuldades e restrições a serem encontradas.

Graças ao aprimoramento dos ambientes de

desenvolvimento, melhoramento dos recursos computacionais e a diversificação dos usos, o estudo nesta área tem se mostrado promissor. Buscar uma nova forma de interação com o jogo foi um dos objetivos deste trabalho.

2. Trabalhos relacionados

Freire [5] faz uma analogia do termo jogo com o de brincadeira e brinquedo, porém ressalta que a diferença está na elaboração de regras e na distinção entre ganhadores e perdedores durante a prática deste. Já Antunes [5] acredita que, além da simples disputa entre um grupo de pessoas, exista um estímulo ao aprimoramento cognitivo e aos desafios da vida.

Os jogos podem apresentar uma série de benefícios ao usuário, tais como desenvolvimento de raciocínio, auxílio na alfabetização, geração de regras e estratégias, ampliação cultural, memorização e muitos outros. O prazer na prática deve ser espontâneo. Para tal, o desenvolvimento dos jogos deve atender certas exigências: facilidade de interação, recompensa por metas alcançadas, acessibilidade, regras claras e, por fim, atrativo para o reuso.


26

A indústria dos jogos iniciou-se com exemplares exclusivamente bidimensionais. Todos os objetos possuíam dimensão definida por sua altura e largura. O movimento se restringia a aplicação de translação sobre a tela. As restrições na criação dos cenários, representados como planos, assim como a baixa capacidade gráfica restringia a complexidade das ações, representação visual e regras. Com esta simplificação, os jogos eletrônicos obtiveram grande sucesso entre o público mais jovem.

A evolução do processamento gráfico tornou

possível a criação de ambientes virtuais tridimensionais. A adição de profundidade nos cenários e personagens controláveis gerou novas possibilidades: novos pontos de visualização, maior mobilidade sobre o cenário, assim como, detalhamento deste.

Recentemente, uma série de jogos, tanto para

computador quanto para consoles, estão unindo os modelos tridimensionais com ambientes reais. O uso da Realidade Aumentada mostra-se não apenas como uma novidade visual, ela contribui ao criar formas de controle mais simples e intuitivos. O jogo EyePet [10] para Playstation 3, por exemplo, utiliza uma câmera de vídeo para projetar um mascote virtual na sala do jogador. A Figura 01 (a) mostra que os usuários podem interagir adicionando elementos gráficos na redondeza do animal. Trata-se de um grande avanço, se comparado com os primeiros jogos com bichos virtuais.

A Figura 01 (b) apresenta um exemplar da Torre de

Hanoi [11], jogo este que considera a ordem lógica na transição dos discos através dos pinos para alcançar o objetivo final. Neste caso, a movimentação dos elementos do jogo é realizada por um marcador.

Figura 01: Jogos com Realidade Aumentada: (a) EyePet, (b) Torre de

Hanoi O presente jogo utilizará como premissa grande

parte dos conceitos presentes nos jogos para computadores atuais. Boa parte da interação utilizará o mouse por considerar que, para as regras definidas,

este seria o instrumento mais funcional para o jogador. O grande diferencial está na adoção de um marcador para definir o local de projeção do cenário e, assim, permitir mudar o ângulo de visão com um simples movimentar do cartão.

3. Desenvolvimento do jogo 3.1. Descrição

O jogo desenvolvido se chama Slidetrix. O objetivo dele é testar à lógica e agilidade do jogador. A base do jogo é composta por vinte e quatro cubos espalhados sobre a superfície de numa matriz 3x3x3, conforme a Figura 02, vazada no eixo central vertical. Entre os cubos existe um espaço vazio. Esta característica é importante para permitir a mobilidade das peças no jogo. Sempre que uma peça for clicada, se houver um espaço vago em sua vizinhança ela poderá mover para esta nova posição.

Figura 02: Cubos na base principal

Além dos cubos espalhados pela base do jogo,

novos cubos, com cores aleatórias, surgirão na tela. Eles são chamados de invasores. O ponto de surgimento e o caminho percorrido por essas peças acontecem em uma estrutura guia localizada tanto na parte superior quanto na inferior da base do jogo. Na guia, o jogador pode ter uma melhor noção sobre o início e o fim da trajetória das peças invasoras. Existem oito direções possíveis, Figura 03, a se percorrer: para frente, para trás, para a esquerda ou para a direita, com movimentos para cima ou para baixo. Cabe ao jogador defender cada uma dessas regiões.


27

Figura 03: regiões de ataque dos invasores

Todos os cubos presentes, tanto os localizados na

base quanto os adversários, devem possuir uma das três cores: vermelho, amarelo ou verde. A ordem das cores é o fator primordial para a solução do problema.

As peças invasoras aparecem na tela sempre em

grupo de três. Após elas completarem todo percurso, para que o jogador consiga eliminá-las, ele deve colocar os cubos da base, que estão na região atacada, na mesma seqüência de cores das invasoras, conforme mostrado na Figura 04. Feito isso, os cubos inimigos são eliminados. O desafio proposto é eliminar todas as peças invasoras em um tempo limite para cada fase.

Figura 04: eliminando peças invasoras

A cada novo desafio vencido, a dificuldade

apresentada fica cada vez maior: seja com um maior número de peças inimigas, com um menor tempo de resolução ou o aumento da velocidade em que as peças invasoras se apresentam.

Existe ainda, em fases mais avançadas, a retirada

da estrutura guia, o que dificulta o processo a identificação do posicionamento final das peças invasoras. Quanto mais rápido for resolvido o desafio, maior será a pontuação de bônus ofertada.

3.2. Ambiente de desenvolvimento

Visando distribuir o jogo da forma mais simples possível, foi definido que este projeto utilizaria a ferramenta FlartoolKit [9]. Trata-se do projeto feito pelo japonês Saqoosha que adaptou o NyARToolkit [7] , ambiente de criação de Realidade Aumentada, de Java para ActionScript 3.0. Com isso, utilizando-se de um programa que permite criar aplicações em Flash, todo o processo pode ser criado, tanto o layout visual quanto a lógica de programação.

A grande vantagem para o usuário final é: ele

precisa possuir apenas o plugin de Flash incorporado ao seu navegador e uma webcam. Nada mais. Esta vantagem reflete também para o desenvolvedor no ato da distribuição do aplicativo criado.

Através de técnicas de visão computacional, o

aplicativo criado utiliza uma câmera para reconhecer os elementos do ambiente real. O marcador impresso é usado como base de referência, recebendo uma imagem virtual. O rastreamento óptico do marcador serve para calcular e ajustar a posição dos objetos virtuais.

Durante o processo de criação, três versões do FlartoolKit foram testadas. O constante aprimoramento da ferramenta traz novidades e melhoramentos a cada novo lançamento. A última atualização, 5.3, foi a que apresentou melhores resultados, sendo esta a versão empregada no trabalho final.

Para criação dos elementos virtuais foi utilizado

uma biblioteca auxiliar de modelagem. O Papervision3D [12] é uma ferramenta, em código aberto, para criação de ambientes 3D. Carlos Ulloa, seu criador, iniciou o projeto devido à falta de suporte na criação de objetos tridimensionais por parte do Flash. Inicialmente, os programadores tinham que adicionar elementos na tela de forma a gerar uma perspectiva que transmitisse a ilusão do 3D. Com a capacidade de criar objetos tridimensionais reais, rapidamente o Papervision3D obteve respeito entre os programadores. No presente projeto, como os objetos não apresentavam grande complexidade, apenas figuras primitivas em forma de cubo foram utilizadas.

Quanto à textura, nem todos os objetivos poderiam ser alcançados com os recursos padronizados do Papervision3D. Portanto, três opções foram utilizadas:

• Materiais primitivos: texturas providas pelo Papervision3D foram usadas para elementos


28

http://www.libspark.org/wiki/saqoosha/FLARToolKit/en�

mais simples, sem grande complexidade visual.

• Imagens vetoriais: através do painel de edição do Adobe Flash CS4 [1], foi possível criar imagens mais sofisticadas. Seja com elementos geométricos 2D ou texto e salvá-las como um formato especial, chamado MovieClip, para sua impressão em cada face dos cubos. Esta adoção foi fundamental para maior interação dos objetos com o Actionscript.

• Imagens bitmap: Em alguns casos, onde a criação de elementos mais sofisticados foi necessária, foi preciso da adição de outras ferramentas de edição gráfica. Para a criação do logotipo, o software Adobe Photoshop [2] foi usado para modelagem, criação e edição. A imagem foi salva, com padrão JPEG ou PNG, e importada ao ambiente Flash.

A integração de todas as bibliotecas com o Actionscript 3.0 foi bem sucedida. Definir todo o projeto utilizando estrutura de programação orientada a objeto foi importante para dar estabilidade, clareza e controle. Um grande problema para os desenvolvedores que utilizam o ambiente Flash para construir seus aplicativos é a falta de suporte a Threads. Considerando os problemas de velocidade encontrados, este recurso teria sido de grande ajuda. Para contornar este problema, um controle mais rígido sobre os elementos armazenados na memória e objetos anexados ao “palco central” do FlartoolKit foi fundamental.

3.3. Jogo desenvolvido

O primeiro passo do jogador ao entrar no site é

imprimir o marcador. A escolha por um único cartão de referência foi com objetivo de tornar a interação a mais simples e prática possível. Sobre este marcador são projetados todos os elementos virtuais. O simples girar da folha torna possível modificar o ângulo de visão do cenário.

Após carregar toda a aplicação flash no navegador

do usuário, existe a necessidade habilitar o acesso a webcam, em uma tela de autorização. Segundo testes durante o desenvolvimento, câmeras com menos de 01 megapixel apresentaram baixo desempenho: a taxa de renderização dos objetos não se mostrou satisfatória. A

iluminação do local também influi: projetar a câmera diretamente contra luz intensa pode dificultar o reconhecimento do cartão de identificação.

Além desta característica, o ajuste do posicionamento da câmera deve ser levado em conta. Para isso, uma estrutura de teste foi criada, apresentada na Figura 05. Após colocar o marcador no campo de visão da câmera, surgirá na tela um cubo central informativo que mostrará a posição correta quanto ao seu lado frontal e superior do cenário virtual. Além disso, duas faixas de graduação indicam a largura e altura reservada para a completa visualização do jogo.

Figura 05: ajustando posição do marcador

Feito o processo de calibragem, o jogador deve pressionar o botão “espaço” do teclado para iniciar o jogo. Uma pequena animação é apresentada que culminará na criação do menu principal, conforme a Figura 06. A interação com este se dá através do clique do mouse. Além opção destinada ao jogo em si, um pequeno tutorial de ajuda e outro com informações sobre o desenvolvedor estão à disposição. O jogador, ao clicar na opção “Play” do menu, inicia-se o jogo. A direita será mostrado um painel com informações do jogo: nível, pontuação, tempo e número de invasores restantes. Estas informações são atualizadas constantemente. Além disso, apresenta um pequeno menu que, ao ser pressionado, pausa o jogo e permite o usuário acessar o tutorial, iniciar novamente ou, simplesmente, retornar ao jogo.

O processo de controle do jogo baseia-se em dois

elementos: o marcador e o mouse. O marcador para controle do posicionamento do cenário e o mouse para ativar ações e o movimento do cubo desejado. Seria possível a troca da função do mouse por outro cartão, com função de inspeção, porém, a interação não seria tão amigável, intuitiva. Além disso, evita-se uma confusão no processo de manipulação dos marcadores.


29

Um dos fatores que podem atrapalhar a experiência do jogo é a lentidão. Durante os testes, foi verificada uma queda de velocidade, na taxa de quadros por segundo, em momentos em que foram apresentados muitos objetos anexados ao cenário principal. Em máquinas mais antigas, a jogabilidade pode ser prejudicada. Como o flash não possui um tratamento nativo dos elementos básicos tridimensionais, esta queda de processamento é constatada. Espera-se que, com o avanço da tecnologia flash, estes problemas possam ser sanados.

Figura 06: menu principal

A experiência adquirida na elaboração deste

trabalho está disponibilizada no site promocional (http://www.ckirner.com/jogos/slidetrix), incluindo: jogo, código fonte, referências e dicas relacionadas.

4. Conclusão

O jogo Slidetrix permite ao usuário controlar o cenário virtual de uma forma mais livre e simples. A interação entre marcador e câmera mostrou-se bastante eficiente. Os recursos tradicionais da informática (mouse e teclado) foram necessários para manter a eficácia no controle do jogo. Alguns elementos podem ser aperfeiçoados ou implementados em uma versão futura: mais opções de cores, novos graus de desafios, armazenamento da pontuação dos jogadores, anexar uma trilha e efeitos sonoros, etc.

A atuação do FlartoolKit no ambiente Flash

mostrou-se bem sucedida. A facilidade de aprendizado, desenvolvimento e distribuição online de uma aplicação com Realidade Aumentada através deste formato foi de grande valia. Disponibilizar o código fonte no site (http://www.ckirner.com/jogos/slidetrix), condição pré-estabelecida para a distribuição gratuita de aplicações com esta ferramenta, tende a ser usado como referência para pesquisas futuras. Considerando o baixo número de fontes informativas sobre o

FlartoolKit em nossa língua, este projeto pode contribuir para novos projetos.

Existem pontos negativos, observados durante o processo de criação, tanto para usuário quanto para desenvolvedor: exigência de uma câmera com uma boa resolução, necessidade de uma máquina com níveis medianos de poder computacional, lentidão de processamento na presença de muitos objetos virtuais e o baixo nível de tratamento de erros no ambiente de desenvolvimento do IDE Flash. Todas estas restrições deverão ser reduzidas, gradativamente, com o aprimoramento das tecnologias envolvidas. Nenhum desses itens impediu a realização do projeto.

Como contribuição para trabalhos de futuros

desenvolvedores, sugere-se o uso de opções de texturas para complementar visualmente aos elementos tridimensionais criados em Papervision3D. Embora existam boas opções nativas, adquirir um resultado profissional exige prática. Utilizar alternativas, com imagens vetoriais ou bitmap, pode gerar bons resultados.

5. Referências bibliográficas

[1] Adobe Flash CS4, disponível em: www.adobe.com/products/flash/ [2] Adobe Photoshop, disponível em: www.adobe.com/products/photoshop [3] Antunes, Celso, “Jogos para a estimulação das múltiplas inteligências”, Vozes, Rio de Janeiro, 1998. [4] Assis, Diego, “Game supera cinema como opção de entretenimento em 2003”, disponível em: http://www1.folha.uol.com.br/folha/ilustrada/ult90u40114.shtml, 31/12/2003. [5] Freire, J.B, “Educação de corpo inteiro”, Scipione, São Paulo, 1994. [6] Gandra, Alana, “Mercado de jogos eletrônicos cresce no Brasil apesar da crise”, disponível em: http://www.inovacaotecnologica.com.br/noticias/noticia.php?artigo=mercado-de-jogos-eletronicos-cresce-no-brasil-apesar-da-crise&id=, 03/03/2009. [7] NyARToolkit, disponível em: http://nyatla.jp/nyartoolkit/wiki/index.php [8] Olausson, “Games Software Business to Approach $65 Billion Worldwide by 2013, says Strategy Analytics”, disponível em: http://www.industrygamers.com/news/games-software-business-to- approach-65-billion-worldwide-by-2013-says-strategy-analytics/, 07/05/2010. [9] Saqoosha, FlartoolKit, disponível em: http://saqoosha.net/en/flartoolkit/start-up-guide/ [10] Sony Computer Entertainment Europe, EyePet, disponível em: http://www.eyepet.com/. [11] Torre de Hanoi, disponível em: http://www.realidadevirtual.com.br/ [12] Ulloa, Carlos, Papervision3D, disponível em: http://blog.papervision3d.org


30

SESSÃO TÉCNICA 2

APLICAÇÕES EM ENGENHARIA ELÉTRICA


31

Realidade Aumentada para Auxiliar o Aprendizado de Motor Elétrico

Costa-Junior, R.A.; Silva, R.C. ; Cerqueira, C.S.; Almeida, A.T.L.

Universidade Federal de Itajubá (UNIFEI) (rcosta62br,claudino,[email protected], [email protected])

Resumo Com a Realidade Aumentada é possível integrar

teoria e experimentação em aulas práticas, utilizando as bibliotecas virtuais. O ensino de Motores Elétricos é importante no aprendizado técnico industrial, dada sua utilização. Para ilustrar a teoria envolvida torna-se essencial a prática didática em laboratório. Neste trabalho é apresentada uma ferramenta de auxilio ao aprendizado de motores elétricos que demonstra os componentes individuais e o motor em movimento. Também compara trabalhos relacionados que empregam Realidade Virtual e Aumentada. 1. Introdução

O motor elétrico é o meio mais indicado para a transformação de energia elétrica em mecânica, em termos industriais, para o acionamento das mais variadas cargas como bombas, compressores, sistemas de elevação de peso entre outros. Existe uma ampla variedade de motores elétricos disponíveis comercialmente, dividida em dois grupos: motores de corrente contínua e motores de corrente alternada, sendo que estes podem ser síncronos ou de indução.

Os motores de indução trifásicos (MIT) são os mais utilizados industrialmente para acionar máquinas de qualquer potência em razão de sua robustez, custos e, simplicidade operacional e de manutenção. Seu conhecimento para manuseio, desenvolvimento e manutenção torna-se tão essencial quanto a velocidade das inovações. Detalhes de construção, componentes, conexões, como operam os campos eletromagnéticos compõem os estudos que englobam conceitos teóricos e práticos em disciplinas e treinamentos de MIT [10].

Conceitos práticos trabalhados em laboratório didático enriquecem a aprendizagem ao materializar a visão da teoria. Por outro lado, os riscos de trabalhar com os equipamentos e mesmo o custo do laboratório, não permitem um amplo acesso aos motores no aprendizado.

Com a evolução dos computadores e principalmente do hardware de imagens (placas de vídeos e câmeras) é possível realizar uma simulação do funcionamento do motor, muito além de simples desenhos esquemáticos e animações. Atualmente a Realidade Aumentada (RA) se destaca, pois permite mostrar as atividades da prática de motores. RA é uma variante da Realidade Virtual (RV), que é definida como um sistema que complementa o mundo real com objetos virtuais gerados por computador, coexistindo no mesmo espaço [9].

O presente artigo apresenta um exemplo de como a RA pode ser utilizada para gerar uma ferramenta de auxilio ao aprendizado de MIT, salienta seu potencial de utilização e apresenta as vantagens e desvantagens desta tecnologia no processo de aprendizagem.

A Seção 2 apresenta o princípio de funcionamento e componentes do MIT, a Seção 3 apresenta trabalhos relacionados com o ensino de motores elétricos utilizando RV e RA. Na Seção 4 são abordadas as características e a teoria da Realidade Aumentada e na Seção 5 é apresentado o Sistema de Autoria Colaborativa com Realidade Aumentada – SACRA empregado neste trabalho. Na Seção 6 apresenta-se a ferramenta de Auxílio ao aprendizado de MIT com a utilização da técnica de Realidade Aumentada. Conclusões e encaminhamentos para futuros trabalhos são apresentados na Seção 7.

2. Apresentação e funcionamento do MIT

Um motor de indução é o motor de construção mais simples e é composto de duas partes: estator, parte fixa mais externa e, rotor a parte girante. O estator possui três conjuntos de bobinas que permitem a criação do campo girante e a existência de um ou mais pares de pólos o que define a velocidade síncrona. O rotor possui uma gaiola (ou enrolamentos, dependendo do tipo) que permite a circulação de corrente e um núcleo de chapas magnéticas.


32

Na Figura 1 tem-se uma vista em corte de um MIT, destacando os componentes básicos.

Figura 1. Vista em corte de um MIT.

O princípio de funcionamento do MIT esta ilustrado no diagrama da Figura 2. O campo magnético criado nas bobinas do estator está girando, o rotor acompanha seu movimento devido à indução de correntes nas barras e o surgimento de um campo resultante correspondente.

Figura 2. Princípio de funcionamento do MIT.

Observe-se nessa breve apresentação e princípio funcionamento do MIT a abstração necessária na assimilação dos conceitos.

Mesmo com as visualizações esquemáticas de componentes e seu funcionamento, compreender o inter-relacionamento de componentes e fenômenos durante o funcionamento ainda fica difícil e demanda grande esforço do aprendiz.

3. Realidade Virtual e Máquinas Elétricas

RV é considerada como a experiência imersiva e interativa baseada em imagens gráficas 3D geradas em tempo real por computador, ou seja, é uma simulação gerada por computador, de um mundo real ou apenas imaginário. Cardoso et al. em [4] e [6] propôs o uso da RV como ferramenta auxiliar de ensino para máquinas elétricas na graduação.

Nos trabalhos, demonstra-se o quanto essa técnica auxilia no ensino de máquinas elétricas, permitindo experimentos virtuais, facilidade no entendimento da parte teórica. A visualização imersiva da máquina

transforma o aprendiz em uma pessoa ativa no processo, entre outras vantagens. Com os avanços da RV, a técnica de ensino foi aprimorada com o uso da RA e disponibilizada em site de Cardoso na Universidade Federal de Uberlândia [14].

O sistema de demonstração de um motor elétrico virtual começa esperando que o usuário escolha uma das opções: Close All, Closed Engine, Internal Engine Parts, Internal Engine Parts 2, Rotor e Open Engine Expand. Ao escolher a uma das opções que não seja a Closse All, o usuário coloca o marcador na frente da câmera e tem a imagem do motor com a forma da opção escolhida. Em cada uma destas opções o usuário pode escolher se deseja ou não ver o motor com animação e conforme roda o marcador, tem-se uma vista do motor de outros ângulos.

4. Realidade Aumentada e MIT

RA “é um sistema que suplementa o mundo real com objetos gerados por computador, parecendo coexistir no mesmo espaço e apresentando a propriedade de combinar objetos reais e virtuais no ambiente real” [9]. A ligação entre a RV e a RA está no espectro que começa no mundo real e termina na RV. Entre os extremos, existe a Realidade Misturada, onde elementos do mundo real se misturam com elementos do mundo virtual.

A Realidade Misturada é a união do ambiente real com o ambiente virtual utilizando o computador como interface, sendo particularizado de duas maneiras: A Virtualidade Aumentada, onde existe predominância de elementos virtuais no ambiente misturado, e a RA, onde os elementos reais predominam sobre os virtuais [1], [11]. Tem-se então que a RA é uma particularização da Realidade Misturada.

RA proporciona ao usuário interagir de forma segura e agradável, eliminando em parte a necessidade de treinamento, pelo fato de trazer elementos virtuais para o mundo real. Isto é possível pela combinação de técnicas de visão computacional, computação gráfica e realidade virtual, gerando como resultado uma correta sobreposição de objetos virtuais no ambiente real [1], [2], [3], [5] e [8].

As idéias de ferramenta auxiliar com RA proposta nesse trabalho iniciam com um objeto real utilizado no Laboratório de Máquinas Elétricas da Universidade Federal de Itajubá, LME-UNIFEI, mostrado na Figura 3. Na Figura 4, tem-se o mesmo motor com um marcador que é um inicializador da técnica de RA. Na Figura 5 mostra-se um exemplo de aplicação desenvolvida em RA, onde os objetos virtuais são


33

justapostos ao mundo real. Assim os dois mundos, virtual e real, coexistem.

Figura 3. Motor trifásico de indução.

Figura 4. MIT com o marcador de RA.

Figura 5. MIT com o motor virtual.

As figuras estimulam as aplicações de RA pela mistura dos objetos reais com os virtuais, criando um ambiente motivador, atrativo e lúdico.

5. SACRA

Para a composição da Figura 5, foi utilizada a ferramenta de software construída a partir da biblioteca ARToolKit [7], que prevê a utilização de dispositivos de baixo custo, como a webcam.

Na interação do usuário com o SACRA [12] foram utilizados marcadores (placas de papel quadradas contendo um símbolo), que atuaram como interface

tangível de RA. A interface disponibilizou técnicas de interação, com base nas propriedades dos marcadores: visibilidade, posição e orientação [13].

SACRA permite a interação com objetos virtuais associados a marcadores e pontos cadastrados em relação a um referencial. Estes referenciais são dados por um marcador de referência. A interação com objetos virtuais é realizada por marcadores com funções especializadas, denominados marcadores de ação. SACRA usa marcadores de ação e de referência, que devem estar devidamente cadastrados, seguindo uma ordem estabelecida por suas ações.

Os marcadores apresentam comportamentos que estão associados aos possíveis estados identificáveis do sistema de rastreamento. Nesse caso, é possível identificar: a presença do marcador na cena; a distância do marcador em relação a outros marcadores ou objetos virtuais e a orientação do marcador e o seu ângulo de rotação. Esses comportamentos podem ser utilizados em conjunto, ampliando o tipo de interação como aliar a detecção da distância e da rotação. No SACRA, os pontos cadastrados são posições extraídas das transformações relativas entre um determinado marcador de referência visível na cena e o marcador de inspeção. 6. Ferramenta de Auxilio ao Aprendizado

Na proposta de uma ferramenta auxiliar no aprendizado de MIT que possa ajudar nas atividades didáticas do LME-UNIFEI, foi elaborado um ambiente de RA, utilizando o SACRA para sua montagem. O sistema pode ser representado por uma “máquina de estados” composta de cinco estados, observada na Figura 6.

Figura 6. Diagrama de funcionamento do SACRA


34

O diagrama da Figura 6 apresenta uma aula introdutória de MIT demonstrando seus componentes e funcionamento. Os estados são acionados com o marcador de base, aqui considerado como sendo o marcador de referência do SACRA, dos marcadores de controle e inspeção (marcador de ação do SACRA), conforme a Figura 7:

(a) (b) (c) Figura 7. Marcadores do sistema: (a) de base, (b) de inspeção. (c) de controle,

Ao colocar o marcador de base na frente da webcam será iniciado o programa, neste instante, com o marcador de inspeção ou clicando na tecla <a> aparecerá o motor elétrico virtual mostrado na Figura 8. Este é o inicio da sequência de estados,

Figura 8. Estado 1 – Motor Parado

State 1: Motor Parado. Aqui é exibido um modelo do MIT e um áudio contendo a descrição do modelo e apresentando as partes externas e, solicita ao usuário que rotacione a imagem do modelo e identifique as partes. É também informado, via áudio, que o usuário pode usar o marcador de controle para ir para o passo seguinte.

State 2: Motor Funcionando. Neste estado é exibido o MIT com seu eixo em rotação, juntamente com um som gravado de um motor real do LME/UNIFEI. Novamente ao colocar o marcador de controle o usuário terá o passo 3.

State 3: Motor Explodindo. Agora é apresentada uma animação da desmontagem do motor e através do áudio são apresentadas as principais partes internas do

MIT (Painel de controle, Estator e Rotor), conforme vai ocorrendo a desmontagem do motor. Em seguida é informado que o usuário pode passar para o próximo passo com o marcador de controle.

State 4: Motor Explodido. Neste estado é apresentada a vista explodida do MIT (Figura 9) e pedido ao usuário que verifique as partes e identifique o cabeamento do painel de controle. Novamente com o marcador de controle ele pode ir para o passo 5.

Figura 9. Estado 4 – Motor Explodido

State 5: Fechamento do Motor. Finalmente é apresentada uma animação do fechamento do motor com um áudio explicando as etapas de construção do MIT. E através do marcador de controle é reiniciada a aplicação.

A montagem deste trabalho utilizou as imagens armazenadas no repositório Google SketchUp Warehouse animando-as com Blender. Isso permitiu elaborar o script de exportação do VRML97 para cada componente do MIT e em seguida para reativar as animações empregou-se o Vivaty. O áudio foi gravado e os ruídos filtrados utilizando a ferramenta Audacity.

7. Conclusões

No trabalho são abordadas três situações distintas para aprendizagem de máquinas elétricas, uma usando Realidade Virtual, e outras duas usando Realidade Aumentada. Todas têm a vantagem de ser uma alternativa lúdica de iteração do aprendiz com o ambiente computacional, além das facilidades que todas agregam com a interligação com a WEB.

A diferença entre as duas técnicas de Realidade Aumentada está na forma da interação do usuário com a ferramenta. Cardoso em [14] utiliza a iteração com o computador no clique do mouse para os estágios desejados. Nesse trabalho apresenta-se o uso de


35

marcadores e teclado para uma sequência de etapas de aprendizado, além de inovar empregando áudio como forma de ilustração e orientação para o aprendiz.

A ferramenta proposta tem a vantagem de motivar o usuário com a experiência de visualização e funcionamento de um aparelho virtual, forte visualização imersiva, economia no custo de um ambiente para prática em MIT.

Ilustra características e processos dos objetos reais para os virtuais, visualização iterativa com MIT, permitindo ao aprendiz conectar o conteúdo da literatura específica com a prática minimizando a necessidade do motor real em funcionamento.

Outra vantagem destacável é o custo computacional desse tipo de ferramenta didática e a facilidade de concepção de aplicativos, justificando essa abordagem pelo desenvolvimento deste tipo de interface.

Como trabalhos futuros, em concepção no âmbito do Projeto CNPq/FAPEMIG, “Ambiente Temático Interativo com Realidade Aumentada” e, colaboração com a atividade didática do LME-UNIFEI, serão agregados mais efeitos sonoros e textuais nos equipamentos com a entrada de novos marcadores de ação, ou clique em teclas, iteração do usuário com o equipamento virtual, colocando uma certa inteligência no sistema para perceber “o quê” o usuário deseja de informação. Neste caso compensa rever as sugestões de C. Kirner sobre HiperRealidade [2].

Essa nova etapa proposta permite o aprofundamento dos conteúdos de MIT, bem como a virtualização dos equipamentos do LME-UNIFEI nas iterações de RA.

8. Observações

Este trabalho foi realizado no âmbito do Projeto

“Ambiente Temático Interativo com Realidade Aumentada”, financiado pelo CNPq (Proc. 58842/2009-7) e FAPEMIG (Proc. APQ-03643-10).

9. Referências [1] AZUMA, R. T., “Tracking Requirements Augmented Reality”, Communications of the ACM, 36(7):50-51, July/1993.

[2] BAJURA, M.; NEUMANN, U., “Dynamic Registration Correction in Video-Based Augmented Reality Systems”, IEEE Computer Graphics & Applications, 15(5):52-60, Sept/1995.

[3] BOMAN, D. K. “International Survey: Virtual Environment research”, IEEE Computer, 28(6):57-65. Junho/1995.

[4] DELAIBA, V. H. B. LAMOUNIER JR, E. A. “Estudo e desenvolvimento de ambientes virtuais, como ferramenta de suporte para aplicação direta no estudo de motores elétricos e na eficiência energética.” Projeto FAPEMIG C-007/2006 .

[5] FEINER, S. et al., “Knowledge-Based Augmented Reality”, Communications of the ACM, 36(7):52-62. Julho/1993.

[6] JUNIOR, A.B.A., CARDOSO A. e LAMOUNIER JR, E. A., “Estudo de Máquinas Elétricas Auxiliado por Técnicas de Realidade Virtual”, Anais do WRVA 08, Bauru, 2008.

[7] KATO, H., BILLINGHURST, M., AND POUPYREV, I. “ARToolKit version 2.33 Manual”, Novembro/2000.

[8] KIRNER, C., AND TORI, R., “Introdução à Realidade Virtual, Realidade Misturada e Hiper-realidade”. In: Claudio Kirner; Romero Tori. (Ed.). Realidade Virtual: Conceitos, Tecnologia e Tendências. 1ed. São Paulo, 2004, v. 1, p. 3-20.

[9] KIRNER, C.; SISCOUTO, R.. “Fundamentos de Realidade Virtual e Aumentada”. In: Kirner, C.; Siscouto, R.. (Org.). “Realidade Virtual e Aumentada: Conceitos, Projeto e Aplicações”. 1 ed. Porto Alegre – RS: Sociedade Brasileira de Computação - SBC, 2007, v. 1, p. 2-21.

[10] KOSOW, I. L. "Máquinas Elétricas e Transformadores". Editora Globo, 1982.

[11] MILGRAM, P. et. al. ,“Augmented Reality: A Class of Displays on the Reality-Virtuality Continuum”. Telemanipulator and Telepresence Technologies, SPIE, V.2351, 1994.

[12] SANTIN, R., KIRNER,C. “ARToolKit: Conceitos e Ferramenta de Autoria Colaborativa”, In: SISCOUTO, R., R. COSTA, (Org.), Realidade Virtual e Aumentada: Uma Abordagem Tecnológica, SBC, Porto Alegre, 2008, pp. 178-276.

[13] SANTIN, R., “Sistema de Autoria Colaborativa com Realidade Aumentada”, Dissertação de Mestrado em Ciência da Computação, Universidade Metodista de Piracicaba, 2008.

[14] URL: www.alexandre.eletrica.ufu.br/trabalhos.htm


36

FERRAMENTA DE AUXÍLIO AO APRENDIZADO DE MOTORES COM O

USO DE REALIDADE VIRTUAL

Wedson Gomes Jr., Alexandre Cardoso e Edgard Lamounier Jr. Universidade Federal de Uberlândia – Faculdade de Engenharia Elétrica

CEP: 38400-902, C.P. 593, Uberlândia – MG – Brasil

([email protected], [email protected], [email protected])

Abstract

The objective of this work is to explore Virtual

Reality (VR) techniques to support the teaching of DC

and induction motors. The virtual environment allows

the user to operate each part of the engine, separately,

including all detail parts. This strategy, not only

contributes to the electric motor learning process, but

also allows a safety environment to its potential users.

Keywords: Virtual Reality, Electrical Motors.

Resumo

O objetivo deste trabalho é explorar técnicas de

Realidade Virtual (RV) para apoiar o ensino de

motores de corrente contínua e motores de indução. O

ambiente virtual desenvolvido permite ao usuário,

operar cada peça do motor, separadamente, e com

todos seus detalhes. Esta estratégia além de contribuir

para o processo de aprendizagem de motores elétricos,

permite também um ambiente de segurança para seus

usuários em potencial.

Palavras Chave: Realidade Virtual, Motores

Elétricos.

1. Introdução

O conhecimento acumulado ao longo da

humanidade é transmitido através de padrões e normas

pré-estabelecidas, centrado no professor, sendo o aluno

apenas um elemento desse processo[2]. Este processo

de transferência de conhecimento é feito através de

aulas expositivas, transmissão oral de informações e

livros-texto.

O uso de Realidade Virtual para o apoio do

aprendizado se dá como um instrumento de evolução

da educação. O grande potencial da Realidade Virtual

está na possibilidade de manipulação virtual de

objetos, permitindo experiências com o conhecimento

de forma imersiva e interativa; ou seja, auxiliando no

aprendizado de uma forma inovadora [2].

Vários autores concordam ao relatar que existem

diversas razões para se usar a Realidade Virtual na

educação [3]. Dentre elas destacamos: maior

motivação dos estudantes (usuários), maior poder de

ilustração para alguns processos e objetos, dá

oportunidades para experiências e permite que haja

interação, e desta forma estimula a participação ativa

do estudante.

A Realidade Virtual é uma grande aliada no

aprendizado, como descrito anteriormente. Quanto ao

aprendizado da área de Engenharia Elétrica, existem

vários conceitos que não podem ser observados

visualmente de forma tradicional. Por exemplo: o

campo elétrico de uma bobina, o fluxo de elétrons em

um condutor e o funcionamento interno de um motor.

Atualmente, muitos dos laboratórios de Engenharia

Elétrica em instituições de ensino superior (IES) não

possuem um número significativo de motores para

estudo dos alunos. De fato existem casos da instituição

possuir apenas um motor para uma turma de alunos,

sendo raríssimos os casos onde existe um motor para

cada aluno.

Este trabalho pretende utilizar Realidade Virtual,

para construção de uma ferramenta de auxilio didático,

para apresentar o funcionamento de motores elétricos

de corrente contínua e motores elétricos de indução.

Uma vez que os mesmos procedimentos podem ser

simulados com um alto índice de realidade em

laboratórios virtuais [4].

Um grande benefício oferecido pela Realidade

Virtual é que o conhecimento intuitivo do usuário a

respeito do mundo físico pode ser utilizado para

manipular o ambiente virtual, possibilitando ao usuário

a manipulação de informações através de experiências

próximas do real. Isso porque, no ambiente virtual, é

possível criar a ilusão de mundo que na realidade não

existe, através da representação tridimensional para o

usuário [1].

1.1. Motores de Corrente Contínua


37




As máquinas de corrente contínua podem ser

utilizadas tanto como motor quanto como gerador.

Porém, uma vez que as fontes retificadoras de potência

podem gerar tensão contínua de maneira controlada a

partir da rede alternada, pode-se considerar que,

atualmente, a operação como gerador fica limitada aos

instantes de frenagem e reversão de um motor.

O motor de corrente contínua é composto de duas

estruturas magnéticas:

• Estator (enrolamento de campo ou ímã

permanente);

• Rotor (enrolamento de armadura).

O estator é composto de uma estrutura

ferromagnética com pólos salientes aos quais são

enroladas as bobinas que formam o campo, ou de um

ímã permanente. A Figura 1 mostra o desenho de um

motor CC de 2 pólos com enrolamento de campo [6].

Figura 1 - Motor Corrente Contínua [6]

O rotor é um eletroímã constituído de um núcleo de

ferro com enrolamentos em sua superfície que são

alimentados por um sistema mecânico de comutação

(Figura 2). Esse sistema é formado por um comutador,

solidário ao eixo do rotor, que possui uma superfície

cilíndrica com diversas lâminas às quais são

conectados os enrolamentos do rotor; e por escovas

fixas, que exercem pressão sobre o comutador e que

são ligadas aos terminais de alimentação. O propósito

do comutador é o de inverter a corrente na fase de

rotação apropriada de forma a que o conjugado

desenvolvido seja sempre na mesma direção.

Figura 2 - Sistema de Comutação [6]

Os métodos de ensinos tradicionais são poucos

intuitivos para o aluno que está conhecendo pela

primeira vez o funcionamento de cada peça de motor

de corrente contínua, e apresenta certa dificuldade em

visualizar o funcionamento de um motor sem poder

separar as peças e observar o funcionamento

independente de cada parte.

Além de observar é pouco provável que o aluno

tenha a oportunidade de reproduzir casos onde os

parâmetros de entrada como frequência e tensão

possam ser modificados, e visualizando o que ocorre

com o motor.

1.2 Motores de Indução

Enquanto, nos motores de corrente contínua o

estator e o rotor precisam ser alimentados, nos motores

de indução apenas o estator deve ser alimentado, e o

rotor recebe energia por indução, daí o nome de motor

de indução, podemos também utilizar os motores de

indução como motor ou como gerador.

Existem vários tipos de motores de indução como o

motor de rotor bobinado, o motor com rotor em curto-

circuito ou em gaiola de esquilo[7].

Ao ser observado, a carcaça do motor e a parte

interna, concluímos muitas semelhanças entre os dois

motores apesar de esses terem características bastante

distintas.

A Figura 3 apresenta um motor de indução aberto

apresentando cada parte que compõe um motor de

indução. Podemos notar que se torna confuso

diferenciar cada parte e a função da mesma no

funcionamento do motor.

Podemos notar que existem varias diferenças entre

os dois tipos de motores, e um comparativo entre os

dois pode vir a reforçar os conceitos e diferenças sobre

cada um dos motores.


38

Figura 3 - Motor de Indução [7]

Com os problemas de laboratórios e escassez de

equipamentos didáticos uma proposta seria o uso de

ambientes de Realidade Virtual para retratar as

diferenças e peculiaridades de cada máquina.

Os resultados destas avaliações mostram ganhos,

em termos de aprendizagem, superiores a diversas

outras formas de interação, visando educação mediada

por computador [1].

2. Ambientes de Realidade Virtual para

Motores Elétricos

A partir dos problemas e dificuldades apresentadas

anteriormente, foi desenvolvido um ambiente de

comparação entre os dois tipos de motores: o motor de

corrente contínua e o motor de indução.

Além da modelagem e disponibilidade dos motores,

foi criada também uma página web, interagindo com o

VRML, pois se obteve melhor visualização dos dados

descritos. O software é apresentado na Figura 4.

Figura 4 - Ambiente de RV para motores

O software permite que o usuário mova todas as

peças dos dois motores, como apresentado na Figura 5.

Além de poder visualizar, é possível manipular as

peças de forma individual.

Figura 5 - Motores Abertos

Além da função de “abrir” os motores ainda é

possível arrastar e manipular cada componente dos

motores, como apresentado na Figura 6, podendo assim

visualizar todas as diferenças entre os dois tipos de

motores em questão.

Figura 6 - Manipulação de peças

Podemos deixar a carcaça do motor invisível através

de um controlador de transparência do sistema, como

apresentado na Figura 7.


39

Figura 7 - Partes principais dos motores

Foram adicionados ao projeto, algumas vídeo aulas

onde é possível o aluno relembrar os conceitos vistos

em sala de aula, antes de manipular os motores. Como

mostrado na Figura 8

Figura 8 - Vídeos Aulas [10]

3. Interação VRML com ASP.NET

Foi criada uma página web afim de obter uma

melhor visualização dos dados numéricos, pois VRML

não suporta tal funcionalidade: isto é possível por meio

de integração com o Javascrip. Os campos de texto

criados com o Javascrip, não se ajustam

automaticamente ao tamanho o dado a ser apresentado.

Na Figura 9 é apresentado um exemplo de um sistema

onde os dados apresentados se tornam ilegíveis, se

tornando um efeito indesejado, estes dados são

apresentados com maiores detalhes na Figura 10.

Figura 9 –Sistema que utiliza javascript no VRML

para Visualização dos Dados [9]

Figura 10 - Quadro de Dados de um Sistema

Utilizando Javascript [9]

Para solução deste problema, de visualização dos

dados, uma página web foi desenvolvida. A linguagem

escolhida foi o ASP.NET, da Microsoft. Está

linguagem consegue interagir com o VRML no sentido

de buscar e apresentar para o usuário, de forma

organizada e padrão, os dados do sistema.

Figura 11 - Apresentação dos dados

No motor de indução temos a opção de alterar a

frequência de funcionamento do motor de 4 pólos e o

mesmo reproduz a velocidade de rotação em RPM.

Pode -se notar também que o eixo do motor realiza as

rotação na velocidade síncrona obtida, como se fosse


40

um motor real, sendo assim o motor virtual se

aproxima bastante do motor real neste aspecto.

4. Conclusões e Trabalhos Futuros

O emprego de RV para desenvolvimento de

ambientes virtuais é muito eficiente, porque permite

que o aluno explore todos os detalhes de um

experimento, de forma mais natural e intuitiva. Assim,

ele pode observá-lo de diversos ângulos atentando-se a

pequenos detalhes que vão auxiliá-lo a compreender

melhor o conteúdo estudado. Sua grande diferença com

outros ambientes de simulação é que todo ambiente é

desenvolvido em 3 dimensões ao contrário dos demais

estudos, que são desenvolvidos em 2 dimensões

reduzindo a qualidade do aprendizado [1].

Além disso, o uso de VR permitiu que este ambiente

possa ser compartilhado via internet, pois, os browsers

utilizados hoje em dia dão suporte a esta tecnologia. É

necessário apenas que seja instalado nas estações o

plug-in do “Cortona” para a simulação dos ambientes.

Este tipo de interação auxilia os alunos no

desenvolvimento de habilidades computacionais e de

domínio de periféricos [8].

Como trabalho futuro pretende –se realizar testes

com professores e alunos, adicionando atividades e

exercícios educacionais com os motores virtuais,

adicionar mais funções e representar outros elementos

de Engenharia Elétrica utilizando Realidade Virtual e

páginas web feitas em outras plataformas. O uso de

Realidade Aumentada para aplicações semelhantes,

será também investigado.

5. Referências

[1] CARDOSO, Alexandre; KIRNER, Claudio;

LAMOUNIER, Edgard e KELNER, Judith.

Tecnologia para o desenvolvimento de Sistemas de

Realidade Virtual e Aumentada. 2. ed. Recife:

Editora Universitária - Ufpe, 2007. 210 p.

(9788573154009).

[2] MILTON, Vieira Junior. Educação em engenharia:

estudo de metodologias pedagógicas e

desenvolvimento de um software aplicado ao

ensino de estabilidade de sistemas de energia

elétrica. Mestrado UNESP: Ilha Solteira – SP. 2007

[3] CASAS, Luis A; BRIDI, Vera; FIALHO,

Francisco. Construção do Conhecimento por

Imersão em Ambientes de Realidade Virtual. VII

Simpósio Brasileiro de Informática na Educação,

Belo Horizonte – MG. 1996.

[4] SHERMAN, R. Wiliam. Experiences with Virtual

Reality applications. Proceedings of the 24th

annual conference on Computer graphics &

interactive techniques 1997.

[5] CARDOSO, Alexandre – Página do Pesquisador.

Contém informações sobre aplicações de Realidade

Virtual, pesquisa e publicações do pesquisador,

tutoriais sobre VRML e artigos indicados para

leitura. Disponível em:

<http://www.alexandre.eletrica.ufu.br> Acesso em

Mar./2008

[6] SIEMENS. Motores de Corrente Contínua.

Unidade Automação e Controle – Acionamentos e

Motores Elétricos. Disponível em:

<http://www.siemens.com.br/motores>. Acesso

em: 25 ago. 2010.

[7] FRANCISOCO, António. Motores de indução

Trifásicos. Disponível em:

<http://www.estv.ipv.pt/PaginasPessoais/lpestana/

maquinas%20el%C3%A9ctricas%202/aulas%20te

%C3%B3ricas/Motores_inducao_tri.pdf>. Acesso

em: 25 ago. 2010.

[8] VRMLPAD, Parallellgraphis. O site disponibiliza

diversos programas computacionais de grande

utilidade para desenvolvimento de ambientes

virtual em VRML, inclusive o programa

VRMLPad, ExtrusionEditor. Disponível em:

<http://www.parallellgraphics.com>. Acesso em

Ago./2010

[9] SOUZA, Eduardo. Sistema de Bombeamento

Simulação de uma máquina girante associada a

uma moto-bomba, com possibilidade de abrir,

mudar a vazão, o tempo de funcionamento e

visualizar parâmetros elétricos e mecânicos

decorrentes da alteração. Disponível em:

<http://www.alexandre.eletrica.ufu.br/delaiba/princ

ipal.wrl>. Acessado em Ago./2010

[10] BARRETO, Gilmar. Motor de Indução Princípio

de Funcionamento. Disponível em:

<http://www.youtube.com/watch?v=t_BzJZwOL6

Y>. Acessado em Ago./2010


41

Uso de Realidade Aumentada na melhoria do processo de ensino-aprendizagemde motores elétricos

Fábio Henrique M. Oliveira1, Eliane Raimann2, Edgard A. Lamounier Jr.1, Alexandre Cardoso11Universidade Federal de Uberlândia

Uberlândia-MG, Brasil2Instituto Federal de Educação, Ciência e Tecnologia de Goiás - Campus Jataí

Jataí-GO, Brasil

{ufu.oliveira, elianeraimann}@gmail.com, {lamounier, alexandre}@ufu.br

Abstract

This work presents an application of Augmented Reality,for visualization and manipulation of three phase inductionmotor for educational purposes. The display of motors suchis the interior of is not a trivial task, since most of then areclosed. This prevents the study of their internal parts forbetter understanding. In this work, a motor may be dis-played, with the use of Augmented Reality, allowing mani-pulation and interaction in 3D.

Resumo

Este trabalho apresenta um aplicação de Realidade Au-mentada, para visualização e manipulação de um motor deindução trifásico com fins educacionais. O estudo destesmotores principalmente em seu interior não é uma tarefatrivial, já que a maioria são fechados. Isso impede o estudode suas partes internas para melhor compreensão. Nestetrabalho, um motor pode ser visto com o uso da RealidadeAumentada, permitindo manipulação e interação 3D.

1. Introdução

A educação é um processo de exploração, descoberta,observação e construção do conhecimento a partir da inte-ração com o mundo [13]. O uso da computação como ferra-menta de educação, tem se tornado a cada dia indispensávelpara a melhoria da qualidade e dinamismo como alternativaao ensino tradicional [13]. As técnicas computacionais bemcomo as estratégias possíveis para sua utilização são bas-tante variadas. A Realidade Aumentada (RA) merece des-taque, pois vem conquistando mais espaço e adeptos [13].

A área de educação tem muito a ganhar com a RA, tantono ensino convencional quanto no ensino à distância. Al-

gumas aplicações incluem: laboratórios virtuais de físicae química, sistemas distribuídos para educação a distância,educação de excepcionais e etc [13].

A RA é uma particularização de um conceito mais geral,denominado Realidade Misturada, que consiste na sobrepo-sição de ambientes reais e virtuais, em tempo real, atravésde dispositivos tecnológicos [10].

Os sistemas de RA podem ser classificados conforme otipo dedisplayutilizado, envolvendo visão ótica ou visãopor vídeo, dando origem a quatro tipo de sistemas: sistemade visão ótica direta, sistema de visão direta por vídeo, sis-tema de visão por vídeo baseado em monitor e sistema devisão ótica por projeção [4].

No desenvolvimento deste trabalho optou-se pelo sis-tema de visão direta por vídeo baseado em monitor, por sero sistema mais acessível a escolas e faculdades atualmente.

A utilização de Realidade Virtual (RV) e RA com finseducativos tem merecido destaque e tem sido avaliada deforma intensiva nos últimos anos. Os resultados destas ava-liações mostram ganhos, em termos de aprendizagem, su-periores a diversas outras formas de interação visando edu-cação mediada por computador [6].

Cardoso et.al [6], [7] apontam como principais vanta-gens da utilização de técnicas de RV/RA para fins educaci-onais, os seguintes itens:

• Grande poderio de ilustrar características e processos,em relação a outros meios multimídia.

• Permite experimentos virtuais, na falta de recursos, oupara fins de educação virtual interativa.

• Permite ao aprendiz refazer experimentos de formaatemporal, fora do âmbito de uma aula clássica.

Esta pesquisa é motivada pelas dificuldades no processode estudo/aprendizagem do tópico motores elétricos e a ca-


42

rência de aplicações portáveis com boa usabilidade. Algu-mas destas dificuldades são a visualização de peças internase o estudo de seu funcionamento através de simulações. Aindisponibilidade do objeto de estudo acentua estas dificul-dades. Desta maneira, esta pesquisa apresenta um ambientede RA para simular a manipulação de motores elétricos in-dustriais (amplamente estudados nos cursos de engenhariaelétrica, mecânica e pelas empresas do ramo ou correlacio-nadas), concentrando-se no desenvolvimento de uma apli-cação com boa portabilidade e interface facilitada para es-tudantes e professores.

Diversos autores, tais como Santos [12], Junior [9] eAraújo [3] abordaram sistemas utilizando RV e/ou RA comfins educativos e treinamento utilizando um estudo de casosimilar ao apresentado neste trabalho. Entretanto, este tra-balho apresenta contribuições quanto a disponibilidade paravarias plataformas (que tenham o Flash Player disponível) euma interface mais amigável possuindo dicas e comentáriossobre cada funcionalidade do sistema.

É importe ressaltar alguns tópicos em relação a estes tra-balhos, o primeiro faz uso da RV aplicada a um sistemamotor-ventilador abordando o estudo de motores trifásicos,apresentando os princípios de funcionamento, análise e si-mulação de seu comportamento mecânico e elétrico. Paraisso, é utilizado umpluginchamado Cortona, que permite ainteração com o tema através dobrowser. O segundo apre-senta um ambiente virtual similar a um ambiente real de ge-ração de energia elétrica em uma hidrelétrica. Por meio detécnicas de RV, o usuário tem a possibilidade de observar ofuncionamento de estruturas da usina. O terceiro apresentauma aplicação de RV e RA, tendo como foco o estudo docampo magnético criado por um motor de indução monofá-sico durante seu funcionamento. Neste trabalho, o campomagnético pode ser visualizado pelo usuário com o uso deRV ou RA.

Os trabalhos descritos anteriormente apresentam algu-mas limitações como:

• Indisponibilidade para vários sistemas operacionais,devido a ausência depluginou instalação local, se res-tringindo ao sistema operacional (SO) compilado.

• Deficiências de usabilidade, tais como interfacespouco intuitivas e ausência de explicação sobre as fun-cionalidades.

• Utilização de apenas um sentido, a visão.

Desta forma, este trabalho segue no sentido de aprimo-rar os métodos de ensino e aprendizagem relacionando-osao desenvolvimento de ambiente virtuais. Complementar-mente, os procedimentos aqui utilizados propiciam a apli-cação de RA associada à Internet. Note que nenhum dostrabalhos citados utilizou RA paraweb.

2. Materiais e métodos

O desenvolvimento do trabalho foi dividido em duas par-tes, modelagem geométrica tridimensional (3D) e constru-ção da aplicação para visualização, manipulação e interaçãocom os modelos 3D.

2.1 Modelagem geométrica 3D

Inicialmente, foi determinado que a modelagem geomé-trica seria efetuada com base em um produto comercial, fa-cilitando assim, a visualização das formas desse motor ea aquisição de dados técnicos do mesmo. Observa-se queesse aspecto é extremamente importante, pois ambientesvirtuais demandam uma certa riqueza de detalhes. Destaforma, a modelagem geométrica deve valorizar os compo-nentes principais do motor, como o rotor, o estator, entreoutras partes.

Sendo assim, foi escolhido o modelo de motor trifásicoW21 produzido pela WEG, empresa especializada na fabri-cação e comercialização de motores elétricos, transforma-dores e geradores [2].

Para efetuar a modelagem geométrica foi utilizado osoft-ware Blender3D1. Para modelar a parte externa do mo-tor, ou seja, as partes visíveis do motor quando fechado,foram utilizadas imagens comumente chamadas deblue-prints2 como referência. Asblueprintsutilizadas foram ce-didas pela WEG Brasil.

Desta forma, considerando as informações que foram co-letadas, tanto no catálogo do motor quanto na visualizaçãode motores similares, foi modelado o motor virtual. A Fi-gura 1 mostra o motor 3D modelado com um corte paravisualização interna.

O modelo 3D passou por várias fases de modelagem geo-métrica até atingir o formato ideal, ou seja, o mais próximodo real ponderando detalhes versus custo computacional.Finalizada a modelagem geométrica, fez-se o mapeamentode texturas no motor, mais conhecido como mapeamentoUV3. Este mapeamento foi posteriormente utilizado comoreferência na codificação da aplicação. Neste processo sãoassociadas figuras a partes do motor representando sua tex-tura ou cor. Este processo é necessário devido ao formato dearquivo COLLADA4, utilizado para importação no Papervi-sion3D (motor para renderização 3D utilizado neste traba-

1Blender é umsoftwarede modelagem e animação 3D de código aberto[5].

2São imagens desenhadas (normalmente em alta resolução) de todos osângulos necessários para uma boa visualização do objeto requerido[14].

3Método de texturização que cria um mapa que serve como referênciapara aplicar texturas pintadas emsoftwares, como Gimp ou Photoshop [5].

4COLLAborative Design Activity, é um padrão de exportação e impor-tação de arquivos criado pela Sony e usado como padrão para o consolePlaystation 3. O formato utiliza XML como padrão e suporta além de mo-delos detalhados, animações e iluminação [1].


43

Figura 1. Motor virtual 3D cortado.

lho), que possui esta restrição para colorir o objeto ou partedele.

Para cada visualização do motor foi feita uma exporta-ção para o formato COLLADA, utilizando o Colladaplugin1.4.0 que vem acoplado na instalação do Blender.

2.2 Protótipo implementado

Neste trabalho, foi desenvolvido um protótipo de aplica-ção que possibilita ao usuário visualizar, manipular e inte-ragir com um motor virtual 3D. As ferramentas utilizadasna construção do protótipo foram:

• Eclipse SDK.

• Plugin Adobe FlexR© Builder 3TM .

• Biblioteca FLARToolKit.

• Biblioteca Papervision3DTM .

O sistema recebeu o nome de ARNET e foi desenvolvidocom tecnologias que permitem disponibilizá-lo na Internet,necessitando doFlash plugine umawebcampara sua exe-cução. A interface do sistema pode ser visualizada na Fi-gura 2.

2.2.1 Funcionamento do sistema

Ao iniciar o sistema pela primeira vez é necessário impri-mir o marcador para manusear os objetos 3D. Para isto bastaclicar no botão Print Marker, gerando a abertura de um ar-quivo pdf para impressão do marcador. A Figura 3 mostrao botão para impressão do marcador e ao lado o marcador.

Com o marcador impresso o usuário pode seguir para opróximo passo, que é selecionar a visualização desejada domotor, no painel Display Options, mostrado na Figura 4.

Figura 2. Inter face do sistema.

Figura 3. Funçã o imprimir marcador.

Figura 4. Paine l de opções para visualização.


44

O painel possui cinco tipos de visualizações e uma outraopçãopara limpar todas as outras. Cada opção possui umtexto explicativo que pode ser visto ao posicionar o mousesob a mesma por alguns segundos. Ao selecionar uma op-ção o sistema mostra uma tela deloadingenquanto o objeto3D está sendo carregado. Isso é necessário para manter opleno funcionamento do sistema, sabendo que não é possí-vel a implementação dethreads5 no Action Script 3(AS3),linguagem de programação utilizada pelo Adobe Flex Buil-der. Com o objeto carregado já é possível a manipulação domesmo através do marcador, como pode ser visto na Figura5.

Figura 5. Inter face do sistema com um objeto vir-tual carregado.

A Figura 6 ilustra o menu de opções para controlar einteragir com o objeto visualizado.

Figura 6. Contr oles do objeto 3D.

Na Figura 6 tem-se quatro funcionalidades distintas,cada uma fazendo ou desfazendo uma ação no objeto 3D.O botão Animate tem por função animar o modelo, que nocaso faz o motor funcionar produzindo rotação e emitindosom. Já o botão Stop Animation tem a função de parar a ani-mação, logo os efeitos deste botão só serão vistos se o motor

5Linha de execução, é uma forma de um processo dividir a si mesmoem duas ou mais tarefas que podem ser executadas concorrentemente [8].

virtual estiver em funcionamento. O indicador Zoom alterao tamanho do objeto visualizado, podendo aumentá-lo oudiminuí-lo. E por último o botão Back que desfaz todas asalterações feitas no objeto, retornando-o ao seu estado pri-mário. Todas as funções descritas sobre a Figura 6 só terãoefeito se alguma visualização do motor estiver carregada.

A Figura 7 ilustra o botão que realiza a inversão da ima-gem capturada pela câmera, função necessária para algumascâmeras que capturam as imagens invertidas por padrão.

Figura 7. Botão que inverte a imagem da câmera.

Ao clicar no botão o usuário ira perceber imediata-mente uma inversão horizontal da imagem. Como o sis-tema aborda o estudo de um motor de indução trifásico, afim de demonstrar uma aplicação de RA, tem-se a descri-ção do motor visualizado conforme a Figura 8. Os dadostécnicos foram extraídos do catalogo de motores da WEG[2].

Figura 8. Descr ição sobre o motor abordado nosistema.

3. Discussão dos resultados

O sistema ARNET foi apresentado a um grupo de dozeusuários, sendo dez alunos e dois professores das áreas deengenharia da computação e elétrica. Primeiramente, foi


45

explicado a esses usuários o objetivo do sistema e, em se-guidao grupo testou separadamente o sistema. Após a exe-cução do sistema, os usuários responderam a um questio-nário baseado nos preceitos da ISONORM 9241-10Usabi-lity6.

A avaliação geral pode ser visualizada na Figura 9 quedemostra o gráfico de avaliação geral do sistema.

Figura 9. Opini ão geral sobre o sistema.

O gráfico da Figura 9 demonstra que 60% dos usuáriosque avaliaram o sistema ficaram satisfeitos e 40% ficarammuito satisfeitos com o mesmo, na avaliação geral do sis-tema.

4. Conclusões e trabalhos futuros

Durante o desenvolvimento deste trabalho, constatou-se que existem diversas iniciativas para ajudar professores,alunos e profissionais da área quanto aos estudos sobre osmotores elétricos. Também foi constatada a existência demotores virtuais modelados de acordo com a necessidadede cada trabalho.

A RA tem demonstrado ser uma poderosa ferramenta deapoio a educação na visualização e interação com objetose ambientes das mais diversas naturezas. A análise visuale a sensação de presença do objeto virtual são alguns dosmaiores benefícios trazidos por esta tecnologia.

Portanto, a maior contribuição deste trabalho foi criar umprotótipo para visualização, manipulação e interação comum motor de indução trifásico, explorando a arquitetura daInternet. Sendo um protótipo com boa portabilidade, bemreceptível a mudanças tecnológicas e de fácil acesso. Estatécnica não tem sido usada por iniciativas semelhantes, atéa escrita deste artigo.

Como continuação deste trabalho, considera-se impor-tante os seguintes itens:

• Permitir a inserção de objetos 3D de acordo com a ne-cessidade do usuário.

6Conjunto de normas que permite avaliar a capacidade de um sistemainterativo de oferecer a seu usuário a possibilidade de realizar tarefas demaneira eficaz e agradável [11].

• Permitir a detecção de múltiplos marcadores, possibi-litando interações diferentes das já implementadas.

• Melhorar o sistema de ajuda, com implementação dedicas e um tutorial de utilização apresentado durante aprimeira execução do sistema.

• Realizar testes de aprendizagem entre outros.

Referências

[1] Collada. Disponível em: <http://www.collada.org/>. Acessoem: maio/2010.

[2] Weg brasil catálogo. Disponível em:<http://www.weg.net/files/products/WEG-motores-eletricos-baixa-tensao-mercado-brasil-050-catalogo-portugues-br.pdf>. Acesso em: maio/2010.

[3] J. C. Araújo. Uso de realidade virtual e aumentada na vi-sualização do fluxo do campo magnético em um motor deindução monofásico. Master’s thesis, UFU, 2008.

[4] R. Azuma, Y. Baillot, R. Behringer, S. Feiner, S. Julier, andB. MacIntyre. Recent advances in augmented reality.IEEEComputer Graphics and Applications, 21(6):34–47, 2001.

[5] A. Brito. Blender 3D: Guia do Usuário. Novatec Editora,2008.

[6] A. Cardoso, C. Kirner, E. Lamounier, and J. Kelner. Tec-nologias para o desenvolvimento de sistemas de realidadevirtual e aumentada.Recife: Ed. Universitária da UFPE,2007.

[7] A. Cardoso and E. Lamounier.Aplicações na Educação eTreinamento, chapter 9, pages 343–357. Realidade Virtual eAumentada Uma abordagem tecnológica, SBC, 2008.

[8] G. Coulouris, J. Dollimore, and T. Kindberg.Sistemasdistribuídos-conceitos e projeto. Bookman, 1999.

[9] A. Junior, B. Afonso, L. Junior, and A. Edgard. AssociandoRealidade Virtual ao funcionamento de uma usina hidrelé-trica. Horizonte Científico, 1(8), 2008.

[10] C. Kirner and R. Siscoutto. Fundamentos de Realidade Vir-tual e Aumentada.Realidade Virtual e Aumentada: Concei-tos, Projeto e Aplicações, pages 9–21, 2007.

[11] J. Prumper. Test it: ISONORM 9241/10. InProceedingsof HCI International (the 8th International Conference onHuman-Computer Interaction) on Human-Computer Inte-raction: Ergonomics and User Interfaces-Volume I-VolumeI, page 1032. L. Erlbaum Associates Inc., 1999.

[12] E. S. Santos, A. C. Delaiba, C. A., and E. A. Lamounier.Eficiência energética em sistemas industriais sob a óptica darealidade virtual.WARV, 2007.

[13] R. Tori, C. Kirner, and R. Siscoutto. Fundamentos e tecno-logia de realidade virtual e aumentada.Porto Alegre: SBC,2006.

[14] M. Ware. Cyanotype: the history, science and art of photo-graphic printing in Prussian blue. NMSI Trading Ltd, 1999.


46

DESENVOLVIMENTO DE UMA ARQUITETURA PARA DISTRIBUIÇÃO DEREALIDADE AUMENT ADA NA WEB APLICADA AO ENSINO DE

MOTORES DE CORRENTE CONTÍNUA

Marlus Dias Silva, Eduardo de Souza Santos, Renato Oliveira AbreuAlexandre Cardoso, Edgard Lamounier

Universidade Federal de Uberlândia, Uberlândia, MG, Brasil{marlusdias, eduardo}@mestrado.ufu.br, [email protected], {alexandre, lamounier}@ufu.br

Abstract

This work deals with the development of an architecturefor distribution of Augmented Reality by Web. One of thegreat advantages of this architecture is the ability to run theapplication directly into a Web browser through the use ofFlartoolkit, Paperpervision3D, and Flash Player for run-ning applications created with Flex 4.0 environment. Thevalidation of the work was done through a case study, whichwas used in the developed environment for the teaching ofDC motors. From this case study, we obtained the evalua-tion of students and professionals in education, and data foranalyzing the performance of the developed architecture.

1 Introdução

Com o advento da Educação a Distância (EaD), a ne-cessidade de prover ambientes que facilitem o aprendizadose mostra ainda mais importante, já que alunos dessa mo-dalidade de aprendizado possuem poucas ferramentas quepossam estimular a experimentação, dificultando seu apren-dizado e, portanto, causando defasagens em relação à edu-cação de um aluno da modalidade presencial [12].

Observa-se que a utilização da Realidade Aumentada(RA), que é definida como uma fusão entre o mundo reale objetos virtuais, criando um cenário no qual as informa-ções contidas no mundo real são incrementadas com objetosvirtuais gerados por computador [2], pode oferecer infor-mações sensitivas mais ricas, facilitando a associação e areflexão sobre o tema que está sendo ensinado [8], possibi-litando que o usuário possa lidar de forma mais confortávelcom conceitos abstratos e contra-intuitivos [9].

Segundo [13], um sistema distribuído “é uma coleção decomputadores independentes que se apresentam aos usuá-rios como um sistema único e coerente”. Levando este con-

ceito para o âmbito da Realidade Aumentada, observa-seque distribuir um ambiente que implemente aplicações deRA se torna muito interessante à medida que usuários emdiversas posições geográficas podem interagir, em temporeal, com uma interface mais intuitiva e que favorece a co-laboração, facilitando de forma expressiva o aprendizado.

Dessa forma, é de suma importância buscar tecnologiasque permitam a distribuição de ambientes virtuais, que es-tejam alinhadas com as atuais necessidades tecnológicas.Nesse âmbito, pode-se destacar as aplicações desenvolvidasno ambienteFlex 3.0, que tem evoluido de forma muito rá-pida e com uma ótima aceitação tanto por desenvolvedoresquanto no mercado consumidor.

O lançamento doActionScript 3.0(AS3), juntamentecom o ambiente de desenvolvimentoFlex e oFlash Player9.0, pela Adobe em 2006, abriu caminho para a evoluçãodas aplicações RIA (Rich Internet Applications- Aplica-ções Ricas em Internet). O desenvolvimento dessas aplica-ções possibilitou a criação de ferramentas de apoio para acriação de aplicações de Realidade Virtual (RV) para aweb,suportadas peloFlash Player. Como passo seguinte, a ex-tensão destas tecnologias proveu condições de desenvolvi-mento de soluções de Realidade Aumentada (RA) paraweb,com a utilização de umawebcame marcadores (impressosem papel comum) e da tecnologiaFLARToolkit.

Neste contexto, este trabalho tem como objetivo mos-trar uma arquitetura de distribuição de objetos com de Re-alidade Aumentada (RA) naweb, permitindo que váriosusuários, conectados a um servidor, possam interagir como mesmo objeto virtual que no caso específico é um motorde corrente contínua.

Além da possibilidade de criar aplicações de RA naweb,o ambiente de desenvolvimentoFlex 4.0oportuniza a uti-lização das aplicações desenvolvidas em qualquer plata-forma, sendo transparente para o usuário, já que não senecessita da instalação da aplicação. Logo, essa aplicaçãoutiliza tal ambiente para o desenvolvimento dofront-end,


47

possibilitando que o aluno/professor, utilize as aplicaçõesem qualquer navegador que possua o pluginFlash Playercom a versão 9 ou superior instalado, permitindo sua uti-lização em sistemas operacionais Windows, Linux, Solarisou Macintosh. Além da vasta gama de sistemas operacio-nais, observa-se que oFlash Player 9, possui uma taxa deutilização de aproximadamente 99% nos computadores dosmercados maduros (Estados Unidos, Reino Unido, Alema-nha, França e Japão) e cerca de 97% nos mercados emer-gentes [1].

Com o intuito de abordar o desenvolvimento e utiliza-ção da arquitetura desenvolvida, este trabalho será divididoda seguinte forma: a seção 2, trata dos trabalhos correlatos,mostrando a importância da utilização de RV e RA na edu-cação, bem como ferramentas de distribuição dessas tecno-logias. A terceira seção relata as ferramentas utilizadas nodesenvolvimento da arquitetura proposta. A seção número4, mostra as definições da arquitetura proposta. A Seção nú-mero 5 aborda o estudo de caso proposto, por fim, na sextasessão são mostrados os resultados e perspectivas para tra-balhos futuros.

2 Trabalhos Relacionados

Devido às possibilidades de aplicação no ensino, a dis-tribuição de objetos virtuais para ambientes de RealidadeAumentada, tem sido bastante explorada. O trabalho de[6], por exemplo, apresenta uma interface para a distri-buição de objetos virtuais utilizando realidade aumentadacomo ferramenta de apoio de ensino na área fisiologia ve-getal. A arquitetura utilizada foi cliente/servidor utilizandoo CORBA(Common Object Request Broker Architecture)para a comunicação entre os clientes que executam o AR-Toolkit.

Em [8] uma ferramenta de distribuição de ambientes vir-tuais para apoio a projetos multidisciplinares de ensino. Fo-ram desenvolvidos dois protótipos: um na na área biológicae outro na área de química. Para a distribuição foi utilizadoo CORBA, utilizando arquitetura cliente/servidor.

No trabalho de Distribuição de Realidade Virtual e Au-mentada [10], os autores desenvolveram uma arquiteturaque viabiliza a distribuição de objetos virtuais no formatoVRML, para todos os participantes através de uma rede decomputador, utilizandosocketspara a transferência de ar-quivos. Osoftwaredesenvolvido por [10] tem um grandeapelo educacional possibilitando os usuários visualizaremos objetos virtuais tanto em RA como em RV.

De forma semelhante aos trabalhos citados, este traba-lho utiliza a arquitetura cliente/servidor, no entanto, com autilização de tecnologias diferentes, visto que deseja-se dis-tribuir o ambiente de Realidade Aumentada, utilizando oambiente de desenvolvimentoFlex, permitindo que os cli-entes possam utilizar a ferramenta desenvolvida de forma

transparente, necessitando somente de umawebcame umnavegador com oFlash Playerinstalado.

3 Ferramentas utilizadas

As ferramentas utilizadas para o desenvolvimento da ar-quitetura são apresentados nas seções abaixo :

3.1 Engine 3D

Atualmente existem diversasenginespara desenvolvi-mentos de ambientes 3Ds em AS3, comoAway3D,Paper-vision3De Sandy, logo, é de suma importância definir qualdesses conjuntos de bibliotecas serão utilizados no projeto,visto que, dependendo do tipo de aplicação que será desen-volvida, a má escolha daenginepode causar um desempe-nho ruim do sistema como um todo.

Por este motivo, baseado no grau de atividade e avalia-ção das engines pelos desenvolvedores, optou-se por utilizaro Papervision3D, que surgiu em 2005 e, desde então, vemsendo atualizado pelos desenvolvedores e pela vasta comu-nidade de utilizadores.

Essa engine possui um conjunto de classes que possibi-lita o tratamento de colisão de forma automatizada,enginespara a simulação de física (simulação de fluídos e partícu-las) possibilitando gerar mundos virtuais com uma maior ri-queza de detalhes, aproveitando todos os benefícios da Ori-entação a Objetos. E, além disso, torna possível a importa-ção de objetos modelados em ambientes de modelagem 3D,como Blender e 3D Studio Max, e exportados nos formatosCollada (COLLAborative Designer Activity), MD2(Quake2) e 3DS(3D Studio).

Outro ponto de destaque, consiste na integração comoutra biblioteca AS3, chamada FLARToolkit, que é seme-lhante ao ARToolkit e, portanto, possibilita o desenvolvi-mento de aplicações de Realidade Aumentada pelaweb.

3.2 FLARToolkit

O FLARToolkité um conjunto de classes desenvolvidasem AS3, que juntamente com oPapervision3Dpossibilitao desenvolvimento de aplicações de Realidade Aumentada.Para executar aplicações utilizando oFLARToolkito clientedeve instalar no navegador oFlash Playerversão 9 ou su-perior, e permitir o acesso dopluginàwebcam.

O ARToolKité uma biblioteca em linguagem C que per-mite aos programadores desenvolver aplicações de Reali-dade Aumentada [4]. Desta forma, para executar aplica-ções utilizando oARToolkito usuário deverá ter instaladoe configurado o mesmo em seu computador, podendo cau-sar algum desgaste para usuários menos experientes. Emcontrapartida, uma aplicação que utiliza oFLARToolkitserá


48

disponibilizada como um arquivo “.swf”, que é executadonoFlash Playerdo navegadorweb.

3.3 BlazeDS

O BlazeDS é ummiddlewareque se localiza entre o cli-ente e o servidor, ele é responsável por estabelecer a comu-nicação entre ambos, utilizando para isso objetos remotos.A aplicação cliente pode ser desenvolvida em linguagem deprogramação Flex/Flash(Action Script 3) ou Ajax e o servi-dor obrigatoriamente tem que ser desenvolvido na lingua-gem de programação Java [3].

Através das chamadas de procedimento remota RCP, odesenvolvedor fica responsável em codificar as interfacesremotas, e o BlazeDS realiza a comunicação entre o clientee o servidor utilizando seus protocolos

Logo, o BlazeDSfoi escolhido por possibilitar a utili-zação com aplicações desenvolvidas em Flex e suportar asvantagens oferecidas por RCP.

4 Arquitetura do sistema

O propósito dessa seção é a apresentação de uma arqui-tetura de Realidade Aumentada que viabilize a interconexãocom uma gama de computadores por meio da Internet, pos-sibilitando a interação e a distribuição de objetos virtuaisem tempo real, com os computadores conectados no sis-tema. Para tal efeito, a arquitetura foi montada baseada nomodelo Cliente/Servidor como mostra a Figura 1.

Servidor Web

BlazeDS Server

Glassfish

Internet TCP/IP

Cliente 2 Cliente n

Web browser

BlazeDS Client

Cliente 1

FLARToolkit

Camada de Comunicação

Web browser

BlazeDS Client

Cliente 2

FLARToolkit


Web browser

BlazeDS Client

Cliente 3

FLARToolkit


...

Figura 1. Arquitetura do Sistema Proposto.

A arquitetura foi desenvolvida utilizando várias camadasde software, tanto no lado do cliente quanto do lado do ser-vidor, com o propósito de facilitar a manutenibilidade dosoftware em questão, possibilitando que desenvolvedor nocaso de uma manutenção, necessite apenas de modificar acamada de seu interesse, não havendo risco de inserir códi-gos defeituosos nas demais camadas da arquitetura.

Para a comunicação entre os módulos a arquitetura uti-liza à Internet e seus protocolos. No caso do software emquestão será utilizando o protocolo TCP/IP para a comuni-cação entre os módulos cliente e servidor, e seus respectivosusuários conectados na aplicação.

4.1 Módulo Servidor

O Módulo Servidor (Figura 2), tem como finalidade ge-renciar as conexões dos clientes e possibilitar a distribuiçãodos objetos virtuais no Ambiente de Realidade Aumentadados clientes. Outra característica do servidor é possibilitar asincronização das animações executadas pelos clientes atra-vés de um protocolo.

BlazeDs Server

JAVA Action Script 3

Servidor Web (GlassFish) JAVA

Módulo Servidor

Internet TCP/IP

Figura 2. Arquitetura do Módulo Servidor.

Para que o Módulo Servidor consiga enviar, processar ereceber informações do cliente o mesmo é dividido em duascamadas: a camada do BlazeDS e a camada do ServidorWeb.

A camada onde está localizado o BlazeDS Server comopode ser observado na Figura 2 é responsável por receber osdados enviados pelos os clientes na linguagem de progra-mação Action Script. Em seguida ela deve converter para alinguagem de programação JAVA e repassar para o servidorWeb GlassFish, onde as mensagens recebidas serão proces-sadas.

O servidor Web GlassFish recebe as mensagens na lin-guagem de programação JAVA, as processa e envia a res-posta para a Camada do BlazeDS, onde essa é convertidaem ActionScript e enviada aos clientes por intermédio daInternet.

4.2 Módulo Cliente

O Módulo cliente possuí várias camadas de software naArquitetura Proposta como é mostrado na Figura 1, tais ca-madas são descritas abaixo:

A camada do Web browser, é a camada de visão da arqui-tetura do lado do cliente. Essa camada possibilita ao usuá-rio visualizar o ambiente de Realidade Aumentada. Todas


49

as ações e interações do usuário com o Ambiente de Rea-lidade Aumentada são repassadaspara a camada abaixo doFLARToolkit.

A camada onde está localizado oFLARToolkité a res-ponsável por possibilitar o desenvolvimento de aplicaçõesde Realidade Aumentada. Algumas partes do código origi-nal da biblioteca foram modificados para viabilizar a comu-nicação dessa camada com as demais camadas do sistema.

A camada de comunicação é responsável por rece-ber as interações realizadas pela camada doFLARToolkit,processá-las e encaminha-las para a camada do BlazeDsClient. Ela também é responsável por fazer o sentido in-verso: ao receber uma mensagem da camada BlazeDS, pro-cessar a mensagem recebida e aplicar as alterações cabíveise repassar para a camada doFLARToolkit.

A camada de distribuição BlazeDS Client é uma camadade software responsável pela comunicação entre os módu-los cliente e servidor. Os eventos recebidos pela camada doFLARToolkitsão enviados para o servidor através da Inter-net, onde as mesmas serão processadas no lado do servidore reenviadas para os clientes. As mensagens recebidas sãorepassadas para a camada oFLARToolkitque é responsávelpor posicionar/adicionar objetos virtuais na cena.

5 Estudo de Caso

Um motor de corrente contínua converte a energia elé-trica em energia mecânica, o que o diferencia dos demaismotores é que ele deve ser alimentado com corrente de ten-são contínua. Essa tensão contínua pode ser adquirida atra-vés de pilhas e baterias, no caso de motores pequenos, oude uma rede alternada após retificação, no caso de motoresmaiores. Os principais componentes de um motor de cor-rente contínua são o estator e rotor [14].

Para o estudo de caso, foi desenvolvido no ambiente Flexuma interface gráfica (Figura 3) para avaliar a arquiteturaapresentada. Juntamente com osoftwareRANET, que im-plementa a arquitetura proposta, é possibilitado aos usuá-rios interagir com o objeto virtual presente na cena. Destaforma, todas as ações realizadas pelo usuários através dosmenus interativos serão repassadas para todos os usuáriosconectados ao sistema.

Dessa forma, o usuário pode inserir um motor de cor-rente contínua virtual sobre o marcador, possibilitando a in-teração dentro de uma gama de ações pré-definidas.

No estudo de caso do motor de corrente contínua foramdefinidas algumas animações de interesse para a aula, asquais foram modeladas em um editor 3D. Essas animaçõessimulam o funcionamento do motor com 3, 6 e 9 volts. Épossível visualizar e separar as peças com o motor em fun-cionamento como mostra a Figura 3b.

Visando a utilização de objetos virtuais gerados em qual-quer modelador 3D, como o Blender, 3DS MAX e Maya,

(a) Motor Fechado. (b) Motor aberto.

Figura 3. Interface gráfica doRANET.

foi necessário definir algumas regras na criação das anima-ções, a principal, consiste em obedecer uma linha tempopré-definida, conforme é mostrado na a Tabela 1. Coma criação da animação, o objeto virtual deverá ser expor-tado para o formadoCollada (dae)e adicionado nosoftware(RANET).

Tabela 1. Regras definidas para a linha do tempo das ani-mações.

Faixa de Tempo Descrição80 Faixa destinada a primeira animação160 Faixa destinada a segunda animação240 Faixa destinada a terceira animação320 Faixa destinada a quarta animação400 Faixa destinada a quinta animação

6 Conclusões e Trabalhos Futuros

Foram realizados testes delatência e escalabilidade paravalidar a eficiência da arquitetura desenvolvida.

Para a verificação e validação dosoftwareRANET foielaborado, um questionário baseado nos preceitos da ISO-NORM 9241/10 que trata da usabilidade desoftware[11].Este questionário foi elaborado no formato de umchecklistonde os usuários puderam informar suas opiniões.

6.1 Latência

Segundo [5] latência é o tempo decorrido após uma ope-ração de envio ser executada e antes que os dados comecema chegar em seu destino. Ela pode ser medida como o temponecessário para transferir uma mensagem. No caso do ex-perimento foi utilizados pacotes de 4bytes.

Segundo [7] se o ambiente distribuído existe para emularo mundo real, deve operar em termos da percepção humana.Este desafio torna-se maior em sistemas que utilizam redesa longa distância.


50

Dessa forma a latência na comunicação não será o parâ-metro principal de análisede desempenho do modelo pro-posto, mas servirá como suporte para analisar a escalabili-dade (capacidade de aumento na quantidade de usuários).Logo, a análise de escalabilidade foi realizada em três eta-pas:

• Primeira etapa: foi feito um teste para medir o tempoque o pacote enviado pelo cliente demora para chegaraté o servidor;

• Segunda etapa: utilizou-se o servidor e 3 clientes, me-dindo o tempo de envio do pacote de um cliente para oservidor e do servidor para outro cliente;

• Terceira etapa: utilizou-se o servidor e 6 clientes, me-dindo o tempo de envio do pacote de um cliente para oservidor e do servidor para outro cliente;

Figura 4. Latência de Comunicação.

A Figura4 mostra os resultados obtidos. Como pode serobservado o protótipo se comportou satisfatoriamente coma quantidade de usuários à que foi submetido.

Para o teste de escalabilidade será utilizado os valoresobtidos no teste de latência.

6.2 Escalabilidade

A escalabilidade é interpretada como sendo a capaci-dade do sistema em aceitar novos clientes, numa mesmamáquina ou em máquinas diferentes [7]. Segundo [7] sis-temas que envolvem operadores humanos devem entregarpacotes com a mínima latência e gerar gráficos texturizados3D a uma freqüência de 30 a 60 Hz, para garantir a ilusãode realidade. Este desafio torna-se maior em sistemas queutilizam redes a longa distância, conforme mencionado an-teriormente. A latência da rede pode ser reduzida, até certoponto, por meio da utilização de enlaces (links) dedicados.Todavia, uma maior largura de banda não é necessariamentea melhor solução.

A escalabilidade foi medida em função do resultado daanálise de latência na seção 6.1, levando-se em conta a de-gradação do tempo de comunicação com o aumento do nú-mero de clientes. Os testes iniciais foram feitos com base

Figura 5. Escalabilidade.

em seis clientes. Aescalabilidade foi testada, aumentandoesta quantidade para 12, 18, 24 e 30 clientes, respectiva-mente. O Resultado obtido pode ser observador através daFigura 5.

Como pode ser observado a latência do sistema com 30usuários atingiu o patamar de 1,5 segundos, não afetando odesempenho dosoftwareem termos de usabilidade e quali-dade da visualização.

6.3 Testes de Usabilidade

O sistema foi apresentado a 35 alunos do ensino médio(tecnológico) e a 5 professores ambos da área de informá-tica.

Foi explicado a esses usuários qual a finalidade do sis-tema. Logo após foram separados 4 grupos. Cada grupo eracomposto por 10 usuários, sendo um tutor e 9 alunos. Apósa realização do experimento todos responderam a um ques-tionário de avaliação do sistema. A seguir, são apresentadosalguns resultados relevantes dessa avaliação.

6.3.1 Quanto à finalidade do uso da ferramenta

Figura 6. Gráfico: Finalidade da Ferramenta.

Como pode ser notado no gráfico da Figura 6 observa-seque a maioria das pessoas consideraram-se satisfeita com osistema. Porem algumas pessoas ressaltaram que para ope-rar osoftware, as pessoas necessitam de certo conhecimentode informática.


51

6.3.2 Quando à colaboração entre os usuários é per-ceptível

Figura 7. Gráfico: Colaboração entreUsuários.

No gráfico da Figura 7 observa-se que a maioria dosusuários avaliaram a colaboração entre os usuários perceptí-vel, ficando muito satisfeito com o protótipo. Porém algunsusuários comentaram que o software poderia suportar maisobjetos virtuais na cena. Tal procedimento será sugeridocomo trabalho futuro. Outra sugestão foi a possibilidade deimplementar uma trava com o objetivo de forcar aos usuá-rios que não estão com a trava, apenas assistirem a distri-buição, o que possibilitaria o uso do protótipo como umaferramenta interessante no caso de educação à distância.

Alguns usuários mostraram-se insatisfeitos porém nãojustificaram suas respostas.

6.3.3 Quanto à aprendizagem (houve aquisição de co-nhecimento?)

O gráfico da Figura 8 demostra que a maior parte dos usuá-rios ficaram muito satisfeitos com a questão da aprendiza-gem, que o estudo de caso através dosoftwareRANET pro-porcionou. Porém alguns professores da área de informá-tica, comentaram que o software poderia além do controleda animação, e a possibilita de alterar o objeto virtual visu-alizado na cena osoftwarepoderia possibilitar a inserção devários objetos virtuais na cena.

Figura 8. Gráfico: Aquisição de Conhecimento.

Através dos gráficos apresentados, pode-se concluir que

o software RANET possui um grande apelo pedagógicosendo uma ferramenta de grande auxilio na área da ciênciae educação.

7 Trabalhos Futuros

Como trabalhos futuros pode-se integrar ao módulo docliente comandos de voz para que as animações sejam exe-cutadas através de comandos sonoros. E adaptar o softwarepara que o mesmo aceite múltiplos objetos virtuais na cena.

Referências

[1] Adobe. Flash player penetration, 2009. Disponível em:<http://www.adobe.com/products/player_census/

flashplayer/>. Acesso em: 13 agosto. 2009.[2] R. T. Azuma. Recent advances in augmented reality.IEEE

Computer Graphics and Applications, 21:34–47, 2001.[3] BlazeDS. Blazeds developer guide. Disponível

em:http://livedocs.adobe.com/blazeds/1/blazeds_devguide/Acesso em: 15 mar. 2010, 2010.

[4] A. Cardoso and L. Jr.Realidade Virtual: Uma AbordagemPrática. SVR, 2004.

[5] G. Coulouris. Distributed systems: concepts and design.Addison-Wesley Longman, 2005.

[6] W. A. da Silva. Uma arquitetura para distribuição de ambi-entes virtuais de realidade aumentada. Master’s thesis, Uni-versidade Federal de Uberlândia, 2008.

[7] M. W. de Souza Ribeiro.Arquitetura para Distribuição deAmbientes Virtuais Multidisciplinares. PhD thesis, Univer-sidade Federal de Uberlândia, 2006.

[8] M. W. de Souza Ribeiro.Arquitetura para distribuição deambientes vituais multidisciplinares. PhD thesis, Universi-dade Federal de Uberlândia, 2006.

[9] C. Filhoais and J. Trindade. Física no computador: O com-putador como uma ferramenta no ensino e na aprendizagemdas ciências físicas.Revista Brasileira de Ensino de Física,25, 2003.

[10] K. Nogueira, K. Nogueira, E. Lamounier, and A. Cardoso.Uma arquitetura para a distribuição de realidade virtual eaumentada.6o Workshop de Realidade Virtual e Aumentada,2009.

[11] J. Prümper. Test it: ISONORM 9241/10. InProceedingsof HCI International (the 8th International Conference onHuman-Computer Interaction) on Human-Computer Inte-raction: Ergonomics and User Interfaces-Volume I-VolumeI, page 1032. L. Erlbaum Associates Inc., 1999.

[12] L. F. Silva. Ambientes distribuídos em Realidade Virtualcomo suporte a Aprendizagem Cooperativa para a Resu-lução de Problemas. PhD thesis, Universidade Federal deUberlândia, 2009.

[13] A. TANENBAUM and M. Steen. Sistemas Distribuídos:Princípios e Paradigmas, 2008.

[14] P. TÉCNICA. MOTORES DE COR-RENTE CONTÍNUA. Disponível em:www.siemens.com.br/medias/FILES/2910_20060505141908.pdf Acesso em: 14 mar. 2010.


52

SESSÃO TÉCNICA 3

AMBIENTES VIRTUAIS


53

Humano Virtual, Virtual Humano – O Devir do Processo de Criação

em Ambientes Imersivos

Luciana Louro

Pontifícia Universidade Católica de São Paulo

[email protected]

Donizetti Louro

Pontifícia Universidade Católica de São Paulo

[email protected]

Resumo

Este trabalho investiga um possível processo

sistêmico e complexo no desenvolvimento de um

gênero de personagem de ambiente virtual: o

residente do Second Life (SL). Para tentar validar

essa hipótese, esta pesquisa fará um estudo de caso,

à luz da teoria de Mikhail Backhtin (2006),

complementada pela noção de sistema complexo de

Mario Bunge [7][8] que fundamentam a análise do

personagem residente Liberato Lindman, que vive

no SL desde 2003.

Palavras-chaves: avatar, virtual reality, processo

criativo, personagem, sistema complexo, teoria

literária.

Abstract

This paper investigates a possible systemic process

and complex on development of a character´s kind

in a virtual reality environment: a resident in

Second Life (SL). To try to validate this hypothesis,

this research will make a case study in light of the

theory of Mikhail Backhtin (2006), complemented

by the notion of complex system of Mario Bunge

[7][8] which underlie character analysis of resident

Liberato Lindman, who lives in SL since 2003.

Keywords: avatar, metaverse, character, creative

process, complex systems, literary theory.

Introdução

Este artigo investiga as implicações

teóricas acerca da análise do processo de criação

dos residentes1 do Second Life (S.L)

2.

Antes de abordar o processo de criação é

importante diferenciar a personagem de sua

caracterização, definindo, assim, esses dois termos

distintos. Pode-se definir uma personagem como

sendo “um habitante da realidade ficcional, de que

a matéria de que é feita e o espaço em que habita

são diferentes da matéria e do espaço dos seres

humanos” [5].

Caracterização, por outro lado, é tudo

aquilo que se pode perceber ao observarmos uma

personagem: sua aparência, movimentação,

atitudes, comportamento, indumentária, voz,

trejeitos, história de vida, qualidades, fraquezas e

assim por diante [11]. Ela pode, portanto, ser

elaborada antes ou depois da redação de um

roteiro. Alguns estudiosos descrevem,

detalhadamente, o processo criativo,

fundamentando-se em situações específicas,

vivenciadas por cada equipe de criação. Porém,

eles não propuseram uma definição geral para o

processo em questão [20], [16]. Assim, tomando

por base a concepção ficcional da personagem [5],

propõem-se definir como caracterização o processo

de criar uma personagem a partir de um conceito

autônomo e fictício, estabelecido por um roteiro

pré-existente ou não, definindo seus aspectos

visuais, estéticos e sua própria narrativa particular,

inserida no enredo principal, com o objetivo de

ilustrar, graficamente, por meio da computação

estética e afetiva, sua personalidade, dando-lhe

uma aparência de existência real.

1 Avatares (para definição de avatar, vide item 5) que simulam a

vida real dentro de um mundo criado pelo computador. Este

artigo vai se referir a esses avatares como residentes para

estabelecer uma coerência em relação à nomenclatura utilizada

no Second Life [9].

2 O Second Life é um universo virtual criado, após dez anos de

planejamento, em 2003 por Philip Rosedale. É um mundo

dentro do ciberespaço que imita a vida real, tendo governos,

nações, tribunais e cidadãos que são chamados de residentes

que coexistem por meio de seus avatares [9].


54

2

Uma vez delimitada o tipo de

caracterização a ser estudado, é preciso selecionar

a teoria literária que norteará sua análise.

Escolheu-se a teoria de Mikhail Bakhtin3 [3]

devido à sua intenção de elaborar uma análise

fundamentada na estética4 da personagem,

enxergando-a como um produto final,

independente de seu criador-autor, estabelecendo,

assim, um conceito autônomo [6]. No entanto, a

teoria bakhtiniana, que enxerga a personagem

como um projeto finalizado, pode apresentar

alguns obstáculos quanto à análise do processo de

criação dos residentes do SL. A dificuldade nesta

análise repousaria sobre o fato de que o processo

de criação desses avatares5 nunca termina. Eles

nascem no SL e seus autores vão gradualmente

criando suas próprias narrativas, sem previsão de

quando ou como essas vão terminar.

Depara-se, portanto, com um novo tipo de

produção narrativa, na qual, o criador vive

ativamente sua personagem, não se separando dela

ao fim da criação, conforme acontece nas

narrativas tradicionais, estudadas por Bakhtin [3].

As narrativas dos residentes do SL são criadas para

promover a mobilidade [12] de uma vida paralela

dentro um sistema social virtual. Seria, então,

esse um processo sistêmico complexo de criação

de uma personagem? O conceito de Bakhtin [3] de

uma personagem finalizada apresentará

dificuldades para a análise de um residente do SL?

Se sim, seria possível ampliar a teoria de Bakhtin

[3] pela noção de sistema complexo de Mario

Bunge [7][8]?

Para aventar estas respostas é preciso,

primeiramente, estabelecer o conceito do processo

de criação literária de uma personagem sob o olhar

bakhtiniano [3] (1), bem como a noção de sistema

complexo, segundo Bunge [7] (2). Com

fundamento nestas teorias acima citadas, será

realizado um estudo de caso, por meio de análise da

entrevista com Jean Liberato, que possui um

residente no SL desde 2003 (3).

3 Mikhail Mikhailovich Bakhtin (1895 - 1975) foi um linguista russo. Seu trabalho é considerado influente na área de teoria literária, crítica literária, sociolinguística, análise do discurso e semiótica. Bakhtin [3] se destacou pela sua visão sistêmica da linguagem, na qual a lingüística não poderia ser vista separadamente de seus fatores externos, como contexto do falante, momento histórico etc [6]. 4 Para Bakhtin [3] a palavra estética é usada para indicar o acabamento ou o aprimoramento da personagem [6]. Assim esta análise se fundamentará neste conceito estético bakhtiniano. 5 Avatar vem do sânscrito Aval, que significa "Aquele que descende de Deus", ou simplesmente "Encarnação" (Dasgupta, 1992). O significado da expressão expandiu para além do estritamente religioso em 1859, no Livro “A vida de John Milton” de John Donne. Já o termo como identidade virtual de um usuário surgiu, pela primeira vez, em 1992 no romance Snow Crash de Neal Stephenson (2000). Sua proliferação, porém, pode ser atribuída ao Second Life, um mundo virtual online multiplayer [9].

1- A Teoria de Bakhtin: uma

personagem analisada como um

produto final.

Segundo Brait [6] Bakhtin fundamentava a

relação do autor com a personagem “num processo

de comunicação interativa” [6] entre o autor e o

“eu” de sua criação. Neste sentido, para Bakhtin

[3], a elaboração de uma personagem é um processo

de escolhas do autor, ancoradas em valores

pessoais. Engloba-se aqui, com efeito, as escolhas

relativas aos traços, perfil, acontecimentos na vida,

laços afetivos e, por fim, o conjunto de

características que forma produto final de uma

personagem. A teoria bakhtiniana tem, assim,

como pressuposto de criação uma história com um

ciclo completo.

Assim, o processo criativo é estudado a

posteori. Bakhtin [3] também acredita que esse

estudo deva levar em conta a evolução própria das

personagens. Desta maneira, o filósofo defende que

o ponto de partida para a análise do processo de

criação, não devem ser as características ou

opiniões pessoais do autor. O estudo deve,

consequentemente, se concentrar na “forma do

tratamento do acontecimento, a forma do seu

vivenciamento na totalidade da vida e do mundo”,

ou seja, no resultado final das escolhas do autor.

Assim Bakhtin [3] ressalta que é preciso se reportar

à personagem finalizada e autônoma.

Mas, conforme já foi adiantado na

introdução, a aplicabilidade da teoria bakhtiniana na

análise dos residentes do SL, objeto de estudo de

caso desta pesquisa, pode apresentar dificuldades

pelo conceito de uma criação finalizada e autônoma

defendida pelo autor. Assim, caso se confirme este

problema, cogita-se a hipótese de ampliar a teoria

bakhtiniana com uma visão sistêmica do processo

de elaboração de personagens abertas,

considerando-o, consequentemente, um sistema

complexo. No entanto, para estudar esta

possibilidade é necessário, antes, definir o conceito

de sistema complexo segundo Mario Bunge [7][8]

que será utilizado no presente estudo.

2- A Teoria de Sistemas Complexos

segundo Mario Bunge

Para Bunge [8] um sistema é “um objeto

cujas partes ou componentes se relacionam com

pelo menos outro componente”. O autor dá,

igualmente, grande ênfase ao papel do ambiente

para definir o conceito de sistema complexo por

meio da tripla ordenada, ambiente, componentes,

relação, conforme é possível constatar na fórmula a

seguir publicada em seu livro “A World of

Systems”, (Um mundo de sistemas), [7]:

Onde : SA (ó, t) = sistema; CA (ó, t)=

estrutura interna ou componentes ou um conjunto


55

3

de qualquer coisa.; EA (ó, t)= ambiente; SA (ó, t)=

relação.

Desta maneira um sistema complexo

consiste em um conjunto de qualquer coisa que,

além de se relacionar com “pelo menos outro

componente” [8], como no caso dos sistemas

simples, também se relaciona com o ambiente que o

envolve. Para ser um sistema complexo, estes

elementos devem, igualmente, formar uma tripla

ordenada, ou seja, devem sempre estar dispostos na

ordem estabelecia pela fórmula acima citada, a

saber: conjunto de qualquer coisa, ambiente e

relação.

É importante sublinhar que esta pesquisa

somente pretende se fundamentar nas idéias de

Bunge sobre sistemas complexos a fim de

conjeturar uma ampliação da noção de personagem

de Bakhtin [3], para o estudo teórico dos residentes

do SL. Assim, a fórmula, aqui apresentada, será

usada somente como um guia. Não se considerou

necessário, portanto, uma demonstração algébrica

da hipótese aventada neste artigo. Optou-se, enfim,

por simplificar, com intuito de facilitar uma

posterior análise teórica, a definição da tripla

ordenada bungeana [7], da seguinte maneira:

Onde: S= sistema; (m)= conjunto de

qualquer coisa; A= Ambiente; R= Relação

Bunge [8] afirma, igualmente, que os

sistemas podem ser divididos em naturais, “cujos

componentes assim como os vínculos entre eles

pertencem à natureza, isto é, não são obras do

homem [8] ” e artificiais, que são a “união de todos

os sistemas não naturais[8].” Este estudo considera

uma personagem um conceito fictício [5] e,

consequentemente, uma criação do homem. Logo,

foco de interesse aqui está na análise dos sistemas

artificiais que se dividem em: conceituais,

materiais, semióticos e técnicos. O primeiro parece

ser o mais interessante para este trabalho, pois,

assim como a personagem [5], ele é “composto por

conceitos [8].”

Uma vez a definição e o tipo de sistema

escolhido, é preciso se inclinar sobre a concepção

de complexidade que será adotada para nortear este

trabalho. Segundo Vieira [21] não existe uma

definição ontológica da complexidade. Mas, ainda

segundo o autor [21] é possível encontrar um

caminho para esta definição por meio da análise dos

parâmetros sistêmicos propostos por Mario Bunge

[7], [8]. A fim de aprofundar a questão optou-se por

complementar estes, com os parâmetros propostos

por Kenneth George Denbigh [10], Humberto

Maturana [15], [14] e Edgard Morin [17], a saber:

composição [7], conectividade [10], estrutura [7],

integralidade [10], [15] funcionalidade [14] e

organização [17].

Pode-se admitir uma hierarquia nestes

parâmetros que funcionaria da seguinte forma: todo

sistema é composto por um conjunto de elementos,

ou seja, possui uma composição; estes elementos

estabelecem uma conectividade entre si, formando

uma rede de relações ou estrutura; esta estrutura,

por sua vez, é aberta, gerando, consequentemente,

subsistemas, acarretando a integralidade; destes

subsistemas emergem propriedades coletivas,

confirmando a funcionalidade que implica na

organização [21]. Levando em conta a hierarquia

acima descrita [21], pode-se supor que a

complexidade estaria associada à diversidade, à

informação e à entropia de cada parâmetro. No

entanto, “ontologicamente o aspecto mais

fundamental é o da diversidade” [21] que constitui,

por fim, “um forte indício de complexidade” [21].

Finalmente, optou-se por considerar complexo todo

sistema que apresente a diversidade em seus

parâmetros.

Uma vez a teoria de sistemas complexos de

Bunge sintetizada, é possível retomar a questão

central deste artigo: a visão bakhtiniana de uma

personagem como um produto final pode apresentar

dificuldades na análise de um residente do SL? Se

sim, seria possível complementá-la pela teoria de

sistemas complexos de Bunge [7][8]? A fim de

procurar respostas será feito, a seguir, um estudo de

caso do residente do SL Liberato Lindman, à luz

dos teóricos acima citados.

3 - O estudo de caso de Liberato

Lindman

Em primeiro lugar, será feita uma

explanação da metodologia de coleta dos dados,

para em seguida, proceder à análise das respostas

do questionário. Este questionário foi elaborado

com o intuito de proceder a uma pesquisa de

natureza qualitativa6. A primeira parte constitui um

conjunto de questões relativas ao trabalho de

designer de personagens em ambientes de imersão.

A segunda parte é relativa ao processo de criação e

à evolução do Avatar escolhido pelo autor para

interagir no SL, o vampiro Liberato Lindman.

Neste momento, optou-se por se fundamentar

nas teorias do designer de games Steve Meretzky

[16]. Ele elaborou um roteiro de perguntas para o

autor responder a fim de traçar o perfil da

personagem a ser criada. Esta parte do questionário

foi, portanto, formada a partir das perguntas

retiradas deste roteiro, com o objetivo de desenhar a

personalidade da personagem estudada. Foi,

também, pedido ao entrevistado que respondesse a

segunda etapa de questões de duas maneiras

6 Sendo o principal objetivo deste trabalho a investigação da

aplicabilidade da teoria literária de Bakhtin [3] no processo de

criação de uma personagem do SL, por meio de uma análise

aprofundada de um Residente, optou-se por este tipo de

investigação científica, pois nas pesquisas qualitativas a

preocupação maior é compreensão e interpretação os fenômenos

observados em determinado grupo.


56

4

diferentes, primeiro de acordo com o planejamento

inicial e depois, de acordo com a história atual de

seu avatar do SL (desde que ele iniciou sua vida no

Second Life até hoje).

Tendo estabelecido as bases metodológicas

da coleta de dados deste estudo de caso, é preciso

proceder à análise do questionário à luz das teorias

de Bakhtin [3] e Bunge [7][8].

Para Bakhtin [3] a elaboração de uma

personagem é um processo axiológico que termina

em uma personagem finalizada ou em um

acontecimento estético. Outro ponto desta teoria é a

recomendação de um estudo a posteori do processo

criativo [3] (vide item 8). No entanto, no caso de

um Residente do SL a evolução pode transbordar a

teoria bakhtiniana, pois se trata de um processo

criativo permanente, sem um fim pré-definido. No

caso desta possibilidade se confirmar, conjectura-se

a aplicação da teoria geral de sistema de Bunge

[7][8] como um caminho para a ampliação da teoria

bakhtiniana na análise deste novo tipo de processo

criativo. Assim será dado procedimento à descrição

das características estéticas da personagem deste

estudo de caso, o vampiro residente do SL Liberato

Lindman . Em seguida será feito uma análise, à luz

das teorias de Bakhtin [3] e Bunge [7][8] do

processo de elaboração de personagens do SL.

O Residente Liberato Lindman é alto, calvo,

tem os olhos prateados, a pele branca e um porte

atlético (vide figura 1). O consultor de SL explica

que seu avatar foi criado com a intenção de se

tornar um grande empresário no metaverso,

inspirando-se na história da chinesa Unshe Chung7.

Desta maneira, no início, Liberato Lindman tinha

preferência por roupas sociais, optando por ternos

de marca e seu principal lazer era patrocinar festas,

com DJs renomados. A figura abaixo ilustra os

aspectos estéticos iniciais do Residente aqui

estudado.

Figura 1: Liberato Lindman como empresário

Quanto ao processo criativo inicial

Liberato (2010) o considera simples: as pessoas

podem usar avatares pré-customizados e, ao longo

de suas vidas virtuais, é possível adquirir

“acessórios de aparência e vestimentas (...) no

mercado de bens virtuais (roupas, cabelos, corpos,

peles, tatuagens. etc” (Liberato, 2010, questão 1).

7 Chinesa, radicada na Alemanha, Anshe Chung, nome real,

Ailin Graef, é uma megaemprendedora do SL que acumulou

uma fortuna que ultrapassa a marca de um milhão de dólares. Ela

se dedicou desde 2004 à construção virtual de terrenos,

residências e até edifícios comerciais [1].

Consequentemente, o nascimento8 de um

avatar no SL, pode, em um primeiro momento, se

encaixar na perspectiva bakhtiniana [3] de

personagem definida e acabada. No entanto,

contrariando o preceito de uma personagem

finalizada de Bakhtin [3], um Residente é feito para

traçar sua própria história, mudar sua aparência e

escrever uma narrativa oral9 em permanente

movimento. Por exemplo, em 2003 o vampiro

Liberato Lindman não tinha predileção por nenhum

tipo de comida (Jean Liberato, 2010). Mas em

2010, ele já havia adquirido o hábito de se

alimentar de sangue e almas de suas vítimas,

comprado um dragão de estimação e variado suas

indumentárias de acordo com os eventos sociais dos

quais participava (Jean Liberato, 2010). É possível,

então, perceber que a personagem evoluiu,

permanecendo dependente da consciência de seu

criador. Para Bakhtin [3], o autor criava todas as

situações de mudanças na vida da personagem,

previa todos os fatos e depois se desvencilhava

dela, deixando-a ter uma vida autônoma no mundo;

a sobrevida após sua criação dependeria do

imaginário dos leitores e não de novas

circunstâncias e escolhas de seu criador. Já no SL o

autor se funde com a personagem, não separando

sua consciência de sua criação. Neste caso é

possível considerar que a teoria de Bakhtin oferece

neste quesito uma dificuldade de aplicação. Pois o

autor, ao invés de se separar de sua personagem no

final do processo criativo como prevê Bakhtin [3],

se transforma em usuário, fazendo escolhas

segundo as opções de outros usuários (ou autores,

ou atores) e de acordo com o ambiente no qual ele

está inserido. Estar-se-ia, então, diante de um

processo sistêmico complexo de criação? Se sim,

poderíamos ampliar a teoria de Bakhtin [3] com a

noção de sistema complexo de Bunge [7] para a

análise de um residente do SL?

Na tentativa de responder a estas questões,

conjecturou-se que as relações entre o usuário do

Residente Liberato Lindman com o conjunto de

outros habitantes do SL e o ambiente deste

metaverso, podem formar uma tripla ordenada que,

entre outras coisas, definiria suas novas

características.

Consequentemente, se considerarmos que: S

= sistema = processo de criação de uma

personagem aberta no metaverso; (m )= conjunto de

qualquer coisa= conjunto de usuários do Metaverso;

8 As pessoas que criam avatares no Second Life se referem ao

processo de criação neste mundo como “nascimento”, pois

consideram que estão nascendo para um novo mundo, com uma

vida virtual paralela [9].

9 Entende-se aqui por narrativa oral a definição dada por Walter

Benjamin. Para ele, narrar significa intercambiar experiências.

Em outras palavras, o padrão de representação que se

convencionou chamar “narrativa” pode ser entendido como uma

“técnica” (ou práxis) para a comunicação de experiências. Para o

autor, essa técnica estaria vinculada às tradições orais, que se

perderiam na medida em que há um empobrecimento das

experiências pessoais [4].


57

5

A= Ambiente= Metaverso ; R= Relação= Relações

entre os Usuários e Relações entre Usuários e

Metaverso, então:

Partindo desta hipotética aplicação da

equação de sistemas de Bunge [7], podemos aventar

que: S= processo de criação do residente Liberato

Lindiman; (m)= conjunto de Residentes do SL; A=

SL; R= Relações entre Liberato Lindman, então,

ter-se-ia novamente a mesma equação.

Pode-se, por conseguinte, pensar que o

processo de criação de uma personagem aberta em

um ambiente de realidade virtual, como no caso do

Liberato Lindman, objeto deste estudo, é sistêmico.

Mas poderíamos considerá-lo complexo? Para isso

é necessário aplicar os parâmetros de sistema

complexo (vide item 2) à estrutura do processo

criativo do residente aqui estudado.

O processo criativo do Residente em

questão é composto por três elementos: seu autor,

os outros residentes do SL e pelo ambiente do SL,

ou seja, possui uma composição; conforme o

depoimento de Jean Liberato (2010), o autor de

Liberato Lindman, existe uma constante

conectividade entre ele, os outros residentes do SL

e o próprio ambiente do metaverso, formando uma

rede de relações ou estrutura; esta estrutura, por sua

vez, é aberta, gerando, consequentemente,

subsistemas, como por exemplo, o animal de

estimação comprado por Jean Liberato, o que

acarreta a integralidade; destes subsistemas

emergem propriedades coletivas, como ilustram os

novos poderes oriundos de sua inserção nos RPGs,

confirmando a funcionalidade que implica na

organização.

A quantidade de residentes, a variedade de

ambientes e efeitos visuais dentro do SL e as

inúmeras possibilidades de relações advindas desta

estrutura, demonstram que a diversidade encontra-

se em todos os parâmetros do sistema, do processo

criativo de Liberato Lindman, demonstrando, então,

um forte indício de complexidade neste sistema

(vide [21] item 2). Por fim, é interessante observar

outra característica importante do processo criativo

de um Residente, a permanência: a narrativa de

Liberato Lindman não termina, a menos que ele

morra no SL. Na verdade, esta busca pela

permanência que, é segundo Vieira [21], um dos

comportamentos padrões de sistemas complexos,

reitera o processo de embricamento evolutivo de

softwares e inteligência artificial.

Suponha-se, portanto, que o processo de

criação de uma personagem aberta, como no

exemplo de Liberato Lindiman, funcione nos

moldes de um sistema complexo.

Diante deste contexto, seria possível

analisar tal processo por meio da teoria de Bakhtin

[3]? Como foi exposto no item 2, o autor russo,

defendia que a análise da personagem deveria partir

de seu todo acabado e, por conseqüência,

independente da consciência do autor. No entanto,

isso não é aplicável quando a personagem é uma

representação virtual da consciência do autor, se

modificando de acordo com suas experiências, seu

imaginário e, principalmente, a inferência de outras

personagens e situações allheias à sua vontade.

Desta forma, propõem-se aqui uma

ampliação da visão Bakhtiniana de personagem

pelo conceito de sistema complexo [7], abrindo a

possibilidade de estudar seu processo criativo de

maneira dinâmica. Para isso o estudo de uma

personagem como o avatar Liberato Lindman,

precisaria partir de sua criação inicial até a sua

atualidade.

Figura 2: mini-dragão de estimação de Liberato Lindman:

Considerações Finais

A presença de uma característica

sistêmica no processo criativo de um residente do

SL é factível, pois todos os parâmetros de um

sistema complexo estão presentes na evolução e

criação da personagem. Assim, esta personagem

pode ser considerada complexa e inacabada, em

oposição às personagens tradicionais dos romances

que são, segundo Bakhtin [3], acabadas em seu

todo.

Paralelamente a estas estruturas,

ancoramos e ampliamos nossas reflexões com os

trabalhos de computação afetiva de Rosalind Picard

[19]10. Avançando na representação numérico-

topológica utilizada em arte computacional

interativa, temos que criar rupturas em nossa leitura

do mundo físico, pois o aspecto que caracteriza tais

mundos como inéditas a cada representação é que

sua finalização realiza-se ao vivo. Assim, Louro &

Fraga, discorrem sobre a amplificação do processo

sensorial devido ao fato de acontecerem

correspondências isomórficas entre os estados

perceptivos de quem está criando e os estados

potenciais imanentes do campo criado, os quais

afloram durante o processo de interação, induzindo

a emergência de repertórios inovadores [13].

10 Computação Afetiva (“Affective Computing” em inglês) é o campo da Inteligência Artificial que pesquisa sobre emoção em computadores. Picard define Computação Afetiva como “computação que está relacionada com, que surge de ou deliberadamente influencia emoções”.


58

6

Jacques Aumont [2] nos fala da capacidade

das imagens em incluir "sinais" destinados ao

espectador, que lhe permite adotar uma posição de

leitura conveniente. Ele destaca, desta forma, o

papel da ação da imagem sobre o espectador.

Enfim, podemos atribuir vários tipos de

interpretação a um filme ou game, mas existem

mecanismos de controle que organizam a atividade

interpretativa. Contudo, nem por isso deixam de

conferir ao espectador o papel de dar significação à

obra. E, Charles Peirce [18], em um fragmento de

"Consciência da Razão", publicado em "The New

Elements of Mathematics", afirma que:

“as expressões abstratas e as imagens são

relativas ao tratamento matemático. Não há

nenhum outro objeto que elas possam

representar. As imagens são criações da

inteligência humana conforme algum propósito,

e um propósito geral só pode ser pensado como

abstrato ou em cláusulas gerais. E assim, de

algum modo, as imagens representam, ou

traduzem, uma linguagem abstrata, enquanto,

as expressões são representações destas formas.

A maioria dos matemáticos considera que suas

questões são relativas aos assuntos fora da

experiência humana. Eles reconhecem os signos

matemáticos como sendo relacionados com o

mundo do imaginário, assim, naturalmente fora

do universo experimental. (...) Toda a imagem é

considerada como sendo a respeito de algo, não

como uma definição de um objeto individual

deste universo, mas apenas um objeto

individual, deste modo, verdadeiramente,

qualquer um é de uma classe ou de outra.”

Nesta direção, torna-se evidente a

contribuição interdisciplinar envolvendo teoria

literária, sistemas complexos e computação estética

e afetiva como meio de aproximações na sintaxe do

processo criativo de personagens em ambientes de

realidade virtual. Logo, pode-se aceitar como

provável a hipótese de que o processo criativo de

um Residente do SL é sistêmico e complexo.

Assim, a proposta de analisá-lo dinamicamente,

levando em conta sua situação inicial e final parece

ser apropriada.

Referências Bibliográficas [1]Assis, Diego (2006). Empresária Chinesa é a Primeira Milionária de "Second

Life"

http://g1.globo.com/Noticias/PopArte/0,,AA1367716-

7084,00.html, consultado no dia 03/07/2010. [2] Aumont, Jacques (1993) A Imagem. Papirus.

Campinas.

[3]Bakhtin, Mikahil. (2006). Estética da Criação Verbal.

Martins Fontes. São Paulo. [4]Benjamin, Walter (1993). Trad. Sérgio Paulo Rouanet.

Brasiliense. Experiência e pobreza em Magia e Técnica,

Arte e Política. São Paulo. Pág.116.

[5]Brait, Bethy (2010). A personagem. São Paulo. Editora Ática.

[6]_____________ (2005). Bahkhtin, Conceitos Chave.

Editora Contexto. São Paulo.

[7]Bunge, Mario (1979) A World of Systems. D. Reidel Publishing Company. Holland, pp. 1- 8.

[8]___________(2001) Dicionario de Filosofía. Siglo

Veinturo editores. México, pp. 1- 196, 2,3- 199.

[9]Damiani, Edgard B. (2007). Second Life: guia de viagem. Novatec Editora. São Paulo.

[10]Denbigh, Kenetth G (1975). An inventive Universe.

New York

[11] Glenn, Rane (2009) Blizzard Insider. Creative devolpment: an inside look.

http://www.worldofwarcraft.com 10/11/09 às 10h00.

[12] Leão, Lucia (2004). Derivas: Cartografias do

Ciberespaço. Annablume. São Paulo. [13] Louro, Donizetti; Fraga, Tania. (2008) Thinking

Responsive Morphologies for Computer Art. Emerging

forms of computer art. Europia: Paris. 1 ed. Paris:

Europia, 2008, v. 1, p. 107-113 [14] Maturana, Humberto (1997). A ontologia da

realidade. Ed. UFMG. Belo Horizonte.

[15]_________________(1991). "The origin of the

theory of autopoietic systems," Ed. In Fischer, h. r. Frankfurt.

[16] Meretzky, Steve (2001). “Building Character: An

Analysis of Character Creation”. Article disponível no

GamaSutra Website: www.gamasutra.com, consultado no dia 06/04/2005.

[17] Morin, Edgard (1986). La connaissance e la

connaisance: antropologie de La connaisance. Éditions

Seuil. Paris [18]Peirce, Charles Sanders (1976). The New Elements

of Mathematics, Ed. Carolyn Eisele, pp 1- NEM 4:13.

[19]Picard, Rosalind (2000). Affective Computing. MIT,

Cambrigde, New York, pp. 27. [20] Rollings, Andrew & Adams, Ernest (2003). “On

Game Design”. New Riders. Indianapolis.

[21]Vieira, Albuquerque Jorge (2006). Complexidade e Conhecimento Científico. Artigo consultado no endereço

eletrônico:

http://www.unicamp.br/fea/ortega/NEO/JorgeVieira-

Complexidade-Conhecimento.pdf (02/04/2010 às 18h00).

Lista de imagens

http://slurl.com/secondlife/body/137/124/22, consultado

no dia 21/07/2010, às 15h00.

http://slurl.com/secondlife/body/137/124/22, consultado no dia 21/07/2010, às 15h50.


59

http://g1.globo.com/Noticias/PopArte/0,,AA1367716-7084,00.html

http://g1.globo.com/Noticias/PopArte/0,,AA1367716-7084,00.html

http://www.gamasutra.com/

http://slurl.com/secondlife/body/137/124/22,%20consultado%20no%20dia%2021/07/2010




Museu 3I: Publicação e Visitação Online de Acervos Tridimensionais

Eduardo de Lucena Falcão e Liliane dos Santos Machado

Laboratório de Tecnologias para o Ensino Virtual e Estatística

Universidade Federal da Paraíba - CCEN


Resumo

O presente artigo tem como objetivo apresentar

parte do desenvolvimento de um museu virtual

tridimensional imersivo, interativo e itinerante. O

diferencial do mesmo em relação a outros já existentes

é a possibilidade do visitante escolher quais obras de

arte deseja visualizar enquanto navega no museu.

Outra funcionalidade inovadora é a aplicação do

curador, com a qual qualquer pessoa que possua uma

peça tridimensional no formato X3D pode enviá-la

para a base de acervos, tornando-a disponível para

exposição no museu.

Abstract

This paper aims to present part of the development

of an immersive, interactive and itinerant three-

dimensional virtual museum. The advantage of it in

relation to other existing ones is the possibility of the

visitor chooses which artwork wants to view while

browsing the museum. Another innovative feature is

the application of the curator, in which anyone with a

three dimensional piece in X3D format, can send it to

the Base Collection making it available to the museum.

1. Introdução

Com a constante evolução tecnológica, o uso de

técnicas de Realidade Virtual (RV) tem aumentado

expressivamente tanto no meio comercial como no

científico. Conceitos relacionados à visualização

tridimensional e interatividade, são utilizados para

prover ao usuário ambientes virtuais tridimensionais

com maior imersão.

Segundo [1], a RV é uma simulação na qual a

Computação Gráfica é utilizada pra criar um mundo de

aparência realista. Esses mundos são denominados

ambientes virtuais. Neste contexto, podem ser citados

ambientes virtuais tridimensionais para suporte a

educação[2,3], entretenimento[4], treinamento[5],

preservação do patrimônio histórico[6], e fins

comerciais. Deste modo, também é possível a

construção de museus virtuais tridimensionais com o

objetivo principal de disseminação cultural.

2. Museus Virtuais Tridimensionais

Museus virtuais 3D são ambientes virtuais que

buscam representar tridimensionalmente museus reais

ou imaginários. A partir deste conceito, foram

encontrados na literatura alguns museus virtuais

tridimensionais. O Museu Arqueológico Virtual de

Herculano (http://www.capware.it) e o Museu Virtual

Islâmico (http://www.discoverislamicart.org/) têm

como características comum a preservação de

patrimônio histórico-cultural. Além destes, foram

encontrados os:

museuM: tem como diferencial a forma de

disponibilização (aparelhos móveis);

Museu Virtual 3D – SoftVali: tem como

objetivo auxiliar a educação, e possui uma

aplicação para o curador;

Museu Nacional do Rio de Janeiro: objetiva

preservação do patrimônio histórico-cultural

brasileiro.

2.1. museuM [7]

O museuM utiliza o paradigma m-Learning (mobile

learning) para utilizar a mobilidade dos dispositivos

móveis para disponibilização de um museu virtual

tridimensional. No museuM é possível visualizar obras

de arte 3D disponibilizadas nas salas do museu, e suas

respectivas descrições. O museuM foi construído

utilizando a plataforma J2ME (Java 2 Micro Edition) e

a biblioteca gráfica 3D M3G (Mobile 3D Graphics),

para prover ao usuário a vantagem de poder acessar tal

ambiente tridimensional de qualquer lugar, ou até

mesmo estando em movimento, fazendo-se necessário

apenas telefones celulares ou PDAs. A Figura 1 abaixo

exibe uma visão ampla de uma das salas do museuM.


60

Figura 1 – Vista interna de uma sala do

museuM.

2.2. Museu Virtual 3D – SoftVali [8]

O Museu Virtual 3D – SoftVali é uma proposta de

museus virtuais tridimensionais para auxílio a

educação. Neste museu a tridimensionalidade é

abordada pelo espaço físico do mesmo, possuindo

apenas quadros em suas exposições. O fator

interessante é que neste museu existe uma aplicação na

qual o usuário escolhe quais imagens deseja visualizar.

Estas exposições são armazenadas em um banco de

dados para que posteriores visitantes possam visualizar

a exposição de outras pessoas. Este museu tem como

objetivo ser utilizado por estudantes do Ensino

Fundamental em atividades de sala de aula. A Figura 2

exibe uma exposição no Museu SoftVali.

Figura 2 – Exemplo de exposição no Museu

SoftVali.

2.3. Museu Nacional do Rio de Janeiro [9]

O Museu Nacional do Rio de Janeiro (MNRJ) foi

reconstruído tridimensionalmente para exposições

através da Internet. Como vantagens têm-se além do

fácil acesso ao mesmo, a preservação do patrimônio

histórico. Para tal, são disponibilizadas modelos

tridimensionais de fósseis de vertebrados, e

dinossauros, similares aos expostos no museu real. A

Figura 3 exibe a exposição de um dinossauro 3D no

MNRJ.

Figura 3 – Exposição de um dinossauro 3D no

MNRJ.

3. X3D

X3D (eXtensible 3D) é o padrão definido pelo

grupo Web3D para distribuição de conteúdos

tridimensionais e interativos, principalmente através da

Internet [10]. Ele é utilizado para construir ambientes

virtuais tridimensionais complexos, sendo um padrão

aberto que permite descrever em um arquivo formas e

comportamentos destes ambientes.

O antigo padrão internacionalmente aceito era o

VRML (Virtual Reality Modeling Language).

Inicialmente este formato de arquivo conseguia

descrever apenas simples cenários estáticos, e aos

poucos foi ganhando novas funcionalidades e mais

interatividade. Devido a esta necessidade de evolução

surgiu o X3D. Nesta evolução foram aproveitados os

principais conceitos introduzidos pelo VRML,

utilizando suas idéias básicas e promovendo a

ampliação delas com a incorporação de novas

funcionalidades. A principal mudança está no novo

formato de codificação adotado: O XML.

O XML (Extensible Markup Language) é um

padrão bastante conhecido e robusto, que proporciona

maior facilidade para integrar tais aplicações 3D com a

Web. Além disto, desenvolvedores de aplicativos que

utilizam o X3D passaram a poder utilizar ferramentas

de suporte ao XML, como a API (Application

Programming Interface) JDOM que ajuda a ler e gerar

arquivos XML através da linguagem Java. Com esta

mudança, o X3D possui agora uma arquitetura

modularizada, permitindo uma maior extensibilidade e

flexibilidade [11]. Deste modo as aplicações podem ser

mais facilmente desenvolvidas pela possibilidade de

não precisarem implementar de uma vez todas as

funcionalidades definidas nas especificações do X3D.


61

As especificações do X3D [12] são uma série de

documentos produzidos pelo grupo Web3D que

definem e detalham geometrias e comportamentos do

padrão [10]. Dentre os conteúdos abordados nas

especificações, existem documentos apropriados para a

explicação da codificação de um arquivo X3D,

incluindo vários aspectos como: tipos de campos, tipos

de nós, expressões que definem rotas, etc. Um fator

interessante é que as funcionalidades primitivas (como

nós e campos) são especificadas de forma neutra,

tornando-as independente de qualquer formato de

codificação e browser.

A visualização de ambientes virtuais X3D é

realizada através de browsers específicos que

consistem em aplicações capazes de interpretar e

processar os arquivos X3D, apresentando os modelos

tridimensionais, animados ou não, e permitindo

interações do usuário com os objetos. Estes browsers,

comumente chamados de navegadores ou players,

podem se apresentar como plugins ou applets em

navegadores Web, como o Internet Explorer ou

Mozilla Firefox, ou como aplicações independentes

[11].

Nós X3D são os elementos fundamentais que

compõem o grafo de cena. Cada nó é formado por uma

seqüência dos campos que o representa. Estes nós e

seus agrupamentos descrevem as funcionalidades

disponibilizadas pelo X3D utilizadas para descrição e

comportamentos dos objetos nos ambientes virtuais.

Os campos servem para especificar os atributos e

características dos nós X3D.

A interatividade de uma cena X3D pode ser

caracterizada por mudanças de posição, orientação,

tamanho, cores ou outras características pertinentes aos

campos do nó X3D, resultando em uma animação.

Eventos e rotas são as funcionalidades do X3D que

permitem adicionar tais comportamentos a objetos do

ambiente virtual de forma simples. Para interações

mais complexas são utilizados o nó Script e a API SAI

(Scene Access Interface) que permite o controle do

grafo de cena através de linguagens de programação

[14].

3.1. SAI (Scene Access Interface)

Os objetivos da maioria dos ambientes virtuais

tridimensionais são de prover ao usuário um grau de

imersão que o faça esquecer que está em uma

simulação [15]. Seja na representação de ambientes

reais ou imaginários, tais mundos possuem alto grau de

complexidade para representar os comportamentos dos

mesmos. Neste contexto, a SAI proveniente do X3D

apresenta-se como alternativa para estas finalidades.

A SAI é o conjunto de serviços padrão

especificados pelo grupo Web3D, que são

disponibilizados pelos browsers X3D para que um

autor possa acessar e alterar o grafo de cena enquanto

ele é executado [14]. Este acesso permite ao autor

obter informações sobre os nós e campos do grafo de

cena, notificar e receber eventos destes nós, e alterar

seus valores para realizar modificações no ambiente

(em tempo de execução), tornando-o interativo.

Deste modo, os browsers X3D desenvolvem suas

próprias APIs em conformidade com os documentos

especificados por [14] para prover tais serviços aos

criadores de ambientes virtuais tridimensionais X3D.

Este acesso ao grafo de cena pode ocorrer de forma

externa ao arquivo X3D, por linguagens de

programação ou de script como JAVA e ECMAScript,

ou de forma interna, apenas possível por linguagens de

script.

Adicionalmente, o autor pode obter dados sobre as

configurações do browser e manipulá-las a partir de

aplicações externas. A SAI provê métodos para que o

desenvolvedor seja capaz de instanciar browsers X3D

com as configurações desejadas a partir de linguagens

de programação. Como exemplo pode ser citado o

browser Xj3D, que foi desenvolvido na linguagem de

programação Java, e disponibiliza a API SAI para que

criadores de ambientes virtuais X3D que utilizarem o

Xj3D como browser possam ter acesso ao grafo de

cena e configurações do browser.

Muitos programas que utilizam ambientes virtuais

X3D precisam de uma diferente interface gráfica que

se adapte às necessidades de sua aplicação. Este é um

dos motivos pelo qual o Xj3D é bastante utilizado no

âmbito acadêmico [16, 17] (pesquisas científicas, teses

de mestrado), pois provê uma fácil readaptação da

interface gráfica do usuário através da integração de

sua API SAI com o pacote Swing de Java.

4. O Museu Virtual 3I

O Museu Virtual Tridimensional 3I (Imersivo,

Interativo e Itinerante) consiste de um ambiente virtual

que representará um museu com capacidade de

exposições itinerantes. Para tal, o visitante terá a

oportunidade de escolher (enquanto navega no

ambiente) quais peças 3D deseja visualizar em sua

exposição. As peças escolhidas serão carregadas e o

usuário terá a oportunidade de interagir com as

mesmas. Outro fator interessante é que qualquer pessoa

pode ser o “curador” do museu, e adicionar novas

obras no acervo do museu (banco de modelos 3D).

4.1. Arquitetura Proposta

Através da Figura 4 pode-se observar a Arquitetura

do Museu Virtual 3I proposta. Esta arquitetura é

composta por três módulos: Aplicação - Visitante do

Museu, Aplicação – Curador do Museu, e Base de

Acervos. Dessa maneira o museu dará ao visitante a


62

capacidade de criar suas próprias exposições

itinerantes, em tempo-real de navegação.

Figura 4 – Módulos da Arquitetura do Museu

Virtual 3I.

A Aplicação – Visitante do Museu apresenta uma

Interface Gráfica para o usuário navegar no museu

virtual. Nesta interface o usuário navegará no ambiente

virtual 3D do museu, e paralelamente serão

apresentados menus no qual o visitante poderá listar

todas as obras disponíveis no acervo e escolher as que

mais lhe interessarem para carregar no ambiente. Tais

peças serão carregadas sobre as pilastras, e assim o

usuário poderá interagir com as mesmas.

A Base de Acervos é responsável pelo

armazenamento de todas as peças pertencentes ao

museu, bem como as informações relacionadas às

mesmas.

Já a Aplicação – Curador do Museu apresenta uma

Interface Gráfica na qual o curador poderá adicionar

novas peças à Base de Acervo, e listar todas as obras

para editá-las ou excluí-las.

4.2. Desenvolvimento

Para o desenvolvimento do módulo da Aplicação –

Visitante do Museu foram definidas duas etapas:

modelagem tridimensional do museu;

desenvolvimento da aplicação e interface

gráfica a ser utilizado pelo visitante.

A modelagem tridimensional do museu virtual foi

concebida como primeira atividade a ser executada.

Para isso foi utilizado o Blender, que é um software

livre e de código aberto para modelagem 3D, e que

possui exportador para o formato X3D. Como o museu

será disponibilizado na Internet, a modelagem foi

otimizada em um nível que a qualidade gráfica do

ambiente virtual não inviabilizasse o uso devido o

tamanho de sua carga. Deste modo, foram utilizadas

texturas com pequeno tamanho de carga, mas que

provêem uma aparência realista ao ambiente.

Adicionalmente foram utilizadas as tags especiais

DEF/USE referentes ao X3D, em todos os objetos

tridimensionais que se repetiam, para evitar replicação

desnecessária de código, e conseqüentemente aumentar

a velocidade de transmissão via Internet dos modelos

tridimensionais.

Para a interface gráfica da Aplicação – Visitante do

Museu será utilizada a linguagem de programação Java

em conjunto com a API SAI proveniente do browser

Xj3D, para obter uma instância do visualizador e

incorporá-lo à interface gráfica desenvolvida com a

API Swing. Nesta aplicação o visitante terá acesso a

um menu que listará todas as obras da Base de Acervos

de Peças 3D. Deste modo, o usuário poderá escolher

quais peças tridimensionais deseja visualizar na

exposição, e as mesmas serão carregadas em tempo de

execução.

Para o desenvolvimento do módulo da Base de

Acervos de Peças 3D foram definidas três etapas:

estudo de Sistemas de Gerenciamento de

Bancos de Dados adequados (SGBD);

implementação da comunicação entre o SGBD

e módulos Aplicação – Visitante do Museu e

Aplicação Curador do Museu;

adição das primeiras peças à Base de Acervos.

Para a comunicação da Base de Acervos de Peças

3D com a Aplicação – Visitante do Museu será

desenvolvido uma relação cliente-servidor, no qual o

cliente (visitante) enviará as requisições das peças 3D a

serem expostas, e o servidor (Base de Acervos) enviará

as obras requisitadas ao cliente. Através da SAI, tais

peças serão carregadas no Museu Virtual 3I em tempo

real. A comunicação da Base de Acervos com a

Aplicação – Curador do Museu será desenvolvida de


63

forma análoga: através da rede o Curador poderá

adicionar novas obras na Base de Acervos, assim como

excluí-las, ou carregá-las para uma possível

atualização.

Após a conclusão de todas as implementações e

configurações no módulo da Base de Acervos, serão

adicionadas as primeiras obras de arte no mesmo, para

que o Museu Virtual 3I esteja disponível para as

primeiras exposições.

No desenvolvimento do módulo da Aplicação –

Curador do Museu foi definida a seguinte etapa:

desenvolvimento da aplicação e interface

gráfica a ser utilizado pelo curador;

A interface gráfica da Aplicação – Curador do

Museu será desenvolvida analogamente à interface

gráfica do Visitante do Museu, sendo utilizadas as

mesmas ferramentas. Nesta aplicação, o curador

poderá carregar sua própria obra de arte, visualizando-

a no browser Xj3D embutido na aplicação. Neste

visualizador será carregado o ambiente virtual do

Curador do museu, que possuirá uma pilastra e um

painel textual. O Curador terá a capacidade de ajustar

sua obra de arte sobre a pilastra, escalonando e

transladando-a, até que a mesma se adéqüe

perfeitamente ao ambiente. Além disto, será possível

adicionar um texto descritivo ao painel textual, com

uma imagem ilustrativa, para que o visitante possa

obter mais informações sobre a peça exposta. Com

todos os ajustes efetuados, a peça poderá ser enviada à

Base de Acervos, tornado-se disponível à exposição no

Museu Virtual 3I.

5. Resultados

Como resultados parciais foram obtidos

aproximadamente 70% do Museu Virtual 3I modelado.

Para que o visitante sinta-se imerso em um museu,

foram utilizados objetos que freqüentemente compõem

um museu como: parede de tijolos envelhecidos, piso

de taco, escadaria, esculturas de arte, colunas, etc. A

Figura 5 exibe a entrada do museu com os itens

anteriormente citados. Já a Figura 6, mostra o visitante

no primeiro piso, visualizando a parte interna do

museu.

Atualmente, a Aplicação – Curador do Museu

possui uma única opção implementada: adicionar peça.

Nesta opção o Curador poderá carregar o arquivo de

seu computador no visualizador acoplado (Xj3D), e

ajustar o correspondente modelo tridimensional à

pilastra. Para isso, devem-se preencher os campos

translação e escala, e clicar no botão “Atualizar

Cenário” para verificar a nova posição da peça. Além

disto, o Curador poderá adicionar um texto descritivo

sobre a obra, e carregar uma imagem ilustrativa da

mesma, que serão dispostos no painel textual

posicionado ao lado da pilastra. Ao final de todo esse

processo de adequação da peça, envia-se a obra para o

acervo clicando no botão “Enviar Peça para o Acervo”.

A Figura 7 apresenta uma captura de tela da interface

gráfica desta aplicação.

Figura 5 – Entrada do Museu Virtual 3I.

Figura 6 – Vista interna do Museu Virtual 3I.

Figura 7 – Interface gráfica da Aplicação –

Curador do Museu.


Pode-se observar que o Museu Virtual 3I aproveitou

algumas características importantes de outros trabalhos

correlatos, como a capacidade de adicionar novas obras

no acervo (curador), e capacidade de interação que o

visitante terá com a peça tridimensional.

Adicionalmente, no Museu 3I o visitante terá a

oportunidade de escolher quais peças deseja visualizar

na sua exposição, ao mesmo tempo em que navega no

museu.


64

O projeto Museus Virtuais 3I está em

desenvolvimento. Como próximas etapas, foram

definidas a finalização da comunicação entre os

módulos Aplicação - Curador do Museu e Aplicação -

Visitante do Museu com a Base de Acervos,

modelagem tridimensional do museu, e finalização da

implementação da Aplicação – Visitante do Museu. Na

Aplicação – Curador do Museu, visa-se implementar

mais duas opções: excluir peça, e listar acervo.

Após a conclusão das etapas anteriormente citadas,

tem-se como objetivo a disponibilização do Museu

Virtual 3I via Internet, mais especificamente através de

uma applet. Para tal, a Base de Acervos contará

inicialmente com duas seções de obras tridimensionais,

uma de objetos arqueológicos, e outra contendo

estruturas da anatomia facial.

Finalmente, uma avaliação mais precisa do Museu

3I será realizada com o objetivo de verificar a

usabilidade e aceitação entre diversos usuários de

perfis diferentes.

7. Agradecimentos

Este trabalho insere-se no contexto do sub-projeto

Arte Itinerante com Museus Virtuais vinculado ao

projeto Virtualidade Imersiva e Interativa baseada em

Cloud Computing financiado pelo Ministério da

Cultura através do edital XPTA.Labs.

8. Referências [1] Burdea, G. C., Coiffet P. (2003) “Virtual Reality

Technology”, Wiley-Interscience John Wiley & Sons, p. 1–8,

Second Edition.

[2] Falcão, E.L.; Machado, L.S. (2010) Um Laboratório

Virtual Tridimensional e Interativo para Suporte ao Ensino

de Física. In: Proc. Congresso da Sociedade Brasileira de

Computação - Workshop sobre Informática na Escola,

p.1285-1293. Belo Horizonte.

[3] L. S. Machado, T. K. L. Costa, R. M. Moraes, “A 3D

Intelligent Campus to Support Distance Learning”, em Proc.

of Information Technology based Higher Education and

Training (ITHET'2006), Sydney, 2006.

[4] S. Kumar, J. Chhugani, C. Kim, D. Kim, A. Nguyen,

P.Dubey, C. Bienia, Y. Kim, “Second Life and the New

Generation of Virtual Worlds”, em IEEE Computer, Volume

41, Number 8. 2008.

[5]G. Burdea, P. Coiffet, “Virtual Reality Technology”. John

Wiley e Sons, Nova Iorque, 1994.

[6] Marques, M.A.; Costa, T.K.L.; Machado, L.S.; Nettos,

C.X.A. (2009) Representação do Sítio Arqueológico da Pedra

de Ingá com Realidade Virtual. In: Anais do Workshop de

Realidade Virtual e Aumentada, Santos, Brazil.

[7] Marçal, E., Santos, R., Vidal, C., Andrade, R., Rios, R.

(2005) “museuM: Uma Aplicação de m-Learning com

Realidade Virtual”, em Seminário Integrado de Software e

Hardware (SEMISH).

[8] Seára, E. F. R., Benitti, F. B. V., Raabe, A. (2005) “A

Construção de um Museu Virtual 3D para o Ensino

Fundamental”, em INFOCOMP (Journal of Computer

Science).

[9] Monnerat, M.C., Romano, P. S. R., Grilo, O. N.,

Haguenauer, C., Azevedo S. A. K., Cunha, G. G. (2008)

“Exposição virtual de vertebrados fósseis do Museu Nacional

da UFRJ”, em Congresso Brasileiro de Pesquisa e

Desenvolvimento em Design.

[10] Brutzman, D., Daly, L., (2007) “X3D: 3D Graphics for

Web Authors”. Morgan Kaufmann Publishers.

[11] Web3D Consortium, “X3D – FAQ (Frequented Asked

Questions)”. Online:

http://www.lsi.usp.br/~lsoares/x3d/faq.html. Acesso em:

agosto/2010.

[12] Web3D, “X3D Public Specifications”. Online:

www.web3d.org/x3d/specifications. Acesso em agosto/2010.

[13] Web3D Consortium – Public X3D Wiki, “Player

support for X3D components – Web3D.org”. Online:

http://www.web3d.org/x3d/wiki/index.php/Player_support_f

or_X3D_components. Acesso em julho/2010..

[14] Web3D, “Extensible 3D (X3D). Part 2: Scene access

interface (SAI). ISO/IEC 197752.2: 2009”. Online:

http://www.web3d.org/x3d/specifications/ISOIECFDIS1977

52.2X3DSceneAccessInterface/index.html. Acesso em

agosto/2010.

[15] Eco, Umberto. “Travels in Hyper-Reality”, Trans. W.

Weave, London: Picador, 1986.

[16] Costa, T. K. L., Machado, L. S., (2008) “Uma Estrutura

para a Representação de Ambientes Reais Através de

Ambientes Virtuais Dispostos na Internet”. Em Proc. X

Symposium on Virtual and Augmented Reality (SVR). João

Pessoa, Brazil.

[17] Meiguins, B. S., Sousa, M. P. A., Guedes, L. A., Garcia,

M. B., Meiguins, B. S. (2002) “Ambientes Virtuais

Tridimensionais para Simulação de Experiências da Física

Fundamental”, em XIII Simpósio Brasileiro de Informática

na Educação, SBC.


65

X3D e Integração Multimídia para Representação de um Sítio Arqueológico

Daniel P. S. Medeiros, Liliane S. Machado

Laboratório de Tecnologias para o Ensino Virtual e Estatística

Universidade Federal da Paraíba - CCEN

{danielpires,liliane}@di.ufpb.br

Resumo

A necessidade de preservação do patrimônio

histórico aliada à difusão cultural tem sido

motivadores de projetos que recriam ambientes

utilizando técnicas de Realidade Virtual. O X3D é

uma ferramenta que possibilita o desenvolvimento

destes ambientes virtuais, além de permitir expandir a

representação do real com a inclusão de elementos

multimídia, como textos, imagens e sons. Este

trabalho apresenta aspectos da reconstrução virtual do

sítio arqueológico Itacoatiara do Ingá, evidenciando a

integração de conteúdo multimídia no ambiente virtual

utilizando o X3D.

Abstract The necessity of registry of historical heritage

combined with the cultural diffusion has been the

motivation of projects that recreate environments

through Virtual Reality techniques. X3D is a tool that

enables the development of virtual environments and

allows increasing the representation of reality with the

inclusion of multimedia elements such as text, images

and sounds. This paper presents aspects of the virtual

reconstruction of the archaeological site Itacoatiara do

Ingá, highlighting the integration of multimedia

content in the virtual environment using X3D.

1. Introdução

A utilização da Realidade Virtual na

arqueologia tem sua importância quando observadas

as possibilidades de representação de ambientes reais

no formato virtual. Particularmente, alguns sítios

arqueológicos já não existem mais, outros correm

riscos de deixarem de existir e alguns situam-se em

locais remotos e de difícil acesso. Além da difusão

cultural desses ambientes, a sua representação a partir

de ambientes de RV permite torná-los acessíveis a

pessoas das mais distantes localidades através da

Internet, bem como adicionar elementos extras a eles. Com o objetivo de reconstruir espaços de

importância arqueológica, as áreas de computação e

arqueologia tem se unido em projetos de diferentes

finalidades, tais como: divulgação do patrimônio

cultural, registro virtual do passado, simulação de

teorias e estudos arquitetônicos.

Várias são as ferramentas gráficas capazes de

representar virtualmente ambientes reais. Pode-se citar

motores gráficos, como o Ogre3D [1] e Panda3D [2],

muito utilizadas em jogos e que contém diversas

técnicas de Computação Gráfica que facilitam a

implementação do ambiente virtual (AV). Outra

ferramenta também utilizada na confecção dos AVs é

o X3D, padrão aberto de representação de ambientes

virtuais , que possui navegadores que além de possuir

as características encontradas nos motores gráficos,

possibilitam a disponibilização de conteúdo pela Web.

Marques et al. [3] apresentou um estudo sobre

projetos ligados ao uso da RV para arqueologia e uma

proposta de reconstrução do Sítio Arqueológico

Itacoatiara do Ingá, na qual pretendia-se reunir

elementos multimídia à representação virtual do sítio.

No presente artigo é relatado o desenvolvimento deste

ambiente virtual utilizando X3D. Neste contexto, são

apresentados detalhes da incorporação dos elementos

multimídia com o X3D, do tratamento de imagens

para obtenção de realismo e outros detalhes sobre a

incorporação de imagens e vídeos ao ambiente.

2. Concepção

O Sítio Arqueológico Itacoatiara do Ingá é um dos

mais importantes sítios arqueológicos do país e do

mundo e está localizado no município de Ingá, no

interior da Paraíba, sendo tombado pela União, através

do Instituto do Patrimônio Histórico e Artístico

Nacional - IPHAN.


66

O sítio é constituído por um terreno rochoso e

que possui inscrições rupestres cravadas nas rochas.

Sua mais importante peça é a formação rochosa

conhecida como Pedra do Ingá, que possui 16 dos seus

23 metros de extensão coberto de figuras insculpidas,

além de diversas figuras espalhadas por todo o sítio. A

origem dessas inscrições é ainda desconhecida e pela

sua complexidade e mistério existem diferentes teorias

e mitos que rondam a pedra e a origem das gravuras.

Mitos populares falam a respeito de tesouros

escondidos no interior da pedra que nunca foram

encontrados. A respeito das insculturas, alguns

pesquisadores que visitaram a região atribuem as

gravuras a aborígines que lá viviam. Já os ufanistas

atribuem a autoria a extraterrestres que

confeccionaram as pedras através de raio laser. As

Figuras 1 e 2 mostram algumas gravuras encontradas

no sítio.

Figura 1 – Visão Lateral da Pedra de Ingá

Figura 2 – Figuras na parte superior da pedra

Apesar da sua importância, a infra-estrutura de

acesso do sítio encontra-se em estado precário, sem os

devidos investimentos na sua conservação. Além

disso, têm-se os fatores naturais que também

cooperam para a degradação do local. Fatores esses

como a poluição do rio Ingá, localizado dentro do sítio

e que em épocas de cheia chega a cobrir a pedra

completamente, causando erosão da sua superfície.

Com intuito de preservar o patrimônio histórico

e cultural do sítio arqueológico foi idealizado um

ambiente virtual que representasse o sítio em toda sua

extensão [3]. Além da representação virtual do sítio foi

proposta a inclusão de informações importantes a

respeito do mesmo através de diferentes mídias, como

textos, imagens e vídeos. Deste modo, o ambiente

virtual passa a representar não apenas o ambiente real,

mas adiciona a este materiais complementares com

informações relacionadas a tradição popular,

arqueologia e geografia do local.

3. Desenvolvimento

Para a implementação do sistema foram estudadas

diversas ferramentas. O objetivo principal era permitir

a navegação no cenário virtual, bem como permitir a

interação com seus diversos elementos. Foram

consideradas motores de jogos, como Panda3D e

Ogre3D, pela facilidade de tratamento gráfico,

navegabilidade e interatividade. Entretanto, a

necessidade de disponibilização do conteúdo pela Web

era um dos requisitos do projeto, razão pela qual foi

escolhida o X3D.

X3D (Extensible 3D) é o padrão adotado

internacionalmente para 3D na Web[4]. Ele é utilizado

para construir ambientes virtuais tridimensionais

complexos (também chamados de cenas). Ele é um

padrão aberto que permite descrever em um arquivo

formas e comportamentos de um ambiente virtual. As

formas são descritas por figuras geométricas e os

comportamentos da cena podem ser controlados

internamente pelo arquivo X3D e externamente por

linguagens de programação ou script.

A escolha do X3D como ferramenta de

implementação deveu-se também ao suporte das mais

diversas mídias e formas de interação, inclusive

contendo APIs que adicionam diversas

funcionalidades às já existentes como a H3D, que

possibilita a integração de dispositivos hápticos à cena

X3D[5].

Outra etapa relacionada ao projeto foi a

definição da plataforma de execução, ou seja, do

browser X3D a ser utilizado. Browsers X3D consistem

em aplicações capazes de interpretar e processar as

cenas (arquivos X3D), apresentando os modelos

tridimensionais, animados ou não, e permitindo

interações do usuário com os objetos[6]. A escolha

do browser deve ser feita de acordo com as

necessidades do Ambiente Virtual a ser construído.

Com isso, foi definida a utilização do browser Xj3D

[7], software de código aberto que possibilita a


67

integração do ambiente com scripts na linguagem de

programação Java.

As seções seguintes tratarão com mais detalhes

os aspectos relacionados à implementação com o X3D.

3.1. Modelagem do Cenário

Antes da concepção do cenário foi feita uma coleta

prévia de dados do terreno do sítio e então se deu

início o processo de sua modelagem. Para obtenção do

relevo do local, partiu-se de um modelo numérico de

terreno com informações de altitude do terreno

representadas através de curvas de nível (Figura 3).

Figura 3 – Modelo numérico de terreno e curvas

de altitude.

Com o modelo numérico e as curvas de nível

utilizou-se um software de modelagem para juntar os

pontos e transformá-los em uma malha poligonal. O

Blender3d [8] foi escolhido para esta tarefa pois, além

de ser livre, possui todas as ferramentas necessárias

para a modelagem de um ambiente virtual do porte do

presente projeto. Outra característica importante na

escolha do modelador foi a possibilidade de exportar

os modelos em diversos formatos, inclusive no formato

X3D. Após a geração da malha do terreno foram

aplicadas as texturas ao modelo exportado. O modelo

texturizado foi testado no browser Xj3D. A Figura 4

mostra o modelo do terreno já renderizado no Xj3D.

Figura 4 – Modelo de Terreno no Browser X3D

Logo após essa etapa pontos importantes do sítio,

como o rio e a pedra de Ingá, que dá nome ao sítio,

foram localizados no cenário. Para o modelo da pedra

cogitou-se realizar o escaneamento da pedra em toda a

sua extensão utilizando um scanner 3D. Uma

vantagem dessa abordagem é a quantidade de detalhes

conseguidos. Embora apresente precisão, este processo

tornou-se inviável pelo tamanho do modelo gerado,

visto que a pedra tem uma extensão superior a 2

metros. Outra opção cogitada foi utilizar a técnica de

escultura do Blender3d. Nesta técnica realiza-se a

modificação ponto a ponto e por curvas do modelo em

um processo minucioso e detalhado. Embora a pedra

ficasse com aspecto realista, o modelo gerado também

ficou demasiadamente grande, o que poderia

impossibilitar a visualização do mesmo em

computadores populares, bem como dificultar o

tráfego do ambiente pela rede.

Estudando técnicas alternativas, chegou-se à

técnica chamada Normal Mapping [8].Esta técnica,

muito utilizada no desenvolvimento de jogos,

possibilita a diminuição da quantidade de polígonos

na malha do objeto através da associação de texturas,

que funcionam como um mapa de incidência da luz na

superfície, criando um efeito de profundidade. Esta

técnica é implementada no X3D através do nó

MultiTexture, que especifica a aplicação de diversas

texturas em um mesmo objeto [9]. Para obter o efeito

do Normal Mapping no X3D é necessário ativar o

modo “DOTPRODUCT3”,como primeiro argumento e

“MODULATE” no segundo. O primeiro argumento é

seguido então pela url da imagem contendo o mapa de

normais que deverá ser aplicado no objeto e no

segundo a imagem contendo a textura que será

combinada à primeira para obter o efeito desejado.

Outra alteração necessária no arquivo X3D é a

inclusão do nó MultiTextureCoordinate de modo a

conter todos os nós TextureCoordinate presentes no

arquivo X3D, que contem as coordenadas de textura

de cada imagem definida no nó MultiTexture, sejam

elas o quanto for.Um exemplo de como isso é feito

pode ser observado nas figuras 5 e 6.

Figura 5 – Represent

Figura 5 – Representação do Nó Multitexture


68

Figura 6 – Representação do Nó

MultiTextureCoordinate

Para a obtenção do mapa normal do objeto foi

confeccionada uma textura com as inscrições da pedra

de Ingá e então foi utilizado o plugin “NormalMap”

do GIMP [10] e aplicada ao modelo. Uma imagem

contendo as texturas utilizadas e o modelo final

texturizado pode ser vista na figura 7.

(a)

(b)

(c)

Figura 7 – (a) Mapa de Normais (b) Textura

Aplicada no Objeto

(c) Modelo Final Texturizado no Xj3D utilizando

a técnica de Normal Mapping.

3.2. Sensores

A utilização de sensores foi adotada para permitir a

geração de eventos de acordo com a ação do usuário

no ambiente. Exemplos de sensores utilizados são o

ProximitySensor, sensor que gera eventos ao chegar

próximo de um determinado objeto, e o TouchSensor,

que gera eventos ao receber um clique de mouse do

usuário sobre um determinado objeto. Esses sensores

estão sendo utilizados para que o usuário possa

visualizar as informações a respeito do sítio de forma

interativa. Assim, eles estão sendo empregados para

ativar a exibição de diferente mídias, como imagens e

vídeos. Na figura 8 é possível observar uma mostra de

uma das mensagens que será exibida através de

eventos gerados por sensores.

Figura 8 – Exemplo de janela de mensagem textual

acionada a partir de um sensor no X3D.


69

3.3. Exibição de Vídeos

Para a exibição de conteúdo interativo no formato

de vídeos, está sendo utilizado o Java Media

Framework [11], que possibilita que aplicações

escritas em Java possam ter suporte a diferentes

formatos de áudio e vídeo na aplicação. Para exibição

de vídeos no Xj3D é criado um painel Java sobreposto

à cena gráfica. Neste caso, é impedida a navegação do

usuário pelo ambiente virtual durante a exibição do

vídeo. Os vídeos apresentados remetem a entrevistas

com relatos sobre o local do sítio arqueológico.

3.4. Navegação

Para uma navegação no cenário com maior

liberdade de movimentação por parte do usuário foi

inicialmente utilizado no X3D o modo de navegação

“GAME”. Neste modo, tal qual os jogos em primeira

pessoa do tipo FPS (First Person Shooter), é possível

oferecer movimentação ao usuário por meio dosbotões

do teclado e movimentação da câmera através de

movimentos do mouse. Embora mais imersiva, essa

forma de navegação pode limitar a interação do

usuário com o ambiente virtual, pois como o mouse é

utilizado para movimentar a câmera, ele não pode ser

utilizado para a interação com objetos do cenário. Esta

limitação é imposta pela implementação do X3D. Uma

solução encontrada foi a utilização do modo “WALK”

que, diferentemente do modo "GAME", não atribui

funções de câmera ao mouse. Deste modo,este

dispositivo fica livre para tarefas de seleção dos

objetos no cenário.

4. Conclusão

Com a crescente preocupação na preservação do

patrimônio histórico e cultural torna-se importante a

utilização de conceitos de Realidade Virtual para a

reconstrução desses ambientes de maneira virtual. Um

importante fator na reconstrução desses ambientes é a

possibilidade de preservá-los em formato digital e

distribuí-los facilmente através de diversos meios,

inclusive utilizando a internet, o que possibilita a

pessoas de diferentes localidades o acesso a estes

ambientes virtuais.

Um ponto adicional na concepção desses

ambientes é a possibilidade de integrar diferentes tipos

de mídias interativas, contendo informações relevantes

que normalmente não são encontradas nessas

localidades. Por este motivo , o X3D se mostra como

uma ferramenta potencial para implementação destes

ambientes, já que é capaz de integrar diversas mídias

em ambientes virtuais tridimensionais dispostos na

Web.

Este trabalho apresentou aspectos da

implementação em X3D de uma proposta de

reconstrução do sítio arqueológico de Itacoatiara de

Ingá. Neste caso, foram mostradas formas de agregar

técnicas de modelagem, exibição e interação em um

único ambiente.

5. Referências

Este trabalho insere-se no contexto do sub-

projeto Arqueologia Interativa vinculado ao projeto

Virtualidade Imersiva e Interativa baseada em Cloud

Computing financiado pelo Ministério da Cultura

através do edital XPTA.Labs.

Os autores agradecem a Pablo Rosa pela

geração do modelo numérico do terreno.

6. Referências

[1] OGRE3D - A 3D library for OpenGL and/or Direct3D.

[Open source, LGPL], Online : www.ogre3d.org/, Último

Acesso em 28/08/2010.

[2] Panda3D – A Free3D Game Engine , Online:

www.panda3d.org . Último Acesso em 28/08/2010.

[3] Marques, M.A.; Costa, T.K.L.; Machado, L.S.; Nettos,

C.X.A. (2009) Representação do Sítio Arqueológico da

Pedra de Ingá com Realidade Virtual. Anais do Workshop de

Realidade Virtual e Aumentada, Santos, Brazil. CDROM ,

2009.

[4] Brutzman, D., Daly, L. “X3D: 3D Graphics for Web

Authors”. Morgan Kaufmann Publishers., 2007.

[5] [H3D, 2010] H3D.org, Open Source Haptics. Online:

http://www.h3dapi.org/. Último acesso em : 26/08/2010.

[6]Falcão, E.L.; Machado, L.S.; Costa, T.K.L. Programando

em X3D para Integração de Aplicações e Suporte

Multiplataforma. Book Chapter. In: Machado, L.S.;

Siscoutto, R.A. (Org.) Tendências e Técnicas em Realidade

Virtual e Aumentada, Cap 2, p. 35-63. SBC,2010.

[7] AD Hudson, J Couch, SN Matsuba . The Xj3D Browser:

community-based 3D software development- ACM

SIGGRAPH, 2002.

[8]Brito, A., Blender3D : Guia do Usuário . Ed. Novatec. 1a

Edição,2004.


70

[9] Web3D - Extensible 3D (X3D), ISO/IEC 19775-1:2008,

18 Texturing component, Online:

http://www.web3d.org/x3d/specifications/ISO-IEC-19775-

1.2-X3D-

AbstractSpecification/Part01/components/texturing.htm,

Ultimo acesso em 27/08/2010.

[10] GIMP – The GNU Image Manipulation Program –

Online : www.gimp.org , Último Acesso em : 25/08/2010.

[11] S. Sullivan , L. Winzeler, D.Brown, J. Deagen,

Programming with the Java Media Framework. New York:

Wiley Books, 1998.


71

Sistema Solar com Realidade Aumentada

Eduardo S. Okawa, Claudio Kirner, Tereza G. Kirner

ICE / DMC / UNIFEI - Universidade Federal de Itajubá

[email protected], [email protected], [email protected]

Resumo

O Sistema Solar é um ambiente cheio de mistérios,

que tem sido estudado por astrônomos e especialistas

ao longo do tempo, usando telescópio e material

especializado. No entanto, o usuário comum costuma

ter um acesso bastante restrito a essas informações,

limitando-se a textos, figuras e, mais recentemente, a

vídeos e aplicações de realidade virtual. A realidade

aumentada amplia esse escopo, permitindo a

visualização tridimensional do Sistema Solar em

miniatura, usando interações intuitivas no ambiente do

usuário. Esse trabalho apresenta o desenvolvimento do

SOL-RA, uma aplicação de realidade aumentada para

apoiar a exploração do Sistema Solar, para

professores, estudantes e interessados. A aplicação foi

implementada por meio da ferramenta SACRA e integra

recursos de imagem, som, animação e interação com

múltiplos marcadores. Desta forma, o Sol-RA atinge

seu propósito, que é visualizar demonstrações,

propiciar explorações, disponibilizar exercícios de

fixação e apoiar trabalhos colaborativos sobre o tema.

1. Introdução

O estudo dos planetas vem fascinando as pessoas,

desde o início da humanidade, e neste contexto, o

Sistema Solar apresenta grande interesse.

Tradicionalmente, o estudo do Sistema Solar tem

sido realizado por astrônomos e especialistas, usando

telescópios e equipamentos especiais. Para o usuário

comum, existem recursos de texto, imagem e vídeo, que

favorecem o entendimento da estrutura e

comportamento dos planetas.

Algumas iniciativas com o uso do computador

incluem aplicações com multimídia, Realidade Virtual

(RV) e, mais recentemente, Realidade Aumentada

(RA). O uso da RA permite uma visualização e

interação do usuário de maneira natural e intuitiva.

Este trabalho tem como objetivo apresentar o

desenvolvimento de um Sistema Solar Interativo com

Realidade Aumentada (o Sol-RA), usando recursos de

imagem, animação, som e interação com múltiplos

marcadores. Trata-se de uma aplicação educacional, que

visa contribuir para o aprendizado do Sistema Solar.


Existem diversos trabalhos que utilizam RV e RA,

abordando o Sistema Solar.

O Sistema Solar Virtual [3] foi um projeto

desenvolvido por professores e alunos da 5ª série do

ensino fundamental, que consistiu em se criar um

Sistema Solar com RV, incluindo avatares e outros

objetos tridimensionais (3D). Houve grande integração

entre alunos e professores na elaboração do projeto,

cujo intuito era propiciar o estudo dos planetas, de

maneira não convencional.

Outro trabalho utilizando RV para explorar

conceitos da astronomia é descrito em [8]. O trabalho

incluiu a criação de uma página na Internet, que

disponibilizou informações para o estudo dos corpos

celestes, permitindo interação com os objetos 3D,

construídos com a linguagem VRML. Além disso, o

trabalho fornece informações sobre o desenvolvimento

do protótipo apresentado, sua finalidade, interface,

utilização e questões de ensino-aprendizagem.

A maioria das aplicações com RA fazem uso de

marcadores. Entre elas, há um livro com o marcador

impresso [4], utilizando RA para mostrar as órbitas de

cada planeta e suas dimensões, porém sem interação do

usuário com os objetos. Outro trabalho, descrito em [5],

permite uma interação do usuário com os planetas,

limitando-se, no entanto, ao posicionamento dos

planetas no sistema solar.

O “Discover the Planets“ [6], que também aborda o

Sistema Solar com RA, mostra os corpos celestes e o

sol sobre um marcador, de maneira pouco interativa.

Nesta aplicação, destacam-se dois pontos positivos: a

possibilidade de se obter informações sobre os planetas,

quando estes são acionados, e de se visualizar o

tamanho relativo de um planeta em relação a outro,

quando estão próximos.

O Sistema Sol-RA, discutido neste trabalho, difere

dos demais aqui apresentados, na medida em que:

Faz reuso de marcador, mostrando cenas

estáticas e animadas em sequência, que podem

ser acionadas por outro marcador;

Utiliza som para esclarecer e ajudar o usuário na

interação com o sistema e para informar sobre a

cena que está sendo visualizada;


72

Propicia a fixação do aprendizado, com

exercícios interativos em 3D, que podem ser

salvos, visualizados e revisados posteriormente;

Contém um livro que complementa informações

sobre o Sistema Solar, incluindo marcadores em

suas folhas e permitindo diferentes interações

com o cenário 3D visualizado;

Possibilita a escolha de diferentes níveis de

utilização, como Nível Iniciante e Avançado.

3. Sistema de Autoria Colaborativa com

Realidade Aumentada

O SOL-RA foi desenvolvido com o suporte do Sistema

de Autoria Colaborativa com Realidade Aumentada

(SACRA). Esta é uma ferramenta para desenvolvimento

rápido de aplicações de RA, envolvendo imagens, sons

e animação, sem a necessidade de programação. A

ferramenta é baseada no software ARToolKit [9] [11] e

permite a utilização de múltiplos marcadores, divididos

em duas categorias [1],[2]: marcadores de ambiente e

marcadores de ações (inspeção, controle, status,

apagamento, cópia, transporte e rastro), conforme

ilustra a Figura 1. Além disso, existe um marcador de

referência (Ref1), que permite trabalhos colaborativos

entre diferentes usuários que estejam usando o mesmo

marcador, em outros computadores.

Figura 1. Ferramenta SACRA [7]

Para desenvolver aplicações, o usuário deverá

preencher pastas com arquivos de modelos 3D, sons e

textos de configuração por ele elaborados.

O SACRA utiliza pontos virtuais no ambiente,

associados a cada um dos objetos 3D e sons, que podem

ser ativados pelo marcador “Inspeção”. Além disso,

permite a associação de uma lista de objetos 3D com

seus respectivos sons a um ponto, de forma a ativá-los

em sequência, com o marcador “Controle”.

A Figura 2 apresenta uma lista de planetas que são

mostrados um a um sobre o marcador, quando

acionados pelo marcador “Controle. A Figura 4 ilustra

a aproximação do marcador “Inspeção” para a ativação

do objeto e do som de um ponto. Os planetas poderão

ser estáticos ou animados, de acordo com a definição do

desenvolvedor.

Figura 2. Sequência de planetas

O SACRA suporta também alguns comandos por

teclado. Desta forma, é possível, com um conjunto

reduzido de marcadores e teclas, construir e utilizar

aplicações relativamente sofisticadas de RA.

O conjunto de marcadores disponíveis no SACRA

auxilia tanto o desenvolvedor quanto o usuário final. O

marcador “Inspeção” faz a ativação do objeto que se

encontra no marcador de Referência, onde aparecerá o

objeto 3D. O marcador “Controle” faz a mudança de

um objeto que está sendo visualizado pelo próximo. O

marcador “Cópia” duplica o objeto. O marcador

“Transporte” leva o objeto para qualquer área dentro do

campo de visualização da webcam. O marcador

“Apagador” apaga os objetos, quando acontece a

colisão entre sua esfera e a esfera do objeto que se quer

apagar. O marcador “Status” mostra alguns dados

importantes do objeto, como a distância do objeto ao

ponto central [1], [2].

4. Visualização e interação

4.1. Uso de marcadores soltos

Os marcadores apresentados na Figura 3, foram os

mais utilizados no projeto. Com eles, pode-se interagir

de forma eficiente com os objetos em 3D. Eles são,

respectivamente: “Ref2” (onde aparecerá o objeto),

“Inspeção” (ativa o objeto), “Controle” (muda para o


73

próximo objeto), “Transporte” (transporta o objeto) e

“Cópia” (copia o objeto).

Figura 3. Marcadores Ref2, Inspeção, Controle,

Transporte e Cópia.

A ativação do “Ref2 (marcador que retem o objeto)

é feita pelo marcador “Inspeção”. Para isso, é

necessário a colisão da esfera azul com a esfera cinza,

conforme mostrado na Figura 4. Esse processo ativará

o objeto dentro do marcador.

Figura 4. Ativando o marcador Ref2.

Na Figura 5, o planeta Terra está ativo e em

movimento.

Figura 5. Ref2 depois de ser ativado.

Para visualizar os próximos objetos, utiliza-se o

marcador “Controle”. Após ter acionado todos os astros,

utilizando o “Controle” mais uma vez, a visualização

retornará para o primeiro elemento, que é o Sol.

4.2. Livro com realidade aumentada

O Sistema Sol-RA compreende um livro para estudo

do Sistema Solar, potencializado com RA. Em cada

folha do livro há um marcador impresso e, ao redor do

marcador, ficam as informações de cada planeta. Após a

leitura das informações por parte do usuário, é possível

ver o planeta da página sair de dentro do livro, ativado

pelo marcador “Inspeção”. Para fazer a ativação, deve-

se colidir a esfera do marcador “Inspeção” com a esfera

do marcador de “Referência” impresso no livro.

Usando-se o “Controle”, é possível ativar a placa virtual

de informação e o som. O áudio fornece informações

sobre o planeta em questão e guia o usuário nos

procedimentos de interação com o Sol-RA. Todos os

planetas apresentam informações, em placas virtuais

dispostas ao lado de cada planeta. Para poder observar o

objeto em movimento, é necessário utilizar o marcador

“Controle”; caso se queira repetir a operação, será

necessário aproximar o marcador “Inspeção” duas vezes

para desativar e ativar a cena. As páginas finais do livro

apresentam exercícios de fixação de conteúdo, usando

os marcadores “Inspeção” e “Controle”.

As Figuras 6, 7, 8 e 9 ilustram o funcionamento da

aplicação de RA dentro do livro.

Figura 6. Marcador Inspeção acionando o marcador

Ref2 impresso no livro.


74

Figura 7. Sol com as placas informativas.

Figura 8. Sol em movimento dentro do livro.

4.3. Exercícios de fixação da aprendizagem

Os exercícios de fixação têm o intuito de fazer com

que o usuário exercite o conhecimento obtido, de forma

interativa e dinâmica, o que contribui para uma

aprendizagem eficaz. Para isso, foram desenvolvidos

um Jogo da Memória e um Jogo de Perguntas e

Respostas.

Jogo da Memória. No jogo da memória, após a

ativação do marcador “Ref2” com o marcador

“Inspeção” ou com uma tecla de atalho, serão

mostrados os planetas em um eixo, de forma

ordenada, com uma esfera em frente a cada um.

Ao se usar o marcador “Controle” no eixo dos

planetas, eles desaparecerão. Em seguida, ao se

usar o marcador “Controle” sequencialmente, em

cada esfera, serão apresentados todos os

planetas, cabendo ao usuário parar naquele que

ele achar que é o correto para a posição. Se ele

quiser conferir se a resposta individual está

correta, ele poderá acionar o eixo dos planetas,

fazendo-os aparecer para realizar a comparação.

Se ele desejar verificar a resposta global, ele

deverá repetir a operação para cada esfera, antes

de voltar a mostrar o eixo com todos os planetas

e fazer a comparação dos dois conjuntos.

Jogo de Perguntas e Respostas. Neste caso,

conforme a Figura 9, será apresentado um

planeta qualquer e três opções, em forma de

caixa, na cor vermelha, para o nome do planeta.

Com o marcador “Controle”, deve-se clicar

(aproximar) sobre a caixa vermelha correta. Para

a verificação da reposta, é necessário clicar no

ponto identificado como resposta, dentro do

retângulo azul.

Figura 9. Jogo de perguntas e respostas

5. Discussão do Projeto

O projeto consiste em apresentar, de forma

interativa, todos os planetas do sistema solar, iniciando-

se pelo Sol e finalizando pelo planeta anão [10]. Os

meios utilizados para aprendizagem são o livro com

RA, o áudio e os objetos em 3D, por meio dos

marcadores. O projeto Sol-RA procurou integrar

ferramentas, como RV, RA, áudio, animação e

exercícios interativos, com foco na aprendizagem.

Inicialmente o projeto pretendia apenas mostrar os

planetas, mas foi visto que já existem demonstrações

deste tipo. Percebeu-se, então, que seria necessário

aprimorar as idéias. O projeto foi ganhando consistência

com a incorporação de mais funções, tais como a

inserção de informações dentro da modelagem, por

meio de marcadores 3D e sonorização. Foram incluídos

também outros elementos para a aprendizagem, que são

os exercícios, importantes para a fixação do conteúdo.

Para trazer mais consistência ao trabalho, foi

desenvolvido um livro, com informações adicionais

sobre o tema, com marcadores dentro dele, unindo

assim ainda mais o real e o virtual. Além disso, foram

criadas versões dos ambientes virtuais para visualização

com RV (Figura 10).


75

Figura 10. Sistema solar em realidade virtual.

Considerando-se que existem diferentes tipos de

usuários, com expectativas distintas, foram

disponibilizadas três opções de utilização do Sol-RA:

Sol-RA Iniciante: O módulo iniciante contém

textos 3D e sons, que dão informações sobre o

sistema solar e guiam o usuário na utilização do

Sol-RA com os marcadores.

Sol-RA Avançado: Corresponde à versão

iniciante sem as instruções de utilização,

tornando a aplicação mais confortável para quem

já conhece o sistema.

Livro Sol-RA: É um livro que contém o estudo

sobre o Sistema Solar, compreendendo desde

curiosidades até informações mais complexas.

Ele faz uso de marcadores impressos em suas

páginas, de onde sairão os objetos 3D e os sons.

6. Conclusão

Este trabalho abordou o desenvolvimento do

Sistema Solar com Realidade Aumentada (Sol-RA),

explorando textos, sons, imagens, animações e

exercícios para fixação de aprendizagem sobre o tema.

O projeto utilizou a ferramenta SACRA como base

para o seu desenvolvimento, o que permitiu utilizar

marcadores para mostrar e interagir com os cenários 3D

estáticos e animados.

A integração de recursos foi importante para a

obtenção de ambientes mais interativos e motivadores,

para o usuário final.

A principal contribuição do projeto refere-se à

integração de recursos (textos, sons, imagens e

animações) e sua utilização para fornecer informações

sobre o Sistema Solar. Complementarmente, buscou-se

apoiar o usuário na manipulação do sistema, facilitando

a utilização nas fases iniciais.

Como continuação do projeto Sol-RA, pretende-se

implementar novas interações, pontos de vista

específicos e novos exercícios de fixação.

O sistema Sol-RA será disponibilizado para uso

livre e espera-se que ele ajude professores, alunos e

demais interessados a entender melhor o Sistema Solar

e facilitar a aprendizagem sobre este tema.

7. Informações sobre o Projeto

Este trabalho foi realizado no âmbito do projeto

“Ambiente Temático Interativo com Realidade

Aumentada”, com bolsa de iniciação científica,

financiado pelo CNPq (Proc.558842/2009-7) e

FAPEMIG (Proc. APQ-03643-10).

8. Referências [1] R. Santin, “SACRA - Sistema de Autoria em Ambiente

Colaborativo com Realidade Aumentada”, Dissertação –

Ciência da Computação, UNIMEP, Piracicaba, 2008.

[2] SACRA, “Software, tutoriais e aplicações”. Disponível

em: <http://www.ckirner.com/sacra>. Acesso em: 22 ago.

2010.

[3] Ciências na Escola, Sistema Solar Virtual. Disponível em:

< http://www.slideshare.net/coelhoelectrico/sistema-solar-

virtualx3d>. Acesso em: 25 ago. 2010.

[4] Augmented Reality Science Book, Solar System,

Diponível em: <http://vimeo.com/13102880>. Acesso em: 25

ago. 2010.

[5] Mindspace solutions, Solar System Builder. Disponível

em:<http://www.mindspacesolutions.com/html/solar_builder.

html>. Acesso em: 25 ago. 2010.

[6] Dailymotion, Discover the Planets - Augmented Reality.

Disponível em:

<http://www.dailymotion.com/video/xbhzjo_imaginality-

discover-the-planets-au_tech>. Acesso em: 25 ago. 2010.

[7] C. Kirner, R. Santin, “Interaction, Collaboration and

Authoring in Augmented Reality Environments”, Proceedings

of XI Symposium on Virtual and Augmented Reality, Porto

Alegre: SBC, 2009, p. 210-220.

[8] K.S. Aquino, W.A. Silva, E.A. Lamounier, M.W. Ribeiro,

A. Cardoso, N. Fortes, “Uma ferramenta para o auxilio ao

ensino da astronomia para alunos do ensino fundamental

utilizando a Realidade Virtual como tecnologia”. Disponível

em: <http://www2.fc.unesp.br/wrva/artigos/50125.pdf>.

Acesso em 25 ago. 2010.

[9] R. Santin, C. Kirner, “ARToolKit: Conceitos e Ferramenta

de Autoria Colaborativa”, In: Siscouto, R., R. Costa (Org.),

Realidade Virtual e Aumentada: Uma Abordagem

Tecnológica, SBC, Porto Alegre, 2008, p. 3-13.

[10] E. Martioli, O rebaixamento de Plutão. Disponível em:

<http://www.comciencia.br/comciencia/?section=8&edicao=2

7&id=310>. Acesso em: 23 ago. 2010.

[11] M. Billinghurst, and H. Kato. Collaborative Augmented

Reality, Communications of the ACM, Jul. 2002, p. 64-70.


76

SESSÃO TÉCNICA 4

TÉCNICAS DE INTERAÇÃO


77

Reconhecimento de Gestos com Segmentação de Imagens Dinâmicas

Aplicadas a Libras

Adilson Roberto Pavan Fábio Alexandre Caravieri Modesto

Anhanguera Educacional

[email protected]

[email protected]

Resumo

O objetivo desse projeto é criar uma metodologia

capaz de realizar o reconhecimento de gestos, onde a

ideia é extrair características da mão segmentada, a

partir de imagens dinâmicas capturadas de uma

webcam e identificar padrões de sinais utilizados pelos

usuários de Libras. O aplicativo desenvolvido com a

metodologia descrita anteriormente será capaz de

capturar as imagens e, com a utilização de filtros

específicos de processamento de imagens, identificar

as características de cada gesto realizado. Os dados

identificados serão comparados a padrões pré-

estabelecidos no aplicativo com o objetivo de

identificar os sinais e reproduzir em forma de texto os

sinais identificados. Com a criação desse mecanismo

será possível desenvolver ferramentas para diversas

áreas como educação, entretenimento e facilitar a

comunicação dos usuários de Libras. Alem disso, pode

ser utilizada como uma ferramenta de auxilio na

alfabetização da própria Língua Brasileira de Sinais.

1. Objetivo O desenvolvimento desse projeto tem como objetivo criar uma técnica precisa para o rastreamento dos sinais de Libras, combinando a utilização de bibliotecas de visão computacional gratuitas com dispositivos de captura de imagens de fácil acesso como uma webcam, gerando assim um baixo custo computacional e tornando a técnica aplicável em diversas áreas. A expectativa é que o sistema seja capaz de rastrear todas as letras (sinais) do alfabeto, mas como o processo de criação dos classificadores exige muitas amostras e tempo de processamento a pesquisa se limitara a principio em letras suficientes para formação

de palavras simples, mas até o momento foi possível identificar bons resultados, pois o classificador responsável por rastrear o sinal referente à letra “C” já está totalmente funcional e preciso.

2. Introdução

Pesquisas relacionadas à visão computacional e reconhecimentos de gestos vêm ganhando grande espaço na comunidade cientifica. Com a evolução tecnológica dos computadores e dispositivos como câmeras, a capacidade de processamento e captura de imagens com alta qualidade facilita no desenvolvimento de diversos tipos de pesquisas, além disso, os preços acessíveis desses dispositivos possibilitam estudos e projetos em diversas áreas como robótica, educação, entretenimento, medicina, indústria e várias outras.

Além da evolução dos dispositivos e da capacidade de processamento dos computadores, muitas bibliotecas de visão computacional foram desenvolvidas com o objetivo de facilitar e otimizar a captura, análise e manipulação das imagens, sendo que uma das mais conhecidas e escolhida para o desenvolvimento deste projeto é a OpenCV [4], desenvolvida pela Intel, é uma biblioteca gratuita que oferece mais de 500 (quinhentas) funções de manipulação, segmentação, rastreamento e reconhecimento de padrões [7].

Atualmente existem vários trabalhos relacionados a reconhecimento de gestos e, com a utilização da biblioteca OpenCV, tornou-se possível o desenvolvimento de técnicas de rastreamento em tempo real, dentre as quais identificou-se que a abordagem mais comum é a segmentação da Área de Interesse (Region Of Interest - ROI) através do algoritmo CamShift (Continuously Adaptive Mean-SHIFT), que


78

captura a imagem original e realiza a distribuição de cores em um modelo de histograma, criando um padrão de cor a ser rastreado [3]. Após a segmentação pelo histograma – que para o caso do rastreamento da mão como área de interesse o mais comum a ser utilizado é a cor da pele – existem vários algoritmos disponíveis na biblioteca de detecção de bordas, tendo como um dos mais utilizados o algoritmo de Sobel [3]. Com a borda da imagem extraída pelo algoritmo de Sobel a última etapa é realizar a comparação com um template pré-definido através de uma técnica conhecida como Shape Matching [3] que é responsável por encontrar semelhanças entre as imagens capturadas e o template, respeitando certa taxa de erro.

Toda a técnica descrita no parágrafo anterior faz parte de uma pesquisa realizada por [1] que demonstrou bons resultados na segmentação e no rastreamento dos gestos, porém existem técnicas similares que também apresentam resultados satisfatórios, mas que para a comparação das características extraídas utilizam métodos de classificação dos dados através de parâmetros definidos em um vetor, onde o autor [8] armazenou os mesmos em uma base de dados e posteriormente os utilizou para análise dos gestos.

Outra proposta interessante é a utilização de classificadores [3], proposto inicialmente por [9], através da qual o sistema é capaz de identificar com velocidade os objetos, pois não depende de imagens em seqüência ou de um padrão de cores como em outras técnicas. O sistema utiliza a informação presente nas imagens capturadas em tons de cinza para realizar o rastreamento. Esta técnica exige o treinamento do classificador com muitas imagens para que se atinja uma precisão satisfatória, ela cria uma cascata de características em que a análise é realizada pelas diferenças de intensidade entre regiões distintas. O processo de treinamento, como mencionado acima, exige muitas imagens e capacidade de processamento para desenvolver um classificador preciso e robusto.

A proposta inicial para esse projeto era utilizar técnicas como as mencionadas na pesquisa de [1]. Entretanto, durante o desenvolvimento foi possível identificar uma abordagem mais simplificada garantindo-se atingir resultados precisos e concretos, a partir da utilização de classificadores e detectores de bordas para realizar o rastreamento. O sistema utilizará um classificador criado por [5] que realiza o reconhecimento da mão fechada, em que o usuário poderá definir a área de interesse para executar os sinais de Libras. Após a definição, será aplicado o algoritmo de Sobel para extrair as bordas das imagens por meio da utilização dos classificadores Haar para

identificação dos sinais. O processo de segmentação utilizará apenas o algoritmo de Sobel, pois a utilização de classificadores torna desnecessário extrair o fundo com o algoritmo CamShift, o que reduz consideravelmente os ruídos, pois realizando-se a análise diretamente na imagem segmentada a quantidade de decisões do classificador será menor e dessa forma o processamento será mais rápido e preciso. Além disso, a quantidade de imagens necessárias para realizar o treinamento de cada sinal será bem menor.

3. Metodologia

O desenvolvimento do algoritmo de reconhecimento será baseado em contornos e em classificadores, possibilitando um melhor desempenho para o rastreamento em tempo real. Sendo assim, será utilizado a biblioteca OpenCV (Open Computer

Vision), criada pela Intel e disponível para utilização sem limitações.

A utilização da biblioteca facilitara muito o desenvolvimento do aplicativo final, pois reúne todos os recursos necessários para cada etapa do reconhecimento como, por exemplo, algoritmos para detecção de bordas, captura de imagens da webcam e comparação com as características definidas nos classificadores. As etapas de reconhecimento consistem basicamente em capturar as imagens dinâmicas pela webcam, utilizar o classificador criado por [5], responsável por realizar o reconhecimento da mão fechada para definir a área de interesse, aplicar o algoritmo de Sobel, responsável por extrair o contorno da imagem e realizar a análise com os classificadores treinados para identificar os sinais de Libras.

A etapa mais importante para atingir a qualidade desejada é a criação dos classificadores mencionados anteriormente (ultima etapa), pois os mesmos serão responsáveis por analisar as imagens após a aplicação do filtro de Sobel, mas para atingir a precisão desejada será necessário realizar o treinamento de cada sinal com um número considerável de imagens. Esse processo, entretanto, será muito mais simplificado em comparação aos classificadores disponíveis pela própria biblioteca, pois as imagens utilizadas no treinamento já estão segmentadas pelo algoritmo de Sobel, o que elimina um considerável número de características.

4. Desenvolvimento

O sistema será totalmente baseado na utilização de classificadores e na detecção de contornos. Desta


79

forma, antes de aprofundar em cada etapa do processo, é necessário entender a metodologia básica envolvendo a técnica da cascata de classificadores.

A pesquisa foi desenvolvida em etapas com o objetivo de facilitar e garantir a qualidade desejada, pois como o processo será realizado de uma forma mais simplificada em relação a outras técnicas mencionadas anteriormente, a etapa mais importante e que definirá a precisão do mecanismo é a criação dos classificadores que serão utilizados para realizar o rastreamento dos sinais. Durante essa seção serão apresentadas as informações básicas de cada etapa e o andamento das pesquisas que ainda não foram finalizadas, pois como será demonstrado a seguir o sistema já é capaz de rastrear um sinal com precisão, mas ainda é necessário repetir o processo de treinamento dos classificadores para os demais sinais de Libras. 4.1. Cascata de Classificadores

A cascata de classificadores [9] é uma funcionalidade da biblioteca OpenCV que é responsável por identificar vários tipos de objetos em uma imagem, mas que ficou conhecida principalmente pelo reconhecimento da face como mostra o programa de exemplo FaceDetect disponível na biblioteca e a Figura 1.

Figura 1 – Imagem extraída do livro “Learning

OpenCV” [3] onde é possível observar o rastreamento da face utilizando a cascata de classificadores. A técnica utilizada no classificador consiste em uma análise de imagens em tons de cinza, em que as diferenças de intensidade de regiões distintas são

comparadas a características armazenadas em uma arvore de decisões, que é desenvolvida através de um algoritmo de treinamento e um conjunto de imagens das quais são extraídas características especificas do objeto a ser rastreado. Para realizar o treinamento do classificador é necessário reunir um conjunto de imagens contendo o objeto de interesse, em diversas condições de iluminação e em posições diferentes. Este conjunto é chamado de amostras positivas. Após a criação das amostras positivas, é necessário reunir outro conjunto de imagens aleatórias onde o objeto de interesse não esteja incluído. Este outro conjunto é chamado de amostras negativas. Com a criação das amostras positivas e negativas é necessário apenas executar o algoritmo de treinamento que criara uma cascata de classificadores, onde todas as características do objeto serão armazenadas para posteriormente serem utilizadas na análise da imagem. O termo “cascata” é utilizado porque o algoritmo de treinamento cria uma série de classificadores que são analisados em seqüência, até que um padrão seja identificado. A Figura 2 mostra uma parte da cascata de classificadores que está disponível na biblioteca e que é utilizada para realizar o rastreamento da face.

Figura 2 – Exemplo de uma cascata de classificadores armazenada em um arquivo XML que é utilizada na detecção de objetos pelas funções “cvLoad” e “cvDetectHaarCascade”.

4.2. Captura da Imagem

A proposta do projeto é criar uma interação humano-computador (IHC) utilizando recursos de visão computacional, excluindo dispositivos como o


80

teclado ou o mouse, utilizando especificamente imagens capturadas de uma webcam. Sendo assim, uma das etapas mais importantes é a captura da imagem, pois é a forma de entrada dos dados que serão tratados e analisados para realizar o reconhecimento dos sinais. A utilização da biblioteca OpenCV facilita esta etapa, pois possui recursos de captura de imagens de uma webcam ou de arquivos de vídeos através da utilização de comandos como cvCaptureFromCAM e cvCaptureFromAVI. 4.3. Seleção da Região de Interesse - ROI

As pesquisas relacionadas à visão computacional e a reconhecimento de gestos utilizam como uma das principais técnicas a aplicação de filtros e análise das imagens a partir de uma área segmentada, ou seja, utiliza determinados critérios para identificar uma região de interesse na imagem original, o que reduz consideravelmente a quantidade de processamento para identificar o objeto desejado.

Considerando várias técnicas abordadas anteriormente para realizar a segmentação da região de interesse, esse projeto tem como característica a utilização de um classificador [5], que realiza o reconhecimento da mão fechada, selecionando assim a ROI. Porém, para que uma nova ROI seja determinada, é necessário limpar a mesma através da ação de um botão e iniciar novamente o reconhecimento utilizando o classificador, como mostra a Figura 3.

Figura 3 – Região de interesse selecionada pelo classificador da mão fechada e ao lado o botão “Limpar Segmentação” que é responsável por limpar o ROI. 4.4. Detecção de Bordas

A principal característica da técnica envolvida na detecção de bordas é a localização de diferenças de intensidade luminosa entre regiões vizinhas. O

algoritmo escolhido para realizar essa etapa da pesquisa é o operador de Sobel, que realiza uma análise na imagem original a fim de localizar diferenças de intensidades muito grandes entre regiões vizinhas e, assim, retornar essas regiões destacadas em uma escala de tons de cinza, o que caracteriza as bordas do objeto.

Com a aplicação desse tipo de filtro, obtêm-se resultados muito bons, como mostra a Figura 4. Porém, sem a utilização de algoritmos de segmentação por cor de pele como o CamShift, o resultado contem muitos ruídos, que poderiam prejudicar a detecção dos sinais. Mas como a proposta dessa pesquisa é realizar o rastreamento através de classificadores treinados a partir de imagens, em que o algoritmo de Sobel já tenha sido aplicado, pode-se afirmar que o reconhecimento é mais rápido, mais preciso e mais robusto quando comparado aos resultados obtidos a partir da aplicação de outras técnicas.

Figura 4 – A esquerda uma imagem original extraída de uma webcam e a direita a mesma imagem após aplicação do algoritmo de Sobel. 4.5. Treinamento do Classificador

A última etapa e mais importante para que a aplicação final seja precisa e robusta é iniciar o treinamento dos classificadores que serão responsáveis por realizar o reconhecimento dos sinais. Como já descrito na seção “cascata de classificadores”, será necessário reunir amostras positivas e negativas para que o algoritmo de treinamento crie uma cascata de características e a utilize para realizar o rastreamento dos sinais. O levantamento bibliográfico teve grande importância nessa etapa do projeto, pois existe pouca documentação e exemplos sobre esse assunto, principalmente relacionado ao classificador responsável por rastrear a face que está disponível na biblioteca, pois não foi possível localizar nenhum detalhe de como o mesmo foi treinado. Estima-se que cerca de 5.000 amostras positivas e negativas tenham sido utilizadas. Os classificadores que serão desenvolvidos nesse projeto utilizarão um número muito menor de amostras, pois como já mencionado anteriormente, serão treinados a partir de imagens às quais o algoritmo de detecção de bordas já tenha sido


81

aplicado, o que reduzira consideravelmente o número de características para realizar o rastreamento.

A coleta das amostras será realizada através da utilização de uma ferramenta chamada Positivies

Builder [2] que auxiliará na separação e seleção dos objetos de interesse, pois para a criação do classificador é necessário informar as coordenadas x e y de inicio do objeto, além de informar o tamanho do mesmo na imagem. O algoritmo de treinamento utiliza um arquivo onde são relacionadas todas as imagens com seus respectivos caminhos, as posições iniciais e o tamanho dos mesmos, para que a coleta das características seja iniciada, além de utilizar também outro arquivo com o caminho das amostras negativas para que um padrão seja criado entre as imagens que contem o objeto de interesse e as aleatórias onde os objetos não estejam incluídos. A Figura 5 mostra a configuração armazenada em um dos arquivos utilizados pelo algoritmo de treinamento. Entretanto, como essa etapa exige muito tempo apenas um classificador foi criado até o momento, mas através dele já é possível demonstrar que a técnica é totalmente viável e precisa. O objetivo nesta etapa do projeto é criar um classificador para cada letra do alfabeto, mas como o processo exige um número considerável de amostras a prioridade será criar letras ou sinais suficientes para a formação de palavras simples.

Figura 5 – Exemplo de arquivo que será utilizado pelo algoritmo de treinamento para coletar as características das amostras positivas. Após muitos testes com as amostras e configurações dos parâmetros de treinamento, foi possível construir com sucesso um classificador preciso e robusto para o reconhecimento do sinal referente à letra “C”. A Figura 6 demonstra a detecção do sinal e sua representação em forma de texto.

Figura 6 – Detecção do sinal referente à letra “C” através do classificador criado com as amostras após a aplicação do filtro de Sobel.

5. Representação 3D com OpenGL e

comparação com técnicas de marcadores

A representação do sinal rastreado foi feita inicialmente em forma de texto, mas para demonstrar a utilização de outras formas foi construída uma mão 3D simples utilizando a biblioteca OpenGL. O sistema captura o centro das coordenadas do sinal realizado e passa as mesmas através de um arquivo XML, com o objetivo de sincronizar essas coordenadas com o aplicativo responsável por construir o objeto 3D. A Figura 7 mostra essa comunicação entre as coordenadas rastreadas e a construção do objeto 3D após o clique no botão “Gerar 3D”.

Figura 7 – Representação em 3D do sinal rastreado A criação dessa técnica de rastreamento demonstra que é possível utilizar os classificadores da mesma forma que os marcadores utilizados em outras bibliotecas como o ARToolkit.


82

6. Resultados

A pesquisa e desenvolvimento da aplicação final demonstraram bons resultados, pois o sistema já é capaz de reconhecer uma área de interesse, realizar a detecção das bordas e rastrear o sinal de Libras referente à letra “C”.

O objetivo final da pesquisa é desenvolver mais classificadores para que palavras completas sejam formadas, mas com a quantidade de amostras positivas (992) e negativas (224) utilizadas para a criação do classificador referente à letra “C”, pode-se perceber que os demais sinais após serem treinados nos mesmos parâmetros serão muito precisos e robustos como o criado até o momento.

7. Considerações Finais Esta pesquisa demonstrou uma técnica de

reconhecimento de gestos, em que o objetivo é rastrear sinais de Libras a partir de imagens capturadas de uma webcam. O aplicativo já é capaz de capturar as imagens, realizar a segmentação através de detectores de bordas e analisar as características com os classificadores responsáveis pelo rastreamento dos sinais de Libras.

A pesquisa demonstra uma melhoria significativa em relação a outras técnicas abordadas neste trabalho, sendo que a principal característica para obter resultados concretos é a utilização de classificadores treinados, a partir de imagens segmentadas que proporcionam velocidade e precisão no reconhecimento dos sinais.

8. Referências [1] BARBOSA, Bernardo; SILVA, Júlio. Interação Humano - Computador usando Visão Computacional. Revista Teccen: Edição Especial, Rio de Janeiro, v. 2, n. 1, p.9-16, mar. 2009. [2] BARNES, David. OpenCV HaarTraining - Object Detection with a Cascade of Boosted Classifiers Based on Haar-like Features. Disponível em: <: http://www.quotientrobotics.com/2010/04/opencv-

haartraining-object-detection.html>. Acesso em: 15 maio 2010. [3] BRADSKI, Gary; KAEHLER, Adrian. Learning OpenCV: Computer Vision with the OpenCV Library. 1. ed. United States Of America: O’Reilly Media, 2008. 576 p. [4] INTEL. OpenCV FAQ: Open Source Computer Vision Library. Disponível em: <http://software.intel.com/en-us/articles/intel-integrated-performance-primitives-intel-ipp-open-source-computer-vision-library-opencv-faq/>. Acesso em: 10 mar. 2010. [5] J. Wachs, H. Stern, Y. Edan, M. Gillam, C. Feied, M. Smith, J. Handler. A Real-Time Hand Gesture Interface for Medical Visualization Applications. Applications of Soft Computing : Recent Trends. Springer Verlag, Germany, Séries: Advances in Soft Computing ,Tiwari, A.; Knowles, J.; Avineri, E.; Dahal, K.; Roy, R. (Eds.),2006. vol. 36, pp. 153-163. [6] LIBRAS. Portal de Libras destinado à comunidade surda, familiares, profissionais e pessoas interessadas em aprender. Disponível em: <http://www.libras.org.br/>. Acesso em: fev. 2010. [7] OPENCV. OpenCV Wiki: Tutoriais e exemplos de sua utilização. Disponível em: <http://opencv.willowgarage.com/wiki/>. Acesso em: 17 fev. 2010. [8] RIBEIRO, Hebert Luchetti. Reconhecimento de gestos usando segmentação de imagens dinâmicas de mãos baseadas no modelo de mistura de Gaussianas e cor de pele. 2006. 144 f. Dissertação (Mestrado) - Curso de Engenharia Elétrica, Departamento de Escola de Engenharia de São Carlos, Universidade de São Paulo, São Carlos, 2006. [9] VIOLA, Paul; JONES, Michael. Robust Real-time Object Detection. In: SECOND INTERNATIONAL WORKSHOP ON STATISTICAL AND COMPUTATIONAL THEORIES OF, 2., 2001, Vancouver. Anais... . Vancouver: Second International Workshop On Statistical And Computational Theories Of Vision, 2001. p. 1 - 25.


83

Controle de Navegacao em Ambientes Virtuais 3Datraves do Rastreamento de Objetos

Matheus Abrantes [email protected]

Selan Rodrigues dos [email protected]

Departamento de Informatica e Matematica Aplicada — DIMApUniversidade Federal do Rio Grande do Norte — UFRN

Campus Lagoa Nova, 59072-970, Natal/RN, Brasil

Resumo

O deslocamento atraves de ambientes virtuais e uma dasatividades primarias em sistemas de realidade virtual. Umbom dispositivo para dar suporte ao deslocamento precisaser simples, possuir uma baixa carga cognitiva e corres-ponder as expectativas de navegacao dos usuarios. Estudosempıricos sobre interfaces tridimensionais (3D) procuramembasar o design de novos mecanismos de navegacao maisproximos da forma natural de interacao do usuario. Pode-se afirmar que um dos objetivos e conseguir executar tare-fas de interacao em ambientes 3D de maneira mais eficientedo que o atual paradigma WIMP (Windows, Icons, Menu,Pointing device) de interacao, o qual foi originalmente con-cebido para um ambiente bidimensional (2D). Neste artigopropomos um dispositivo de navegacao de baixo custo, ba-seado em visao computacional utilizando uma webcam e abiblioteca OpenCV. Para aferir a usabilidade do dispositivoproposto, realizamos um estudo de caso com 23 participan-tes atraves de um ambiente virtual de teste.

1. Introducao

Os sistemas de Realidade Virtual (RV) sao caracteriza-dos pelo alto grau de imersao que apresentam ao usuarioe o seu sucesso esta atrelado a esse fator [5]. Para atingiressa meta, sistemas de RV necessitam fornecer realismo aosseus utilizadores, o que torna indispensavel prover ambien-tes virtuais tridimensionais e dispositivos que proporcionemuma interacao de qualidade com esses ambientes.

Em ambientes de RV, a interacao do tipo navegacaoainda pode ser dividida em deslocamento e wayfinding [2].O deslocamento engloba a movimentacao e a orientacao dousuario no ambiente, enquanto o wayfinding relaciona-se aconstrucao do mapa cognitivo do ambiente virtual (AV).

O deslocamento e provavelmente a interacao mais exe-cutada em ambientes virtuais, pois em praticamente todosambientes virtuais o usuario precisa ser capaz de se moverpelo ambiente 3D para percebe-lo de diferentes perspecti-vas e estabelecer sua presenca dentro desse ambiente. Odeslocamento e uma tarefa secundaria, o que significa queos usuarios o utilizam apenas para alcancar outras partesdo ambiente e efetuar a tarefa primaria, como por exem-plo buscar um objetivo ou mesmo familiarizar-se com aorganizacao espacial do ambiente [3].

Atualmente, existem muitas alternativas para proporci-onar uma experiencia realista ao navegar por um ambientevirtual, como por exemplo rastreadores de posicao, mou-ses tridimensionais e dispositivos apontadores 3D como oWiimote. Contudo, muitos destes dispositivos necessitamde muito espaco fısico e/ou sao solucoes proprietarias comcusto elevado [11]. Nosso desafio, portanto, foi desenvol-ver uma solucao que pudesse proporcionar uma melhor ex-periencia de navegacao e ter um custo reduzido, preferenci-almente reutilizando elementos ja presentes na maioria dasconfiguracoes atuais de computadores pessoais.

O objetivo desse estudo foi propor um dispositivo de des-locamento em ambientes virtuais, denominado Fingertrax,com as seguintes caracterısticas: (i) apresentar um baixocusto; (ii) ter facil adaptacao ao modelo atual de compu-tador pessoal; (iii) propiciar um desempenho na tarefa dedeslocamento, pelo menos, tao eficiente quanto a utilizacaode mouse e teclado em ambientes virtuais de mesa; e (iv) serum mecanismo de utilizacao simples e facil. Para ava-liar a eficacia do Fingertrax, realizamos testes experimen-tais com participantes visando comparar sua utilizacao emuma aplicacao de teste na qual a navegacao e uma tarefasecundaria. O parametro de referencia considerado foi ob-tido atraves da realizacao da mesma tarefa por um grupo decontrole, utilizando o mouse e teclado.

A proxima secao ira apresentar trabalhos relacionados


84

ao problema encontrado. A Secao 3 descreve a interface decontrole do dispositivo, enquanto que a Secao 4 descreveos aspectos da implementacao do Fingertrax. A Secao 5aborda o ambiente de testes e configuracoes experimentaisutilizadas, cujos resultados sao discutidos na Secao 6. Porfim, a ultima secao conclui o estudo.


As tecnicas de navegacao e deslocamento em ambientesvirtuais tem se utilizado de inumeras abordagens para ten-tar proporcionar uma melhor experiencia para o usuario ousuprir uma necessidade de uma aplicacao especıfica. Pode-mos categoriza-las em diferentes areas como manipulacaodireta do ambiente utilizando gestos, manipulacao indiretautilizando dispositivos de mao, identificacao de gestos cor-porais e reconhecimento de comandos de voz.

Tecnicas para mover e orbitar objetos especificados fo-ram apresentadas, por exemplo, em [13, 8, 12]. Contudo,essas tecnicas geralmente requerem uma grande quantidadede aprendizado para o usuario conseguir utiliza-las com de-senvoltura, alem de sempre ser necessaria a utilizacao dealgum dispositivo em suas maos, o que impede a execucaode outras tarefas.

Uma abordagem mais geral e menos comumente ex-plorada e o mapeamento de movimentos corporais direta-mente para o ambiente de navegacao. Fuhrmann et al. [7],por exemplo, desenvolveu um sistema em que a orientacaoda cabeca determina a direcao e velocidade da navegacao.Essa tecnica apresenta a vantagem de nao necessitar de ne-nhum equipamento extra a nao ser o rastreador de cabeca.Porem, a sistema possui a desvantagem de interpretar movi-mentos habituais da cabeca do usuario como comandos denavegacao.

Uma tecnica alternativa [14] que tambem e baseada emrastreamento de cabeca e controlar a navegacao fazendo ousuario “caminhar” sem sair do lugar. A velocidade domovimento esta associada com a velocidade dos passos dousuario, mas a direcao do movimento continua associada aposicao da cabeca. De uma maneira geral, e possıvel no-tar que os estudos que propoem sistemas de navegacao ba-seados no mapeamento de movimentos corporais normal-mente sao baseados na utilizacao dispositivos de rastrea-mento 3D. Estes mecanismo possuem duas desvantagens:normalmente sao caros (e.g. rastreadores magneticos ouoticos), e requerem espaco fısico amplo para sua instalacaoe utilizacao.

A outra categoria e de sistemas de navegacao basea-dos em reconhecimento de voz. A fala permite que ousuario indique parametros de navegacao e pode ser utili-zada em conjunto com os gestos para proporcionar contro-les de navegacao mais imersivos [6, 10]. Entretanto, exis-tem algumas situacoes em que o reconhecimento de fala nao

pode ser feito ou que ele e simplesmente indesejado. Estee o caso, por exemplo, de um AV colaborativo no qual ousuario precisa se conversar com outros participantes.

Uma caracterıstica comum a todos os mecanismos denavegacao encontrados e a necessidade da utilizacao de dis-positivos de entrada e saıda pouco acessıveis. A utilizacaode dispositivos ja consolidados facilita a propagacao domecanismo de navegacao, na medida em que o acesso aomesmo depende de menos fatores.

3. Interface de Navegacao

O sistema de controle de navegacao proposto utiliza umawebcam comum, que em geral ja esta disponıvel em com-putadores portateis e possui uma baixo custo para aquisicaose comparado, por exemplo, a um rastreador 3D.

Para efeitos de simplificacao e definicao do escopo desteestudo, estamos considerando apenas o deslocamento deuma camera virtual restrito ao plano, com representacaoegocentrica (primeira pessoa).

O modelo de navegacao em ambiente virtual 3D demesa mais utilizado combina dois perifericos: mouse e te-clado. Neste paradigma, o mouse e teclado sao utiliza-dos em conjunto para controlar, respectivamente, o desloca-mento (translacoes) e orientacao (rotacoes) da camera vir-tual. Este modelo ganhou popularidade nos anos 90, ao serintroduzido para controlar navegacao egocentrica em jogoseletronicos populares, como o Wolfstein 3D [9]. Sendo as-sim, utilizamos esse paradigma, doravante denominado deM&T, como modelo base para nossa interface de controle.

O teclado e responsavel pela movimentacao do usuariono ambiente, batizado de movimentacao “w-a-s-d”. Nestesistema o controle sobre a direcao de deslocamento e feitarelativa ao vetor de visao (look-at) do usuario. O pressio-namento das teclas “w” (ou “↑”) e “s” (ou “↓”) provocamo deslocamento da camera de um certo montante, ∆F , parafrente e para tras, respectivamente, na direcao do vetor devisao ( ~lookat). O pressionamento das teclas “a” (ou “←”) e“d” (ou “→”), provocam o deslocamento lateral da camerade um certo montante, ∆S, para esquerda e direita. A Fi-gura 1 ilustra este mapeamento.

A mudanca na orientacao da camera virtual e realizadaatraves de deslocamentos relativos do mouse. Deslocamen-tos horizontais de mouse, δmousex , para esquerda ou direitasao mapeados para deslocamento angular horizontal (azi-mute), θcamera, do mundo virtual. Deslocamentos verti-cais de mouse, δmousey , para cima ou baixo sao mapeadospara deslocamento angular vertical (elevacao), φcamera, domundo virtual.

A interface de controle definida para o sistema Fingertraxe baseada no uso de uma webcam. Alem destes dispositivos,o usuario deve utilizar um anel plastico em um dos dedos.Fingertrax utiliza algoritmos de visao computacional para


85

Figura 1: Esquema de deslocamento do usuario em am-biente virtual utilizando o sistema de teclas “w-a-s-d”. Ob-serve que a direcao do movimento e definida com base naorientacao do avatar, ou seja, o vetor de visao.

capturar e rastrear a posicao do anel, de maneira a mapearos movimentos (relativos) da mao do usuario para acoes denavegacao. Optamos pela adocao de um anel devido simpli-cidade e conforto de uso. Antes de iniciar a navegacao noambiente virtual o usuario deve calibrar o dispositivo parao reconhecimento do anel ou do objeto desejado. Uma telacom a imagem sendo capturada ira aparecer e o usuario devecolocar o objeto a ser mapeado dentro da area designada natela.

Apos a fase de calibracao, temos um sistema de coorde-nadas para o anel rastreado (SCA), capaz de identificar des-locamento ao longo dos tres eixos coordenados, Xa, Ya eZa. Similarmente ao mouse, os deslocamentos sao tomadosde maneira relativa ao SCA: δanelx , δanely e δanelz . Paracapturar o movimento definimos um valor de ativacao domovimento, que funciona da seguinte forma: se a distanciarelativa de um movimento ultrapassar o valor de ativacao, omovimento capturado e considerado. Esse mecanismo visatratar a imprecisao natural do algoritmo de rastreamento,evitando que movimentos naturais involuntarios da mao dousuario fossem considerados.

Desta forma, o Fingertrax faz o seguinte mapeamento:(i) deslocamento horizontal do anel e mapeado para azi-mute, θcamera; (ii) deslocamento vertical do anel e mape-ado para elevacao, φcamera; e (iii) deslocamento em pro-fundidade do anel e mapeado para para deslocamento dacamera ∆F , para frente para tras, na direcao de ~lookat.Note que para a versao atual do Fingertrax o desloca-mento lateral de camera foi eliminado, haja visto que esta euma movimentacao relativamente pouco usada por usuariosiniciantes. A Figura 2 ilustra os controles associados amovimentacao do anel rastreado, enquanto que a Tabela 1compara os mapeamentos realizados pelo Fingertrax e M&T.

Figura 2: Mapeamento dos movimentos do anel rastreadopara o controle da camera virtual.

Tabela 1: Interfaces para controle de camera.

Camera Virtual Fingertrax M&T

θcamera (azimute) δanelx δmousex

φcamera (elevacao) δanely δmousey

∆F · ~lookat δanelz ‘w’/‘↑’ ou ‘s’/‘↓’∆S · ~h — ‘a’/‘←’ ou ‘d’/‘→’

4. Descricao e Implementacao

Fingertrax e um software responsavel por auxiliar ousuario na calibracao e por transformar as imagens captu-radas pela camera em comandos de navegacao.

A captura do fluxo de vıdeo, a manipulacao dos qua-dros e alguns algoritmos para a identificacao de elemen-tos da imagem foram elaborados utilizando a bibliotecaOpenCV [4].

As tecnicas utilizadas serao divididas esquematicamenteem duas partes: identificacao do objeto e calibragem do dis-positivo.

4.1. Identificacao do objeto

A identificacao do objeto e fundamental para o funcio-namento do Fingertrax. Para identificar o objeto fazemosuso do histograma de cor da imagem capturada. Um his-tograma classifica aspectos de uma imagem para determi-nar correlacoes entre imagens ou partes de imagens. Aoperacao com histogramas que utilizamos e responsavelpelo casamento de padroes e a consequente identificacao doobjeto na imagem.

Primeiramente, obtemos o histograma do padrao a serencontrado na imagem, no nosso caso, esse padrao corres-


86

ponde ao objeto que estamos utilizando (anel de plastico).Depois, utilizamos o histograma do padrao em conjuntocom o histograma da imagem capturada e, utilizandofuncoes da biblioteca OpenCV, identificamos (ou nao) opadrao desejado na imagem. Apos essa identificacao, cri-amos uma elipse em volta da area provavel da existenciado padrao. O centro dessa elipse sera interpretado como aposicao do objeto.

4.2. Calibragem do dispositivo

Calibrar o dispositivo significa descobrir qual sera o ob-jeto que deveremos buscar nas imagens. O software decalibragem exibe na tela a imagem sendo capturada pelacamera. Nessa imagem e desenhado um quadrado de bor-das pretas, sem coloracao interna, e o que estiver dentro delesera considerado um padrao a ser buscado pelo programa. Ousuario deve posicionar sob o quadrado o objeto que desejautilizar como padrao e pressionar uma tecla.

Outra maneira de efetuar essa etapa e fazer com queo usuario selecione com o mouse (como se estivesse de-senhando um retangulo) o objeto que deve ser tido comopadrao. Ambas as opcoes foram implementadas. Ao finaldessa etapa, sera desenhada uma elipse ao redor do objetorastreado, identificado por seu histograma de cor. Na Fi-gura 3, podemos observar o programa para calibrar o dispo-sitivo em execucao.

Figura 3: Calibracao do dispositivo de navegacao

Apos a identificacao e calibracao, o sistema utiliza o al-goritmo Continuously Adaptive Mean Shift (CamShift) [1],disponıvel no OpenCV atraves da funcao cvCamShift.Originalmente projetado para rastrear faces humanas, oCamShift e um algoritmo robusto, eficaz, leve e ade-quado para rastrear distribuicoes, como por exemplo carac-terısticas de cor. Como nosso objetivo era produzir um sis-tema capaz de rodar em computadores com baixo poder deprocessamento e rastrear um objeto bem definido (em ter-mos de cor), o CamShift mostrou-se adequado.

5. Metodologia

A hipotese primaria (H1) que testamos com este estudo ea seguinte: o sistema Fingertrax tera um desempenho equi-valente ou superior a utilizacao do sistema M&T. A justifi-cativa para H1 reside no fato do Fingertrax utilizar apenasum dispositivo de entrada (o dedo rastreado) com 3 grausde liberdade (os tres eixos de movimentacao), em contrastecom a necessidade de utilizacao coordenada de dois dispo-sitivos de entrada (mouse, 2 graus de liberdade, e teclado, 1grau de liberdade) no caso do tratamento M&T.

5.1. Materiais

O ambiente de testes foi desenvolvido na linguagem deprogramacao C++ utilizando a biblioteca OpenGL. O am-biente e formado por uma grande arena quadrada repleta dealvos que devem ser atingidos pelo usuario. Os alvos saoesferas que, quando atingidas, mudam da cor vermelha paraa verde. Existem 200 alvos no ambiente e o seus tamanhose posicoes sao atribuıdos randomicamente.

E importante salientar que o usuario sempre vera umagrande quantidade de alvos devido ao tamanho reduzido daarena em comparacao a quantidade de alvos gerados. Ostiros sao representados por pequenas esferas pretas e saodisparados a partir do centro da tela quando a tecla barrade espaco e pressionada. A movimentacao pode ser feitautilizando o sistema M&T ou o Fingertrax.

A tarefa de acertar a maior quantidade possıvel de al-vos no menor tempo possıvel foi a forma que encontramospara fazer com que o deslocamento funcionasse como ta-refa secundaria. Para forcar o participante a navegar peloambiente, criamos uma neblina que esconde a maior partedos alvos—desta forma os alvos tornam-se visıveis a partirde uma distancia mınima. Para evitar o computo de acertosdevido a tiros aleatorios que pudessem acertar alvos distan-tes, o disparo deixa de ser valido apos uma distancia limite.A Figura 4 exibe uma captura de tela do ambiente experi-mental.

Os testes foram feitos em um computador com pro-cessador Intel Pentium 4 3.00 GHz, 3 GB de memoriaRAM, placa de vıdeo NVIDIA GeForce 6200 TurboCachee camera digital de 1,3 megapixels.

5.2. Metodos

O experimento foi realizado com um grupo de 23 pes-soas na faixa etaria de 18 a 25 anos. Todos possuıam algumaexperiencia na utilizacao do mouse e teclado para tarefas denavegacao em ambientes virtuais.


87

Figura 4: Screenshot do ambiente de testes utilizado no ex-perimento

5.2.1 Procedimento Experimental

No inıcio do experimento, todos usuarios ouviam umaexplicacao acerca da utilizacao do Fingertrax, seguida deuma rapida demonstracao de aproximadamente 2 minutos.Apos essa etapa, o usuario dispunha de uma sessao de trei-namento de 5 minutos de duracao, na qual devia executarexatamente as mesmas tarefas do teste: locomover-se pelocenario e acertar a maior quantidade de alvos possıvel. Otreinamento foi incluıdo com o intuito de reduzir a van-tagem que M&T possuem por serem dispositivos cultural-mente consolidados.

No final do treinamento, o experimento se iniciava defato. O participante tinha 2 minutos para acertar a maiorquantidade de alvos possıvel utilizando o tratamento ex-perimental (Fingertrax). O mesmo participante efetuariao mesmo procedimento novamente (design intra-sujeito),dessa vez, utilizando o tratamento padrao (M&T). A or-dem dos tratamentos foi invertida para metade dos parti-cipantes. O design experimental intra-sujeito foi escolhidapara aumentar a amostragem do experimento, levando emconsideracao que a utilizacao de um tratamento nao inter-fere no desempenho do segundo tratamento na repeticao doexperimento.

A navegacao M&T seguia exatamente o modelo tradicio-nal, contudo, estava desprovida de movimentos laterais efe-tuados pelas teclas “a” e “d”. No fim do experimento, osdados obtidos foram a quantidade de tiros certeiros e erra-dos de cada usuario.

5.2.2 Resultados

Os resultados obtidos mostraram que os usuarios quandoutilizaram o tratamento padrao acertaram, em media, maisalvos do que quando utilizaram o tratamento experimental(veja a Figura 5). O indivıduo de melhor pontuacao como tratamento padrao acertou 61 alvos, enquanto a melhorpontuacao do tratamento experimental foi de 40 acertos. A

pior pontuacao tratamento padrao foi 23 alvos, e com o tra-tamento experimental foi 9.

Figura 5: Media de acertos em cada dispositivo. M&T naesquerda e Fingertrax na direita.

A quantidade de alvos errados foi menor quando osusuarios utilizaram o M&T ao inves do Fingertrax (ver Fi-gura 6). O indivıduo que mais errou utilizando o mouse eteclado, o fez 58 vezes. A maior quantidade de erros como Fingertrax foi 52. Contudo, o indivıduo que menos errouusando o mouse e teclado, o fez 4 vezes. Usando Fingertrax,a menor taxa de erros foi de 7.

Figura 6: Media de erros em cada dispositivo. M&T na es-querda e Fingertrax na direita.

Finalmente, a taxa de acerto dos usuarios em cada dispo-sitivo e apresentada na Figura 7. O indivıduo com a maiortaxa de acerto com mouse e teclado acertou 92,16% dosseus tiros. A maior taxa de acerto com o Fingertrax acertou78,79% dos tiros.

6. Discussao

Os resultados mostraram uma superioridade ampla domouse em todos os quesitos avaliados. Contudo, o de-sempenho do dispositivo proposto foi suficiente para atestarsua usabilidade e, apesar do pobre desempenho em relacaoao mouse, deve ser considerado uma alternativa para anavegacao em ambientes virtuais.


88

Figura 7: Media da taxa de acertos em cada dispositivo.M&T na esquerda e Fingertrax na direita.

O desempenho superior do mouse e teclado pode serjustificado pela familiaridade que os usuarios tem com suautilizacao. O primeiro contato com Fingertrax utilizado paranavegacao foi no momento do experimento, ou seja, a ex-periencia do usuario limitou-se ao seu uso durante a sessaode treinamento. Em contrapartida, o mouse vem sendo uti-lizado ha anos como dispositivo de interacao.

Outro fator interessante e pouca precisao do disposi-tivo. A utilizacao de algoritmos de visao computacionalpara rastrear o anel, e o movimento tremulo natural da maodo usuario acabam gerando alteracoes na posicao do ob-jeto rastreado. O dispositivo foi desenvolvido levando emconsideracao esses dois fatores e, para evitar um movimentonao intencional da camera, foi criado a “zona neutra”, naqual movimentacao da mao nao gera deslocamento no AV.Esse fato acarretou uma diminuicao na precisao do dispo-sitivo, pois pequenos deslocamentos intencionais poderiamnao ser considerados.

Com relacao a fadiga de uso, nao foi possıvel medir seuefeito, pois o tempo total de uso do Fingertrax por sessaofoi pequeno (2 minutos).

7. Consideracoes Finais

A interface de navegacao Fingertrax atingiu os objetivosiniciais de ser capaz de adaptar-se ao modelo de computa-dor pessoal vigente e possuir um mecanismo de funciona-mento bastante simples. Contudo, ele apresentou um de-sempenho inferior ao mouse e teclado nos testes compara-tivos. Isso se deve nao apenas ao treinamento dos usuarios,mas a questoes relativas a implementacao do sistema, comoo tratamento de pequenos movimentos.

Tendo em vista que grande parte dos problemas encon-trados na utilizacao do Fingertrax deve-se a baixa precisaodo algoritmo de visao computacional utilizado, futuramentedevemos avaliar outros algoritmos de visao computacional.O objetivo e aprimorar o rastreamento sem aumentar signi-ficativamente o tempo de processamento.

Referencias

[1] Computer vision face tracking for use in a perceptual userinterface. 2(2):12–21, 1998.

[2] D. A. Bowman, D. Koller, and L. F. Hodges. A methodo-logy for the evaluation of travel techniques for immersivevirtual environments. Journal of the Virtual Reality Society,3(2):120–131, June 1998.

[3] D. A. Bowman, E. Kruijff, J. J. L. Jr., and I. Poupyrev. Aintroduction to 3-D user interface design. Presence: Teleo-perators and Virtual Environments, 10(1):96–108, February2001.

[4] G. Bradski and A. Kaehler. Learning OpenCV: ComputerVision with the OpenCV Library. O’Reilly Media, 1st edi-tion, September 2008.

[5] G. C. Burdea and P. Coiffet. Virtual Reality Technology.Wiley-IEEE Press, 2nd edition, June 2003.

[6] P. R. Cohen, M. Johnston, D. McGee, S. Oviatt, J. Pittman,I. Smith, L. Chen, and J. Clow. Quickset: Multi-modalinteraction for distributed applications. In Proceedings ofthe Fifth International Multimedia Conference, pages 31–40, 1997.

[7] A. Fuhrmann, D. Schmalstieg, and M. Gervautz. Strollingthrough cyberspace with your hands in your pockets: Headdirected navigation in virtual environments. Proceedingsof the 4th EUROGRAPHICS Workshop on Virtual Environ-ments, 1998.

[8] C. Hand. A survey of 3d interaction techniques. ComputerGraphics Forum, 16(5):269–281, 1997.

[9] id Software. Wolfenstein 3D. http://www.idsoftware.com/games/wolfenstein/wolf3d/, ultimo acesso em outubro, 2010.

[10] J. J. LaViola, Jr., D. A. Feliz, D. F. Keefe, and R. C. Ze-leznik. Hands-free multi-scale navigation in virtual environ-ments. In I3D ’01: Proceedings of the 2001 symposium onInteractive 3D graphics, pages 9–15, New York, NY, USA,2001. ACM.

[11] L. S. Machado. Interacao em realidade virtual e reali-dade aumentada, volume 1 of Livros de minicursos do Bra-zilian Symposium on Virtual and Augmented Reality 2010(SVR2010), chapter 2 – Dispositivos Nao-Convencionaispara Interacao e Imersao em Realidade Virtual e Aumen-tada, pages 23–34. SBC, Canal6 editora, May 2010.

[12] M. R. Mine, F. P. Brooks, Jr., and C. H. Sequin. Mo-ving objects in space: exploiting proprioception in virtual-environment interaction. In SIGGRAPH ’97: Proceedingsof the 24th annual conference on Computer graphics andinteractive techniques, pages 19–26, New York, NY, USA,1997. ACM Press/Addison-Wesley Publishing Co.

[13] M. Sayers, S. Wilson, and J. McNeill. Navigational toolsfor desktop virtual environment interfaces. Virtual Reality,8(1):131–139, 2004.

[14] M. Usoh, K. Arthur, M. C. Whitton, R. Bastos, A. Steed,M. Slater, F. P. Brooks, and Jr. Walking, walking-in-place,flying, in virtual environments. In Proceedings of SIG-GRAPH 99, pages 359–364, 1999.


89

http://www.idsoftware.com/games/wolfenstein/wolf3d/



Melhorando o desempenho do rastreamento de pontos de interesse em

imagens através do paralelismo em GPU

Crystian Wendel M. Leão¹, João Marcelo X. N. Teixeira¹, Eduardo S. Albuquerque²,

Veronica Teichrieb¹, Judith Kelner¹

¹Centro de Informática

Universidade Federal de Pernambuco

{cwml, jmxnt, vt, jk}@cin.ufpe.br

²Instituto de Informática

Universidade Federal de Goiás

[email protected]

Resumo

O rastreamento de pontos de interesse é uma etapa

fundamental de muitos algoritmos de Visão

Computacional. Neste trabalho é proposta uma

adaptação do Ferns, um conhecido rastreador de

pontos de interesse em imagens, de forma a aproveitar

a capacidade de processamento paralelo fornecida

pelas GPUs atuais. Foi realizada uma análise em todo

o código fonte original da implementação do

algoritmo de forma a identificar regiões críticas e

quais delas eram passíveis de paralelização. Em

seguida, implementou-se a fase de rastreamento de

pontos de interesse em GPU e os resultados obtidos

foram comparados com os valores de referência em

CPU. As vantagens da nova versão são enumeradas e

justificam sua utilização, sempre que houver uma GPU

com suporte à CUDA disponível.

1. Introdução A capacidade de reconhecer pontos de interesse

em imagens geradas a partir de diferentes pontos de

vista representa o foco de muitos algoritmos de Visão

Computacional. A área de pesquisa em Realidade

Aumentada (RA) se utiliza de vários desses algoritmos

com o objetivo de sobrepor informações virtuais no

ambiente real do usuário [1]. Especificamente em

aplicações de RA sem marcadores, onde a carga

computacional é mais intensa, quando comparado à

RA com marcadores, é de importância fundamental a

utilização de algoritmos capazes de identificar de

forma correta regiões de textura na vizinhança de

pontos chave das imagens capturadas. Além disso,

outro requisito bastante importante nesse caso é o

desempenho em tempo real. O usuário deve receber

retorno instantâneo da aplicação, e a grande maioria

dos rastreadores existentes não oferece desempenho

satisfatório por apresentarem implementações

sequenciais e pouco otimizadas em CPU. Para

solucionar esse problema crítico de desempenho,

outras plataformas passaram a ser utilizadas como

ambiente de execução desses algoritmos. Uma delas é

a Graphics Processing Unit (GPU), que pode ser

utilizada de maneira genérica, com programação

semelhante à linguagem C, através da arquitetura de

CUDA (Compute Unified Device Architecture) [1].

Muitos algoritmos já foram implementados pela

comunidade nessa plataforma, e obtiveram ganhos

satisfatórios com a abordagem paralela, o que validou e

sedimentou a utilização da GPU como alternativa de

plataforma de execução. Em [2], uma versão paralela

do rastreador Kanade-Lucas-Tomasi (KLT) é proposta

e com ela é possível rastrear até 512 pontos chave

simultaneamente em tempo real. Em [3], foi criada

uma versão paralela do Scale Invariant Feature

Transform (SIFT) e, para imagens com resolução de

640x480, é possível conseguir um desempenho de 27,1

quadros por segundo ao se utilizar uma placa de vídeo

NVIDIA GeForce 8800 GTX. Em [4], um rastreador

bayesiano através de filtro de partículas foi

implementado e obteve um ganho de desempenho de

20 vezes, quando comparado à implementação original

em CPU. Por fim, em [5], um filtro de partículas é

utilizado para rastrear faces, e é capaz de detectar até 6

delas a uma taxa de 28 quadros por segundo, usando

uma resolução de 1024x768 pixels.

Visto que há uma tendência de melhoria de

desempenho através da utilização de algoritmos

paralelos, o objetivo deste trabalho é modificar um

conhecido rastreador de pontos de interesse em

imagens, o Ferns [6], para que seja possível executá-lo

em paralelo na GPU. O escopo deste artigo se limita à

implementação da fase de rastreamento do algoritmo e

os resultados obtidos com a adaptação realizada,


90

comparando o desempenho com a versão de referência

em CPU.

O restante do artigo está organizado da seguinte

forma: a seção 2 fornece os conceitos básicos

necessários ao entendimento do rastreador usando

Ferns. A seção 3 detalha a arquitetura CUDA utilizada

e as vantagens oferecidas pela mesma. A seção 4 lista

como se deram as alterações no algoritmo original e

quais pontos específicos foram atacados, no que diz

respeito à paralelização. Por fim, as seções 5 e 6

realizam uma análise dos resultados obtidos com a

versão implementada e apontam possíveis melhorias e

trabalhos futuros, respectivamente.

2. Ferns

A técnica Ferns foi desenvolvida por Vincent

Lepetit como sucessão à técnica Randomized Trees, e

ambas tratam o problema do casamento de padrões

como um problema de classificação [6]. Ele prova, em

seu trabalho, que patches (pedaços de uma imagem)

podem ser classificados se utilizando apenas de testes

binários aleatórios de luminância entre pixels,

agrupados em estruturas chamadas de Ferns, que

particionam o espaço entre todos os patches possíveis.

No trabalho, Lepetit trata todas as aparições possíveis

dos patches como classes, e os Ferns moldam uma

distribuição de probabilidade sobre estas classes. Um

grupo de testes não consegue ser discriminativo o

suficiente, mas utilizando vários grupos de Ferns, é

possível obter bons resultados.

Dessa forma, dado um patch qualquer, o algoritmo

tenta encontrar a classe correspondente a este patch.

Considere todas as classes, e

os resultados dos testes em cada um dos

testes binários. Formalmente, procura-se por

, (1)

onde C é uma variável aleatória que representa a

classe. De acordo com a fórmula de Bayes, pode-se

deduzir que

. (2)

Assumindo uma distribuição uniforme para e

dado que o denominador representa um fator de escala,

que independe da classe em questão, pode-se entender

o problema como a solução de

(3)

A fórmula anterior pode ser interpretada da

seguinte maneira: para cada classe, obtém-se a

probabilidade de dado um patch pertencente a mesma,

os resultados dos testes serem iguais aos observados, e

seleciona-se a maior destas probabilidades. O problema

desta abordagem é a necessidade de armazenar um

valor de probabilidade para cada classe, para cada um

dos possíveis resultados do conjunto de testes, ou seja,

valores.

Através de uma abordagem bayesiana semi-

ingênua, é possível agrupar os testes em conjuntos

pequenos, e assumir independência entre eles. Com

isto tem-se

∏ (4)

onde os N testes foram divididos em grupos

com testes, e representa o resultado obtido

dos testes do K-ésimo Fern. Utilizando esta

abordagem, é necessário armazenar apenas valores.

Em uma visão geral, o algoritmo pode ser dividido

em duas partes: treinamento e reconhecimento. Na

etapa de treinamento, o objetivo é construir as

distribuições de probabilidade das classes para cada

resultado possível de cada Fern. Essa etapa acontece

da seguinte maneira: são geradas várias homografias da

imagem a ser reconhecida, e de cada uma delas são

extraídos vários pontos chave. Cada um destes pontos

chave, os quais se sabe a qual classe pertencem, pois a

homografia foi gerada pelo algoritmo, é utilizado para

gerar a distribuição de probabilidade, sendo os pontos

chave detectados com maior frequência escolhidos

como as classes. A Figura 1, disponível em [7], mostra

um exemplo do treinamento quando se utiliza apenas

três Ferns, cada um deles com três testes. A Figura 2,

também disponível em [7], ilustra o resultado do

treinamento.

Figura 1. Cada cor representa uma classe. A figura mostra um patch, conhecidamente da

classe vermelha, passando por cada Fern. Ao final, a probabilidade de um patch da classe

vermelha passar pelo primeiro Fern e retornar 5 como resultado é incrementada, e assim

sucessivamente.


91

Figura 2. Ao final do treinamento teremos as

distribuições de probabilidade montadas.

Na fase de reconhecimento, basta passar o patch

em questão por cada Fern, e somar as distribuições de

cada Fern, para cada uma das classes. Finalmente, a

distribuição com maior valor é escolhida. A Figura 3

ilustra este processo.

Figura 3. Para análise, temos que passar o

patch por todos os Ferns, e somar as distribuições associadas com cada resultado

de cada Fern, e ao final apenas escolher a classe com maior probabilidade.

3. CUDA CUDA é uma arquitetura de computação paralela

de propósito geral da NVIDIA, lançada em novembro

de 2006, que permite que GPUs da NVIDIA (aquelas a

partir da série 8) sejam utilizadas para resolver

problemas computacionais variados.

CUDA permite que linguagens de alto nível, como

C, sejam utilizadas para programação em GPU, de

maneira simples. Para uma aplicação qualquer ter

vantagem na sua implementação em CUDA, ela deve

necessariamente ser paralelizável. Quanto maior o grau

de paralelismo da aplicação, melhor será a ocupação e

o consequente aproveitamento do hardware gráfico,

uma vez que milhares de threads podem ser executadas

paralelamente na GPU. Este trabalho faz uso da versão

1.1 de CUDA, uma vez que ela dá suporte a operações

atômicas, artifício utilizado durante o desenvolvimento

da versão paralela do algoritmo. Qualquer versão

superior a esta também será suportada.

4. Implementação

A metodologia de desenvolvimento adotada nesse

projeto consistiu em inicialmente realizar uma análise

de desempenho sobre o código de referência utilizado

[8]. O código está escrito em C++ e utilizou-se o

Microsoft Visual Studio 2008 para compilá-lo. Através

da busca por possíveis “gargalos” na execução do

algoritmo original, verificou-se que aproximadamente

99% do tempo é gasto em três etapas: construção da

pirâmide gaussiana (17,04%), extração de pontos

chave (11,78%) e classificação dos mesmos utilizando

Ferns (70,30%). Uma análise posterior constatou que

todas essas três etapas apresentavam características

favoráveis à paralelização (sequência bem definida de

operações, poucos desvios no fluxo de dados,

independência entre os dados processados etc.). Sendo

assim, este trabalho focou na implementação e

otimização dessas três etapas em GPU.

4.1. Construção da pirâmide gaussiana

A etapa de construção da pirâmide gaussiana tem

como objetivo preparar a imagem para a extração de

pontos chave. Inicialmente, dada uma imagem de

entrada, cria-se uma borda em volta da mesma, apenas

replicando os pixels da primeira e última linha, e da

primeira e última coluna. Em seguida, cria-se uma

nova imagem a partir da suavização gaussiana da

mesma, com kernel de tamanho 7x7. Essas duas

imagens compõem o primeiro nível da pirâmide. Para

criar o 2º nível, realiza-se uma sub-amostragem na

imagem não suavizada através da aplicação de uma

suavização gaussiana, com kernel de tamanho 5x5, e

descartando, após isto, todas as linhas e colunas pares,

obtendo assim uma imagem com metade da largura e

altura da anterior. Com esta imagem menor, aplica-se a

mesma suavização com o kernel 7x7 do passo anterior.

Ao final da etapa tem-se 2 imagens, onde

representa o nível máximo da pirâmide criada.

A geração da pirâmide gaussiana em GPU toma

como ponto de partida a imagem com a borda

construída em CPU (o tempo gasto com essa

construção é inferior a 1% do tempo total). Além disso,

o algoritmo de convolução em paralelo utilizado é

aquele disponibilizado no SDK de CUDA, com

modificações mínimas. O kernel trabalha com imagens


92

cujos valores de largura e altura sejam múltiplos de 48

para ser executado. Para tornar o tamanho da imagem

de entrada genérico, adiciona-se uma segunda borda à

imagem, de cor preta, de forma que a imagem se

adeque às restrições do algoritmo. A sub-amostragem

implementada em GPU utiliza a mesma convolução do

passo anterior, porém com kernel de tamanho 5x5.

4.2. Extração de pontos chave

A etapa de extração de pontos chave da imagem

tem por objetivo selecionar os patches mais prováveis

de pertencerem à imagem a ser rastreada, para

posterior utilização na etapa de classificação com

Ferns. A implementação de referência faz uso do

YAPE (Yet Another Point Detector), um extrator de

pontos chave convencional [9].

Para cada imagem suavizada nos diferentes níveis

de pirâmide em GPU, calcula-se a sua laplaciana. A

partir de comparações e cálculos considerando a 8-

vizinhança de cada pixel, determina-se se o mesmo

será considerado um ponto chave.

Para cada ponto selecionado, armazena-se um

score que representa o quão forte o ponto chave é em

relação aos demais. Esta etapa de extração de pontos

chave é completamente realizada em GPU, e o

processo é paralelizado como um todo, ou seja, cada

pixel é testado se é um ponto chave em uma thread

separada, e à medida que novos pontos são

encontrados, eles são salvos em um vetor. Através de

operações atômicas, esses pontos são salvos

sequencialmente na memória da GPU.

Após a extração dos pontos, eles são ordenados de

acordo com o score, com a ajuda de um algoritmo de

ordenação em GPU pertencente ao SDK de CUDA,

mais especificamente o Radix Sort.

4.3. Classificação dos pontos chave utilizando

Ferns

A etapa de classificação nos Ferns é a mais

custosa do processo, e tem por objetivo classificar um

patch da imagem em uma das classes obtidas na etapa

de treinamento.

Conforme explicado anteriormente, armazena-se

valores de distribuições de probabilidade,

onde é a quantidade de classes, é a quantidade de

testes por Fern e é a quantidade de Ferns, e

pares de endereços de pixels, que representam os testes

binários de cada Fern. Cada ponto chave obtido é

passado por cada Fern, executando assim testes,

e de acordo com o resultado obtido nos testes, obtém-

se valores de distribuições de probabilidade. O

processo é repetido para cada Fern. Cada um destes

valores representa a probabilidade do patch analisado

pertencer a uma das classes. Após passar por todos os

Ferns, somam-se as probabilidades associadas com os

resultados, para no final se ter uma única distribuição

com valores, onde é o número de classes. Por

fim, seleciona-se a maior destas probabilidades, e a

classe associada a ela é a escolhida.

Essa etapa foi paralelizada como um todo, sendo a

análise de cada patch executada em uma thread

diferente.

Durante a inicialização, as distribuições de

probabilidade previamente calculadas na fase de

treinamento são copiadas para a memória da GPU,

assim como os endereços dos pixels dos testes de cada

Fern. Os valores dos endereços dos pixels dos testes,

que estão armazenados como deslocamento em X e

deslocamento em Y, são transformados em um valor de

deslocamento absoluto dentro da imagem, de acordo

com a largura da mesma, para uma otimização nos

testes.

Na etapa de classificação existe bastante demanda

por leitura de memória global para obtenção dos

valores das probabilidades. Por essa razão, utilizou-se

memória de textura, para um melhor desempenho, já

que a mesma é acessada em blocos de dados e é

acelerada por uma cache auxiliar.

Após a classificação, os pontos são copiados de

volta para a memória da CPU, e o algoritmo no host

executa o restante das operações.

5. Resultados

Todos os testes realizados foram executados em

uma máquina com as seguintes configurações: Core 2

Quad Q9400, 2,66 GHz, com 4 GB de RAM, Windows

7 Professional 64 bits, e uma placa de vídeo NVIDIA

GeForce 9800 GX2.

A entrada do algoritmo, em todos os testes,

correspondeu a um vídeo que acompanha a distribuição

do código de referência do Ferns [8], no qual uma

pessoa expõe para a câmera, em variadas poses, um

mousepad com uma imagem de um gato, como mostra

a Figura 4. Todos os tempos de execução medidos se

referem ao tempo médio quando o algoritmo é

executado com essa entrada específica, e analisa todos

os seus frames. A resolução deste vídeo é de 720x480

pixels.


93

Figura 4. Quatro quadros do vídeo usado nos

testes, disponível em [8].

Os autores consideraram os resultados iniciais

obtidos com esse trabalho satisfatórios tanto com

relação ao tempo de execução, pois houve uma redução

considerável, quanto à classificação dos pontos chave

em si, pois os resultados foram absolutamente iguais

àqueles do algoritmo original. Vale salientar que este

trabalho se encontra em sua primeira fase de

otimização.

Na primeira etapa, construção da pirâmide

gaussiana da imagem, obteve-se um tempo médio de

6,59 ms, contra 13,48 ms em CPU. Apesar do

algoritmo de convolução paralela ser bastante eficiente

em relação a sua versão em CPU, o fato de se utilizar

imagens pequenas nos últimos níveis da pirâmide,

acarreta em tempos similares entre CPU e GPU.

Na segunda etapa, extração de pontos chave,

obteve-se um tempo médio de 10,12 ms, contra 15,33

ms em CPU. Esta etapa também é bastante custosa por

acessar bastante memória global da GPU, assim como

por utilizar operações atômicas, que degradam

consideravelmente o desempenho da GPU.

Na terceira e última etapa, classificação dos pontos

chave utilizando Ferns, implementada em CUDA,

obteve-se um tempo médio de 16,27 ms, contra 63,60

ms em CPU, com uma média de 921 pontos chave

analisados por quadro.

Comparando o tempo de execução como um todo,

a taxa de quadros média do algoritmo em CPU, que era

de aproximadamente 9,8, foi melhorada para 21,16, o

que representa uma melhora considerável no tempo de

resposta para o usuário do sistema de RA.

A Figura 5 ilustra a fatia de tempo relativa de cada

uma das etapas do algoritmo em CPU e em GPU. A

Figura 6 mostra a melhoria conseguida em cada uma

das etapas, comparando os resultados em GPU com os

tempos em CPU.

Figura 5. O tempo relativo de cada uma das etapas no algoritmo original, em CPU, e na versão adaptada para GPU.

1ª Etapa 2ª Etapa 3ª Etapa

Speedup 104,55% 51,48% 290,90%

Figura 6. Na parte superior, o tempo de execução em milissegundos de cada uma das etapas em CPU e em GPU. Na parte inferior, o ganho percentual de velocidade em cada uma das etapas.


Este trabalho propôs uma implementação paralela

do Ferns, um rastreador de pontos de interesse bastante

utilizado em aplicações de RA e Visão Computacional.

Através da análise realizada por meio de testes

envolvendo a implementação de referência, verificou-

se que a versão implementada pelos autores apresentou

as seguintes vantagens:

Aumento de desempenho – ganho de 290% na

etapa de classificação e ganho de até 115% no

tempo total em comparação à versão original

em CPU;

Redução da carga de processamento da CPU –

o host fica livre para processar as informações

da aplicação, usando o rastreador

6,59 10,12

16,27 13,48 15,33

63,6

0

10

20

30

40

50

60

70

1ª Etapa 2ª Etapa 3ª Etapa

Tempos de execução

GPU

CPU


94

implementado em GPU apenas como uma

biblioteca;

Economia de memória da CPU – as

distribuições de probabilidade são agora

armazenadas na memória da GPU

(aproximadamente 280 MB), o que acelera o

acesso e diminui a utilização de memória no

host.

Pretende-se, como trabalhos futuros, implementar

o algoritmo por completo em GPU, ambas as fases de

treinamento e rastreamento. Além das novas partes a

serem implementadas, existem muitas otimizações que

podem ser feitas, envolvendo a não utilização de

operações atômicas, melhor utilização dos kernels

disponíveis, e aplicação da memória de textura sempre

que possível. Além disso, pretende-se implementar

suporte à plataformas multi-GPU e utilizar o conceito

de threads persistentes, de forma a balancear melhor a

carga de processamento entre as diferentes threads na

placa de vídeo. Outro trabalho futuro, que seria uma

contribuição para este trabalho é a implementação do

algoritmo para CPU Multi-core, e realizar uma

comparação de desempenho com a versão em GPU.

7. Referências

[1] T. Farias et al., "High Performance Computing: CUDA as

a Supporting Technology for Next Generation Augmented

Reality Applications," in Livro dos Minicursos do SVR 2008.

Recife: Gráfica e Copiadora Naciona, 2008, pp. 91-116.

[2] C. Zach, D. Gallup, and J.-M. Frahm, "Fast gain-adaptive

KLT tracking on the GPU," IEEE Computer Society

Conference on Computer Vision and Pattern Recognition

Workshops, 2008, pp. 1-7.

[3] SiftGPU: A GPU Implementation of Scale Invariant

Feature Transform (SIFT).

http://www.cs.unc.edu/~ccwu/siftgpu/, 2010.

[4] Geoffrey Ulman, "Bayesian Particle Filter Tracking with

CUDA," George Mason University, 2010.

[5] Oscar Mateo Lozano and Kazuhiro Otsuka, "Real-time

Visual Tracker by Stream Processing," Journal of Signal

Processing Systems, vol. 57, no. 2, 2009, pp. 285-295.

[6] Mustafa Özuysal, Michael Calonder, Vincent Lepetit, and

Pascal Fua, "Fast Keypoint Recognition using Random

Ferns”, TPAMI 32(3), IEEE Computer Society, Washington,

2010, pp. 448-461.

[7] A Semi-Naive Bayesian Classifier for Fast Patch

Classification.

http://cvlab.epfl.ch/alumni/oezuysal/ferns.html, 2010.

[8] Ferns: Planar Object Detection Demo.

http://cvlab.epfl.ch/software/ferns/index.php, 2010.

[9] Vincent Lepetit and Pascal Fua, "Towards Recognizing

Feature Points using Classification Trees," Swiss Federal

Institute of Technology, Lausanne, Switzerland, 2004.

[10] R. Azuma et al., "Recent advances in augmented

reality," Computer Graphics and Applications, IEEE, vol. 21,

no. 6, Nov. 2001, pp. 34 -47.


95

http://www.cs.unc.edu/~ccwu/siftgpu/

http://cvlab.epfl.ch/alumni/oezuysal/ferns.html

http://cvlab.epfl.ch/software/ferns/index.php

Metodologia de geração de dados de referência para rastreamentos ópticos

Lucas Teixeira, Manuel Loiaza, Alberto Raposo, Marcelo Gattass Tecgraf, Departamento de Informática, Pontifícia Universidade Católica do Rio de Janeiro

{lucas,manuel,abraposo,mgattass}@tecgraf.puc-rio.br

Resumo

Neste trabalho apresentamos uma metodologia

para geração de dados de referência para algoritmos de rastreamento óptico. Nós definimos um tipo de marcador especial para tal tarefa, propomos duas maneiras de fazer a medição da posição 3D dos marcadores e apresentamos um algoritmo para localizar os marcadores na imagem semi-automaticamente. Nós resultados apresentamos uma comparação entre as duas maneiras de realizar a medição dos pontos 3D no cenário real e um caso de uso usando um marcador ARToolKitPlus.

1. Introdução

Na área de realidade virtual e aumentada uma ferramenta fundamental tem sido os sistemas de rastreamento óptico. Este tipo de sistema tem o objetivo de processar, identificar e rastrear constantemente um conjunto de características, naturais ou artificiais, encontradas dentro de um cenário específico. É justamente baseado nessas características que a correspondência e o mapeamento 3D da posição de diversos objetos no cenário são realizados. Esse mapeamento e a sua precisão são as chaves mestras para poder adicionar os elementos virtuais no cenário real com maior qualidade visual e coerência espacial. O resultado esperado é que esses objetos virtuais sejam confundidos com os reais, enquanto o usuário navega pelo cenário e o vê através das imagens capturadas e posteriormente processadas de uma câmera de vídeo.

No entanto, garantir a corretude de um sistema de rastreamento óptico é bastante difícil, principalmente quando a área de rastreamento é muito longa. Pensando nisso alguns métodos baseados em padrões fiduciais têm sido propostos. Como exemplo deste tipo de método podemos citar a reconhecida biblioteca de realidade aumentada “ARToolkit” ou clássicos

padrões em formato de xadrez, os quais possuem formatos que permitem a sua identificação de uma forma rápida e com altas taxas de acerto em uma área de rastreamento. Porém, esses tipos de marcações e padrões não possuem pontos de referência suficientes para mensurar a qualidade de um rastreador projetado para funcionar em ambientes extensos. Por este motivo, muitas vezes, é preciso espalhar no ambiente um número grande destes padrões para poder manter um rastreamento preciso dentro do cenário.

Nossa proposta para mensurar a qualidade do rastreamento é desenvolver um método composto por duas etapas. Uma primeira etapa consiste em medir alguns pontos manualmente na área de rastreamento, usando para isto uma estação total, equipamento muito utilizado na engenharia civil para medir com precisão a posição 3D de pontos específicos num cenário real. A segunda etapa consiste em capturar o mesmo ponto no espaço para o qual fizemos a medição com a estação total e, usando os sistemas de rastreamento óptico, reprojetar a posição 3D do ponto na imagem da câmera usando os parâmetros de calibração fornecidos pelo sistema de rastreamento. O erro que desejamos medir para usar como base de comparação é a distância em pixels do ponto correto medido visualmente na imagem com o ponto reprojetado pelo sistema de rastreamento. Esse erro pode ser usado como uma métrica para mensurar a qualidade de um sistema de rastreamento óptico.

No entanto, esta técnica apresenta o problema de ter que realizar de forma manual a marcação dos pontos de referência na imagem para depois compará-los com os pontos projetados pela calibração da câmera fornecida pelo sistema de rastreamento. Supondo que um vídeo de teste com duração de 10 segundos tenha sido capturado a uma taxa de 30 frames por segundo, se existirem 10 pontos visíveis na imagem seria necessário marcar cerca de 3000 pontos manualmente. Além do trabalho de marcação, a possibilidade de uma marcação errada é diretamente proporcional ao número


96

de pontos a serem marcados. Por esse motivo, na metodologia proposta neste trabalho, também é implementada uma técnica para detectar pontos na cena de forma semi-automática. Para isso propomos um novo tipo de marcador e um algoritmo capaz de acompanhá-lo durante a navegação na cena. Após o marcador ter sido detectado uma primeira vez em um quadro específico, o algoritmo proposto o rastreará durante os próximos quadros nos quais ele esteja presente, só precisando ser reiniciado quando ele sair e voltar ao campo de visão da câmera que o esteja rastreando.

Este artigo está organizado da seguinte forma. A seção 2 apresenta trabalhos relacionados. A seção 3 descreve o método proposto. A seção 4 apresenta os resultados. A seção 5 apresenta algumas conclusões.


A verificação de um sistema de rastreamento óptico é normalmente realizada de forma muito limitada. Para isso é necessário uma outra forma de medir a posição da câmera ao longo do tempo. Atualmente, as únicas formas de se fazer isso é usar um sistema mecânico como o da FARO mostrado na figura 1 ou usando um sistema óptico como o da VICON mostrado na figura 2, que garantem erro de medição de décimos de milímetro a uma distância maior de 50cm entre a câmera e os pontos medidos. Usar marcadores tipo ARToolKit é inviável pela sua limitada precisão e por ocuparem uma área muito grande da cena.

Ambos os sistemas são precisos, mas têm áreas de utilização muito pequenas. O braço extensível da FARO tem um alcance de 1.8 a 3.7 metros dependendo do modelo e o sistema VICON tem uma área útil ,em alta precisão, de cerca de 0.5 a 2 metros quadrados.

Outra forma mais genérica para verificar se um algoritmo de rastreamento está correto é usar uma base de dados onde à posição da câmera tenha sido previamente calculada. Lieberknecht et al [1] apresentam uma base de dados com a posição da câmera já calculada mecanicamente. No entanto, esta base de dados só serve para algoritmos de rastreamento baseados em texturas, pois suas imagens são passeios de câmera olhando para uma textura planar.

Outra base de dados muito utilizada é a Middlebury [2]. Além de usar imagens sintéticas, eles conseguiram criar pontos de referência bastante densos usando uma textura fluorescente escondida atrás dos objetos da cena. Esse mesmo grupo fez uma segunda base de dados para reconstrução baseada em imagens estéreis usando um scanner a laser. No entanto, todas as formas de base de dados conhecidas nunca são suficientes para

avaliar qualquer tipo de rastreamento de câmera, pois a cena ou os tipos de marcadores filmados não cobrem todos os tipos de rastreamento, mesmo porque constantemente estão surgindo novas técnicas para modelar tanto padrões [3] como algoritmos de visão computacional criados para detectar esses novos padrões [4].

Recentemente, Zimmerman et al [6] apresentaram um banco de dados com três seqüências de imagens e seus correspondentes movimentos de câmera. Todos os dados gerados foram feitos de forma manual pelos autores usando alguns marcadores em forma de cruz. Esses marcadores foram colados em torno de texturas ou em objetos da cena que foram marcados manualmente na imagem. Essas seqüências têm cerca de 12000 imagens no total. Essa estratégia é a mesma utilizada na nova metodologia proposta. A diferença é que nós fornecemos uma forma de marcar os pontos de referência na imagem de forma rápida e com a possibilidade de erro na identificação reduzida. Essa redução é decorrente do fato do usuário marcar os pontos em apenas poucos quadros.

Figura 1: Sistema mecânico de geração de dados de

referência da FARO. Fonte: [1]

3. Ambiente de teste

Nessa sessão será descrito como montar o ambiente de teste utilizado neste artigo. Os requisitos para nosso método de teste são: um tipo especial de marcador, iluminação ambiente sem mudanças bruscas e suficientemente constante, que permita encontrar nossos marcadores na imagem com alto grau de corretude. Além disso, é preciso medir a posição dos marcadores no ambiente. Então será descrito um método de medição simples e um outro método de alta precisão. Posteriormente será explicado como organizar o processo de testes.


97

Figura 2: Sistema óptico da VICON para geração de

dados de referência. Fonte: VICON 3.1. Marcadores

Nossos marcadores são esferas de isopor brancas coladas em um pedaço de cartolina preta, como mostrado na figura 3.

O centro da esfera branca é o nosso ponto de referência, dessa forma é possível calcular esse ponto de qualquer posição e perspectiva da câmera em que a esfera possa ser visualizada. O contraste entre a cor do marcador branco e a base de cartolina preta ajuda a reconhecer e ressaltar quadro a quadro os nossos marcadores dentro da cena, sendo facilmente distinguidos na imagem. A captura do centro da esfera como ponto de referência se baseia na seguinte característica: a esfera vista na imagem a partir de qualquer perspectiva vira um círculo cujo centro é sempre um ponto que se somado ao raio da esfera resulta no centro da esfera.

O pedaço de cartolina preta que é colado na esfera também permite uma segmentação mais correta da esfera, pois na maioria dos ambientes as paredes ou os móveis são de cor clara podendo atrapalhar o reconhecimento de nossos marcadores.

Os tamanhos da esfera e da cartolina dependem da distância em que a câmera está dos marcadores. De forma geral, espera-se que a esfera cubra pelo menos 4x4 pixels na imagem e que a cartolina preta seja suficiente para olhar a esfera lateralmente e ainda assim formar uma borda preta ao redor da esfera.

3.2. Medição dos marcadores

A medição dos marcadores em geral é uma tarefa muito sensível a erro. Abaixo vamos descrever duas formas de medição. A primeira é simples e barata de se fazer, pois usa equipamentos comuns como réguas e

nível. No entanto tem uma imprecisão maior e não é aplicável a cenas em que os marcadores não sejam co-planares. A segunda é altamente precisa e mais geral, usando um equipamento de topografia que mede pontos 3D. Em compensação esse segundo método é caro por usar um equipamento especializado e de difícil acesso.

Figura 3: Marcadores utilizados para esse trabalho.

Figura 4: Modo de medição simples dos marcadores simples, à esquerda e a estação total à direita.

3.2.1 Método Simples

O método simples usa equipamentos de marcenaria e construção. Uma régua de 1 metro, uma trena, um nível e fita crepe, como mostrado na figura 4. Com esses instrumentos é possível espalhar marcadores ao longo de paredes consecutivas e ter uma precisão razoável na medição dos marcadores.


98

O método se baseia em colocar o eixo Y do sistema de coordenada paralelo ao eixo gravitacional para possibilitar encontrar o eixo X usando o nível. Então começamos marcando um ponto na parede que será a origem do sistema de coordenada. Em seguida, marcamos pontos na mesma altura(Y) que a origem do sistema de meio em meio metro em X usando a régua e o nível. Depois unimos esses pontos com fita crepe. Essa fita será o eixo X. Usando a régua e o nível, medimos a distância do marcador até a fita, que é a coordenada Y do marcador. Por fim medimos com a trena a distância do ponto de intercessão da régua com a fita até o ponto de origem, essa distância é a coordenada X do marcador.

Para continuar a medição em paredes consecutivas, elas precisam ser perpendiculares, assim é só trocar a coordenada X por Z. ou vice-versa, dependendo de qual coordenada estava variando na parede anterior. 3.2.2 Método de Alta Precisão

O método de alta precisão usa um equipamento chamado estação total (figura 4). Esse instrumento foi desenvolvido para área de topografia. Ele pode ser considerado um avanço do teodolito digital. O teodolito digital é um equipamento que é capaz de medir a rotação no eixo gravitacional e no eixo perpendicular a ele. A estação total é esse mesmo equipamento somado a um medidor de distâncias a laser. Com essas duas rotações e a distância até o ponto de interesse ele é capaz de calcular a coordenada 3D de um ponto num sistema de coordenada previamente informado.

Para fazer a medição basta apontar o equipamento para o centro da esfera que ele informará a posição 3D do ponto. Subtraindo essa posição da posição da estação total, que também é fornecida pelo equipamento, temos o vetor de intersecção na esfera. Então para encontrar o centro da esfera basta adicionar o valor do raio da esfera na direção desse vetor.

3.3. Processo de teste

O processo de teste é um resumo do passo a passo

para usar nossa metodologia de testes. Os passos não precisam ser executados exatamente na ordem que são descritos. No entanto, a ordem que propomos é mais eficiente segundo nossos casos de teste.

O primeiro passo é montar a cena de teste e verificar se o algoritmo de rastreamento em análise funciona nessa cena. O segundo passo é escolher o tamanho das esferas para os marcadores e posicioná-los na cena de teste. O terceiro passo é gravar o vídeo de teste que será usado tanto pelo algoritmo de

rastreamento em análise quanto pelo nosso algoritmo de acompanhamento de marcadores. O quarto passo é testar se o algoritmo de rastreamento funciona nesse vídeo gravado, se as esferas têm um tamanho de pelo menos 4x4 pixels na imagem e se há um mínimo de esferas por quadro do vídeo, caso algum desses testes falhe volte para o segundo passo.

O sexto passo é usar o aplicativo que implementa o nosso algoritmo de acompanhamento de marcadores para marcar os pontos de entrada e saída. Esses pontos serão mais bem explicados na próxima sessão. Com esses pontos e o vídeo, o algoritmo é capaz de gerar uma lista de marcadores para cada quadro do vídeo contendo a posição na imagem de cada um dos marcadores visíveis. O sétimo passo é fazer a medição da posição 3D dos marcadores. Essa é, sem dúvida, a tarefa mais demorada de se fazer, então só deve ser realizada quando todas as outras tiverem ocorrido com sucesso e não seja necessária nenhuma modificação na posição dos marcadores.

4. Algoritmo de Acompanhamento dos Marcadores

O algoritmo de acompanhamento dos marcadores é o responsável por descobrir a posição do marcador no frame corrente a partir da posição do marcador no frame anterior. O algoritmo proposto usa um algoritmo de fluxo óptico para fazer isso. Além disso, usamos uma estratégia para segmentar os marcadores e extrair o centro do círculo que representa a esfera na imagem.

4.1 Visão Geral

Será descrito, primeiramente, o processo geral do

algoritmo e depois daremos detalhes sobre cada um dos sub-algoritmos.

Para o nosso algoritmo, a primeira etapa é o usuário marcar no vídeo os pontos de entrada e saída dos marcadores. Um ponto de entrada é a posição em que um marcador está no quadro corrente. É necessário marcar um ponto de entrada toda vez que no quadro anterior o marcador em questão não esteja visível. Um ponto de entrada é composto pela coordenada X e Y do marcador no quadro K e pelo ID do marcador (Ptsentrada(K)={X,Y,K,ID}). Já um ponto de saída é o quadro em que um marcador desapareceu, sendo que no quadro anterior ele estava presente (Ptssaída(K)={K,ID}).

Todavia, é muito difícil marcar todos os pontos de entrada e saída do vídeo olhando imagem por imagem. Então para isso o processo de marcação interage com o processo de acompanhamento dos marcadores, que


99

será explicado abaixo. Basicamente, o usuário marca os pontos de entrada no quadro 1 e aciona o acompanhador dos marcadores que vai atualizando a posição dos marcadores ao mesmo tempo em que avança o vídeo. Quando o usuário chegar a um quadro em que entrou um novo marcador, ele pára o avanço do vídeo e marca o ponto na imagem. Em seguida liga o avanço do vídeo novamente. O mesmo é feito para os pontos de saída. Quando o usuário chegar ao final do vídeo todos os pontos de entrada e saída vão estar marcados. Após esse procedimento basta executar o acompanhamento do vídeo desde o quadro 1 até o final salvando a lista de pontos (posições dos marcadores na imagem) a cada quadro, como mostrado na figura 5.

O processo de acompanhamento inicia com a lista de pontos vazia no quadro i=1. Então ele entra num ciclo que o primeiro passo é adicionar os pontos de entrada que foram marcados no quadro(i). Caso já exista um ponto para o marcador daquele ID , ele é substituído. Já os pontos de saída são usados para eliminar da lista de pontos aqueles com os mesmos IDs.

Em seguida, cada ponto da lista tem suas coordenadas corrigidas usando um algoritmo para encontrar o centro de um círculo. Abaixo este algoritmo será explicado com mais detalhes.

Após a correção, os pontos são salvos para o usuário usar como pontos de referência. Se o quadro atual não for o último, ele calcula o fluxo óptico, que informa a posição dos pontos do quadro atual no próximo quadro. Com essas novas posições os pontos retornam ao início do ciclo.

4.2 Correção dos Pontos

A correção dos pontos é feita, primeiramente,

binarizando a imagem. Todos os pixels na imagem em tons de cinza abaixo de um liminar viram pretos e acima brancos. Depois identificamos na imagem todos os grupos de pixels unidos com mais de 4 pixels e menos de 100 pixels. Cada grupo recebe o nome de Blob. Então procuramos o blob mais perto de cada marcador e com no máximo 8 pixels de distância do ponto atual. Caso exista esse blob, calculamos qual o maior círculo que cabe dentro desse blob e o centro desse círculo passa a ser o ponto corrigido.

4.3 Fluxo Óptico

Fluxo ótico é uma técnica que calcula para onde

cada pixel da tela se deslocou entre dois quadros do vídeo. No nosso caso estamos interessados apenas nos pontos da lista. Sendo assim o gasto computacional é

bastante inferior. Nós usamos o fluxo óptico fornecido pelo OpenCV, que implementa uma versão piramidal do rastreador de pontos Lucas Kanade[5].

Figura 5:processo de acompanhamento 5. Resultados

Para validar nossa metodologia vamos

primeiramente comparar o modo de medição simples com o de alta precisão para analisar a faixa de erro na medição no modo simples. Em seguida vamos analisar o número de marcações que o usuário precisa fazer para conseguir o rastreamento em uma cena típica. Por fim vamos fazer um estudo de caso com um marcador do ARToolKitPlus para analisar o nível de erro de reprojeção desse toolkit.

Nossa implementação do algoritmo de acompanhamento dos pontos foi desenvolvido usando a biblioteca OpenCV. Nossa câmera é uma unibrain Fire-I, na resolução de 320x240 a 30fps. Nossa Estação total é uma Sokkia 530RK3 e tem um erro menor que 5 mm.

5.1 Diferença entre os modos de medição

A nossa avaliação sobre os modos de medição foi feito dispondo 8 marcadores ao longo de uma parede. Então usamos os dois métodos de medição para descobrir a posição dos marcadores na parede. Na tabela 1 podemos ver os resultados.

Como podemos ver na tabela, o erro médio foi de 2.22 cm. Sendo assim, quando for usar o método


100

simples de medição é importante usar distâncias maiores até a parede, onde esse erro não é significativo. Por exemplo, se tivesse um marcador de ARToolKit de 5 centímetro próximo a uma esfera branca que foi medida com um erro de 2.2 cm. Esse erro seria inaceitável.

id Xs Xp ∆X Ys Yp ∆Y erro1 38 37.5 0.5 10 10.1 -0.1 0.512 14.5 16.5 -2 -6.1 -6.5 0.4 2.043 51.4 51.4 0 -40.5 -43.5 3 3.004 56 55.7 0.3 45.5 45.4 0.1 0.325 64.7 64.6 0.1 -10.5 -13.2 2.7 2.706 82 82.4 -0.4 18.3 18.7 -0.4 0.577 99.5 99.5 0 -27.5 -29.9 2.4 2.408 115.1 112.7 2.4 47 47 0 2.40

média 2.22

Tabela 1 : Valores em cm. O par Xs e Ys são o ponto medido com o modo de medição simples e o par Xp e Yp no modo de alta precisão. ∆X e ∆Y são as variações nas medidas em cada um dos eixos. Erro é a distancia euclidiana entre os pontos. 5.2 Caso de uso Nós usamos um marcador do ARToolKitPlus para ilustrar o funcionamento da nossa metodologia. Na figura 6 podemos ver o quadro 336 à esquerda e o quadro 641 à direita. Na figura 7, o gráfico do erro de reprojeção para o vídeo de teste. Nesse teste foi necessário marcar apenas 9 pontos.

Figura 6 Vídeo de teste. Os pontos vermelhos são os centros das esferas e os azuis são os pontos 3D reprojetados. 6. Conclusões e Trabalhos Futuros

A metodologia se mostrou plenamente capaz de fornecer os dados necessários para o teste de algoritmos de rastreamento de uma forma geral. Os marcadores utilizados são minimamente invasivos na cena e fornecem ótima precisão, sendo assim uma opção para aqueles que estiverem procurando um

método para gerar dados de referência com relativa facilidade.

Como trabalho futuro, seria interessante investigar a possibilidade de detectar os pontos de entrada e de saída automaticamente.

Figura 7: Gráfico de erro de reprojeção médio em cada um dos quadros do vídeo. Os erros que atingem o topo do gráfico significa que o ARToolKit não conseguiu calibrar a câmera.

Agradecimentos: à Petrobras que é a principal

financiadora do Tecgraf/PUC-Rio e à Fabiola Maffra pela ajuda na montagem do caso de teste e revisão do artigo

7. Referências [1] S Lieberknecht, S Benhimane, P Meier, N Navab, "A dataset and evaluation methodology for template-based tracking algorithms," IEEE / ACM ISMAR 2009 [2]. S. Baker,D. Scharstein, J.P Lewis, S Roth, M.J Black. , R. Szeliski: “A database and evaluation methodology for optical flow”. ICCV. 2007 [3]M. Loaiza, A. Raposo and M. Gattass “A Novel Optical Tracking Algorithm for Point-Based Projective Invariant Marker Patterns”, ISVC 2007 [4]L. Teixeira ,M. Loaiza, A. Raposo and M. Gattass “Augmented Reality Using Projective Invariant Patterns”, ISVC 2008 [5] J. Bouguet. Pyramidal implementation of the Lucas-Kanade feature tracker: description of the algorithm. Technical report, OpenCV Document, Intel Microprocessor Research Labs, 2000. [6] K. Zimmerman, J. Matas, and T. Svoboda. Tracking by an optimalsequence of linear predictors. PAMI, 31(4):677–692, April 2009.


101

SESSÃO TÉCNICA 5

FATORES HUMANOS


102

Estudo Comparativo sobre a Percepção de Pistas Sonoras em Ambientes Virtuais

Alyson Matheus de Carvalho Souza [email protected]

Selan Rodrigues dos Santos [email protected]

Departamento de Informática e Matemática Aplicada — DIMAp

Universidade Federal do Rio Grande do Norte — UFRN Campus Lagoa Nova, 59072-970, Natal/RN, Brasil

Resumo

O trabalho apresentado neste artigo tem como objetivo estudar os diferentes sistemas de som disponíveis para aplicações de Realidade Virtual. Tentamos explicar as diferenças encontradas entre estes sistemas e a partir daí oferecer diretrizes de como eles devem interagir com a aplicação de RV. Em seguida, apresentamos a realização dos experimentos de teste para fones, caixas estéreo e mono. Por último, explicamos o porquê da eficiência de cada dispositivo, assim como discutimos o motivo de termos chegado a conclusões sobre qual o melhor método para a tarefa especificada. 1. Introdução

A Realidade Virtual (RV), que busca inserir o usuário em um ambiente virtual através de estímulos aos sentidos do mesmo, tem evoluído de maneira rápida e constante quanto à visão. A maioria dos sistemas de RV se preocupa em enfatizar o sentido da visão, buscando gerar tanto imagens mais realistas e/ou em estereoscopia, bem como oferecer mecanismos para possibilitar a imersão no mundo virtual, através do uso de head-mounted displays (HMD) ou mesmo CAVEs.

Em contrapartida, a renderização sonora tem sido pouco explorada nos sistemas de RV tradicionais. Tendo em vista o grande papel que nossa audição tem no nosso senso de localização e presença, faz-se necessário estudar e desenvolver mecanismos que possibilitem a integração do estímulo auditivo nas aplicações de RV. O objetivo é provocar uma sensação de imersão ainda maior, assim como uma maior facilidade no cumprimento de tarefas que exigem uma percepção sonora precisa por parte do usuário da aplicação.

Ao analisarmos a última edição do WRVA e as três últimas do SVR — as duas maiores reuniões da área de RV no Brasil — é possível perceber que foram

publicados nos anais menos de 10 artigos relacionados a som [6,7,8,9]. Isso comprova o fato que esta área de pesquisa de RV está sendo pouco explorada aqui no Brasil.

Nesse artigo, utilizamos três diferentes sistemas de exibição de som em busca de identificar qual deles melhor atende a necessidade de uma aplicação de Realidade Virtual de mesa desenvolvida para testar a capacidade do usuário de diferenciar sons diversos e descobrir sua localização espacial.

A hipótese primária, H1, a ser testada é a de que, por se tratar de um sistema de Realidade Virtual de mesa, onde não há movimentação do monitor, o fone será a melhor solução para cumprir a tarefa de maneira eficiente. A hipótese secundária, H2, que investigamos é que as caixas estéreo apresentam melhor desempenho que a configuração mono, uma vez que tal sistema apresenta uma pista auditiva a mais, em relação à renderização em mono.

Para testar as hipóteses levantadas, realizamos testes com usuários utilizando o design entre-sujeitos, testando os três sistemas de som. Nesse experimento buscamos medir o tempo que era necessário para o cumprimento das tarefas, assim como a taxa de erro dos usuários e o caminho que eles percorriam. O objetivo era encontrar diversos sons vindos de lugares diferentes no espaço, no menor tempo possível, com a menor taxa de erro que os usuários conseguissem.

Foram feitos testes com usuários de ambos os sexos, numa faixa etária entre 18-27 anos. Os participantes obtiveram um resultado que satisfez a hipótese primária mas refutou a hipótese secundária. A validação dos resultados foi feita através do método ANOVA.

Este artigo está organizado da seguinte maneira: a Seção 2 apresenta alguns trabalhos relacionados, a Seção 3 introduz alguns conceitos fundamentais para a compreensão do trabalho e do experimento realizado; a Seção 4 descreve os detalhes de implementação, enquanto que a Seção 5 detalha os experimentos realizados; a Seção 6 analisa os resultados obtidos e a


103

última seção contém nossas considerações finais e algumas indicações de trabalhos futuros.


O trabalho que foi utilizado como base para

escrevermos esse artigo foi o Virtual Audio Systems [2]. Neste artigo, Kapralos et al. discutem as diferentes pistas auditivas que podem ser simuladas virtualmente para criarmos efeitos sonoros consideravelmente mais imersivos para o usuário dos sistemas. Além disso, eles descrevem o funcionamento da audição humana e as maneiras que temos de simular efeitos que nossa audição percebe no mundo real.

Já em [5], os autores tratam também de como diferentes configurações em relação ao som podem afetar o desempenho de usuários em um sistema de Realidade Virtual. No trabalho, eles procuram utilizar diferentes frequências sonoras para guiar um usuário através de um caminho em um ambiente virtual. A idéia se assemelha bastante a tarefa solicitada em nosso experimento. Ambos requeriam que o participante identificasse a localização da fonte sonora posicionada em um ambiente virtual (AV). Porém, no trabalho deles, todo o experimento foi conduzido utilizando apenas fones de ouvido e um dispositivo de rastreamento para a cabeça do usuário. A utilização de diferentes sistemas sonoros poderia ter alterado o resultado do experimento, assim como a satisfação dos participantes em terem realizado o experimento. 3. Conceitos Básicos

Antes de iniciarmos a discussão do trabalho em si, colocaremos algumas definições necessárias para o entendimento do mesmo. Primeiramente, discutiremos quatro tipos de som, dos quais dois serão utilizados no trabalho. Em seguida, discutiremos a utilização de alto-falantes ou fones de ouvido. 3.1 Sons Mono, Estéreo, Surround e 3D

O som monaural, ou mono, é o tipo mais básico de som. Nesse tipo de sistema, só há um canal de áudio. Como a emissão é feita sempre igualmente para todos os alto-falantes, nosso cérebro é privado de sua capacidade de utilizar-se de pistas sonoras como a diferença de tempo e intensidade entre a chegada do som a um ouvido ou ao outro para posicionar uma fonte de áudio no espaço.

Sendo assim, não podemos enganá-lo de modo a fazê-lo entender o posicionamento de uma fonte virtual em um espaço qualquer do mundo virtual. Por isso, esse tipo de som é o que tem menor efeito imersivo.

Sua única vantagem é ter o menor custo computacional. Sua utilização de maneira eficiente termina ficando restrita a pouquíssimos tipos de aplicação. Para um melhor efeito sonoro, deveremos nos utilizar do som estereofônico.

O som estereofônico, ou estéreo, é uma reprodução de um som usando dois ou mais canais de áudio independentes, emitidos através de uma configuração simétrica de alto-falantes de uma maneira que seja criada a impressão que o som é ouvido de direções variadas, como na audição natural. Ou seja, podemos enganar o cérebro do usuário a perceber objetos como estando posicionados em qualquer lugar que desejarmos de um plano transverso (horizontal) a partir do centro da cabeça do usuário. Com isso já começamos a ter vantagens na elaboração do áudio de nossa aplicação de RV.

Como já foi dito, um sistema que possua dois ou mais canais é considerado um sistema de som estéreo, porém, atualmente, a palavra estéreo costuma ser utilizada apenas para sistemas que se utilizam de apenas dois canais de áudio. A partir de três canais, passamos a chamar esse sistema de sistema de som surround.

Figura 1: Configuração de um sistema de som 22.2 a ser utilizado em um cinema. Como podemos ver, há três camadas de áudio para gerar o efeito de altura. No exemplo da foto há também duas torres de falantes simples, que visam melhorar ainda mais o som. Fonte: www.highdefforum.com

Em sistemas de som surround temos um número maior de canais, a fim de obter uma maior fidelidade na reprodução do áudio gravado. Podem ser encontradas variações partindo do som 3.0, com 3 canais para 3 alto-falantes, até o som 22.2 (Figura 1), que tem 24 canais e o mesmo número de alto-falantes, sendo 2 destes subwoofers, responsáveis por emitir frequências sonoras mais baixas. Há também a


104

possibilidade de utilização de fones de ouvido para o som surround, através da mixagem de canais para que o som seja reproduzido apenas nas duas saídas do fone. Em sistemas de som surround mais potentes, como o 22.2, ou com fones de ouvido, podemos também simular a altura da fonte sonora no ambiente virtual, saindo assim de um sistema de coordenadas 2D para um 3D em relação ao som. Com isso, surge o efeito sonoro que denominamos som 3D.

Um dispositivo de áudio 3D permite ao usuário perceber a posição de uma fonte de áudio, sendo emitida através de um número fixo de alto-falantes ou de um par de fones de ouvido, como vindo de uma localização arbitrária em um espaço tridimensional. A tecnologia de som espacializado (ou 3D) vai muito além das técnicas de som estéreo e surround, por permitir que uma fonte de áudio tenha atributos como esquerda - direita, frente - trás, cima – baixo [1]. Ou seja, para o áudio tridimensional, nós podemos definir exatamente de que local no espaço estará vindo o som simulado pela aplicação, incluindo se está vindo de cima ou de baixo, da frente ou de trás do usuário, criando assim um nível de realismo extremamente alto. 3.2 Alto-falantes x Fones de Ouvido

A escolha da utilização de alto-falantes ou fones de ouvido também tem uma grande importância na hora de definirmos a aplicação que estaremos trabalhando. Cada um tem diferentes capacidades, vantagens e desvantagens. Isso é o que será discutido nesta seção.

Não importando o tipo de fone utilizado, teremos um isolamento dos ouvidos em relação a sons externos, o que favorece muito a imersão do usuário no ambiente virtual. Além disso, não é necessário se preocupar muito com calibração, pois basta atentarmos para qual é o lado esquerdo e o direito do fone. Também é uma vantagem do fone o preço. Bons fones de ouvido podem ser adquiridos por um valor bem menor do que um sistema de alto-falantes surround.

Porém, há também as desvantagens. Os fones de ouvido devem ser vestidos, o que os torna um dispositivo intrusivo. Também, a utilização prolongada de fones de ouvido ou o volume excessivamente alto dos mesmos pode trazer malefícios à saúde. Outro problema é que fones de ouvido funcionam apenas para um usuário. Caso mais de um usuário queira se beneficiar da aplicação, teríamos grandes problemas para emitir o som corretamente para todos. Além disso, a comunicação interpessoal fica prejudicada, pois o isolamento já citado de sons externos faz com que o usuário não escute o que os outros dizem.

Por fim, o problema mais grave surge quando

vamos trabalhar com sons emitidos através de fones de ouvido. Caso a aplicação permita o usuário se movimentar e o movimento da cabeça do usuário não seja bem rastreado, podemos ter uma infidelidade da informação sonora, pois os fones se movimentarão junto à cabeça do usuário e o som será emitido do mesmo jeito, como se a cabeça dele tivesse na posição que estava inicialmente.

No caso de alto-falantes, desde os sistemas mais simples até os mais complexos, podemos utilizá-los em grupo. As pessoas imersas no ambiente poderão se mover a vontade, pois os falantes estão fixos e não irão interferir na localização do som. O problema na verdade é onde fixar estes alto-falantes. As calibrações dos sistemas de som se tornam mais complicadas à medida que eles avançam. Um simples sistema de som 5.1, que tem apenas seis caixas de som, já apresenta dificuldades na hora de sua montagem.

Além da dificuldade de calibração, o preço de sistemas mais potentes é bastante elevado. A gama de frequências sonoras que podem ser atingidas com os alto-falantes é sem dúvida bem maior que as que se consegue com fones de ouvido, pois as caixas podem variar de tamanho e profundidade. Outro problema que em alguns casos pode ser grave no caso dos alto-falantes é o não isolamento do usuário em relação ao ambiente. Com isso, o áudio fica sujeito a ruídos e a barulhos exteriores, o que pode fazer com que o usuário termine perdendo um pouco da experiência real que o dispositivo que está utilizando o áudio propõe. 4. Metodologia

Nesta seção descrevemos o desenvolvimento do programa utilizado para fazer os testes, assim como o formato que foi adotado para os experimentos de validação da hipótese. Por fim, falaremos sobre a realização do experimento. 4.1 Desenvolvimento do sistema

O objetivo principal do trabalho apresentado neste artigo é o de comparar sistemas de som distintos em relação à eficiência de cada um deles. Para atingir este objetivo, desenvolvemos um sistema de Realidade Virtual de Mesa onde usuários seriam capazes de testar os diferentes sistemas de som em uma configuração de igualdade para todos e assim, a partir dos dados colhidos destes experimentos, seríamos capazes de chegar a alguma conclusão sobre estes sistemas de som.

O programa de teste foi desenvolvido usando a versão gratuita do Unity [4], que oferece várias funcionalidades tanto em relação à parte visual quanto


105

em relação a áudio. O Unity foi escolhido para o experimento por ser um programa de fácil utilização, o que diminuiu consideravelmente o tempo de aprendizado dele em relação a ferramentas mais adequadas e complexas, como OpenAL ou Fmod. Um cenário quadrangular, somente com chão e paredes, foi desenvolvido no Blender, assim como um cubo, que serviu como modelo para os emissores de som no cenário. Além desses objetos, utilizamos o First Person Controller (FPS), oferecido pelo Unity.

Esse Prefab, como o nome indica, é um controlador em primeira pessoa, que o usuário, através de WASD + Mouse, move no cenário. O FPS também é o responsável por ser o Audio Listener da cena. Ou seja, ele que capta os sons emitidos e reproduz na saída de áudio. O FPS foi posicionado no centro do cenário e as quatro caixas foram posicionadas de maneira equidistante na frente, atrás e dos lados do controlador.

Cada uma dessas caixas era uma Audio Source. Quando o usuário movia o controlador, o áudio era captado de maneira diferente e assim reproduzido de maneira diferente nos alto-falantes. Isso dava ao usuário as pistas sonoras que eram necessárias para identificar cada uma das caixas. Toda a parte lógica da aplicação foi feita utilizando scripts do Unity, ou novos scripts, desenvolvidos em C#, uma das linguagens aceitas pelo Unity.

As faixas sonoras utilizadas no experimento são de nossa autoria.

Figura 2: Screenshot do programa de testes. Na imagem, o cubo verde representa um instrumento que o usuário já marcou. A sinalização na parte inferior indica em vermelho qual instrumento deve ser encontrado e as caixas embaixo mostram quais instrumentos já foram pedidos e então marcados pelo usuário.

Um problema encontrado no desenvolvimento da renderização sonora foi que o Unity só é capaz de reproduzir som estéreo. Com isso, não conseguimos uma maneira justa de reproduzir o som em sistemas de som mais complexos, como o Surround 5.1. A emissão de som mono ainda foi possível graças à mixagem de

dois canais de áudio, formando apenas um que foi emitido em uma caixa em frente ao usuário. Além desse sistema, utilizamos um par de caixas de som para emitir o som estéreo. O terceiro método utilizado foi o fone de ouvido estéreo.

4.2 Design do experimento

O formato experimental escolhido para esse trabalho foi o intra-sujeitos. Esse formato foi escolhido primeiramente para podermos aproveitar melhor o número pequeno de pessoas que tínhamos disponíveis para testes. Também, por se tratar de uma análise subjetiva, que pode variar de maneira significativa de pessoa para pessoa, utilizar esse design experimental nos dava uma maior segurança em relação à variância de erro associada a capacidades individuais.

Para diminuir ao máximo o chamado carryover (capacidade do usuário de levar a experiência adquirida em um teste para o próximo), a ordem a qual os participantes faziam os experimentos foi variada, de maneira que, no final, tivéssemos o mesmo número de pessoas executando cada combinação. Também é importante dizer que, obedecendo a um dos princípios do formato experimental utilizado, os cenários foram criados de maneira a serem diferentes entre si, porém, com igual dificuldade.

Antes de começar o experimento, os usuários leram e assinaram termos de consentimento, concordando em participar do teste e também liberando a utilização de seus resultados para essa pesquisa. Em seguida, os usuários responderam um questionário de experiência prévia, para termos maior controle sobre como tratar os resultados de cada usuário. Depois disso, eles foram submetidos ao experimento de verdade.

Para começar o experimento, os usuários primeiramente fizeram um treinamento auditivo para reconhecer cada instrumento que faria parte da música tocada no experimento real. Depois que se julgaram capazes de identificar cada um dos instrumentos, eles passaram a um cenário de teste onde havia apenas duas caixas para serem marcadas, sem som algum.

O objetivo dessa parte era familiarizar os usuários com o controle WASD e também com a marcação de caixas. O WASD é um sistema clássico de controle de câmera em primeira pessoa, popularizado na década de 90 em jogos como Wolfstein 3D e DOOM. Neste sistema de controle as teclas W e S movimentam a câmera, respectivamente, pra frente e para trás. As teclas A e D realizam deslocamentos laterais de câmera e o mouse controla a orientação da câmera. Para marcar uma caixa, o usuário deveria se aproximar dele e então clicar com o botão esquerdo do mouse. Uma vez marcada, a caixa ficava em uma cor diferente,


106

mostrando que ela já tinha sido selecionada. O instrumento o qual a caixa controlava continuava a tocar normalmente. Quando o usuário se considerava pronto, ele mesmo dava início ao experimento real.

Figura 3: Screenshots do treinamento. Na parte superior, duas imagens da parte do treinamento onde os usuários aprendiam a reconhecer cada instrumento. O som do instrumento tocava e o nome aparecia na tela, em vermelho. Nas figuras de baixo, o treinamento de marcação das caixas.

Como já foi dito, o usuário começava no centro de um quadrado que tinha as quatro caixas como vértices. Cada caixa emitia o som de um instrumento que fazia parte da música. Uma caixa de texto ficava no centro inferior da tela, indicando qual instrumento o usuário deveria encontrar. Uma vez que ele encontrasse o instrumento requisitado (a marcação poderia ser correta ou não), o instrumento requisitado era alterado.

Após marcar a última caixa, a aplicação era finalizada e um log individual era salvo. O arquivo de log gerado continha o nome do participante, o tempo que ele levou para concluir a tarefa, qual caixa ele marcou como qual e o caminho percorrido pelo usuário dentro da aplicação. O caminho salvo no log foi construído através da captura da posição do usuário no plano, em intervalos de meio segundo. Após concluir o primeiro experimento, o sistema de som era trocado (como foi dito, respeitando uma ordem definida de modo a igualar o número de usuários de cada uma das permutações) e então o usuário era submetido ao segundo programa de teste. O segundo programa funciona da mesma maneira que o primeiro, porém, sem a fase de treinamento, visto que o usuário já utilizou o sistema no primeiro teste. Nesse segundo teste, a ordem que os instrumentos eram pedidos foi diferente, assim como o posicionamento de cada som no ambiente. A configuração do experimento manteve-se a mesma.

Com a conclusão do segundo teste, o sistema de som era novamente trocado, dessa vez para o que faltava e então o usuário começava um terceiro teste. Novamente, as configurações do experimento foram

mantidas, trocando-se apenas a ordem em que os instrumentos eram pedidos e a posição deles no espaço. Uma vez concluída essa tarefa, partíamos para a parte final do experimento.

Na parte final do experimento o participante preenchia um formulário subjetivo relatando sua experiência com o sistema. Nesse formulário foram colhidas sugestões, críticas e também o mais importante: a estratégia usada pelo usuário para a localização dos sons no ambiente virtual. Com essas informações, junto às obtidas no primeiro formulário, a interpretação dos dados seria sem dúvida mais coerente. 4.3 Realização do experimento

Os experimentos foram realizados em dois dias, em uma sala fechada, com condicionador de ar e luz artificial, de modo a manter as condições ambientais para os experimentos sempre iguais.

O computador utilizado para os experimentos foi um Notebook com placa de áudio Realtek, com suporte a Virtual Surround Sound, processador AMD Turion™ X2 RM-72 de 64 bits, com 2.1GHz em cada núcleo, placa de vídeo ATI Radeon™ HD 3200 e 4 GB de memória RAM, rodando o Windows 7 Ultimate X64. Essa configuração permitiu o experimento rodar com uma taxa mínima de 200 frames por segundo, sendo uma qualidade mais que satisfatória para o experimento.

Os testes foram feitos com 24 voluntários, sendo 19 homens e 5 mulheres, com idades entre 18-27 anos. Todos os usuários que participaram do experimento possuíam experiência prévia com utilização de teclado e mouse, sendo 67% deles jogadores assíduos de jogos de computador, todos eles fãs de músicas e 25% deles, instrumentistas. 5. Análise dos Resultados

Os resultados obtidos foram analisados através de uma ANOVA Fator Único, comparando o tempo que foi levado pelos participantes para concluir cada tarefa.

A ANOVA gerou um p = 0,049 e um F = 3,15, sendo 3,12 o F crítico. Com esses dados, podemos afirmar que houve de fato uma variância entre os resultados obtidos e que não foi apenas uma variação aleatória, mesmo que os dados tenham ficado tão próximos do limite

Em relação ao tempo, 46% dos participantes obtiveram o melhor resultado com o fone, 37% com a caixa mono e os 17% restantes, com o sistema estéreo. Isso deu uma vantagem ao fone em relação ao tempo médio. O tempo médio do fone foi de 66,31 segundos,


107

enquanto o mono, que ficou em segundo lugar teve uma média de 80,51 e o sistema estéreo 88,09.

Figura 4: Média e desvio padrão obtidos nos diferentes sistemas de áudio.

A taxa de erro também foi medida, porém, a variação foi mínima. Para o fone, a taxa de erro média foi de 20%. Para as caixas estéreo, 19%. Para a caixa mono, 22%. 6. Conclusões

Os resultados que foram obtidos no experimento realizado comprovaram a hipótese de que o fone seria a melhor opção para esse experimento. Por se tratar de uma aplicação de Realidade Virtual de mesa, onde não há a movimentação da tela, o fone não teria uma de suas grandes desvantagens citada na Seção 3.2, que é a perda de orientação. Sem esse problema, o fone é uma alternativa bastante interessante em relação às caixas de som, pois nele fica mais fácil distinguir de qual direção o som está vindo.

Já a segunda hipótese levantada não foi comprovada. O sistema mono terminou vencendo o sistema estéreo. Imaginamos que isso aconteceu pois, segundo o questionário aplicado após o teste, a estratégia preferida pelos usuários quando se utilizando das caixas de som foi a de se aproximar de cada caixa e perceber qual instrumento ficava mais forte (ou mais alto) em cada uma delas. Assim, não era necessário perceber de que lado vinha cada som, só importando o volume. Assim, o sistema estéreo perdia a grande vantagem em relação ao mono. Outra coisa que foi a favor do sistema mono foi que, graças ao conhecimento dos usuários que não seria possível identificarem de que lado viria o som, os usuários partiam diretamente em direção as caixas que emitiam os instrumentos. Com isso, a movimentação dos usuários no sistema mono foi bem mais “ativa” que no estéreo, o que pode ter ajudado a diminuir o tempo, já que menos tempo era gasto parado, tentando ouvir de

onde vinha o som. Baseado nisso, concluímos que, para um

experimento como esse, não traria tantas vantagens ao desenvolvedor buscar caixas de som. O fone faria tudo que lhe é necessário e deixaria o usuário mais satisfeito. 7. Trabalhos Futuros

Na área de trabalhos futuros, desejamos trabalhar com diferentes sistemas de som e uma plataforma mais adequada, como OpenAL. Já que o experimento mostrou que é possível fazer testes deste tipo, nos interessamos agora por trabalhar com sistemas de som mais avançados, utilizando Surrounds 5.1 e 7.1que já estão no mercado a preços acessíveis.

Também seria interessante começar a trabalhar com som 3D. Aprofundar os estudos nessa área pode trazer contribuições para a comunidade.

Por fim, seria interessante estender nossos estudos para outros tipos de objetivo, diferentes de localizar fontes sonoras. 8. Referências [1] Cohen, M., & Wenzel, E. (1995). The design of multidimensional sound interfaces. In W. Barfield & T. Furness (Eds.), Virtual Environments and Advanced Interface Design (pp.291–346). New York: Oxford University Press. [2] B. Kapralos, M. R. Jenkin, E. Millos, Virtual Audio Systems, Presence, Vol. 17, No. 6, December 2008, 527–549. [3] Gatehouse, R. W. (Ed.) (1982). Localization of Sound: Theory and Applications. Groton, CT: Amphora Press. [4] www.unity3d.com, acessado em 27/08/2010. [5] Walker, B. N., & Lindsay, J. (2006). Navigation performance with a virtual auditory display: Effects of beacon sound, capture radius, and practice. Human Factors, 48(2), 265-278. [6] http://sites.unisanta.br/wrva/st.asp#st1, acessado em 18/10/10. [7] Proceedings of the X Symposium on Virtual and Augmented Reality - SVR2008; Vol.: 1 [8] Proceedings of the XI Symposium on Virtual and Augmented Reality - SVR2009; Vol.: 1 [9] Proceedings of the XII Symposium on Virtual and Augmented Reality - SVR2010; Vol.: 1


108

Conceitos de Presença

F. Y. Obana, R. Tori Escola Politécnica da Universidade de São Paulo


Resumo

Vários estudos sobre presença têm sido realizados

em vários campos de pesquisa como engenharia,

ciência da computação, psicologia, ciência cognitiva,

comunicação, filosofia, telecomunicação e

teleoperação. Este interesse se deve ao fato de que um

elevado senso de presença é considerado essencial

para a eficiência de psicoterapias, para a performance

em treinamentos simulados (realidade virtual) e para

uma grande variedade de outras aplicações em

ambientes virtuais, principalmente de realidade virtual

e realidade aumentada. Apesar do interesse dos

pesquisadores em pesquisas sobre presença ainda não

existe um conceito bem definido e amplamente aceito

sobre o que é presença. Este artigo faz uma revisão

dos conceitos de presença e as características que a

definem e sugere que todos estes conceitos e palavras

diferentes podem se resumir a duas nomenclaturas

(presença e presença social) e suas respectivas

definições.

1. Introdução

Estudos sobre presença têm sido realizados em vários campos de pesquisa como engenharia, ciência computação, psicologia, ciência cognitiva, comunicação, filosofia, telecomunicação e teleoperação. Este interesse se deve ao fato de que um elevado senso de presença é considerado essencial para a eficiência de psicoterapias, para a performance em treinamentos simulados (realidade virtual) e para uma grande variedade de outras aplicações em ambientes virtuais, principalmente de realidade virtual e realidade aumentada.

De forma semelhante, várias pesquisas têm sido realizadas tendo como tema a presença social tentando compreender o que ela é e como aumentar o senso de estar com outras pessoas em ambientes de realidade virtual e realidade aumentada. A presença social é de interesse de todas as aplicações que envolvam algum tipo de interação social, para colaboração com usuários humanos remotos, para ensaios virtuais de representação e para praticar a fala em público com uma audiência virtual.

Muito pesquisadores têm tentado definir um conceito claro de presença, porém como o conceito é multidisciplinar, diferentes áreas utilizam diferentes palavras para se referir ao mesmo conceito (telepresença, presença social, autopresença, presença mediada e presença virtual).

Este artigo faz uma revisão dos conceitos de presença encontrados na literatura e sugere que todos estes conceitos podem se resumir a dois, presença e presença social. 2. Conceitos de presença

O termo telepresença foi utilizado pela primeira vez por Minsky, em 1980, [1] para se referir à tecnologia de teleoperação que proporcionava aos usuários uma “presença remota” em um local diferente por meio de sistemas de realimentação que permitem ao usuário “ver e sentir o que está acontecendo” lá.

O termo presença teve sua origem do termo telepresença, a passou a ser utilizado a partir de 1992, após a edição do jornal Presence: Teleoperators & Virtual Environments, publicado pelo Massachusetts Institute of Technology (MIT)[2].

Um dos artigos mais citados nas literaturas encontradas é o de Lombard; Ditton, At the heart of it

all: The concept of presence [3], neste artigo os autores estabelecem seis conceituações diferentes, mas inter-relacionadas de presença.

• Presença como riqueza social; • Presença como realismo; • Presença como transporte; • Presença como imersão; • Presença como o ator social dentro do meio; • Presença do meio como ator social; Lombard e Ditton [3] definem formalmente que

Presença é “a percepção ilusória de não mediado”, ou seja, o usuário não percebe ou reconhece um meio durante sua comunicação e se comporta como se o meio não existisse. De acordo com os autores esta definição abrange todas as seis conceituações citadas. Porém, a presença nesta visão, não pode acontecer a menos que uma pessoa esteja usando um meio.

Para Loomis [4], a presença pode ser descrita como um estado de consciência: a percepção da sensação de


109

algum estímulo distante, ou de um modo geral, de algum ambiente.

Garau [5] em sua tese de doutorado trabalha com três conceitos de presença: presença, presença social e copresença, e define que presença é a sensação de “estar lá” (imersão), presença social como “estar junto” e copresença como “estar junto em um ambiente compartilhado”.

Esta relação está ilustrada na figura 1, de acordo com a ilustração a copresença aparece em meios tecnológicos onde existem simultaneamente presença e presença social.

Figura 1 – Classificação de presença física, copresença e presença social [6]. Os termos em negrito foram adicionados por [7]

Schroeder [8] definiu presença como “estar em um

lugar diferente do que você está fisicamente”, e esta situação pode acontecer mesmo sem a utilização de um meio tecnológico, por exemplo, podemos nos imaginar passeando em uma praia paradisíaca quando de fato estamos trabalhando em um escritório.

Nowak e Biocca [9] definem: • presença como a medição da sensação que uma

pessoa tem de estar dentro de um ambiente virtual, a sensação de “estar lá”;

• copresença como a sensação de conexão entre duas pessoas;

• presença social como a habilidade do meio em conectar pessoas.

Lee [10] descreve que muitos pesquisadores têm

tentado definir um conceito claro de presença, mas que apesar destes estudos três conceitos sobre presença permanecem sem solução. A primeira é que diferentes escolas utilizam diferentes palavras para se referir ao mesmo conceito (telepresença, presença mediada e presença virtual). A segunda é que existe pouca teoria sobre o que é experiência virtual e como ela é diferente de outros tipos de experiências com humanos. A terceira é que como resultado da pobre explicação sobre experiência virtual a literatura existente tem pouca coerência quando tenta definir presença física,

social e autopresença. Lee ainda define que “presença é um estado psicológico no qual objetos virtuais (quase autênticos ou autênticos) são sentidos como objetos reais de forma sensorial ou não sensorial” e concluí seu artigo definindo três subtipos de presença:

• presença física – quando se atua sobre objetos com mediação da tecnologia ou quando os objetos são criados artificialmente pela tecnologia

• presença social – quando se atua com atores sociais com mediação da tecnologia ou quando atores sociais são criados artificialmente pela tecnologia

• auto presença – quanto a própria percepção é mediada pela tecnologia ou criada artificialmente pela tecnologia.

A “Teoria da Presença Social” elaborada por Short et al. (1976) apud Santos (2008) [11], concentra a investigação na forma como os meios conseguem com sucesso dar aos usuários a sensação de proximidade e intimidade que normalmente é sentida na presença física.

Riva (2009) [12] sugere que a presença é um estado psicológico que tem a função de controlar, através da separação inconsciente, as ações e interações sociais internas e externas, próprias e de outros.

Rizzo (1998) [13] discute a relação entre nível de presença e as necessidades médicas de pacientes que sofrem de algum tipo de fobia e concluí afirmando que este tipo de informação é muito importante no projeto e desenvolvimento de ambientes de realidade virtual para o tratamento da saúde mental de pacientes com este tipo de distúrbio psicológico.

Rothbaum et al. [14] e Garcia-Palacios et al. [15] obtiveram sucesso no tratamento de fobias utilizando ambientes de realidade virtual, de acordo com os autores parte desse sucesso se deve ao fato de que os pacientes se sujeitam mais ao tratamento em ambientes de realidade virtual do que em ambientes reais. 3. Análise

Minsk [1], Lombard e Ditton [3], Garau [5], Nowak e Biocca[9] e Lee [10] definem presença como a sensação de “estar lá” em um ambiente virtual, desta forma associando a presença com a utilização de tecnologia, isto de deve ao fato destes autores estarem considerando a definição de Lombard e Ditton [3] que definiu presença como “a percepção ilusória de não mediado” e entenderam que a mediação só pode acontecer com a utilização de tecnologia.

Já Riva [12] define presença como um estado psicológico e como tal pode acontecer com ou sem a utilização de tecnologia.

E-mail

Multi-user Dungeon

Telefone

Carta

Mundo Real

Realidade Virtual

Entretenimento local

pintura

TV

Face a Face

Ambiente Virtual Compartilhado

Videoconferência

Videofone

Chat

cinema

Presença Copresença Presença Social


110

Considerando que tudo o que sentimos e percebemos é captado pelo sistema sensorial humano, formado por cinco sentidos: visão, olfato, paladar, audição e tato que nos fornecem informações do mundo através do meio ambiente, têm se então que mesmo as interações naturais são mediadas. Por exemplo, só enxergamos porque temos como meio a luz, só ouvimos porque temos como meio o ar. Sendo assim também pode-se considerar a existência de presença tendo como meio de comunicação o ambiente natural, sem a utilização da tecnologia.

Minsk [1], Lee [10], Santos [11] e Lombard e Ditton [3] deixam claro que a presença só existe com mediação tecnológica, já para Loomis [4], Garau [5], Schroeder [8], e Riva [12] a presença é um estado psicológico que ocorre independentemente da utilização de tecnologia.

As definições de presença de Nowak e Biocca [9], e Lee [10] fazem uma mistura entre características internas e externas (do meio) do usuário e execução de uma ação com objetos ou entidades criados tecnologicamente.

Com todas as definições de presença, descritas anteriormente, sugere-se então que a presença seja considerada como um estado psicológico que ocorre independente da utilização de tecnologia e da execução de ações entre objetos ou entidades tecnológicas ou reais. Fica claro, no entanto, que características externas como verissimilhança do ambiente virtual e tempo de resposta do meio melhoram a percepção de presença. 4. Considerações finais

Apesar de várias pesquisas, sobre presença, estarem sendo realizadas ainda existem muitas definições sobre presença sendo utilizadas, algumas possuem descrições diferentes e um mesmo significado e algumas descrições e significados diferentes.

Os termos mais encontrados na literatura foram presença, presença física, presença social, copresença e auto presença.

Pelas definições encontradas presença e presença física tem a mesma definição, a sensação de estar em um lugar real ou virtual e podem ser chamados somente de Presença.

Presença social é a sensação que uma pessoa tem de estar com outra pessoa ou entidade em um ambiente real ou virtual.

Copresença é definido como a sensação de estar junto com outra pessoa em um ambiente compartilhado, ou seja, é um ambiente onde se percebe a presença e a presença social. Fato que se percebe, por exemplo, em uma sala de aula.

A autopresença pode ser classificada como um caso particular de presença social, onde a outra pessoa ou entidade é o próprio usuário.

Este trabalho propõe que sejam utilizados, independentemente do uso ou não de tecnologia, somente os conceitos de presença e presença social, definindo-os como:

Presença - a sensação que uma pessoa tem de estar em um lugar real ou virtual. Pode-se considerar que estar fisicamente e psicologicamente em um lugar do mundo real proporciona a maior percepção de presença possível.

Presença social - a sensação que uma pessoa tem de estar com outra pessoa ou entidade em um ambiente real ou virtual. O maior nível de presença social pode ser obtido entre pessoas que se encontram fisicamente e psicologicamente no mesmo lugar do mundo real.

Com estas definições tem-se então que os maiores valores de presença podem ser encontrados no mundo real e conforme a mediação faz uso de recursos tecnológicos têm-se então menores níveis de presença ou presença social. Fato esse verificado nas experiências realizadas por Rothbaum et al. [14] e Garcia-Palacios et al. [15], onde os pacientes aceitavam fazer o tratamento em ambientes de Realidade Virtual por sentirem menos a imersão ou a presença de outras entidades do que se estivessem em um ambiente real.

Espera-se que com essas duas definições possam ser realizadas pesquisas sobre presença que possibilitem a comparação de resultados, dificultada hoje pelas várias definições de presença.

5. Referências [1] M. Minsky, “TELEPRESENCE,” OMNI magazine,

Jun-1980. [2] Y. R. Araujo, Telepresença: interação e interfaces.

Editora da PUC-SP, 2005. [3] M. Lombard e T. Ditton, “At the heart of it all: The

concept of presence,” Journal of computer-mediated

communication, vol. 3, n. 2, p. 20, 1997. [4] J. M. Loomis, “Distal attribution and presence,”

Presence: Teleoper. Virtual Environ., vol. 1, n. 1, pp. 113-119, 1992.

[5] M. Garau, “The impact of avatar fidelity on social interaction in virtual environments,” University College London, 2003.

[6] W. A. Ijsselsteijn, J. Freeman, e H. De Ridder, “Presence: Where are we?,” Cyberpsychology &

Behavior, vol. 4, n. 2, pp. 179–182, 2001. [7] C. Heeter, “Reflections on real presence by a virtual

person,” Presence: Teleoperators & Virtual

Environments, vol. 12, n. 4, pp. 335–345, 2003. [8] R. Schroeder, “Copresence and interaction in virtual

environments: An overview of the range of issues,” in Presence 2002: Fifth International Workshop, pp. 274–295, 2002.


111

[9] K. Nowak e F. Biocca, “The effect of the agency and virtual image of virtual humans on users’ sense of presence, copresence, and social presence,” 2003.

[10] K. M. Lee, “Presence, explicated,” Communication

Theory, vol. 14, n. 1, pp. 27–50, 2004. [11] M. L. Santos e others, “A proximidade mediada: um

estudo experimental em ambientes de aprendizagem online,” 2008.

[12] G. Riva, “Is presence a technology issue? Some insights from cognitive sciences,” The Guildway, Old Portsmouth Road, Artington, Guildford, GU3 1LP, United Kingdom, pp. 159-169, 2009.

[13] A. A. Rizzo, M. D. Wiederhold, e J. G. Buckwalter, “Basic issues in the use of virtual environments for mental health applications,” Studies in health

technology and informatics, pp. 21–42, 1998. [14] B. O. Rothbaum, L. Hodges, S. Smith, J. H. Lee, e L.

Price, “A controlled study of virtual reality exposure therapy for the fear of flying,” Journal of consulting

and Clinical Psychology, vol. 68, n. 6, pp. 1020–1026, 2000.

[15] A. Garcia-Palacios, H. G. Hoffman, S. Kwong See, A. Tsai, e C. Botella, “Redefining therapeutic success with virtual reality exposure therapy,” CyberPsychology & Behavior, vol. 4, n. 3, pp. 341–348, 2001.


112

Realidade Aumentada e Publicidade: Até onde pode ir essa relação?

Antonio N. Lutfi, Alberto B. Raposo Departamento de Informática, PUC-Rio


Resumo

Este artigo apresenta uma análise do uso atual de

Realidade Aumentada (RA) em ações publicitárias,

seus defeitos, qualidades e pontos a serem

melhorados; usando teóricos da publicidade como

base para avaliação. Toma a relação entre as duas

áreas como exemplo específico de comunicação entre

Pesquisa acadêmica e Mercado.

Abstract

This paper presents an analysis of the current

Augmented Reality applications in Advertising, its

flaws, qualities and points to be improved; using

advertising theorists as base for the evaluation. It takes

the relationship between the two fields as an example

of communication between the Academic Research

field and Market.

1. Introdução

Para toda tecnologia nova, existe um vão entre a área de pesquisa acadêmica e o mercado. As aplicações desenvolvidas hoje seguem uma linha de criação em um modelo voltado ao produto: o desenvolvedor tem uma ideia que ele julga interessante e aplicável ao público e a executa, como um inventor clássico. Esse método está muito mais próximo da área de pesquisa do que da mercadológica. Sabe-se que, de acordo com a visão atual do Marketing, o desenvolvimento de um produto deve vir depois de uma segmentação de mercado e de uma seleção de um nicho. A oferta é feita depois da identificação da demanda, e não o contrário.

Tal inversão é inevitável a qualquer novidade acadêmica, é parte da fase que evidencia tal novidade ao mundo. Uma vez que ela é conhecida, pessoas com visão superior de mercado a modificam e a aperfeiçoam para a venda e o uso.

A RA está hoje no meio dessa transição. A indústria da informática e seus subconjuntos a utilizam com mais desenvoltura e as áreas mais leigas tecnologicamente a utilizam de maneiras mais limitadas. Essas limitações derivam justamente do vão academia-mercado e tendem a serem reduzidas com a minimização deste vão.

O objetivo desse artigo é explorar como o mundo está deixando se aproveitar da RA de ponta em aplicações em tempo real; o quanto o estado da arte em pesquisa está à frente do estado da arte mercadológico e como o segundo pode se aproximar mais do primeiro com o aumento de comunicação entre eles. Especificamente, essa análise será realizada numa área que vem se destacando pela aplicação de RA e que é notória por seu uso de meios de comunicação variados: a publicidade.

A publicidade tem como principal objetivo persuadir seu alvo a ter um comportamento compatível com a intenção de quem a aplica. Ou seja, convencer a comprar. Esses objetivos, bem como outros conceitos fundamentais da área, serão explicados mais detalhadamente na seção seguinte. Mais a frente, serão estudadas as vantagens e desvantagens que o uso da RA traz ao cumprimento desses objetivos.

2. Conceitos e Objetivos da Publicidade

Para se entender publicidade, é preciso entender o conceito de propaganda. “Propaganda é definida como forma propositada e sistemática de persuasão que visa influenciar (...) públicos-alvo através da transmissão controlada de informação parcial (que pode ou não ser factual)” [1]. O termo publicidade é usado, comumente, em referência a propaganda com fins comerciais.

Quando se fala em produto, não se está fazendo referência somente a algo tangível, mas também a serviços.

A publicidade conta com a atenção, a memorização e a persuasão como meios de atingir seu publico alvo.


113

Os dois primeiros fixam o produto anunciado na memória do público alvo e o terceiro o convence a adquirir tal produto. Uma peça publicitária deve utilizar-se dos três de maneira ótima.

Uma peça publicitária é um elemento que tem como objetivo tal persuasão. Pode ser um comercial de TV, um outdoor ou, em relevância ao assunto estudado, uma aplicação em RA.

Uma campanha publicitária é um conjunto de peças publicitárias que anunciam o mesmo produto, ou conjunto de produtos. Um outdoor e um comercial de TV, ambos tratando de um novo refrigerante, são um exemplo de campanha.

Uma ação publicitária é um modo genérico de se referir a uma peça ou campanha.

Um cliente ou anunciante é quem deseja utilizar a publicidade para vender um produto. Geralmente uma empresa.

Uma agência de publicidade (agência) é uma empresa contratada por um cliente para montar as peças e/ou campanhas.

O alvo é a quem o produto, e por consequência a publicidade, se destina: é o consumidor.

3. Publicidade e RA 3.1. Estado da Arte

Um dos primeiros exemplos de publicidade com RA foi um modelo 3D de um carro, o Scion XD, apresentado em uma feira de automóveis nos EUA1. A peça publicitária era uma simples aplicação com um marcador que representava o carro anunciado e uma câmera colocada a uma distância suficiente para que o carro coubesse na tela em tamanho real e pessoas pudessem interagir com ele. As empresas automotivas logo seguiram o exemplo. O Nissan Cube2 contava com um catálogo de customizações visualizáveis em 3D através de marcadores; e a Volvo fez um modelo 3D de um iate de corrida também visualizável com um marcador3.

Depois disso ficou comum o uso de RA em publicidade e, até recentemente, as campanhas e peças que se utilizaram dela não passavam muito além de aplicações simples com marcadores.

As ações de publicidade podem ser classificadas, de acordo com seu local de atuação, em online e offline.

Ações offline são ações onde a aplicação de RA e o equipamento necessário para sua execução ficam em

1 http://www.youtube.com/watch?v=NoS5gZb6Mz8 2 http: //www.nissanusa.com/cube/ 3 http://www.vcc.com.my/oceanrace

exibição em público, muitas vezes próximo do local de aquisição do produto anunciado.

Um bom exemplo de ação offline é o aplicativo desenvolvido pela Lego, usando um marcador impresso nas caixas de seus produtos para mostrar um modelo animado do brinquedo já depois de montado4. Essa campanha faz ótimo uso dos três recursos publicitários – atenção, memorização e persuasão – pois o comprador, mesmo que não previamente interessado no produto, tem o impulso de testar a aplicação e pode ser persuadido a comprar ao ver o modelo montado em sua frente.

As ações online, por sua vez, são ações que dependem de uma conexão com a internet e equipamento de captura de vídeo próprios do alvo da publicidade (como webcam ou celular com câmera).

Apesar da maioria das ações online usarem marcadores apenas como estabelecedores de posição para os objetos ou animações desenhadas, já existem diversas aplicações publicitárias que permitem ao usuário interagir com a parte virtual e algumas que até usam o movimento do próprio marcador como dispositivo de entrada.

Como exemplo de ação nessa linha, a Citroën lançou uma ação para promover o carro DS3 onde usuários usam um marcador como volante em um jogo onde se dirige uma versão virtual do carro5. A Adidas também lançou uma ação similar6, com uma curiosa diferença. O marcador que serve como dispositivo controlador do jogo é o próprio tênis, ou seja, a ação não tem nenhum efeito persuasivo, já que para acessá-la o produto já tem que ter sido adquirido.

A campanha “We are Autobots”7 faz uso de algoritmos de reconhecimento facial para desenhar capacetes de personagens mecânicos da franquia cinematográfica Transformers sem utilizar marcadores.

3.2. Tendências

A tendência da RA ,de um modo geral, é deixar de usar marcadores e convergir juntamente com outras tecnologias a aplicativos mais completos, com destaque para dispositivos móveis. Em publicidade isso não será exceção, será o próximo passo. Um aplicativo desse tipo já existe: o Stella Artois – Le Bar Guide [2]. Ele é um aplicativo que funciona em conjunto com o GPS e câmera do iPhone, exibindo na tela direções e distância para diversos bares que servem a cerveja Stella Artois.

4 http://www.youtube.com/watch?v=PGu0N3eL2D0 5 http://www.ds3.citroen.com/ 6 http://www.adidas.com/conceptstores

7 http://www.weareautobots.com


114

Uma vez escolhido o bar desejado, a rota até ele é exibida na tela de mapa do GPS. Este aplicativo, além de tudo, é uma rede social aonde os usuários avaliam os bares por diversos critérios, como atendimento e clientela.

Esse nicho de mercado já está sendo visado. Um dos exemplos mais significantes de exploração desse nicho é o Junaio [3], um AR Browser desenvolvido para iPhone e Android. O Junaio é um browser em RA que usa tecnologias integradas para exibir informações sobre objetos capturados na tela. A grande vantagem do Junaio é que ele já está sendo desenvolvido com API aberta, voltada para desenvolvimento de aplicações publicitárias. Ele promete ser fácil de usar e de se desenvolver aplicativos, sem conhecimento profundo de funcionamentos específicos de RA ou de programação em geral; a programação será em plataformas tipo PHP.

Embora ainda não totalmente pronto e em fase de testes, o Junaio já tem alguns exemplos interessantes desenvolvidos por parceiros. Durante a Copa do Mundo de Futebol de 2010, a operadora de celular Vodafone, da Alemanha, usou a plataforma do Junaio [4] para apontar estabelecimentos que exibiriam os jogos e, se o usuário estivesse no estádio, dar informações e estatísticas sobre o jogo (Figura 1).

Figura 1: Direções para exibição de jogos

(esquerda) e informações em tempo real no

estádio (direita) [4].

4. Análise da Relação Publicidade e RA

Apesar de alguns exemplos mais avançados mostrados na seção anterior, a maioria das aplicações em RA para a publicidade se encaixa no paradigma Magic Mirror: marcador + webcam [5]. Embora a RA em si não seja uma tecnologia recente [6], sua inserção no mercado é. Sendo assim, é difícil afirmar o quanto do sucesso e popularidade conquistados por ela deriva

do efeito “novidade” e o quanto de fato deriva de uma melhoria prática na área de inserção.

Claude Hopkins [7] diz que “a curiosidade é um dos maiores incentivos humanos” e é responsável pelo sucesso de vários produtos. O mistério acerca de algo novo é um atrativo quase irresistível para o ser humano. Nesse aspecto, a publicidade em RA atual dá aos curiosos tudo que eles desejam. Ela é uma tecnologia cujo funcionamento é de difícil compreensão para um leigo; o que faz com que seu resultado seja hipnótico.

Depois que a primeira ação em RA obteve sucesso em despertar curiosidade, as empresas publicitárias viram uma nova abertura e seguiram o exemplo.

No entanto, a curiosidade despertada por essas ações nem sempre é acerca do produto anunciado, mas sim da tecnologia em si. Várias peças publicitárias não passam de um marcador sendo sobreposto com o modelo 3D do produto. Depois da segunda ou terceira ação publicitária que participa, o usuário acaba se cansando, pois todas são tecnicamente similares.

Um exemplo da pressa em se utilizar a tecnologia nova é a mencionada peça publicitária da Adidas, onde o marcador, usado como controlador de jogo, está na língua do tênis. A menos que o dono do tênis queira tirá-lo do pé depois de usá-lo e manuseá-lo próximo ao rosto, a aplicação será executada no máximo uma única vez, assim que o tênis for tirado da caixa (Figura 2).

Figura 2: Peça publicitária da Adidas: usuário usa

tênis como joystick.

De acordo com Dirksen e Kroeger [8], a

publicidade, juntamente com a venda direta e promoção de vendas, é uma face da Criação de Demandas. Mais do que dizer que o produto existe e ofertá-lo, é dever da publicidade criar a sensação da necessidade do produto anunciado por parte do alvo. A maioria das ações publicitárias em RA que existem hoje falha nesse aspecto. Um usuário realmente interessado em comprar um notebook não vai comprá-


115

lo baseado somente no modelo virtual dele; inclusive, nesse caso específico, a aparência é o que menos importa. De qualquer maneira ele terá de ler as especificações técnicas. É possível até que ele ignore totalmente a ação em RA e vá direto a essas informações. A mesma regra se aplica às ações que anunciam carros, por exemplo.

Quando uma revista ou outro meio impresso disponibiliza um marcador de RA para ser utilizado em uma aplicação online, ela requer do usuário um trabalho que muitas vezes ele não está disposto a fazer. Se esse marcador for de uma ação publicitária, será uma ação menos vista do que uma impressa de forma convencional. Muitos leitores de revistas não são seus donos, como é o caso de pessoas em bibliotecas e em salas de espera. Tais leitores não absorverão a intenção da ação, que pagou o espaço ocupado pelo marcador à toa.

Essa corrida publicitária que se deu inicialmente com a RA evidenciou uma contradição dupla: quem está realmente interessado na aquisição do produto não satisfaz sua curiosidade sobre ele na publicidade utilizando RA, e quem está somente curioso com a RA não dá muita atenção ao produto.

O que os publicitários ainda não acertaram é o limite de informação que se pode transmitir em uma ação em RA para que ela permaneça uma peça publicitária eficaz e auto-contida. Sendo assim, aplicações em RA com essa estrutura convencional atual – webcam e marcador – são ideais para ações que necessitem de pouca informação, seja com intenção de venda de um produto simples, seja um simples anúncio de uma promoção.

Um tipo de publicidade que se enquadra nessa categoria é a promoção da marca (brand advertising). Produtos ou marcas de conhecimento praticamente universal, Big Mac ou Coca-cola, embora tenham necessidade de utilizar a publicidade constantemente, podem fazê-lo sem a preocupação em informar o expectador sobre o produto ou a marca. As peças publicitárias em RA comuns hoje são eficazes para a publicidade de marca. Um aplicativo que simplesmente desenhe um logo 3D de uma marca famosa sobre um marcador pode suprir essa necessidade de publicidade constante, com pouca informação.

Uma crítica recorrente à publicidade é sua intrusão na vida das pessoas. Essa intrusão se dá, geralmente, na publicidade de produtos destinados à vida cotidiana, que se foca em atingir a pessoa em seu tempo livre. Uma pessoa em casa vendo um programa na TV, por exemplo, é exposta a uma quantidade grande de comerciais em relação ao tempo de exibição do programa em si. Como somente um entre muitos tem

algum apelo para ela, é de se esperar que ela se irrite e mude de canal. Uma ação publicitária que necessite da interação do alvo, como é o caso das que usam RA, diminui muito esse fator de intrusão. A pessoa que aceita a proposta da ação interativa, o faz por sua livre e espontânea vontade. Por mais que o resultado da interatividade seja decepcionante, o gasto de tempo livre foi voluntário, o que minimiza impactos negativos ao humor.

5. Pontos-chave para o Futuro

Embora ainda largamente ineficaz e baseada em tentativa e erro, a publicidade já começa a mostrar traços de melhor utilização da RA. As subseções a seguir discutem quatro aspectos específicos a serem considerados no futuro da RA em publicidade. 5.1. Equilíbrio dos três aspectos da publicidade

A análise dos exemplos comuns da publicidade com

RA evidencia, por suas ações excessivamente simples, que estão muito mais focados na atenção do que na memorização ou persuasão.

A memorização, no início do uso de RA em publicidade, também era algo garantido. Qualquer empresa que use meios diferentes e inovadores de publicidade acaba sendo lembrada por isso, mesmo que a ação em si não seja necessariamente de qualidade. Hoje em dia nem isso mais é uma garantia. As ações excessivamente similares acabam sendo um lugar comum e caindo no esquecimento.

Porém, o defeito maior nas ações em RA é a aparente falta de preocupação com a persuasão, aspecto principal; para o qual os outros dois realmente são destinados.

A ação publicitária de sucesso usa os três aspectos de maneira otimizada. É dever do publicitário conhecer a tecnologia que lhe serve para ser capaz de formular ações que se utilizem bem dela.

5.2. Objetos virtuais como amostras

duplamente grátis Hopkins [7] enfatiza o uso de amostras grátis como

fator de persuasão da publicidade: “o produto por si mesmo deve ser seu melhor vendedor. Não o produto sozinho, mas acrescentado (...) da atmosfera que você o cerca”.

A questão central das amostras grátis é que elas só são grátis para o consumidor. O custo para o anunciante é bem alto quando comparado aos das campanhas que não distribuem amostras. O que


116

melhor, então, do que amostras virtuais inseridas no mundo real? O anunciante só arcaria com os custos do desenvolvimento da aplicação. De certa forma ele pagaria por somente uma amostra.

Esta é uma área ainda não explorada na publicidade com RA e que poderia render ótimos frutos. Poderiam ser feitas amostras de coisas até hoje impossíveis. Uma aplicação Magic Lens que permitisse a uma pessoa ver o resultado de uma obra em sua casa antes dela ser feita, ou se ver dentro de um carro ainda não lançado, por exemplo. Aplicações Magic Mirror, embora mais limitadas, também renderiam ótimas amostras; por exemplo, mostrar a um paciente em potencial os resultados futuros de uma cirurgia plástica que ele deseje.

O uso de RA para esse tipo de amostra traz a possibilidade, até hoje impossível ao consumidor, de uma amostra personalizada. Atualmente, justamente pelo custo que o anunciante tem com elas, elas são sempre padronizadas.

5.3. Mercado Infantil

A maior parte da análise feita na Seção 4 a respeito

de como o consumidor reage racionalmente à publicidade; e como a publicidade atual em RA falha em dar a ele o que ele precisa para comprar, contam com uma coisa: o consumidor é um adulto consciente.

Porém, o público alvo da publicidade não é necessariamente quem compra o produto, mas sim quem o usa e tem influência sobre aquele que o compra. O mercado infantil é composto em sua totalidade por pessoas que contam somente com sua capacidade persuasiva para conseguirem o que querem dos pais. Uma criança não tem a capacidade de ponderar sobre as vantagens e desvantagens de um produto, ela simplesmente o quer ou não.

Com isso em mente, anunciar para crianças consiste em impressioná-las o suficiente para que convençam seus pais a comprar. Um modelo 3D animado, que pareça estar interagindo com ela, embora não suficiente para um adulto comprar um notebook ou um carro, impressiona muito uma criança.

Um exemplo claro da falta de aproveitamento do público infantil é o já criticado tênis da Adidas de RA. Um adulto sabe que vai usar o aplicativo em RA pouquíssimas vezes e depois usar o tênis normalmente. Sendo assim, ele pondera sobre as qualidades do tênis antes de adquiri-lo. Se essa campanha fosse voltada para o público de crianças, em um período como o Natal, o resultado sem dúvidas seria melhor. Pouco importa para a criança se o solado ou o amortecimento são adequados; o que interessa é usar o tênis para jogar

no computador. Se o jogo der suporte a vários jogadores, basta uma criança aparecer com um na escola que todos os seus amigos também vão querer. A criança nunca está preocupada em por quanto tempo ela irá aproveitar algo antes de deixá-lo de lado.

Sendo assim, parece que a publicidade simples em RA deveria se dirigir massiva e explicitamente ao público infantil.

5.4. Diminuindo o Vão Academia-Mercado

A publicidade não é uma área tecnológica por

natureza. Embora dependa da boa utilização da tecnologia para obter sucesso, é essencialmente não científica, realiza seus objetivos levando em conta muitos fatores subjetivos do comportamento humano. Já a Informática acadêmica é o oposto. Uma área totalmente voltada à tecnologia, com critérios práticos e objetivos. O comportamento humano quase não tem lugar na avaliação estritamente lógica de pesquisa.

Por essa diferença essencial, o vão entre essas duas áreas é uma consequência inevitável. Ele é responsável por muitas das tentativas de pouco ou nenhum sucesso publicitário. Há, no entanto, formas de diminuí-lo. Para melhor compreendê-lo, é preciso entender que ele é composto por um fator de comunicação e um fator temporal. O primeiro diz respeito a essa diferença de natureza inerente às duas áreas. Já o segundo se refere ao tempo decorrido desde a invenção da tecnologia estudada em meio acadêmico até sua inserção no mercado em questão.

No caso da RA usada em publicidade hoje, o fator temporal do vão foi considerado como sendo de nove anos (1999 – criação do ARToolKit [9] a 2008 – primeiras ações de publicidade envolvendo RA com marcadores).

A área de pesquisa, embora as considere, não tem as demandas de mercado como prioridade. A Publicidade, pelo outro lado, não tem um bom olho para tecnologias cujas aplicações não estejam inseridas no mercado. A Publicidade fica então a mercê de alguns poucos visionários e da lenta inserção da tecnologia em outras áreas para sua descoberta. E, por ser uma área que trabalha quase sempre em urgência, nem sempre há tempo de avaliá-la antes de usá-la.

Ambos os fatores são minimizados com a mediação que começa a ser feita hoje por empresas de tecnologia com visão mercadológica, como é o caso da Metaio. Com acesso ao que existe de ponta em pesquisa, empresas desse tipo analisam as demandas de mercado de forma mais precisa.

Para futuras tecnologias, com objetivo de se ter um vão temporal menor, é interessante que a publicidade,


117

ou qualquer outro ramo, se ocupe de estudar os avanços tecnológicos não só em suas aplicações de mercado, mas em sua fonte primordial de pesquisa.

Por outro lado, se a área de pesquisa tivesse seus trabalhos mais disponíveis em meios dominados por leigos, seria um ganho geral. De certa forma é interessante que ela fizesse uma melhor publicidade de si mesma. Isso geraria não só um interesse menos tardio por parte do mercado na tecnologia; como esse interesse, muitas vezes, se traduziria em fundos para a própria pesquisa. É um ganho mútuo.

6. Conclusão

“A comercialização da pesquisa (...) é muito mais fruto de prospecção do que de alquimia” [10]. Tal frase resume a essência de uma das questões centrais deste artigo: a falta de acesso à tecnologia de ponta por setores não relacionados à pesquisa. O que é comercializado ao público como tecnologia de ponta nunca é nenhuma novidade para o campo da pesquisa.

Tal falta de acesso se dá, principalmente, por uma falha de comunicação entre as áreas de mercado e de pesquisa, por culpa dos dois lados. A Academia não se expõe e o Mercado não sabe o que pedir.

Muitas empresas pregam que um gerente ou administrador deve conhecer as funções de seus subordinados, para que suas ordens sejam claras, precisas e, principalmente, possíveis e eficazes. O mesmo se aplica às áreas usuárias de tecnologia. Enquanto um cliente não tiver conhecimento básico sobre o funcionamento da tecnologia que está contratando ele está fadado à ineficácia. Desconhecimento técnico, em muitos casos, pode levar ao uso ineficiente ou inadequado da tecnologia. Saber precisamente suas possibilidades e limitações e como pedir o que se quer são o que fazem a diferença entre um cliente que consegue uma aplicação plenamente funcional de um que; ou quer mais do que pode, ou consegue menos do que poderia.

A relação entre Realidade Aumentada e Publicidade se encontra hoje em uma situação do segundo tipo. A publicidade até trai seus próprios propósitos por consequência da falta de conhecimento em RA.

Situações desse tipo talvez sejam o atual processo natural da popularização da tecnologia. Sendo ou não, tal ineficácia inicial evidencia onde há espaços para melhoras. Espaços que se preenchidos por pessoas qualificadas rendem uma aceleração notável neste processo, bem como as recompensam generosamente.

Com isso em mente, diversas empresas começam a se formar, ou a alocar mão de obra para atender a demanda da publicidade com RA. Aquelas que observaram com cautela as relações entre as duas áreas prosperarão.

Essa comunicação mediada é proveitosa tanto para a RA quanto para a publicidade. A primeira passa a ter acesso às demandas de mercado, e muito provavelmente, maior capital para realização de suas pesquisas. Já a segunda se beneficia com suas demandas supridas e seus produtos funcionando com uma tecnologia mais perto do estado da arte.

7. Referências [1] R. A. Nelson. A Chronology and Glossary of

Propaganda in the United States, Greenwood, 1996. [2] Anheuser-Busch Inbev. Stella Artois – Le Bar Guide. Disponível em <http://itunes.apple.com/us/app/ id335624129>. Acesso em jun 2010. [3] Metaio. Junaio. Disponível em <http://www.metaio.com/ products/junaio/>. Acesso em jun 2010. [4] Metaio. Junaio® displays Public Viewing and Match Statistics with Augmented Reality. Disponível em <http://newsletter.metaio.com/index.php?id=1053>. Acesso em jul 2010. [5] J. Grosjean, and S. Coquillart, “The Magic Mirror: A Metaphor for Assisting the Exploration of Virtual Worlds”, Spring Conference on Computer Graphics, 125-129, 1999. [6] R. Azuma, Y. Baillot et al. “Recent advances in augmented reality”, IEEE Computer Graphics and

Applications, 21 (6), 2001, pp. 34-47. [7] C. Hopkins, Scientific Advertising, Crown Publishers Inc, New York, v.4, 1966. [8] C. J. Dirksen, and A. Kroeger, Advertising Principles and

Problems, Richard D. Irwin Inc. Homewood, Illinois, ed.4, 1973. [9] H. Kato et. al, ARToolKit – Augmented Reality Toolkit. Disponível em: <http://www.hitl.washington.edu/artoolkit>. Acesso em jun 2010. [10] B. Buxton “Forward into the Past”, Time Magazine, 3 Out. 2004. Disponível em <http://www.time.com/time/ covers/1101041011/nextessay.html>. Acesso em jun 2010.


118

SESSÃO TÉCNICA 6

VISUALIZAÇÃO


119

Evaluating the CapCam: a device for thermal inspection of electrical equipment

Eduardo Antonio Souza1 ; Luis Arthur Vasconcelos1 ; João Marcelo Teixeira2 ; Eduardo

Simões de Albuquerque3 ; Judith Kelner2 ; Veronica Teichrieb2

1Centro de Artes e Comunicações


{souza.ead, lalv4401} @gmail.com

2Centro de Informática Universidade Federal de

Pernambuco {jmxnt, jk, vt} @cin.ufpe.br

3Instituto de Informática Universidade Federal de

Goiás [email protected]

Abstract

This paper presents a methodology for both improvement of the CapCam prototype and its field tests, whose goal was to evaluate its usability and functionalities together with end users (engineers, technicians, among others). The CapCam is a portable and head-wearable device, which aims at adding relevant information to the task of thermal inspection in industries, using Augmented Reality (AR) concepts. After going through the process for generating solutions, whose foundation was laid down by the research of similar products, the most satisfactory solution was selected and applied. Finally, tests were carried out with a group of users, in order to assess the product’s adequacy to ergonomic and technical needs by using different evaluation methods. The results show that the CapCam is a well-designed solution for several ergonomic problems, besides being efficient to some tasks. 1. Introduction

When it comes to electric power transmission, there are issues that must be corrected periodically – such as failing connections, rusting or abrasion. In order to inspect these issues, both electronic and human resources are needed in continuously performed tasks.

Thermal vision, for instance, is a robust tool for inspection of such equipment, due to its capacity to identify any malfunction by monitoring the temperature. For supporting the thermal vision task, it was developed the mivaTherm, a mobile and autonomous system which provides support for the execution of virtual and Augmented Reality (AR) applications [1].

In order to free users’ hands, mivaTherm was customized to perform thermal inspections along

with the CapCam, a helmet in which are embedded a webcam and a thermal camera, enabling the user to visualize real world and thermal imaging overlapped. Furthermore, to visualize this imaging, the user must wear a HMD – Head Mounted Display, a device that has an optic display, either monocular or binocular.

To integrate both hardware (mivaTherm and HMD) considering aid to thermal inspection, the CapCam has been designed. This system uses AR technology to overlap thermal and real images, in order to provide the user the capability to identify malfunction through thermal vision and keep the real world perception. Through the HMD, the user can see the image filmed by the embedded webcam overlapped by the thermal vision provided by the also embedded thermal camera on the top of the helmet (Figure 1).

Figure 1. CapCam’s screenshot: overlapped thermal and real images.

Therefore, the goal of this paper is to evaluate

the usability of the CapCam regarding the inspection task. However, in general, it is almost impossible to specify the usability of a system without first defining its actors such as the users, the tasks that will be performed with it, among other issues. In order to identify the actors it is necessary to perform field tests.


120

ISO 9241-11 suggests that measures of usability should cover:

• Effectiveness, the ability of users to complete tasks using the system;

• Efficiency, the level of resources consumed in performing tasks;

• Satisfaction, user’s subjective reactions to using the system [2].

The CapCam device had already been tested before, although not with final users or on the field. As result of this first evaluation, it was ascertained that its main deficiency was its fixation to the users’ head [3]. Other demands to improve the prototype were defined. The proposed upgrades were (1) improve the fixation system; (2) provide greater adaptability of the CapCam to other HMD models and (3) enhance usability.

At last, in this paper, it proposes to evaluate the CapCam regarding (1) difficulty of wearing it, (2) fixation to users’ heads, (3) discomfort caused on the user, (4) functionalities, (5) acceptance by users and (6) fatigue due to having it worn for long time.

This paper is divided in sessions that show the steps in the development of the CapCam. In section 2 the related work that provided basis to the project’s concept and intents are to be shown. Then, in section 3, the case study of the CapCam will be explained and detailed, firstly, (subsection 3.1) the methodology used and then the description of the process (subsection 3.2). Having explained the process, the results will be shown and explained in section 4. In section 5, some considerations will be discussed and the future works will be proposed. 2. Related Work

AR is a field of technology which is being applied to a multitude of problem solving and to innovative products and services. It is being used from advertising to aiding on complex tasks – such as industrial equipment maintenance – going through education and medicine. The main principle of AR is to supplement reality with virtual assets by the use of digital devices, through three-dimensional imagery transmitted to the user in real time. It is common to use some peripherals, such as HMDs, objects to help tracking and devices to be integrated [4].

Several software and hardware have been developed integrating AR in order to help users perform complex tasks. A notable example is the case ARMAR – Augmented Reality for Maintenance And Repair (Figure 2). It uses AR to improve the usability and productivity of maintenance personnel. The user wears a HMD, which enables to visualize automatically recognized elements (by using a camera together

with the embedded system) of the equipment being repaired. It makes use of motion tracking, mobile computing, wireless networking and 3D modeling to improve both quality and efficiency of the task being performed [5].

Figure 2. ARMAR’s screenshot. The 3D model of the equipment to be mounted is shown by the AR device, along with the instructions of what the user has to do.

Meanwhile, research aimed at making portable

and wearable devices have also produced important results in the last years (Figure 3). The need of being connected to the world through the internet has motivated the development of this type of devices. By making this technology available, other applications of wearable devices have been suggested, studied and developed. The miva platform is a reliable platform of wearable devices which takes advantage of AR in order to design virtual interfaces, improving human-machine interaction considerably [1].

Figure 3. Wearable computer interface, the miva, being used.

Furthermore, there have been found advantages of merging in real and virtual images, specifically thermal vision. A case study shows that combining thermal and real images can help face recognition,


121

(Figure 4) and this way, it could help identifying and specifying problems and the equipment in which these problems are occurring [6].

Figure 4. From left to right: real image, thermal image and combined image. This combination makes the face recognition a much more robust tool.

In order to aid maintenance personnel, the

ARMAR used a HMD to provide AR to the user. This has been proven efficient, since this kind of task requires the user to have his/her hands free to operate any tools in order to fix the equipment. This solution has also been analyzed in other products, designed for other uses, and was also proven efficient. Attaching devices to head-worn equipment is used in many different areas: cycling, parachuting and mining are a few examples. Also, it was useful to integrate the necessary equipment to the task of inspection – the helmet – to the thermal vision functionality.

The CapCam integrates many assets, functionalities and technologies related to all of these related works. Its goal is to support the user in tasks such as thermal inspections, providing an improvement on the users’ quality of work.

3. Case Study This section presents the case study, which is

the description of the steps that were taken by CapCam developers in order to evaluate the usability of the prototype.

The methods used in the evaluation design are to be explained. The pre-evaluation step (analysis of similar concepts), the test itself (task analysis, thinking aloud method) and the concepts used on a post-test questionnaire answered by the users (Likert scale, SUS and semantic differential scale) are the phases that the team has gone through in order to realize the evaluation.

The evaluation process is described next, divided in Methodology, which contains the methods and equipment used, and the Evaluation Process, which describes the process itself.

3.1. Methodology Before realizing the tests, it was performed (1)

an analysis of similar concepts, a method in which products with similar goals and target audience are

researched and analyzed in order to identify their positive and negative aspects. Searches must be made using keywords related to the main concept of the project and a database with similar products must be created, pointing out its characteristics and exemplifying through images, if possible [7]. This comparison is very important in order to use effective and attainable technologies.

Throughout the tests, two methods were used to extract relevant information from the users. The first one was (2) task analysis, which is the identification of several representative tasks that the system will be used to accomplish [8], in such a way that the system blends in smoothly to the world and task of the user, in order to be successful. The second one was the (3) thinking aloud method – under this method, users verbalize their thoughts as they enter consciousness; hence, they are able to follow their normal sequence of thoughts while they verbalize [9].

It was also required from the users to show their position toward the CapCam in a more objective way. That stated, a questionnaire was designed, applying several methods: (4) a Likert scale – a scale commonly employed in questionnaires with several statements (Likert items) for which the respondent must indicate a degree of agreement or disagreement [10] – and (5) the SUS – System Usability Scale – composed of ten Likert items, which scores and gives a global view of systems’ usability [11]. The (6) semantic differential scale – in which the respondents indicate their attitude towards the object, using an itemized scale – was also used [12].

The testes were done using the CapCam, which has a webcam Microsoft VX-6000 and a thermal camera Irisys 1011 embedded. Also, the user wore a HMD Liteye monocular LE-750A.

3.2 Evaluation Process

The analysis of similar concepts was focused on helmets that were made to be very well fixed on users’ heads; among them, were found bike, war and construction hard helmets. It was noticed that war helmets used press-studs in order to make the helmet fastened. This material was used to attach the liner to the hard helmet, which made it ready to use: comfortable and steady.

It was chosen to attach a different HMD from which was used on the first round of tests with the CapCam [3]. This was due to the need of broader adaptability of the helmet with other models of HMDs available on the market. The display used on this round of tests was a monocular one attached to the helmet’s side, with a screw.

It is important to notice that the only differences between the evaluated prototype and the previous one are defined by the new inner liner and its


122

fixation system, and the monocular HMD used this time.

To evaluate the CapCam, four phases were proposed: casual interview, realization of the task (thermal inspection), prototype testing and questionnaire responding.

The casual interview was made in order to the team members get acquainted to the users, and so, preliminary information about the task and aspects related to it could be obtained. This information is important, for it reflects the users’ attitude towards the task.

The test was conducted at Chesf’s Bongi substation in Recife, Brazil and three typical end users collaborated on it. The task the CapCam was designed to aid was thermal inspection on substations. This task consists in identifying malfunctioning equipment – indicated by the presence of hotspots. That is the main reason why thermal vision is such a robust tool for the task. Even though this task has low complexity, it demands long time to be completed, which means it is hardly performed with urgency. In this phase, the task was analyzed in order to comprehend the whole sequence of ideas and subtasks the users have to accomplish before finishing the main task.

The next step consisted in performing the same task a second time using the CapCam; so the usability and users’ satisfaction could be compared to the method the thermal inspections are done up to this date. The task analysis was also performed at this point, in a way that the CapCam could be evaluated about providing the support needed in all of the subtasks.

Throughout both of the fore mentioned phases, the thinking aloud method was also applied, in order to acquire data related to the users’ thought

about the task, and not about the process itself, since satisfaction is one of the three parameters for usability.

At last, the questionnaire was applied to the three subjects, so that some aspects (that were already evaluated subjectively) could be graded and objectively measured. The questionnaire was composed of three steps, each one based on a different method previously explained. Firstly, the SUS was answered; then, five Likert items helped quantify specifically some aspects that SUS covered generically. At last, a semantic differential scale was used to quantify the aspects of the CapCam more casually by the users. 3.2. Results

According to the answers of the users, the SUS score was calculated. The average score given by the respondents was 71.6. Rating this score, the CapCam can be classified as Good, among the proposed by Bangor (2009). This classification was consistent with the users’ answers on this extra item suggested by Bangor.

In order to grade the other five Likert items that were unrelated to the traditional SUS rating, an arbitrary and intuitive scalar quantity rating was created: each level of agreement to the statement was rated by 1 point, which means that 5 points is the greater grade for each statement for an individual user. The last statement, though, used a different evaluation: the lower the score, the better it was. Thus, the total grade given by the respondents was subtracted from the max grade overall (15) in order to maintain cohesion to the evaluation, as shown in Figure 5.

Figure 5. Bar chart, showing the sum of the scores of the answers the users gave to the statements on a Likert scale. Being the score from 1 to 5 for each user, the maximum sum of points is 15.


123

Figure 6. User’s answers to CapCam’s characteristics on a semantic differential scale. In the next phase on the questionnaire – that

used the semantic differential scale – the results were very positive. The answers given by each user are shown in Figure 6.

The equipment that was beneficial to the realization of the task (as it is currently performed) was analyzed and several needs and difficulties were ascertained. The equipment used were (1) helmet – mandatory for the entrance on the substation – (2) rubber boots, for electric isolation, (3) thermal camera and (4) psychrometer, to measure relative humidity. Among those, the focus of the analysis was the thermal camera and its relation to the user. The camera currently used is the ThermaCAM S60 and even though it is considered light compared to other thermal cameras (it weights two kilograms), it inflicts discomfort and pain on the users’ wrists after some time of use.

As a result from the task analysis, it was noticed that all along the inspection, it is demanded that the users visualize many hotspots in position high above eye level, and so, the users need to lift the camera. To do that, the user would have to raise his/her whole arm, which would cause pain in the users’ shoulders; besides, raising the whole arm makes the thermal camera’s monitor difficult to be seen, because it is located at the top of the camera. If the camera is raised using only the wrist, as were done by the users on the test, it inflicted pain by continuous repetition. This may be due to the task the camera is designed to: it was not designed to be a hand-camera, but to rest on a tripod, registering images along extended periods of time.

Regarding the CapCam, there was some difficulty on wearing the helmet, because there are too many wires on the back of the helmet and the HMD on the front, which makes the user wear it slowly and uncertain. For the same reason, one of the users had some difficulty adjusting the helmet

to his head size, for he couldn’t find the knob on the back of the helmet – which was thought to be easy, as the liner is the same currently used by the company. The HMD had an adjustable lock on the side of the helmet, where it was attached, to which the users were not acquainted. This means the previous training is very important for the users to understand all the functionalities of the CapCam.

The new fixation system was approved by all of the three users. Each one of them felt completely confident and comfortable to move their heads in any ways. Along the inspection using the CapCam, the users continued to commend this characteristic. Nevertheless, the system does not take thermal photographs and send them to the company’s database, which is a main subtask that must be done. Some suggestions were given by the users along the process, for example, a control panel that would be attached to the user’s chest, in order to keep hands free. An issue regarding the cameras attached to the CapCam was noticed: they do not have the same technical specifications (e.g., lenses, focal length), which means they were not and most likely cannot be suitably aligned so the images get overlapped.

The thermal camera used on the CapCam represented a technical barrier: it needs to be small and light (to fulfill the requirements of the CapCam), but it has low resolution, reach and accuracy. According to one of the users, the low resolution thermal image overlapping (over the real world image) lessens even more the quality of the inspection. Also, there was a drawback from using the CapCam, analogous to the currently used cameras. In order to visualize equipment highly above the level of the eye, the users had to lean their heads to the back exhaustively. This is due to both the cameras are proportionally much above the level of the eye. In other words, it causes discomfort to keep leaning the head backwards much too many times.


124

4. Considerations and Future Works

After the field tests, it is possible to identify in which aspects the CapCam is efficient and those in which it needs improvement. Nevertheless, it was proved that CapCam is a well-fit product to the tasks it aims at.

After the first round of tests, the issues that the first version of the prototype presented were analyzed and corrected. The fixation issues were completely solved. Even so, the thermal camera attached to the CapCam was considered a vital problem, due to the low quality of image it provides the user. To use a camera like the ThermaCAM S60 is also not feasible because of its cost – over US$ 100.000 – and its size and weight, which makes it impossible to be attached to the helmet. From this point on, the project may take two different directions: (1) become a helmet to aid the maintenance of inside equipment or (2) a product to support outside inspections, but not being the main and only thermal vision equipment. Both alternatives have several different solutions and possible adjustments on the current prototype. Unfortunately, a solution that would cover both ways is yet to be technical and financially available.

For the first alternative, the camera does not need to be highly accurate, because the technician would only need to spot the problem and then fix it. Small adjustments would need to be done, like the organization of the wires on the back of the helmet.

In order to attend the needs of the second, the project would have to return a few steps on its conceptions. Some functionalities – shooting photographs, sending them to the database in real time – would need to be covered and technical difficulties – the thermal camera – would need to be researched again. However even considering a considerable higher cost, the tasks on which the CapCam could aid would be much broader.

Even though some drawbacks were found along the evaluation of the CapCam, it is possible to ascertain that it presented very good results as a product. It adds many fundamental aspects of a product designed for inspections: comfort, usability and safety; furthermore, it proposes innovative uses for a technology that is of no trivial implementation.

5. References [1] TEIXEIRA, J. M.; SILVA, D.; MOURA, G.; COSTA, L. H.; TEICHRIEB, V.; KELNER, J. miva: Constructing a Wearable Platform Prototype, Recife, 2007.

[2] BROOKE, J. SUS: A Quick and Dirty Usability ScalE, in Jordan, P., Weerdmeester, B., Thomas, A. and Mclelland, I. (ed.) Usability evaluation in industry, Taylor and Francis, 1996. [3] CAVALCANTI, A.; BREYER, F.; TEIXEIRA, J. M.; TEICHRIEB, V.; KELNER, J. CapCam um Dispositivo Portátil e Vestível para Aplicações de RA para Suporte à Inspeção Termal de Equipamentos. Workshop de Realidade Virtual e Aumentada, Bauru, 2008. [4] AZUMA, R. T. A Survey of Augmented Reality, Presence: Teleoperators and Virtual Environments, vol. 6, no. 4, 1997. [5] HENDERSON, S.; FEINER, S.; Augmented Reality for Maintenance and Repair (ARMAR), United States Air Force Research Lab, Technical Report 86500526647, 2007. [6] HEO, J.; KONG S. G.; ABIDI, B. R.; ABIDI, M. A.; Fusion of Visual Thermal Signatures with Eyeglass Removal for Robust Face Recognition, Department of Electrical and Computer Engineering, University of Tennessee, 2004. [7] NEVES, A. M. M.; CAMPOS, F. F. C.; BARROS, S. G.; CAMPELLO, S. B.; ARAGÃO, I; CASTILLO, L. XDM Métodos Extensíveis de Design. Anais 8º Congresso Brasileiro de Pesquisa & Desenvolvimento em Design. São Paulo: Senac SP, 2008. [8] LEWIS, C.; RIEMAN, J.; Task-Centered User Interface Design, A Practical Introduction. Boulder: University of Colorado, 2008. [9] ERICSSON, K. A.; SIMON, H. A. Protocol Analysis: Verbal Report as data. Colorado: Mit Press, 1993. [10] LIKERT, R. A technique for the measurement of attitude. Archives of Psychology, 1932, vol. 22, no. 140, pp. 1-55. [11] BANGOR, A.; KORTUM, P.; MILLER, J. Determining what individual SUS scores mean: Adding an adjective rating scale, Journal of Usability Studies, vol. 4, no. 3, May, pp. 114-123. [12] BRANDALIZE, L. T. Modelos de medição de percepção e comportamento: Uma revisão. In: Laboratório de Gestão, Tecnologia e Informação – UFSC, Florianópolis, 2005.


125

Java 3D para Sistemas de Multiprojeção utilizando Aglomerados Gráficos

Diego Roberto Colombo Dias, Anthony Ferreira La marca, Mário Popolin Neto, José Remo

Ferreira Brega

Universidade Estadual Paulista – LSTR

Marcelo Paiva Guimarães

UNASP

José Roberto Pereira Lauris

USP

[email protected], [email protected], [email protected],

[email protected], [email protected], [email protected]

Resumo

O desenvolvimento de aplicações de multiprojeção,

durante muito tempo restrito a poucos, devido seu alto

custo, hoje pode ser desenvolvido com a integração de

tecnologias de baixo custo. A libGlass, baseada em

aglomerados gráficos, permite o desenvolvimento de

aplicações que necessitem efetuar troca de

informações entre nós de um aglomerado de

computadores. A integração com aplicações

desenvolvidas em Java 3D possibilita então a

distribuição de dados, necessários às transformações

de ambientes virtuais, entre diferentes nós de um

aglomerado, dando a ilusão de um único sistema ao

usuário.

1. Introdução

A Realidade Virtual (RV) é a forma mais avançada

de interface do usuário com o computador até agora

disponível em um ambiente sintético tridimensional

[1]. Essa interação com o ambiente tridimensional

permite ao usuário visualizar o ambiente sobre

qualquer ponto de vista, movimentar-se dentro dele, e

interagir com seus objetos virtuais, tudo isto em tempo

real. Ao interagir com um ambiente virtual (AV)

tridimensional, o computador detecta e reage as ações

do usuário, respondendo a estas ações com

modificações no ambiente. Quanto melhor a

modelagem do AV, mais próximo será do universo real

[2].

Um sistema multiprojeção proporciona maior

imersão ao usuário, podendo ser implementado em

sistemas fortemente acoplados ou aglomerados gráficos

(AG). Os AG diferem dos tradicionais sistemas

fortemente acoplados em alguns aspectos, como, por

exemplo, o fato dos tradicionais dividirem a tarefa em

pequenas tarefas, as quais são distribuídas para os nós e

logo após o processamento das mesmas é que a

sincronização acontece. Os AG, por sua vez, tem como

objetivo oferecer uma visão múltipla do mesmo

conjunto de dados, ou seja, cada nó processa apenas os

dados referentes à sua parte de interesse, gerando assim

a imagem apenas daquela parte.

Este artigo apresenta uma solução para a realização

de multiprojeções utilizando o Java 3D e a libGlass,

possibilitando assim, que sistemas de baixo custo

possam ser criados utilizando-se apenas computadores

pessoais.

Na primeira seção são abordados conceitos gerais

sobre Java 3D. Na mesma seção, é apresentada a

libGlass, biblioteca baseada em AG. Por último, são

apresentados exemplos com detalhes sobre a

implementação, o tratamento do compartilhamento de

dados entre os nós e métodos que realizam as

transformações no AV.


126

2. Java 3D

A Java 3D é uma API desenvolvida pela Sun

Microsystem para renderizar grafos de cena utilizando

a linguagem Java. A renderização pode ser feita

utilizando o OpenGL ou DirectX, ficando à cargo do

código Java, a descrição da cena e a lógica de

programação, permitindo ao desenvolvedor criar e

manipular formas geométricas em 3D [3].

Um ponto forte do Java 3D, é a possibilidade de

desenvolver aplicações puramente em Java,

independente do tamanho do AV que o desenvolvedor

necessite renderizar. Outra característica de sistemas

desenvolvidos em Java 3D, é a independência de

plataforma, isto é, qualquer sistema operacional, que

possua suporte a JVM, é capaz de executar aplicações

Java 3D [4].

Um AV possui objetos geométricos com os quais o

usuário pode interagir. Este ambiente é denominado

VirtualUniverse, sendo esse a classe raiz que contém

todos os outros elementos do AV; elementos não

geométricos também podem ser anexados ao

VirtualUniverse, sendo responsáveis por controlar ou

influenciar o ambiente.

A Figura 1 apresenta a estrutura de um grafo de

cena Java 3D.

Figura 1. Grafo de Cena do Java 3D [4].

Um VirtualUniverse possui, no mínimo, um objeto

Locale. O objeto Locale define uma região geográfica

dentro do grafo de cena. Um BranchGroup serve como

raiz para subgrafos, chamados de brach graphs, sendo

o único objeto que pode ser anexado diretamente a um

objeto Locale.

O nó Behavior contém o código para manipular a

matriz de transformação associada à geometria dos

objetos do AV. O nó TransformGroup está relacionado

à posição, orientação e escala dos objetos do AV,

sendo relativo ao objeto Locale. O nó Shape3D refere-

se a dois objetos: Geometry e Appearance. O objeto

Geometry descreve a geometria dos objetos do AV; o

objeto Appearance descreve a aparência dos objetos,

com relação à cor, textura etc.

Por último, o objeto ViewPlatform, que representa a

visão do usuário dentro do AV, sendo referenciado por

um objeto View, especificando os parâmetros

necessários à renderização da cena do ponto de vista do

usuário.

Um objeto importante para o desenvolvimento desse

trabalho é o Canvas3D, responsável por encapsular

todos os parâmetros associados com a janela de

renderização da cena. O objeto Canvas3D é anexado ao

a um objeto View.

3. Glass

Segundo Guimarães [5], o desenvolvimento

acelerado de arquiteturas de redes e dos computadores

pessoais propiciou avanços significativos na área de

processamento de alto desempenho. Os sistemas

fortemente acoplados passaram a ser substituídos por

aglomerados, que são caracterizados por uma coleção

de nós interconectados através de uma rede local,

oferecendo ao usuário a ilusão de um único sistema.

Os AG diferem dos tradicionais em alguns aspectos,

como por exemplo, o fato dos tradicionais dividirem a

tarefa em pequenas tarefas, as quais são distribuídas

para os nós e logo após o processamento das mesmas é

que a sincronização acontece. Os AG por sua vez, tem

como objetivo oferecer uma visão múltipla do mesmo

conjunto de dados, ou seja, cada nó processa apenas os

dados referentes à sua parte de interesse, gerando assim

a imagem apenas daquela parte.

Além disso, os nós dos aglomerados tradicionais

são, na maioria das vezes, idênticos, o que pode ser

uma boa opção analisando que há apenas uma tarefa

que é executada em diversos nós. Entretanto, em

ambientes de RV o foco é um pouco distinto, haja vista

que as aplicações requerem muitas tarefas variadas

para serem realizadas, o que, muitas vezes, necessita de

dados pequenos quando comparado com os dados dos

aglomerados tradicionais.

Outro aspecto fundamental nesta diferença de

aglomerados tange a questão de tempo real. Os AG

devem realizar as tarefas em tempo real, enquanto que

os tradicionais realizam em forma de lote. A

interatividade e a geração de imagens em tempo real

das aplicações gráficas requerem que as tarefas sejam

executadas respeitando-se alguns limites de tempo. Por

exemplo, as aplicações de multiprojeção precisam ser

capazes de receber uma entrada, processar os dados e

enviar para a saída (monitores ou projetores), mais de

15 vezes por segundo, enquanto que as aplicações que


127

utilizam os aglomerados tradicionais não possuem esta

necessidade [5].

A libGlass consiste em um conjunto escalável de

componentes que podem ser utilizados pelas

aplicações, que são construídas reutilizando-se,

conforme a necessidade, os componentes que estão

disponíveis, habilitando assim, a execução dos serviços

oferecidos pela biblioteca.

Apesar de a biblioteca ter como objetivo agilizar e

facilitar o processo de desenvolvimento de aplicações

de RV, ela pode ser utilizada para desenvolver

qualquer aplicação baseada em aglomerado. Além

disso, pode ser utilizada para portar aplicações de RV

já desenvolvidas para sistemas fortemente acoplados

para serem executadas em AG sem a necessidade de

refazer todo o projeto.

A Figura 2 apresenta uma visão geral dos seus

componentes. Inicialmente, tem-se o arcabouço, que é

composto pelos componentes: Instanciação, Protocolo

e os Plugins. O componente Instanciação tem por

objetivo inicializar as aplicações conforme a

arquitetura interna da libGlass, que permite criar

aplicações Cliente ou Servidor. O componente

Protocolo encapsula bibliotecas, escondendo as

diferenças entre os protocolos de comunicação TCP,

UDP, MPI, VIA, entre outros. O plugin de

Compartilhamento é responsável pela distribuição de

valores de objetos para os nós do AG. As Barreiras

gerenciam o sincronismo no AG. O plugin Evento

permite ao desenvolvedor utilizar dispositivos não

convencionais para a interação com o AV, como

celulares ou Palms, que mesmo possuindo um poder

menor de processamento, pode enviar estímulos ao AV

sem interferir no desempenho da aplicação. O plugin

Alias permite diferentes visões aos usuários, com

diferentes posições de câmeras no mesmo ambiente.

As aplicações Glass podem usar diferentes

protocolos sem que a biblioteca seja modificada ou

recompilada, esse componente possui uma infra-

estrutura de empacotamento e desempacotamento de

mensagens, que suporta todos os tipos básicos (integer,

float, string, entre outros). Este tipo de comportamento

garante a interoperabilidade entre sistemas

operacionais. Assim, pode-se, por exemplo, executar

alguns nós da mesma aplicação no Linux e outros no

Windows ou no Mac OS [5].

Figura 2. Arquitetura Glass [5].

A libGlass possui dois grupos de aplicações, sendo

eles: i) as Aplicações Glass criadas pelos

desenvolvedores e os programas exemplos; e ii) as

Aplicações de Suporte que auxiliam o desenvolvimento

aplicações.


128

Os nós que manuseiam os dados de entrada dos

dispositivos não precisam estar executando as

aplicações, contudo eles devem receber as entradas,

processar e enviar os resultados para os nós que estão

executando a aplicação. Os eventos devem ser

recebidos por todos os nós interessados, caso isso não

aconteça, incoerências no ambiente podem ocorrer.

O tratamento correto dos dados de entrada é de

extrema importância para as aplicações de

multiprojeção, pois o ponto de vista de cada imagem

deve ser preciso para que não ocorra incoerência na

imagem.

Os tipos comuns de dados podem ser criados e

manipulados. Entretanto, pode-se escolher outras

bibliotecas para trabalhar em conjunto com a libGlass,

por exemplo, a API Java 3D.

Ainda, as aplicações podem utilizar diversos

dispositivos de multriprojeção, como: CAVERNAS

Digitais, capacetes de visualização e monitores; e

vários dispositivos de interação, como: mouse,

rastreadores e dispositivos de sensação ao toque.

Estes tipos de ferramentas são aquelas que auxiliam

o desenvolvimento de aplicações Glass.

4. Trabalhos Correlatos

O grupo LSTR realiza pesquisa em áreas como:

Realidade Virtual, Realidade Aumentada, Sistemas de

Multiprojeção e Visualização Científica.

Alguns trabalhos correlatos foram publicados em

outros eventos, entre eles:

Dias [6], apresentou um trabalho relacionado

no WRVA 2009. O trabalho consiste em uma

ferramenta utilizada para visualização de

arcadas dentárias. As bibliotecas utilizadas

foram: a libGlass e o OpenGL [7]. A

aplicação foi desenvolvida utilizando a

linguagem C++, nativa às duas bibliotecas

utilizadas.

Dias [8], apresentou trabalho no WIM 2010,

evento satélite do XXX CSBC. O trabalho

consiste de uma ferramenta de Visualização

Científica para Estruturas Dentárias em geral.

Esta ferramenta foi desenvolvida utilizando a

linguagem C++.

Neste trabalho, é efetuada a integração entre

bibliotecas desenvolvidas em linguagens diferentes: a

libGlass desenvolvida em C++; e o Java 3D, que

utiliza sintaxe Java. Portanto, é apresentada uma forma

de desenvolvimento de aplicações de multiprojeção

utilizando a linguagem Java.

Dessa maneira, é necessária a especificação de seus

métodos, pois existem diferenças entre as

implementações utilizando OpenGL e o Java 3D.

5. Descrição da aplicação Exemplo

Nesta seção, são apresentados os passos de

desenvolvimento de uma aplicação em Java 3D

utilizando a libGlass no compartilhamento de dados de

posicionamento do AV. Um AV no formato X3D é

utilizado com estudo de caso. O loader Xj3D [9] foi

escolhido para gerar o grafo de cena X3D à aplicação

Java 3D.

Primeiramente, devem ser criados os objetos do tipo

Cliente Glass, Barreiras, Compartilhamento e Alias. O

objeto Cliente Glass é responsável por instanciar a

aplicação Glass como um nó do AG. O objeto Barreira

possibilita o sincronismo entre os nós do aglomerado.

Os objetos Compartilhamento são responsáveis pelo

compartilhamento de dados das coordenadas do AV.

Por último, os objetos Alias, responsáveis por controlar

os pontos de vista do AV. A Figura 3 apresenta a

definição dos objetos.

Figura 3. Declaração dos objetos Glass.

A Figura 4 apresenta o método de inicialização da

aplicação Glass.

Figura 4. Método de Inicialização da Glass.

Se o método glassInitialisation for executado sem

parâmetro de entrada, o nó será executado como


129

Servidor, isto é, ele será responsável por gerenciar os

outros nós do AG. Dessa maneira, o nó Servidor deve

ser o primeiro a ser instanciado. Os objetos Glass são

instanciados logo após a definição do tipo de nó. O

nome entre aspas, por exemplo, “anglex”, representa o

nome que o objeto compartilhado tem perante os nós.

O protocolo de rede utilizado entre os nós do

aglomerado é o TCP, sendo este implementado como

plugin da libGlass.

A Figura 5 apresenta a definição dos pontos de vista

do AV. Foram utilizados dois pontos de vistas, gerando

assim duas projeções simultâneas.

Figura 5. Associação de pontos de vista.

Sempre que o ambiente receber algum estímulo do

usuário, os objetos compartilhados devem ser

atualizados. O método data_changed será sempre

executado quando necessário.

Figura 6. Método de atualização de dados dos objetos Glass.

Quando os objetos são atualizados, todos os nós

devem ser sincronizados. Por isso, o método my_sync

possui uma chamada ao objeto Barreira datalock,

responsável pelo sincronismo dos dados.

Figura 7. Método de sincronismo dos objetos

Glass.

O método responsável por alterar as coordenadas X,

Y e Z do AV, é o getTransform, método

sobrecarregado da classe MouseTranslate. Toda vez

que o usuário necessitar modificar o estado do

ambiente, as novas coordenadas geradas são

compartilhadas pelos objetos Glass, para que os outros

nós também possam ser alterados.

Figura 8. Método de Translação da aplicação.

A classe responsável por desenhar o AV é a

Canvas3D. O método preRender é chamado durante

todo o período em que a aplicação é executada. Este

método deve ser sobrecarregado para que todos os nós

do AG possam desenhar seu objeto Canvas ao mesmo

tempo. A Figura 9 apresenta a sobrecarga do método

preRender.

Figura 9. Método executado antes da renderização das

cenas.

A Figura 10 apresenta um exemplo de execução da

aplicação Java 3D com suas coordenadas

compartilhadas.


130

Figura 10. Execução da aplicação exemplo.

6. Conclusão

O uso de sistemas de multiprojeção, antes limitado a

poucos devido aos altos custos dos dispositivos, hoje

pode ser implementado utilizando-se apenas

computadores pessoais e projetores.

A API Java 3D tende a facilitar o desenvolvimento

de aplicações de Realidade Virtual, devido a sua

independência de plataforma e o alto poder de

produtividade que a linguagem Java proporciona ao

desenvolvedor.

A libGlass, sendo uma biblioteca livre de custos,

apresentou um bom resultado com relação à proposta

deste artigo: gerar um AV com multiprojeções de baixo

custo.

O desenvolvimento de aplicações utilizando essas

tecnologias apresentadas são de fácil implementação,

bastando apenas à modificação de alguns métodos da

API Java 3D.

Agradecimento

Este trabalho foi financiado pelo Conselho Nacional de

Desenvolvimento Científico e Tecnológico – CNPq,

sob concessão No. 477708/2008-0

7. Referências [1] HANCOCK, D. Viewpoint: virtual reality in search of

middle ground. IEEE Spectrum, 1995.

[2] KIRNER, C.; SISCOUTTO, R. Fundamentos de

Realidade Virtual e aumentada. In: KIRNER, C.;

SISCOUTTO, R. Realidade Virtual e aumentada:

Conceito, Projeto e Aplicações. Porto Alegre: Editora SBC,

2007.

[3] SELMAN, D. Java 3D Programming. Manning, 2002.

[4] SUN MICROSYSTEM. The Java 3D API

Specification. 2000.

[5] GUIMARÃES, M. P. Um ambiente para o

desenvolvimento de aplicações de Realidade Virtual

baseadas em aglomerados gráficos. São Paulo: [s.n.], 2004.

[6] DIAS, D. R. C. et al. Sistema de Realidade Virtual para

Estruturas Dentárias. In: 6º WORKSHOP DE REALIDADE

VIRTUAL E AUMENTADA - WRVA, 2009, Santos. Anais

do WRVA 2009, Santos, 2009.

[7] OpenGL. The Industry's Foundation for High

Performance Graphics: from games to virtual reality,

mobile phones to supercomputers. 2010. Disponível em:

<http://www.opengl.org/about/overview/>. Acesso em: 5

ago. 2010.

[8] DIAS, D. R. C. et al. Sistema de Multiprojeção para o

Auxílio ao Ensino de Odontologia. In: XXX CONGRESSO

DA SOCIEDADE BRASILEIRA DE COMPUTAÇÃO -

CSBC, 2010, Belo Horizonte. Anais… Belo Horizonte,

2010. Disponível em: <http://www.inf.pucminas.br/sbc2010

/anais/index.htm>. Acesso em: 6 ago. 2010.

[9] Xj3D. 2009. Disponível em: <http://www.xj3d.org/>.

Acesso em: 5 ago. 2010.


131

Uma plataforma para visualizacao estereoscopica horizontal

Bruno Eduardo MadeiraInstituto Militar de Engenharia

Praca Gen. Tiburcio 80Urca, Rio de Janeiro, RJ

[email protected]

Luiz VelhoInstituto Nacional de Matematica Pura e Aplicada

Laboratorio VisgrafEstrada D. Castorina 110Horto, Rio de Janeiro, RJ

[email protected]

Abstract

Neste artigo e descrita uma arquitetura de hardware esoftware desenvolvida com o objetivo de exibir imagens es-tereoscopicas sobre superfıcies horizontais. A arquiteturaoferece recursos para fazer o acompanhamento da cabecado usuario usada na correcao do par estereoscopico, e re-cursos de interacao tangıvel por meio de uso de fiduciais.

1 Introducao

O objetivo do projeto foi o desenvolvimento de um sis-tema composto por hardware e software capaz de exibir ob-jetos virtuais posicionados sobre uma superfıcie plana dis-posta horizontalmente.

A principal motivacao para o projeto e a criacao de umvınculo de apoio entre os objetos virtuais e a superfıcie deexibicao, proporcionando uma melhor aceitacao cognitivaquando comparada com a exibicao de objetos virtuais queaparecem flutuando na frente de telas dispostas na vertical.

Este tipo de sistema nao tem despertado muito inter-esse nos pesquisadores de realidade virtual. As unicas re-ferencias sobre trabalhos semelhantes encontradas pelos au-tores foram as patentes [4] e [1].

A diferenca fundamental entre criar pares de imagensestereoscopicas visualizaveis na horizontal e pares visu-alizaveis na forma convencional, feita com telas verticais, ea aplicacao de uma transformacao geometrica que deformaa projecao. Esta transformacao deve ser tal que faca comque o objeto visto do ponto de vista do observador sejaequivalente a imagem proveniente de um objeto sobre a su-perfıcie, como ilustra a Figura 1.

Esse tipo de deformacao pode ser facilmente geradoem computacao grafica atraves do cisalhamento verti-cal da piramide de visao. Por exemplo, no caso do

Figura 1. Em (a) e apresentada uma imagemdeformada preparada para ser vista na hori-zontal, e em (b) tem-se sua visualizacao.

OpenGL, isso pode ser feito escolhendo-se apropriada-mente os parametros da funcao glFrustum.

As principais contribuicoes do projeto foram testar avisualizacao estereoscopica em tela horizontal e o desen-volvimento de uma plataforma para criacao de aplicativosespecıficos para essa forma de visualizacao.

Observamos que, nas secoes a seguir, excetuando-se aFigura 7, tem-se que nas fotografias dos prototipos exibindoimagens, apenas uma das imagens do par estereoscopicoaparece. Isso foi feito com a intencao de melhor ilustrar oefeito tridimensional proporcionado ao observador quandoeste olha a cena atraves de um oculos 3D.

2 Estrutura fısica

Foram desenvolvidos dois prototipos: um mais simples,que pode ser transportado, e outro mais sofisticado, mon-tado de forma permanente no laboratorio Visgraf do IMPA.

O prototipo transportavel e composto por um monitorCRT posicionado de forma horizontal sobre uma estruturade aco e madeira e por um oculos estereoscopico, comomostra a Figura 2.

O prototipo fixo e composto por um projetor estere-


132

Figura 2. Prototipo estereoscopico trans-portavel.

oscopico fixado ao teto do laboratorio, uma mesa que re-cebe a projecao, um oculos estereoscopico, uma camerade vıdeo, uma placa de captura de vıdeo, um controle dovideogame Wii e um emissor de luz infravermelha, comomostra a Figura 3.

Figura 3. Em (a) o projetor estereoscopico ecamera de vıdeo fixados ao teto e em (b) ve-se a mesa, o oculos 3D, o controle do Wii esua respectiva barra com emissores infraver-melhos.

3 Bibliotecas utilizadas

Os softwares dos prototipos foram em sua maioria im-plementados em linguagem Python.

A parte de Computacao Grafica foi resolvida usando abiblioteca para desenvolvimento de jogos Panda3D.

Para o reconhecimento e acompanhamento de fiduciaisfoi utilizado a biblioteca AR ToolKit, que ja esta integradaao Panda3D.

Para realizar a leitura dos sensores do controle do Wii foiutilizada a biblioteca CWiid.

Foram tambem realizadas adaptacoes de jogos 3D decodigo aberto para a plataforma, como descrito na secao 5.Nestes jogos, o ajuste da saıda grafica foi feito caso a caso.

4 Funcionamento dos prototipos

O prototipo fixo possui um sistema para fazer o acom-panhamento da posicao da cabeca do usuario e outropara fazer o acompanhamento de fiduciais utilizados parainteracao.

A posicao da cabeca e estimada utilizando-se as coorde-nadas da projecao, feita sobre a camera infravermelha deum controle do videogame Wii, de um LED infravermelhofixado a cabeca do usuario. Dessa forma, a imagem e atual-izada em tempo real compensando o movimento do obser-vador.

Ja o acompanhamento de fiduciais permite uma forma deinteracao natural com os objetos virtuais (Figura 4). Essesfiduciais sao filmados pela camera fixada ao teto, sendoentao identificados e acompanhados pela biblioteca ARToolKit.

O prototipo movel e mais simples. Ele nao realiza oacompanhamento da cabeca do usuario, obrigando-o a semanter parado numa posicao previamente estabelecida, etambem nao oferece mecanismos de interacao baseada emfiduciais.

Figura 4. Um marcador e utilizado para movero carro virtual. Ve-se que a imagem exibidamuda conforme o observador se move emrelacao a mesa.

5 Programas adaptados

Foram realizadas adaptacoes de programas para os doisprototipos. O enfoque dado foi na area de jogos tridimen-sionais, tendo sido adaptados os jogos de codigo aberto:Warzone 2100 e CannonSmash.

A escolha dos jogos nao foi feita ao acaso. O jogo War-zone 2100 consiste de um combate terrestre travado em umcenario montanhoso. Esse tipo de cenario visto na formaestereoscopica horizontal produz a sensacao de que o com-bate se passa sobre uma maquete, tornando a visualizacaomais natural que a proporcionada pela versao original dojogo (Figura 5).

Embora a versao modificada seja interessante devido aorelevo do cenario, ela apresenta dois inconvenientes para oefeito estereoscopico:


133

Figura 5. Em (a) a versao original do jogoWarzone2100. Em (b) a versao modificada dojogo sendo exibida na forma estereoscopicahorizontal.

• Existe uma descontinuidade de altura nas bordas daimagem, pois o relevo do cenario apresenta em geraluma altura nas bordas diferente da tela horizontal;

• O jogo necessita que o cenario deslize (scroll), tendoem vista que ele e muito maior que a regiao deprojecao. Este deslizamento dos objetos 3D sobre atela nao corresponde a algo natural no mundo real.

Para testar o efeito estereoscopicos sem esses problemasfoi escolhido o jogo Cannon Smash, que representa umapartida de tenis de mesa.

A eliminacao dos problemas e possıvel, pois o cenario deuma partida de tenis de mesa pode ser mantido fixo dentroda regiao de exibicao, alem disso, o piso do cenario podeser nivelado com a tela, eliminando a descontinuidade dealtura nas bordas do modelo projetado (Figura 6, letra (b)).

Figura 6. Em (a) a versao original do jogoCannon Smash. Em (b) a versao modifi-cada do jogo sendo exibida na forma estere-oscopica horizontal.

6 Programas desenvolvidos

Alem dos jogos adaptados, foram desenvolvidassolucoes para a implementacao de sistemas em LinguagensC e Python.

No caso da Linguagem C, foi criada uma biblioteca es-crita sobre OpenGL para exibir objetos sobre os prototipos.Um dos testes feito com essa biblioteca e apresentado naFigura 7.

Figura 7. Visualizacao estereoscopica feitacom a biblioteca escrita sobre OpenGL.

Os resultados interativos mais interessantes foram obti-dos com o desenvolvimento em Python de aplicacoes com-plexas baseadas no pacote Panda 3D. Como ilustrado pelasFiguras 4 e 8.

Figura 8. Aplicacao interativa desenvolvidacom Panda 3D.

Alem de terem sido desenvolvidas e adaptadasaplicacoes tridimensionais interativas, foi desenvolvidatambem uma metodologia para criar vıdeos estereoscopicosfotorrealistas visualizaveis em telas dispostas na horizontal.

Os vıdeos foram testados em um monitor LCD comsuporte a exibicao estereoscopica. Ele sera usado naconstrucao de um novo prototipo movel que substituira oprototipo movel baseado em tecnologia CRT. A Figura 9ilustra o resultado.

7 Conclusoes

Para algumas aplicacoes, a utilizacao de visualizacaoestereoscopica sobre superfıcies horizontais oferece umamaior naturalidade para o usuario do que a visualizacao es-tereoscopica tradicional. Quando ela e utilizada em con-


134

Figura 9. Quadros de uma animacao sendoexibida em um monitor disposto na horizon-tal.

junto com mecanismos de interacao tangıveis tem-se umaamplificacao da sensacao de realidade oferecida ao usuario.

Referencias

[1] S. Aubrey. Process for making stereoscopic images whichare congruent with viewer space. United States Patent,(6,614,427), February 2000.

[2] J.-B. de la Riviere. 3d multitouch: When tactile tables meetimmersive visualization technologies. SIGGRAPH Talk, July2010.

[3] A. Macy. Process and method of effective angular levitationof printed images and the resulting product. United StatesPatent, (1,592,034), September 1924.

[4] O. C. Wester. Anaglyph and method. United States Patent,(6,389,236), February 2000.

[5] J. R. Yoshiki Takeoka, Takashi Miyaki. Z-touch: A multi-touch system that detects spatial gesture near the tabletop.SIGGRAPH Talk, July 2010.


135

SESSÃO TÉCNICA 7

APLICAÇÕES EM REALIDADE VIRTUAL E

AUMENTADA


136

Desafios e Oportunidades da Engenharia Cognitiva na Concepção de Sistemas de Realidade Virtual e Aumentada

Eunice P. dos Santos Nunes1,2, Lucia V. L. Filgueiras1, Fátima L. S. Nunes1, Romero Tori1

1Interlab – Laboratório de Tecnologias Interativas – Escola Politécnica/USP Av. Prof. Luciano Gualberto, nº 380 – 05508-010 – São Paulo – fone (11) 3091-5282

2Instituto de Computação – Universidade Federal de Mato Grosso (UFMT) Av. Fernando C. da Costa, no 2367 – 78060-900 – Cuiabá-MT – fone: (65) 3615-8791

{eunice.poli,lfilguei,fatima.nunes,tori}@usp.br

Abstract

The way as computer interface is designed may

affect how people perceive, access, learn and remember things during task management. This cognitive process includes reasoning, attention, learning, memory, perception, decision-making, planning, reading, speech and listening. Changes in technology over the last years have demanded an interdisciplinary reflection on the relationship between interaction-human-computer in light of which Cognitive Engineering has been a target of researches in the conception of computer systems based on the cognitive system of its users. In this context, Cognitive Engineering is recommended as a possible approach for conceiving Virtual Reality (VR) and Augmented Reality (AR) systems. Following this approach, this paper presents research that has been developed in the areas of VR and AR that exploring the cognitive aspects of their users in the interaction-human-computer process, what interaction resources are being used in this approach, and some challenges are pointed out in this line of research. 1. Introdução

As mudanças no ambiente tecnológico criaram uma demanda para se pensar a relação interação homem-computador de forma interdisciplinar e diante disso, a Engenharia Cognitiva tem embasado pesquisas na concepção de sistemas de computador que consideram os aspectos cognitivos dos seus usuários.

Engenharia Cognitiva é uma ciência aplicada, que busca empregar o que se sabe sobre cognição no design e na construção de artefatos computacionais com

objetivo de entender questões relacionadas ao uso de computadores e aos métodos para se tomar decisões mais corretas quanto ao design, entre outras [10].

A cognição envolve diversos tipos específicos de processos, tais como: atenção, aprendizado, memória, percepção e reconhecimento, tomada de decisões, raciocínio, planejamento, resolução de problemas, leitura, fala e audição. No entanto, muitos desses processos cognitivos são interdependentes e vários podem estar envolvidos em uma dada atividade [11].

O sistema cognitivo produz "ação inteligente", isto é, seu comportamento é orientado, baseado na manipulação de símbolos e a interface é projetada de forma a usar o conhecimento do mundo (conhecimento heurístico) para orientação durante a interação com um sistema [6].

A estratégia da abordagem cognitiva para apoiar o design de sistemas interativos está concentrada na elaboração de modelos cognitivos que permitam aos designers entender os processos cognitivos humanos que atuam na interação com sistemas computacionais. Com tais modelos, é possível realizar experimentos e fazer previsões sobre o grau de dificuldade dos usuários em aprenderem a usar os sistemas e reter este conhecimento durante o tempo necessário [11].

De acordo com Norman & Draper [10] os modelos cognitivos descrevem os processos e estruturas mentais (recordação, interpretação, planejamento e aprendizado, etc) que podem indicar para pesquisadores e projetistas quais as propriedades que os modelos de interação devem ter, de maneira que a interação possa ser desempenhada mais facilmente pelos usuários. Como esta abordagem adota uma perspectiva centrada nos aspectos cognitivos dos usuários, o projeto feito com base nesses aspectos é chamado de Projeto de Sistemas Centrado no Usuário.


137

Uma das teorias mais conhecidas desse é a Engenharia Cognitiva que se baseia no pensamento, ou seja, na forma como o usuário interpreta e interage com o sistema [14].

Neste trabalho, procura-se discutir a concepção de sistemas de Realidade Virtual (RV) e Realidade Aumentada (RA) sob a perspectiva da Engenharia Cognitiva, visto que estes sistemas buscam a interação homem-computador mais próxima da realidade do usuário.

Seguindo esta abordagem o presente trabalho apresenta pesquisas que têm sido desenvolvidas nas áreas de RV e RA que se preocupam com os aspectos cognitivos dos usuários no processo de interação homem-computador, como esses aspectos têm sido explorados; quais recursos de interação têm sido utilizados, e como a abordagem da Engenharia Cognitiva desde a fase de concepção do sistema poderia contribuir para um sistema centrado no usuário.

Este trabalho está estruturado da seguinte maneira: a seção 2 apresenta os conceitos sobre Engenharia Cognitiva. A seção 3 apresenta pesquisas nas áreas de Realidade Virtual e Realidade Aumentada desenvolvidas com a perspectiva da Engenharia Cognitiva, e a seção 4 apresenta as discussões e conclusões deste trabalho. 2. Engenharia Cognitiva

A Engenharia Cognitiva foi concebida por Donald Norman em 1986 [10] como uma tentativa de aplicar conhecimentos de Ciência Cognitiva, Psicologia Cognitiva e Fatores Humanos ao design e construção de sistemas computacionais. Os principais objetivos de Norman eram: i) entender os princípios fundamentais da ação e desempenho humano que são relevantes para o desenvolvimento de princípios de design; ii) elaborar sistemas que sejam agradáveis de usar e que envolvam os usuários de forma prazerosa [14].

Norman & Draper [10] definem que inicialmente o designer cria o seu modelo mental do sistema, chamado “modelo de design”, fazendo a seguir a implementação formando a imagem do sistema. Posteriormente, o usuário interage com essa imagem e cria seu próprio modelo mental da aplicação, chamado de “modelo do usuário”, por meio do qual formulará suas ações e objetivos, traduzindo-os em termos de comandos e funções do sistema. Percebe-se, assim, que a Engenharia Cognitiva focaliza centralmente a interação usuário-sistema, enfatizando o produto final do processo de design, o sistema, e o modo como o usuário o entende.

A Figura 1 mostra o processo de design na abordagem da Engenharia Cognitiva.

Figura 1. Modelo de interação da Engenharia

Cognitiva [14]

Isso significa dizer que as pessoas elaboram e trabalham sobre a realidade através de modelos mentais ou representações que montam a partir de percepções provenientes dessa realidade. Esses modelos, que condicionam totalmente o comportamento do indivíduo, constituem a sua visão da realidade, que é modificada e simplificada pelo que é funcionalmente significativo para ele. Os modelos mentais relativos a um sistema interativo, por exemplo, variam de indivíduo para indivíduo, em função de suas experiências passadas, e evoluem no mesmo indivíduo, em função de sua aprendizagem.

Partindo do princípio da Engenharia Cognitiva, o objetivo do designer é desenvolver uma aplicação que facilite ao usuário trabalhar com modelos mentais que sejam mais naturais a ele. Para que isto seja possível, Norman & Draper [10] argumentam que o designer precisa entender o processo através do qual o usuário interage com a interface do sistema e para isso propõe a Teoria da Ação para apoiá-lo.

A Teoria da Ação determina que a interação usuário-sistema deve ser feita através de um ciclo de ações. Esse ciclo se divide em dois Golfos, o Golfo de Execução (Formulação da Intenção, Especificação da Sequência das Ações, Execução) e o Golfo de Avaliação (Percepção, Interpretação, Avaliação), como ilustra a Figura 2.


138

Figura 2. Etapas da Teoria da Ação [14]

O designer do sistema pode ajudar o usuário a

atravessar estes golfos diminuindo a distância de uma ponta a outra. Para isto ele deve definir quais são as ações e estruturas mais adequadas para comandar as funções do sistema, escolher os elementos de interface que melhor comunicam a informação desejada e optar por feedbacks significativos. Quanto mais próxima da tarefa e das necessidades do usuário estiver a interface oferecida pelo designer, menos esforço cognitivo será exigido do usuário para interagir com o sistema [10].

Dessa forma a Engenharia Cognitiva se concentra no processo de interação usuário-sistema, deixando a etapa projetista-sistema em segundo plano. Assim, ela enfatiza o produto deste processo, que é o sistema, e a interpretação do usuário sobre o produto [14].

Em outras palavras, a Engenharia Cognitiva oferece subsídios para se definir a interação usuário-sistema, cognitivamente adequada para uma determinada população de usuários.

3. Concepção de sistemas com a perspectiva da engenharia cognitiva

A partir de uma revisão bibliográfica acerca do tema, observa-se que várias pesquisas têm sido realizadas envolvendo as tecnologias de Realidade Virtual e Realidade Aumentada aplicando os diversos conhecimentos que envolvem a Engenharia Cognitiva, como Ciência Cognitiva, Psicologia Cognitiva e Fatores Humanos ao design e construção de sistemas computacionais. Tais conhecimentos buscam a concepção de ambientes virtuais mais próximos da realidade dos usuários e com melhoras significativas nas questões de usabilidade e interação homem-computador.

Mas apesar das pesquisas nesta área estarem avançadas, a sua implementação ainda é considerada um grande desafio. A seguir são apresentados alguns projetos de pesquisa selecionados neste trabalho, que buscam demonstrar como a comunidade científica de RV e RA têm caminhado no âmbito da Engenharia Cognitiva, especificamente em relação aos fatores humanos, buscando identificar nesses trabalhos quais os elementos cognitivos relevantes ao problema em estudo em cada pesquisa, a fim de identificar a importância da Engenharia Cognitiva na concepção de sistemas de RV e RA. 3.1. Sistemas de Realidade Virtual

Wallet et al. [16] propõem o uso de RV em uma ferramenta de reabilitação cognitiva para pacientes com diagnóstico de Parkinson, Alzheimer e lesões cerebrais. O objetivo da pesquisa foi investigar a influência do ambiente virtual 3D (passivo x ativo), para simular um passeio nas ruas de uma cidade já vivenciada pelo paciente. Esta simulação estimula o usuário a transferir para o ambiente virtual (AV) os conhecimentos geográficos espaciais já adquiridos no passado e que foram perdidos devido às limitações advindas do diagnóstico.

O AV proposto foi implementado com base na cognição espacial, que se refere à capacidade cognitiva de mover-se em um ambiente sem se perder. A principal conclusão deste estudo é que a transferência de conhecimento espacial pode ser impulsionada pela aprendizagem ativa e neste sentido o AV proposto contribuiu para a reabilitação cognitiva dos pacientes em estudo.

Em outro projeto Wallet et al. [17] aplicaram o experimento em dois ambientes, um virtual e um real. O ambiente real foi uma área próxima de um Hospital e para o ambiente virtual 3D foi criada uma réplica do ambiente real. Para manipular o modo de exploração no ambiente virtual sob a condição passiva, os participantes apenas visualizaram o percurso sem qualquer interação, enquanto que na condição de ativo eles usaram um joystick para interação. O objetivo foi avaliar o efeito da exploração passiva versus ativa na transferência de conhecimentos geográficos, de acordo com a complexidade do trajeto. Os resultados da pesquisa demonstraram resultados similares nos dois ambientes.

Zanbaka et al. [19] propuseram um experimento entre vários indivíduos comparando quatro diferentes situações de movimentação em um ambiente virtual imersivo e os seus efeitos sobre a cognição dos indivíduos nos caminhos tomados no ambiente. Após a movimentação e navegação no ambiente, os participantes responderam a um conjunto de questões


139

baseadas em Bloom et al. [2], a fim de avaliar sua cognição no ambiente virtual imersivo em relação ao conhecimento, compreensão e aplicação, considerando os processos mentais superiores.

Segundo Vygotsky [15], os processos mentais superiores (pensamento, linguagem, comportamento) têm origem em processos sociais. O desenvolvimento cognitivo do ser humano não pode ser entendido sem referência ao meio social, ou seja, é necessário converter as relações sociais em funções mentais.

O objetivo da pesquisa de Zanbaka et al. [19] foi investigar as diferenças na percepção e compreensão de um AV imersivo, comparando-se a exploração do mesmo por meio de duas formas de interação: usando um joystick comum e caminhando sobre o espaço virtual de uma forma natural. Visto que em um ambiente virtual 3D uma navegação eficiente constitui um aspecto fundamental para alcançar uma interação homem-computador condizente com o ambiente virtual, que tem como objetivo principal simular situações reais.

Também na literatura são encontrados diversos estudos que buscam a avaliação da cognição em ambientes virtuais voltados para o ensino, como em [5], no qual os autores desenvolveram um framework, utilizando técnicas de hipermídia adaptativa visando a adaptação de um ambiente virtual de aprendizagem de apoio a EaD, considerando os estilos cognitivos predominantes dos alunos de um curso a distância. 3.2. Sistemas de Realidade Aumentada

Nilsson & Johansson [8] desenvolveram um protótipo para simular uma técnica da área médica, denominada Diatermia, que usa um transmissor de ondas curtas (HF) com o objetivo de provocar o aquecimento de tecidos internos do corpo. Este protótipo foi desenvolvido utilizando técnicas de Realidade Misturada (RM) - Mixed Reality. O desenvolvimento do protótipo tratou as questões de usabilidade do sistema sob a perspectiva da Engenharia Cognitiva, com a finalidade de encontrar uma abordagem alternativa para interação dos usuários com sistemas de RM de forma mais natural possível.

Um estudo qualitativo foi realizado com os usuários em um hospital, no qual os profissionais testaram o protótipo como um equipamento médico voltado para o ensino da técnica. Os resultados indicaram que os participantes deste estudo não consideraram o sistema RM como um dispositivo de computador tradicional, mas sim como um instrumento pessoal interativo. Durante o estudo, os usuários apontaram algumas questões fundamentais em matéria de design e usabilidade no uso do protótipo, que

mostraram a importância de se utilizar a abordagem da Engenharia Cognitiva para a concepção de sistemas de RM, em vez de transferir as diretrizes tradicionais de usabilidade para interação homem-computador no domínio em questão.

Nesse mesmo caminho Nilsson & Johansson [9] apresentaram a concepção de um protótipo que utiliza técnicas de RA também com base na Engenharia Cognitiva, e inclui um estudo de usabilidade que foi testado por doze participantes profissionais médicos e enfermeiros. O objeto usado no estudo foi um Trocarte, instrumento cirúrgico que serve para praticar uma punção em um paciente. Todos os participantes tinham alguma experiência como o instrumento e foram observados realizando a tarefa virtual.

O trabalho teve como objetivo principal discutir a usabilidade e aceitação do usuário em relação ao uso do protótipo como instrumento de ensino e os resultados obtidos serviram como base para a discussão da concepção de sistemas de RA sob a perspectiva da Engenharia Cognitiva. A análise dos resultados indicou que, embora existam alguns problemas ergonômicos a serem resolvidos, a aceitação neste grupo de usuários foi elevado, uma vez que um instrumento como o Trocarte representa uma ferramenta utilizada para uma tarefa de alto risco, mesmo quando usada por profissionais qualificados.

Alguns artigos que abordam a importância da visão cognitiva que está alinhada com a teoria da Engenharia Cognitiva também têm sido alvo de estudos, como em Siegl et al. [13], que apresentam o Projeto Europeu de Visão Cognitiva (European Cognitive Vision Project) que utiliza tecnologia de RA para selecionar objetos em uma sala, posicionados fora do alcance do braço. Este trabalho foi concebido seguindo a teoria de sistema de visão cognitiva proposto por Christensen & Nagel [4]. Para tal foi sugerido um sistema wearable que consiste em dois subsistemas independentes, permitindo mobilidade e podendo ser aplicado tanto em ambientes internos quanto externos. O aplicativo funciona como uma retroalimentação, visto que permite o sistema aprender assistindo um ser humano realizar determinadas tarefas.

Os resultados da pesquisa mostraram que a tecnologia de RA proporcionou uma interação homem-computador adequada partindo do princípio da teoria do sistema de visão cognitiva, pois modelou o processamento da memória visual humana com a memória ativa [13].

Bannat et al. [3] & Wallhoff et al. [18] propõem um framework multimodal de adaptação de um sistema de produção em uma fábrica de automóveis de acordo com os aspectos cognitivos dos funcionários do setor de produção mediante a complexidade da montagem manual das peças. Pela observação dos hábitos naturais


140

dos funcionários em uma fila de produção, tais como os fatores humanos de emoção, reconhecimento de gestos, monitoramento e rastreamento de movimento dos olhos e outros, o processo de produção pode ser rastreado e, portanto, ser acompanhado e adaptado dependendo do contexto.

Este sistema utiliza técnicas de RA, equipado com sensores e atuadores, integrados e incorporados ao ambiente físico. Eles diferem de outros sistemas deste tipo por capturar os aspectos cognitivos dos funcionários durante o período de trabalho no setor de produção e, assim, possibilitar a capacidade de adaptação do sistema técnico de acordo com os aspectos cognitivos observados e capturados durante um período de observação. A adaptação do sistema para o usuário é o principal tema de investigação do trabalho dos autores. Portanto a máquina cognitiva observa o trabalhador, reconhece ações relevantes e reage à situação de acordo com o contexto. Uma vez que esta é uma tarefa de alta complexidade que consiste de vários módulos com diversos graus de liberdade, um estudo de caso de produção virtual foi estabelecido e estudado, obtendo sucesso nos resultados da pesquisa.

3.3. Sumarização

A tabela 1 sumariza os trabalhos apresentados nas seções 3.1 e 3.2, classificando-os conforme o foco, abordagem teórica e autores. Tais trabalhos mostram como conhecimentos de fisiologia e psicologia podem contribuir para o projeto de sistemas interativos centrados no usuário e a importância de se considerar os diversos fatores humanos no desenvolvimento de ambientes virtuais de RV e RA.

Para implementação dos fatores humanos alguns modelos cognitivos têm sido utilizados com sucesso em sistemas de RA e o ponto de partida tem sido as questões da percepção humana, cognição espacial, visão cognitiva, capacidade cognitiva e as limitações dos usuários, entre outros [12].

Mas em RV o que se observou na revisão bibliográfica foi que os AVAs têm sido desenvolvidos na sua maioria para investigar a cognição dos usuários após o uso do sistema. Dessa forma, há uma lacuna a ser preenchida quando se busca sistemas de RV seguindo a abordagem da Engenharia Cognitiva, isto é, sistemas de RV com Projeto de Sistemas Centrado no Usuário.

Tabela 1: Abordagens teóricas utilizadas no desenvolvimento de sistemas de RV e RA

Técnica AV

Foco Abordagem teórica

Autores

Sistema para Cognição Wallet et al.

Reabilitação Cognitiva

Espacial (2004,2008)

Avaliação da percepção e compreensão de um AV imersivo

Processos mentais superiores

Zanbaka et al. (2005)

RV Avaliação da cognição em AV de EaD

Estilos cognitivos predominantes

Geller; Tarouco; Franco (2004)

Discussão dos aspectos de usabilidade

Processo de Engenharia Cognitiva

Nilsson; Johansson

(2006,2007) Avaliação da interação homem-computador

Visão cognitiva Siegl et al. (2007)

RA Framework multimodal de adaptação de um sistema de produção

Observação dos aspectos cognitivos

Bannat et al. (2008);

Wallhoff et al. (2007)

4. Discussões e conclusões

Analisando os trabalhos relacionados nesta revisão bibliográfica sobre ambientes virtuais 3D, observa-se que vários estudos têm sido realizados destacando-se os Fatores Humanos no processo de desenvolvimento de sistemas interativos.

No entanto, apesar das pesquisas nesta área estarem avançadas, um grande desafio no campo da interação homem-computador tem sido projetar interfaces de usuário para tecnologias emergentes que ainda não têm estabelecidos diretrizes de design ou modelos de interação ao introduzir formas completamente novas para os usuários perceberem e interagirem com a tecnologia e o mundo ao seu redor. Visivelmente, as tecnologias de RV e RA são tecnologias emergentes que carecem de pesquisas no campo da interação homem-computador.

A cognição não é definida como um processo psicológico, exclusivo para os seres humanos, mas como uma característica de desempenho do sistema, ou seja, a capacidade de manter o controle. Qualquer sistema que pode manter o controle tem potencial cognitivo ou cognição [7]. Sendo assim, as teorias da Engenharia Cognitiva vêm contribuir para o Projeto de Sistemas Centrado no Usuário e diversos Modelos Cognitivos estão disponíveis, como ACT-R e SOAR [1]. Esses modelos cognitivos buscam simular o desempenho cognitivo e o comportamento de um ser humano durante a execução de uma tarefa.

Neste cenário, esta pesquisa constatou que a comunidade científica das áreas de RV e RA ainda deixam a desejar quando o assunto é Projeto de Sistemas Centrado no Usuário. Considerando-se os trabalhos encontrados no decorrer da pesquisa, notou-se que muitos sistemas de RA têm se preocupado em


141

desenvolver ambientes virtuais com base nos fatores humanos, mas em RV o que se encontrou foi apenas uma preocupação em se utilizar os ambientes virtuais como forma de avaliação da cognição dos usuários e não como condição para se projetar a interação usuário-sistema. 5. Referências [1] Begosso, L. C.; Filgueiras, L. V. Human error simulation as an aid to HCI design for critical systems. In Proceedings of VII Brazilian Symposium on Human Factors in Computing Systems (Natal, RN, Brazil, November 19 - 22, 2006). IHC '06, vol. 323. ACM, New York, NY, 120-127. DOI= http://doi.acm.org/10.1145/1298023.1298040. [2] Bloom, B. S.; Englehart, M. D.; Furst, E.J.; Hill, W.H.; Krathwohl, D.R. Taxonomy of Educational Objectives: Cognition Domain. New York: McKay, 1956. [3] Bannat, A.; Gast, J.; Rigoll, G.; Wallhoff, F., "Event analysis and interpretation of human activity for augmented reality-based assistant systems," Intelligent Computer Communication and Processing, 2008. ICCP 2008. 4th International Conference on pp.1-8, 28-30, URL: http://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=4648347&isnumber=4648340 [4] Christensen, H.I.; NAGEL, H.H. Cognitive Vision Systems. ERCIM News no. 53 (2003), 17–18. http://www.ercim.eu/publication/Ercim_News/enw53/EN53.pdf. [5] Geller, M.; Tarouco, L. M. R.; Franco, S. R. K. Educação a Distância e Estilos Cognitivos: Construindo a Adaptação de Ambientes Virtuais. In: VII Congresso Iberoamericano de Informática Educativa, Monterrey, México, 2004. [6] Hollnagel, Erik; David D. Woods. Cognitive Systems Engineering: New wine in new bottles. International Journal of Man - Machine Studies. http://www.ise.ncsu.edu/nsf_itr/794B/papers/Hollnagel_Woods_1983_IJMMS.pdf. [7] Hollnagel, E.,Woods, D.D. Joint Cognitive Systems. Foundations of Cognitive Systems Engineering. Boca Raton, FL: CRC Press, Taylor & Francis Group, 2005. [8] Nilsson, Susanna, e Björn Johansson. 2006. A cognitive systems engineering perspective on the design of mixed reality systems. In Proceedings of the 13th European conference on Cognitive ergonomics: trust and control in complex socio-technical systems, 154-161. Zurich, Switzerland: ACM. doi:10.1145/1274892.1274923. [9] Nilsson, S.; Johansson B. 2007. Fun and usable: augmented reality instructions in a hospital setting. In Proceedings of the 19th Australasian conference on Computer-Human Interaction: Entertaining User Interfaces, 123-130. Adelaide, Australia: ACM. doi:10.1145/1324892.1324915. [10] Norman, D. A.; Draper, S. W. User Centered System Design – news perspectives on human-computer interaction. New Jersey: Lawrence Associates, 1986.

[11] Preece, J. Design de Interação: além da interação homem-computador. Porto Alegre: Bookman, 2005. [12] Ritter, F. E., Gordon D. Baxter, Gary Jones, e Richard M. Young. 2000. Supporting cognitive models as users. ACM Trans. Comput.-Hum. Interact. 7, no. 2: 141-173. doi:10.1145/353485.353486. [13] Siegl, H., M. Hanheide, S. Wrede, e A. Pinz. 2007. An augmented reality human-computer interface for object localization in a cognitive vision system. Image and Vision Computing 25, no. 12 (Dezembro 3): 1895-1903. doi:10.1016/j.imavis.2006.04.027. [14] Souza, C.S.; Leite, J.C.; Prates, R.O.; Barbosa, S.D.J. Interação Humano-Computador: Perspectivas Cognitivas e Semióticas. In: Fuks, H. (Org.). Anais do XIX Congresso da Sociedade Brasileira de Computação. Vol. 2: Jornadas de Atualização em Informática. Rio de Janeiro: Edições EntreLugar, 1999, pp. 420-470. [15] Vygotsky, L. S. A formação social da mente. 2ª. Ed. São Paulo: Martins Fontes, 1988. [16] Wallet, G., H. Sauzéon, J. Rodrigues, e B. N'Kaoua. Transfer of spatial knowledge from a virtual environment to reality: Impact of route complexity and subject's strategy on the exploration mode. Fedora Document. http://www.jvrb.org/archiv/1757/index_html?set_language=en&cl=en, 2004. [17] Wallet, Grégory, Hélène Sauzéon, Jérôme Rodrigues, e Bernard N'Kaoua. 2008. Use of virtual reality for spatial knowledge transfer: effects of passive/active exploration mode in simple and complex routes for three different recall tasks. In Proceedings of the 2008 ACM symposium on Virtual reality software and technology, 175-178. Bordeaux, France: ACM. doi:10.1145/1450579.1450616. [18] Wallhoff, F.; Ablassmeier, M.; Bannat, A.; Buchta, S.; Rauschert, A.; Rigoll, G.; Wiesbeck, M., "Adaptive Human-Machine Interfaces in Cognitive Production Environments," Multimedia and Expo, 2007 IEEE International Conference on , vol., no., pp.2246-2249, 2-5 July 2007 URL: http://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=4285133&isnumber=4284553 [19] Zanbaka, C. A.; Lok, B. C.; Babu, S. V.; Ulinski, A. C.; Hodges, L.F. Comparison of Path Visualizations and Cognitive Measures Relative to Travel Technique in a Virtual Environment. IEEE Transactions on Visualization and Computer Graphics, vol. 11, no. 6, pp. 694-705, Nov./Dec. 2005.


142

Análise de técnicas de limiarização adaptativa para realidade aumentada embarcada

Bernardo Reis1, João Marcelo Teixeira1, Eduardo Simões de Albuquerque2, Veronica Teichrieb1, Judith Kelner1

1 Centro de Informática


{bfrs, jmxnt, vt, jk}@cin.ufpe.br

2 Instituto de Informática

Universidade Federal de Goiás

[email protected]

Resumo

Os sistemas embarcados atuais apresentam

características que permitem executar aplicações de

realidade aumentada. Tendo em vista que muitas

destas aplicações processam imagens em preto e

branco na implementação de procedimentos de visão

computacional, este artigo analisa algoritmos de

limiarização adaptativa do ponto de vista de sistemas

embarcados. O foco principal é na implementação

para um framework de realidade aumentada

embarcada.

1. Introdução

A Realidade aumentada (RA) faz uso de algoritmos de visão computacional para sobrepor informações virtuais – 2D ou 3D, textual ou visual – em cenários do mundo real, para ampliar a percepção do usuário e sua interação com o ambiente real. Um dos objetivos principais de uma aplicação de RA é que os objetos virtuais adicionados na cena se integrem com o mundo real sem que os usuários percebam esta distinção. Para atingir esta integração, algoritmos de visão computacional sofisticados são necessários [1]. Esta técnica tem sido bastante difundida nos mais diversos campos de atuação, como medicina, treinamentos, reparos, entre outros.

Uma especialidade dessa área é a RA embarcada, que envolve a utilização de dispositivos embarcados [2]. Estes dispositivos têm a vantagem de serem pequenos, portáteis e consumirem pouca energia, possibilitando assim o desenvolvimento de aplicações móveis ou vestíveis, características necessárias para muitas aplicações de RA. Em alguns desses dispositivos, como nos Field-Programmable Gate

Arrays (FPGAs), é possível inclusive a execução

paralela de diversos procedimentos, devido à implementação feita diretamente em hardware.

Contudo, estes dispositivos também possuem grandes limitações quando comparados com computadores de mesa, como pouco recurso de memória, o que reduz o poder de processamento, e a dificuldade de desenvolver para estes dispositivos. Normalmente a utilização de linguagens de baixo nível, pouca abstração e particularidades de cada fabricante são dificuldades adicionais para a utilização desses dispositivos.

Focando essas dificuldades citadas, este artigo analisa algoritmos de visão computacional com o objetivo de definir os que melhor se comportam em aplicações de RA desenvolvidas para dispositivos embarcados. Os algoritmos analisados são baseados na técnica de limiarização adaptativa de imagens. Esta técnica foi escolhida porque as imagens em preto e branco são o ponto de partida da maioria dos procedimentos de visão computacional necessários para RA. Nesse contexto específico, uma limiarização bem feita facilita o reconhecimento dos marcadores utilizados para registrar o mundo real nas aplicações de RA com marcadores.

Este artigo está organizado da seguinte maneira: a seção 2 explica o ambiente onde serão implementados os algoritmos, com seus pontos positivos e negativos; na seção 3 é definida a metodologia de análise dos algoritmos; na seção 4 os algoritmos são explicados e analisados do ponto de vista de projeto de sistemas embarcados; e a seção 5 apresenta conclusões e trabalhos futuros. 2. Ambiente de desenvolvimento

O desenvolvimento de aplicações para sistemas embarcados pode ser bastante custoso, comparativamente à realização da mesma tarefa para


143

um ambiente desktop. Isto ocorre devido principalmente à própria natureza desta plataforma, que é voltada para aplicações específicas, onde o melhor desempenho sempre é desejável.

Para alcançar este desempenho, abstrações são normalmente evitadas, a ponto de serem definidas inclusive as interconexões entre flip-flops. Além disso, os dispositivos embarcados são de tamanho reduzido, com o intuito de serem portáteis ou de ocuparem pouco espaço físico em um ambiente. Isto resulta em um baixo consumo de energia, que é tanto desejado, como necessário, já que dispositivos móveis possuem capacidade limitada de bateria.

Alguns dispositivos, como FPGAs, permitem a programação específica de cada “fatia” de hardware que compõe seu núcleo, possibilitando que mais de uma tarefa seja executada simultaneamente, isto é, com paralelismo real (físico).

O desenvolvimento para sistemas embarcados normalmente envolve a utilização de bibliotecas específicas do fabricante – comum em celulares ou microcontroladores – ou linguagens de baixo nível, ambas as soluções com uma íngreme curva de aprendizado.

Estas características, contudo, adéquam-se muito bem às necessidades das aplicações de RA. Porém, as restrições da plataforma dificultam o desenvolvimento dessas aplicações. O sistema ARCam, apresentado na próxima subseção, propõe algumas alternativas para solucionar este problema.

2.1 ARCam

Augmented Reality Camera (ARCam) é um framework para o desenvolvimento de aplicações de RA embarcada em FPGAs [3][4]. O framework possui um conjunto de módulos que executam os principais algoritmos de visão computacional necessários em RA. Com este conjunto de módulos é possível implementar todo o pipeline de RA, desde a captura da imagem de entrada da câmera (sensor de imagem acoplado ao FPGA) até a exibição da imagem processada em um display.

Esses módulos se conectam em forma de cascata, e um componente de memória é utilizado para intermediar a transferência de dados (imagens) entre um módulo e outro. A maior parte desses módulos executa algoritmos de processamento de imagem, como filtragem, convolução, detecção de bordas, detecção de quadrados, e necessitam que a imagem de entrada esteja em formato binário (preto e branco). Por isso, um módulo que execute limiarização na imagem proveniente da câmera é requerido. Este módulo executa a limiarização depois de converter a imagem

colorida para uma imagem em escala de cinza. Isto também é importante devido à quantidade reduzida de memória disponível para armazenar estas imagens, já que uma imagem colorida de 320x240 pixels com 6 bits por cor consome 1382400 bits, enquanto uma imagem binária similar necessita apenas de 76800 bits.

Entretanto, como o módulo existente no ARCam executa uma limiarização básica, que não leva em consideração aspectos da imagem, é necessária uma análise sobre outras técnicas que aprimorem esta limiarização. No módulo atual é utilizado apenas um limiar fixo para determinar se o pixel é preto ou branco. Isto leva a um funcionamento inadequado do sistema em situações com pouca iluminação ou com baixo contraste, como ilustrado na Figura 1, onde parte da face não é segmentada do plano de fundo da imagem.

Figura 1. Exemplo de limiarização problemática.

Uma possível solução é a utilização de técnicas de limiarização adaptativa, que usam diversas características da imagem para permitir a distinção entre as partes claras e as partes escuras da imagem. Este trabalho analisa alguns destes algoritmos e avalia quais deles poderão ser integrados ao pipeline do ARCam.

3. Metodologia de análise

O processo de análise desta pesquisa tem como base fatores qualitativos para avaliar a viabilidade de implementação dos algoritmos de limiarização. Contudo, não será avaliada a qualidade da limiarização, e sim a adaptabilidade dos algoritmos para sistemas embarcados em RA.

Do ponto de vista de sistemas embarcados serão consideradas as seguintes métricas: a facilidade de paralelização dos procedimentos, o que pode viabilizar a utilização de um algoritmo que sequencialmente consuma mais tempo de processamento; a complexidade das operações envolvidas, já que algumas operações podem demorar muito para serem executadas ou suas implementações podem ocupar um número excessivo de elementos lógicos; e uma


144

estimativa da quantidade de memória requerida, tendo em vista ser bastante escassa em dispositivos embarcados.

Para a análise da viabilidade de utilização dos algoritmos no framework ARCam as métricas serão definidas considerando diversos fatores relativos ao comportamento do módulo a ser implementado e os possíveis impactos que poderão ocorrer nos demais módulos do framework. Exemplos desses fatores são: qual o tipo de leitura em memória a ser utilizado; qual o método de limiarização a ser otimizado quando da identificação de marcadores de RA, entre outros.

4. Limiarização adaptativa

A limiarização adaptativa é uma técnica que analisa diversos aspectos da imagem para definir se determinado pixel será considerado preto ou branco.

Esta técnica possui uma literatura repleta de algoritmos, desde soluções simples (que requer pouco custo computacional) até a solução ótima de limiarização local. Os algoritmos baseiam-se em características variadas da imagem, como o formato do histograma, a entropia do histograma, atributos espaciais, entre outros.

Na próxima subseção estes algoritmos são analisados para verificar a viabilidade de sua implementação no pipeline do ARCam. 4.1. Método de Rosenfeld

O método de Rosenfeld et al. [5] utiliza o formato do histograma para definir o valor do limiar da função. O histograma é subtraído de sua própria envoltória convexa e o vale mais profundo desta diferença é definido como este limiar. A envoltória convexa é o polígono convexo que inclui todos os pontos, como ilustrado na Figura 2.

Figura 2. Exemplo de histograma e envoltória convexa

do histograma.

Este método não apresenta resultados qualitativamente bons comparados aos outros métodos de limiarização adaptativa, contudo é simples e rápido. Ele requer alguma memória para armazenar o histograma da imagem, mas necessita apenas de poucos elementos lógicos, devido à baixa complexidade dos cálculos envolvidos. Apesar de ser essencialmente sequencial, é possível incluí-lo no pipeline do ARCam sem introduzir atraso relevante na execução, uma vez que a imagem proveniente da câmera é captada através de um fluxo também sequencial. Este fato caracteriza este método como uma boa opção para RA embarcada. 4.2. Método de Riddler

Para definir o valor do limiar, o método de Riddler et al. [6] utiliza um modelo gaussiano de duas classes. A cada iteração, um valor de limiar é escolhido baseado na média do valor das classes de plano de imagem e de fundo. Quando o módulo da diferença entre o valor de limiar de duas iterações seguidas é pequeno o suficiente, então o seu valor é definido.

Esse processo iterativo possui uma implementação custosa quando integrado ao framework do ARCam. Isto ocorre porque o fluxo de imagem da câmera não permite que a mesma seja lida repetidas vezes, nem há memória suficiente para armazenar a imagem em mais de um lugar.

No entanto, é possível adaptá-lo, considerando que quadros consecutivos de vídeo não tenham uma composição muito diferente (plano de imagem e de fundo). Em vez do módulo iterar sobre a mesma imagem, o fluxo convencional da câmera é utilizado e o limiar é aproximado a cada quadro. Além disso, as operações utilizadas por este algoritmo não são complexas e não há necessidade de alocar muitos recursos de memória. Este método também pode ser uma boa solução para RA embarcada. 4.3. Método de Kapur

Kapur et al. [7] consideram que uma imagem é formada por duas classes de objetos, sendo elas o plano de fundo e o da imagem. Quando a soma das entropias de cada classe alcança seu valor máximo, os autores consideram que a imagem está limiarizada da melhor maneira possível. Dessa forma, o algoritmo de Kapur define o limiar como o argumento máximo da soma das entropias.

O processo de otimização é simples, mas tem uma execução comparativa muito lenta em relação ao fluxo de imagens da câmera. Somado a isso, a função da entropia, que será maximizada, possui operações que


145

demandam muitos elementos lógicos do FPGA. Estes dois fatores tornam a implementação inadequada para ser utilizada no contexto do ARCam. 4.4. Método de Otsu

O método de Otsu [8] é considerado um dos melhores métodos para limiarização adaptativa de imagens, porém sua qualidade vem diretamente aliada ao custo de complexidade. Otsu sugere que minimizando a soma das variâncias entre classes do plano de imagem e de fundo, é possível encontrar um limiar global ótimo.

Este é mais um algoritmo que requer otimização e ainda possui uma função bastante complexa. Esta complexidade não pode ser aproveitada no framework do ARCam devido à falta de precisão das operações em ponto-fixo, padrão de cálculo utilizado no ARCam. Portanto, este algoritmo não é apropriado para o ARCam. 4.5. Métodos de Pun

O primeiro método de Pun [9] leva em consideração que o histograma em escala de cinza da imagem é formado por símbolos estatisticamente independentes, e por isso o limiar ideal pode ser definido maximizando a razão entre a entropia a posteriori e a entropia da imagem.

O segundo método define o limiar baseado em um parâmetro de anisotropia que depende da assimetria do histograma [10]. Pun deriva este método levando em consideração que imagens reais possuem poucos contornos bem definidos.

Uma implementação eficiente do primeiro método de Pun em hardware requer muitos elementos lógicos devido à complexidade dos cálculos. Já o segundo método possui uma abordagem simples e que requer pouca memória. Além disso, é possível otimizá-lo para detecção de marcadores estimando o coeficiente de anisotropia e pode ser adotado no escopo do ARCam. 4.6. Método de Tsai

Tsai [11] considera a imagem em escala de cinza como uma versão borrada da imagem em preto e branco ideal. O autor considera que o limiar está ideal quando os três primeiros momentos da imagem em escala de cinza são iguais aos mesmos atributos da imagem em preto e branco.

Apesar do processo de otimizar os atributos ser exaustivo, os cálculos necessários são simples, o que viabiliza o procedimento considerando que o tempo disponível é o tempo de captura de um quadro. Caso

durante a implementação este tempo seja maior do que o esperado, ainda é possível paralelizá-lo sem alocar muitos elementos lógicos, por exemplo, calculando os momentos em paralelo. Esta solução poderá ser considerada uma boa opção para o ARCam. 4.7. Método de Beghdadi

Beghdadi et al. [12] exploram uma correlação espacial dos pixels através da entropia de blocos. A imagem é subdividida em blocos de tamanhos variados e para cada bloco é calculada a probabilidade do bloco conter pontos brancos e pretos. O valor do limiar é encontrado maximizando a função de entropia de probabilidade dos blocos. O tamanho dos blocos deve ser suficiente para expressar o conteúdo da imagem, que é proporcional à complexidade do cálculo do limiar.

É possível paralelizar esse método calculando as entropias de cada bloco ao mesmo tempo. Contudo, obter resultados corretos quando os marcadores de RA estiverem muito próximos do dispositivo de captura, requer um tamanho grande dos blocos acarretando uma complexidade de cálculos e inviabilizando a utilização desse método em aplicações de RA embarcada.

4.8. Método de Cheng

Cheng et al. [13] utilizam entropia fuzzy e o histograma da imagem para definir o limiar escolhido. O histograma é dividido em regiões fuzzy escuras e claras de acordo com uma função S definida em [14]. Essa função é baseada nos valores dos pixels e na média de uma região de 3x3 pixels. O valor do limiar é definido através de uma busca exaustiva variando os parâmetros de S a fim de maximizar a entropia das somas do plano de imagem e de fundo, o que é feito utilizando um algoritmo genético.

Este método possui técnicas complexas cujas implementações demandariam muitos elementos lógicos. Entretanto é desejado que o módulo de limiarização seja pequeno o suficiente para haver espaço para outros módulos no FPGA. Além disso, este algoritmo é baseado em uma busca exaustiva que pode levar um tempo inaceitável para aplicações de RA embarcada.

4.9. Sumário da avaliação

A Tabela 1 apresenta um sumário da avaliação qualitativa apresentada nesta seção. Os pesos adotados para avaliar qualitativamente vários métodos de limiarizacão adaptativa, no contexto do framework do


146

ARCam foram: 1 – inaceitável; 2 – ruim; 3 – razoável; 4 – bom; 5 – muito bom.

Tabela 1. Quadro comparativo dos métodos

Conceito Rosenfeld

Riddler

Kapur

Otsu

Pun

1

Pun

2

Tsai

Beghdadi

Cheng

Facilidade de paralelização

2 2 2 2 1 2 4 4 1

Complexidade das operações

4 4 2 1 2 3 3 3 1

Uso de recursos

2 4 1 1 2 4 4 2 1

Adaptabilidade ao ARCam

5 4 2 1 1 4 4 1 1

Pun1 e Pun2 referem-se respectivamente ao primeiro e ao segundo método de Pun analisados. 5. Conclusões

Foi realizado um levantamento de vários métodos de limiarização adaptativa com o objetivo de escolher um ou mais métodos para serem incluídos no pipeline de RA do framework ARCam. Esses métodos foram analisados sob o ponto de vista de sistemas embarcados, cujas restrições existentes atualmente dificultam muito a implementação de vários desses métodos.

Os métodos de Kapur, Otsu, Beghdadi, Chen e o primeiro método de Pun apresentaram complexidades em diversos aspectos tornando as suas implementações ineficientes em ambientes de FPGA. Já os métodos de Rosenfeld, Riddler, Tsai e o segundo método de Pun, como se pode ver na Tabela 1, se mostram bem adaptáveis a sistemas embarcados e possuem características favoráveis à implementação no pipeline do ARCam.

Como continuação desta pesquisa pretende-se implementar os métodos mais satisfatórios encontrados nesta pesquisa e realizar uma bateria de testes avaliando os resultados visuais e as taxas de reconhecimento de marcadores de RA.

6. Agradecimentos

Os autores gostariam de agradecer ao MCT e ao CNPq por terem custeado esta pesquisa (processo 507194/2004-7). 7. Referências [1] R. Azuma, A Survey of Augmented Reality. Presence, 1997, pp. 355-385. [2] J.M.X.N. Teixeira, V. Teichrieb e J. Kelner, Embedded

Augmented Reality: Finding an adequate escape pod to real

time augmented reality applications, Lambert Academic Publishing, 2009. [3] J.P. Lima, G. Guimarães, G. Silva, J.M. Teixeira, E. Xavier, V. Teichrieb e J. Kelner, “ARCam: an FPGA-based Augmented Reality Framework”, Symposium on Virtual and

Augmented Reality, 2007, pp. 106-115. [4] G. Guimarães, J.P. Lima, J.M. Teixeira, G. Silva, V. Teichrieb e J. Kelner, “FPGA Infrastructure for the Development of Augmented Reality Applications”, Symposium on Integrated Circuits and Systems Design, 2007, pp. 336-341. [5] A. Rosenfeld e A.C. Kak, Digital Picture Processing, 2a. ed., Academic Press, 1982. [6] T.W. Riddler e S. Calvard, “Picture thresholding using an iterative selection method”, IEEE Transactions on Systems, Man, and Cybernetics 8, IEEE, 1978, pp. 630-632. [7] N. Kapur, P.K. Sahoo e A.K. Wong, “A new method for gray-level picture Thresholding using the Entropy of the histogram”, Computer Vision Graphics and Image

Processing, 1985, pp. 273-285. [8] N. Otsu, “A threshold selection method from gray-level histograms”, IEEE Trans. Systems, Man, and Cybernetics 9, 1979, pp. 62-66. [9] T. Pun, “A new method for gray-level picture threshold using the entropy of the histogram”, Signal Processing 2(3), 1980, pp. 223-237. [10] T. Pun, “Entropic thresholding: A new approach”, Computer Graphics and Image Processing 16, 1981, pp. 210-239. [11] W.H. Tsai, “Moment-preserving thresholding: A new approach”, Graphic Models and Image Processing 19, 1985, pp. 377-393. [12] A. Beghdadi, A.L. Negrate e P.V. De Lesegne, “Entropic thresholding using a block source model”, Graphics Models and Image Processing 57, 1995, pp. 197-205. [13] H.D. Cheng e Y.H. Chen, “Fuzzy partition of two-dimensional histogram and its application to thresholding”, Pattern Recognition 32, 1999, pp. 825-843. [14] A. Kaufmann, Introduction to the Theory of Fuzzy Sets:

Fundamental Theoretical Elements, Academic Press, 1980.


147

Utilização de Realidade Aumentada num Mapa

em Suporte de Papel para a Gestão de Crises

Luís Miguel S. Ponciano1, Miguel Sales Dias

1,2

1ISCTE - Instituto Universitário de Lisboa, Portugal

2Microsoft Language Development Center – Porto Salvo, Portugal

[email protected],

[email protected]

Resumo Este artigo propõe um sistema onde a tecnologia de

realidade aumentada é utilizada como ferramenta

para registar a informação dum hipotético cenário de

crise, capaz de apoiar agentes de comando de

organizações distintas, que necessitam de interagir

num mesmo espaço com informação diferenciada e

simbologia corporativa distinta, tendo como base um

mapa geográfico convencional em suporte de papel.

1. Introdução Em situações complexas, como a gestão de um

cenário de crise, agentes de diversas organizações

(protecção civil, polícia, bombeiros, etc.), têm de

trabalhar em modo colaborativo síncrono [1]. O espaço

físico destas equipas para a análise do terreno e tomada

decisões, centra-se normalmente em redor dum mapa

geográfico, mapa este onde é adicionada informação

por parte de cada organização com diversos símbolos

que representam unidades ou acções tomadas no

cenário real. Cada organização utiliza simbologia e

terminologia própria podendo prejudicar a

comunicação entre os diversos agentes de comando,

fazendo-os perder tempo útil na aprendizagem, ou por

vezes levá-los a tomar decisões erradas por mal

interpretação dos símbolos. Outra situação que pode

prejudicar a comunicação, é o excesso de informação

originada por parte duma organização, podendo esta

dificultar a compreensão da situação exposta no

cenário com informação não necessária, por parte das

outras organizações.

A realidade aumentada, RA, permite a

independência e a individualidade [2], o que significa

que cada agente pode ter acesso à informação

consoante as suas necessidades. A RA também suporta

a colaboração real, visto os agentes poderem estarem

fisicamente no mesmo local. Neste contexto,

elaborámos um projecto de utilização de realidade

aumentada capaz de apoiar o trabalho colaborativo

síncrono entre os representantes das organizações, no

caso, da polícia e dos bombeiros, com o objetivo de

coordenar o trabalho conjunto numa situação de crise.

A realização deste projecto baseia-se no estudo

efectuado no trabalho de Nilssson, “Using AR to

support cross-organisational collaboration in dynamic

tasks” [3], utilizando as bibliotecas de realidade

aumentada entretanto desenvolvidas no laboratório de

Computação Gráfica e Ambientes Virtuais da

ADETTI-IUL/ISCTE-IUL [4]. O artigo encontra-se

organizado da seguinte forma: a secção 2. Trabalho

Relacionado, aborda as questões inerentes ao trabalho

de gestão do trabalho colaborativo entre organizações

distintas, bem como a tecnologia de realidade

aumentada utilizada para a elaboração do projecto. A

secção 3, Trabalho Realizado, apresenta a metodologia

de desenvolvimento do sistema, bem como os seus

módulos. Na secção 4 apresentamos os testes e

resultados conseguidos com o sistema desenvolvido.

Por fim, a secção 5 apresenta as conclusões do sistema

proposto de suporte à gestão de crises, baseado em

realidade aumentada e trabalho colaborativo e aponta

ainda algumas pistas para trabalhos futuros, incluindo

algumas ideias para melhoramentos e novas

funcionalidades.

2. Trabalho Relacionado O trabalho colaborativo tem sido estudado

extensivamente em diversos domínios de investigação,

a partir de perspectivas sociológicas e psicológicas

bem como as perspectivas da organização. Por seu

lado, o paradigma da realidade aumentada pode

introduzir benefícios de grande importância às

actividades humanas. A sua utilização auxilia no

aumento da percepção, bem como na melhoria da

interação [5].

2.1. Trabalho Colaborativo Em linguística, é conhecido que se gasta tempo na

criação de um "terreno comum", ou seja, uma base para

a viabilização da comunicação entre pessoas [6,7]. Nas

situações de crises devidas a catástrofes, as actividades

de gestão entre os diversos elementos das organizações

envolvidas baseiam-se num mapa geográfico do terreno

onde a acção decorre e, sobre esse mapa, são colocados


148

símbolos para assinalar unidades, acções ou eventos.

Cada organização envolvida pode ter a sua própria

simbologia, o que faz com que cada agente tenha de

perder tempo na aprendizagem da mesma,

relativamente a todas as organizações envolvidas. Tal

pode gerar mal-entendidos em situações críticas, onde

vidas humanas e bens materiais podem estar em jogo.

Contrariamente à situação real (sem RA), a nossa

proposta prevê a utilização e visualização de símbolos

virtuais diferenciados para cada agente, associados à

respectiva linguagem da especialidade, sobre um

mesmo mapa em papel e relacionados com os eventos

de crise. Conforme se pode visualizar na Figura 1, na

nossa proposta, cada agente abstrai e utiliza a sua

própria simbologia virtual, para descrever o mesmo

carro da polícia.

Figura 1. Visualização de símbolos diferentes para

cada agente de duas organizações distintas, que

representam o mesmo fenómeno (um carro de polícia).

Outro aspecto relevante na gestão dum cenário de

crise, prende-se com a presença física de todos os

agentes de comando no mesmo espaço. Gutwin e

Greenberg [8] argumentam mesmo que o sucesso do

trabalho colaborativo, depende muito da interação

presencial. O sistema apresentado neste artigo,

alinhado com os princípios referidos de Gutwin e

Greenberg, visa a partilha visual e a interação directa

com informação geo-referenciada, relacionada com a

gestão de uma situação de crise, por parte de todos os

agentes em simultâneo (em modo síncrono) e de forma

presencial.

2.2. Realidade Aumentada A realidade aumentada pode ser entendida como a

melhoria da percepção da realidade através do registo

de elementos virtuais 3D. Ela necessita de 3

características importantes: (1) combinar o real com o

virtual; (2) registar os objetos virtuais num mundo 3D;

(3) realizar esse registo em tempo real, permitindo a

interactividade. Estes 3 requisitos são geralmente

conseguidos pela calibração e seguimento de uma ou

mais câmaras virtuais, cujo modelo matemático

corresponde ao modelo de uma câmara física solidária

com a posição e a orientação de um observador da cena

real [9]. No desenvolvimento do nosso sistema

utilizámos duas bibliotecas de realidade aumentada,

desenvolvidas por Rafael Bastos e Miguel Dias, a API

X3M – Extreme Tracking [10] e a API NUTTS –

Natural Ubiquitous Texture Tracking System [11].

Ambas as bibliotecas estão disponíveis em C++,

utilizando a biblioteca gráfica 3D Open GL, em

sistemas operativos Windows, sendo possível a sua

utilização concorrente, isto é, em cada imagem, é

possível a identificação e seguimento de marcas X3M e

marcas NUTTS, conseguindo-se mesmo assim resposta

em tempo real. A API X3M utiliza marcas visuais

semelhantes às utilizadas pelo sistema ARToolKit [12],

sendo no entanto mais eficiente e robusta em ambientes

de iluminação interior variável. Estas marcas são

utilizadas pelo sistema, como interfaces tangíveis. A

API NUTTS permite-nos escolher para uma marca

visual qualquer imagem sem a necessidade de

contornos da mesma e permite ainda, a oclusão parcial

da referida marca. Este sistema foi desenvolvido por

Rafael Bastos, no contexto da sua tese de doutoramento

[13] e consiste na análise da imagem e aquisição e

seguimento de diversas features (ou características de

imagem) em várias regiões da mesma, conforme se

pode ver na Figura 3. Estas características são

denominadas FIRST (Fast Invariant to Rotation and

Scale Transform), são invariantes à rotação e à escala,

robustas a variações drásticas de luminosidade e, quer

a fase de identificação da primeira pose do plano de

textura relativamente à câmara virtual, quer a fase de

seguimento dessa mesma pose, são realizadas em

tempo real. Refira-se que o algoritmo de seguimento de

texturas disponível nas NUTTS, apenas necessita de

reconhecer e seguir cinco features FIRST para

recuperar uma pose estável, aumentando claro a

respectiva precisão, se se conseguirem identificar e

seguir mais features FIRST. No caso do nosso estudo

foi escolhido como marca NUTTS, um mapa

geográfico, em formato papel, que serviu de base para

a gestão e disposição de todas as unidades, acções e

eventos na gestão da crise.

3. Trabalho Realizado Tomando como base o trabalho de Nilsson et al [3],

mas utilizando no nosso caso, uma abordagem de

interacção tangível diferente, bem como a possibilidade

de realizar realidade aumentada sobre um mapa em

papel real sem mais artefactos visuais e, tendo em

conta o equipamento disponível, foram definidos os

objectivos e as diversas etapas para a elaboração do

nosso sistema

3.1. Equipamento No estudo de Nilsson foram utilizados

equipamentos de visualização to tipo video see-through

head-mounted dysplay - HMD, o que permitia a cada

utilizador visualizar o mapa real digitalizado e os

objetos virtuais em simultâneo. O nosso sistema

suporta igualmente HMD ou, em alternativa, o


149

utilizador terá de olhar para o monitor do computador

portátil, que reproduz o registo da imagem real com os

elementos virtuais. Ao nível da interação do utilizador

com o sistema, no sistema de Nilsson, era utilizado um

joystick. Contudo o nosso sistema recorre-se à

utilização de duas marcas visuais X3M, como

dispositivos de interação tangível pessoa-máquina,

manipulados pelos utilizadores. O equipamento

utilizado para o desenvolvimento do sistema, foi o

seguinte:

Computador portátil com 2Gb de Ram e placa

gráfica NVIDIA® GeForce GO 7400 128MB.

Câmara de vídeo Logitech® C300 640x 480 30fps.

Mapa parcial da cidade de Lisboa à escala

1:13.400, em papel, servindo de marca NUTTS e

duas marcas visuais X3M, como dispositivos de

interação tangível.

3.2. Requisitos do Sistema Para o nosso sistema, foram definidos os seguintes

requisitos gerais: (1) A definição dum cenário capaz de

absorver informação virtual sem alterar o espaço físico

dos utilizadores; (2) A interação com o sistema deve

ser o mais simples, natural e o menos intrusiva

possível; (3) Deve ser proporcionada a maior liberdade

na escolha da informação a visualizar para cada

utilizador.

3.3. Plataformas Computacionais Na elaboração do sistema foram utilizadas as

seguintes plataformas computacionais:

Sistema Operativo Windows XP SP3 [14].

Microsoft Visual Studio 2008 C++ [15].

MX Toolkit: ADETTI-IUL plataforma C++ de

realidade aumentada e mista [16].

API OpenGL [17] para a descrição 3D do cenário

e dos objetos a serem registados para RA.

3.4. Calibração da camera de Vídeo Para realizar a síntese gráfica dos objetos virtuais de

forma a apresentarem um alinhamento visual com a

marca visual existente no mundo real, é necessário

criar e configurar uma câmara virtual que possua os

mesmos parâmetros intrínsecos e extrínsecos da câmara

real. Os primeiros são calculados através da ferramenta

disponibilizada pela MX Toolkit, o Camera Calibrator

[16], visível na Figura 2. Esta calibração apenas

necessita de ser executada uma única vez numa fase

imediatamente anterior à da execução do sistema, para

a câmara de vídeo utilizada, desde que não se alterem

parâmetros da mesma durante a fase execução (tais

como, a resolução de captação de vídeo ou a distância

focal). No nosso caso foi utilizada a resolução de 640 x

480. Os parâmetros extrínsecos são calculados, para

cada imagem adquirida, pelos sistemas de seguimento

de marcas X3M e NUTTS referidos.

Figura 2. Camera Calibrator do MX Toolkit, para

calcular os parâmetros intrínsecos da câmara.

3.5. Registo das Marcas Visuais Como referido atrás, vamos utilizar no nosso

sistema dois tipos diferentes de marcas visuais: uma

marca do tipo NUTTS para identificar e seguir o mapa

do cenário de crise, e algumas marcas do tipo X3M,

que serão utilizadas como interfaces tangíveis. Como

as features FIRST são extraídas em regiões centradas

nos valores próprios mínimos da imagem (minimum

eighen values) [18], elas conseguem identificar e seguir

de forma robusta, invariante á rotação e escala e em

tempo real, diversa informação natural constante na

imagem (texturas, linhas vértices, pontos, etc.), o que

vai permitir que utilizemos uma qualquer parte de um

mapa geográfico como marca visual. A técnica FIRST,

exige que a imagem do mapa escolhida seja

previamente reconhecida pelo sistema, de forma a que

o sistema

identifique as

features mais

apropriadas para

resolver o

problema do

cálculo da 1ª pose

(denominadas

startup features) e

aquelas mais

apropriadas para o

seguimento do

plano da textura

(as tracking

features). Assim, torna-se necessário efectuar uma

análise da imagem digitalizada do mapa da zona de

crise, através de uma outra ferramenta disponibilizada

pela MX Toolkit, o Texture Automizer [16], como se

pode ver na Figura 3. Esta ferramenta calcula as

coordenadas no referencial assente no plano da textura,

das startup features e das tracking features, tendo no

caso presente identificado, respectivamente, 42 startup

features e 45 tracking features, o que é manifestamente

suficiente para uma excelente sessão de interação com

o plano do mapa em realidade aumentada. Essas

coordenadas são arquivadas num ficheiro de texto que

depois é lido na nossa aplicação C++.

Figura 3. Texture Automizer

para obter as startup e tracking

features FIRST da marca

visual, que será seguida pelo

sistema NUTTS.


150

Para a interação com o sistema, suportamos duas

marcas do tipo X3M, a serem utilizadas por cada

utilizador do sistema. A versão impressa das marcas foi

definida como tendo 210 x 210 mm, com um contorno

preto de 5 mm, como se pode ver na Figura 4. Com

base nestas imagens foram geradas duas outras de

menor resolução (30x30 pixel), para serem

reconhecidas e seguidas pelo sistema em tempo real.

Figura 4. Marcas visuais para interação tangível e

seguimento com a API X3M, para um dado utilizador

do sistema.

3.6. Definição dos Objetos Virtuais para

Realidade Aumentada Foram definidos três símbolos 3D, visíveis na

Figura 5, um prisma traingular vermelho para os carros

de bombeiros, um cubo azul para os carros de polícia e

um objeto circular para representar um evento de

incêndio. A escolha destes símbolos numa aplicação

real será da responsabilidade de cada utilizador, de

cada organização, quanto à sua forma, dimensão, cor e

número. No nosso estudo foi adicionado um objeto

planimétrico geo-referenciado que representa a rede

viária da região de crise, como se pode observar na

Figura 6 e que se regista no mapa de papel. O

utilizador poderá ainda seleccionar os diferentes

metadados disponíveis para uma dada zona mapa

(bocas de incêndio, direcção do transito, etc.) e

registados no mapa da região de crise, que poderão ser

visualizados ou não. Todos os objetos virtuais foram

contruídos com base em primitivas OpenGL.

Figura 5. Objetos 3D que simbolizam, da esquerda

para a direita, os bombeiros, a polícia e um incêndio.

Figura 6. Objeto virtual planimétrico que representa

a rede viária do mapa.

3.7. Definição do Menu de Interação No processo actual de uma situação de gestão de

crise, quando uma organização manipula um mapa em

papel, este pode ter um vasto número de símbolos para

representar no mapa, como por exemplo, diversos tipos

unidades operativas e acções, o que a obriga a dispor

de diversos símbolos físicos. A realidade aumentada

vem simplificar todo este processo, permitindo no

nosso sistema, que cada utilizador apenas necessite de

duas marcas X3M para a respectiva interação.

Concebemos assim um sistema de menus em zonas

fixas no plano da imagem da tela (zona superior

esquerda), que surgem ao utilizador permitindo a este

activar e desactivar as opções de menu, sobrepondo

simplesmente as marcas sobre as correspondentes

regiões do plano da tela, como se pode observar na

Figura 7.

Figura 7. Marca visual do utilizador, funcionando

como interface tangível e seleccionando um opção de

menu para visualizar unidades da polícia.

3.8. Módulos do Sistema Para o desenvolvimento do sistema utilizamos a

linguagem de programação C++, e a biblioteca gráfica

OpenGL e, ainda, as bibliotecas MXToolkit, cujas

APIS X3M e NUTTS e o ambiente de integração com

OpenGL, permitem a visualização e interação em

realidade aumentada. Para satisfazer os requisitos de

sistema, desenvolvemos os 3 módulos seguintes:

Módulo de conversão de coordenadas.

Módulo de posicionamento e orientação.

Módulo de gestão de objetos virtuais.

3.8.1. Módulo de Conversão de Coordenadas

Este módulo é o mais crítico de todo o sistema, pois

é o responsável por converter todas os sistemas de

coordenadas dos mundos real (onde temos

posicionadas marcas visuais, cada uma com o seu

referencial do mundo próprio associado, onde

consideramos o plano da marca como o plano z = 0) e

virtual (onde definimos objetos 3D), para o mesmo

referencial. Em termos gerais, um objeto 3D é definido

num referencial próprio. A colocação desse mesmo

objeto num referencial do mundo, a consequente

projeção num plano de uma câmara virtual, definida

nesse mesmo mundo (que no caso da RA tem de

corresponder à câmara de vídeo real), e a subsequente


151

transformação para um enquadramento da tela, passam

por várias etapas até podermos visualizar esse objecto,

de acordo com a transformação de visualização

completa em 3D, como se mostra na Figura 8 para o

caso do OpenGL.

Figura 8. Transformação de visualização completa em

3D no sistema OpenGL [20].

Cada marca visual define um referencial de mundo

próprio e diferente e, assim sendo, possui uma

transformação relativamente à única câmara virtual

distinta (transformação essa definida na respectiva

matriz de transformação ModelView). Isto trás como

consequência que é necessário um cuidado especial na

manipulação das coordenadas dos objetos,

primeiramente a 3D, no referencial do mundo próprio e

também a 2D, depois de projetadas na tela. Por outro

lado, vimos que a interação tangível do utilizador

proposta, exige que a marca visível seja manipulada de

forma a que esta se sobreponha, em coordenadas 2D

( , ) de tela, com certas regiões pré-definidas da

mesma tela. A solução encontrada para abordar o

problema, foi a de calcular os objetos virtuais em

coordenadas de tela e realizar todas as operações

necessárias à interação do utlizador com os menus

neste referencial. Para registar os objetos 3D no

referencial do mundo próprio de cada marca,

convertemos inversamente de coordenadas de tela do

objeto, para coordenadas do mesmo no mundo

associado à marca em causa. Esta conversão foi

possível utilizando as duas funções de OpenGL

gluProject para a conversão de coordenadas do

mundo de cada marca para coordenadas de tela e

glunProject, para a transformação inversa: gluProject( x, y, z, modelview, projection,

viewport, &posX, &posY, &posZ);

gluUnProject( x, y, z, modelview, projection,

viewport, &posX, &posY, &posZ);

3.8.2. Módulo de Posicionamento e Orientação

Como o sistema de coordenadas projectadas dos

objetos é 2D, em coordenadas ( , ), a nossa função

para medir a distância entre dois pontos de dois objetos

distintos nesse refererencial, fica na forma:

(1) Para realizarmos rotações em OpenGL, utilizamos a

função glRotate(α,x,y,z), sendo que o “α” está definido

em graus. Por seu lado, a transformação da posição e

orientação dos objetos, definidos no referencial do

mundo próprio associado a uma dada marca, para

coordenadas de câmara, pode ser obtida através da

matriz de ModelView do OpenGL, que o sistema de

RA associa a essa mesma marca:

(2)

A translação do referencial da câmara

relativamente ao referencial da marca, é dada por:

(3)

Em (2) as rotações estão expressas em ângulos de

Euler. No nosso sistema, para a análise referida de

proximidade das marcas manipuladas pelo utilizadores,

com certas regiões da tela, apenas necessitamos de

saber a rotação do referencial da câmara em torno do

eixo dos , visto que com essa única transformação, o

plano de projecção da câmara virtual (no qual

determinamos as coordenadas ( , ) dos objetos depois

de projectados), ficará paralelo ao plano do

referencial do mundo associado á marca. Para o

tratamento do registo de objetos em marcas visuais e o

estudo da proximidade das marcas com objetos

registados no mapa, podemos admitir a mesma

simplificação. Assim, a expressão para converter os

ângulos de Euler para o referido ângulo de rotação

segundo , em graus, pronto para ser utilizado, por

exemplo, na função glRotate é a seguinte:

ÂnguloEixoZ = a (4)

3.8.3. Módulo de Gestão de Objetos Virtuais

O desenvolvimento deste módulo baseou-se na

criação de um conjunto de métodos capaz de gerir

todos os objetos virtuais que vão sendo adicionados ou

modificados pelos utilizadores, dos quais destacamos o

InserirRegistados() e ApagarRegistados(), que foram

definidos com uma estrutura do tipo: , onde

representam as coordenadas transladadas do

objeto virtual registado em relação centro do

referencial próprio da marca visual mapa, o

representa o ângulo de rotação no eixo em graus, e o

representa o tipo de objeto. Como exemplo, se

visualizarmos um símbolo dum carro de bombeiro no

centro do mapa, podíamos representar a estrutura da

seguinte forma: . O método mais

importante deste módulo é o PesquisaRegistados(),

capaz de devolver o índice correspondente ao objeto

registado no sistema que se encontra mais próximo da

marca utilizada como interface tangível. Actualmente,

este módulo apenas se encontra a funcionar na

aplicação que o está a executar. Porém o objetivo mais

geral deste módulo, como está aliás previsto em


152

trabalhos futuros, é a sua concretização num sistema

distribuído, para que os vários utilizadores possam

partilhar a informação entre eles.

4. Testes e Resultados Foram efectuados pelos autores dois testes com o

sistema. O primeiro teste consistiu em utilizar as duas

marcas X3M sobre a área do menu, em todas as

situações possíveis do sistema, tendo este respondido

com eficácia a todos os requisitos pré-definidos. O

segundo teste envolveu todo o mecanismo da interação

com os objetos virtuais onde foram realizados os testes

de colocação dos objetos, ou seja o seu registo no

mapa, bem como o seu levantamento do mapa, que

equivale á remoção do objeto do sistema. Este teste foi

efectuado com várias vistas do mapa, ou seja, em

determinados poses, para se verificar que os objetos

eram registados na posição e orientação correctas em

qualquer ponto de vista. Para cada ângulo do mapa o

objeto virtual a registar era posicionado numa área

aleatória do mapa distante do centro, e eram testadas 4

orientações, com o objeto virado para Norte, Sul, Este

e Oeste. Os resultados da tabela abaixo, estão

expressos em percentagem do correcto posicionamento

e orientação. Detectámos que quando mapa se encontra

no ângulo de zero graus, existe uma ligeira rotação de

10 graus relativamente ao pretendido. Este problema

será analisado em trabalhos futuros.

Ângulo da

pose Mapa

Colocação Levantamento

Posição Orientação

0 100% 90% 100%

90 100% 100% 100%

180 100% 100% 100%

270 100% 100% 100%

Tabela 1. Resultados dos testes de interacção.

5. Conclusões eTrabalho Futuro Este artigo abordou algumas questões inerentes às

situações que podem ocorrer no desempenho da gestão

duma situação de crise, onde diferentes organizações

têm de trabalhar em modo colaborativo num mesmo

espaço físico, de forma a tomarem decisões

relativamente à referida situação. Muitas vezes os

intervenientes nessas sessões de colaboração síncrona,

de uma dada organização, não dispõem de tempo útil

para serem treinados na simbologia própria utilizada

pelos pares de outras organizações, no que se refere à

interpretação dos elementos da situação, bem como á

gestão dos recursos mais adequados à resolução do

cenário de crise. Neste contexto, descreveram-se neste

artigo os requisitos gerais de um sistema baseado em

realidade aumentada, capaz de melhorar a actividade

tradicional de gestão deste tipo de cenário, evitando o

problema das diferentes linguagens simbólicas para os

mesmos elementos/eventos da situação de crise,

existentes em organizações distintas. Propôs-se uma

adaptação desse processo, com a manutenção da

colaboração síncrona dos intervenientes, numa mesma

sala, numa mesma mesa de trabalho e com a interação

conjunta num mapa único (em papel) que reflecte o

cenário de crise, mas em que toda a simbologia e

simulação situacional se desenrolam numa experiência

em realidade aumentada, que suporta cabalmente o

modo colaborativo. Foram definidos os equipamentos e

o ambiente computacional necessário, incluindo a

utilização de uma plataforma de suporte ao

desenvolvimento de aplicações em realidade

aumentada, baseadas no seguimento de texturas

arbitrárias com as novas features FIRST que trabalham

em tempo real de forma robusta. A partir dos requisitos

de sistema, foi especificada, desenvolvida e testada

uma aplicação em realidade aumentada, que se propõe

como uma solução possível para o problema, tendo

sido encontrada uma solução capaz de, nomeadamente,

converter os diversos referenciais em jogo no sistema,

para um único referencial (do plano de projecção da

câmara virtual), o que facilita a interacção do utilizador

com o mundo real e o virtual, em realidade aumentada.

Conclui-se que é possível enriquecer a experiência de

gestão de crises real em modo colaborativo, através de

um sistema de RA, que adiciona informação geo-

referenciada a objetos reais, como o seja, um mapa da

situação em papel e onde se podem registar objectos

simbólicos, que cada interveniente pode modificar e

adaptar de acordo com a sua linguagem simbólica e

organizacional própria. Verificou-se, com testes

exaustivos ao sistema, que a experiência de realidade

aumentada satisfez os requisitos definidos e concluiu-

se também sobre aplicabilidade das APIs de RA X3M

e NUTTS para a visualização e interação em realidade

aumentada, neste problema. Como linhas de trabalho

futuro, podemos apontar os seguintes tópicos, que

visam enriquecer a experiência em RA e melhorar os

níveis de acesso, visualização e interação com a

informação disponível para a gestão de um cenário de

crise: (1) Desenvolvimento de um módulo gestão de

objetos num sistema distribuído para poder ser

partilhado por vários utilizadores remotos, com registo

de log's capaz de poder ser analisada posteriormente;

(2) Integração e desenvolvimento de sistemas de

simulação física de crises, como por exemplo, a

influência da direcção e intensidade do vento na

propagação de um incêndio; (3) Desenvolvimento de

modelos de previsão com base em dados estatísticos e

históricos, permitindo aos utilizadores, não só

interagirem com a situação actual da crise, como

também poderem visualizar situações anteriormente


153

ocorridas, ou testar hipotéticas situações, antes da

tomada de decisão; (4) Integração de um sistema de

comunicações que permita aos agentes que estão a

comandar as operações, a ligação directa com os

agentes no terreno através de meios audiovisuais, que

capte as coordenadas GPS [19] de cada unidade no

terreno e possa actualizar a informação proveniente do

mundo real no sistema simulado; (5) Refinação dos

requisitos de utilizador, novo ciclo de engenharia de

desenvolvimento e teste da solução e avaliação da

usabilidade do sistema, com a intervenção de diversos

utilizadores reais pertencentes a instituições com

responsabilidades em tarefas de comando e gestão de

situações de crise; (6) Aplicação da plataforma base do

sistema em outras áreas, como jogos de tabuleiro do

tipo “Risco”.

6. Agradecimentos Agradecemos à ADETTI-IUL e ao ISCTE-IUL a

disponibilização de todo o software de realidade

aumentada, documentação e apoio para a concepção do

projeto associado a este artigo.

7. Referências [1] Cross, M. and Bopping, C., “Collaborative planning

processes in command and control”, in Fourth

International in Command and Control Research and

Technology, DoD CCRP, 1998.

[2] Billinghurst, M. and Kato, H. “Collaborative

augmented reality”. Communications of the ACM,

45(7):64–70, July 2002.

[3] Nilsson, S. et al, “Using AR to support cross-

organisational collaboration in dynamic tasks”, IEEE

ISMAR 2009, Science and Technology Proceedings,

Orlando, Florida, USA, 19 -22 Outubro 2009.

[4] ADETTI – IUL, ISCTE-IUL, Instituto

Universitário de Lisboa, Portugal,

<http://www.adetti.iscte.pt>, acesso em 20/07/ 2010.

[5] Grohs, E., Mastri, P., “Realidade aumentada para

informações geográficas”, Trabalho de Conclusão,

Puc- Rio Grande do Sul, Faculdade de Informática,

Curso de Bacharelado em Ciência da Computação,

Porto Alegre, Junho de 2002,

<http://grv.inf.pucrs.br/projects/aug/aug.pdf>, visto em

20/07/ 2010.

[6] Clark, H. H.. Using Language. Cambridge

University Press, Cambridge, 1996.

[7] Klein G., Feltovich P. J., Bradshaw J. M., and

Woods D. D., Common Ground and Coordination in

Joint Activity, volume Organizational Simulation, John

Wiley & Sons, Chapter 6, pp 139–184, 2005.

http://dx.doi.org/10.1002/0471739448.ch6.

[8] C. Gutwin, C., Greenberg, S., The importance of

awareness for team cognition in distributed

collaboration. Technical Report 2001-696-19, Dept

Computer Science, Univ.of Calgary, Alberta, Canada,

2001.

[9] Ronald T. Azuma, A, “Survey of Augmented

Reality”, Hughes Research Laboratories; Teleoperators

and Virtual Environments 6, 4, pp 355-385, Agosto

1997.

[10] Dias, J. M. S., Bastos, R., "An Optimized Marker

Tracking System", Research Sketch EGVE´06, 12th

Eurographics Symposium on Virtual Environments,

Centro de Congressos da Fundação Gulbenkian,

Lisbon, 8 - 10 /05/2006.

[11] Bastos, R., Dias, J.M. S., 2 “Automatic Camera

Pose Initialization, using Scale, Rotation and

Luminance Invariant Natural Feature Tracking”, in

Proceedings of WSCG' 2008, The 16-th International

Conference in Central Europe on Computer Graphics,

Visualization and Computer Vision '2008, University

of West Bohemia, Plzen, Czech Republic, 2008

[12] Augmented Reality Toolkit, disponível em:

<http://www.hitl.washington.edu/artoolkit/>, visto em

20 Julho 2010.

[13] Bastos, R., Dias, M., FIRST - Fast Invariant to

Rotation and Scale Transform - Invariant Image

Features for Augmented Reality and Computer Vision,

VDM Verlag Dr. Müller e.K. (Junho 2009) ISBN 978-

3-639-17489-2

<http://www.bod.de/index.php?id=296&objk_id=2253

43>

[14] Microsoft Windows XP , disponível em

<http://www.microsoft.com/windows-xp/>, Visto em

20/07/2010

[15] Microsoft Visual Studio 2008 C++, disponível em

<http://msdn.microsoft.com/en-us/visualc >, visto em

20/07/ 2010.

[16] Dias, J., M., S., Santos, P., Monteiro, L., Silvestre,

R., Bastos, R., “Developing and Authoring Mixed

Reality with MX Toolkit”, ART03, The Second IEEE

International Augmented Reality Toolkit Workshop,

Tokio, Japão, 6/10/ 2003

[17] Open GL, <http://www.opengl.org/>, visto em

20/07/ 2010.

[18] Shi, J., Tomasi, C., “Good Features to Track”, em

IEEE Conference on CVPR, 1994.

[19] GPS- Global Positioming System ,

<http://www.gps.gov/systems/gps/index.html>, visto

em 20/07/ 2010.

[20] OpenGl Programming Guide, <

http://www710.univ-lyon1.fr/~jciehl/Publi

c/OpenGL_PG >, visto em 20/07/2010.


154

http://dx.doi.org/10.1002/0471739448.ch6

PROVAR: Interface com Realidade Aumentada para Comércio Eletrônico

Hipólito D. F. Moreira; Claudio Kirner; Tereza G. Kirner ICE / DMC / UNIFEI - Universidade Federal de Itajubá

[email protected]; [email protected]; [email protected]

Resumo

Este trabalho aborda o desenvolvimento do Sistema

PROVAR, uma interface para sistemas de comércio

eletrônico baseada em realidade aumentada, que

apóia a escolha de produtos que precisam ser

experimentados pelo cliente, tais como itens de

vestuário. Inicialmente, são apresentados os principais

conceitos e trabalhos correlatos; em seguida, são

descritos os aspectos de projeto e implementação da

interface; por fim, são destacadas as conclusões.

1. Introdução

O comércio eletrônico é definido como a troca de bens, serviços e dinheiro entre empresas e consumidores, por meio de transações on-line realizadas com o uso do computador e da internet [10]. Na última década, essas transações tornaram-se populares e vêm crescendo significativamente, a nível internacional e no Brasil. Grande parte do sucesso do comércio eletrônico advém dele facilitar a vida das pessoas, além de envolver uma interação virtual que é atrativa para muitos.

No entanto, existe uma gama de produtos cuja venda através da internet ainda enfrenta dificuldades, representada pelos produtos que necessitam ser experimentados pelo consumidor. De acordo com Yuzhu e Smith [18], a aquisição de alguns produtos, como vestuário, jóias e objetos de decoração, envolve três classes de ações: buscar o produto e pesquisar suas características; experimentar o produto (vestir ou colocar no ambiente); e, finalmente, efetuar a compra. O suporte oferecido à compra on-line desses produtos ainda é deficiente, uma vez que a simples visualização de imagens com fotos do produto e descrições textuais sobre ele, oferecidas pelo comércio eletrônico convencional, não atendem à exigência dos consumidores de verificar se esses produtos ficam bem em si ou no ambiente de suas casas.

Para tornar o processo de compra on-line mais realístico, foram desenvolvidos ambientes baseados em realidade virtual, como lojas e shopping centers [7]. Mas o uso da realidade virtual, apesar de propiciar a interação entre os consumidores e o ambiente virtual,

com recursos visuais, sonoros e de navegação, não resolveu o problema de se experimentar os produtos. Além disso, a imersão nos ambientes virtuais pressupõe o uso de dispositivos como capacetes e óculos, que encarecem os sistemas e, muitas vezes, exigem um treinamento para o seu uso [8], [16].

A Realidade Aumentada (RA) é uma tecnologia que permite misturar ou sobrepor objetos virtuais gerados por computador com cenas ou objetos do mundo real. Como resultado, a realidade física é enriquecida com a integração dos novos objetos , que passam a fazer parte do mundo real [1], [4], [8]. Essa característica da RA pode ser adotada para resolver o problema que os consumidores enfrentam ao desejar experimentar os produtos que estão pesquisando nos sistemas de comércio eletrônico [11].

Dado o exposto, o objetivo deste trabalho é apresentar o desenvolvimento de uma interface para comércio eletrônico, baseada em RA (o Sistema PROVAR), que apóie a escolha de produtos que precisam ser experimentados pelo cliente, tais como itens de vestuário.

A seção 2 do trabalho aborda os fundamentos e trabalhos correlatos ao tema enfocado. A seção 3 fornece uma visão geral do Sistema PROVAR. A seção 4 descreve os requisitos da interface desenvolvida. O detalhamento do desenvolvimento da interface é apresentado na seção 5. A seção 6 descreve a utilização da interface e, finalmente, a seção 7 destaca as conclusões do trabalho.

2. Fundamentos e trabalhos relacionados

A área de comércio eletrônico vem se expandindo significativamente, tanto a nível nacional quanto a nível internacional. No Brasil, o volume de vendas no 1º semestre de 2009 superou em 25% o volume no mesmo período de 2008 [12].

As aplicações tradicionais de comércio eletrônico baseiam-se em textos e recursos multimídia, incluindo imagens e fotos dos produtos comercializados, podendo incluir som. Essas aplicações, apesar de serem interessantes, não exploram o realismo do espaço tridimensional e as interações naturais do usuário.


155

A realidade virtual surgiu como um complemento e alternativa para as aplicações de comércio eletrônico, viabilizando a implementação de ambientes virtuais, sob a forma de lojas e shopping centers, nos quais os consumidores podem navegar, explorar as possibilidades de compra, interagir para obter detalhes e visões dos produtos, etc. [5], [11], [13]. No Brasil, entre as poucas experiências relatadas, destaca-se a criação de um shopping center em realidade virtual, com um conjunto de lojas e espaços comuns [7].

Mais recentemente, surgiu, a RA, que envolve o enriquecimento do mundo real com objetos virtuais tridimensionais em tempo real com a utilização de algum dispositivo tecnológico [2], [3], [4], [9]. A RA, na medida em que projeta, no espaço do usuário, os objetos virtuais 3D e anotações, permite a utilização de interações naturais em ambientes reais potencializados com informações adicionais [9].

A quantidade de pesquisas e experiências de utilização da RA no comércio eletrônico ainda é pequena, mas tende a crescer, em função dos avanços da tecnologia e dos benefícios que essa tecnologia oferece, principalmente às vendas daqueles produtos que necessitam ser experimentados. Entre as pesquisas conduzidas sobre o tema, destacam-se os trabalhos de Dempski [6], Yamada [17] e Yuzhu [18].

Dempski [7] propõe um modelo de “comércio aumentado”, que envolve a combinação das exigências do comércio eletrônico convencional e as potencialidades oferecidas pela realidade aumentada. Esse modelo possibilita que o consumidor tome decisões mais acertadas em suas compras on line, o que contribuirá para aumentar o volume de vendas por meio de comércio eletrônico. Nesse contexto, o autor discute um protótipo de sistema de comércio eletrônico para venda de móveis e objetos de decoração.

Yamada [25] destaca as dificuldades de se produzir catálogos de produtos com representações tridimensionais de alta qualidade, apesar dos recursos de criação e tratamento de imagens. Além disso, destaca os problemas que os usuários de sistemas de comércio eletrônico enfrentam quando querem analisar se determinado produto “veste bem” ou se “insere bem” em determinado ambiente físico. Para solucionar

essas deficiências, o autor apresenta um processo de desenvolvimento de um catálogo de produtos, implementados com realidade aumentada, que podem ser manipulados pelos consumidores em um sistema de comércio eletrônico.

Yuzhu [18] reforça a idéia de que a realidade aumentada pode ser usada para vencer as limitações do comércio eletrônico convencional e aumentar o nível de sucesso desses sistemas. O autor discute uma ferramenta baseada em realidade aumentada, que foi implementada para uso com diferentes tipos de dispositivos. A ferramenta foi testada quanto à sua usabilidade, tendo sido demonstrado que a realidade aumentada pode oferecer informações mais completas e específicas, sobre os produtos que estão sendo comercializados pelo comércio eletrônico, do que os sistemas tradicionais ou baseados em realidade virtual. 3. Visão geral da interface

A interface de RA para comércio eletrônico procura uma solução acessível para o problema da insegurança do usuário na hora de comprar uma vestimenta, para saber se realmente o produto atenderá suas necessidades. Integra, assim, a experiência de comprar numa loja física com a experiência do comércio eletrônico, fornecendo ao consumidor comodidade de comprar em casa e um modo de estar mais seguro sobre o que deseja adquirir.

Esta interface funciona como um provador virtual com recursos de RA (Sistema PROVAR), que possibilita ao cliente experimentar os itens comercializados pela empresa.

Como a interface permite o acesso pela internet em num ambiente de loja, o usuário tem a liberdade de explorar o mesmo ambiente, em situações típicas de compra. Como exigência adicional, é necessário utilizar um computador para produzir a sobreposição dos objetos virtuais aos reais, uma câmera para capturar a imagem do meio e a impressão dos marcadores correspondentes às ferramentas utilizadas para provar as roupas virtualmente.

Figura 1. Acesso ao Catálogo de produtos usando marcadores


156

Na Figura 1 está a representação do uso do sistema PROVAR pelo usuário. Ele escolhe no catálogo, que contém todas os itens separados por seções, onde cada seção apresenta uma peça de roupa com uma página relativa aos tamanhos e outra correspondente ao item e suas variações em cores, texturas e marcas. Após escolher o que experimentar, o usuário seleciona os marcadores correspondentes e posiciona-se à frente de um monitor com uma câmera acoplada que irá ler o marcador correspondente. Em seguida, o usuário utiliza o marcador de inspeção e ativa o grupo de objetos que corresponde à peça de roupa escolhida. Para trocar para as variações das peças de roupa, o usuário utiliza o marcador de controle. 4. Requisitos computacionais da interface

O Sistema PROVAR necessita de um computador, uma webcam e um monitor de vídeo. O computador permite ler a imagem recebida pela câmera, entender os objetos por meio de software, sobrepor o objeto real por seu correspondente virtual e reproduzir a imagem modificada no monitor. A câmera é utilizada para capturar a imagem real e transferi-la ao computador. O monitor externo é a saída exibida ao usuário para que ele possa ver o ambiente real simultaneamente aos objetos virtuais, produzindo a imersão da RA.

Para usar o PROVAR, é necessário que esteja instalado o Sistema Operacional Windows XP, Windows Vista ou Windows 7, que suportam a utilização do Sistema de Autoria Colaborativa em Realidade Aumentada (SACRA). O SACRA foi adotado por tratar-se de uma ferramenta livre, indicada para a prototipagem rápida de aplicações de RA. Possui recursos para som, imagem e animação, além de possibilitar interações com múltiplos marcadores. A Figura 2 representa o ambiente do SACRA.

Os objetos associados devem ser do tipo VRML (*.wrl), modelados por meio de ferramentas de autoria como o Vivaty Studio ou Google Sketch up, produzindo objetos virtuais que são carregados pelo SACRA na interação entre um marcador de inspeção com uma esfera de colisão, como apresentado na Figura 3.

O sistema SACRA fornece suporte a arquivos de áudio para ajudar na imersão do objeto ao campo da realidade, apresentar explicações de funcionamento ou fazer descrição de objetos, sendo necessário que o arquivo seja do formato WAVE (*.wav)

Os marcadores são cartões de papel com imagens representando as funções e o suporte de objetos virtuais do SACRA. A câmera capta a imagem no cartão e o computador lê a imagem e projeta sobre ela o objeto virtual, permitindo a manipulação dos objetos. O sistema atual do SACRA usa 14 cartões, cada qual

com uma função específica, que são descritos na Tabela 1.

Tabela 1. Marcadores do SACRA

Apagador Apaga objeto 3D

Bloqueio Não permite alterações num marcador

Controle Altera objeto 3D associado a marcador

Cópia Copia objetos 3D

Inspeção Ativa/Desativa objetos 3D

Rastro Define rastro de movimentação

Referência (Marcadores 1 a 6) Associam objetos 3D utilizados

Status Visualiza a situação do sistema

Transporte Movimentar objetos 3D

Figura 2. Sistema SACRA [14]

5. Tipos de interfaces implementadas

Para a construção da interface do provador virtual

estão associados os marcadores de referência 2, 3, 4, 5, 6 e dos marcadores de inspeção e controle para manipulação do sistema, onde foram tomadas duas construções para o sistema, Interface baseada num único ponto associado a um marcador e interface baseada em múltiplos pontos associados a um marcador.


157

5.1. Interface baseada em um único ponto associado a um marcador

Este tipo de interface requer a utilização de apenas um ponto de contato para visualização dos itens da loja. Neste caso, um marcador carrega as peças de roupa de uma loja, ou as cores de uma determinada peça, ou as texturas de uma determinada peça, ou os tamanhos das peças de roupa.

Nesta interface não há necessidade de ativação e desativação de objetos virtuais por meio do marcador de inspeção, pois são únicos no marcador de referência e no programa. Entretanto, é necessário ativar os pontos a partir de um terminal, usando ‘a’ (minúsculo) para exibir e ‘A’ (maiúsculo) para desativar.

Figura 3. Ativação de ponto por meio da inspeção

5.2 Interface baseada em múltiplos pontos associados a um marcador

Este tipo de interface associa a um mesmo marcador um conjunto de itens afins, agrupando tipos de peças distintas e variações de cores e texturas simultaneamente, como, por exemplo, camisa de manga longa e manga curta com variação de cores e texturas associadas a um marcador. Em um outro marcador, o cliente pode encontrar outro item de vestuário, com suas respectivas variações.

Nesta interface, a ativação e desativação de pontos por meio do marcador de inspeção devem ser constantes na hora de trocar o objeto que se deseja vestir, pois a não desativação resultará em ocultação ou sobreposição do objeto desejado.

5.3 Aspectos importantes da implementação

Durante a implementação foram enfrentadas algumas dificuldades, como as destacadas a seguir.

• Iluminação. Iluminação é um fator limitante no uso dos marcadores, que acaba atrapalhando o posicionamento durante a elaboração e inclusão dos objetos e na captura e visualização dos marcadores por parte da câmera.

• Posicionamento de pontos de contato. A colocação de pontos de contato apresenta uma dificuldade relativa à distância ao centro do marcador, pois quanto mais próximo do marcador, mais fácil a sua colisão e, quanto mais longe, mais difícil a colisão.

• Incompatibilidades na leitura de arquivos. O SACRA apresenta uma incompatibilidade de uso de arquivos do tipo GIF com fundo transparente. Para utilização de roupas a partir de imagens, torna-se necessário o uso de modelagens para cada peça.

6. Utilização da interface

6.1. Uso da interface baseada em único ponto associado a um marcador

O usuário ao inicializar o sistema seleciona a ação

correspondente a uma das interfaces do SACRA, fazendo com que o sistema execute um aplicativo para cada ação do sistema. Na Figura 4 o estado zero é a imagem física do usuário com o marcador em estado desligado, que com a aproximação do marcador de controle ativa o estado 1, objeto camisa.

Na Figura 5, temos a apresentação da troca do estado ativado 1, camisa cor branca, pelo estado ativado 2, camisa cor verde, por meio da interação do marcador de controle. Nesta interface os objetos visualizados estão numa lista consecutiva associados a um único ponto de contato num marcador, para que o usuário selecione o tipo de vestimenta que deseja.

O usuário utiliza o marcador de inspeção para ativar os objetos virtuais que se posicionam sobre a camisa e utilizando o marcador de controle troca o objeto virtual e permite a visualização das cores e

Objeto

associado

a um

marcador

desativado

Objeto

Ativado

Marcador de

inspeção


158

texturas disponíveis num determinado objeto associados ao ponto de contato do marcador.

Após a seleção da peça, pode dar continuidade á compra do item disponibilizado pelo PROVAR.

Figura 4. Ativação da camisa

6.2. Uso da interface baseada em múltiplos pontos associados a um marcador

Nesta interface o usuário trabalha com múltiplos

pontos associados a um marcador reunindo em um mesmo marcador variados conjuntos de objetos com funções afins como setor de roupas masculinas e especializando em camisaria, camisas de manga curta com suas cores e texturas, camisas de manga longa com suas cores e texturas, entre outras camisas.

Na Figura 6 há três pontos de contato associado ao marcador, carregando conjuntos de objetos afins ao mesmo tempo.

Figura 6. Interface com Múltiplos Pontos

Figura 5. Troca de cor da Camisa

7. Conclusão O comércio eletrônico vem se expandindo

significativamente, tanto a nível nacional quanto a nível internacional. O desenvolvimento de interfaces para comércio eletrônico com realidade aumentada pode contribuir significativamente para essa área de negócios, trazendo ao cliente um diferencial na hora de comprar um produto baseado em experimentação.

Este trabalho apresentou uma interface para comércio eletrônico, baseada em RA (o Sistema PROVAR), que apóia a escolha de produtos que precisam ser experimentados pelo cliente, tais como itens de vestuário.

O desenvolvimento do Sistema PROVAR utilizou a ferramenta SACRA [14], o que facilitou a implementação e permitiu agregar os recursos típicos de RA, como navegação e interação no ambiente, assim como enriquecimento do ambiente real com objetos virtuais. Desta forma, cria-se a possibilidade do consumidor, utilizando o Sistema PROVAR, experimentar itens de vestuário oferecidos pela loja e chegar a uma escolha do que lhe interessa, com maior segurança para a compra.

Camisa virtual

representando

a realidade

aumentada.

Imagem

representando

marcador

desativado

representando

o ambiente

físico.

Por meio do

marcador de

inspeção amplia-

se o meio físico.

Estado

Ativado 1 do

tipo Camisa

do sistema

PROVAR

O marcador

controle troca

o objeto 1

pelo seguinte.

Estado

ativado 2 do

tipo Camisa

representand

o a toca de

cor.


159

Foram implementadas duas alternativas de uso do PROVAR: alternativa (1) - Interface baseada em um único ponto associado ao marcador; e alternativa (2) - Interface Baseada em múltiplos pontos associados a um marcador. Uma análise comparativa preliminar das duas alternativas implementadas, considerando-se o protótipo atual, levou às seguintes considerações:

• Na alternativa (1), a manipulação é mais fácil e

rápida, mas muito mecânica, necessitando de diferentes marcadores para definir diversos objetos e variações de tamanho, cor e textura, ou utilização de diversas aplicações para fins diferentes.

• Na alternativa (2), ocorre uma diminuição do uso de marcadores, mas exige-se maior cuidado na hora de provar as roupas, tendo-se que constantemente ativar e desativar pontos na tela. Como cada ponto corresponde a objetos completos, tem-se uma lista de vários objetos associados a um ponto, o que pode tornar cansativo experimentar todos os objetos para poder realizar uma escolha.

Na continuidade do trabalho, será implementada uma versão mais avançada do Sistema PROVAR, utilizando o FLARToolKit [15] e interfaces de hardware, como o Wii Remote, na qual as limitações do atual protótipo deverão ser eliminadas.

8. Agradecimentos

Os autores agradecem à FAPEMIG pela bolsa

PIBIC/UNIFEI concedida, que proporcionou o desenvolvimento do projeto. 9. Referências [1] R. Azuma A Survey of Augmented Reality. Presence,

Teleoperators and Virtual Environments, 1997, p. 355-385. [2] R. Azuma et al. Recent Advances in Augmented Reality. IEEE Computer Graphics and Applications, Nov 2001, p. 34-47. [3] M. Billinghurst, and H. Kato. Collaborative Augmented Reality. Communications of the ACM, Jul. 2002, p. 64-70. [4] M. Billinghurst, R. Grasset, and J. Looser. Designing Augmented Reality Interfaces. SIGGRAPH Computer

Graphics, Feb. 2005, p. 17-22. [5] L Chittaro, and R. Ranon. New Directions for the Design of Virtual Reality Interfaces to E-Commerce Sites.

Proceedings of the Working Conference on Advanced Visual

Interfaces, Trento, Italy , 2002, p. 308-315. [6] K. Dempski. Context-sensitive e-Commerce. Proc. of the ACM Conference on Human-Factors in Computing Systems, The Hague, Netherlands, 2000, p. 55-66. [7] T.G. Kirner, C. Kirner, and P.T. Aquino Jr. Development of a Virtual Reality-based Interface to Support E-Commerce. Proceedings of the 3rd IFIP Conference on e-Commerce, e-

Business, and e-Government, Guarujá, SP, 2003, p. 640-649. [8] Kirner, C., and R. Siscouto (Org.). Realidade Virtual e

Aumentada: Conceitos, Projeto e Aplicações. Porto Alegre, RS: SBC, 2007. [9] Kirner, C., and H. Tori. “Fundamentos de Realidade Aumentada”. In: Kirner, C., R. Tori, and R. Siscoutto. (Ed.) Fundamentos e Tecnologia de Realidade Virtual e

Aumentada, Porto Alegre, RS: SBC, 2007, p. 22-38. [10] Laudon, K.C, and J.P. Laudon. Sistemas de Informação

Gerenciais. São Paulo: Pearson/Prentice-Hall, 2007. [11] Lepouras, G., and C. Vassilakis. Adaptative Virtual Reality Shopping Malls. IGI-Global, 2000. [12] P. Rothman. Comércio Eletrônico Cresce 25% no Brasil. Info Online, 19/05/2009. Disponível em: <http://info.abril.com.br/noticias/negocios/comercio-eletronico-cresce-25-no-brasil>. Acesso em: 21/10/2009. [13] A. Sanna, C. Zunino, and F. Lamberti. HAVS: a human animated VRML-based virtual shop for e-commerce. Proceedings of the 6th World SCI Multiconference, 2002, p. 24-29. [14] R. Santin. SACRA - Sistema de Autoria em Ambiente

Colaborativo com Realidade Aumentada. Dissertação – Ciência da Computação, UNIMEP, Piracicaba, 2008. [15] Saquosha.Net. Start-up Guide for FlartoolKit. Disponível em < http://saqoosha.net/en/flartoolkit/start-up-guide/> Acesso em 22/06/2010. [16] VINCE, J. Introduction to Virtual Reality. Londres: Springer-Verlag, 2004. [17] R. Yamada, and K. Kishimoto. Development of an Augmented Reality based Catalog for Electronic Commerce. Proceedings of the IEEE IECON Conference, 2002, p. 301-306. [18] L. Yuzhu, and S. Smith. Augmented Reality E-Commerce Assistant System: Trying While Shopping. Proceedings of the Human-Computer Interaction

Conference, 2007, p. 643-652.


160

SESSÃO TÉCNICA 8

REALIDADE AUMENTADA NA

EDUCAÇÃO


161

Usando a Realidade Aumentada no Desenvolvimento de Software Educacional

para Aprendizagem de Datilologia

Cleberson E. Forte1, Renan S. Andrade

2, Roosevelt W. Guedes

2, Marco A. Cavallari Jr

2

1, 2 Faculdade Anhanguera de Piracicaba - Ciência da Computação

¹Faculdade de Tecnologia de Americana - Desenvolv. de Jogos Digitais

{profclebersonforte,renan192003, majcavallari}@yahoo.com.br,

[email protected]

Abstract. This article presents a solution using

the Augmented Reality technology for

fingerspelling learning. The software

development is discussed, focusing its

educational and technical aspects and their

possible future contributions.

Resumo. Este artigo apresenta uma solução

utilizando a tecnologia de Realidade

Aumentada para o aprendizado de datilologia.

São discutidos os processos que envolveram o

desenvolvimento do software, analisando seus

aspectos técnicos e educacionais e suas

possíveis contribuições futuras.

Introdução

Segundo censo realizado pelo Instituto Brasileiro de

Geografia e Estatística no ano de 2000 [4], existem

cerca de 170 mil brasileiros que se declaram surdos. Se

considerarmos todas as pessoas que declararam possuir

algum grau de deficiência auditiva, este número salta

para 5,7 milhões. Tratam-se de crianças, jovens e

adultos que vivem, trabalham e precisam se relacionar

com o restante da sociedade, mas que, porém, por

muitas vezes, encontram barreiras neste processo,

dentre as quais a mais comum é a da comunicação.

A Linguagem Brasileira de Sinais (LIBRAS) é

uma alternativa para que o processo de comunicação

intra-comunidade de deficientes auditivos e entre seus

membros e a sociedade em geral se concretize. O

segundo cenário, porém, é menos efetivo, visto a

dificuldade, por diferentes motivos, de se disseminar o

domínio da linguagem.

Uma alternativa na busca pela facilitação do

aprendizado de diferentes temas, incluindo-se o de

LIBRAS, é o emprego de tecnologias como

facilitadoras do processo educativo, principalmente no

formato de softwares educacionais.

Dentre as diversas possibilidades de

tecnologias a serem empregadas neste contexto,

destaca-se a Realidade Aumentada, por apresentar uma

interface intuitiva, maximizando a efetividade da ação

desenvolvida durante o processo de interação direta

com os assuntos sendo tratados [3].

Com base neste cenário, este trabalho busca a

criação de uma proposta de software que, enriquecido

com a Realidade Aumentada, possa ser utilizado em

ambiente educacional por deficientes auditivos ou não e

que venha ao encontro da necessidade de facilitação da

comunicação entre os grupos através do aprendizado da

linguagem de sinais, especificamente através da

datilologia.

Na seção 1, são introduzidos os conceitos

atrelados às tecnologias utilizadas para a criação do

software proposto; Na seção 2, é apresentada uma breve

visão sobre datilologia e LIBRAS; Na seção 3, o

software desenvolvido é apresentado, discorrendo-se

sobre suas funcionalidades; Na seção 4, por fim, são

apresentadas as conclusões preliminares e trabalhos

futuros.

1. Realidade Aumentada e ARToolKit

A Realidade Aumentada (RA) tem se popularizado

consideravelmente nos últimos anos. É bastante comum

nos depararmos com peças publicitárias que a

empregam no conceito de mídia interativa [9], ou ainda

iniciativas comerciais, que a utilizam, por exemplo,

como mídia para divulgação de eventos e produtos [5].

Em comum, todas as iniciativas trazem a característica

principal da RA: a possibilidade de se obter um

ambiente real potencializado com o uso de objetos

virtuais. O diferencial da RA está exatamente no fato de

permitir que exploremos alguns ambientes, processos

ou objetos, não somente pela utilização de livros, fotos,

filmes ou aulas, mas através da manipulação e análise

virtual do próprio objeto alvo de estudo [7].

Para tornar possível o processo de interação

entre o ambiente real, no qual o usuário está inserido, e

o ambiente de RA, gerado através do uso do


162

computador, utiliza-se algum software específico, como

por exemplo, a biblioteca ARToolKit [1].

As aplicações desenvolvidas com a tecnologia

de RA, utilizando-se da biblioteca ARToolKit,

normalmente não prevêem a imersão total.

Diferenciando-se das aplicações desenvolvidas em

Realidade Virtual imersiva, nas aplicações de RA os

usuários geralmente visualizam o ambiente a partir da

tela do computador, com a ajuda de uma webcam para

capturar o marcador no ambiente real, sem a

necessidade, portanto, de utilizar dispositivos especiais

de visualização. A interação com os objetos virtuais se

dá através dos marcadores tangíveis (impressos em

papel). Dessa forma, a RA torna-se particularmente

mais viável, pois não necessita de hardwares

específicos e o seu desenvolvimento torna-se mais

rápido, fácil e econômico.

Ao mesmo tempo em que a tecnologia se

populariza, aumentam as expectativas sobre as

possibilidades de emprego da RA para diferentes fins.

Assim como ressalta FORTE [3], considerando-se os

dados do V Workshop de Realidade Virtual e

Aumentada, realizado em 2008, temos que, dos 41

projetos apresentados naquele evento, 34% tinham uma

ligação direta com a aplicação da tecnologia na área da

educação. Segundo o autor, este fato nos aponta que o

estudo do emprego da tecnologia de RA aplicada à

educação mostra-se bastante atual e tem sido foco da

comunidade acadêmica, que busca, de maneira geral,

analisar as reais contribuições desta tecnologia quando

aplicada na realidade dos desafios educacionais

nacionais.

2. Linguagem Brasileira de Sinais e

Datilologia

A Linguagem Brasileira de Sinais, ou simplesmente

LIBRAS, é a língua usada, em primeira instância, pelos

deficientes auditivos. As linguagens de sinais recebem o

status de língua porque são compostas pelos seguintes

níveis lingüísticos: o fonológico, o morfológico, o

sintático e o semântico. Como parte integrante da

estrutura da LIBRAS, temos o alfabeto datilológico,

também conhecido como alfabeto manual, que é

utilizado, predominantemente, para informar

(representar) coisas que ainda não possuem um sinal na

LIBRAS, para expressar nomes próprios ou para

expressar palavras de línguas estrangeiras [8]. A origem

dos alfabetos datilológicos remonta ao século XVI,

quando o monge beneditino Pedro Ponce de León

passou a utilizar sinais numa metodologia para a

educação de seus alunos surdos. Depois de ser levado à

França e, subsequentemente, aos Estados Unidos, hoje

o alfabeto datilológico, que, nesta vertente, utiliza

apenas uma mão para a representação das letras, é

utilizado pela maior parte das comunidades surdas de

todo o mundo em suas respectivas línguas de sinais [8].

O que se pode perceber é que as linguagens de

sinais, apesar de apresentarem diferenças significativas

quando comparadas as linguagens de diferentes países,

tem em comum a natureza predominantemente 3D, pois

se articulam espacialmente e são percebidas

visualmente, ou seja, usam o espaço e as dimensões que

ele oferece na constituição de seus mecanismos

“fonológicos”, morfológicos, sintáticos e semânticos

para veicular significados, os quais são percebidos

pelos seus usuários através das mesmas dimensões

espaciais [2].

Diante deste cenário, pode-se inferir que o uso

de ferramentas que permitam representar a

configuração da natureza da linguagem, também em

3D, possa ser de grande relevância, principalmente

quando delimitamos a necessidade de emprego destas

ferramentas em ambientes de ensino, como objetos de

aprendizagem. A Realidade Aumentada, por sua vez,

apresenta-se como uma tecnologia naturalmente

propícia para este emprego, pois permite não só a

representação das palavras (ou letras) compostas pelas

mãos em 3D, mas também que o usuário interaja com

este ambiente, tornando-o mais atraente e motivador.

3. Desenvolvimento do Sistema de

Aprendizagem de LIBRAS com

Realidade Aumentada (SALRA)

O emprego da RA no enriquecimento de softwares

educacionais, segundo FORTE [3], apresenta

características por si só justificáveis, por possibilitar,

por exemplo: a manutenção do interesse e incremento

da motivação do aluno para com o assunto estudado,

maior poder de ilustração, aumento dos canais

sensoriais pelos quais a informação é exposta e maior

oportunidade para a realização de experiências,

permitindo que o educando desenvolva seu

conhecimento a partir de seu próprio ritmo.

Levando-se em consideração estes aspectos, as

características relacionadas à comunicação em

LIBRAS, e em consonância com a possibilidade

defendida por OLIVEIRA et al [6], que apontam o uso

da RA como meio capaz de prover ganho educacional

em ambientes de educação especial, justifica-se o

desenvolvimento deste trabalho, no qual apresentamos

o desenvolvimento de um software educacional que,

enriquecido com a RA, pretende incentivar o

aprendizado do alfabeto datilológico por crianças e

adolescentes com ou sem deficiência auditiva.

A linguagem Java foi empregada no

desenvolvimento do SALRA devido à sua

portabilidade. Por ser uma linguagem interpretada, o

Java pode ser executado em qualquer plataforma ou

equipamento que possua um interpretador. Além disso,

a Java é uma linguagem gratuita e grande quantidade de

programadores a emprega em seus desenvolvimentos.

Utilizou-se, como ambiente de programação, o

NetBeans IDE, em um computador pessoal HP Pavilion

dv5, com processador AMD Turion X2 64 Ultra Dual-


163

Core com 3,0 GB de Memória 800MHz, e sistema

operacional Windows 7.

O SALRA, como pode ser observado na

Figura 1, prevê a disponibilidade de um ambiente

amigável, no qual as letras, que serão posteriormente

convertidas para a mão em 3D, usando a RA, são

expostas no menu lateral e podem ser facilmente

acessadas através do mouse.

A ferramenta tem como compromisso a

facilitação do acesso aos recursos providos pela RA. O

que se observa é que grande parte das aplicações

desenvolvidas utilizando esta tecnologia requer certo

domínio sobre informática, pois normalmente necessita-

se de configurações e tratamentos de exceções diversas.

No SALRA, o educador tem a possibilidade de

desenvolver suas tarefas pedagógicas sem que lhe seja

atribuído sobrecarga de trabalho, ao mesmo tempo em

que o educando tem à sua disposição um software

motivante. Basicamente, o funcionamento do sistema,

desde a sua instalação (realizada a partir de aplicação

de auto-instalação, como a maioria dos softwares

encontrados no mercado), se dá de maneira bastante

intuitiva.

Como ilustração, adotemos um cenário no qual

o educando, orientado pelo professor, cumprirá a tarefa

de acessar e interagir com o software. Ao acessar o

programa (através de ícone gerado na área de trabalho

do computador no qual está instalado), é exibido o

menu principal (Figura 1). Ao escolher a letra que se

deseja trabalhar e clicando-se no botão Iniciar (Figura

1), é exibida, na área central do software, um desenho

que tem correspondência com a letra desejada. Abaixo

do desenho é exibida uma série de imagens de mãos

representando o nome correspondente ao desenho em

alfabeto datilológico. A primeira letra recebe destaque

em maior escala e as demais completam a palavra que

descreve o objeto. Voltando ao nosso exemplo,

consideremos que o aluno selecionou a letra "N" no

menu. O ambiente resultante, após ele clicar sobre o

botão "Iniciar", é mostrado na Figura 2.

Figura 1 – Visão geral do SALRA.

O que pudemos perceber, durante as pesquisas iniciais

sobre softwares correlatos, é que os mais comuns

trazem representações 2D das letras do alfabeto, a partir

das quais o educando tem a possibilidade de visualizar

o modo correto de configuração das mãos. Apesar do

SALRA ter como um de seus objetivos a facilitação da

interação com a tecnologia de RA, que se utiliza de

objetos 3D, verificamos que uma transição mais

gradual, que parte da letra, passa por sua representação

datilológica em 2D (imagens) e depois parte para a

interação com o objeto 3D, pode apresentar-se mais

adequada, pois se utiliza um conhecimento prévio dos

educandos (interação com softwares que não utilizam

RA) e a partir daí insere um novo conceito.

Figura 2 – Software exibe a representação em datilologia da letra selecionada.

Depois de exibida a representação datilológica em

imagens 2D, clicando-se no botão "Interagir", a captura

de imagem é habilitada. O educando, então, pode exibir

o marcador, de modo que a imagem deste seja captada

pela webcam e processada pelo ARToolKit. O ambiente

permite que o educando interaja com a representação

datilológica em 3D (objeto virtual), visualizando as

configurações e movimentos corretos das mãos sob o

ângulo que preferir, atentando-se apenas à necessidade

de que o marcador deve sempre ser visível à webcam

para que o objeto 3D seja mostrado. O objetivo é que o

educando possa analisar sob todos os aspectos a

configuração das mãos representadas no software e,

assim, por observação e imitação, aprender com mais

facilidade a realizar as mesmas configurações. O

ambiente resultante deste processo pode ser observado

na Figura 3.

Figura 3 - Usuário interage com o objeto virtual.

Os objetos virtuais utilizados no SALRA foram

modelados no software Blender3D versão 2.49 e

exportados para o formato wrl. Após essa etapa, os

modelos passaram por ajustes de iluminação e


164

animação feitos diretamente no código VRML. Além de

representarem as configurações estáticas das mãos,

alguns objetos receberam animações para que possam

exemplificar os movimentos das mãos nos casos em

que são previstos, como por exemplo na representação

das letras "J" e "X".

Estando no modo de interação, o educando

pode, ainda, criar suas próprias palavras através da

exibição de mais de um marcador para a webcam, de

maneira que, assim, o software represente aquela

palavra em formato datilológico. O arquivo de

impressão dos marcadores (que acompanha o software),

prevê que hajam mais de uma cópia de determinadas

letras, assim, o usuário pode, por exemplo, distribuir as

letras "C", "A", "S" e a outra letra "A" sobre uma mesa

que, sendo captada pela webcam, mostrará as

representações das letras escolhidas.

4. Conclusões

As características do software desenvolvido estão de

acordo com os principais trabalhos que apontam o uso

da tecnologia de RA como um elemento enriquecedor e

motivador quando aplicado em processos educativos.

Os resultados de uma coleta de dados através de

análises informais feitas por um grupo de seis alunos e

professores convidados apontam que a interface

proposta pelo SALRA mostra-se suficientemente

adequada para o contexto a qual se propõe. Nesta

análise, todos os participantes declararam que o

SALRA tornou o processo de aprendizado mais lúdico e

que a RA deveria ser adotada também para outros

softwares que não apenas este propósito. Como

trabalhos futuros, temos a necessidade de aplicar o

SALRA em um ambiente de educação especial, na qual

os usuários do software sejam crianças e adolescentes

com deficiência auditiva e seus professores, a fim de

verificarmos o grau de facilidade de uso do software e o

quanto ele de fato incrementa e facilita o processo de

aprendizagem para este grupo.

A ampliação dos aspectos sensoriais do

material didático com o uso da RA apresenta-se como

um importante diferencial na busca pelo

comprometimento do aluno para com o seu

aprendizado. Além disso, por não ser uma ferramenta

construída especificamente para um grupo determinado,

o SALRA pode ser uma alternativa em potencial na

busca da integração entre pessoas com deficiência

auditiva e pessoas não deficientes, ao permitir que

ambos trabalhem juntos no aprendizado. Em última

instância, podemos concluir que o desenvolvimento

deste trabalho contribui na busca por uma educação

plural, alcançada pelo contato com a diversidade de

idéias, atitudes e personalidades.

5. Referências

[1] ARTOOLKIT. Human Interface Technology Laboratory.

Disponível em:

<http://hitl.washington.edu/artoolkit >. Acesso em: Jan. 2010.

[2] BREGA, José Remo F. SEMENTILLE, Antônio C;

RODELLO, Ildeberto Ap; FUSCO, Elvis; SILVA, Daniel P;

FURLANETTO, Flávio H. 2008. O Emprego da Realidade

Aumentada na Viabilização da Comunicação em LIBRAS. In:

VI Workshop de Realidade Virtual e Aumentada, Bauru, SP,

2008.

[3] FORTE, Cleberson E. Software Educacional

Potencializado com Realidade Aumentada para Uso em Física

e Matemática. Piracicaba: UNIMEP – Universidade Metodista

de Piracicaba, 2009. 200p. Dissertação – Mestrado em

Ciência da Computação, Faculdade de Ciências Exatas e da

Natureza.

[4] IBGE. 2000. IBGE e CORDE abrem encontro

internacional de estatística sobre Pessoas com Deficiência.

Disponível em:

<http://www.ibge.gov.br/home/presidencia/noticias/noticia_vi

sualiza.php?id_noticia=438&id_pagina=1 >. Acesso em: Mai.

2010.

[5] NETTO, Andrey. Com 120 Anos (elegantes) e no Auge. O

Estado de S. Paulo. Caderno Cidades. São Paulo, 28 mar.

2009.

[6] OLIVEIRA, Francisco C; FORTE, Cleberson E; KIRNER,

Cláudio. Universalizando a Interface Computacional com

Realidade Aumentada para a Inclusão de Deficientes Visuais e

Auditivos. In: XVIII Simpósio Brasileiro de Informática na

Educação, 2006, Brasília.

[7] PINHO, Márcio. Realidade Virtual como Ferramenta de

Informática na Educação. 1996. Disponível em: <

http://grv.inf.pucrs.br/tutorials/rv_educa/index.htm> Acesso

em: Mai. 2010.

[8] RAMOS, Clélia R. História da Datilologia. Disponível

em: < http://www.editora-araraazul.com.br/ >. Acesso em:

Mar. 2010.

[9] RODA, Daniel. Infografia+Realidade Aumentada.

Disponível em: < http://danielroda.arteblog.com.br >. Acesso

em: Dez. 2009.


165

Aplicações de Realidade Aumentada para Ensino de Física no Instituto

Federal de Educação, Ciência e Tecnologia de Goiás – Campus Jataí

Clarissa Avelino Xavier de Camargo1, Vanessa Avelino Xavier de Camargo2, Eliane Raimann1, Italo Tiago da Cunha2 e Marcos Wagner de Souza Ribeiro2

1 – Instituto Federal de Educação, Ciência e Tecnologia de Goiás – Campus Jataí

2 – Universidade Federal de Goiás – Campus Jataí


[email protected] e [email protected]

Resumo

Existem vários problemas encontrados no processo de ensino-aprendizagem dos alunos, principalmente em nível fundamental e médio. A Física é uma disciplina que apresenta altos índices de reprovação e dificuldades de estudantes em compreendê-la. Este artigo tem como objetivo, portanto, o desenvolvimento e a utilização de um sistema em Realidade Aumentada como ferramenta didática e de motivação para o ensino de Física aos alunos do Ensino Médio, especialmente do IFG - Jataí (Instituto Federal de Educação, Ciência e Tecnologia de Goiás – Campus Jataí).

Palavras chave: Realidade Aumentada, Ensino Médio, Concepção Espontânea.

Abstract

There are several problems in the teaching-

learning process of students, especially in elementary

and high school. Physics is a discipline that has high

failure rates and difficulties of students in

understanding it. This article aims the development

and use an Augmented Reality system as a didactic and

motivation's tool for teaching Physics to high school

students, especially at IFG – Jataí (Federal Institute of

Education, Science and Technology of Goiás –

Campus Jataí).

Keywords: Augmented Reality, High School,

Spontaneous Conception, Constructivism

1. Introdução

As relações humanas, embora complexas, são peças fundamentais no processo de ensino-aprendizagem, pois é a relação e a interação do aluno com o professor que levará o primeiro a construir o conhecimento e o segundo a se reavaliar constantemente. Contudo existem dificuldades a serem superadas para isso.

As dificuldades encontradas pelos alunos ao aprender os conceitos, por exemplo, da Física, em

todos os níveis escolares, vêm sendo objeto de discussão e análise há muitos anos. Mas os ainda altos índices de reprovação evidenciam a necessidade dessas pesquisas se aprofundarem ainda mais. Essas dificuldades, principalmente na educação básica são decorrentes do modo como a disciplina é ministrada e apresentada aos alunos. Nem sempre há a preocupação do professor em contextualizar fatos que permitiram aos físicos chegarem às conclusões científicas ensinadas. Na maioria das vezes, o conhecimento físico é apresentado separado da realidade do aluno, sendo composto por conjunto de fórmulas que serão utilizadas pelos alunos somente para resolver uma prova.

O que se pode observar é uma falta de sintonia entre o que é elaborado nas pesquisas em Ensino de Física e o que é realmente utilizado nos textos de livros didáticos e, consequentemente, na sala de aula [14]. A mente do aluno não é como um livro em branco, pronto para se encher de informações. A interação e observação de mundo que ele já possui o habilitam na construção de “explicações” e previsões de diversos fenômenos físicos do seu dia-a-dia. Estas construções são conhecidas como concepções espontâneas (alternativas; intuitivas).

As concepções espontâneas são encontradas em estudantes em todos os níveis de escolaridade, têm amplo poder explicativo e coerente, diferem dos conceitos, leis e teorias aceitas cientificamente, são persistentes e resistem aos conceitos que conflitam com elas, não mudam, mesmo diante de experimentos que as contrariam, apresentam semelhanças com esquemas de pensamento ultrapassados [14].

Apesar dos diversos estudos a respeito, por se apresentar como obstáculo principal a ser superado para alcançar o bom ensino de Física, não existe um modelo pronto, aceito pela comunidade de pesquisadores dessa área, sobre como alterar essas concepções prévias ou qual a melhor forma de modificá-las nos processos cognitivos dos alunos [8].


166

Todavia, a busca por metodologias que motivam o estudante e que levam em consideração quais são essas concepções é válida e muito útil ao que tange a necessidade de melhoramento do desempenho desses estudantes.

A utilização de computadores no ensino de física abrange algumas possibilidades como coleta e análise de dados em tempo real, simulação de fenômenos físicos, instrução assistida, etc. [14], além de ser uma ferramenta que desperta o interesse de seu usuário. Mas é importante ressaltar que a utilização da informática na sala de aula deve levar em consideração muitos fatores para se tornar efetiva. A simples utilização de uma tecnologia não é suficiente para resolver as dificuldades encontradas, logo, informatizar o material tradicional não é solução, se não houver uma alteração das técnicas de ensino.

Neste contexto, esta pesquisa visou aplicar em turmas do Ensino Médio do IFG de Jataí, aplicações desenvolvidas com a tecnologia de Realidade Aumentada em conjunto com materiais convencionais para avaliar como essa metodologia seria capaz de alterar ou romper com as concepções intuitivas, contribuindo para a construção do conhecimento dos alunos.

Especificamente foi desenvolvida uma apostila com conteúdos nível médio da disciplina de física e, com o software ARToolKit foi criada uma aplicação em RA, que utilizava os marcadores da apostila para projeção de objetos em realidade virtual, ampliando a visualização do aluno a cerca do fenômeno físico estudado. A partir de questionários e testes feitos com os alunos foram analisados aspectos sobre o entendimento do conteúdo, facilidade de utilização e relevância.

2. Ensino Médio e o Ensino de Física

A Declaração Universal dos Direitos Humanos (1948) já anunciava que “todos os seres humanos nascem livres e iguais em dignidade e direitos”. Para assegurar esses direitos e dignidade, a educação escolar se tornou imprescindível e firmou-se como um direito formal das sociedades modernas. O direito a ela é condição necessária para o exercício da cidadania e participação no mercado de trabalho e ainda é forma de socialização das pessoas de acordo com valores e padrões culturais e ético-morais da sociedade [6].

Na maioria das vezes, esses valores pertinentes à educação de forma geral estão atrelados mais ao Ensino Superior, principalmente o que diz respeito à inserção do estudante no mercado de trabalho. Contudo, esses valores devem ser importantes para os

outros níveis de ensino, especialmente o Ensino Médio que, de acordo com dados sobre repetência e evasão escolar, é nesta etapa da educação básica que existe a contingência de milhares de jovens que necessitam de um emprego ou outras atividades econômicas que gerem subsistência.

Nesse sentido, algumas mudanças que devem ocorrer para atender melhor essa demanda de alunos, a matriz curricular e a forma como os conteúdos são trabalhados em sala de aula merece destaque. O alto índice de reprovação e as dificuldades apresentadas pelos alunos no aprendizado de Física, especificamente, torna interessante a discussão e a procura por ferramentas e metodologias que ajudem a melhorar o índice de desempenho desses estudantes.

Analisando as médias obtidas pelas escolas em cada área de avaliação da prova do ENEM [6] – Ciências Humanas, Linguagens, Ciências da Natureza e Matemática – as duas últimas apresentam o desempenho mais baixo dos alunos, evidenciando deficiência na área de exatas. Outros dados comprovam também o baixo desempenho de estudantes nas Ciências Naturais (Física), como é o caso do Enade e PISA.

O Enade 2008 (Exame Nacional de Desempenho de Estudantes) apresentou que apenas 3,9% dos cursos de graduação em Física, licenciatura e bacharelado, obtiveram conceito 5 na avaliação que estima o rendimento dos alunos em relação aos conteúdos programáticos, habilidades e competências nas Instituições de Ensino Superior [9]. Realizado em 2006, o Programa Internacional de Avaliação dos Estudantes – PISA [15] classificou o Brasil em 52º lugar entre 57 países participantes da avaliação, na escala de ciências, sendo considerado como significativamente abaixo da média OCDE.

3. Realidade Aumentada

A utilização de dispositivos tecnológicos para visualização de objetos virtuais em três dimensões gerados por computador, em um ambiente real é uma definição geral sobre Realidade Aumentada [13]. Entretanto, Realidade Aumentada é um segmento de um conceito mais amplo: o de Realidade Misturada.

A Realidade Misturada [11], [13] combina real e virtual na Realidade Aumentada e Virtualidade Aumentada. Na Realidade Aumentada, o mundo real é predominante, ao contrário, na Virtualidade Aumentada predomina o mundo virtual. Na figura 1 podemos observar as possibilidades de sobreposição do real com o virtual e vice-versa no diagrama de realidade/virtualidade contínua.


167

Figura 1. Diagrama de realidade/virtualidade contínua [13].

A realidade aumentada é definida de várias formas: visualização de objetos virtuais através de dispositivo tecnológico e em tempo real, enriquecendo o mundo real; utilização de textos e imagens virtuais gerados por computador para melhoria do ambiente real [11]; meio termo entre ambientes totalmente reais a ambientes totalmente virtuais, em que se encontra uma mistura dos dois mundos [13]; uso de objetos virtuais e reais no mundo real aplicando-se a todos os sentidos como audição, tato e cheiro, executando em tempo real [3].

A sobreposição de objetos virtuais no mundo real é possível por meio de computação gráfica e realidade virtual, permitindo ao usuário ampliar ou melhorar sua visão, de forma segura, ao interagir objetos virtuais em seu ambiente real [2], [5]. Além da visualização ampliada de objetos virtuais, a Realidade Aumentada proporciona ao usuário o manuseio desses objetos, tornando-se uma ferramenta motivadora e atrativa [4], [18].

Contudo, é necessária a utilização de software com capacidade de visualizar o ambiente real e fazer o posicionamento dos objetos virtuais através de um referencial (chamado marcador) para a manipulação e visualização de objetos virtuais em Realidade Aumentada, como o ARToolKit [17], por exemplo, que capta a imagem da webcam e, ao reconhecer um marcador cadastrado, posiciona sobre ele o objeto virtual correspondente.

4. Realidade Aumentada e Educação

A informática já se firmou como recurso importante em todas as áreas. Na educação não é diferente, tornando assunto comum de pesquisas o porquê, como e quando utilizar o computador e ferramentas digitais (softwares e jogos, por exemplo) educativos para melhorar o processo de ensino e aprendizagem dos alunos em toda sua formação escolar.

As novas tecnologias da informática vislumbram várias possibilidades de aplicação na educação, como o

uso de softwares de simulação, tutoriais digitais, jogos educativos em realidade virtual, etc.

A utilização de RA com fins educativos é outra tecnologia que merece destaque e tem sido avaliada de forma intensiva nos últimos anos [13]. Essas avaliações mostram como resultado, ganhos superiores de aprendizagem em comparação com diversas outras formas de interação visando educação mediada por computador [7].

Os mais diversos campos de ensino têm experimentado a implementação de sistemas que utilizam técnicas de Realidade Virtual e Aumentada, como medicina, indústria e aplicativos para matemática básica, experimentos virtuais de Óptica Geométrica e até simulações de circuitos integrados [7]. O ensino de Física, de forma geral, é um campo de ensino que pode também ser muito explorado com softwares e jogos em RA, pelas vantagens oferecidas por meio desta técnica de desenvolvimento.

A aplicação de RA com fins educativos na aprendizagem de Física, sobretudo para Ensino Médio, além de um fator motivacional para os estudantes, admite a criação e observação de objetos e processos que dificilmente teriam acesso em aulas clássicas ou nos laboratórios, e ainda de situações e simulações que não são possíveis (ou são muito complexas) se reproduzir em laboratório, por exemplo: a ação de forças em um corpo sem a presença do atrito [1],[3],[7].


As técnicas de RV e RA surgiram há algumas décadas, mas só ganharam força e popularidade a partir da década de 1990. Da mesma forma as pesquisas sobre esse tema, que atualmente têm mostrado como são amplas as possibilidades de estudo. Na área da educação, podem-se encontrar trabalhos sobre as várias disciplinas e em todos os graus de ensino (fundamental, médio, superior). Esses trabalhos serviram como inspiração e também possíveis contribuições para trabalhos futuros para este projeto, por apresentarem um ponto de partida e maneiras para abordar o uso da tecnologia de RA na educação.

O trabalho Realidade Aumentada e Objetos de Aprendizagem no Ensino de Física [7] apresenta a implementação de aplicações que utilizam RA para o ensino de Matemática e Física, mostrando o potencial dessa tecnologia na educação. O usuário, ao escolher Matemática, poderá construir, ele próprio, objetos 3D como solução de um exercício proposto. Para o caso da Física, podem ser visualizadas situações, como a queda livre de um corpo.


168

Figura 2. Objeto criado e resposta do exercício

proposto (resposta incorreta) [7] O trabalho Uso de Realidade Aumentada Como

Ferramenta Complementar Ao Ensino Das Principais Ligações Entre Átomos [1] apresenta uma aplicação desenvolvida utilizando a biblioteca FLARToolKit para simular as principais ligações entre átomos em realidade aumentada. Através da interação do aluno com a aplicação, incentiva e auxilia a construção do conhecimento, sendo avaliado de forma positiva.

Figura 3. AR Chemical Connection [1]

O projeto Sistema Complexo Aprendente: Um

Ambiente de Realidade Aumentada Para Educação [10] apresenta o desenvolvimento de vários cenários de aprendizagem, enfatizando principalmente a integração do lúdico com o formal, visando atender as recomendações da legislação de implantação do Ensino Fundamental de 9 anos.

Figura 4. Projeto SICARA [10]

O trabalho Usando Realidade Aumentada no

Desenvolvimento de Quebra-cabeças Educacionais [19] discute o uso de RA no desenvolvimento de quebra-cabeças em três dimensões, ostentando que é possível, usando o computador com plataforma simples e software gratuito, recriar esse jogo de forma motivadora, atraente e fácil de jogar.

Figura 5. Quebra-Cabeças [19]

6. Implantação de RA no IF Goiás

A implantação das Técnicas de Realidade Aumentada nas turmas de Ensino Médio do IFG (Instituto Federal de Educação, Ciência e Tecnologia de Goiás – Campus Jataí) aconteceu de maneira gradativa, auxiliando e facilitando o acompanhamento da evolução dos educandos ao interagirem com a aplicação desenvolvida.

No IFG – Campus Jataí, as séries de ensino médio ofertadas são todas na modalidade Ensino Médio Técnico Integrado. Além disso, o Instituto possui 9 (nove) laboratórios de informática bem estruturados com máquinas configuradas para possibilitarem a utilização por todos os alunos. Essa proximidade dos alunos com o uso básico do computador foi extremamente importante para iniciar a utilização da aplicação em RA, pois facilitou o uso da aplicação, os alunos entenderam com facilidade como usar o sistema e as dificuldades encontradas foram mínimas.

Antes que os alunos tivessem acesso ao Livro Mágico de Física e à aplicação, os professores que ministraram a disciplina de Física nas turmas analisadas tiveram a oportunidade de explorar e manipular todas as simulações programadas, de maneira a tornarem-se aptos a ministrar as aulas “práticas”.

Os professores mostraram-se animados com o uso de uma nova ferramenta didática para tornarem as aulas mais interessantes e menos cansativas, já que na instituição em questão a duração das aulas é de uma hora e trinta minutos seguidos de intervalos de quinze minutos.

Os alunos, alvo principal desta pesquisa, motivaram-se com o novo método de utilização dos recursos computacionais disponíveis e com a interação do livro didático com as simulações em computador.

6.1. Livro de Marcadores

O livro com os marcadores utilizados para visualizar os objetos virtuais foi desenvolvido a partir de conceitos retirados de livros texto da disciplina de Física e, para cada tópico programado, foi inserido um marcador. Esse material, demonstrado na Figura 6, foi disponibilizado para os alunos, permitindo que eles utilizassem a aplicação em outros momentos extraclasse.


169

Figura 6. Livro de Marcadores

Os objetos virtuais, em sua maioria, foram obtidos

em repositórios relacionados ao formato e adequados ao assunto abordado. Todos os objetos possuem animação e mostram movimentos ou simulações que na forma de imagens estáticas não demonstrariam o real funcionamento da teoria apresentada. Na Figura 7, duas engrenagens e uma esfera são usadas para demonstrar o MRU (Movimento Retilíneo Uniforme).

Figura 7. Livro Mágico de Física

7. Metodologia e Testes

Antes de iniciar o desenvolvimento da aplicação em RA, foi elaborado primeiramente o Livro de Marcadores e discutida as situações abrangidas pelo sistema. O Livro de Marcadores é uma apostila com os conteúdos e conceitos referentes à disciplina de Física do E. M. como um livro comum de estudo. No entanto, possui os marcadores para utilização da aplicação.

Um livro-texto [12] da área de Física foi utilizado como referência de conteúdos, pois, por se tratar de material didático foi necessário seguir uma ordem lógica desses conteúdos, tanto para facilitar o entendimento por parte dos usuários, quanto para permitir a construção das situações aplicando todos os conceitos necessários. Entretanto, o Livro de

Marcadores não é uma cópia do livro de física, acrescentado de figuras.

O Livro de Marcadores possui aproximadamente 50 páginas divididas em unidades: Mecânica, Termodinâmica e Eletricidade. As unidades são ainda divididas em capítulos que representam as situações programadas no software, por exemplo, Mecânica é subdividida em movimento retilíneo, força e movimento, hidrostática, trabalho e energia.

Depois de concluído o Livro, iniciou-se o processo de modelagem e desenvolvimento da aplicação. Para usar os objetos 3D em RA foi utilizada a biblioteca de programação ARToolKit, considerada um kit de ferramenta de realidade aumentada e é amplamente aceita e utilizada por desenvolvedores e pesquisadores da comunidade de Realidade Aumentada [17]. É uma biblioteca multiplataforma e open source, que emprega métodos de visão computacional para detectar e reconhecer imagens capturadas por uma câmera e depois sobrepor o objeto virtual sobre a imagem capturada. Há também a possibilidade de utilização do FLARToolKit, outra biblioteca para desenvolvimento de aplicação em RA baseada em Flash e derivada do ARToolKit.

Para elaborar de que maneira seriam programadas as situações do software foi utilizado o programa de física chamado Prometeus como referência. O Prometeus [8] foi escolhido, pois, apesar de desenvolvido na década de 90 em linguagem C/C++ e defasado em relação às atuais tecnologias gráficas, o mesmo foi usado nesta instituição de ensino durante anos, e as simulações existentes no mesmo foram tridimensionadas e incluídas no sistema no formato “wrl”. Além disso, seu conteúdo é atual ao que concerne à ruptura das concepções espontâneas já mencionadas anteriormente.

O programa Prometeus foi premiado em segundo lugar no Concurso Nacional de Software para Instituições de Ensino Superior, patrocinado pelo MEC, em 1997. Ele já foi bastante utilizado em sala de aula e seus resultados foram apresentados e discutidos, tendo uma avaliação geral muito positiva, contudo, não totalmente satisfatória devido, em grande parte, pela tecnologia defasada. Nesse sentindo, foi válida a utilização dele como modelo de referência para desenvolver outras simulações utilizando tecnologia mais recente, como Realidade Aumentada.

O método de avaliação utilizado para mensurar a aplicabilidade do software foi por meio de questionários aplicados aos alunos do ensino médio integrado, desenvolvidos a partir do método de escala Likert cumulativo.


170

8. Resultados e Conclusões

Analisando as respostas obtidas dos questionários e dos testes foi possível avaliar como a aplicação serviu para melhorar o desempenho dos estudantes e a motivação deles. Os resultados obtidos demonstram que os alunos aprovaram a utilização de realidade aumentada com o livro didático em mais de 80% e nota-se que isso se deve ao fato de poderem visualizar as situações em todos os ângulos, o que não é possível nas figuras estáticas dos livros comuns. Melhorando a visualização dos fenômenos físicos, os alunos conseguiram abstrair melhor os conceitos, melhorando seu desempenho.

De acordo com as normas ISO/IEC 9126 [16] adaptada para avaliar software educacional, foi feita outra avaliação do sistema, dessa vez os professores também participaram. Os quesitos avaliados foram a respeito da eficiência, usabilidade, confiabilidade, funcionabilidade e manutenção do sistema em que a porcentagem foi superior a 50% em todos os critérios, numa média total entre eles de 72%.

De maneira geral, analisou-se que a motivação gerada pela aplicação despertou o interesse de estudar mais nos alunos e por conseqüência, melhoraram seu desempenho. Considerando todas as análises e avaliações empregadas, conclui-se que o sistema foi bem aceito pelos usuários, mostrou-se fácil de usar abrangendo a totalidade dos alunos participantes dos testes. Tanto os alunos quanto os professores, de forma geral, avaliaram a aplicação como interessante, pois poucos conheciam a tecnologia utilizada, tornando o software mais estimulante por ser novidade. Os alunos se mostraram mais entusiasmados com as aulas, que deixaram de ser “chatas e difíceis” para serem “diferentes e legais” como colocado por alguns alunos nas avaliações.

Utilizando as avaliações, pode-se ainda, considerar melhorias a serem feitas na aplicação para torná-la mais eficiente, como a implementação de mais situações e acrescentar a possibilidade ao aluno de alterar algumas variáveis no cenário virtual para observar outros resultados.

9. Referências Bibliográficas [1] ARAÚJO, D. M. et al. “Uso de Realidade Aumentada Como

Ferramenta Complementar Ao Ensino Das Principais Ligações Entre Átomos, VI WRVA, 2009. Disponível em: <http://sites.unisanta.br/wrva/st%5C62401.pdf> Acesso em: 28/06/2010.

[2] AZUMA, R. T. Tracking Requirements for Augmented Reality,

“Communications of the ACM”, 36(7):50-51, July 1993.

[3] BELL, J.; FOGLERL, H. S. (1995) “The Investigation and Application of Virtual Reality as an Educational Tool” Proceedings of the american society for engineering education annual conference, Anheim, CA..

[4] BILLINGHURST, M. et al. The MagicBook – Moving Seamlessly

between Reality and Virtuality. Computer Graphics and Applications, 2001. 21(3), 2-4. Disponível em <http://www.hitl.washington.edu/publications/r-2002-29/r-2002-29.pdf> Acesso em 30 de março de 2005.

[5] BOMAN, D. K. International Survey: Virtual Environment

research, IEEE Computer, 28(6):57-65. Junho 1995.

[6] BRASIL, Ministério da Educação: Reestruturação e Expansão do

Ensino Médio no Brasil. “Ministério da Educação, MEC”. – Brasília: Julho 2008. Disponível em: http://portal.mec.gov.br/index.php?option=com_content&view=article&id=12589&Itemid=837# Acesso em: 28/07/2010.

[7] FORTE, C. E.; KIRNER, C. “Usando Realidade Aumentada no Desenvolvimento de Ferramenta para Aprendizagem de Física e Matemática”, VI WRVA, 2009. Disponível em: <http://sites.unisanta.br/wrva/st.asp> Acesso em: 28/06/2010.

[8] GOBARA, S. T.; ROSA, P. R. S. et al. “Estratégias para Utilizar o Programa Prometeus na Alteração das Concepções em Mecânica. Revista Brasileira de Ensino de Física. Vol 24 nº 2 São Paulo: Junho, 2002. Disponível em: <http://www.scielo.br/scielo.php?pid=S0102> Acesso em: 25/05/2010.

[9] INEP - Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Disponível em: <http://www.inep.gov.br/superior/enade> Acesso em 20/07/2010.

[10] KINER, Cláudio. Projeto SICARA. Disponível em: <HTTP://www.ckiner.com/claudio/?PROJETOS:SICARA> Acesso em: dez. 2008.

[11] KIRNER, C.; TORI, R. Introdução à Realidade Virtual,

Realidade Misturada e Hiper-realidade. In: Claudio Kirner; Romero Tori. (Ed.). “Realidade Virtual: Conceitos, Tecnologia e Tendências”. 1 ed. São Paulo, 2004, v. 1, p. 3-20.

[12] LUZ, A. M. R.; ÁLVARES, B. A. “Física: volume único”. 1 ed. São Paulo: Scipione, 2003.

[13] MILGRAM, P. et. al. “Augmented Reality: A Class of Displays on the Reality-Virtuality Continuum.” Telemanipulator and Telepresence Technologies, SPIE, V.2351, 1994.

[14] PEDUZZI, L. O. Q.; ZYLBERSZTAJN. As concepções

espontâneas, a resolução de problemas e a história da ciência

numa sequência de conteúdos em mecânica: o referencial teórico

e a receptividade de estudantes universitários à abordagem

histórica da relação força e movimento. “Revista Brasileira de Ensino de Física”. Vol 14. No. 4. 239-246. 2002.

[15] PISA 2006. Competências em Ciências para o mundo de

amanhã. Volume 1: Análise. São Paulo: Moderna, 2008.

[16] RIBEIRO, M. W. S. Arquitetura para Distribuição de Ambientes

Virtuais Multidisciplinares, Uberlândia, Faculdade de Engenharia Elétrica - UFU, 2005, 176p.

[17] SANTIN, R.; KIRNER, C. ARToolKit. In: CARDOSO, A.; KIRNER, C.; LAMOUNIER, E.; KELNER, J.. (Org.). “Tecnologias para o Desenvolvimento de Sistemas de Realidade Virtual e Aumentada”. 1 ed. Recife-PE: Ed. Universitária da UFPE, 2007, v. 1, p. 91-109. Disponível em: <http://www.ckirner.com/download/capitulos/Cap-5-ARToolKit-LivroTecno.pdf > Acesso em: 30/06/2010.

[18] ZHOU, Z. et al. “Interactive Entertainment Systems Using Tangible Cubes”, Australian Workshop on Interactive Entertainment, p. 19-22. 2004.

[19] ZORZAL, E. R.; BUCCIOLI, A. B.; KIRNER, C. “Usando Realidade Aumentada no Desenvolvimento de Quebra-cabeças Educacionais”. VII SVR, 2006. Disponível em: <http://www.sbc.org.br/bibliotecadigital> Acesso em 20/06/2010.


171

SELTRA - Learning Traffic Laws by using Augmented Reality

Edison Oliveira de Jesus and Isabela Neves DrummondUniversidade Federal de Itajuba

Departamento de Matematica e ComputacaoAv. BPS, 1303, Itajuba - MG, Brasiledison, [email protected]

Abstract

This paper describes a new prototype of a computationalsystem which deals with Augmented Reality used as a toolfor teaching children the meaning of traffic signs. This is aVRML based system which has animation, sound, and in-teraction in order to enhance the expected final result.

1. Introduction

Recently, new technologies have been employed indeveloping educational computer systems, making themcloser to reality. Augmented Reality (AR) is one of thesetechnologies that have been used in many applications toenable a person to interact with the real world in ways neverbefore possible.

In this publication, we proceed to investigate the use ofAR as a technology aid in education, studying its effectsin teaching and learning systems. Therefore, we proposean implementation of a computational system for teachingchildren the meaning of traffic signs. We define differentscenarios where the user interacts with the system throughmarkers recognized by a webcam, and so it is possible toinsert virtual objects in a real world.

The use of AR technology has been broadcasted in ed-ucation and in developing systems with learning purposes.Many projects have explored how AR interfaces and howits characteristics can be best applied in the teaching envi-ronment.

This paper is organized as follows. In Section 2 wepresent the basis of AR and briefly study related literature.In Section 3, we describe the development tool we haveused to build our application. In Section 4 we detail thecomputer system developed with its components and howto operate it. Finally, Section 5 brings the conclusion andpoints to future research directions.

2. Preliminaries

In this section, we briefly study related literature and de-scribe some definitions used throughout the paper.

2.1 Augmented Reality

According to [9] Augmented Reality (AR) is the over-lapping of virtual objects with the physical environment,being shown to the user in real time through a technolog-ical device, using the real environment interface adjusted tovisualize and manipulate real and virtual objects.

In an AR interface the users can interact with systemsusing their hands or reference markers to manipulate vir-tual objects in real scenarios. It is a technology that usesmethods defined in Virtual Reality, Computer Vision, andComputer Graphics, allowing the user to see the real worldat the same time as the virtual objects within the same envi-ronment.

This combination of the real with the virtual requires anappropriate environment structure. Basically, the AR sys-tems can be built based on optical or video technologies.According to [2], the AR systems can be classified into fourtypes:

1. Optical see-through Head-Mounted Display (HDM):works by placing optical combiners in front of theuser’s eyes. The combiners let light in from the realworld, and they also reflect light from monitors dis-playing graphic images.

2. Video see-through HDM: works by combining aclosed-view HDM with one or two head-mountedvideo cameras.

3. Monitor-based configuration: in this case, one or twovideo cameras capture the environment so the video ofthe real world and the graphic images generated by ascene generator are combined, and displayed in a mon-itor in front of the user.


172

4. Monitor-based optical configuration: the users do notwear the monitors or combiners on their heads, instead,the monitors and combiners are fixed in space, and theusers position their heads to look through the combin-ers.

Each system has advantages and disadvantages, and thechoice of technology depends on the application require-ments. Since we are interested in the development of ed-ucational systems, we should consider the user adaptationaccording to the devices the system needs, and if they areavailable at schools, and the possible places it will be used.

The use of AR concepts in education leads to a chal-lenge: the design of suitable user interfaces. According to[10], it is necessary to determine guidelines to help build anAR environment, which should be appropriate for differentusers and their abilities. We have to evaluate the user andthen select which AR system will be best employed.

Mixing the user reality with virtual objects, the user’sworld collects more information that can help solve a prob-lem or perform a task. Many applications have explored theuse of AR in many different areas.

2.2 Related works

In the literature we can find many applications and re-search works related to Augmented Reality and Education[3, 7]. Its potential in education has been explored as longas an AR interface offered an interaction between real andvirtual in a tangible way. The applications are in so manyareas like computer-aided instruction, manufacturing, andmedical visualization.

In [13], the authors discuss the use of AR in the devel-opment of educational games, and present some applica-tions such as the magic cube, highlighting the use of specificsounds for each action of the application.

Conduction and monitoring systems of vehicles withoutdrivers is presented in [5]. With a wireless camera the carfinds signs, and so, the system detects it and emits an appro-priate command to the car. In this system, AR was added toprovide information about the car on the road.

A specific AR system oriented to the learning of trafficsigns for children is not mentioned in literature. Researchesconsider the possibility of developing AR systems for learn-ing in any knowledge area, like mathematics and biology,which can involve pedagogy and psychology, as we can ob-serve in [6], [8] and [4].

According to [7], the development of any educationalapplication technology (domain specific), pedagogical andpsychological aspects have been considered. The AR tech-nology cannot be the ideal solution for all education appli-cation needs but it is an option to consider.

3. Development tool: SACRA

To develop AR applications, besides hardware compo-nents, we need some tools that make it possible to mergereal images from cameras and virtual 3D images, placingvirtual objects in the right position with its own geometry.For all the processes, methods from computer vision shouldbe used.

The ARToolKit [1] is a C and C++ language software li-brary that lets programmers easily develop AR applications.ARToolKit uses computer vision techniques to calculate thereal camera position and orientation relative to markers, al-lowing the programmer to overlay virtual objects onto thesemarkers.

SACRA (Sistema de Autoria Colaborativa com Reali-dade Aumentada) [11] is a tool developed to make easier forthe user to build an AR application. This tool employs aninterface to associate computational operations and visualelements, where any user without specific knowledge aboutprograming language is able to develop an AR system.

The SACRA tool provides an AR environment to de-velop virtual worlds and also allows collaboration. The toolwas developed based on ARToolKit library due to some fea-tures as simple programming and the use of low cost de-vices, basically a webcam and a computer.

To interact with the system the user can manipulate ref-erence markers, where the virtual objects are placed whenthey appear in the view space of the camera. SACRA pro-vides the user an interactive process through different op-erations in reference to the marker properties such as visi-bility, position, and orientation. Therefore, some interactiveprocesses are defined:

• Changing of the virtual object;

• Copying or capturing and transporting virtual objectsbetween markers in the scene;

• Playing sounds associated with virtual objects;

• Changing virtual objects in real time.

With SACRA it is possible to develop collaborative sys-tems, and also different interactive ways can be performed:face-to-face, asynchronous, distributed synchronous, anddistributed asynchronous. Among various user interactionways, SACRA is able to support different applications in acollaborative context, and the system is particularly inter-esting and powerful for educational purposes.

Two kinds of markers are implemented on SACRA: pre-defined function markers and the ones that can be registeredat any time by the user. The predefined markers represent8 functions, each one corresponding to a different actionmarker as described in Table 1. These markers operate withpoints associated to references through collision points that


173

can be the center of the marker. The other kinds of markersare called reference markers, allowing the users to interactwith the points and virtual objects inside the system.

Each reference has one or more associated points thatmake reference to one or more virtual objects.

Table 1. List of action markersMARKER FUNCTIONInspector Inspect or register new pointsControl Changing virtual objectsCopy Copying virtual objects in the sceneTransport Reposition the point in new orientationsEraser Delete points and deallocate memoryStatus Show to the user variable valuesPath Take paths among references by trailsLock Allow lock and unlock remote operations

4. The developed computer system

SELTRA is the anachronism for the Sistema de Ensinodas Leis de Transito com Realidade Aumentada in Por-tuguese that means a computational system that deals withaugmented reality for the learning of some traffic laws. AsAR technology is the addition of virtual entities into the realworld viewed by using some markers, as shown earlier inthis article, it can support any kind of expertise. So, thissection will show our experimental model of a computa-tional system that uses AR in the field of urban traffic. Italso demonstrates other related design tasks which involveplanning the best manner to reach any location of a designedspace.

The main goal of this prototype is to use this software inorder to teach children the meaning of traffic signs and theconsequent charges when someone breaks those laws in adaily transit.

It begins by observing traffic environments and people’sbehavior inside this context. There are rules controllingboth entities: the man and the machine, in order to allowthem to coexist. Teaching these rules for kids, while theyare young and while everything is new for them, is the eas-iest way to obtain the best results in this kind of education.When they reach the right age for driving, they will alreadyknow how to proceed and will be able to get their drive’s li-cense quicker and besides, they will be better citizens know-ing how to behave themselves in traffic.

Many advantages come up by using such a system. Itis not necessarily a real world for teaching how to proceedin car traffic, but it is a big advantage because no one isin danger, no real damage will occur to the cars, it is easy,and it is a fun way to learn, plus the student can choose anyplace and time to learn.

Building interactive software with traffic basic notionsfor children from 8 to 12 years old is an important initiativebecause it makes available a didactic and easy tool to beused by the public. Investments on traffic education in gen-eral are a government task. That so expected peace of mindin culture traffic is acquired particularly on the emphasis ofprevention not on the charges that are associated with thegovernment.

4.1. System composition

A computational system has been created for this goal,the SELTRA, which has some interesting features, such as:it is fully based on the elements of augmented reality, itis interactive and this interactivity is done by using sound,texts, and traffic signs, which is very important to the chil-dren learning specially at this age. Following are the systemdescriptions.

Markers are used for the interaction between the user andthe system. It’s an AR system monitor-based (see Section2.1), where a webcam and some markers are used. As men-tioned before, this system is based on an already developedtool, called SACRA, described in Section 3 and so, it hassome defined markers which are also used on the SELTRA.These action markers are used for controlling virtual ob-jects’ operation on the system. These markers are shown atFigure 1.

The inspection marker on Figure 1a is responsible for theverification of the points associated to the reference mark-ers, and also to register new points. Point inspection cor-responds to the action of controlling virtual objects withsounds present on the scene, allowing the user to activateor deactivate virtual object persistency which are associatedto the points.

The control marker on Figure 1b is used to exchangevirtual objects with its sounds, in the case of having a list ofpoints associated to a determined point. This marker doesthis operation in a sequential order.

The ref marker on Figure 1c allows the user to interactwith the spatial points registered on the system. Each refer-ence can have many points, each one referring to a virtualobject.

SELTRA system has been developed to use some moreappropriate markers according to the objective of the soft-ware, which means, related to the traffic signs. So, in theFigure 2 these markers are shown in order to understandtheir utility.

The right Turn marker is used to indicate the user to turnto the right on the corner. In the same way, the left Turnmarker is used to indicate the left turn as the correct way tobe followed, and the ahead marker is used when no turns,left or right, is allowed on the corner of the scenario. It isnoteworthy that these markers were created specifically for


174

a) b)

c)

Figure 1. a) Inspection marker. b) Controlmarker. c) Ref marker.

the tasks in SELTRA system, so the user can associate thetraffic signs (the markers) to the relevant operation.

a) b)

c)

Figure 2. a) Right turn marker. b) Left turnmarker. c) Ahead marker.

4.2. System operation

In order to operate SELTRA follow these steps: intro-duce the initial scenario and control the latter scenarios de-pend on which marker the user chooses.

The initial scenario on Figure 3 is composed by a set ofstreets, each one with its own direction, and a car stoppedin a certain corner.

All scenes in the SELTRA program like this scenariohave been created by using the Vivaty Studio software [12],

which is an application that uses an interface for program-ming 3D models applied to VRML/X3D.

Figure 4 shows the car, also drawn by the Vivaty Studio,that is used as a tool in this system to teach the traffic laws.

At the beginning the car is stopped in a corner, as can beseen in Figure 5. A message warns the user how to proceedin the next step: a marker containing a traffic sign (ahead,left or right), must be shown to the camera. This operationtriggers a new scenario, depends on the marker used.

The main idea is to teach the child what decision to take:on Figure 5, the car is stopped in a corner where 3 optionsare available: turn to the left or turn to the right, but goahead is prohibited. So, the user must decide which direc-tion to take. At this point resides the learning: if the usermakes the right decision by choosing the correct marker, thecar starts to run in that chosen direction. In the other hand,if the wrong decision is made, a disaster scene is simulatedby two cars in a same lane, each one in contrary direction.Figure 6 shows this situation. Besides the warning text, anoisy signal could reinforce the situation, for instance, apolice officer’s whistle, or an oral text explaining why thisscenario is wrong.

When running in the right direction, the car continuesin a loop, in order for the child to memorize that situation.Also, this works like an incentive to the user, as an award tothe right decision made. The same occurs when the scenarioof the wrong direction is shown. Actually markers shown atFigure 2 are used to control the new scenario’s appearance,therefore, each time the user passes one of them in front ofthe camera, the correspondent scenario is shown. The com-plete operation is summarized in the following steps: at thebeginning the user shows the camera the initial marker (Fig-ure 1c); at this point the initial scenario (Figure 3) is shownon the computer video monitor. The user must decide whatdirection the car should take. This is done by presentingone of the markers (Figure 2) to the camera, and then thedirection referred by the marker is taken as a guide. Ac-tually, when the user shows the marker to the camera, thescenario shown on Figure 3 is also displayed. Then, by us-ing the control marker (Figure 1b) the new scenario (Figure3 with the car running) is shown on the computer screen.Each time the control marker is shown those two scenariosexchange position, giving the impression to the user that thescene is being controlled by them. This procedure can be re-peated as many times as the user desires, this way assuringcomplete learning.

The complete operation is summarized in the followingsteps, shown at Table 2.

As an advantage of this procedure, the students can runthis software alone by using any web browser or they canbe tutored by anyone who is responsible for teaching trafficlaws. In this way the students can choose how to study, bythemselves or tutored by someone.


175

Figure 3. The initial scenario.

Table 2. SELTRA’s operationSTEP OPERATION1 Initialize the program, which will activate

the camera;2 The user presents the REF marker shown

at Figure 1c to the camera;3 At this point a traffic scenario, like the

one shown at Figure 3, will be displayedon the screen;

4 Hence, the user has options to makedepending on the signs on the street;

5 These options are made by choosing oneof the control markers shown at Figure 2;

6 As a result, the software has two options:show the car running if the right decisionhas been made, or show warning messages,in the contrary.

Another advantage consists in the fact that the softwarecould be separated by age, consequently, even younger stu-dents which do not know yet how to write, or even read,could learn to recognize signs and the right directions.

For older students, the software includes texts whichcould be recognized by the student and as a result enhancingtheir knowledge about law comprehension.

SELTRA has been implemented in two versions: the firstversion allows the user to access many help options, givingthem the opportunity to learn in depth about the software’spurpose and operation. On the second version, the users,once they already have all the knowledge about the soft-ware, do not need any more help with it, so in this version,only a few help messages are available on the software.

Those help messages are constituted of texts in a balloon,accompanied by a voice explanation, giving the young userthe opportunity to keep in mind all the information trans-mitted to him.

At last, SELTRA could be viewed as a fun way to learn,because augmented reality brings more excitement to thestudy.

Figure 4. The car used on SELTRA.

5. Conclusion

This article presents a new way to teach traffic lawsthrough new computational software, SELTRA, based onaugmented reality. It presents to the user some scenarios de-pending on what marker the user chooses. Each marker in-dicates the traffic direction that a virtual car will take whenchosen by the user. The user is awarded if the right decisionhas been chosen and is warned in the opposite way.


176

Figure 5. The car stopped in a corner.

Figure 6. Message indicating wrong way.

The core of this system is the collaborative computa-tional software, SACRA, which controls all the action onSELTRA and actually will make the difference in relationto other softwares. Hence, it is possible to use sounds thatenhance the environment’s realism, it is possible to controlthe collision points of reference of the virtual objects, andalso it is possible to create and to use different markers, eachone indicating a particular situation or virtual object.

Results, so far, are very positive once the main objectiveseems reached. The software is still in testing. This objec-tive is a new way to teach a specific subject, in this case,traffic manners, by using augmented reality, and increment-ing user curiosity and the desire to learn. Moreover, it is avery fun way to learn.

Unfortunately, SACRA has no way to predict virtual de-cision and this prevents one from preparing more complexprogramming by using it, for example, choosing directionswhen the car is stopped on the corner.

This is why SELTRA uses three markers in order to sim-ulate that decision. One way to improve this operation isby using a software which can be programmable like AR-ToolKit or Flartoolkit [1]. In this way, SELTRA could bemore flexible in relation to new directions on the lanes, also

to new traffic signs, and to giving more reality to the soft-ware.

The next step for this job is to prepare and to present thesoftware to a group of students in a school in order to testit and then evaluate and validate the obtained results. Afterthis, it will be available on the internet for those who areinterested in testing it.

Acknowledgements

The authors acknowledge financial support fromCNPq(process 558842/2009-7) and FAPEMIG(processAPQ-03643-10).

References

[1] ARToolKit. Artoolkit. Available at:http://www.hitl.washington.edu/artoolkit/download, 2010.

[2] R. T. Azuma. A survey of augmented reality. Pres-ence: Teleoperators and Virtual Environments, 6(4):355–385, Aug. 1997.

[3] M. Billinghurst. Augmented reality in education. New Hori-zons for Learning, 2002.

[4] M. Billinghurst, H. Kato, and I. Poupyrev. The magicbook-moving seamlessly between reality and virtuality. IEEEComputer Graphics and Applications, 21:6–8, 2001.

[5] M. P. Guimaraes, E. R. Zorzal, E. A. Queiroz, and C. Kirner.Sistema de realidade aumentada para conducao e monitora-mento de veıculos. WRA2005 - II WORKSHOP SOBRE RE-ALIDADE AUMENTADA, pages 72–75, 2005.

[6] C. Juan, F. Beatrice, and J. Cano. An augmented real-ity system for learning the interior of the human body. InICALT ’08: Proceedings of the 2008 Eighth IEEE Inter-national Conference on Advanced Learning Technologies,pages 186–188, Washington, DC, USA, 2008. IEEE Com-puter Society.

[7] H. Kaufmann. Collaborative augmented reality in education.In Proc. Imagina 2003 Conf. (Imagina03), 2003.

[8] H. Kaufmann. Geometry education with augmented real-ity. Master’s thesis, University of Canterbury, New Zealand,March 2004.

[9] C. Kirner and T. Kirner. Virtual reality and augmented real-ity applied to simulation visualization. Simulation and Mod-eling: Current Technologies and Applications, 1:391–419,2008.

[10] P. T. Nakamoto, G. A. Carrijo, and A. Cardoso. Construcaode ambientes educacionais com realidade aumentada: Pro-cesso centrado no usuario. Novas Tecnologias na Educacao,7(3), Dezembro 2009.

[11] R. Santin and C. Kirner. Artoolkit: Conceitos e Ferramentasde Autoria Colaborativa. UNIMEP, 2008.

[12] Vivaty. Vivaty studio. Available at: www.vivaty.com, 2010.[13] E. R. Zorzal, A. Cardoso, C. Kirner, and E. L. Junior. Real-

idade aumentada aplicada em jogos educacionais. V Work-shop de Educacao em Computacao e Informatica do Estadode Minas Gerais - WEIMIG, 2006.


177

Uso de Realidade Aumentada e Reconhecimento De Voz Como Ferramenta De Apoio ao Aprendizado Para Pessoas com Dislexia

Emília Alves Nogueira1, Bruno Moraes Rocha1, Rafael Tomaz Parreira1, Thamer Horbylon Nascimento1,

Vanessa Avelino Xavier de Camargo1, Laurence Rodrigues do Amaral1 e Marcos Wagner de Souza Ribeiro1

Departamento de Ciência da Computação - Universidade Federal de Goiás – Campus Jataí Rod br 364, Km 192

CEP 75800-000, - Jataí - GO Brasil

[email protected] , [email protected] , [email protected] , [email protected] , [email protected] , [email protected] e [email protected].

Resumo - Este trabalho tem por objetivo contribuir com

profissionais da área da psicologia, educadores, pais

envolvidos com pessoas com dislexia, no desenvolvimento de

uma ferramenta baseada em técnicas de Realidade

Aumentada para auxilio no processo de aprendizado da

codificação das palavras aproveitando-se das características

de imersão e interação possibilitadas pela Realidade

Aumentada.

Palavras-Chave – ArToolKit, Dislexia, Realidade Aumentada. Abstract – This work has as goal to contribute to psychology

professionals, teachers, parentes who are involved with

dyslexic people, in developing a tool based on Augmented

Reality to aid in the learning process of codification of the

words exploiting the characteristics of immersion and

interaction that is possible with aid from Augmented Reality Keywords - ArToolKit, Dyslexia, Augmented Reality. 1. INTRODUÇÃO Na definição dada pela Associação Brasileira de Dislexia – 2002, ao desmembrar a palavra, de imediato têm-se a primeira noção básica do significado de dislexia: DIS = distúrbio, dificuldade LEXIA = leitura (do latim) e/ou linguagem (do grego) DISLEXIA = distúrbio da linguagem. A dislexia é a incapacidade parcial de uma pessoa ler compreendendo o que está lendo, mesmo possuindo inteligência normal, audição ou visão normal e de serem oriundas de lares adequados, isto é, que não passem privação de ordem doméstica ou cultural [4]. Os métodos tradicionais de tratamento da dislexia associado ao uso de softwares educacionais tradicionais muitas vezes não são suficientes para que se obtenha a eficiência do tratamento no aluno com dificuldades de leitura e escrita, porém as técnicas de imersão e interação proporcionadas pela Realidade Virtual (RV) e/ou Realidade Aumentada (RA) podem colaborar com profissionais da área

para obterem melhores resultados no processo de ensino da escrita e leitura possibilitando que a pessoa em tratamento entre em estado de imersão, interagindo com o ambiente criado virtualmente por meio desse software. Neste escopo os processos de aprendizagem da leitura e escrita podem ser melhorados significativamente, visto que o próprio disléxico irá buscar cada vez mais a descoberta de novos ambientes e principalmente novas maneiras de interação com os objetos virtuais. 1.1. Dislexia A palavra dislexia foi o primeiro termo genérico utilizado para designar vários problemas de aprendizagem [6]. Em seu devido tempo, com o intuito de descrever as diferentes formas de transtornos de aprendizagem, os mesmos foram subdivididos e classificados [6]. Por esta razão a dislexia é chamada de “A mãe dos transtornos de aprendizagem”. Hoje em dia, mais de setenta nomes foram usados para descrever seus vários aspectos. Segundo CAPOVILLA [4] acredita-se que os seres humanos pensam de duas formas diferentes: “conceituação verbal” e “conceituação escrita” – Conceituação verbal indica o pensar com os sons das palavras e conceituação não-verbal indica o pensar com as imagens de conceitos ou idéias. O pensamento verbal é linear no tempo e segue a estrutura da linguagem. Ao utilizá-lo, compõem-se frases mentalmente, uma palavra de cada vez. Ele é construído, aproximadamente, na mesma velocidade da fala. A fala normal tem uma velocidade aproximadamente de 150 palavras por minuto ou 2,5 palavras por segundo. Ainda DAVIS [6], escreve que o pensamento não-verbal é evolutivo. A imagem cresce à medida que o processo de pensamento adiciona mais conceitos. É um processo mais rápido, possivelmente milhares de vezes mais. Na verdade, é difícil entender o processo de pensamento não-verbal porque ele acontece tão depressa que não temos consciência dele quando utilizamos: ele é geralmente subliminar ou abaixo do nível da consciência. As pessoas pensam tanto no modo verbal como no não-verbal, mas, sendo humanos, temos a tendência a nos especializarmos. Cada um praticará um dos modos como seu


178

sistema primário de pensamento, e o outro como o secundário. Segundo DAVIS [6], durante o período em que o aspecto de transtorno de aprendizagem da dislexia se forma, entre os três e os treze anos de idade, é necessário que o disléxico em potencial seja primariamente um pensador não-verbal – uma pessoa que pense em imagens. A linguagem é composta por símbolos que, por sua vez, são compostos de três partes: 1) O som do símbolo; 2) O significado do símbolo; 3) A aparência do símbolo. Na leitura notam-se confusões de grafemas cuja correspondência fonética é próxima ou cuja forma é aproximada, bem como surgem frequentes inversões, omissões, adições e substituições de letras e sílabas. Em nível de leitura de frases, existe uma dificuldade nas pausas e no ritmo. Isto é revelado em uma análise compreensiva da informação quando existe uma leitura muito deficitária (muitas dificuldades em compreender o que lêem). As palavras que mais causam confusão e desorientação quando se esta lendo, escrevendo ou comunicando algo são demoninadas “Palavras Gatilho”[1]. Elas geram confusão por que: a) A pessoa não tem uma imagem mental do que a palavra significa ou representa. b) Muitas dessas palavras possuem múltiplos significados. Alguns exemplos de “Palavras Gatilho”[9]: Bata, Pau, Taco, Vela, Farol, Cara, Mapa, Dedo, Bote, Puma, Táxi, Vaso, Foca, Gola, Macaco, Dois, Boca, Pipa, Touro, Vaca, Fila, Copa, Gota, Mesa, Disco, Baú, Peru, Tubo, Vale, Folha, Calha, Galo, Marco, Ducha, Bala, Parede, teto, Vila, Fogo, Carta, Gordo e Muleta. Originalmente, os pesquisadores acreditavam que a dislexia tinha um componente genético, exceto em caso de acidente cérebro-vascular (AVC). Ser disléxico é condição humana [15]. Em qualquer dos casos, haveria uma interferência nos processos mentais necessários a leitura [6]. Existem diversas maneiras de diagnosticar-se a dislexia, deve-se inicialmente verificar se na história familiar existem casos de dislexia ou de dificuldades de aprendizagem e se na história de desenvolvimento mental da criança ocorreu alguma problemática não normativa.

1.2 Realidade Aumentada Na década de 70 foi criado o primeiro laboratório de realidade virtual chamado “Videoplace”, que permitiu o usuário interagir com elementos virtuais pela primeira vez. A partir daí essa área vem evoluindo cada dia mais [7]. A Realidade Aumentada é definida usualmente como a sobreposição de objetos virtuais tridimensionais, gerados por computador, com um ambiente real, por meio de algum dispositivo tecnológico [10]. Entretanto, esta conceituação é muito geral e só fica clara com sua inserção em um contexto mais amplo: o da Realidade Misturada. A Realidade Misturada [9] [10], misturando o real com o virtual, abrange duas possibilidades: A Realidade Aumentada, cujo ambiente predominante é o mundo real, e a Virtualidade Aumentada, cujo ambiente predominante é o mundo virtual.

Pode-se dizer, então, que a Realidade Aumentada é uma particularização da Realidade Misturada. A Figura 1 apresenta o diagrama adaptado (Continnum do Milgram

[10]) de realidade/virtualidade contínua, mostrando as possibilidades gradativas de sobreposição do real com o virtual e vice-versa.

Figura 1 - Continnum do Milgram [7]

A Realidade Aumentada [14] proporciona ao usuário uma interação segura, sem necessidade de treinamento, uma vez que ele pode trazer para o seu ambiente real objetos virtuais, incrementando e aumentando a visão que ele tem do mundo real [12]. Isto é obtido, por meio de técnicas de visão computacional e de computação gráfica/realidade virtual, resultando na sobreposição de objetos virtuais com o mundo real. Além de permitir que objetos virtuais possam ser introduzidos em ambientes reais, a Realidade Aumentada proporciona também, ao usuário, o manuseio desses objetos com as próprias mãos [13], possibilitando uma interação atrativa e motivadora isso por intermédio do ambiente ArToolKit [2], o mesmo faz com que objetos virtuais façam parte do ambiente real e sejam manuseados, o ArToolKit é um software com capacidade de visão do ambiente real e de posicionamento dos objetos virtuais, além de acionar dispositivos tecnológicos apropriados para Realidade Aumentada.

2. TRABALHOS RELACIONADOS

Nesta seção são descritos os principais trabalhos relacionados à pesquisa em questão. A Realidade Aumentada ficou mais perto do público quando passou a ser veiculada na educação, em peças publicitárias, indústria, museus e no entretenimento em geral. Nos dias atuais as aplicações em Realidade Aumentada estão por toda parte e vão crescendo cada vez mais à medida que suas potencialidades e aplicabilidades vem sendo exploradas. 2.1 Usando Realidade Aumentada no desenvolvimento de

quebra-cabeça educacional.

A utilização da RA com fins educativos tem merecido destaque e tem sido avaliada de forma intensiva nos últimos anos [16]. Os resultados destas avaliações mostram ganhos, em termos de aprendizagem superiores a diversas outras formas de interação visando educação mediada por computador. O uso da Realidade Aumentada no desenvolvimento de quebra-cabeças tridimensionais [16], como mostrado na


179

Figura 2 é visualizados com a ajuda do computador, mostrando que é possível, através de uma plataforma computacional simples e software gratuito, criar quebra-cabeças eletrônicos enriquecidos, motivadores e de fácil usabilidade.

Figura 2 – Quebra-cabeça ordenado em Realidade

Aumentada. 2.1 Usando Realidade Aumentada no desenvolvimento de

propagandas publicitárias

A publicidade é a arte da persuasão, um meio de comunicação de massa e difusão de idéias [11]. Além de divulgar produtos e lançá-los no mercado, a publicidade desempenha o papel de criar e modificar hábitos, formas de pensamento e vivência, definir estilos e fabricar modelos. Sua atual eficácia apóia-se na própria civilização humana, acompanhando o desenvolvimento tecnológico cada vez mais sofisticado para satisfazer os desejos do público. Apenas para citar alguns exemplos de casos recentes, destacam-se a ação publicitária do carro MINI Cabrio como mostrado na Figura 3 e um game para celular lançado pela marca Fanta, da Companhia Coca-Cola [11].

Figura 3 - MINI Cabrio em RA

A Mini usou a Realidade Aumentada em uma revista. Nesta revista há um símbolo que direcionado para a webcam projeta um modelo do MINI Cabrio em 3D na tela. A Realidade Aumentada atinge uma vasta área de atuação e pode ser utilizada em diferentes situações e contextos, de acordo com os objetivos e necessidades de cada campo de estudo, como: Educação, Publicidade, Medicina e etc, essas áreas iram explorar exaustivamente os sistemas de Realidade Aumentada, criando novos meio de interação com os alunos, canais de venda, espaços e formas de se promover um produto, como já vem ocorrendo [12]. A necessidade de ferramentas comuns para os dias atuais, acessíveis e inteligíveis à grande parcela do público-alvo em questão, favoreceu o uso da tecnologia de Realidade Aumentada. Existem outros inúmeros trabalhos que poderiam ser citados aqui, porém não é intuito deste trabalho aferir, consolidar ou contrapor o Estado da Arte da área de RA e

sim demonstrar um direcionamento no caminho de uso de RA em diversas aplicações. Outro fator que tem colaborado para a aceleração das pesquisas acerca desta tecnologia é a mudança dos hábitos e expectativas dos consumidores que estão cada vez mais exigentes e conectados com as inovações, querendo desfrutar de novas sensações isso abre uma gama de potencialidades e receptividade à Realidade Aumentada.

4. METODOLOGIA E ARQUITETURA DO SISTEMA

Figura 4 – Arquitetura do sistema

O sistema está estruturado da seguinte forma. Inicialmente o banco de imagens foi criado, utilizando-se de objetos modelados em repositórios diversos, ou construindo os mesmos usando ferramentas de modelagem geométrica. Todos estes objetos foram convertidos no formato da linguagem VRML/X3D, como é mostrado na Figura 4. Esses objetos foram concebidos a partir de uma lista de palavras chave da dislexia [4]. O software escolhido para leitura destes objetos e consequente projeção e troca dos marcadores pelos respectivos objetos foi o ArToolKit [2]. O dispositivo de saída, inicialmente testado com o uso de webcam e vídeo, foi projetado para uso com óculos de visualização 3D. Depois que a imagem é projetada, o respectivo som da palavra é reproduzido (representado na arquitetura do sistema no dispositivo de saída - Figura 4), o usuário terá que ler a palavra contida na imagem do marcador. A voz do usuário é comparada com auxilio de um software de reconhecimento de voz (Microsoft Speech [5]) se a leitura for realizada da forma correta (ou aproximada) ela é guardada no ArToolKit e a sequencia do livro com a projeção de outros objetos virtuais é disponibilizada.

Não foi objeto de estudo deste trabalho a avaliação e construção de sistemas específicos de reconhecimento de voz, apenas foram usados sistemas apresentados na literatura atual [3], [5], [8]. O livro contém os marcadores que podem ser projetados em uma sala de aula ou um consultório do psicólogo, ou qualquer outro lugar do mundo real que possibilite as projeções sobre os marcadores específicos.

VRML ArToolKit

Reconhecimento de voz

Livro

Dispositivo de saída

E-Book Dislexia


180

Os marcadores (alvos) onde são projetados os objetos virtuais seguem o mesmo formato das palavras, possibilitando assim associações desta com o objeto que esta representa, conforme ilustrado na Figura 5, onde o marcador tem o nome do objeto que será projetado facilitando assim o entendimento do disléxico.

Figura 5 – Exemplo de Marcador

O livro contém as seguintes “Palavras Gatilho”: Cachorro, Borboleta, Avião, Casa, Barco, Poltrona, Caminhão, Bola, Mesa e Cadeira. Estas palavras são consideradas o primeiro estágio de aprendizado.

5. FUNCIONAMENTO DO SISTEMA

Este sistema tem como objetivo facilitar o aprendizado de pessoas disléxicas, para isso construiu-se um instrumento de interação:

- Um livro com a especificação de cada palavra (seu significado e uma aplicação em uma frase) e alvos correspondentes a cada palavra. Esses marcadores (alvos) contem a palavra e a imagem do objeto. No reconhecimento deste alvo, a imagem sobreposta terá também a parte escrita e o objeto, porém ambos em 3D (Figura 6). Adicionalmente haverá a reprodução do som da palavra.

Figura 6 – Exemplo de um marcador do livro

Logo após as três repetições da reprodução do som palavra, o usuário terá que pronunciar a palavra. Caso a

pronúncia esteja correta (modelo cadastrado previamente), a imagem no marcador é alterada para “Parabéns passe para o próximo marcador” (Figura 7). A página seguinte do livro conterá outro marcador. Caso o usuário insista, na visualização da próxima imagem, sem acerto na pronúncia, nada aparecerá na página seguinte.

Neste caso, a necessidade de acompanhante, professor ou psicólogo, se faz necessária, pois podem existir falhas no reconhecimento da fala. Teclas de atalho para prosseguimento foram criadas para este fim. Outro aspecto de padronização foi a definição de designar sempre o alvo como “marcador” permitindo uma mesma conceituação para o termo (Figura 7).

Figura 7 - O marcador conterá a seguinte imagem se a

palavra for lida corretamente A cada acerto o usuário passa para o próximo marcador. Sempre que houver um conjunto de seis marcadores (Figura 8), aparecerá uma espécie de jogo, com a inclusão dos últimos seis objetos virtuais sobre os respectivos marcadores.

Figura 8 – Conjunto de seis marcadores do livro

A palavra correspondente à um dos marcadores é reproduzida pelo sistema e o usuário terá de ocluir o marcador correspondente à palavra como na Figura 9. Todos os sons serão reproduzidos em ordem aleatória, tendo duas repetições não sequenciais.


181

Figura 9 – Oclusão do marcador quando o som do mesmo

reproduzido

Se todas as etapas forem concluídas com sucesso, com o auxilio do sistema o usuário ouvira: “Parabéns o sistema será encerrado”.

6. AVALIAÇÃO: RESULTADOS E CONCLUSÕES

Este sistema foi apresentado a educadores e pais que trabalham diretamente com pessoas disléxicas e aos próprios disléxicos. Os mesmos avaliaram o software e os resultados são mostrados nas Figuras 10 e 11. Realizou-se uma análise da a interatividade dos usuários com o software. Este aspecto teve maior preocupação na verificação da facilidade de entendimento do sistema em relação à sua interface. O gráfico da Figura 10 representa de forma mais explícita e clara este nível de interatividade que o usuário consegue ter com os marcadores contendo a projeção do objeto em forma de Realidade Aumentada.

Figura 10 - Gráfico da interface do protótipo

Foi relatado aos profissionais da área de educação qual o intuito do software, deixando bem claro que buscou-se

desenvolver um produto final que seja uma ferramenta de auxílio ao tratamento da dislexia. Após deixar claro essa informação sobre o protótipo, questionou-se sobre a utilização da ferramenta como auxilio em escolas. Este questionamento foi direcionado apenas aos pais e educadores. A Figura 11 representa graficamente o nível de aceitação dos pais e educadores que conheceram o ambiente.

Figura 11 - Gráfico do nível de interatividade do protótipo

A avaliação do sistema está fase preliminar e ainda busca encontrar a interface mais apropriada e principalmente a metodologia mais correta para se consolidar-se como apoio na melhoria do aprendizado de pessoas com Dislexia. Não é forma alguma, objetivo desta pesquisa ser a solução para a Dislexia. Pretende-se ainda como trabalhos futuros ampliá-la para que possibilite também a correção da separação de silabas e a soletração. Até o momento da publicação deste trabalho, o foco era aperfeiçoar a visualização das imagens e o reconhecimento de voz. REFERÊNCIAS BIBLIOGRÁFICAS

[1] ADELAIDE H. P. Silva Língua Portuguesa I: Fonética e fonologia Curitiba: IESDE Brasil – 2007

[2] ArToolKit(2010) “ArtToolKit” Disponivel em: http://hitl.washintong.edu/artoolkit/ acesso em 28 de agosto de 2010.

[3] BREGA, J. R. F. ; SEMENTILLE, A. C. ; RODELLO,

I. A. ; MELO, W. C. C. . “UmaInterface de

Reconhecimento de Voz para Movimentação de Agentes

e Avatares Humanóides em Ambientes Virtuais” . In: SVR 2003 - VI SYMPOSIUM ON VIRTUAL REALITY, 2003, Ribeirão Preto. Proceedings of SVR 2003 - VI Symposium on Virtual Reality, 2003. v. 1. p. 419-419.

[4] CAPOVILLA, F. C. et al. Estendendo as fronteiras da

Psicologia para abarcar a (re) habilitação cognitiva:


182

avaliação e intervenção em desenvolvimento e distúrbios de comunicação e linguagem oral, escrita e de sinais. Revista Brasileira de Psicologia e Informática. São Paulo: PUC-SP, Cogeae, n. 1, Dezembro de 2001 a Junho de 2002. ISSN 1676-384X.

[5] DAMASCENO, Eduardo Filgueiras. Avaliação das

Bibliotecas de Reconhecimento e Síntese de Fala em Ambientes Virtuais. 2005. 121 f. Dissertação (Mestrado em Ciência da Computação) - Centro Universitário Eurípides de Marília, Fundação de Ensino Eurípides Soares da Rocha, Marília, 2005.

[6] DAVIS, Ronald D. O dom da Dislexia: Por que algumas

das pessoas mais brilhantes não conseguem ler e como podem aprender. Rio de Janeiro: Rocco, 2004.

[7] HUGO H. Carvalho Santos. A publicidade e os recursos da Realidade Aumentada, Simpósio Nacional ABCiber, Pernambuco - PE- 2009.

[8] JASINSKI, M. G.; ANDRADE, Rafael ; MAIA, R. S.;

WANGENHEIM, Aldo Von . Sistema de Reconhecimento de voz na Radiologia com vocabulário. In: Congresso Brasileiro de Informática em Saúde (CBIS), 2006, Florianopolis. CBIS 2006 Congresso Brasileiro de Informática em Saúde, 2006.

[9] KIRNER, C. ; TORI, R. Introdução à Realidade Virtual,

Realidade Misturada e Hiper-realidade. In: Claudio Kirner; Romero Tori. (Ed.). Realidade Virtual: Conceitos, Tecnologia e Tendências. 1ed. São Paulo, 2004, v. 1, p. 3-20.

[10] MILGRAM, P. et. al. Augmented Reality: A Class of

Displays on the Reality-Virtuality Continuum. Telemanipulator and Telepresence Technologies, SPIE, V.2351 - 1994.

[11] MIRELA L. Terce, SÉRGIO I. Rodrigues: Realidade

Aumentada na publicidade: Estudo de caso Skol Sensation-2009.

[12] QUARTUCCI, Henrique C.; TOZZI, Luis C. Ambientes

Aumentados por Computador: Uma Revisão. Faculdade de Engenharia Elétrica e de Computação, Universidade Estadual de Campinas - 2004.

[13] SOLER, L.; AYACH, N.; NICOLAU, S.; PENNEC, X.; FOREST C.; Virtual reality, augmented reality and robotics in digestive surgery. World Scientific Publisher Edition. 2004; pp476-484.

[14] TORI Romero, KIRNER Claudio, SISCOUTO Robson:

Fundamentos e Tecnologia de Realidade Virtual Aumentada: Apostila do Pré-Simpósio. Belém – PA. 2006.

[15] VICENTE Martins: Dislexia e Educação Inclusiva: O disléxico pode ser um portador de alta habilidade Rio de Janeiro – RJ- 2005.

[16] ZORZAL, E. R.; BUCCIOLI, Arthur Augusto Bastos; KIRNER, Cláudio. Usando a Realidade Aumentada no Desenvolvimento de Quebra-cabeças Educacionais. In: SVR2006 – VIII Symposium on Virtual Reality, Belém-PA, 2006.


183

SESSÃO TÉCNICA 9

COLABORAÇÃO


184

Um Estudo sobre Manipulação Cooperativa em Ambientes Virtuais Colaborativos

Paulo Vinícius de Farias Paiva e Liliane Machado dos Santos Laboratório de Tecnologias para o Ensino Virtual e Estatística

Universidade Federal da Paraíba - CCEN [email protected], [email protected]

Resumo

Este trabalho tem como objetivo apresentar um

estudo a respeito do uso da colaboração e manipulação cooperativa de objetos em Ambientes Virtuais Colaborativos (AVCs), analisando as diferentes técnicas e arquiteturas de colaboração já existentes. Pretende-se com o estudo propor uma expansão para o módulo de colaboração do framework CyberMed, voltado para a construção de simuladores médicos baseados em realidade virtual.

Abstract

This paper has the objective of presenting the main

concepts related to collaboration and its use in collaborative virtual environments (CVEs) to produce an analysis of techniques and architectures found in literature. This work intends to support an expansion of the collaboration module of the CyberMed framework, a software for the development of virtual reality based medical simulators. 1. Introdução

Ambientes Virtuais (AVs) são sistemas de Realidade Virtual (RV) que oferecem aos seus usuários ambientes imersivos com técnicas de interação em cenas tridimensionais que exploram canais sensoriais humanos [6]. Neste contexto, alguns destes sistemas, baseados no conceito de Trabalho Cooperativo Assistido por Computador (CSCW – Computer-Supported Cooperative Work), trazem consigo a possibilidade de seus usuários realizarem tarefas em conjunto [4]. Estes ambientes são conhecidos como Ambientes Virtuais Colaborativos (AVCs) baseados em RV [3].

Os AVCs utilizam a capacidade da Internet em aproximar as pessoas e suas ações, contribuindo assim, na construção do conceito de colaboração dentro da RV. Além de suas características fundamentais como a

visualização de uma cena 3D e da manipulação de objetos virtuais, os AVCs baseados em RV permitem aos seus usuários a sensação de estarem compartilhando de suas experiências e ações, em tempo-real, com outros usuários localizados em diferentes localidades geográficas [6]. Dentro do contexto educativo, por exemplo, a colaboração é utilizada em ambientes virtuais de treinamento em geral, onde o profissional atuante de uma área pode guiar e avaliar as interações de outros usuários [11].

A medicina também tem sido beneficiada com sistemas baseados em RV, particularmente aqueles voltados ao ensino e treinamento conhecidos como simuladores médicos. Estes têm como vantagens a redução de custos de treinamento, a eliminação da necessidade de cobaias, a possibilidade de variabilidade nos casos apresentados e a realização de práticas de ensino mais interativas. Na interação dos usuários com estes simuladores, é preferível o uso de dispositivos que envolvam outros sentidos, além da visão, a fim de tornar a experiência mais realista e os seus resultados mais eficazes. Este é o caso dos dispositivos hápticos, que explorando o sentido tátil dos seus usuários, os permite reconhecer através do toque vários tipos de texturas e propriedades materiais (maciez, rigidez, viscosidade, elasticidade) dos objetos virtuais dispostos no AV [12].

Dispositivos hápticos são importantes, por exemplo, em ambientes que simulam procedimentos que envolvam ferramentas médicas como agulhas ou bisturis, ou apenas o toque para a realização de diagnósticos mais realistas. Neste contexto, o AVCs baseados em RV fornecem a possibilidade de tutoria remota e da troca de experiências entre estudantes de procedimentos cirúrgicos [6]. O presente trabalho tem como objetivo apresentar um estudo relacionado a algumas técnicas de manipulação cooperativa de objetos existentes em AVCs baseados em RV, bem como analisar as funcionalidades dispostas no framework CyberMed, a fim de propor uma expansão ao seu módulo de colaboração.


185

2. Colaboração em Ambientes Virtuais Imersivos

Existem diferentes abordagens para o uso da colaboração em Realidade Virtual (RV). De acordo com Margery [1] elas diferem quanto aos níveis de colaboração e inserem-se em três diferentes categorias:

• Nível 1 - Os usuários percebem-se

independentemente uns aos outros através de seus avatares sem que ocorram alterações no estado corrente do AV;

• Nível 2 - A cada usuário é permitido alterar a

cena individualmente e de forma seqüencial;

• Nível 3 - Os usuários podem alterar, simultaneamente, as mesmas ou diferentes propriedades de um objeto virtual.

A colaboração de Nível 3, também conhecida como

manipulação cooperativa de objetos [2,3], pode ocorrer de diversas formas visto que um objeto virtual permite diferentes transformações sobre si (rotação, translação, cor, etc). Deste modo, múltiplas ações poderão ser combinadas desde que, antes de iniciada a colaboração, sejam pré-estabelecidas regras a fim de definir quais propriedades do objeto cada participante deverá alterar [2], senão todas. Estas são definidas por meio de uma Metáfora Colaborativa [1,2] que visa estabelecer as diretrizes por meio das quais as ações serão integradas.

Quanto à liberdade das ações dos usuários, Rudle [3] afirma que elas podem ser escolhidas entre a interação simétrica, onde as ações dos participantes são coordenadas em todos os aspectos (mesma magnitude, tempo, sentido e direção), ou a interação assimétrica, onde os participantes são livres para alterarem qualquer propriedade do objeto, estando o sistema encarregado de apresentar uma transformação resultante ao objeto. Para que se compreenda como as interações assimétricas ou simétricas se dão no contexto de uma colaboração de Nível 3, faz-se necessário o conhecimento do conceito de níveis de liberdade (DOF – Degrees of freedom) para movimentação de um objeto virtual. Estes nada mais são que os eixos do plano cartesiano (x, y e z) aos quais os objetos se encontram livres para serem movimentados e comumente são explorados como componentes básicas de uma atividade cooperativa. Os níveis de liberdade são explorados principalmente pelos AVCs que utilizam dispositivos hápticos na aplicação de forças físicas sobre um objeto, sendo estes também conhecidos como ambientes virtuais hápticos

(Haptic Virtual Environment – HVE) [5]. De maneira geral, os HVEs contribuem para a realização de interações mais realistas dentro de ambientes que prezem pela sensação de imersão de seus usuários, sendo este o caso das aplicações de simulação médica onde os dispositivos hápticos possuem fundamental importância. 2.1. Manipulação Cooperativa de Objetos Com o intuito de compreender melhor como vários usuários devem interagir simultaneamente com um único objeto, faz-se necessário a introdução de alguns conceitos já divulgados na literatura acerca da temática. A técnica de manipulação cooperativa nomeada SkeweR [7], baseia-se na interação assimétrica, onde os interadores dos usuários são fixados nas extremidades de um objeto e a cada um deles, apenas é permitida a aplicação de movimentos translacionais, a fim de alterar a posição e orientação final do objeto.

No framework colaborativo proposto por Pinho [2], as regras de cooperação são baseadas em duas possíveis abordagens. A primeira separa os graus de liberdade da técnica interativa entre os participantes da cooperação sendo esta, portanto, assimétrica. Por exemplo, um usuário pode mover um objeto no plano horizontal, enquanto o outro altera a sua posição verticalmente. A segunda realiza a combinação de todas as transformações em uma única etapa.

Experimentos que abordam a cooperação têm-se desenvolvido e podem ser encontrados em alguns deles além das técnicas interativas, o uso de dispositivos hápticos explorando assim, os diversos graus de liberdade na movimentação dos objetos virtuais. No experimento realizado por Basdogan [2] nomeado ring on a wire, onde os usuários cooperam para mover um anel em volta de um fio. Neste caso, a Metáfora Colaborativa usada limita as ações dos usuários sobre uma mesma componente das forças emitidas via seus dispositivos hápticos (eixo X), sem que forças residuais, isto é, aquelas direcionadas às componentes não-comuns (eixos Y e Z), fossem computadas pelo AV. Neste modelo de interação háptica, é usada a interação simétrica e apenas foram simulados os movimentos translacionais do anel sobre o fio, dispensando os movimentos de rotação ou outros movimentos bruscos que porventura um usuário pudesse realizar. 3. Colaboração no framework CyberMed

O CyberMed é um framework de código livre voltado para o desenvolvimento de aplicações médicas


186

baseadas em RV. Como todo framework, o CyberMed viabiliza ao desenvolvedor um desenvolvimento mais ágil de sistemas, além de oferecer a possibilidade de extensão do código fonte e inclusão de novos recursos. O CyberMed destaca-se, principalmente, pela ampla gama de recursos oferecidos pelos seus módulos. Dentre suas principais funcionalidades destacam-se: visualização mono e estereoscópica, interação através de dispositivos convencionais (mouse e teclado) e não-convencionais (háptico e de rastreamento), uso de modelos tridimensionais deformáveis, suporte à detecção de colisão, suporte a aplicações de colaboração e integração de métodos de avaliação online. Assim, ele é constituído por dez módulos, como pode ser visto na Figura 1, dispostos em três camadas principais: Application Engine, Core e a Utils. A camada Core é responsável pelo controle dos estados internos, como aquisição, cálculo, armazenamento e acesso aos dados do sistema [8]. A camada Application Engine provê um conjunto de métodos que auxiliam o usuário na construção de suas aplicações na inserção de recursos como a visualização, a colisão, a deformação, a avaliação e a interação háptica. Por fim, a camada Utils oferece uma série de facilidades na construção e edição de menus e na realização de operações matemáticas como cálculo de matrizes e operações lineares.

Figura 1 – A arquitetura de camadas e módulos do CyberMed.

O módulo de rede, chamado CybNetwork, prover

comunicação de rede para a camada de colaboração CybCollaboration e simula tanto as comunicações confiáveis, isto é, aquelas onde há a garantia na integridade das mensagens, como também as comunicações não-confiáveis, que são mais freqüentemente utilizadas por aplicações em que a velocidade possui maior importância em relação à qualidade da mensagem final, como nos casos de sistemas de multimídia (áudio e vídeo). Os protocolos de transporte suportados são o UDP/IP (User Datagram Protocol) e o TCP/IP (Transmission Control Protocol), sendo o primeiro não-confiável e o último confiável. O CybNetwork dá suporte, ainda, para os três tipos básicos de estruturas de comunicação em

rede que são o Unicasting, onde a mensagem é endereçada a um único host de destino, o Broadcasting, em que a mensagem é divulgada através da rede para todos os clientes conectados e por último o Multicasting, onde a mensagem também é divulgada para vários clientes de destino, sendo que neste é possível a distinção entre vários grupos de máquinas de destino, entre outras vantagens.

Dentro do contexto de colaboração atualmente implementado no framework, foi utilizado o protocolo UDP/IP em conjunto com a arquitetura peer-to-peer, devido à velocidade de transmissão que este modelo oferece, sendo essencial para manter o efeito de realismo proposto pelas aplicações de simulação médica com sistemas hápticos, uma vez que estes operam sob taxas superiores a 1 KHz [5]. Logo, a colaboração atualmente implementada é realizada sem que haja um servidor atuando como mediador das conexões dos clientes, evitando assim, o acréscimo de tempo nas respostas e possíveis atrasos. Apesar disso, o cliente criador da colaboração, atua como um facilitador que fica responsável pela coleta e divulgação dos endereços IPs e das posições dos interadores de todos os participantes. Esta arquitetura pode ser vista na Figura 2. Pode-se dizer, ainda, que o módulo de colaboração do CyberMed possui uma arquitetura distribuída onde cópias da base de dados principal são distribuídas entre todos os nós da rede. Esta distribuição é realizada por meio de um modelo de distribuição de objetos virtuais conhecido como replicação ativa [4]. Com esta abordagem, a cópia principal do AV é replicada entre todos os processos ou grupo de processos clientes que estejam conectados na colaboração.

Uma vez observado que apenas uma versão do AV é executada por todos os participantes da colaboração ao mesmo tempo, faz-se necessário realizar o controle de consistência, de modo que os estados de todas as versões estejam em razoável sincronia. Na replicação ativa, este controle é realizado mediante a divulgação de todos os estados das cópias locais, logo após cada alteração ou inserção de novos objetos e participantes na colaboração. Deste modo, cada cliente fica responsável por enviar mensagens periódicas contendo o estado corrente de suas cópias locais. Este mecanismo também é conhecido como heartbeat [6]. Uma desvantagem na utilização do mecanismo de replicação e de suas mensagens de estado, principalmente para os AVCs de grande escala, é o aumento na propagação de mensagens pela rede, visto a necessidade de replicação da base de dados principal para todos os clientes, sendo que estas mensagens muitas vezes são irrelevantes para certos clientes.

Deste modo, é importante observar que tal abordagem foi optada para o CybCollaboration por


187

dois principais motivos. Primeiramente, por ser um módulo voltado para a construção de simulações médicas colaborativas, onde normalmente existem poucos usuários, geralmente em torno de dez participantes, interagindo entre si. Em segundo lugar, AVCs desta magnitude, não possuem grande volume de dados trafegando pela rede, o que não chega a comprometer a execução correta do ambiente em todos os clientes. Em relação à liberdade de alteração de um objeto por parte dos participantes em uma colaboração, dois estados de gerenciamento de manipulação são oferecidos que é a Livre e o Bloqueado. O estado Livre permite uma colaboração onde todos podem alterar o objeto sequencialmente. Já no estado Bloqueado, o objeto é bloqueado e apenas um solicitante poderá alterá-lo. Este modo é utilizado nas colaborações de tutoria, onde apenas o tutor tem a permissão de manipular o objeto.

Figura 2 – A arquitetura de rede usada pelo módulo de

colaboração. Assim, o CyberMed possibilita ao seu usuário a

escolha entre diferentes tipos de colaboração, a partir da combinação de um dispositivo de interação (háptico, mouse ou de rastreamento) com um modo de gerenciamento da manipulação (Livre ou Bloqueado). O caso mais comum é o da colaboração livre utilizando-se o mouse. Outra forma possível pela atual implementação é a colaboração guiada, onde um usuário designado como líder, utilizando-se de um dispositivo háptico, pode guiar os movimentos dos outros participantes que o acompanham através do retorno tátil provido por seus dispositivos. 4. Proposta de Expansão

Como visto anteriormente, a manipulação cooperativa de objetos ainda não é suportada pelo CyberMed. Após serem observados os diferentes tipos de colaboração e modelos de comunicação de rede

existentes e através da comparação de seu estado atual com as arquiteturas dos diferentes frameworks pesquisados, foi possível a detecção de alguns requisitos que o CyberMed ainda não possui e deverá ter implementado para que este venha a suportar a manipulação cooperativa. De acordo com Ruddle [3], existem alguns requisitos para que uma atividade de cooperação ocorra corretamente e estes envolvem três importantes questões:

(a) A comunicação de rede. A combinação das ações exige que os dados emitidos pelos usuários não sejam perdidos ou corrompidos, para que a resultante das ações tenha consistência em todos os clientes. Logo, é imprescindível o uso de um canal confiável para a transmissão de tais ações.

(b) O feedback das ações de cada usuário auxiliando-os na percepção do resultado de suas ações na cooperação, como é o caso das técnicas de awareness [2] que exploram o recurso da visualização a fim de que os usuários percebam entre si as intenções das ações.

(c) As formas pelas quais as várias ações serão integradas.

Em relação ao requisito de comunicação em rede, o módulo de colaboração atualmente faz uso do protocolo não-confiável UDP/IP com o Unicasting, para que as transferências de mídia-háptica ocorram a uma taxa razoável. Tal protocolo ainda é inviável para que a cooperação ocorra corretamente, já que não há um controle da integridade ou ordenamento dos dados enviados pelos usuários. O Unicasting apesar de não oferecer nenhum grande impecílho para a cooperação, possui a desvantagem de fazer com que mesmo aqueles usuários que não estejam envolvidos na manipulaçao de um objeto em dado momento, recebam as mensagens de estado, como por exemplo, as mensagens de awareness. Assim, uma alternativa para este problema, seria a integração de técnicas de qualidade de serviço (QoS – Quality of Service), como o controle de fluxos e ordenamento dos pacotes, ao protocolo UDP/IP uma vez que, este protocolo ainda é uma opção por conta de sua velocidade de transmissão quando comparado com o protocolo TCP/IP.

Uma alternativa ao TCP/IP seria o uso do UDP/IP confiável a partir de bibliotecas específicas tal como a QUANTA Networking Library [9]. Em relação à estrutura básica de comunicação, poderia ser utilizado o Multicast, que é um modelo onde se torna possível a criação de grupos de usuários, associados a um único endereço IP. Deste modo, apenas os clientes associados àquele endereço recebem os pacotes contendo determinados tipos de dado. Com esta abordagem, seria possível a divisão entre dois grupos Multicast distintos, onde o primeiro estaria associado àqueles usuários que estivessem a participar de uma


188

manipulação cooperativa em determinado momento e o segundo constituiria o grupo daqueles que não estariam envolvidos. Para que um cliente pertença a um grupo Multicast faz-se necessário que ele se subscreva no mesmo, e para esta proposta, tal subscrição poderia ocorrer na etapa de seleção do objeto escolhido. Vale ressaltar que os pacotes destinados a grupos de Multicast, apenas são processados por roteadores específicos, e o conjunto desses forma o Mbone [6], que se trata de um backbone especial para processamento dos pacotes de Multicast. Assim, nem todos os roteadores da Internet possuem tal recurso e as aplicações que utilizam o Multicast poderiam ser prejudicadas caso não houvesse rotas possíveis para as suas mensagens.

Para contornar este problema, Zyda [6] faz referência a uma camada de software que cria grupos de Multicast e mascara-os, ou seja, empacota-os em mensagens de Unicasting, fazendo com que estes possam trafegar livremente pela Internet, já que os pacotes de unidifusão não possuem a necessidade de roteadores específicos com suporte ao Multicast. Esta abordagem, conhecida como AOIM (Area Of Interest Management), poderia ser acrescentada ao módulo de rede CybNetwork, pois este possui o protocolo de Multicast já implementado. A forma como o AOIM é disposta na rede pode ser visualizada na Figura 3.

Figura 3 – Camadas de software AOIM [6].

Em relação ao segundo requisito de técnicas de

awareness, nas colaborações encontradas no CybCollaboration, podem ser notados alguns identificadores básicos utilizados para que os usuários possam perceber uns aos outros na colaboração. Estes identificadores são feitos baseando-se na diferenciação de cores e tamanhos dos objetos interadores de cada usuário. Porém, tal modelo não é o suficiente para suportar a interação cooperativa. Como se pode identificar em outros frameworks [1,2], geralmente há um módulo à parte, exclusivo para a geração dos awareness do sistema. Assim, a medida que cada uma das etapas de interação for ocorrendo no momento da cooperação, faz-se necessário que o módulo de awareness dispare retornos visuais associados a cada

uma delas, para que o requisito de feedback das ações dos usuários seja suprido fazendo com que o usuário tenha consciência imediata das intenções dos usuários remotos com os quais está a cooperar. Por exemplo Bowman [2] subdivide a técnica de interação em quatro sub-componentes: a Técnica de Seleção, que trata do método de indicação do objeto a ser manipulado; a Técnica de Acoplamento, que especifica como se dá o acoplamento do interador ao objeto, a Técnica de Posicionamento/Orientação, que dita como o interador modificará a posição e orientação do objeto e por fim, a Técnica de Liberação que aborda a forma como o objeto é liberado.

Como suposição, poderia ser definido que a cada seleção em um objeto, o interador de um usuário mudasse de cor e houvesse uma indicação visual (ex: seta, círculo) a fim de informá-lo sobre o grau de liberdade que este estaria possibilitado a manipular. Também foi observado na arquitetura dos frameworks propostos por Margery [1] e Pinho [2], o uso de um módulo responsável pela combinação das ações, sendo este denominado pelo segundo trabalho como Command Combiner. Assim, é percebida a necessidade de integrar ao CybCollaboration, uma camada específica para a combinação das ações e forças aplicadas, no caso das cooperações hápticas, a fim de que este seja responsável pelo recebimento, ordenamento, processamento e divulgação de uma ação resultante a ser aplicada nas cópias de todos os clientes.

Por fim, vale salientar que um requisito importante para a combinação de tais forças é que o módulo responsável pela integração deve saber quando estas são ou não simultâneas. Do contrário, apenas haverá uma sucessão de movimentos elementares de cada usuário. Para atender a este requisito, podem ser utilizadas as equações definidas por Broll [4], que visam definir matematicamente quando diversos pedidos de manipulação são considerados concorrentes. Esta camada de software responsável pela combinação pode estar localizada em todas as cópias do AV, de forma replicada, ou pode ser disposta em um cliente central, que ficaria responsável por receber as solicitações de manipulação, avaliar quais são simultâneas e por fim, gerar uma transformação resultante ao objeto divulgando-a na rede. Por fim, pode ser observado na Figura 4, um modelo de comunicação baseado nos requisitos citados anteriormente.


189

Figura 4 – Modelo de comunicação, utilizando grupos de

Multicast, proposto ao CyberMed.

5. Considerações Finais Este trabalho procurou relatar um estudo acerca da

atual importância da colaboração, nos sistemas colaborativos de realidade virtual, em especial àqueles de simulação médica. Também, foram discutidos alguns conceitos já conhecidos na literatura, referentes à colaboração e as formas de interação individual e cooperativa. Nas formas de interação citadas, como a síncrona e a assíncrona, pôde-se notar como a divisão do processo interativo em sub-etapas, auxilia na execução e melhor compreensão por parte dos usuários em suas atividades cooperativas dentro de um AV. Por fim, foi apresentada uma análise dos recursos já suportados pelos módulos de colaboração e de rede do framework Cybermed e quais eles ainda não suporta, sendo realizada uma proposta de expansão para o módulo CybCollaboration.

6. Agradecimentos

Este projeto é financiado pelo CNPq através do Instituto Nacional de Ciência e Tecnologia - Medicina Assistida por Computação Científica (Processo CNPq 181813/2010-6). 7. Referências [1] D. Margery, B. Arnaldi, N. Plouzeau, (1999) “A General Framework for Cooperative Manipulation in Virtual Environments”, Springer, Vol..44, No. 7, pp. 79-85.

[2] M. Pinho, D. Bowman, C. Freitas, (2002) “Cooperative Object Manipulation in Immersive Virtual Environments: Framework and Techniques”, Proceedings of the ACM VRST’02, Hong Kong, pp. 171-178. [3] R. Ruddle, J. Savage, D. Jones, (2002) “Symmetric and Asymetric Action Integration During Cooperative Object Manipulation in Virtual Environments”, ACM Transactions on Computer-Human Interaction, Hong Kong, pp. 285-308. [4] W. Broll, “Interacting in Distributed Collaborative Virtual Environments”, IEEE VRAI'95 - Virtual Reality Annual International Symposium, IEEE Computer Society Press, 1995, pp.148-155. [5] Souayed, R. et al. “Haptic Virtual Environment Performance Over IP Networks: A case study”, Processings of the Seventh IEEE DS-RT’03, 2003. [6] Singhal, S., Zyda, M., (1999) “Networked Virtual Environments: Design and Implementation”, ACM Press/Addison-Wesley Publishing Co, New York, USA. [7] Duval, T. et al, (2006) “SkeweR: a 3D Interaction Technique for 2-User Collaborative Manipulation of Objects in Virtual Environments”, Proceedings of 3DUI’06, Virgínia, USA, pp. 69-72. [8] Machado, L. et al, (2008) “Desenvolvimento Rápido de Aplicações de Realidade Virtual Utilizando Software Livre”, Livro de Minicursos do SVR’08, pp. 5-33. [9] Sung, M. Y. et al. (2006) “Experiments for a Collaboratiove Haptic Virtual Reality”, Proceedings of IEEE ICAT’06, Hangzhou, pp. 174-179. [10] Basdogan, C. et al. (2000) “An Experimental Study on the Role of Touch in Shared Virtual Environments”. ACM Transactions on Computer-Human Interaction, Vol. 7, pp. 443-460. [11] Sales, B.R.A.; Machado, L.S. (2010) "Interactive Collaboration for Virtual Reality Systems related to Medical Education and Training". 6th Int. Conf. on Tech. and Medical Sciences. Porto. 2010 (no prelo). [12] Nunes, F.; Machado, L.S.; Costa, Rosa M.E.M. (2009) RV e RA Aplicadas à Saúde. Book Chapter. In: Rosa Costa e Marcos Wagner. (Org.). Aplicações de Realidade Virtual e Aumentada. Porto Alegre: SBC, pp. 69-89.


190

Ambiente Virtual Colaborativo para Auxílio no Processo de Ensino-Aprendizagem em disciplinas de Algoritmo e Programação de Computadores

Luciana de Oliveira Berretta1, Fabrizzio Alphonsus Alves de Melo Nunes Soares1, Márcio Giovane Cunha Fernandes1, Eliane

Raimann2 e Marcos Wagner de Souza Ribeiro1

1 - Departamento de Ciência da Computação - Universidade Federal de Goiás – Campus Jataí 2 – Instituto Federal de Educação, Ciência e Tecnologia de Goiás – Campus Jataí

[email protected] , [email protected], [email protected], [email protected], [email protected]

Resumo

Neste trabalho é apresentado o desenvolvimento de um

Ambiente Virtual Colaborativo para auxiliar o processo de

Ensino-Aprendizagem nas disciplinas de Algoritmos e

Programação de Computadores. O intuito principal do

trabalho é construir um sistema distribuído que permita que

vários usuários construam ou entendam o funcionamento das

várias fases de Algoritmo (português estruturado).

Palavras-Chave – Colaboração, Ensino, Realidade Virtual.

Abstract

This work presents the development of a Collaborative

Virtual Environment to assist the process of teaching and

learning in the disciplines of Algorithms and Computer

Programming. The main purpose of the work is to build a

distributed system which allows many users to build or

understand the operation of the various phases of algorithm

(Portuguese structured).

Keywords – Collaboration, Learning, Virtual Reality. 1. INTRODUÇÃO Ambientes Virtuais Colaborativos de Aprendizagem são espaços compartilhados de convivência que dão suporte à construção, inserção e troca de informações pelos participantes. A construção desses espaços, que se interligam, supõe canais de comunicação que permitam e garantam o acesso contínuo. Os canais de comunicação bem como os espaços, devem ser diversificados, sob o ponto de vista tecnológico, permitindo o uso de instrumentos da tecnologia em situações síncronas e assíncronas, com variação dos processos de interação [8]. A colaboração é um recurso de aprendizagem que propicia que conhecimentos específicos sejam mesclados na produção de um conhecimento maior. Uma área básica da computação, porém primordial é a construção de Algoritmos. No momento de aprendizado das disciplinas responsáveis por este conteúdo, muitos obstáculos são encontrados pelos docentes. O maior, talvez seja o conservadorismo na metodologia usada no processo de ensino. Outra preocupação relacionada ao ensino está relacionada ao grande número de reprovações nestas

disciplinas, que estão no início do curso e consequentemente causam grandes problemas, sendo a evasão o principal.

Uma solução, já encontrada na literatura, para resolver problemas de reprovação nas disciplinas básicas de programação é entender que o aluno já possui um histórico ou experiências sobre o assunto. Estas construções são conhecidas como Concepções Espontâneas (alternativas; intuitivas) [12]. E, a união de todas as experiências pode produzir um resultado ainda melhor. Porém, antes de um trabalho colaborativo, seria necessária a criação de uma interface interativa, transformando a abstração do Algoritmo no concreto de qualquer metáfora. Para atingir este objetivo, a melhor ferramenta na atualidade é a Realidade Virtual (RV), que encaixa perfeitamente nas carências deste problema de ensino relatado.

Para atingir este objetivo, este trabalho propõe o desenvolvimento de um Ambiente Virtual Colaborativo para auxiliar o processo de Ensino-Aprendizagem nas disciplinas de Algoritmos e Programação de Computadores. 1.2. Algoritmos e Programação Nos cursos da área de Informática, destacando-se os cursos superiores desta área, um dos grandes desafios é conseguir reduzir o elevado índice de desistência. Diversas pesquisas têm avaliado que este índice está fortemente correlacionado com o índice de reprovação em disciplinas de programação, principalmente as de Algoritmos e de Estrutura de Dados, pois, estas disciplinas exigem dos alunos certo grau de raciocínio ao qual não costumam estar preparados, considerando que são oferecidas logo no início do curso [14]. Segundo RAABE [13], disciplinas relacionadas à Programação de Computadores exigem dos alunos habilidades e competências como: raciocínio lógico, resolução de problemas e a capacidade de abstração da solução em uma representação formal e/ou em uma linguagem computacional. Assim, um ponto importante é desenvolver novas metodologias que venham, efetivamente, contribuir para a melhoria da qualidade do processo de ensino-aprendizagem desses alunos [4]. Pesquisas recentes têm mostrado como a Realidade Virtual vem contribuindo como uma ferramenta de auxílio para a aprendizagem devido ao suporte providenciado pela mesma por meio de mecanismos como a imersão e a navegação [10].


191

Para KIRNER [6], uma das grandes vantagens em utilizar um ambiente de ensino baseado em Realidade Virtual, é que o conhecimento intuitivo do usuário sobre o mundo físico pode ser diretamente transportado para o mundo virtual. Por meio de vários recursos, aliados a essa tecnologia, destaca-se o acesso à informação por meio de Ambientes Virtuais Colaborativos (AVC) onde indivíduos em lugares geograficamente distantes, podem compartilhar informações e o próprio ambiente [9]. 1.3. Realidade Virtual Realidade Virtual é uma interface avançada para aplicações computacionais, que permite ao usuário navegar e interagir, em tempo real, com um ambiente tridimensional gerado por computador, usando dispositivos multisensoriais [5]. 1.4. Ambiente Virtual Colaborativo

Ambientes Virtuais Colaborativos (AVCs) permitem que usuários localizados em posições geográficas distintas colaborem por meio de uma simulação de um mundo sintético controlado por computadores, utilizando uma infra-estrutura de comunicação tal como a Internet. Ambientes Virtuais Colaborativos tem historicamente sido aplicado a diversas áreas do conhecimento, por exemplo: Simulação Militar de Combate para treinamento de pessoal, design e engenharia, treinamento, Engenharia de Software, Medicina, etc. [11], [16] e [17]. Tais aplicações podem incluir um nível a mais de realismo em uma simulação, permitindo que o usuário tenha uma experiência similar àquela que o mesmo teria em similar situação no mundo real [5].

2. TRABALHOS RELACIONADOS 2.1. Virtual Harlem

O Virtual Harlem [2], criado com o objetivo de

fazer as pessoas conhecerem o bairro de Harlem na década de 20, onde as pessoas representadas por avatares têm contato com objetos que seriam da época, ouvem música da época, tudo como se estivesse na cidade.

2.2. Arquitetura de Distribuição de Ambientes Virtuais

Multidisciplinares Neste trabalho [15], ao relatar uma arquitetura para

distribuição de ambientes virtuais multidisciplinares de ensino, os autores avaliaram diferentes arquiteturas de distribuição com o objetivo de identificar aquela que com mais eficiência permita que interações ocorridas em um ambiente alterem o comportamento de outros, mesmo que estes sejam relacionados a outras áreas do conhecimento. Protótipos construídos sobre a plataforma escolhida para a distribuição, seguindo uma mesma metodologia (na qual os aspectos do modelo de dados foram alterados) e ainda, tendo

a latência, escalabilidade e extensibilidade como parâmetros de comparação demonstraram qual a melhor abordagem para construção de ambientes virtuais multidisciplinares.

2.3. Aplicações Distribuidas para Realidade Aumentada Colaborativa

Em Aplicações Distribuidas para Realidade Aumentada Colaborativa [3], os autores desenvolveram um software de RA que apresenta uma arquitetura para distribuição e colaboração de um espaço de trabalho tri-dimensional. Assim, o sistema permite que vários usuários possam compartilhar uma experiência qualquer em 3D, que por sua vez conta com várias aplicações, montando uma espécie de quebra-cabeças que é agrupado por vários monitores e outros sistemas de projeção, tais como capacetes e projeção em Realidade Aumentada (RA).

2.4. Ambientes Colaborativos com RA

Em Ambientes Colaborativos com Realidade

Aumentada [7], os autores descrevem o desenvolvimento de um trabalho baseado no uso do software ARToolKit e, configurado para funcionar em rede por meio do uso de soquetes. Para isso, os autores relatam que o ARToolKit foi modificado para importar e exportar posições, permitindo a inserção de objetos virtuais em posições recebidas pela rede de computadores e, ainda, o envio das posições das placas marcadoras existentes no ambiente local para o ambiente remoto. 2.5. Construct3D

Construct3D foi desenvolvido pelo Institute of

Software Technology and Interactive Systems na Vienna

University of Technology e pelo Institute for Computer

Graphics and Vision na Graz University of Technology. Este projeto visa à criação de uma ferramenta que possibilite a construção geométrica tridimensional, sendo que, ela está direcionada especificamente para o ensino de matemática e geometria (KAUFMANN e SCHMALSTIEG, 2006). O seu desenvolvimento baseia-se no sistema móvel de Realidade Aumentada colaborativa denominado Studierstube [1]. 2.6. ARCA

O projeto ARCA, acrônimo de Ambiente de

Realidade Virtual Cooperativo de Aprendizagem, está sendo desenvolvido por três áreas de ensino da Universidade Federal do Rio Grande do Sul – UFRGS: Psicologia, Educação e Informática, coordenado pelo Programa de Pós-Graduação em Informática na Educação (UFRGS, 2008). Este projeto propõe-se a desenvolver um ambiente de ensino e aprendizagem que, apoiado pela Internet, possa atuar como instrumento no auxílio a uma prática pedagógica diferenciada. O seu ambiente visa criar condições para uma aprendizagem significativa por meio de um ambiente desenvolvido em Realidade Virtual que permite a cooperação. Os estudantes podem, ainda, utilizar telepresença via avatar, esta ferramenta possui como objetivo


192

permitir aos estudantes e professores realizar uma comunicação por meio de um personagem, o avatar [18].

3. ARQUITETURA DO SISTEMA

3.1. Arquitetura para Distribuição do Sistema

O propósito deste tópico é a demonstração de uma arquitetura que permita a existência de n computadores capazes de hospedar m ambientes virtuais, fazendo assim, a distribuição dos objetos virtuais visualizados e manipulados na cena, permitindo uma colaboração na construção de um Algoritmo. Desta forma, propõe-se a arquitetura para distribuição (colaboração) do sistema, conforme a Figura 1. O sistema proposto neste trabalho (AV ALGOL) é composto pelos seguintes módulos:

- Interface do Ambiente Virtual: A interface propicia a manipulação dos parâmetros interativos que serão distribuídos e, também a visualização das fases (Estruturas Sequenciais, Estruturas Condicionais e Estruturas de Repetição).

- Servidor: O servidor da aplicação recebe dos clientes e distribuí na rede de computadores as informações acerca das fases e o respectivo momento de cada fase. Este servidor é independente do ambiente, sendo inicializado automaticamente no computador do primeiro cliente que for ativado. O Servidor utiliza-se da API Java RMI para suportar a comunicação cliente-servidor.

Computador 2Computador 1 Computador 3

JAVA RMI

Ação/Visualização Ação/Visualização

G U I G U I

AV ALGOLAV ALGOL

Fase 2Fase 1

Java 3DJava 3D

G U I

AV ALGOL

Fase 3

Java 3D

Computador n

G U I

AV ALGOL

Fase m

Java 3D

Figura 1. Arquitetura proposta para a colaboração

Resumidamente, verifica-se que: A Figura 1 ilustra a existência de n computadores, sendo

que cada computador pode hospedar apenas um único ambiente virtual e sempre haverá uma aplicação servidora que proverá serviços para os clientes. Cada fase “Estruturas

Algorítmicas” possui uma interface. A interface possui um ambiente baseado em metáforas.

Cada interface pode ser executada separadamente e possui interações dentro do próprio ambiente. A colaboração ocorre quando há dois ou mais clientes conectados ao sistema. Os objetos virtuais foram modelados em JAVA 3D criando três metáforas: a) estruturas sequenciais representando variáveis e seus respectivos valores – cubos representam cada tipo de variável; b) estruturas condicionais – esferas que seguem um caminho representam esta fase; c) estruturas de repetição – ainda em fase de construção.

4. IMPLEMENTAÇÃO DO SISTEMA

Toda a parte de distribuição e comunicação entre os ambientes virtuais foi construída usando a linguagem de programação JAVA por meio da API Java RMI. A comunicação tem por base a existência de uma aplicação servidora. Os clientes se conectam ao servidor e requisitam ao mesmo, informações sobre ambiente e o servidor disponibiliza:

a) Fase do Algoritmo. b) Estrutura do Algoritmo. O modelo de visão de cada ambiente não é distribuído e

cada usuário pode navegar pelo ambiente sem influenciar na distribuição.

Os objetos virtuais e a capacidade interativa do sistema foram construídos usando JAVA 3D. Alguns objetos que necessitaram uma modelagem mais detalhada foram construídos com ferramentas de modelagem geométrica e exportados para uso no ambiente.


O sistema possui três fases de aprendizado com base em estruturas: sequencias; condicionais; repetição.

Na primeira fase o objetivo é entender o processo de criação de variáveis, seus respectivos tipos de dados e a respectiva manipulação das mesmas. A metáfora usada para abstrair este conceito foi a utilização de cubos para cada tipo de dado. Sempre que o usuário escolhe (seleciona) um cubo uma variável é criada. É possível ao usuário realizar pequenas operações matemáticas e exibir mensagens. De acordo com a interação e manipulação dos objetos (cubos) o Algoritmo vai sendo construído. (Figura 2).

Um aspecto ainda não implementado no sistema, porém em fase de desenvolvimento, é a comunicação bidirecional entre construção de ambiente virtual e geração de Algoritmo. Ou seja, o usuário pode construir o ambiente e gerar o Algoritmo ou construir o Algoritmo e gerar o ambiente. Atualmente apenas a geração do Algoritmo por meio da manipulação é possível.

Figura 2. Interface da Fase 1 do Ambiente

A segunda fase caracteriza-se por permitir que esferas

“rolem” por plataformas. O desvio da esfera para a plataforma inferior se dará apenas pelo enquadramento condicional (se a condição for verdadeira). Nesta condição o primeiro cilindro dará passagem à esfera. Caso a condição


193

seja falsa (senão - else) a esfera passa pelo segundo cilindro (Figura 3).

Figura 3. Interface da Fase 2 do Ambiente

Na primeira fase, o Algoritmo é construído

preenchendo-se os blocos: variáveis; mensagens; valores das variáveis. Na segunda fase, têm-se os blocos: variáveis; condições; mensagens; Na terceira fase: variáveis; condições de parada; mensagens; atualizações.

A colaboração no sistema está ligada a um gerenciamento de um administrador que permite que cada cliente possa contribuir com alguma alteração. Sem a permissão do administrador a alteração realizada por cliente não é replicada para os outros clientes. A premissa é realmente que haja contribuição para que seja encontrada a melhor configuração de objetos virtuais e estrutura algorítmica. 6. CONCLUSÕES E TRABALHOS FUTUROS Espera-se com este trabalho criar um ambiente que promova aos alunos uma sensação de imersão e envolvimento, proporcionando uma visão da programação talvez não obtida com os métodos tradicionais de ensino, além de aumentar o nível de abstração e reduzir a exigência de conhecimento prévio. O ambiente de ensino se baseará em metáforas para permitir a manipulação e interação das estruturas dos Algoritmos pelos alunos. O resultado deste trabalho visa ainda ser um produto educacional para ser usado em escolas de ensino técnico ou superior, presencial ou EAD e distribuído livremente. 6.1. Trabalhos Futuros Na continuação deste projeto, considera fundamental a conclusão desta primeira etapa do sistema, o funcionamento das três fases do Algoritmo. Em seguida considera importante a apresentação do protótipo a pessoas ligadas a área (professores e alunos) para uma avaliação formal. Outra contribuição necessária será a implementação da comunicação bidirecional entre objetos virtuais e Algoritmos. Aspectos da comunicação na rede também deverão ser aprimorados.

REFERÊNCIAS

[1] CONSTRUCT3D. Construct3D. Disponível em: http://www.ims.tuwien.ac.at/research/construct3d. Acesso em: 20 ago. 2010.

[2] HARLEM - Projeto Virtual Harlem. Disponível em: <http://www.evl.uic.edu/cavern/harlem>. Acesso em: 20 ago. 2010.

[3] HESINA, G.; SCHMALSTIEG, D. “Distributed Applications for Collaborative Augmented Reality.” IEEE Computer Society. Virtual Reality, 2005.

[4] JESUS, A.; BRITO, G. S. Concepção de Ensino-Aprendizagem de Algoritmos e Programação de Computadores: A Prática Docente. I ENINED - Encontro Nacional de Informática e Educação.

[5] KIRNER C.; SISCOUTTO R. A., “Fundamentos de Realidade Virtual e Aumentada”. Realidade Virtual e

Aumentada: Conceitos, Projeto e Aplicações, pp. 9-21, maio 2007.

[6] KIRNER, C.; “Evolução da Realidade Virtual no Brasil”. In: SVR08 - Smposium on Virtual Realty 2008, 2008, João Pessoa-PB. IX Smposium on Virtual Realty, 2008.- SVR 2008

[7] KIRNER, C.; at al. “Ambientes Colaborativos com Realidade Aumentada”. In: II Workshop de Realidade Aumentada – WRA’2005, 2, 2005, Piracicaba-SP. Procedings. Piracicaba-SP, 2005.p.13-16.

[8] MAGALHÃES, L.,P., “SAPIENS - Sistema de Apoio à Aprendizagem”. Disponível em <http://www.dca.fee.unicamp. br/projects/sapiens/ Reports/rf2000/rf2000.html>. Acesso em: 20 ago. 2010.

[9] MATOS, A. T. “A Biblioteca em Realidade Virtual como Um ambiente Colaborativo”. UNESP, 2003.

[10] MOURA, J.S, Cardoso A, Júnior, E.L. “A Realidade Virtual como uma ferramenta para o ensino da Geometria Molecular”. WRVA 2009.

[11] OLIVEIRA, J.C.; SHEN, X.; GEORGANAS, N. D. “Collaborative Virtual Environment for Industrial Training and e-Commerce”, 2002.

[12] PEDUZZI, L. O. Q.; ZYLBERSZTAJN. As concepções

espontâneas, a resolução de problemas e a história da

ciência numa sequência de conteúdos em mecânica: o

referencial teórico e a receptividade de estudantes

universitários à abordagem histórica da relação força e

movimento. “Revista Brasileira de Ensino de Física”. Vol 14. No. 4. 239-246. 2002.

[13] RAABE, A. L. A; SILVA, J. M. C.. “Um Ambiente para Atendimento as Dificuldades de Aprendizagem de


194

Algoritmos”. XIII Workshop sobre Educação em Computação, São Leopoldo-RS, 2005.

[14] RAPKIEWICZ, C. et al. “ Estratégias pedagógicas no ensino de Algoritmos e programação associadas ao uso de jogos educacionais”. RENOTE - Revista Novas Tecnologias na Educação, vol 7, n. 3, Porto Alegre, 2006.

[15] RIBEIRO, M. W. S. “Arquitetura para Distribuição de Ambientes Virtuais Multidisciplinares”. Tese Doutorado. Uberlândia, Faculdade de Engenharia Elétrica - UFU, 2006, 176p.

[16] RODRIGUES, S. G. ; OLIVEIRA, J. C. . ADVICe - um Ambiente para o Desenvolvimento de ambientes VIrtuais

Colaborativos. In: XI Simpósio Brasileiro de Sistemas Mutimídia e Web, 2005, Poços de Caldas, MG. Anais do WebMedia 2005, 2005. v. 1. p. 25-33.

[17] SANTOS FILHO, J. V. ; PEDROZA, A. C. P. ; COURTIAT, J.-P. . “Gerência de Direitos de Acesso de Usuários em Ambientes Virtuais Colaborativos”. In: SVR06 - Simposium on Virtual Realty 2006, 2006, Belém/PA. VII Simposium on Virtual Realty, 2006.

[18] UFRGS. ARCA. Disponível em: http://penta.ufrgs.br/pgie/arca/arca.htm. Acesso em: 25 ago. 2010.


195

On Interoperability between Online Virtual Worlds and Augmented Reality

Rui Nuno de Almeida 1 Miguel Sales Dias 1,2

1 ISCTE Instituto Universitário de Lisboa, Portugal 2MLDC, Microsoft Language Development Center – Porto Salvo, Portugal


Abstract

This paper presents a contribution for the interoperability between on-line virtual reality (VR) and augmented reality (AR), via 3D object exchange. We describe architectures and techniques use in three experiments, to allow the visualization, interaction and two-way exchange of objects between an on-line VR world and an AR environment. Our aim was to present a proof of concept for the interoperability of future social media applications. Keywords: Second Life, Augmented Reality Interoperability.

1. Introduction

Since Cauddell and Mitzel [2] developed the concept of Augmented Reality (AR), while simplifying a wire bundle industrial manufacturing process in a Boeing airplane assembly line back in 1992, many developments were made and we can see nowadays several sophisticated applications and experiments in areas such as entertainment, art, media, advertising, navigation devices, architecture, industrial design and others. Recently the concept of “Augmented Reality Browser” has come to live, with examples as Layar [8] or Wikitude [19], for mobility devices, or FLARToolkit, an Adobe-‐Flash AR extension developed by Saqoosha [21], based in a Java ported prior version of ARToolKit [6]. We believe that it’s only the beginning. Web blogging, social networks and social media in general, have shown us that content sharing and easy information portability in the Internet, are probably the success-‐key that will eventually lead to the growth and spread of AR as a massive use phenomenon. Therefore, the Interoperability between different systems has increasingly become

an important issue for AR. It may seem utopian to want to bring our favorite pet from World Of Warcarft [18] into Second Life [15], or even bring virtual 3D objects and characters from our favorite online 3D game to the living room to meet Sony EyePet [16]. And why not to bring a character we’ve just created using a tool of a Kinect enabled XBOX [11] environment, into an online virtual world or even to Facebook[4]? For sure, if we want to configure this kind of Interoperability, we will need easy, simple and natural-‐to-‐use novel tools. In this paper, we aim at addressing, with a series of preliminary experiments, the interoperability between a popular on-‐line virtual world that follows the social media metaphor (Second Life -‐ SL), and a conventional augmented reality environment. Our aim is not to build a complex and complete tool to provide interoperability between SL and AR, but to carry a more pragmatic approach, by specifying, developing and testing a series of experiments of interaction and interoperability between both environments. In the next sections we design and test three experiments that will demonstrate the ability to author and transfer 3D objects from SL to AR and back, keeping their characteristics, such as shape, static or dynamic behaviour and pose in relation to a reference coordinate system. The first two experiments, demonstrate the exchange of objects in the direction of AR to SL. In the first experiment, by means of tangible interaction with AR visual markers, we allow the user to create 3D objects in AR and transfer those to a SL world. These virtual objects are “clones” of the augmented reality objects and their pose in SL (in a local reference frame), follows the AR pose. In the second experiment, we extend the previous process to allow the creation and exchange, from AR to SL, of static or dynamic objects. At this stage of our research, the resulting objects are not similar, but


196

related to the AR objects. Finally, in our third and final experiment, a Second Life 3D primitive is created and modified and then it is exchanged with AR, keeping the same characteristics as the original primitive. Our computing environment can be characterized as follows. To build up the AR environment we have used the C++ API X3M – Extreme Tracking, developed by Rafael Bastos and Miguel Dias [3] at ADETTI-‐IUL [1]. X3M is a visual marker tracking system for desktop AR, that brings benefits of precision, performance and robustness to varying lighting conditions, when compared with the standard ARToolkit. In order to provide the basic communication link between SL and AR, we have used System.Net Namespace HttpWebResponse class from from .NET Framework Class Library [10] combined with a Second Life world XML-‐RPC [20] client/server and a PHP [13] enabled HTTP [5] web server. Later on, we will discuss about this choice and debate the different options that could have been used to establish interoperability between the two systems. The programming development environment was quite rich: we have used C++ for the AR part, LSL (Linden Scripting Language), the Second Life native scripting programming language, and PHP for HTTP server programming. For 3D programming and modelling building, we have used the OpenGL C++ API for the AR system and the built-‐in Second Life 3D in-‐world online modelling tools.

3. Related Work

To our knowledge, few academic contributions have appeared addressing the interoperability between virtual worlds and augmented reality, in particular works related to Second Life and AR. In the following paragraphs, we describe two of these contributions that have in some aspects influenced our work.

3.1. Project SLARiPS [17] SLARiPS (Second Life Augmented Reality in

Physical Space), explores the evolution and impact of networked digital environments, particularly in massively multiplayer online worlds like Second Life.

Figure 1, View of SLARiPS.

SLARiPS project experiment (see Figure 1), introduces the concept of transferring and manipulating 3D objects between SL and a desktop AR application. To transition between these two environments, a proxy is used, based on a virtual visual marker in SL, providing a bridge between both worlds (see Figure 2). This project adopts a scripting Augmented Reality (AR) authoring tool ComposAR [14].

Figure 2– Network representation of SLARiPS project. Their current work focuses on the anatomical aspect of the avatar and it's duality between AR and VR worlds.

3.2 AR Second Life (AR Playspace and AR Pit) [7]

Massively Multiplayer Online Worlds (MMO) are persistent virtual environments where people play, experiment and socially interact. In this work, the authors demonstrate that MMOs also provide a powerful platform for AR applications. They introduce the notion of AR Stages, persistent, evolving spaces which encapsulate AR experiences in online 3D virtual worlds. Based on the 3D virtual world Second Life, their custom client software (they changed the open source SL client to support AR), blends together locations in the physical space with corresponding places in the Second Life virtual space and leverages the power of the MMO to create a powerful AR authoring environment, targeted at a wide audience and fields of application (see Figure 3).

Figure 3– “AR Second Life”: an Avatar in AR.

They have examined the technology and

workflows necessary to integrate AR in MMOs and


197

have created novel AR experiences. The AR Playspace experience (see Figure 4) is a public mixed-‐reality performance space. The experience is intended to be a place to have fun and to play. It is a "window'' which connects the physical world with the virtual. Visitors in both domains can enter the mixed reality space and see the "other side.'' People in the physical space are captured with a video camera and can see themselves on a large video screen that shows the augmented output. As soon as a virtual avatar enters the corresponding space in Second Life, they appear also in AR. In order to give the avatar a view of the physical world, the augmented output is streamed as a video back into Second Life. Both spaces are blended together and actions in either domains are perceivable in the other space. Voice-‐Over-‐IP support even allows real-‐time audio transmission between both spaces.

Figure 4– AR Playspace mixed-reality space.

Intentionally, the AR Playspace experience has

been deployed in a public space. It invites casual visitors of both domains to stop by and just have fun or talk. To make the experience more engaging, physical visitors can take fiducial markers and present these to the camera. The AR Second Life software recognizes these patterns and computes their pose in real-‐time. Visitors in the virtual space can assign arbitrary objects to be displayed on top of these markers. This opens the possibility for a variety of games and fun moments.

The AR Pit [7] experiment demonstrates the capabilities of AR Second Life. The experiment is an attempt to measure the effect of “presence” in Augmented Reality applications. The experimental setup to measure presence was pioneered by Meehan et al [9] in the context of Virtual Reality. The researchers around Meehan built a deep virtual pit that participants of the experiment had to face. Sensors attached to the participants measured any physiological response users had when looking down into the pit. In theory, a convincing simulation would trigger fears of height and anxiety in the participants, which then can be measured and translated into an objective metric for presence. The original experiment succeeded in measuring these physiological responses.

The authors applied the same principles to Augmented Reality to understand what factors lead

to a convincing experience. The quality of the graphics might be of importance, but other factors like responsiveness of the tracking system might be even more influential. By measuring presence while adjusting these parameters, they evaluated which factors contribute to a convincing AR experience (see Figure 5). The feature set of AR Second Life allowed them to quickly evaluate different content designs and their influence on the user experience.

Figure 5– AR Pit experiment.

4. System Architecture

Our AR software is based on the C++ API X3M. This API implements classes for visual marker tracking. The markers need to be squared and include a high contrast black border and any non-‐symmetric colour texture in its interior (see Figure 7). In this particular study, we have used several markers at the same time. To make the communication between SL and AR, we had several possible means. All of these ways require the use of XML-‐RPC, has it is the only protocol implemented to interact with SL scripted objects. The most efficient way would have been to develop a C++ XML-‐RPC client/server directly in the AR software that would communicate directly with SL, with the advantage of receiving client requests. That architecture would have brought the great advantage of letting SL interact with the AR software on its own initiative. However, the integration of a XML-‐RPC client/server that would satisfy our requirements, would have taken us several weeks of development. In this context, given the time factor and also because for our study, it would not be essential for the SL to send requests directly to the AR, we have chosen a different architecture and a more pragmatic approach (see Figure 6). We have decided to use an in-‐between HTTP server, developed with PHP scripting. This server receives requests from the AR software and sends them to the SL terminal, returning their answers back to AR. This solution has the advantage of allowing the registration of terminals through the use of a MySQL [12] database and the implementation of a security layer between the AR and SL. It also allows the temporary registration of the primitive characteristics and activities on both sides, in the case of losing the connection with one party.


198

Figure 6 – Software architecture of our system.

5. Experiments

To setup the mentioned three experiments, we have used a Laptop PC to run the AR software, and a MacBook Pro to run the Second Life client software. A 1024m2 virtual terrain owned by one of the authors was used in Second Life to program, design and host a private terminal as a base of the experiments.

We set up two software workflows, one made of Second Life world primitives and scripts, and the other one in the AR C++ application (see Figure 9 and Figure 13).

5.1. Replication of Primitives from AR to SL

In the first experiment (see Figure 8), we have created in SL a replica of the AR 3D primitives, keeping their characteristics. They have the same shape, dimension and relative pose of the original AR 3D objects. For the first approach, we have used a simple cube primitive in both environments. It is obviously easy to replicate the geometry and topology of a cube. So, the main problem was to get the position and rotation (pose) of the AR object relatively to the visual marker in AR, and replicate those characteristics in SL. Other primitive features, such as its colour or its texture, could have been replicated too, but the main concern at this stage, was the pose of the object.

Figure 7 – Visual markers used in the AR.

We have created a scripted main object in SL,

that we have called a terminal. The main task of this terminal object was to receive the XML-‐RPC calls from AR and create or destroy the primitives in SL, according with those calls. To setup the experiment in the AR environment, we have used two types of visual markers: object markers and instruction

markers. The first represents the replication primitives and the second, is just used as a tangible interface to send instructions to SL.

Figure 8 – Snapshots from the first experiment.

A “go” marker instructs the system indicating

that the object is ready to be replicated (from AR to SL), and a “del” marker sends an instruction to SL in order to delete the previously exchanged object. The end-‐to-‐end system tests we have made, revealed a big delay of almost two seconds until the AR system receives back the response from SL, confirming that the objects were successfully created. Two main reasons are the cause of this delay. First, we have the normal Internet HTTP communication delay. Second, there is an intentional delay inserted by SL developers into LSL scripting functions, to prevent trashing situations in the SL servers, caused by possible attempts of clients to draw large procedural models. For example, llRezObject causes the script to sleep for 0.1 seconds before it can proceed to next instruction. As a final result we have a pause in AR system, because it is waiting for an object creation completion response from SL. Possible future solutions could be a C++ XML-‐RPC integration in the AR software, or even bypass the response from SL, in cases where it is not needed.

Figure 9 – Representation of our AR system workflow.

Terminal

LSL PHP C++

MySQL

XML-‐RPC WebRequest

SL AR HTTP


199

5.2. Replication of Markers from AR to SL and Creation of SL Objects

The setup for the second experiment was similar to the first one. However, in this case, the system creates in SL replicas of the AR markers (see Figure 10). The pose of replicated markers is the same in relation with the real AR markers. Then, we use a specific AR marker to instruct the virtual marker in SL to create a registered object.

Figure 10 – AR markers (left) representation and

their SL replica (right). In AR, each real marker is associated to one object and the SL object is not necessarily a replica of the AR object (see Figure 11 and Figure 12). The virtual marker is scripted in LSL to be able to create objects.

Figure 11 – Left: SL objects created in the virtual

markers place. Right: AR marker. The SL object can even have an embedded

animation. The SL terminal creates the virtual markers and it also sends the instructions for the virtual markers to create their associated objects. After creating its object, each virtual marker destroys itself. The terminal can also receive instructions from AR to delete the objects if they are still in the proximity.

Figure 12 – Created SL objects, based on AR marker-

based interaction. In this experiment, the virtual markers in SL can

also be used as real AR markers. If we turn the AR camera into the SL viewer, it will also recognize these markers as if they were real and will register correctly the AR objects. This is especially useful in case we have SL terminals in different distant locations/regions inside SL and want to transport or create objects within this popular on-‐line virtual environment, using the AR application. This experience has demonstrated that we can use AR

applications, to create or transport any kind of object in SL.

5.3. Replication of Primitives from SL to AR The aim of this experiment was to demonstrate

the exchange of virtual objects, from SL into the AR environment (see Figure 14). In this case we want to modify or rotate an SL primitive and create a replica of that primitive in AR, with the same characteristics. SL objects must have a script that scans all changes and communicates those changes to the terminal. It must be done near the terminal, because objects in SL have a limit distance within which they can send messages to each other. AR is programmed to make an OpenGL replica of the SL primitive. In this case we only worked with simple cubic primitives and supporting changes in translation, rotation and colour. Textures, deformations and other features could also have been also. However, we believe that the ones we have used are enough for the purpose of proof-‐of-‐concept. Once again, we would like to remind that we don’t have an XML-‐RPC server integrated in the AR application. So the initiative of getting the updated object must come from AR software. This is an obvious limitation, but again it can be solved with the same behaviours we referred to in the first experiment.

Figure 13 – Representation of the SL system

workflow.

Figure 14 –AR objects created as a replica of SL

construction.


200

7. Conclusions and Future Work

The aim of this study was to explore the new possibilities brought by the interoperability between a Second Life world and an augmented reality environment. We have demonstrated, with tree experiments, the possibility of two-‐way exchange of simple 3D primitives and its features, such as pose and colour, between AR and SL. This is a different approach from the incorporation of video-‐based tracking in the standard Second Life client viewer, as in [7]. To get better results, as we referred earlier in this paper, we should consider implementing a fast and more robust communication workflow between SL and AR. One possibility would be to eliminate the HTTP/PHP interface and to make a bidirectional direct communication system over XML-‐RPC, or any other protocol supported by both platforms. The extension of simple 3D primitives and features to a wide range of complex shapes and deformations, could bring some new possibilities, such as content sharing or full asset transfer between SL and AR. In fact, the contents inside the Second Life world are made from manipulations of no more than eight 3D primitives, each one with a limited number of features. Therefore, with a proper shape interpretation layer, complex content inside the Second Life world could be exchanged with an augmented reality application. Extending this concept to all kinds of social media and applications, maybe we can imagine a global “metaverse”, were 3D content flow from place to place in the Internet, and even are exchange with the real world. Enriching this concept with some new “trends and ingredients”, such as novel natural user interfaces of modern game consoles, like the XBOX Kinect, in the context of a new geographic information-‐based web, were interaction via a 3D interface, or even through augmented reality browsers, would became holistic, we will be able to create new and innovative applications, based upon this paradigm.

8. References

[1] ADETTI, ISCTE-‐ Instituto Universitário de Lisboa, Portugal, CGM Lab <http://www.adetti.iscte.pt>, Jul. 20, 2010.

[2] Caudell, T.P. and Mizell, D.W., “Augmented Reality: An Application of Head-‐Up Display Technology to Manual Manufacturing Processes,” Proceedings, IEEE Hawaii International Conference on Systems Sciences, January 1992, pp. 659-‐669.

[3] Dias, J. M. S., Bastos, R., "An Optimized Marker Tracking System", Research Sketch EGVE´06, 12th Eurographics Symposium on Virtual Environments, Lisbon, 8 – 10, May 2006.

[4] Facebook, Sept 2010. [5] HTTP -‐Hypertext Transfer Protocol,

http://www.w3.org/Protocols/, Sept 2010. [6] Kato, H., Billinghurst, M., Poupyrev, I., Imamoto,

K., Tachibana, K., “Virtual Object Manipulation on a Table-‐Top AR Environment”, In Proc. of the International Symposium on Augmented Reality, (ISAR 2000), Munich, Germany, pp.111-‐119, 2000.

[7] Lang, T. , "Massively Multiplayer Online Worlds as a Platform for Augmented Reality Experiences", In Virtual Reality Conference, 2008. VR '08. IEEE (2008), pp. 67-‐70..

[8] Augmented Reality Browser, http://www.layar.com/, Sept 2010.

[9] Meehan, M. et all. “Physiological measures of presence in virtual environments”, Proceedings of the 4th Annual International Presence Workshop, Philadelphia, PA, 1-28.

[10] MSDN-Microsoft Developer Network, http://msdn.microsoft.com/, Sept 2010.

[11] Microsoft Corporation XBOX | Kinect http://www.xbox.com/kinect, Sept 2010.

[12] MySQL DBMS , http://www.mysql.com/, Sept 2010.

[13] PHP-‐ Hypertext Preprocessor, http://www.php.net/, Sept 2010.

[14] Seichter ,H., “ComposAR: An Intuitive Tool for Authoring AR Applications” , In proceedings of IEEE International Symposium on Mixed and Augmented Reality 2008.

[15] Virtual world Second Life http://www.secondlife.com, Sept 2010.

[16] Sony Eye Pet for Playstation, http://www.eyepet.com, Sept 2010.

[17] Stadon, J, “SLARiPS: an investigation of Mediated Mixed Reality Existence”, In proceedings of the 8th IEEE International Symposium on Mixed and Augmented Reality, ISMAR 2009, Orlando Florida, 19th-‐22nd Oct. 2009, IEEE Press, pp. 65-‐71, 2009.

[18] World of Warcraft -‐ Blizzard Entertainment, http://www.blizzard.com, Sept 2010.

[19] Wikitude worlds browser, http://www.wikitude.org, Sept 2010.

[20] XML-‐RPC protocol, http://www.xmlrpc.com, Sept 2010.

[21]http://www.libspark.org/wiki/saqoosha/FLARToolKit/en, Sept 2010.


201

SESSÃO TÉCNICA 10

REALIDADE VIRTUAL NA EDUCAÇÃO


202

USO DE REALIDADE VIRTUAL E AUMENTADA COMO FERRAMENTA COMPLEMENTAR AO ENSINO DAS PRINCIPAIS

LIGAÇÕES ENTRE ÁTOMOS Dionata Martins de Araújo, Nayara da Silva Vieira

Instituto Luterano de Ensino Superior de Itumbiara - Sistemas de Informação [email protected], [email protected]

Resumo – Este trabalho apresenta uma alternativa de ensino feita em Realidade Virtual e Realidade Aumentada desenvolvida através das bibliotecas Papervision3D e FLARToolKit, que simula as principais ligações entre átomos. Auxiliando e estimulando a construção de conhecimentos necessários através da interação, envolvimento e interesse do estudante, obtendo assim resultados positivos. Palavras-Chave – Conhecimento, Ligações Químicas, Realidade Aumentada, Realidade Virtual. Abstract - This work presents an alternative done in Virtual Reality and Augmented Reality developed through the libraries Papervision3D and FLARToolKit that simulate the main connections among atoms. Helping and stimulating the construction of necessary knowledge through the interaction, involvement and the student's interest, obtaining like this positive results. Keywords - Augmented Reality, Chemical Bonds, Knowledge, Virtual Reality. 1. INTRODUÇÃO

Desde o início dos tempos, as pessoas expressam idéias, pensamentos e fantasias através de imagens usando pintura, fotografia, filme e hoje utilizam à computação gráfica para isso [2].

A computação gráfica consiste em um conjunto de métodos e técnicas para transformar dados em imagem por meio de um dispositivo gráfico [4]. Hoje a Computação Gráfica encontra aplicações em praticamente todas as áreas do conhecimento humano. Sendo assim a Computação Gráfica permite visualizar objetos que estão fora do alcance da percepção visual [2].

A Realidade Virtual é uma das tecnologias mais promissoras para apoiar a simulação e visualização tridimensional de informações. Com a Realidade Virtual é possível a construção de mundos virtuais com características e comportamentos bastante similares aos do mundo real, sendo possível interagir com os elementos criados, utilizando dispositivos tecnológicos de interface como mouse e teclado. A desvantagem desta tecnologia é a necessidade de dispositivos de interface para operar as simulações, que geram necessidade de treinamento prévio para alguns usuários com necessidades especiais nesses dispositivos [6].

Para que isso não ocorra pode-se usar Realidade Aumentada, que permite a manipulação de objetos virtuais com as mãos ou algum dispositivo simples, sem a necessidade de treinamento ou adaptação dos usuários [6].

A Realidade Aumentada é a mistura de mundos reais e virtuais em algum ponto da realidade/virtualidade contínua, que conecta ambientes completamente reais a ambientes completamente virtuais, portanto, a Realidade Aumentada é a melhoria do mundo real com textos, imagens e objetos virtuais, gerados por computador [8], [5].

Fig. 1. Diagrama de realidade/virtualidade contínua [8].

No desenvolvimento deste trabalho foi aplicado o sistema

de visão por vídeo baseado em monitor, por tratar-se de um experimento que pretende ser disseminado a todas as camadas da população.

As visualizações das ligações químicas podem ocorrer de diversas formas, como interface contextualizada e gráficos tradicionais. O presente artigo apresenta uma alternativa chamada Chemical Connection para visualizar as principais ligações entre átomos, utilizando Realidade Virtual e Realidade Aumentada.

Assim, o projeto teve como objetivo geral, construir um ambiente que auxilie e estimule a construção de conhecimentos necessários para entender o processo das ligações químicas.

São objetivos específicos deste trabalho, modelar os objetos no formato COLLADA (COLLAborative Design Activity), utilizar a biblioteca Papervision3D que é responsável pelo desenvolvimento do ambiente virtual (AV), que facilita o desenvolvimento da aplicação, combinado com as funções de detecção e rastreamento de marcadores do FLARToolKit, e por fim o desenvolvimento de uma interface em Flex de fácil manipulação pelos usuários, podendo vir a minimizar os problemas de entendimento na área das ligações entre átomos.


203

De acordo com pesquisas bibliográficas, outras iniciativas já demonstram que este caminho é propício ao sucesso, o que aumenta a relevância desta pesquisa, porém nenhum destes trabalhos direciona a pesquisa para ligações entre átomos.

2. LIGAÇÕES QUÍMICAS

Se analisar um átomo sozinho em sua estrutura, observam-se os seguintes aspectos: ausência de cor e visibilidade, ou seja, não é perceptível. Mas aglomerando uma grande quantidade de átomos surgirão moléculas, e estas irão se unir a mais moléculas para formar outras ainda maiores e diferentes umas das outras. A partir daí se tem uma enorme variedade de compostos, e é assim que tudo forma-se ao nosso redor [1].

Hoje no vaivém de ensino e aprendizagem através dos tempos, chega-se ao ensino de química, praticado nos mais diferentes níveis e nas mais diferentes comunidades. Atualmente atingiu-se uma situação em que a antipatia supera em muito, a simpatia pelo entendimento da química. Identificar as causas e os culpados por esta situação já ocupou as mentes dos mais diferentes tipos de profissionais. Aparentemente, o tempo investido no diagnóstico foi muito maior que aquele gasto na procura de soluções.

Assim, o uso da informática como um recurso pedagógico que proporcione um aumento na eficiência e na qualidade do ensino de Química é ver que a mesma está vinculada à realidade da educação de seus professores e alunos, estar voltada ao alcance da superação de problemas no ensino e procurar identificar formas de usá-la para constituir respostas para os problemas da educação [3].

A informática no ensino de Química, nas últimas décadas, teve um grande avanço de diversidade de uso, sendo utilizada em modelagens, animações, simulação, entre outros [7].

O ensino de Química em escolas e universidades não tem sido fácil para muitos professores. Uma das razões para essa situação é que a Química lida com vários conceitos, alguns dos quais, caracterizados por exigir uma alta dose de entendimento que muitas vezes, está fora de alcance dos sentidos humanos, tais como ligações entre átomos, que fazem freqüentemente com que os alunos se sintam entediados e impossibilitados de realizarem aulas experimentais [7].

Portanto, a compreensão das ligações químicas é um dos pilares da Química, exigindo alto nível de abstração, gerando dificuldade de entendimento por parte dos alunos e professores. Este problema pode ocorrer devido a diversos fatores como: forma ineficaz na atividade docente, ausência de recursos necessários para o estudo ou a falta de métodos que possam despertar o interesse e curiosidade do educando [7].

A Realidade Virtual e a Realidade Aumentada podem contribuir e melhorar representações estáticas dos modelos atômicos dos livros didáticos, que necessitam de alto nível de abstração dos alunos, para a compreensão dos fenômenos, conceitos, teorias até mesmo das próprias representações. As simulações mostram os fenômenos como se de fato existissem naquele exato momento,

proporcionando a visualização e interação do estudante com o conhecimento de modelos químicos de maneira completa, facilitando a compreensão dos conceitos químicos, ou para correção de concepções inadequadas de modelos científicos [10].

Nesse contexto, a área de Ligações Químicas se apresenta como um campo de estudo de grande utilidade, uma vez que agrega técnicas que facilitam o entendimento a partir de representações visuais tridimensionais. 3. TRABALHOS RELACIONADOS

Nesta seção serão descritos os principais trabalhos relacionados à pesquisa em questão, os trabalhos foram classificados por ordem de relevância e também como possíveis contribuições para trabalhos futuros. 3.1. Aplicação da Realidade Virtual na Educação Química – O Caso do Ensino de Estrutura Atômica.

O objetivo do projeto visa desenvolver simulações de alguns conceitos de estrutura atômica baseado em ambiente de Realidade Virtual e Realidade Aumentada, assim, o usuário perceberá em três dimensões as simulações de estruturas atômicas. Dessa forma, utilizando ferramentas e dispositivos de Realidade Virtual como ferramenta didática, o projeto contribui para a melhoria da qualidade de ensino Química, visto que atualmente existem recursos didáticos limitados em utilização nas aulas de Química no ensino médio [10].

Fig. 2. Imagem do Ambiente.

3.2. Realidade Virtual no Ensino de Química: o caso do modelo de partículas.

O projeto considera a existência de poucos softwares para o Ensino de Química onde o aplicativo de Realidade Virtual - modelo de partículas desenvolve simulação do conceito de Estrutura Atômica utilizando recursos computacionais de modelagem em ambiente 3D, podendo estes ser visualizados no Browser (WEB3D) e pela biblioteca de interações gráficas Artoolkit. O modelo desenvolvido é baseado em desenho de livro didático, buscando substituir a forma estática da representação dos modelos atômicos dos livros, proporcionando ao aluno maior interação com os modelos de Científicos [9].


204

Fig. 3. Visualização da Seringa em RV e RA

3.3. Interface para distribuição e integração de Realidade Aumentada com Realidade Virtual por meio da plataforma CORBA, tendo como estudo de caso, ambientes multidisciplinares de biologia e química.

A aplicação apresenta o processo da fotossíntese e transportes de solutos como estudo de caso e a comunicação entre ambientes de Biologia em Realidade Virtual (cenário com plantas, sol, água e terra) e ambientes de Química em Realidade Aumentada (membrana de uma folha, tronco cortado e galho anatômico de uma árvore) proporcionada pela plataforma de distribuição CORBA, dando ênfase para a prática educacional, onde o aluno pode ter um melhor entendimento dos processos [11].

Fig. 4. Visualização do ambiente em RA e RV

Avaliando todos os trabalhos pode-se concluir que a

Realidade Aumentada mostra cada vez mais sua importância, atuando em áreas do saber, proporcionando no ensino de química uma maior absorção do conteúdo, pois a Realidade Aumentada serve de subsídios no momento que faz com que o usuário se envolva com toda interação que a Realidade Aumentada oferece. 4. MÉTODOS APLICADOS

O material foi aplicado a alunos das séries finais do ensino fundamental, onde a população total foi de 56 alunos. A validação do método utilizado quanto à natureza foi de pesquisa exploratória e utilizou-se a amostragem probabilística, portanto os alunos foram entrevistados aleatoriamente, onde nestes foram aplicados questionários de avaliação do método desenvolvido a partir do método de escala Likert cumulativo. As questões analisaram fatores como: Motivação com o método, facilidade de uso, interesse despertado pela matéria, visualização da informação, melhora no entendimento no conceito e aceitação do método. Também foi aplicado aos professores um questionário de avaliação. Dos professores que participaram da capacitação material, todos responderam a questões

relativas à: Facilidade de utilização do Software, aplicabilidade, relevância, satisfação e rendimento das aulas. O método foi utilizado durante o período de 2 de agosto de 2010 até 27 de agosto de 2010. 5. CHEMICAL CONNECTION

As formas mais usadas para o ensino das ligações

químicas são através de visualizações de modelos estáticos, modelos estes sem nenhuma forma de interação com o aluno ou professor. A figura 5 mostra um exemplo destes modelos.

Fig. 5. Exemplo de ligação iônica.

As informações provenientes destes modelos ajudam na

identificação de átomos, quantidade de elétrons em sua camada de valência, cátions, anions, e por fim a ligação resultante.

Porém os resultados muitas das vezes são de difícil abstração e entendimento por parte de alunos, que não conseguem entender como um átomo se liga a outro apenas compartilhando elétrons ou doando elétrons, como é o caso das ligações iônicas onde sua ligação é feita através da doação de elétrons de um átomo a outro, ligando-se através da diferença de cargas elétricas (cargas positivas e negativas).

O sistema Chemical Connection utiliza como base para sua criação, dados providos de estudos em modelos estáticos, que serão inseridos em interfaces intuitivas, a Realidade Virtual e a Realidade Aumentada. Para tornar isso possível, o desenvolvimento da aplicação foi feito em dois módulos onde o usuário poderá escolher entre a aplicação em Realidade Virtual e Realidade Aumentada.


205

Fig. 6. Figura mostrando a tela de escolha entre as aplicações entre

RA e RV Com os dados necessários ao funcionamento do sistema,

a próxima fase foi desenvolver um programa para gerar um ambiente virtual baseado nesses dados. Para suportar de forma fácil esse desenvolvimento, foi escolhida a linguagem ActionScript (linguagem de programação dos ambientes de tempo de execução Adobe® Flash® Player e Adobe® AIR™), para gerar ambientes virtuais.

Para que a aplicação suportasse as interfaces de Realidade Aumentada e Realidade Virtual, foi necessário escolher uma plataforma que permitisse fácil customização às necessidades da aplicação.

Dentre todas as possibilidades, foi escolhido o Papervision3D e o FLARToolKit, que é um conjunto de ferramentas e bibliotecas para Realidade Aumentada em código aberto, permitindo alterações nos exemplos e desenvolvimento de novas funções. Além de oferecer suporte a arquivos gerados em MD2, Sketchup e o formato COLLADA (.dae) que é um padrão de exportação e importação de arquivos criado pela Sony e usado como padrão para o console Playstation 3.

Para essa aplicação foi escolhido o formato COLLADA que possibilita fácil integração com o ActionScript e por ser mais estável com as bibliotecas utilizadas.

A interface tradicional desenvolvida em Flex destina-se somente a acomodar o programa, sendo que a única interação não natural é a inserção das quantidades de cada átomo, para que o usuário possa responder as questões apresentadas pelo sistema.

O sistema Chemical Connection apresenta em sua interface um painel lateral que mostra a descrição das ligações, facilitando a visualização das informações expostas.

Fig. 7. Painel de Explicação

A idéia central do sistema é que o professor possa

cadastrar novas questões relacionadas às ligações entre átomos inserindo a questão em si, a explicação da ligação, as quantidades de cada átomo presente na ligação pressuposta e o tipo de ligação.

Fig. 8. Painel de inserção de questões pelo professor

Após o cadastramento da questão pelo professor, o aluno

poderá escolher entre o modulo em Realidade Virtual e Realidade Aumentada, as diferenças básicas entre os dois é que, caso o aluno escolha o modulo em Realidade Virtual após inserir as quantidades de cada átomo no intuito de responder a questão apresentada, caso o aluno acerte, será exibido à animação em 3D da ligação, onde o aluno poderá interagir com essa animação de variadas maneiras através do mouse.


206

Fig. 9. Imagem da interação em RV

Caso o aluno escolha o modulo em Realidade

Aumentada, tendo em conta que o computador do mesmo tenha algum dispositivo de captura de vídeo instalado, procederá da mesma forma anterior, porém, caso o aluno acerte a questão apresentada, o sistema solicitará a permissão para que o mesmo possa realizar a captura de vídeo, e posteriormente realizar a detecção e o rastreamento de uma marca pré-cadastrada, que exibirá a animação em 3D da ligação sobre o marcador.

Fig. 10. Imagem da interação em RA

Um problema comum a muitas aplicações de Realidade

Aumentada é a portabilidade, pois, pela natureza da aplicação, são necessários componentes e bibliotecas auxiliares para o funcionamento correto das aplicações. Essa deficiência dificulta a distribuição das aplicações desenvolvidas, principalmente para usuários leigos em Realidade Aumentada e qualquer tipo de programação. Para evitar esse problema, a aplicação foi adaptada de forma a carregar consigo todos os componentes necessários a sua correta execução, onde quaisquer computadores com uma webcam e o plugin do Flash instalados terão a possibilidade de execução do sistema.

Para aumentar interatividade e a coexistência nas aulas práticas num laboratório, pode-se apontar a webcam para uma região do laboratório, gerando, no ambiente de Realidade Aumentada, envoltórias virtuais nos equipamentos e substancias químicas presentes propiciando entendimento mais rápido da situação.

Uma variação desta solução seria colocar a placa marcadora ao lado das substancias químicas, de forma a mostrar a molécula em 3D e sua substancia correspondente ao lado.

No entanto, se o aluno não acertar a questão proposta, será exibida uma frase indicando que a resposta está incorreta tanto no modulo em Realidade Virtual quanto no modulo em Realidade Aumentada.

Fig. 11. Resposta incorreta na interação em RV

6. AVALIAÇÃO E RESULTADOS

A partir da análise dos questionários aplicados aos alunos e professores, alguns resultados foram obtidos e são alvos de considerações e sugestões por parte de alunos e professores envolvidos na pesquisa. Os gráficos abaixo demonstram que os alunos, aprovaram o método em sua maioria a respeito da motivação através da utilização da Realidade Aumentada e a Realidade Virtual, demonstrando ainda em sua maioria a aprovação do método aplicado nos quesitos analisados, onde estes destacaram que as imagens possuem vários ângulos de visualização ao contrário dos modelos didáticos convencionais onde as imagens são estáticas e de difícil abstração. Os professores destacaram que apesar da técnica ser um método inovador ainda depende muito do papel docente no processo de ensino e aprendizagem, porém destacaram que as formas de exposição dos conteúdos ficaram mais interessantes e atrativos.

Fig. 12. Satisfação dos alunos com relação ao método aplicado. De acordo com os professores a utilização do método foi

extremamente satisfatória, os mesmos destacaram a importância da tecnologia aliada à ciência, e observaram que a ferramenta é uma maneira simples e de baixo custo para


207

melhorar a qualidade da aplicação dos conteúdos vistos em sala de aula, entendendo que na maioria das vezes os métodos existentes exigem capacitações complexas pelos alunos. O gráfico abaixo demonstra o nível de satisfação obtido através da utilização do método em sala de aula.

Fig. 13. Satisfação dos professores com relação ao método.

7. CONCLUSÕES

O processo de ligação química, utilizando Realidade Virtual e Realidade Aumentada contribui de maneira significativa na percepção, interação e motivação dos usuários.

A Realidade Virtual facilita a manipulação dos objetos virtuais para que o usuário possa interagir de maneira mais imersiva com o assunto proposto.

A Realidade Aumentada permite que os objetos virtuais, gerados a partir de um conjunto de modelos, sejam trazidos ao ambiente real, tornando simples e facilitando o processo de visualização e interação dessas ligações. Além de permitir a visualização das ligações com o uso de marcadores, o sistema permite também que as informações resultantes desse processo sejam visualizadas e analisadas pelo aluno e/ou professor, permitindo uma abstração maior.

REFERÊNCIAS BIBLIOGRÁFICAS

[1] ALVES, Líria. Átomos e a construção do Universo – Brasil Escola. Disponível em: <http://www.brasilescola.com/quimica/atomos-construcao-universo.htm>. Acesso em 24 de junho de 2009, às 08h35min.

[2] CARDOSO, Alexandre. Computação Gráfica. Disponível em: <http://www.alexandre.eletrica.ufu.br/cg/notas.htm>. Acessado em 01 de abril de 2009, às 10h07min.

[3] FARIA, Pedro. O ensino de química em evidência. Disponível em: <http://www.unicamp.br/unicamp/unicamp_hoje/ju/agosto2006/ju335pag2a.html>. Acesso em 31 de março de 2009, às 15h26min.

[4] GOMES, J. e VELHO, L. - Conceitos Básicos de Computação Gráfica. VII Escola de Computação, São Paulo, 1990.

[5] INSLEY, S. Obstacles to General Purpose Augmented Reality. Disponível em:

<http://islab.oregonstate.edu/koc/ece399/f03/final/insley2.pdf>. Acesso em 29 de abril de 2009, às 12h27min.

[6] KIRNER, C.; PINHO, M.S. (1997). Uma Introdução à Realidade Virtual. Disponível em: <http://www.ckirner.com/download/tutoriais/rv-sibgrapi97/tutrv.htm>, acesso em 29 de abril de 2009, às 15h01min.

[7] MEDEIROS, A.; MEDEIROS, C.F. Possibilidades e Limitações das Simulações Computacionais no Ensino de Física. Revista Brasileira de Ensino de Física, v. 24, n. 2, p. 77-86, 2002.

[8] MILGRAM, P. et. al. Augmented Reality: A Class of Displays on the Reality-Virtuality Continuum. Telemanipulator and Telepresence Technologies, SPIE, V.2351, 1994.

[9] SILVA, João Érick da; ROGADO, James . Realidade Virtual no Ensino de Química: O Caso do Modelo de Partículas. In: XIV Encontro Nacional de Ensino de Química, 2008, Curitiba. Realidade Virtual no ensino de Química: O Caso do Modelo de Partículas, 2008.

[10] SILVA, João, et. al. Aplicação da Realidade Virtual na Educação Química – O Caso do Ensino de Estrutura Atômica. 16° Congresso de Iniciação Científica. UNIMEP, 2008.

[11] SILVA, Wender A.. Interface para distribuição e integração de Realidade Aumentada com Realidade Virtual por meio da plataforma CORBA, tendo como estudo de caso ambientes multidisciplinares de biologia e química. In: Congresso Regional de Informática e Telecomunicação, 2008, Cuiabá. Mato Grosso Digital 2008. Cuiabá: SUCESU_MT, 2008.


208

Simulador para Treinamento de Operadores de Colheitadeira Axial de Grãos

Tales Nereu Bogoni1, Benevid Felix da Silva1, Giovane Maia do Vale1, Ivan Pedroso Pires1,

Everton Valdomiro Pedroso Brum2, Márcio Sarroglia Pinho3 1UNEMAT – Campus de Colíder – Departamento de Computação

www.unemat.br – [email protected], [email protected], [email protected], [email protected]

2UNEMAT – Campus de Alta Floresta – Departamento de Agronomia http://afl.unemat.br – [email protected]

3PUCRS – Faculdade de Informática – PPGCC www.pucrs.br – [email protected]

Resumo – Este artigo apresenta o projeto de um simulador de colheitadeira axial de grãos, voltado para o treinamento de seus operadores. O principal objetivo está em produzir uma ferramenta que auxilie no processo de ensino dos operadores de forma mais rápida e segura, reduzindo os custos do treinamento e o tempo de permanência do aprendiz em uma colheitadeira real. São apresentadas as etapas previstas para o desenvolvimento do projeto e as ações já realizadas até o presente momento. O simulador será equipado com peças reais de uma colheitadeira, instrumentadas com dispositivos de force feedback e utilizará um ambiente virtual modelado a partir de um Modelo Digital de Terreno, além disto, utilizará um HMD para que o usuário visualize o ambiente. Palavras-chave – Simulador, Realidade Virtual, Dispositivo Háptico. Abstract – This paper presents the axial grain harvester project, for operators' training. The main goal is make a tool for aid in the teaching of harvester operators more faster and security, reducing the costs of training and residence time of apprentice in the real harvester. We present provided steps for the project development and the already taken actions so far. The simulator will equipped with harvester's real parts, instrumented with force feedback devices and will use a virtual environment modeled from a Digital Terrain Model (DTM), in addition, the user will use a HMD for view the environment. Keywords – Simulator, Virtual Reality, Haptic Device. 1. Introdução

Com o atual desenvolvimento tecnológico na

agricultura, principalmente em fazendas com grandes extensões de plantação, cada vez mais equipamentos são utilizado para a colheita de grãos. Estes

equipamentos possuem inúmeros componentes tecnológicos para aumentar sua produtividade, porém só conseguem ser efetivos se bem utilizados. Com a inclusão destas colheitadeiras nas lavouras, cada vez menos trabalhadores braçais são necessários e a qualificação deste trabalhador é a forma de mantê-lo empregado [15]. Mais especificamente, no Estado de Mato Grosso, 40,8% do PIB do estado está ligado ao agronegócio, sendo que 83% das exportações do estado estão relacionadas a produtos derivados da soja [8], o que demonstra que o perfil econômico do estado está altamente vinculado ao cultivo e beneficiamento do grão. Agregado ao cultivo de soja está o cultivo de milho, que normalmente é plantado após a colheita da soja. Ambos necessitam de colheitadeiras mecânicas para agilizar a colheita e aumentar a produtividade.

A modernização dos implementos agrícolas, em especial a inserção de novas tecnologias computacionais nas colheitadeiras, aumenta a necessidade de mão de obra especializada para sua operação. Esta mão de obra só é obtida a partir de programas de treinamento, que geralmente, são oferecidos pelos fabricantes das colheitadeiras e para um número reduzido de pessoas. Além disto, o risco decorrente da má operação das colheitadeiras pode acarretar grandes prejuízos financeiros, pois os equipamentos parados para a realização de manutenção não produzem, e o operador pode sofrer algum tipo de acidente de trabalho.

Por estes motivos o presente projeto destina-se a unir profissionais de diversas áreas do conhecimento para projetar e desenvolver um protótipo de simulador voltado para o treinamento de operadores de colheitadeiras axiais visando a qualificação de mão-de-obra, redução de custos de manutenção e aumento de produtividade.

Neste sentido, a Realidade Virtual (RV) já demonstrou ser uma excelente ferramenta de ensino para treinar as habilidades motoras de uma pessoa [17], sendo que já está comprovado que o uso de


209

experiências em 1ª pessoa, onde o indivíduo conhece o mundo através de sua interação com ele, influencia positivamente no processo de aprendizagem [6]. O uso de simuladores dotados de recursos de RV traz o benefício da repetição de situações até o domínio das técnicas, já que podem ser simuladas inúmeras vezes a mesma situação. Outra vantagem é a possibilidade de colocar o treinando em situações inesperadas, sem colocar em risco os equipamentos e ele mesmo.

Na próxima seção será apresentada uma classificação sobre sistemas de realidade virtual, em seguida, na seção 3, são expostos alguns trabalhos já realizados com simuladores de veículos. A seção 4 descreve o projeto do simulador e as etapas para seu desenvolvimento, em seguida, na seção 5, são descritas as tarefas que já estão sendo desenvolvidas e, na seção 6, os resultados esperados com a conclusão do simulador.

2. Sistemas de Realidade Virtual

Os sistemas de RV podem ser classificados como imersivos e não imersivos. O primeiro ocorre quando o usuário é transportado para o domínio da aplicação, através de dispositivos multisensoriais, que capturam seus movimentos e comportamento e reagem a eles, já o segundo ocorre quando o usuário continua visualizando e sofrendo influência do mundo real [18]. Os equipamentos mais utilizados em sistemas de RV imersiva são os óculos do tipo HMD, CAVES e rastreadores de posição, já na RV não imersiva são utilizados monitores e dispositivos convencionais de interação.

Quanto aos tipos de simuladores, Zhang et al [21] os classifica em 3 grandes grupos: modelo físico, baseados em RV e híbridos. Os simuladores de modelo físico são utilizados em situações bem específicas, pois seus componentes são físicos e estáticos, são os mais realistas, e também os de maior custo de desenvolvimento. Os simuladores baseados em RV são os mais flexíveis, podem representar virtualmente o que se espera do mundo real e a interação com o usuário acontece apenas no mundo virtual. Os simuladores híbridos não são tão flexíveis quanto os baseados em RV, mas com a utilização de componentes físicos podem dar uma melhor sensação de toque e orientação espacial dentro do Ambiente Virtual (AV).

Um dos grandes desafios para os desenvolvedores de simuladores está em reproduzir exatamente o que o usuário vê, ouve e sente durante as operações reais. No que tange a visualização, a utilização de imagens estereoscópicas oferece imagens tridimensionais mais realísticas e com sensação de profundidade e distância.

Em se tratando de sons, a utilização de sons estéreo tridimensionais, aumenta a percepção espacial do usuário dentro do AV. Relacionado a sensação de toque, estão sendo incorporados dispositivos de retorno háptico para facilitar a interação do usuário com o AV e torná-lo mais responsivo.

O termo “háptico” refere-se à capacidade de sentir um ambiente virtual através do tato, e é composto por dois componentes independentes, o cutâneo, responsável pelas sensações de pressão, temperatura ou dor, e o cinestésico, que é responsável pelas sensações de movimento e força [11]. As sensações providas pelos dispositivos hápticos podem ser de 4 tipos: retorno de aperto (grip feedback) que fornece ao usuário sensação de pressão; retorno de apreensão (grasp feedback) que fornece limitação dos movimentos do usuário em algum grau de liberdade; retorno de força (force feedback) que cria forças direcionais exigindo que o usuário empregue força para realizar os movimentos; e retorno tátil ou de toque (tactile/touch feedback), que produz estímulos em forma de sensação de calor, toque ou vibração [7].

Tanto os simuladores baseados em RV quantos os híbridos fazem uso de AVs em seu desenvolvimento a fim de fazer com que o usuário reconheça o ambiente real nele projetado, quer seja do ponto de vista gráfico, ou da forma de como ele irá interagir com os dispositivos de entrada dados. Esta característica dos sistemas é descrita em Engenharia de Software como sendo a Usabilidade do sistema, o que pode refletir no sucesso ou fracasso do projeto.


Sistemas de RV híbridos são largamente utilizados

em treinamentos que exigem aprimoramento de habilidades motoras e intelectuais, entre eles, Bogoni e Pinho [5] apresentam um simulador de caminhão que permite a verificação do comportamento de motoristas de caminhão com relação à utilização de técnicas de direção de econômica. No simulador, dotado de equipamentos reais como, direção, pedais e painel de controle, o motorista conduz um caminhão em um ambiente virtual enquanto o sistema monitora suas ações e avalia a forma como ele está dirigindo com relação à utilização de técnicas de direção econômica.

Em outro estudo, Lopes et al [9] apresentam os resultados do uso de um simulador de máquina de corte de árvores para o treinamento de seus operadores, no qual verificaram que o tempo de treinamento em equipamentos reais poderia ser reduzido para os operadores que utilizassem o simulador. Nesta mesma área de pesquisa, Ovaskainen [12] apresenta um estudo


210

com operadores de máquinas cortadoras de árvores que buscava identificar quais as operações poderiam ser simuladas com o uso de um simulador hibrido utilizando dispositivos físicos similares aos reais.

Outra iniciativa para treinamento de operadores de equipamentos pesados á apresentada por Barbosa [2], que descreve o processo de desenvolvimento de um simulador para treinamento de maquinistas de trens, projeto desenvolvido pela Escola Politécnica da USP em parceria com a empresa Vale. 4. Projeto do Simulador

Para o desenvolvimento de um sistema que atenda

às necessidades deste projeto optou-se por utilizar um simulador híbrido composto por uma cabine de colheitadeira real e um AV. A cabine é composta por seus equipamentos básicos como pedais, painel de controle, direção e alavancas de comando, com o objetivo de familiarizar o operador com a realidade que encontrará nos equipamentos reais. O AV será modelado com base em uma plantação de soja com um relevo típico de áreas mecanizadas, com os problemas comuns que podem ocorrer em uma plantação, como áreas de erosão, locais com ervas daninhas e plantas com doenças que não devem ser colhidas.

A Figura 1 apresenta um croqui do simulador, demonstrando os equipamentos reais que serão utilizados e o correto posicionamento do usuário dentro do simulador.

A fim de proporcionar ao usuário uma visão global do AV, ele utilizará um HMD com exibição de imagens estereoscópicas. Como o usuário estará imerso no AV, assim perdendo a noção de seu posicionamento dentro do ambiente real, os dispositivos reais de interação e um avatar do usuário também serão representados dentro do AV. Objetivando manter a relação de posicionamento espacial do usuário com seu avatar, será realizado o rastreamento da cabeça, das mãos e dos pés do usuário.

A arquitetura básica do simulador (Figura 2), identifica o fluxo de comunicação entre os diversos componentes do simulador. Quando o usuário interage com os dispositivos de interação os dados referentes acionamento de comandos, pressionamento de pedais, controle da direção e posição de rastreamento das mãos e pés do usuário são enviados para o módulo de interface de comunicação, que envia estes dados para a engine responsável pelo controle do render gráfico do AV, que por sua vez, atualiza a saída gráfica, de acordo com a visão do usuário em seu HMD e, envia dados referentes ao controle de colisão e do posicionamento do usuário no AV de volta a interface de comunicação, que encaminha estes dados para o

módulo de controle háptico, no qual são efetuados os cálculos das forças que deverão ser retornadas para os dispositivos físicos equipados com force feedback, realimentando os dispositivos físicos, reiniciando o processo de simulação.

Figura 1 - Configuração física do simulador

Figura 2 - Arquitetura do simulador

Para um melhor acompanhamento do

desenvolvimento do projeto, este foi dividido em 6 etapas básicas, que são apresentadas nas próximas seções.

4.1. Definições do simulador

Nesta etapa são definidas as operações de uma

colheitadeira que podem ser simuladas, a estrutura do terreno onde a simulação irá acontecer e o tipo de cultura que será utilizada na simulação.

4.2. Construção do setup físico do simulador

Esta etapa é composta pela montagem de uma

cabine que imite a cabine de uma colheitadeira e pela


211

instalação de sensores nos equipamentos da cabine que servirão como instrumentos de interação entre o operador e o sistema de simulação.

4.3. Construção do ambiente virtual

Nesta etapa é realizada a modelagem dos objetos

que fazem parte do AV, como árvores, rios, instrumentos da colheitadeira e o terreno, este baseado no Modelo Digital do Terreno (MDT) levantado na fase de definições do simulador. A interface gráfica do AV deve ser realista o suficiente para provocar a sensação de presença do usuário dentro do AV e, também, deve manter uma taxa de amostragem de quadros que permita manter a interatividade do ambiente.

4.4. Integração do AV com o setup físico

Nesta etapa será realizada a integração do AV com

a cabine do simulador. Equipamentos que permitam ao operador do simulador sentir e necessitar exercer força para a realização dos movimentos, dispositivos com retorno de força ou hápticos, serão inseridos na cabine e controlados pelo sistema através das interações que ocorrem no ambiente virtual.

Também será desenvolvido um mecanismo de rastreamento para detectar a posição das mãos e dos dedos do operador dentro da cabine e posicionar as mãos virtuais dentro do AV, para isso será utilizado o método de rastreamento óptico com extração de imagens, baseado em Silva [16], através de algoritmos de visão computacional.

4.5. Monitoramento e análise de dados

Nesta etapa será desenvolvido o mecanismo de

interface de comunicação, na qual os dados recebidos dos dispositivos físicos são armazenados e interpretados por um módulo do sistema que realizará o controle da aplicação.

4.6. Avaliação do simulador

Nesta etapa serão definidas as métricas que serão

utilizadas para medir a eficácia do simulador como instrumento para ser utilizado no treinamento de operadores de colheitadeiras.

Para validar o uso de simulador serão realizados dois testes distintos. O primeiro tem por objetivo avaliar a sensação de presença proporcionada pelo simulador e o grau de realismo obtido na operação, este teste contará com a presença de profissionais que já trabalham com colheitadeiras e instrutores de

treinamentos convencionais. O segundo teste tem como objetivo verificar se ao

utilizar o simulador a assimilação dos conteúdos durante o treinamento prático em uma colheitadeira real se dá de forma mais eficiente, e para isso contará com a participação de instrutores de cursos convencionais e com alunos inscritos em cursos de operação de colheitadeiras.

5. Construção do Simulador

O presente projeto de pesquisa está na fase das

definições do simulador, na qual já foi realizada a escolha da engine de render da simulação e a escolha dos dispositivos hápticos que serão utilizados

5.1. Definição da Engine de Render

Para a escolha da engine a ser utilizada como base

para o desenvolvimento do simulador levou-se em conta características relacionadas à fidelidade audiovisual oferecida pela engine, a possibilidade de utilização de dispositivos não convencionais de entrada e saída de dados, a possibilidade de criação de cenários e integração com outros editores gráficos 3d, como por exemplo o 3D Studio Max [1] e Blender [4], e a facilidade em incluir aspectos relacionados ao comportamento físico dos objetos de cena, como a interação entre a colheitadeira e a plantação.

Considerando o estudo realizado por Pedritis et al [13] , que analisou 4 engines para desenvolvimento de serious games, sendo elas: Quest3D [14], Unreal Development Kit (UDK) [20], Blender [3] e Unity3D [19]. Pode-se observar que a que melhor de adapta às necessidades deste projeto é a UDK. Mesmo sendo classificada como de baixa acessibilidade por possuir um elevado custo de sua versão para uso comercial, porém, como este projeto possui finalidade educacional, esta variável não foi considerada.

5.2. Definição dos Dispositivos Hápticos

O objetivo da utilização dos dispositivos hápticos

dentro deste projeto está em proporcionar ao usuário sensações mais realistas em tarefas como girar a direção, acionar os pedais e regular a altura de corte da colheita. Pretende-se ainda simular os movimentos da cabine a com de que o usuário perceba o relevo do terreno. Para simular estes aspectos serão inseridos dispositivos físicos que irão proporcionar force feedback para cada um dos instrumentos do simulador.

Os pedais serão equipados com molas para fazer com que o usuário execute força para pressioná-los, a direção receberá um motor que executará força


212

contrária ao movimento do usuário, sendo controlado através da interação com o terreno do AV, e, as alavancas de acionamento das plataformas de corte e descarregamento da colheitadeira serão equipadas com dispositivos do tipo Novint Falcon Controller [10] para proporcionar reações de force feedback.

6. Resultados Esperados

Do ponto de vista econômico, espera-se que ao ser

utilizado o simulador de colheitadeira durante o processo de ensino-aprendizagem seja possível incrementar as habilidades dos operadores treinados, fazendo com que os problemas nos equipamentos causados por mau uso sejam minimizados e sua produtividade maximizada, além de desenvolver novas tecnologias para serem utilizadas neste tipo de projeto visando para aumentar sua eficiência e reduzir os custos relacionados a equipamentos e ao tempo de desenvolvimento das aplicações.

Do ponto de vista científico, o desenvolvimento deste projeto pretende apresentar uma metodologia para o treinamento de operadores de colheitadeiras e os resultados obtidos com a aplicação desta metodologia, sendo possível com isto melhorar o processo de treinamento dos operadores.

7. Agradecimentos

Os autores gostariam de agradecer à Fundação de Amparo a Pesquisa do Estado de Mato Grosso (FAPEMAT), por financiarem esta pesquisa (Auxilio a Projeto de Pesquisa, nº. 296948/2010).

8. Referências

[1] Autodesk 3ds Max Products. Disponível em: http://usa.autodesk.com/adsk/servlet/pc/index?id=13567410&siteID=123112. Acessado em: 02/08/2010.

[2] Barbosa, R. S. Simulador de trens nacional aprimora capacitação de maquinistas. Agência USP de Noticias, São Paulo, 10 jan. 2009, p. 1-2, 10 jan. 2009.

[3] Blender. Disponível em: http://www.blender.org. Acessado em: 02/08/2010.

[4] Blender. Disponível em: www.blender.org. Acessado em: 30/08/2010.

[5] Bogoni, T. N.; Pinho, M. S. Sistema para Monitoramento de Técnicas de Direção Econômica em Caminhões com Uso de Ambientes Virtuais Desktop. In: XI Symposium on Virtual and Augmented Reality, 2009, Porto Alegre. Proceedings SVR 2009. Porto Alegre : SBC, 2009. p. 103-113.

[6] Cardodo, A.; Lamunier Júnior, E. A. Aplicações de RV e RA na Educação e Treinamento. In: Rosa Maria Costa; Marcos Wagner S. Ribeiro. (Org.). Aplicações de Realidade

Virtual e Aumentada. 1 ed. Porto Alegre-RS: Sociedade Brasileira de Computação, 2009, v. 1, p. 53-68. 2009.

[7] Farias, T.; Silva, D.; Moura, G. de S.; Teixeira, J.; Costa, L.; Dias, G.; Teichrieb, V.; Kelner, J. Um Estudo de Caso sobre a Construção e a Integração de Dispositivos Hápticos com Aplicações Interativas. In: Brazilian Symposium on Computer Games and Digital Entertainment, 2006, Recife. V Brazilian Symposium on Computer Games and Digital Entertainment, 2006. [8] Freitas, E. Economia de Mato Grosso. 12/05/2008. Disponível em: http://www.mt.gov.br/wps/wcm/connect /e-Matogrosso/Estado/Informa%C3%A7%C3%B5es/ Economia+de+Mato+Grosso. Acesso em 16/04/2010.

[9] Lopes, E. S.; Cruziniani, E.; Araujo, A. J.; Silva, P. C. da. Avaliação do treinamento de operadores de harvester com uso de simulador de realidade virtual. Rev. Árvore [online]. 2008, vol.32, n.2, pp. 291-298.

[10] Novint Falcon Controller. Disponível em: http://home.novint.com. Acessado em 24/08/2010.

[11] Oakley, I.; McGee, M. R.; Brewster, S.; Gray, P. Putting the feel in ’look and feel‘. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (The Hague, The Netherlands, April 01 - 06, 2000). CHI '00. ACM, New York, NY, 415-422. 2000.

[12] Ovaskainen, H. Comparison of Harvester Work in Forest and Simulator Environments. Silva Fennica, V 39 (1) pp. 89-101. 2005.

[13] Petridis, P.; Dunwell. I.; Freitas, S. de; Panzoli, D. An Engine Selection Methodology for High Fidelity Serious Games. Games and Virtual Worlds for Serious Applications, Conference in, pp. 27-34, 2010 Second International Conference on Games and Virtual Worlds for Serious Applications, 2010. [14] Quest3D. Disponível em: www.quest3d.com. Acessado em: 02/08/2010.

[15] Ribeiro, D. D.; Mendonça, M. R.; Hespanhol, A. N. Relações de trabalho na agricultura mecanizada: a monocultura da soja em Goiás. Scripta Nova Revista Electrónica de Geografía y Ciencias Sociales, Universidad de Barcelona, v. 6, n. 119, p. 741-98, ago. 2002.

[16] Silva, R. J. M. Integração de um Dispositivo Óptico de Rastreamento a uma Ferramenta de Realidade Virtual. Tese de Mestrado DI/PUC-Rio. 2004.

[17] Sveistrup H. Motor rehabilitation using virtual reality. J Neuroengineering Rehabil. 2004;1(1):10. [18] Tori, R.; Kirner, C.; Siscouto, R.. Fundamentos e Tecnologia de Realidade Virtual e Aumentada. In: VIII Symposium on Virtual Reality. Pará, pp. 22-38, 2006. [19] Unity3D. Disponível em: http://unity3d.com. Acessado em: 02/08/2010. [20] Unreal Development Kit. Disponível em: http://www.udk.com. Acessado em: 02/08/2010. [21] Zhang, Y.; Phillips, R.; Ward, J.; Pisharody S. A survey of simulators for palpation training. Stud Health Technol Inform 2009;142:444-6. 2009.


213

Sistema de Ensino de Física Óptica Geométrica da Reflexão em Espelhos

Usando Realidade Virtual

Rafael Tomaz Parreira, Vanessa Avelino Xavier de Camargo, Bruno Moraes Rocha, Emilia Alves Nogueira, Thamer Horbylon Nascimento, Marcelo Silva Freitas e Marcos Wagner de Souza Ribeiro

Departamento de Ciências da Computação – Universidade Federal de Goiás [email protected], [email protected], [email protected], [email protected],

[email protected], [email protected] e [email protected]

Resumo

Devido à grande dificuldade de aprendizado na

disciplina de Física, ao fato de que muitas instituições

de ensino não possuem laboratório de ensino e pela

grande possibilidade de virtualização desses

ambientes por meio de instrumentos computacionais,

surge a possibilidade de criação de instrumentos que

minimizem estas dificuldades. Este trabalho tem como

objetivo a criação de um ambiente de ensino que

simule experimentos da Física Óptica Geométrica,

utilizando a Realidade Virtual. O estudo permitiu a

concepção de um software educacional, o qual pode

ser utilizado por alunos e educadores em escolas de

nível médio como ferramenta de ensino dos conteúdos

de espelhos e reflexão.

Palavras-Chave – Física, Óptica, Geometria, Espelhos, Realidade Virtual.

Abstract

Due to the great difficulty on learning Physics, the fact

that many educational institutions do not have a lab

and the great possibility of virtualization environments

through computational tools, comes up the need for

instruments that can minimize these difficulties. This

work aims to create virtual environments that simulate

experiments from the Geometrical Optics Physics

using Virtual Reality. The study allowed designing an

educational software, which can be used by students

and educators in high schools as a teaching tool of the

contents of mirrors and reflection.

Keywords - Physics, Optics, Geometry, Mirror, Virtual Reality.

1. INTRODUÇÃO

Com a grande dificuldade de aprendizado na disciplina de física, alguns mecanismos de abstração

utilizados atualmente, como imagens, figuras ou representações estáticas não estão sendo suficientes ou estão fracassando. Na maioria das escolas não existem laboratórios de ensino de Física e a aplicação do giz e quadro negro, das aulas dialogadas, é considerada por alunos e professores um método cansativo, dificultando a participação e atenção nas aulas.

A Óptica Geométrica apresenta uma grande capacidade de simulação em ambientes virtuais, possibilitando uma visão mais ampla dos fenômenos, com inserção de elementos abstratos (raios e feixes de luz, imagens reais e virtuais). Os livros utilizam imagens estáticas para representação dos fenômenos, o que não permite uma compreensão completa do que ocorre na natureza.

Por meio da Realidade Virtual (RV), é possível que se tenha uma solução alternativa para esse problema, por se mostrar como forma alternativa e principalmente mais atrativa para simulação de acontecimentos reais e abstratos.

Realidade virtual pode ser considerada como uma ferramenta para visualizar, manipular, explorar, interagir e modificar, por meio do computador, dados complexos de uma forma natural, muito semelhante ao que se faria no caso da ação sobre o dado real [1]. Nos últimos anos o uso de RV na melhoria do processo de ensino-aprendizagem está se intensificando.

Na busca de soluções para essa situação, um ambiente virtual de ensino foi desenvolvido simulando a existência de espelhos (planos e esféricos) e as respectivas imagens produzidas. 2. TRABALHOS RELACIONADOS

Os critérios utilizados para análise dos trabalhos relacionados basearam-se na utilização da Realidade Virtual em ambientes de aprendizagem. Desta forma são apresentados trabalhos que também são exemplos de implementações que apresentaram bons resultados em avaliações, auxiliando na construção do


214

conhecimento nas respectivas áreas de atuação dos ambientes.

Uma ferramenta para o auxilio ao Ensino da

Astronomia - O trabalho tem como base o estudo de caso do Sistema Solar. A pesquisa foi desenvolvida tendo como premissa melhorar o ensino deste conteúdo no ensino médio.

O Software utiliza a interface Web, por meio da linguagem VRML, com modelagem simples com interatividade [2].

LVCE – Laboratório Virtual de Circuitos

Elétricos - O LVCE é um ambiente que utiliza a linguagem VRML e JAVASCRIPT para construção de circuitos elétricos em série e paralelo. O ambiente possui objetos com alto nível de realismo, possibilitando a visualização em três dimensões e interação. O objetivo do software é o ensino de circuitos elétricos, possibilitando que o usuário faça a montagem de circuitos, com componentes elétricos (fios, multímetro, resistores e bateria) [3].

Laboratório Virtual para experimento de Física

– Sistema desenvolvido por meio da linguagem VRML permitindo disponibilidade de uso na Internet. A ferramenta produzida simula um laboratório de experimentos de Física. O trabalho é voltado para ensino tanto presencial quanto a distancia, permitindo ao usuário que faça modificações nos experimentos. A pesquisa mostra uma grande adaptação do software as necessidades do usuário, podendo aproveitar um mesmo ambiente para estudo de vários fenômenos físicos [4].

Ensino do Processo da Fotossíntese - Este projeto

teve como objetivo a elaboração de uma aplicação modelada em OPENGL, usando o padrão CORBA para distribuição dos ambientes virtuais, criando em rede uma relação entre duas (Biologia e Química) representações de um mesmo ambiente real. A parte biológica apresenta simulações utilizando elementos naturais necessários à realização da Fotossíntese como plantas, luz, água e minerais. No processo químico são apresentadas as reações no interior das folhas, por meio de uma visualização microscópica do fenômeno [5].

VRML Gallery of Electromagnetism – O trabalho

resultou no desenvolvimento de ambientes em VRML, de forma que o usuário tenha uma variedade de experimentos eletromagnéticos que possam ser observados, com restrições de modificações de propriedades físicas dos fenômenos. Portanto podem

ser visualizadas várias situações envolvendo campo magnético e elétrico [6]. 3. METODOLOGIA UTILIZADA

A metodologia utilizada na criação deste projeto foi baseada em dificuldades, curiosidades e problemas abordados por alunos e professores, da rede pública de ensino, na disciplina de Física. Foi empregado um questionário em que explicitaram sua opinião sobre o aprendizado dos conteúdos. Nos resultados foram observadas dificuldades em visualizar os fenômenos em imagens estáticas representadas em livros e desenhos, em que a compreensão e o aprendizado ficam comprometidos pela falta de interação e participação dos alunos com esses meios. Uma abordagem que pode solucionar os problemas são as aulas em laboratórios de informática, onde animações, simulações com capacidades interativas estabelecem uma ligação mais estreita com os fenômenos estudos na física. No entanto, especificamente na óptica geométrica, não existe um farto acervo de softwares que podem realizar a virtualização do processo produzido pela óptica.

Estão sendo atualmente desenvolvidas muitas aplicações em Realidade Virtual para o processo de ensino-aprendizagem, obtendo resultados satisfatórios. Essas experiências foram levadas em consideração na elaboração do sistema.

3.1 Estudo de Caso (Óptica Geométrica da Reflexão

em Espelhos)

A Óptica Geométrica é uma área da Física que estuda a luz e os fenômenos luminosos, sem se importar com a natureza da mesma. Compreende o estudo das fontes de luz, propagação da mesma, reflexão e outras.

A propagação da luz pode ser representada por meio de linhas orientadas denominadas “raios de luz”, que indicam direções e sentidos de propagação. Pelo principio da propagação retilínea em meios transparentes e homogêneos os raios de luz são retilíneos. Feixe de luz é um conjunto de raios de luz escolhidos numa região em que a luz se propaga.

A reflexão é o fenômeno ótico que ocorre quando a luz incide numa fronteira separada de dois meios ópticos e retorna ao meio de onde veio. Por meio de representação em raios de luz pode-se estudar geometricamente a formação de imagens refletidas de objetos. Na reflexão, a sensação de tamanho sofre interferência da distância do observador da imagem, pois, quanto mais próximo, maior será a perspectiva


215

resultante. Em espelhos planos a sensação de distância é a mesma que se tem do espelho para o objeto. Em espelhos esféricos a imagem formada depende de definições de como a luz é refletida em pontos do espelho.

Os espelhos produzem um fenômeno de reflexão regular que pode ter uma representação geométrica, utilizando abstrações de raios de luz.

Os espelhos são produzidos por pelo menos dois meios paralelos, um transparente e outro metálico.

A abordagem do conteúdo terá tratamento quase que exclusivamente geométrico. O software tem como objetivo simular situações de reflexão em espelho (planos e esféricos), que mostrem a geometria do problema e as imagens. A visualização dos experimentos foi feita de forma dinâmica, e, pode-se observar de modo abstrato a propagação da luz, por meio de raios a formação das imagens. 4. IMPLEMENTAÇÃO DO SISTEMA

Na escolha das ferramentas de desenvolvimento foi levado em consideração rapidez na elaboração, possibilidade de aproveitamento de estruturas já prontas e realismo dos modelos.

Os objetos foram modelados na ferramenta 3D Studio Max, e toda interatividade foi construída por meio do software VivatyStudio.

O 3D Studio Max é um software proprietário que permite elaboração de objetos com grande riqueza de detalhes e realismo. Foi utilizado para modelagem de artefatos mais complexos.

Para reunir e finalizar a modelagem o VivatyStudio foi utilizado, pois permite modelagem, importação de elementos modelados pelos softwares já citados e exportação dos ambientes virtuais desenvolvidos para VRML e X3D.

O padrão escolhido para Realidade Virtual foi a linguagem X3D, que possibilita a criação de mundos virtuais tridimensionais, com alta qualidade, com possibilidade de utilização na Internet, utilizando apenas um browser e um plug-in para realizar a visualização.

O protótipo foi desenvolvido propondo uma interface simples, de fácil uso para professores e alunos. Para isso foram criadas formas intuitivas de manipulação do ambiente (Figura 1, 2 e 3).

O sistema permite ao usuário mudar a perspectiva de visão, alteração dos objetos, movimentação em uma trajetória específica, exibição de detalhes do modelo, testes e visualização de resultados em tempo real.

Figura 1. Exemplo de uso protótipo utilizando espelho plano.

Os testes podem ser realizados com espelhos planos

ou esféricos, permitindo a mostrar as imagens formadas por meio de representações abstratas (imagens reais e virtuais), como as apresentadas em livros, mas de forma dinâmica.

Outras modificações permitidas são: a) parâmetros do espelho; b) tamanho do objeto a ser refletido; c) exibir ou não detalhes da imagem; d) traçar os raios de luz.

Figura 2. Outro exemplo usando espelho plano com outro objeto.

O usuário pode escolher o objeto a ser refletido e

distância do espelho para o experimento, observando dinamicamente a imagem se formar.

O meio de interação é teclado e mouse, o que proporciona facilidade em manipulação do software.


216

Figura 3. Modelo usando espelho esférico.

5. AVALIAÇÃO, RESULTADOS E CONCLUSÕES 5.1. Avaliação e Resultados

O protótipo foi apresentado e testado por 35 alunos

e professores de escolas públicas de ensino médio, que anteriormente haviam declarado dificuldades na aprendizagem de óptica geométrica da reflexão em espelhos.

Inicialmente foi exposto o conteúdo de forma tradicional, para fundamentação teórica dos experimentos que seriam realizados. Posteriormente foram exibidas funcionalidades e a forma de manipulação do software. O software foi utilizado por alunos e professor de forma coordenada. Após uso um questionário de avaliação foi aplicado, em que os usuários colocaram suas opiniões e sugestões.

Os resultados obtidos foram satisfatórios, em que 82% dos usuários aprovaram o uso do software.

As sugestões mais abordadas foram relacionadas com a criação de módulos de ajuda e inserção de conteúdo teórico que explicam o experimento. 5.2. Conclusões

Corfome exposto na avaliação o software foi bem aceito como ferramenta de ensino, podendo ser uma ferramenta auxiliar na melhora no rendimento escolar. Esses resultados foram obtidos pela motivação dos usuários, reafirmando a capacidade de utilização da Realidade Virtual no ensino.

No desenvolvimento do protótipo, percebeu-se que os modelos adotados são simples, de fácil

implementação, por sua capacidade de representação geométrica.

5.3. Trabalhos Futuros

Como futuro trabalho, devem ser consideradas as sugestões expressas na avaliação, e ampliação de conteúdos abordados no software.

REFERÊNCIAS BIBLIOGRÁFICAS [1]. KIRNER, C.; TORI, R.. “Introdução à Realidade

Virtual, Realidade Misturada e Hiper-realidade”. In: Claudio Kirner; Romero Tori. (Ed.). Realidade Virtual: Conceitos, Tecnologia e Tendências. 1ed. São Paulo, 2004, v. 1,

[2]. AQUINO, Kelly Silva de; SILVA, Wender Antônio da; RIBEIRO, Marcos Wagner de Souza; JÚNIOR, Edgard Afonso Lamounier; CARDOSO, Alexandre. “Uma ferramenta para o auxilio ao Ensino da Astronomia”. [http://www.sucesumt.org.br] acessado dia 20/08/2010 às 14:35.

[3]. NAKAMOTO, Paula; TAKAHASHI, Eduardo; MENDES, Elise; CARDOSO, Alexandre; LAMOUNIER, Edgard. “O uso de mapas conceituais e Realidade Virtual para o Ensino da Física no Ensino Médio”. Uberlândia, UFU, 2005.

[4]. CARDOSO, Alexandre, LAMOUNIER JR., Edgard, TORI, Romero. “Interactive 3D Physics Experiments, Through the Internet”. In: 4th Symposium on Virtual Reality, 2001, Florianópolis, SC. Anais 4th SBC.

[5]. RIBEIRO, Marcos Wagner de Souza. “Uma arquitetura para ambientes virtuais distribuídos”. 2005. 105f. Tese (Doutorado em Ciências) Faculdade de Engenharia Elétrica, Universidade Federal de Uberlândia, 2005.

[6]. SALGADO, Rob. “VRML Gallery of Electromagnetism”. Documento disponível no endereço eletrônico http://physics.syr.edu/courses/vrml/electro-magnetism/sphere.wrl, agosto 2005.

[7]. KIRNER, Claudio, TORI, Romero. “Realidade Virtual conceitos e tendências”. São Paulo-SP. Editora Mania de Livro. 2004.

[8]. HECHT, Eugene. “Óptica”. 2th. Lisboa. Editora: Fundação Calouste Gulbenkian. 2002.


217

SESSÃO TÉCNICA 11

APLICAÇÕES MÉDICAS


218

Web-based Augmented Reality applied to upper limb simulation

Lucas Abrahao1, Jean-Baptiste Gagnepain1,2, Kenedy Nogueira1, Edgard Lamounier1, Alexandre Cardoso1

1Universidade Federal de Uberlandia2INSA Rouen, France

Abstract

Research in Virtual and Augmented Reality applied tobiomedicine has been deeply investigated in recent years.The application to upper limb prosthesis is a wide field.Traditionally virtual upper limb prosthesis is a desktop ap-plication, used for training in rehabilitation centers.

Thus, this article reports on the use of Augmented Reality(AR) in a web-application. The objective here is to create ahome based training environment.

1 Introduction

The purpose of this research project is to support ARsimulation of upper limb prosthesis, through the internet.

Virtual Reality is a field of computer science that workswith 3D modelling in an environment build by computers.Augmented Reality has proved to be an efficient tool forHealth and Medicine desktop applications [7, 4]. For thisproject, the real environment is provided by a webcam, andthe objective is to allow the user to interact with a virtualarm prosthesis by the intermediate of different signals.

From a biomedical point of view, a virtual prosthesis hasadvantages and disadvantages compared to real prosthesis.But the goals are different: the virtual prosthesis does notreplace an arm in a daily way. It enables the patient totrain with a prosthesis, and it is important for his rehabil-itation. Thus, virtual prosthesis has a first advantage: thesmall amount of time needed to manufacture it. Indeed, areal prosthesis must be customized for the patient, accord-ing to his age, weight, size, and other important factors. Itis not possible therefore to use this type of prosthesis dur-ing a time interval in which the Augmented Reality pros-thesis is available. A second advantage exists for patientswho were victims of an accident. During the recovery pe-riod it is impossible to apply weight on the injury, or exposeit to friction. That is why an Augmented Reality prosthe-sis is useful, because contact with the patient is made onlythrough the markers and electrodes.

On the other hand, using an Augmented Reality arm

prosthesis is not easy. First of all, you need access to the ap-plication. This is why one of the objectives of this researchis to create a web application usable on-line, and thusincrease the application’s portability and mobility. Secondof all, it is the difficulty involved in the use of such applica-tions, and it is often required to spend an adaptation periodbefore using correctly the application, and this might repelthe patient. But this difficulty is mostly caused by the sig-nal processing tools that were used to control the prosthesis.

2 Related work

Most of the previous researche that used Virtual andAugmented Reality focused on the control with electromyo-graphic signals (EMG) of upper-limb prostheses, in a desk-top architecture [7, 4, 1]. The technical university of Cluj-Napoca presented a paper [1] about classification techniqueof surface electromyographic signals, based on neural net-works. The system presented in [4] works with a hand pros-thesis controlled by EMG signals, and presents a trainingand practising process in order to use the prosthesis moreeasily. The article presented at [7] focused on a mechanismintended to help the patient during the training period, sinceit can be long and tiring. It results in a very easy-to-use sys-tem that can greatly reduce the period of the training stages.The Lund Institute of Technology, presented this article [6]about real time control of a virtual hand. It shows tests ex-ecuted on healthy subjects with a virtual hand, in order toimprove the accuracy and to minimize the delay on a set often movements.

The work in [2] introduces Augmented Reality for upperlimb prosthesis simulation. To allow a better immersion ofthe patient, the author made an application where EMG sig-nals were captured, classified in real time processing, andthen Augmented Reality helps the patient to visualize theprosthesis.


219

3 The proposed system

3.1 Methodology

The application was based on the work of KenedyNogueira’s master thesis [3]. But it needed to work oninternet in order to increase mobility of the application,so a greater number of people can use it. The Flartoolkittechnology allows us to implement Augmented Reality in aFlash application with Actionscript 3 and XML languages.

With the help of Flex Builder 3’s profiler, a canvas ob-ject was added and linked to the webcam. Then the an-imation of the arm was implemented. Four movements:pronation, supination, flexion and extension was designedin Augmented Reality. Usually, 3D objects are created inVRML (Virtual Reality Modelling Language). This is pro-posed since the objects files are not heavy, and it is veryuseful on internet. Figure 1 shows the VRML version ofthe Virtual Reality arms. However Flartookit only acceptsthe Collada format which is an open standard digital assetschema for interactive 3D applications.

Figure 1. The VRML version of the four armmovements

In order to allow the user to interact with the system, theCheckBox tool was used. The CheckBox tool is adapted,since this component allows you to click on one of the but-tons, and the appropriate event will start. One can distin-guish four buttons of CheckBox type on this application:one for each of the movements. At this point, the userwas able to choose which movement he wanted the Aug-mented Reality environment to show him, and thus switchthe graphical component.

To simulate the arm movement an algorithm has beendeveloped, which use the EMG signals from a file and sendthem to the AR web environment.

3.2 The classification algorithm

An Artificial Neural Network (ANN) is a mathemati-cal model, whose representation is an oriented graph. Thenodes represents the artificial neurons, and the edges repre-sents the connexions between those neurons.

The ANN treatment is an adaptation of the master thesis[3]. For the limits cases: the 25 groups of characteristics arerandomly send to the ANN. After the process is finished, thesame signals were sent to the network so they can be recog-nized. We can see that the ANN was able to learn all thesignals of all the groups of motions, trained with the varia-tion of each limits, and the analysis of models of contraction(dynamic or static).After the computation of the coefficients, the ANN receiveand classify the motions.

An example of architecture of ANN with Multiple LayerPerceptron (MLP) is shown on Figure 2. Notice that in thiscase, the network has a layer of neurones in input who re-ceive the coefficients AR, an internal layer, and an outputlayer who classify the motions.

Here is the algorithm used to sum up the data collectedfrom the signal into four points, and then choose a motioncharacteristic of those points.

1- Initialize all the coefficients of the filter am(n) to 0.

2- Repeat all the points 3 to 5 for each N of y(n), n =0, . . . , N − 1.

3- Compute the estimated value of the signal y(n):

y(n) =M∑

m=1

am(n)y(n−m)

4- Compute the estimation error e(n):

e(n) = y(n)− y(n)

5- Actualize the coefficients to the AR model:

am(n+ 1) = am(n)− 2µe(n)y(n−m)


220

Figure 2. Artificial Neural Network with Multi-ple Layer Perceptron

Where µ with 0 < µ < 1, is a convergence constant ofthe filter.

Figure 3 shows how two different motions: flexion andextension has signals totally different, which allows us toidentify a motion with the help of the associated EMG sig-nal captured.

Figure 3. Differences between signals iden-tify a motion

3.3 Flartoolkit

Flartoolkit is an open source library for Augmented Re-ality in Flash. With the help of a marker as the one shownin Figure 4, and a webcam, the virtual object can appear inthe environment. A particularly interesting point is that theobject adapts itself to the inclination plan, and the distanceof the marker. This is the key of Augmented Reality, sinceit makes us believe that the object behave as a real object.For example if you bring the marker closer from the cam-era, the object will enlarge, the same way an object enlargewhen it is closer from someone. This library was based onArtoolkit, and implemented by a Japanese team[5]. It isnow a reference for the use of Augmented Reality in a flashapplication.

Figure 4. Example of marker used for Aug-mented Reality

3.4 The architecture of Flex and PHP ap-plications

Flex applications can be characterised as a SOA archi-tecture model, where Flex is used to create the client and tobe connected to data using services.

To understand this architecture, consider how browsersand web applications are delivered. When the browsermakes a request, the server uses a combination of static con-tent (HTML/CSS/JS code) and scripts (these scripts mayquery a database or call other scripts, but in the end theyoutput HTML/CSS/JS) to prepare a page. This page getsloaded and rendered by the browser. A key element hereis that, usually this page (or response) has the presentationmarkup and the data into the same message.

When a new state of the application is to be presented,the browser makes a new request and the server prepares thepage. The client “just” renders the data.

Flex applications works differently. The server sends thecompiled Flex application (the SWF file) that runs inside


221

the browser using the Flash Player plug-in. Usually, thisSWF file holds only the client-side business logic. If dataare need (from a database for example) the Flex applicationmakes a request for those data. The server sends only thedata (this can be in XML, JSON, AMF3 format), and theclient knows how to represent this data visually. Whathappens here is a service-oriented architecture: the Flexapplication is the client that can consume data servicesfrom the server. The application can change state withoutrefreshing the page or reloading the SWF file in thebrowser. The application is a client that can do more than“just” render data. Thus using Flex and Flash Player itis possible to create almost anything that makes sense todeploy on the web, from games to applications, to widgetsthat are integrated within “classic” web applications, andmore (see Figure 5).

Rendered in a nutshell, Flex is a graphical interface thatwill interact with the user and the PHP language will do thetask of communicating with the server.

This communication is required because data is sentfrom a personal computer (user) to a remote server. Whenthis data is saved, the program will access this data and com-pile it, thus providing the results to the user.

When one sends a file to the server, it is not importantto define what the user is sending or if he has permissionto access certain directory. It can be defined within the phpcode which is the folder and name in the data to be saved,without any direct contact with the user. This code is notshown when the application is running and yes, working in-visibly, based on user interaction. Thus, there is an increasein application security and prevents of future complications.

3.5 Case study

Figure 6. Screen shot of the application

Figure 6 shows a screen shot of the application. It has,on the left side, two buttons which allow to download thesignal associated to a specific motion. The signal is loaded

in the text area beneath the buttons. It then pass in the al-gorithm seen in 3.2, so the motion can be selected. On theright part of the interface the virtual environment is shown.It is composed by the scene, the webcam can record and thevirtual object on the marker. Figure 7 shows the system ar-

Figure 7. Application’s architecture

chitecture. First, the electrode gets the signal, that the elec-tromyograph will analyse and send to the computer. Then,the host runs the application on a server, on the internet,which search in the database for the correct information. Itis then send back to the Flash application on the host’s com-puter, and the interaction with the user can be visualize withthe screen.

4 Conclusions and future work

Although, to move from a desktop architecture to a webone is not an easy task, the system proposed here hasdemonstrated that such migration applied to virtual upperlimb simulation is possible.

Most of the authors future work will concentrate in usingmore computer techniques and algorithm to improve controlof the virtual prosthesis and to simulate immersion AR.


222

Figure 5. Flex and PHP architecture

References

[1] S. Herle, Paula Raica, Gh. Lazea, R. Robotin, C. Marcu,and L. Tamas. Classification of surface electromyo-graphic signals for control of upper limb virtual pros-thesis using time-domain features. 2008.

[2] Edgard Lamounier, Kenedy Lopes, Andrade AdrianoCardoso, Alexandre, and Alcimar Soares. On the use ofvirtual and augmented reality for upper limb prosthesestraining and simulation. 2010.

[3] Kenedy Nogueira. O uso de tecnicas de realidade vir-tual e aumentada na simulacao de protese. Master’s the-sis, Federal University of Uberlandia, 2007.

[4] L. Pons, R. Ceres, E. Rocon, S. Levin, I. Markovitz,B. Saro, D. Reynaerts, W. Van Moorleghem, andL. Bueno. Virtual reality training and emg control of themanus hand prosthesis. Cambridge University Press,2005.

[5] Saqoosha. Flartoolkit.http://saqoosha.net/en/flartoolkit/.

[6] F. Sebelius, M. Axelsson, N. Danielsen, J. Schouen-borg, and T. Laurell. Real-time control of a virtualhand. Lund Institute of Technology, 2005.

[7] Alcimar Soares, Adriano Andrade, Edgard Lamounier,and Renato Carrijo. The development of a virtual myo-electric prosthesis controlled by an emg pattern recog-nition system based on neural networks. Journal of in-telligent information systems, 2003.


223

VISUALIZAÇÃO DO TRATAMENTO ORTODÔNTICO UTILIZANDO REALIDADE VIRTUAL E REALIDADE AUMENTADA

Daniela Teresa Rossignoli Uebele2, Giuliano Diniz de Morais3,

Alexandre Cardoso1 e Edgard Lamounier1 1 Universidade Federal de Uberlândia – UFU 2 Universidade Santa Cecília - UNISANTA

3 Faculdade Tecnologia de Praia Grande - FATEC Santos - SP

Brasil e-mail: [email protected], [email protected],


Resumo - A adoção de tecnologias em torno da Realidade Aumentada (RA), aplicadas nas diferentes áreas da saúde é algo de notório avanço nos últimos anos. Entretanto, a literatura mostra que a área da ortodontia, em especial a cirurgia ortognática, ainda é carente de tecnologias de apoio ao cirurgião, bem como seus pacientes. Nesse sentido, este artigo propõe tratar da aplicação da Realidade Virtual e Aumentada, simulando resultados de uma cirurgia ortognática.

Palavras-Chave – Realidade Aumentada, Realidade Virtual, ortodontia, cirurgia ortognática.

Abstract – The adoption of Augmented Reality

(AR) technologies computer graphics, applied into several health segments is something with a notable advance over the last years. However, literature has shown that, for the orthodontic segment, in special for the orthognathic surgery, there are few technologies that offer a great support to the surgeon and the patients. In this sense, this paper is intended to investigate the use of AR technology for simulating orthognatic surgery.

Keywords - augmented reality, orthognathic

surgery, orthodontic.

I. INTRODUÇÃO

A utilização de Realidade Virtual e Aumentada tem sido aplicada em diferentes áreas da medicina, e com diferentes propósitos, que passam por pesquisa, simulação de resultados, ferramentas de aprendizado, reabilitação motora, entre inúmeros outros [2].

A Odontologia é assistida por diferentes sistemas, desde especialistas com ênfase em inteligência artificial para tomada de decisões [3], passando por sistemas de gestão e automação, entre outros.

Alguns desses sistemas se utilizam de tecnologias de manipulação de imagem, com objetivos de diagnóstico, análise para implantes ou cirurgias. [11]

A Cirurgia Ortognática, uma subespecialidade da Cirurgia Buco Maxilo, é composta por um conjunto de procedimentos cirúrgicos, cujo objetivo principal é reposicionar os ossos maxilares e mandibulares, restabelecendo a oclusão (encaixe dos dentes) e promovendo uma melhor harmonia facial.

A correção do maxilo-mandibular, fruto da cirurgia ortognática pode oferecer significantes melhorias em áreas como a mastigatória, a fonética, a respiração e a estética facial [12].

Nesse artigo é dada maior atenção para o diagnóstico por imagem, muito embora a proposta desse artigo não seja puramente em torno do diagnóstico, mas sim em simulação de resultados.

Podendo ser aproveitado por diferentes profissionais da Odotonlogia, entende-se que cirurgiões dentistas e buco-maxilo-facil serão os maiores beneficiados.

Na seqüência serão abordados os demais assuntos relevantes para esse artigo, tais como Cirurgia Ortognática, trabalhos relacionados, onde são apresentados alguns sistemas computacionais existentes, e finalmente um projeto é proposto, onde se busca demonstrar e simular resultados de uma cirurgia utilizando técnicas de realidade aumentada.

II. CIRURGIA ORTOGNÁTICA

Gabrielli [4] estima que 60% da população brasileira necessita de algum tipo de tratamento ortodôntico, e 5% só resolveria o problema se passasse pela intervenção cirúrgica, com base em pesquisas realizadas pelo instituto norte-americano e na literatura nacional.

Estima-se que cerca de 10 milhões de brasileiros precisariam se submeter a uma cirurgia ortognática para a correção de problemas na maxila (estrutura óssea que suporta os dentes superiores) ou na mandíbula (que mantém os dentes inferiores).

A cirurgia ortognática é realizada em ambiente hospitalar, sob anestesia geral. A cirurgia consiste basicamente em promover fraturas ósseas planejadas, reposicionamento dessas fraturas e posterior fixação interna rígida através de mini-placas e parafusos. [2]


224

As deformidades dos ossos da face podem se originar de distúrbios de crescimento, síndromes e anomalias específicas, traumas na face, ou serem de origem genética, dentre outros fatores. Essa alteração pode estar localizada em um osso, como na prognatismo mandibular (mandíbula grande) ou no retrognatismo mandibular (mandíbula pequena), sendo que muitas vezes é um problema combinado, associando o maxilar superior à mandíbula (fig1). A correção das deformidades faciais através da cirurgia ortognática traz grandes benefícios aos pacientes operados, com sensível melhora na relação entre os dentes, músculos e ossos, até mesmo na respiração e fonação. Ter o queixo para frente ou para trás causa problemas funcionais graves, como apneia, dores na musculatura do rosto, na posição da língua e da articulação temporo-mandibular (ATM articulação na frente dos ouvidos), enxaquecas e até disfunções estomacais (devido à mastigação incorreta).

Fig. 1 Possibilidades de movimentação óssea cirúrgica.

Fonte: biosphera.com.br

III. CENÁRIO ATUAL - TECNOLOGIA NO AUXÍLIO DA CIRURGIA ORTOGNATICA

São várias as ferramentas em desenvolvimento ou em aperfeiçoamento para atender as necessidades da Ortodontia, sempre em busca de uma maior precisão na análise dos problemas, e conseqüentemente em melhores resultados. Percebe-se nitidamente os grandes investimentos que consultórios e clinicas odontológicas tem feito em equipamentos de ultima geração.

Podemos observar algumas tecnologias já testadas por várias instituições especializadas na área.

As imagens 3D permitem precisão e confiabilidade nas medidas lineares entre pontos cefalométricos, visualizado na figura 2, utilizando feixes de tomografias volumétricas cone bean computadorizada 3D (CBCT).

Fig 2 – Pontos cefalométricos para analise [7].

Esta ferramenta permitiu uma diminuição da exposição do paciente às radiações, e esta redução no número de projeções para a reconstrução 3D não resultou em uma perda de precisão dimensional. As medições com CBCT são consistentes entre as seqüências e digitalizações diretas para medições entre pontos marcados de referência. [7]

Morfometria tridimensional (3D) da face: a antropometria facial desempenha um papel importante no diagnóstico de diversas áreas que trabalham com as estruturas da face (Odontologia, Cirurgia Plástica e Craniomaxilofacial, Otorrinolaringologia), e estão interessados em novas tecnologias que auxilie em um diagnóstico correto e na preparação do plano de tratamento de pacientes que serão submetidos a tratamentos ortodônticos, cirurgias ortognáticas, cirurgias plásticas da face, diagnóstico de malformações congênitas ou adquiridas e pesquisas morfométricas.

A marcação de pontos craniométricos representa uma ligação entre a antropometria convencional e a digital: a identificação dos pontos faciais (antropometria convencional) utiliza paquímetros, réguas cefalométricas, etc., para realizar as medições. Fundamentalmente, a antropometria digital capta as posições dos pontos, e usam as coordenadas X, Y e Z para cálculos baseados na geometria euclidiana: distâncias lineares e ângulos. Com estes resultados e as medidas clássicas, cálculos matemáticos e geométricos permitem análises mais complexas como: estimativas de volume, área da superfície, análises de simetria, avaliação de formas, utilizando os mesmos pontos já computados.

Os dois grupos principais de instrumentos utilizados na antropometria facial em 3D são: instrumentos de contato (digitalizadores eletromagnéticos e eletromecânicos, sondas ultrassônicas) e instrumentos ópticos ou de não-contato (laser scanner, óptico-eletrônicos, topografia Moiré, estereofotogrametria), eliminando o risco de compressão cutânea, evitando danos ou erros na mensuração. Um método de análise morfométrica quantitativa ideal para a avaliação de pacientes deve ser não-invasivo e nem nocivos, não provocar dor ou desconforto aos pacientes; de baixo custo; rápido (obter informações através de técnicas simples e que capta e armazene os dados digitais 3D da morfologia facial); possibilitar a criação de um banco de dados e a visualização, simulação e análise quantitativa do tratamento.


225

Fig 3 - Face obtida através de digitalizador

eletromagnético [8] Digitalizadores eletromagnéticos e eletromecânicos

fornecem as coordenadas tridimensionais (Fig. 3) dos pontos de referência demarcados previamente na face, utilizando equipamentos como o mostrado na Figura 4(a), que correspondem diretamente às estruturas anatômicas e antropométricas dos indivíduos, ou seja, as coordenadas são obtidas ponto por ponto.

Fig 4(a) - Equipamento laser scanner para gera imagem

3D[8]

Fig 4(b) - imagem 3D gerada pelo scanner[8]

O sistema registra a textura facial e combina as

informações 3D com uma precisa reprodução de todas as características faciais, exibidas na figura 4(b). [8]

Fabricação de Splints para Cirurgia Ortognática Utilizando Impressora Tridimensional: esta confecção de split (goteira) inter-maxilar para ser usada na Cirurgia Ortognática.

Fig 5 – Crânio scanneado 3D e segmentado em duas

partes: superior e inferior.[9]

Após a aquisição 3D de dados por meio de uma tomografia computadorizada (TC) ou tomografia computadorizada de feixe cônico (CBCT) de pacientes com deformações ortognáticas visualizado na figura 5, é possível realizar o reposicionamento virtual das bases ósseas maxilares.

Para reduzir falhas, os modelos de gesso foram digitalizados, utilizando um scanner de superfície. Após Importar e combinar os dados para o planejamento pré-operatório do caso, permitindo a transformação do reposicionamento planejado e da oclusão ideal. O sistema define um Split virtual entre as fileiras de dentes que permite codificar o reposicionamento ideal, exemplificado na figura 6. Depois de realizar uma operação, a impressão dentaria é subtraída do splint virtual.

Fig 6 – destaque da mandíbula e maxila, de forma a

movimentar e simular o resultado cirúrgico ósseo.[9] O "splint " definitivo depois é confeccionado por

uma impressora 3D. Combinando as vantagens dos modelos de gesso

convencional, planejamento virtual 3D preciso, e a possibilidade de transformar a informação adquirida em um Split dental ideal. [9]

IV. TRABALHOS RELACIONADOS.

Existem inúmeros sistemas comerciais, sendo os mais comuns para o gerenciamento clinico, com proposta para prática ortodôntica, em sua maioria são de produção estrangeira. A maior parte dos sistemas pesquisados não atua na simulação de tratamento, nem integra funcionalidades ortodônticas em um único ambiente gráfico 3D interativo. Os sistemas 2D para análise cefalométrica têm sido desenvolvidos com o objetivo de reduzir o erro humano e o tempo gasto na extração de medidas ortodônticas do paciente. Segundo Maria Andréia [5], as pesquisas têm-se concentrado na geração de aplicativos 2D e 3D para tratamento ortodôntico e em sistemas de simulação de movimentos mandibulares, Obtendo-se os dados através de medidas cefalométricas. Como pode ser observado neste artigo, a maior parte das pesquisas estão voltadas para o tratamento ortodôntico e não contempla a cirurgia ortognática. Salienta-se que para o sucesso da cirurgia ortognática é necessário um preparo ortodôntico pré e pós cirúrgico. Lembrando que o artigo em analise [5] é voltado para o treinamento do futuro ortodontista, outra


226

área bastante pesquisada, esta pesquisa é voltada para auxiliar na escolha não somente do tratamento, mas de todos os componentes que farão parte dos procedimentos adotados (fig.7), buscando atingir resultados eficientes e eficazes.

Fig 7 – Software desenvolvido na pesquisa sobre

visualização de tratamentos ortodônticos.[5] Segundo Motta [1], que verificou a precisão de um

programa de simulação computadorizada, utilizando-se radiografias e fotografias de perfis das faces pré cirúrgicas, comparando cefalométricamente pontos dos perfis mole dos traçados predictivos e final, avaliando cinco regiões: perfil total; nariz; lábio superior; lábio inferior; mento. Observou uma variação de posicionamento dos pontos com erros de até 2mm em mais de 60% e acima de 3mm em 17%, as imagens predictivas não apresentaram significativas diferenças comparando com outros sistemas de simulação computadorizado, podendo ser considerado útil na prática clinica ortodôntica e cirúrgica, recomendando cautela no planejamento devido a algumas limitações observadas.

Existem dois métodos utilizando computador: o primeiro proporcionando o traçado cefalometricos permitindo observar os movimentos cirúrgicos, como citado anteriormente é onde se tem a maior parte das pesquisas feitas em 2D e pouquíssimas em 3D, na segunda uni-se o traçado cefalométrico a imagem fotográficas de perfil que sofre alterações de acordo com a movimentação óssea (fig.8). Este último chamado de Vídeo Imaging. Resultando em uma melhor visualização e no entendimento dos objetivos do tratamento pelo paciente. Os cinco softwares testados no artigo [1], possui praticamente as mesmas deficiências, em todos os experimentos houve algumas falhas visuais na geração de imagens, sendo os softwares: Dentofacial Planner, Dolphin Imaging, Prescription Planner Portrait, Quick Ceph Image e Vistadent.

A Dolphin Imaging, é uma empresa que desenvolve aplicativos gráficos de ultima geração desde 1988, que oferece uma quantidade de recursos relativamente grande e de qualidade, sendo o único no mercado que possui o VTO em 3D, o mesmo é vendido em módulos, de forma que para cada segmento é necessário treinamento.[13]

Fig. 8 – Tela de tratamento do software Vistadent:

movimentação das estruturas esqueléticas do traçado pré-cirúrgico (azul) construindo o traçado predictivo

(vermelho) - a tabela mostra a magnitude das mudanças esqueléticas no plano horizontal e vertical.[1]

Fig. 9 – Tela de Planejamento do tratamento

ortodôntico no software Dolphin Imaging.[13] Este Software já vem sendo utilizado para pesquisa e

ensino em vários centros de estudos mundiais. Ele permite: Importa formatos dados 3D; Analises tridimensionais das vias aéreas; Faz analise das ATMs; Gera teleradiografias cefalométricas e panorâmicas; Possibilita medidas 2D e 3D angulares(Fig.9), de distâncias e de áreas; Cria animações; Entre outras funções.

Fig. 10 – Exibe a sobreposição de imagens[13]

O módulo 3D é uma poderosa ferramenta de

processamento de dados (Fig.10), que permite um amplo diagnóstico em todas as especialidades da Odontologia, possibilitando um planejamento seguro dos procedimentos. Ele permite uma boa visualização


227

da anatomia crânio facial, capturadas através de Tomografias Computadorizadas Cone Bean, Ressonância Magnética e sistemas de cameras digitais médicas 3D.

O apelo visual da simulação computadorizada sana as deficiências do profissional ao apresentar o caso ao paciente, que era realizada com o auxílio de traçados cefalométricos, modelo de estudo e fotografias de outros pacientes tratados, de difícil entendimento para um leigo. Além disso, a possibilidade de se realizar planejamentos ortocirúrgicos com maior facilidade e precisão tornou este método mais utilizado e estudado nos últimos dez anos.[1]

V. PROSPECÇÃO DA PESQUISA.

O objetivo desta pesquisa é desenvolver um software utilizando a realidade virtual e a realidade aumentada para que o cirurgião e também o próprio paciente consigam visualizar o resultado projetado de uma cirurgia ortognática. A solução foi idealizada e dividida em quatro grandes etapas, descritas a seguir:

1) Carregamento de uma radiografia

Fig. 11 – Radiografia para marcação de pontos[10]. Nessa primeira etapa acontece o carregamento de

uma ou mais imagens radiográficas (raio-x) de forma digitalizada, pode-se observar o layout sugerido com uma radiografia digitalizada[10] conforme ilustração da figura11. O médico então decidirá qual delas apresenta melhores condições para iniciar a etapa 2.

2) Marcação dos pontos Nessa etapa, o médico utilizando uma interface

gráfica simplificada, com algumas ferramentas comuns a utilitários de edição de imagens, tem o objetivo de reconhecer e identificar os pontos do traçado cefalométrico na imagem digitalizada da radiografia. Essa identificação ocorre em duas fases, todos os pontos serão demarcados conforme estudo prévio feito pelo especialista de forma manual e baseada na experiência clinica. Na primeira o médico reconhece, identifica e marca na imagem os pontos de acordo com a realidade do paciente (pontos atuais), e numa segunda fase, após alguns cálculos do médico, o mesmo faz a marcação das novas posições esperadas para esses

pontos (pontos projetados), gerando assim a imagem sugerida na figura 12. São essas definições dos pontos projetados que determinam o resultado esperado ao final da cirurgia.

Fig. 12 – Radiografia com marcações atuais e

projetadas[10] 3) Fusão da parte óssea com a imagem capturada do

paciente utilizando RA.

Fig. 13 – Exibição da parte óssea

Nesta etapa acontece a fusão da imagem digitalizada

da radiografia (somente o conjunto ósseo de interesse para a cirurgia ortognática) com a imagem do paciente, exibida na figura 13, capturada através de uma câmera (webcam). O objetivo dessa etapa é confirmar a identificação dos pontos atuais na radiografia.

4) Cálculos e apresentação dos pontos projetados De posse dos pontos atuais e dos pontos projetados, é

possível calcular o delta de deslocamento entre os dois cenários. Com esses cálculos em mãos, utilizando técnicas para escrita de arquivos no formato VRML, o software cria uma nova imagem do conjunto ósseo utilizando os pontos projetados.

Fig. 14– Imagem capturada com o marcador


228

A partir dessas definições, é a fase em que o paciente apresentando-se novamente para a câmera e com um marcador em um ponto definido na lateral de seu rosto, figura 14, poderá visualizar sua face em uma realidade projetada e aumentada, ou seja, espera-se nesse momento que seja possível visualizar qual seria o resultado esperado da cirurgia, visualizado na figura 15.

Fig. 15 – posicionamento da malha na fase para permitir

a modificação da imagem. A intenção é que os movimentos do paciente sejam

acompanhados pela imagem projetada (VTO). Nessa última etapa ainda é possível escolher entre duas formas distintas de visualização, uma refletindo a parte óssea, e outra focada nas modificações dos tecidos da face (lembrando e enfatizando que é uma visualização do resultado esperado e não exatamente o que poderá ocorrer).

VI. CONCLUSÕES E TRABALHOS FUTUROS

Nota-se que a através da aplicação da Realidade Virtual e Aumentada, é possível contribuir de forma significativa para que novas técnicas de simulação de resultados para cirurgia ortognática sejam desenvolvidas, com o grande objetivo de tornar simples e menos intrusivo do que muitas das técnicas atuais. É visto que existe um campo enorme de aplicação para novas técnicas, dada a pouca oferta de tecnologias aplicáveis e o grande número de pessoas com problemas que podem ser tratados com ajuda da cirurgia ortognática.

Como trabalho futuro, pretende-se desenvolver técnicas de Realidade Aumentada imersiva, para uma melhor simulação e controle por parte do cirurgião dentista.

VII. REFERÊNCIAS BIBLIOGRÁFICAS

[1] A.T.S. da Motta, I.H.P. Brunharo, at al., “Simulação computadorizada do perfil facial em cirurgia ortognática: precisão cefalométrica e avaliação por ortodontistas”. In: Rev Dental Press Ortodon Ortopedi Facial; Maringa – PR, set./out. 2007, vol.12, n. 5, p. 71-84,.

[2] F. Costa; L. Pietrobon; M. Fadel; G. Filho, “Utilização da Realidade Virtual em Odontologia.

Sociedade Brasileira de Informática em Saúde”, X Congresso Brasileiro de Informática e Saúde. Campos do Jordão, São Paulo, 2007. 29 – 3 dez.

[3] G. Cericato; D. Garbin; A. Fernandes “Uso dos Sistemas Especialistas em Odontologia”, CBIS'2006. Costão do Santinho, Florianópolis, SC, 14-18 de outubro,

[4] Folha Online Home Page, <http://www1.folha.uol.com.br/folha/ciencia/ult306u585704.shtml> - Acessado em: 15/07/2010

[5] M.A.F. Rodrigues, W.B. Silva, , M.E.B. Neto. “Um Sistema de Realidade Virtual para Tratamento Ortodôntico”. In: Mestrado em Informática Aplicada – Universidade de Fortaleza, Fortaleza-CE, 2006.

[6] R Santin; C. Kirner, “Detecção em tempo real de objetos em vídeo usando Realidade Aumentada”. In: Anais do WRA`2005 – II Workshop de Realidade Aumentada, 2005, Piracicaba, SP, v1, p.25-28.

[7] A.A. Brown; W C. Scarfe; at al. “Precisão da tomografia linear Cone Beam CT derivadas de imagens 3D”. In: Angle Orthodontist, artigo de 2009, University of Louisville School of Dentistry, Louisville, Ky.

[8] M. Menezes; C. Sforza; “Morfometria tridimensional (3D) da face”. In: Artigo 2010, Dental Press Journal Orthodontics, Departamento de Morfologia Humana e Ciências Biomédicas da Universidade de Milão, Itália.

[9] M C Metzger; B H. Schwarz; M. Teschner; B. Hammer; R. Schmelzeisen. “Fabricação de Splints para Cirurgia Ortognática Utilizando Impressora Tridimensional”. In: Artigo 2008, Revista Oral Surgery, Oral Medicine, Oral Pathology, Oral Radiology & Endodontics, Freiburg, Germany; and Aarau, Switzerland Albert-Ludwig University Freiburg and Hirslanden Medical Center.

[10] C.M.M. Gimenez, F. Bertoz, at al. “Avaliação cefalométrica do perfil mole de pacientes face longa submetidos à cirurgia ortognática: estudo retrospectivo”. In: Rev. dental press ortodon. ortopedi. facial; vol.11(6): 91-103, Maringa - PR, nov.-dez. 2006.

[11] A. Farman; C. Levato; W. Scarfe; J. Mah. “Education in the round: multidimensional imaging in dentistry”. Inside Dentistry. Louisville, Kentucky January 2008, (1):39-41

[12] M.de O.Ribas, L.F.G. Reis, B.H.S. França, A.A.S. de Lima. (2005). “Cirurgia ortognática: orientações legais aos ortodontistas e cirurgiões bucofaciais”. R Dental Press Ortodon Ortop Facial. v. 10, n. 6, p. 75-83, Maringá – PR, nov./dez. 2005

[13] Site da Dolphin Imaging Featuring 3D: http://www.dolphinimaging.com/3d.html.


229

Utilização de redes neurais para a classificação de sinais EMG aplicados nocontrole de prótesesvirtuais de mão

Fernando E. R. Mattioli, Daniel S. D. Caetano, Wedson Gomes,Edgard A. Lamounier Jr., Alexandre Cardoso

Universidade Federal de UberlândiaUberlândia-MG, Brasil

{mattioli.fernando, sdc.daniel, wedgom}@gmail.com, {lamounier, alexandre}@ufu.br

Abstract

Computer-based training systems have been widely stud-ied in the field of human rehabilitation. In health applica-tions, Virtual Reality presents itself as an appropriate toolto simulate training environments without exposing the pa-tients to risks. In particular, virtual prosthetic devices havebeen used to reduce the great mental effort needed by pa-tients fitted with myoelectric prosthesis, during the trainingstage. In this paper, the application of Virtual Reality in ahand prosthesis training system is presented. To achievethis, the possibility of exploring Neural Networks is dis-cussed.

1. Introdução

Nos últimos anos, tanto a Medicina como outras áreasrelacionadas à saúde humana têm sido beneficiadas pelosavanços tecnológicos apresentados pela Realidade Virtual(RV) [2]. Mais especificamente, quando aplicada à reabili-tação humana, a imersão proporcionada pela RV favorece otreinamento de habilidades cognitivas e motoras dos paci-entes [15].

A utilização de técnicas de RV no treinamento de usuá-rios de próteses mioelétricas apresenta-se como uma ferra-menta complementar que favorece a adaptação dos usuáriosaos membros artificiais [6]. Apesar do custo ainda elevadodestes dispositivos, um grande problema enfrentado pelosusuários é a adaptação ao controle das próteses, sendo ob-servada a desistência de muitos pacientes durante o períodode treinamento [6]. Além de possibilitar a avaliação da efi-ciência de diferentes sistemas de controle, a utilização deRV na simulação de próteses mioelétricas ameniza este pro-blema fornecendo um canal defeedbackvisual aos pacien-tes. Desta forma, a utilização de próteses virtuais durantea fase de treinamento reduz significativamente o grande es-

forço mental despendido pelos usuários nesta etapa [12].

Um sinal eletromiográfico (EMG) consiste em um po-tencial elétrico produzido pela contração de determinadomúsculo. Este sinal pode ser medido na superfície da pele(EMG de superfície) ou implantando-se sensores nas cama-das internas do músculo. Segundo a literatura, diferentesmúsculos do antebraço estão relacionados aos movimentosda mão e sinais EMG podem ser medidos nestes músculosmesmo após amputação da mão [14]. Analisando e proces-sando sinais EMG é possível classificar e associar os dife-rentes movimentos aos sinais correspondentes, o que con-siste em uma importante interface homem-máquina em di-versas aplicações, tais como controle de próteses, controlede mãos robóticas e controle de dispositivos FDD (ForceDisplay Devices) em Realidade Virtual [9]. Diversos auto-res abordaram a utilização de sinais EMG para o controlede próteses de membros superiores: Sebelius [12] e Pons[11] discutiram o problema do controle de próteses de mãoenquanto Herle [6], Nogueira [10] e Soares [13] abordaramo controle de braços artificiais. Dentre os principais desa-fios apresentados nestes trabalhos estão a classificação dossinais EMG, reconhecimento de padrões, extração de ca-racterísticas, processamento em tempo de execução destessinais e a simulação fiel do comportamento de próteses.

Redes Neurais Artificiais (RNA) são sistemas capazes dereconhecer e classificar padrões a partir de um modelo deaprendizagem baseado no aprendizado humano [4]. Umacaracterística marcante das RNA é sua capacidade de gene-ralização: após uma fase de treinamento, na qual algunspadrões de entrada (juntamente com sua respectiva clas-sificação) são apresentados e processados pela rede, estapode ser testada com padrões diferentes daqueles utiliza-dos em treinamento, classificando-os adequadamente. Nométodo LVQ (Learning Vector Quantization), um conjuntoinicial de padrões de treinamento com classificação conhe-cida deve ser fornecido, juntamente a uma distribuição ini-cial dos vetores de referência (cada um representando uma


230

dada classificação conhecida). Uma vez treinada, uma redeLVQ classifica um vetor de entrada atribuindo a ele a classerepresentada pela unidade de saída que contém o vetor depesos mais semelhante ao vetor de entrada. LVQ é uma téc-nica de aprendizado supervisionado na qual as informaçõesreferentes a uma dada classe são usadas para se mover osvetores de pesos das unidades de saída, melhorando-se asregiões de decisão do classificador [5].

Este trabalho apresenta um protótipo de ambiente de trei-namento em RV que possibilita a simulação e o controle depróteses virtuais de mão utilizando Redes Neurais Artifici-ais como técnica de classificação. Um sinal EMG é clas-sificado pela rede e, a partir da classificação obtida, umaprótese virtual é controlada realizando quatro movimentosdiferentes: preensão, flexão do punho, extensão do punho etorção.

2. Materiais e métodos

Neste trabalho, foi utilizada uma rede LVQ com 5 unida-des de entrada (devido às 5 características analisadas, apre-sentadas na Seção 2.1) e um número variado de unidades declassificação (clusters). Foram testados diferentes númerosde unidades de classificação, obtendo-se resultados satisfa-tórios (eficiência média superior a 80%) com 80 unidades(20 unidades para cada classe de movimento). O cálculode eficiência utilizado será abordado mais detalhadamentena Seção 2.2. A Figura 1 apresenta a arquitetura da redeutilizada neste trabalho.

Figura 1. Arquitetura da rede LVQ utilizada.

2.1. Extração de características

Devido à complexidade do sinal EMG, como propostopor Herle [6], é necessário reduzir-se o tamanho do vetor de

entrada da rede neural. Para tal, a solução adotada neste tra-balho foi realizar a extração de características do sinal EMGmapeando-o em um vetor de menor dimensão, denominadovetor de características. Alguns estudos, como Englehart[3] e Zecca [16] propõe diferentes abordagens para se au-mentar a performance de classificação da rede a partir daredução dimensional do vetor de entrada.

Inicialmente, foi realizado o janelamento dos sinais ob-tidos, com o objetivo de se selecionar apenas intervalos quecontêm informações relevantes para o processamento. Osintervalos de janelamento foram determinados a partir daanálise visual de cada um dos sinais coletados, uma vez quefoi possível diferenciar facilmente os intervalos com infor-mações relevantes dos demais intervalos.

Após o janelamento, foi realizada a segmentação dos si-nais. Foram utilizados segmentos de 40 amostras, analo-gamente ao procedimento realizado por Herle [6]. Comoo comprimento da janela é diferente para cada movimentorealizado, obteve-se um número variado de segmentos paracada movimento (de 4 a 7 segmentos por movimento). Paratestar a capacidade de generalização da rede, foi criado umnovo segmento formado pelos valores médios de cada umadas característica observadas nos segmentos anteriores, paraum mesmo movimento.

Para cada segmento, foi realizada a extração das seguin-tes características: média dos valores absolutos (Mean Ab-solute Value - MAV), inclinação da média dos valores ab-solutos (Mean Absolute Value Slope - MAVS), cruzamentosem zero (Zero Crossing - ZC), alterações no sinal da incli-nação (Slope Sign Changes - SSC) e comprimento de formade onda (Waveform Length - WL) [7].

MAV representa a média dos valores absolutos dasamostras do segmento analisado. A Equação 1 é utilizadapara calcular este valor [7].

xi =1

S

S∑

m=1

|xm|, (1)

ondei = 1...I é o número do segmento,S é o númerode amostras por segmento exm é am-ésima amostra nosegmentoi.

A inclinação da média dos valores absolutos (MAVS)consiste na diferença entre a MAV de dois segmentos ad-jacentes, e é calculada pela relação [7]:

∆xi = xi+1 − xi, (2)

ondei ei+1 são dois segmentos adjacentes ei = 1...I−1.

O número de cruzamentos em zero (ZC) é uma medidade frequência que pode ser obtida contando-se o númerode vezes em que uma forma de onda corta a retay = 0.Um limiar foi incluído para se filtrar os cruzamentos emzero induzidos por ruídos. Assim como em Herle [6], neste


231

trabalho foi utilizado um limiarǫ = 10−6. O contador decruzamentosem zero é incrementado quando a condição

{xm > 0 exm+1 < 0} ou

{xm < 0 exm+1 > 0} e

|xm − xm+1| ≥ ǫ

(3)

é satisfeita para duas amostras consecutivasxm exm+1

[6].As alterações no sinal da inclinaçãoSSCpossibilitam

uma outra medida do conteúdo em frequência do sinal. Omesmo limiar utilizado no contador ZC foi aplicado ao con-tador SSC, que é incrementado quando a condição 4 é ver-dadeira para três amostras consecutivasxm−1, xm exm+1

[6].

xm > xm−1 exm > xm+1 ou

xm < xm−1 exm < xm+1 e

|xm − xm+1| ≥ ǫ ou |xm − xm−1| ≥ ǫ

(4)

O comprimento da forma de onda (WL) é utilizado parase analisar a complexidade da forma de onda em cada seg-mento. Este parâmetro consiste simplesmente no compri-mento cumulativo da forma de onda dentro do segmento emquestão. A Equação 5 fornece uma medida de amplitude,frequência e duração do segmento em um único parâmetro[7], [6]:

l =

S∑

m=1

|∆xm|, (5)

onde∆xm = xm−xm−1, sendoxm exm−1 duas amos-tras adjacentes.

2.2. Treinamento da rede

Após a extração de características dos sinais coletados,foram realizados alguns experimentos para se avaliar a in-fluência dos diversos parâmetros de configuração no treina-mento da rede neural. Os parâmetros analisados foram: nú-mero de unidades de classificação (clusters), taxa de apren-dizagem (α), tolerância e taxa de decaimento deα.

Nestes experimentos, após o treinamento da rede, estafoi testada tendo como entrada os padrões de treinamento.A partir dos resultados obtidos, foi calculada a eficiência darede para cada classe de movimento, correspondente à razãoentre o número de acertos e o número total de padrões detreinamento para aquela classe, como mostra a Equação 6.

E =Nacertos

Ntotal

(6)

Nestes experimentos, foramobtidos resultados satisfató-rios. Porém, a eficiência média obtida na classificação dos

segmentos não excedeu 86% (para 80 unidades de classifi-cação), o que representa um baixo rendimento em relaçãoaos resultados obtidos por Herle [6] para classificação demovimentos do braço.

Com o objetivo de se avaliar a influência de cada umadas 5 características extraídas do sinal no desempenho finalda rede, foram realizados testes com diferentes combina-ções das 5 características. Por exemplo, em um dos testes,foram utilizados somente aMAV e o ZC como parâmetrosde entrada. Em outro teste, foram utilizados os parâmetrosMAV, SSLe WL. No total, foram realizados 10 testes com2 parâmetros de entrada, 10 testes com 3 parâmetros de en-trada e 5 testes com 4 parâmetros de entrada. No entanto,em nenhum destes testes foi observada melhoria significa-tiva em relação aos primeiros testes realizados (utilizandotodos os 5 parâmetros de entrada).

2.3. Técnica de classificação utilizada

Buscando um aumento na eficiência da classificação dospadrões analisados, uma abordagem alternativa ao reconhe-cimento de um único segmento por vez foi adotada. Assimque a rede detecta um novo sinal de entrada, este é inicial-mente dividido em segmentos de 40 amostras cada. Em se-guida, cada segmento é classificado pela rede. Finalmente, arede classifica o sinal de entrada como pertencente à mesmaclasse da maioria dos segmentos analisados. A Figura 2apresenta um exemplo desta estratégia de classificação.

Na Figura 2, observa-se em (a) o sinal original. Em (b), osinal é segmentado e cada um dos segmentos é classificadopela rede. Finalmente, em (c), como 3 dos 5 segmentos(60%) foram classificados como pertencentes à classe 1, osinal é então classificado como pertencente à classe 1.

2.4. Ambiente de treinamento

Neste trabalho, foi desenvolvido um protótipo de aplica-ção que possibilita ao usuário a configuração e o teste deuma rede neural LVQ aplicada ao controle de uma prótesede mão em um ambiente virtual. Este protótipo é apresen-tado na Figura 3.

O braço virtual utilizado para representar a prótese nestetrabalho foi adaptado do modelo original desenvolvido porKator e Legaz [8], licenciado em Creative Commons 3.0[1]. Após a segmentação do modelo original, a partir dosrequisitos deste trabalho, foi adaptada uma armadura de 22ossos ao modelo virtual, para possibilitar a animação destemodelo nos 4 movimentos analisados. Esta armadura éapresentada na Figura 4.

A interação do paciente com o ambiente virtual de treina-mento é feita através da interface de classificação dos sinaisEMG. Quatro movimentos de mão são executados no am-biente virtual: preensão, extensão, flexão do pulso e torção.


232

Figura 2. Segmentação e classificação do si-nal.

Figura 3. Interface gráfica do protótipo de-senvolvido.

Figura 4. Armadura adaptada ao braço vir-tual.

Estes movimentos sãoapresentados na Figura 5.

Figura 5. Quatro movimentos abordados: (a)Preensão, (b) Extensão, (c) Flexão e (d) Tor-ção.

2.5. Arquitetura do protótipo desenvolvido

Para demonstrar a aplicabilidade do ambiente virtual detreinamento proposto neste trabalho, foi desenvolvido umprotótipo, cuja arquitetura é apresentada na Figura 6. Esteprotótipo é composto essencialmente por 3 módulos:

Figura 6. Arquitetura do sistema proposto.


233

• Aquisição: módulo responsável pela aquisição dos si-nais EMG, função implementadapelo eletromiógrafo.

• Processamento: extração de características, armazena-mento e classificação dos sinais eletromiográficos.

• Resposta: movimentação da prótese virtual de acordocom a classificação obtida no módulo de processa-mento.

Os sinais EMG coletados utilizando o eletromiógrafo fo-ram armazenados em disco. A seguir, um sistema de extra-ção de características realiza o processamento destes sinais,armazenando os resultados deste processamento (vetores decaracterísticas) em uma base de dados. Por fim, estes veto-res de características são usados para treinar uma rede neu-ral artificial. Uma vez treinada, a rede neural é capaz declassificar os vetores de características em sua entrada, con-trolando uma prótese de mão em um ambiente virtual. AFigura 7 apresenta 4 exemplos de vetores de características,cada vetor representando um dos movimentos.

Figura 7. Exemplos de vetores de caracterís-ticas.

3. Discussão dos resultados

O protótipo desenvolvido apresentou bom desempenhona classificação dos sinais analisados. No entanto, nestetrabalho foi realizada apenas a análise do sinal a partir deuma base de dados, não sendo contemplados a aquisiçãoe processamento de sinais em tempo real. Para aplicaçõesem tempo real, deve-se ressaltar o consequente aumento notempo de resposta resultante da estratégia de classificaçãoproposta neste trabalho. Isto porque o sinal só será efeti-vamente classificado após análise de um conjunto de seg-mentos. Este aspecto negativo não apresentou impacto con-siderável neste trabalho pois os resultados da segmentaçãoe da extração de características dos sinais (vetores de ca-racterísticas) foram armazenados em uma base de dados,dispensando-se a necessidade de re-processamento dos si-nais previamente processados.

Utilizando a técnica de classificação apresentada na Se-ção 2.3, em alguns dos testes realizados, a rede classificoucorretamente 19 dos 20 padrões analisados para um dos in-divíduos, atingindo uma eficiência de 95% na classificação.Deve-se ressaltar no entanto que este resultado foi obtidoutilizando-se um número grande de unidades de classifi-cação (20 unidades por classe, totalizando 80 unidades declassificação). Utilizando 40 unidades de classificação (10unidades por classe), não foram obtidos resultados com efi-ciência superior a 80% (16 dos 20 padrões classificados cor-retamente).


Neste trabalho, foram utilizadas redes neurais artificiaispara a classificação de sinais EMG, visando o controle deuma prótese de mão em um ambiente de Realidade Vir-tual. As técnicas utilizadas para extração de característicasdos sinais apresentaram resultados satisfatórios, permitindoà rede classificar os sinais analisados de forma rápida e comuma eficiência de até 95%.

A técnica de segmentação utilizada para classificaçãodos sinais neste trabalho possibilitou um aumento na efi-ciência do sistema de classificação. No entanto, deve-seressaltar que, para aplicações em tempo real, o tempo deresposta da rede pode não satisfazer aos requisitos tempo-rais do sistema (requisitos de resposta em tempo real). Umaanálise do desempenho desta técnica em sistemas em temporeal constitui uma interessante proposta para trabalhos futu-ros.

Ambientes virtuais de treinamento utilizados para si-mulação e controle de próteses mioelétricas possuemgrande aplicação nas áreas de saúde, mais especificamentecomo tecnologias assistivas em reabilitação pós-amputação.Além disso, estes ambientes constituem uma ferramenta au-xiliar de diagnóstico, acompanhamento e avaliação de usuá-rios em potencial deste tipo de prótese. A possibilidade dese integrar o protótipo apresentado a um sistema de bancode dados visando a geração automática de relatórios de trei-namento é um dos fatores que potencializam sua utilizaçãopor profissionais de saúde.

Como outras sugestões para trabalhos futuros, pretende-se investigar: a análise da contribuição de diferentes carac-terísticas dos sinais na fase de classificação; a extensão dosistema proposto a outros sinais (associados a outros tiposde movimento) e a comparação da eficiência de outras redesneurais na classificação dos sinais analisados.

Referências

[1] C. Commons. Creative commons atribuição 3.0). Disponívelem: <http://creativecommons.org/licenses/by/3.0/us/deed.pt_BR>, 2010. Acesso em: 21 ago. 2010.


234

[2] R. M. Costa and M. W. Ribeiro, editors.Aplicações deRealidade Virtuale Aumentada - Livro do pré-simpósio doSVR2009. SBC, Porto Alegre, 2009.

[3] K. Englehart, B. Hudgins, P. Parker, and M. Steven-son. Classification of the myoelectric signal using time-frequency based representations.Medical engineering &physics, 21(6-7):431–438, 1999.

[4] L. Fausett, editor.Fundamentals of neural networks: archi-tectures, algorithms, and applications. Prentice-Hall, Inc.,Upper Saddle River, NJ, USA, 1994.

[5] S. Haykin. Neural networks: a comprehensive foundation.Prentice Hall PTR Upper Saddle River, NJ, USA, 1999.

[6] S. Herle, P. Raica, G. Lazea, R. R., M. C., and L. Tamas.Classification of surface electromyographic signals for con-trol of upper limb virtual prosthesis using time-domain fe-atures.Proceedings of the 2008 IEEE International Confe-rence on Automation, Quality and Testing, Robotics, pages160–165, 2008.

[7] B. Hudgins, P. Parker, and R. Scott. A new strategy for mul-tifunction myoelectric control.IEEE Transactions on Bio-medical Engineering, 40(1):82–94, 1993.

[8] A. Kator and J. Legaz. 3d models - man in suit (armatured).Disponível em: <http://www.katorlegaz.com/3d_models/human_male/0143/index.php>, 2010. Acesso em: 21 ago.2010.

[9] D. Nishikawa, W. Yu, H. Yokoi, and Y. Kakazu. On-LineLearning Method for EMG Prosthetic Hand Control.Elec-tronics and Communications in Japan, pages 1510–1519,2001.

[10] K. L. Nogueira. O Uso de Técnicas de Realidade Virtuale Aumentada na Simulação de Prótese de Membros Superi-ores. Master’s thesis, Universidade Federal de Uberlândia,Uberlândia, Julho 2007.

[11] J. Pons, R. Ceres, E. Rocon, S. Levin, I. Markovitz, B. Saro,D. Reynaerts, W. Van Moorleghem, and L. Bueno. Vir-tual reality training and EMG control of the MANUS handprosthesis.Robotica, 23(03):311–317, 2005.

[12] F. Sebelius, M. Axelsson, N. Danielsen, J. Schouenborg, andT. Laurell. Real-time control of a virtual hand.Technologyand Disability, 17(3):131–141, 2005.

[13] A. Soares, A. Andrade, E. Lamounier, and R. Carrijo. Thedevelopment of a virtual myoelectric prosthesis control-led by an EMG pattern recognition system based on neu-ral networks. Journal of Intelligent Information Systems,21(2):127–141, 2003.

[14] Y. Su, M. H. Fisher, A. Wolczowski, G. D. Bell, D. J.Burn, and R. X. Gao. Towards an EMG-Controlled Prosthe-tic Hand Using a 3-D Electromagnetic Positioning System.IEEE transactions on instrumentation and measurement, pa-ges 178–186, 2007.

[15] P. Weiss, D. Rand, N. Katz, and R. Kizony. Video capturevirtual reality as a flexible and effective rehabilitation tool.Journal of NeuroEngineering and Rehabilitation, 1(1):12,2004.

[16] M. Zecca, S. Micera, M. Carrozza, and P. Dario. Controlof multifunctional prosthetic hands by processing the elec-tromyographic signal.Critical Reviews in Biomedical Engi-neering, 30(4-6):459, 2002.


235

Produção de um laboratório virtual para treinamento na utilização de

equipamento para captação de sinal biomédico.

Marcel Fadel Nagm1, Fabio José Parreira

1, Wender A. Silva

1, Luciano Ferreira Silva

1

1Faculdade de Ciência da Computação da Universidade Federal de Roraima (UFRR)


[email protected];

Abstract This article discusses about the software

BioVRML3d, whose focus are on handling and training

in the use of the electrocardiograph equipment (ECG).

The BioVRML3d was made with Virtual Reality

technology Non-immersive, with the intention to

provide a more intuitive, realistic, interactive and

consistent motivator for training, by computational

way as appropriate

1. Introdução O corpo humano, de acordo com a sua alteração

físico-química, fornece tipos distintos de sinais

elétricos provenientes de diferentes regiões. Estudiosos

comprovaram que cada sinal fornece inúmeros

indicativos aos profissionais da área médica para

detectar várias patologias, dentre elas destacam-se as

doenças cardíacas.

O coração trabalha em certo ritmo, com um

compasso determinado, podendo variar de acordo com

o esforço físico, emoções, alterações metabólicas, etc.

Dessa forma, quando um indivíduo está se exercitando,

o coração aumenta o ritmo do batimento, com o

objetivo de enviar maior quantidade de sangue para as

células exigido pelo esforço despendido [1].

Quando há uma alteração no ritmo normal do

coração, denomina-se arritmia [2]. Para detectar essas

arritmias utiliza-se um dispositivo chamado de

Eletrocardiograma (ECG), que capta os potencias

elétricos gerados pelo coração através de eletrodos

fixados na pele do paciente e registra este potencial em

forma de onda [3]

A Realidade virtual (RV) tem sido utilizada por

várias pesquisas [4], [5], [6], [7] com o emprego na

área médica. Pode-se definir RV como: “Uma interface

avançada para aplicações computacionais, que permite

ao usuário a movimentação (navegação) e interação em

tempo real, em um ambiente tridimensional, podendo

fazer uso de dispositivos multisensoriais, para atuação

ou feedback” [8].

A Realidade virtual (RV) tem sido empregada na

área médica pelo fato que a RV facilita e torna mais

intuitivo os processos de abstração e transmissão de

informações, pois ela mantém coerente ao modelo

mental humano os seus modos de interação e

representação [9]. Assim visto, é plausível intuir um

sistema computacional em RV que permita o

treinamento do posicionamento de eletrodos para

captação do sinal do eletrocardiograma.

2. Trabalhos Correlatos

2.1.Cybermed: Realidade Virtual Para Ensino

Médico.

O trabalho aborda um sistema de realidade virtual

voltada para o estudo de anatomia e procedimentos

gerais, algumas características bem interessantes foram

apresentadas pelo sistema como visão estereoscópica

(3D) e a possibilidade de observar os objetos através de

camadas semitransparentes (Figura 1). O sistema

apresenta formas de interação através de dispositivos

convencionais, mouse e teclado, e também através de

dispositivos hápticos que provem sensação de toque

[5].

Figura 1 – Sistema CyberMed

2.2. Sistema de processamento de sinais biomédicos:

ambiente de monitoração cardíaca em realidade

virtual

Este trabalho descreve a implementação de um

ambiente virtual de treinamento de monitoração

cardíaca, onde um paciente virtual é manipulado

através da disposição de eletrodos e terminais,

seguidos da captação do sinal de ECG em um monitor

cardíaco virtual. Tendo algumas limitações tais como a

falta de liberdade de manipular os eletrodos e explorar

o ambiente livremente. [7]


236

No presente artigo o aplicativo desenvolvido provê

a funcionalidade similar, mas provendo ao usuário uma

liberdade total sobre os eletrodos e ambiente onde está

se realizando o exame.

3. Arquitetura do Sistema O protótipo foi desenvolvido em uma arquitetura

em duas camadas, uma de apresentação e outra de

negócios, não sendo necessária uma camada de

persistência sendo que não é necessário nenhum

armazenamento de dados relacionados ao software. O

diagrama da arquitetura é apresentado na Figura 2.

Figura 2- Arquitetura proposta

A proposta da arquitetura (Figura 2):

1. GUI - Dentro deste módulo será por onde o usuário

irá interagir com o ambiente por meio de menus,

botões, do teclado e mouse;

2. Sistema de Customização - Neste módulo é feita a

customização do modelo inicial, ou seja, a seleção

do tipo de paciente e exame;

3. Carregador de Modelos - Neste módulo é descrito

a rotina para o carregamento dos modelos pré-

selecionados no sistema de customização e a

disposição deles dentro da cena tridimensional;

4. Centro de Controle

a. Verificador de Colisão - Neste módulo são

definidos os critérios de colisão, o objeto a ser

monitorado e as áreas passíveis de colisão;

b. Objeto Carregado - É o objeto propriamente

dito é convertido para o padrão da tecnologia a

ser utilizada dentro do programa;

c. Tratador de Entradas - É o módulo

responsável pelo tratamento de entradas como:

eventos relacionados ao mouse (Clique, arraste,

saída da tela da aplicação e etc) e teclas

pressionadas do teclado;

5. Painel de Verificação - Neste módulo são onde

são exibidos os status de cada eletrodo em relação à

posição correta de cada exame;

a. Verificador de Posição - Onde são verificados

os plugs e seus status e marcados dentro dos

objetos os seus status;

3. Desenvolvimento do Sistema O desenvolvimento se deu em três etapas:

Levantamento Bibliográfico;

Modelagem do Ambiente;

Codificação do Sistema;

Na etapa de levantamento bibliográfico foi

analisado o procedimento de eletrocardiograma e os

critérios a serem observados durante a sua execução.

Na etapa de modelagem foi criado os objetos

tridimensionais no software 3ds Max 2009, dentre

estes se destaca o aparelho eletrocardiógrafo, os

objetos da cena e o todo consultório, e criaram-se as

texturas das partes integrantes do ambiente.

Além disso, foram importados do software Avatar

Studio os avatares e editados no Vivaty Studio devido

a erros de leitura pela biblioteca VRML97, que não

suporta animações, disponível no Java3D.

Na codificação foi utilizada a linguagem de

programação Java para controle da aplicação e Java3D

para renderização 3D, e para a descrição dos modelos a

linguagem VRML.

O protótipo foi subdivido em dois pacotes

dividindo as camadas de apresentação e negócios

(Figura 3).

Figura 3- Principais classes e os seus relacionamentos

com a GUI.

As camadas de apresentação e negócios se

comunicam através da classe My_VRML. Houve

algumas limitações em relação à renderização de

polígonos mediamente detalhados (cerca de 3500

pontos) e a biblioteca de mouse da API Java3d

responsável pela movimentação dos objetos na cena se

mostrou desproporcional sendo requisito fundamental

para o sistema uma movimentação precisa através do

mouse.

A partir disso programou-se uma classe responsável

por esta movimentação através de cálculos de

proporcionalidades entre a área de exibição da cena 3D

relacionada com a altura do observador e área virtual,

sendo a classe limitada a movimentação 2D e sua

componente 3D sendo controlada pelo Wheel do

mouse.


237

4. Funcionamento do Sistema Ao iniciar o sistema (software) tem-se uma

mensagem exibida advertido aos usuários iniciantes

sobre a possibilidade de se obter ajuda em relação ao

uso e simulação no protótipo.

E em seguida ocorre o carregamento da GUI,O

usuário pode iniciar o exame pressionando o botão

“Iniciar Exame”. Caso nunca tenha se utilizado há um

menu na barra de ferramentas intitulado “Ajuda” por

onde se tem acesso a diversos tópicos em relação ao

software e ao conteúdo abordado.

Temos como as principais funções:

Como Proceder no exame? : nesta parte é

apresentado um menu onde se descreve passo-a-

passo a forma como é feita a utilização do sistema

(Figura 4) e descrita detalhadamente como se

executa.

Figura 4 - Menu de ajuda do procedimento no

software

Sobre menu “visão”: onde há uma explicação para

cada tipo de câmera: 1ª pessoa, onde há uma

movimentação do usuário dentro do mundo virtual

de modo que estivesse presente no ambiente, e o

modo Colocação de Plugs, onde o usuário pode

iniciar a colocação dos plugs no paciente;

Video-aula [Externo]: É executado um vídeo-aula

externo ao programa explicando o procedimento

de posicionamento do eletrocardiograma;

Resumo Posição [Externo]: É exibido um vídeo

com o resumo das posições no exame, também

externo ao programa;

Após ter consultado a forma de proceder, o

usuário deve selecionar o botão “Iniciar exame” e será

exibido a cena 3d inicial do software com o ambiente

3d e a esquerda e o painel de verificação de eletrodos

(Plugs) (Figura 5).

Figura 5 - Ambiente Carregado do BioVRML3d

Deve-se mudar a câmera para o modo “Colocação de

plugs” pressionando a tecla “F3”, que será recolocada e

assim é habilitada a colocação dos plugs (Figura 6).

Figura 6 - Modo "colocação de plugs"

Após se dar um clique no botão “Adiciona Plug” é

carregado na cena o objeto Plug, sendo o seu

movimento através do mouse, com o clique esquerdo

para selecionar e direito desfazer a seleção do plug. O

plug move conforme o movimento do mouse e pode-se

regular a altura com o Whell do Mouse, desta forma

“converte-se” um dispositivo 2D em 3D. Além do

mouse pode-se optar pelo uso do teclado, que tem as

seguintes teclas cadastradas para os movimentos do

plug:

Teclas direcionas (esquerda e direita) – regulam a

componente x do eletrodo;

Teclas direcionas (para cima e para baixo) –

regulam a componente y do eletrodo;

Teclas PgUp e PgDown – regulam a componente z

do eletrodo;

Teclas “A” e “D” – Regulam rotação no eixo y;

Teclas “W” e “S” – Regulam rotação no eixo z;

Tecla “X” – Restaura posição inicial;

Ao mover o plug para uma das posições

corretas obtém-se um sinalizador verde informando

qual das posições está correta (Figura 7), o final do

exame se dá quando todos os sinalizadores estivem

verdes (Figura 8).

Figura 7 - Painel de verificação indicando posição

correta


238

Figura 8 - Configuração Correta do Exame

O software conta ainda com o um modo de

exploração 1ª Pessoa (Figura 9) para o usuário explorar

a cena 3d, para tanto, basta pressionar a tecla “F2”.

Neste modo de câmera a interação se dá pelo mouse e

pelo teclado, onde tem-se o seguinte mapa de teclas:

Setas do teclado - movimenta a câmera;

Teclas "A” e “D” - rotação na horizontal da

câmera;

Teclas "W” e “S” - rotação na vertical da câmera;

Tecla “Ctrl” - Habilita/Desabilita a orientação da

câmera pelo Mouse;

E Tecla "Esc” - Restaura a orientação inicial da

câmera;

Neste modo de câmera não foi desenvolvido

sensor de colisão, sendo este apenas para conferência

da localização dos plugs e exploração do ambiente.

Figura 9 – Câmera1ª pessoa

4. Considerações Finais Este Artigo apresentou um aplicativo em RV

voltado para o treinamento do manuseio do aparelho de

ECG, BioVRML3d. Observou-se que umas das

tecnologias utilizadas, Java 3d, possui muitas

ferramentas de interação, mas estas são pouco

customizáveis. Desta forma, optou-se pela criação de

procedimentos e classes próprias.

A API Java 3d provê uma maneira de alto nível de

descrição da cena 3d, isso contribuiu para um reuso de

grande parte do código para diversas partes do

software.

Outro fato importante a ser observado é que para

colisões, utilizando a geometria dos objetos, foi

ineficiente se comparadas a colisões baseadas em

áreas. Além disso, a biblioteca responsável pela

importação dos objetos (formato VRML) se mostrou

instável, não ocorria a importação, ao se deparar com

modelos animados, isso levou a necessidade da edição

destes modelos por meio de programas específicos para

o formato VRML (Vivaty Studio).

O software foi utilizado por um profissional de

saúde, que o considerou satisfatório para uso. Mas para

avaliar o software, em trabalhos futuros, o mesmo será

aplicado a um público especializado, alunos e

profissionais da área saúde, com intuito de analisar os

pontos positivos e negativos do sistema, ou seja, a

efetividade do software e realizar as modificações

necessárias na sua estrutura para adequação a realidade

dos profissionais.

4.1. Contribuições da Pesquisa

Este artigo vem contribuir por meio de uma aplicação

de treinamento no manuseio do equipamento

biomédico, eletrocardiógrafo, auxiliando os

profissionais da área da saúde para um melhor preparo.

5. Referências

1. Mackay J., Mensal, G. A. The Atlas of Heart

Disease and Stroke. Switzerland: World

Health Organization, 2004. 112 p.

2. Eugene, Braunwald, Tratado de Medicina

Cardiovascular , 4 ed. Espanha : Roca , 1996.

1v .

3. Mauro, Muniz, Rafael ,Luna,

Eletrocardiografia Clinica, Editora Guanabara

Koogan, 1972.

4. Pavarini, L., Nunes , F. L. S., Oliveira A. C.

T. G., Botega L.C. , Bezerra A. ,

“DefApliMed – Sistema de Deformação para

Aplicações Médicas com base no método

Massa-Mola utilizando a API Java 3D” ,

Centro Universitário Eurípides de Marília ,

Marília, Maio de 2006.

5. Machado L.S., Campos S.F., Cunha I.L.L.

,Moraes R.M.. “Cybermed: realidade virtual

para ensino médico”, Dissertação, 2007,UFPB

6. Cunha, Í.L.L., Monteiro, B.S., Moraes, R.M.,

Machado, L.S. “AnatomI 3D: Um Atlas

Digital Baseado em Realidade Virtual para

Ensino de Medicina” , Proc. SVR 2006, 2006,

p.3-14.


239

7. Santos, Felipe Chaves. “Sistema de

processamento de sinais biomédicos:

ambiente de monitoração cardíaca em

realidade virtual”. Dissertação de Mestrado,

Florianópolis, 2009, UFSC.

8. Claudio, Kirner, Romero, Tori, , Robson,

Siscouto. Fundamentos e Tecnologia de

Realidade Virtual e Aumentada, Livro do Pré-

Simplósio, VIII Symposium on Virtual

Reality, 2006 ,p.12.

9. Bullinger, H. J., F. Müller-Spahn e A. Rößler.

“Encouraging Creativity - Support of Mental

Processes by Virtual Experience”. Virtual

Reality World 1996, IDG conferences &

seminars 1996.


240

SESSÃO TÉCNICA 12

DESENVOLVIMENTO


241

!"#$%$&'()*+,-*"./01$&'+,'23$&'#'+,',*3*.*40"+,1*'$+,*.,'23$&'()*+,#*,56

Crystian Wendel M. Leão!, João Paulo Lima!, Veronica Teichrieb!, Eduardo S.

Albuquerque", Judith Kelner!

!Centro de Informática Universidade F ederal de Pernambuco

{cwml, jpsml, vt, jk }@cin.ufpe.br

"Instituto de Informática Universidade F ederal de Goiás

[email protected]

Resumo

Aplicações de RA (Realidade Aumentada) são as que sobrepõem objetos virtuais em uma cena real no contexto correto, visando adicionar informação para o usuário final. O presente trabalho se propõe a desenvolver uma aplicação capaz de simular modificações em objetos reais presentes em aplicações de RA. É proposta uma abordagem para simular a modificação de objetos reais em aplicações de RA, através da sobreposição de um objeto com uma réplica 3D propositalmente modificada do mesmo. O trabalho utiliza técnicas de textura dinâmica e de Inpaint para aprimorar a resposta visual da modificação realizada. Os resultados obtidos são satisfatórios tanto em relação ao realismo da alteração do objeto real como em relação à performance da aplicação.

1. Introdução

Aplicações de RA (Realidade Aumentada)

inserem objetos virtuais em uma cena real, exibidos

através de projeção [1], de um display comum [2], ou

de algum tipo de HMD (Head Mounted Display) [3],

enquanto aplicações de Realidade Diminuída

(Diminished Reality) removem objetos de uma cena

real, para mostrar informações que antes estavam atrás

do objeto removido [4]. Ainda segundo [4], as informações utilizadas para

remover o objeto podem ser obtidas através do uso de

câmeras múltiplas, ou através de uma única câmera,

mas utilizando informações de quadros anteriores ao

atual. Já em [5], vemos uma abordagem que utiliza

uma técnica de Inpaint como heurística para sintetizar

as imagens do background, utilizando apenas

informações presentes no quadro atual. Em [6], um estudo sobre realismo em aplicações

de RA é feito, e segundo o autor, para um bom

resultado em aplicações de RA com realismo, três

aspectos devem ser respeitados pelos objetos virtuais

inseridos: forma, aparência e comportamento. A forma

pode ser respeitada mantendo as proporções do objeto

de acordo com as proporções da cena onde o mesmo é

inserido. A aparência do objeto é realista se respeitar a

iluminação da cena real, seja utilizando texturas ou

esquemas complexos de iluminação, como BRDFs

(Bidirectional Reflectance Distribution Functions) ou

IBL (Image Based Lighting). E, por último, o

comportamento do objeto inserido é realista se a

interação do mesmo com a cena estiver coerente, seja

em relação à oclusão, às sombras causadas pelo objeto

virtual nos reais, ou até mesmo as interações de

colisões entre corpos virtuais e reais. Este trabalho foca no aspecto comportamental do

realismo em aplicações de RA, desenvolvendo um

sistema capaz de simular modificações em objetos

reais, em tempo real, visando prover um meio realista

de interação entre objetos virtuais e reais. Esta

modificação é realizada por meio da sobreposição do

objeto a ser modificado na imagem com uma réplica

virtual 3D do mesmo, devidamente texturizada, e com

um nível de realismo visual aceitável, para que o

usuário da aplicação não consiga detectar que o objeto

modificado é uma réplica. Uma aplicação possível para o trabalho proposto é

um jogo, onde os objetos virtuais inseridos possam

interagir com os objetos reais modificáveis,

deformando os mesmos. Isto pode ser feito, por

exemplo, com o auxílio de algum motor de física. Tal

interação aumenta o nível de realismo do jogo, pois o

objeto virtual estaria interagindo de forma coerente

com o cenário real, e de uma forma que apenas objetos

reais poderiam interagir. Dentre os trabalhos relacionados com este,

destaca-se o trabalho de [7], que utiliza uma técnica de

Inpaint para remover os marcadores que estavam

originalmente pintados em um tecido. Deve-se também


242

citar o trabalho de [8] onde, em um dos experimentos do framework desenvolvido, é criada uma aplicação que detecta o plano dominante da cena através de uma técnica denominada PTAM, e sobrepõe o mesmo com um plano virtual, com a aplicação de uma textura obtida da cena real, de maneira similar à realizada neste trabalho. Um vídeo da aplicação descrita pode ser visto em [9].

O restante do trabalho é organizado da seguinte forma: na seção 2, é introduzida a técnica desenvolvida, apresentando o funcionamento da mesma de uma forma geral. Na seção 3 a técnica implementada é apresentada em detalhes, discorrendo mais aprofundadamente sobre cada uma de suas etapas. Na seção 4 são apresentados e discutidos os resultados obtidos. Finalmente, a seção 5 apresenta as conclusões e sugestões de trabalhos futuros.

2. T écnica Desenvolvida

Como descrito anteriormente, a técnica

desenvolvida consiste em simular a modificação de objetos reais em aplicações de RA, por meio da sobreposição do mesmo com uma réplica 3D propositalmente alterada, com um nível de realismo aceitável, para que o usuário realmente acredite que um objeto real foi modificado.

Para tal realismo ser alcançado, escolhemos usar uma abordagem simples, que consiste em mapear sobre a réplica 3D do objeto uma textura que é obtida da própria imagem do objeto em tempo real. Esta abordagem foi escolhida principalmente pela simplicidade, e porque dependendo da modificação realizada no modelo a ser projetado, o realismo na iluminação do objeto projetado é aceitável.

A aplicação guarda em memória um modelo 3D no formato exato do objeto rastreado para poder calcular as coordenadas de textura que serão utilizados, e guarda também um modelo com a geometria modificada, que é o modelo a ser projetado na imagem final. É importante ressaltar que o modelo modificado consiste no mesmo modelo do objeto, apenas com posições de vértices alteradas.

Note que a modificação realizada no objeto pode fazer com que porções do objeto projetado cubram áreas que antes eram background, e similarmente pode fazer com que áreas do objeto original fiquem visíveis.

Partes do objeto original, quando visíveis, podem comprometer a coerência da cena, e por isso é utilizada uma técnica de Inpaint, como em [7], para preencher estas porções que possivelmente ficariam a mostra. Na aplicação é demarcada a área na imagem onde o objeto está, e o Inpaint é aplicado na área inteira, removendo, desta forma, o objeto da cena.

Técnicas de Inpaint são bastante conhecidas, e tem como objetivo recuperar pequenas partes danificadas em imagens [10]. Abordagens como a de [10] e [11] têm implementações disponíveis na biblioteca de visão computacional OpenCV (Open Computer Vision Library) [12], mas são lentas do ponto de vista computacional, impedindo o uso destas implementações pelo presente projeto. Devido a isto, uma técnica de Inpaint simples foi implementada, como descrita em [7], para melhorar o tempo de execução do sistema.

Após a realização destas etapas, pode-se projetar o modelo modificado do objeto, com a textura dinâmica apropriadamente aplicada sobre o mesmo, no local onde o objeto foi inicialmente rastreado.

A Figura 1 mostra o processo desenvolvido neste trabalho como um todo. A próxima seção detalha estas etapas.

Figura 1. Etapas da técnica desenvolvida.

3. O sistema Descreve-se a seguir as etapas do sistema proposto

em detalhes.

3.1. Rastreamento Uma etapa crucial no sistema é o rastreamento.

Nesta etapa, o objetivo principal é obter a posição da câmera no mundo, para a inserção correta dos objetos virtuais na cena.

Para o rastreamento do objeto a ser modificado, qualquer técnica de rastreamento que pudesse discernir entre objetos diferentes poderia ser utilizada, tanto técnicas com marcador, como sem marcador (tais como as baseadas em modelo, ou em textura).


243

Neste trabalho, a técnica escolhida foi baseada em

marcador, utilizando a biblioteca ARToolKit [13].

Como objeto a ser modificado, foi utilizado um

cubo simples de madeira, com um marcador fixado em

sua parte superior, como ilustrado na figura 2.

Figura 2. Objeto utilizado para testes do

sistema.

O modelo 3D que será utilizado para sobrepor o

objeto em questão é de extrema importância para esta

alteração, pois visto que as alterações são apenas

translações individuais nos vértices do objeto, para

termos deformações complexas, é necessária uma

malha de pontos relativamente densa. No exemplo,

cada face do objeto é representada como uma malha

com 16 quadrados.

3.2. Aplicação da textura

Após o objeto ser rastreado na imagem de entrada,

a próxima etapa consiste em aplicar uma textura sobre

o modelo 3D que irá sobrepor o mesmo.

A abordagem de se utilizar uma textura dinâmica,

obtida em tempo real da própria imagem do objeto, é

adotada como alternativa simples para ter um nível

satisfatório de realismo. Uma abordagem que utilizasse

textura estática, e algum esquema de BRDF ou IBL

para cálculo de iluminação sobre o objeto, poderiam ter

sido utilizados como em [2], mas pela simplicidade de

implementação foi adotada a primeira alternativa.

Esta etapa de aplicação de textura consiste em

utilizar a imagem de entrada como textura, mapeando

corretamente as coordenadas de textura nesta imagem.

Para isto, simplesmente projeta-se cada ponto do

polígono não deformado sobre a imagem, e a

coordenada de tela obtida no processo é utilizado como

coordenada de textura. A figura 3 mostra o polígono

projetado sobre a imagem, na etapa de cálculo das

coordenadas de textura.

Figura 3. Objeto original sendo projetado na

imagem para o cálculo dos vértices de textura.

3.3. Inpaint

Como dito anteriormente, uma técnica de Inpaint se vê necessária para tratar os casos onde o objeto real

não é encoberto completamente pelo objeto virtual.

A aplicação de uma técnica de Inpaint na imagem

de entrada pode ser dividida em duas etapas básicas:

primeiro, cria-se uma máscara, do mesmo tamanho da

imagem original, monocromática, com pixels com

valor diferente de zero onde a técnica de Inpaint deve

ser aplicada, e valor zero caso contrário; em uma

segunda etapa aplica-se o Inpaint na imagem, tendo

como referência a máscara criada na etapa anterior.

3.3.1. C riação da máscara. Para a criação da máscara,

foi utilizada uma abordagem simples, e rápida, pois é o

próprio OpenGL [14] que a cria.

A idéia principal nesta etapa é desenhar a cena em

um buffer auxiliar, com o fundo preto, e o objeto

projetado na cor branca, e após isto, com um comando

!"#$%&'()$"* temos a nossa máscara criada.

Devido às imperfeições no rastreamento, a

máscara criada nesta etapa pode estar levemente

deslocada do objeto real, deixando assim parte do

mesmo de fora do algoritmo de Inpaint. Para resolver

este problema, criou-se uma máscara 10% maior para

que, mesmo com os erros de rastreamento, o Inpaint aplicado seja bem sucedido. A figura 4 mostra uma

imagem do objeto, e a máscara criada a partir da

mesma.

3.3.2. Técnica de Inpaint. A técnica aqui

implementada, como apresentada em [7], é simples e

pode ser descrita em uma única frase: !Move-se uma

máscara de tamanho 3x3 sobre a área onde o Inpaint deve ser aplicado em um espiral decrescente, sempre


244

calculando o valor de um pixel como a média dos seus

vizinhos válidos.!"

Figura 4. A imagem mostra o cubo, e a

máscara criada pelo algoritmo de Inpaint.

Ou seja, a técnica descrita consiste em varrer a

máscara a procura de pixels com valor diferente de

zero, e assim que encontrado, cria-se uma máscara 3x3,

centrada no pixel que se deseja descobrir a cor. Então

se caminha com esta máscara no sentido horário,

sempre pela borda da área em questão, calculando o

valor do pixel sempre que possível, caso contrário

simplesmente passando para o próximo. Um pixel é

válido para o cálculo da cor de um vizinho se o seu

valor correspondente na máscara for igual a zero, e

sempre que o valor de um pixel é calculado, é atribuído

zero ao seu valor correspondente na máscara. Com

isso, percorre-se a área onde o polígono estava inserido

completamente.

A figura 5 mostra os resultados obtidos com o

Inpaint implementado, e compara com resultados do

Inpaint descrito em [10].

Figura 5. Na esquerda, o Inpaint descrito em [10]. Na direita, o Inpaint implementado neste trabalho. O quadro em baixo mostra o quadro

de entrada.

!

3.4. Reprojeção

Após a textura dinâmica ser carregada em

memória, ser corretamente associada aos vértices do

objeto e o Inpaint ser aplicado na imagem, pode-se

reprojetar o modelo 3D objeto com a sua geometria

modificada na cena, utilizando as coordenadas de

textura obtidas. Esta etapa é trivial, se tratando apenas

de desenhar uma figura qualquer em OpenGL, com

aplicação de textura. !

4. Resultados Obtidos

Os resultados obtidos foram bastante satisfatórios

no que diz respeito à simulação da modificação

aplicada no objeto. A figura 6 mostra os principais

resultados.

Alguns problemas foram encontrados, no que diz

respeito à sombra do objeto, que continua sendo a

sombra do objeto original, e às vezes distorcida pelo

Inpaint aplicado. Também foram encontradas

dificuldades com a deformação aplicada, pois se a

deformação mostrar uma face do objeto que não está

visível na imagem original, haverá uma falsa textura

aplicada sobre o mesmo, como ilustra a figura 7. A

iluminação das faces do cubo é a iluminação original

das faces, ou seja, se uma face mudar sua direção em

relação à fonte de luz, a iluminação não estará correta.

Com relação ao tempo de execução, tem-se um

gargalo apenas na etapa do Inpaint. No entanto, na

máquina de teste (Pentium Dual Core 2.4 GHz, NVidia

GeForce 8800 GTX), obteve-se uma taxa média de 15

fps com o Inpaint desenvolvido, contra 7 fps com o

Inpaint de [10].


O trabalho desenvolvido experimentou a interação

entre objetos reais e virtuais através de uma abordagem

baseada em modificação geométrica, com o objetivo de

aumentar o realismo de aplicações de RA. Os

resultados obtidos são promissores podendo ser

considerados bons no que diz respeito ao realismo da

alteração do objeto real, e razoáveis em relação à

performance da aplicação como um todo.

Em trabalhos futuros, poderia ser implementada

uma alternativa à textura dinâmica para o realismo da

modificação utilizando um processo como descrito em

[2]. Adicionalmente uma alternativa com texturas

estáticas poderia ser analisada. Alternativas à técnica

de Inpaint utilizada aqui, que consigam executar em

tempo real poderiam ser comparadas com os do

presente trabalho.


245

Figura 6. As figuras mostram

modificações aplicadas ao objeto.!

Figura 7. A esquerda, a cena original, e a

direita, a cena modificada. Note que na cena original, a face superior do objeto está ocluída

pelo mesmo, e na cena modificada a face superior é exibida, com uma textura incorreta.

Outras propostas de continuação do presente

trabalho incluem o desenvolvimento de uma aplicação

que utilize algum motor de física, por exemplo, para

fazer uma simulação realista da deformação sofrida

pelo objeto após uma colisão. O desenvolvimento de

um jogo também é uma aplicação prática do presente

trabalho, que teria o realismo, no que diz respeito a sua

interação com o mundo real, aprimorado.

6. Referências

[1] J. C. Lee, S. E. Hudson, J. W. Summet, and P. H. Dietz,

"Moveable interactive projected displays using projector

based tracking," in 18th annual ACM symposium on User interface software and technology, 2005, pp. 63-72.

[2] S. Pessoa, G. Moura, J. Lima, V. Teichrieb, and J. Kelner,

"Photorealistic rendering for Augmented Reality: A global

illumination and BRDF solution," in Virtual Reality Conference (VR), 2010 IEEE, 2010, pp. 3-10.

[3] J. M. Teixeira et al., "miva: Constructing a Wearable

Platform Prototype," in IX Symposium on Virtual and Augmented Reality, Petrópolis, 2007, pp. 68-76.

[4] J. P. S. M. LIMA et al., "Applications in Engineering

Using Augmented Reality Technology," in XXIX Iberian Latin American Congress on Computational Methods in Engineering, Maceió, AL, Brasil, 2008.

[5] T. Hosokawa, S. Jarusirisawad, and H. Saito, "Online

video synthesis for removing occluding objects using

multiple uncalibrated cameras via plane sweep algorithm," in

Third ACM/IEEE International Conference on Distributed Smart Cameras, 2009., 2009, pp. 1-8.

[6] S. A. PESSOA et al., "Illumination Techniques for

Photorealistic Rendering in Augmented Reality," in X Symposium on Virtual and Augmented Reality, João Pessoa,

PB, Brasil, 2008, pp. 223-232.

[7] D. Bradley, G. Roth, and P. Bose, "Augmented reality on

cloth with realistic illumination," Mach. Vision Appl., vol.

20, 2009, pp. 85-92.

[8] G. Klein and D. Murray, "Parallel Tracking and Mapping

for Small AR Workspaces," in 6th IEEE and ACM International Symposium on Mixed and Augmented Reality,

Washington, DC, USA, 2007, pp. 1-10.

[9] Parallel Tracking and Mapping for Small AR Workspaces

- Youtube results videos.

http://www.robots.ox.ac.uk/~gk/youtube.html, 2010.

[10] A. Telea, "An Image Inpainting Technique Based on the

Fast Marching Method," journal of graphics, gpu, and game tools, vol. 9, 2004, pp. 23-34.

[11] W. Au and R. Takei, "Image inpainting with the Navier-

Stokes equations," Simon Fraser University, Burnaby, B.C.

Canada, 2002.

[12] Open Computer Vision Library.

http://sourceforge.net/projects/opencvlibrary/, 2010.

[13] ARToolKit. http://www.hitl.washington.edu/artoolkit/,

2010.

[14] OpenGL - The Industry's Foundation for High

Performance Graphics. http://www.opengl.org/, 2010.


246

Aplicacoes baseadas em Grafo de Cena – uma abordagem estrutural paracriterios de teste

Adriano BezerraUniversidade de Sao Paulo (ICMC-USP)

Sao Carlos - SP - [email protected]

Marcio E. DelamaroUniversidade de Sao Paulo (ICMC-USP)

Sao Carlos - SP - [email protected]

Fatima L. S. NunesUniversidade de Sao Paulo (EACH-USP)

Sao Paulo - SP - [email protected]

Abstract

Virtual Reality applications are developed for variousareas. In general, the development of these application doesnot include a phase for testing or, at most, only evaluationwith users is conducted. The software testing activity hasbeen receiving great attention from researchers and soft-ware engineers who recognize its increasingly usefulness increating quality products. However, testing is expensive anderror-prone, which imposes the need to systematize and, asa consequence, the definition of techniques for increasingthe quality and productivity in its conduction. Several tes-ting techniques have been developed and have been used,each of them with its own characteristics in terms of effec-tiveness, cost, phases of aplication etc. In addition, specificareas require these techniques to be adapted or even the de-velopment of specific techniques. In this article we proposethe study and definition of testing criteria based on SceneGraph for Virtual Reality applications in order to contri-bute to their quality.

1. Introducao

A atividade de teste de software e considerada funda-mental no contexto da Engenharia de Software [5]. Usu-almente, 50% do tempo e do custo de desenvolvimento deum sistema sao gastos com atividades de teste e correcaode problemas [17]. Um defeito encontrado em fase deproducao pode custar ao desenvolvedor cem vezes o valorde correcao em relacao a fase de requisitos. Assim, quantomais tarde e encontrado um erro, mais caro e o custo paracorrigi-lo [20]. O National Institute of Standards and Te-

chnology (NIST) estima que, somente nos Estados Unidos,durante o ano 2000, o prejuızo associado a insuficiencia narealizacao das atividades de teste de software foi de aproxi-madamente U$59 bi [6].

Nesse contexto, as atividades de teste deveriam estar pre-sentes em todos os tipos de projetos de software. Todavia,dentro do contexto das pesquisas cientıficas em ciencia dacomputacao, esta pratica nao e comum [27]. A fim de veri-ficar como os trabalhos descritos nos artigos sao validados,uma pesquisa foi realizada por Zelkowitz e Wallace [31].A pesquisa relatou que metades dos artigos publicados em1998 tinham nıvel de avaliacao insuficiente. Em 2009, Wai-ner et al. [29], retomaram a analise quantitativa realizadapor Tichy et al. [27] em 1993, avaliando 147 artigos publi-cados em 2005. Os pesquisadores concluıram que 33% daspropostas de projetos ou modelagens no contexto pesqui-sado nao apresentaram nenhum tipo de avaliacao.

No desenvolvimento de sistemas nao convencionaiscomo os que utilizam a Realidade Virtual (RV) necessita-se explorar com maior intensidade suas atividades de testee avaliacao, sendo de vital importancia, principalmentequando se trata de aplicacoes para treinamento de procedi-mentos ou habilidades. Uma analise exploratoria realizadapor Nunes et al. [18], visou a identificar o tipo de avaliacaorealizado em aplicacoes de RV. Dos artigos produzidos nasedicoes de 2008 e 2009 do Symposium on Virtual and Aug-mented Reality (SVR), mais de 55% dos artigos nao con-templavam algum tipo de teste ou avaliacao. Embora o es-tudo nao tenha a pretensao de fornecer uma analise apro-fundada na questao, ha fortes indıcios que comprovam anecessidade de testes e avaliacoes em tais sistemas.

A aplicacao de tecnicas e criterios de teste durante todasas fases de desenvolvimeto de software nao pode garantir a


247

ausencia de defeitos. Na maioria dos casos e impraticavel autilizacao de todo o domınio possıvel de dados de entradapara avaliar as caracterısticas funcionais e operacionais dosistema sendo testado. Assim, e importante que se foque nacriacao de um subconjunto de casos de teste eficaz que pos-sua alta probabilidade de detectar o maior numero possıvelde defeitos [16].

Diversas tecnicas e criterios de testes foram definidos ecada uma tem particularidades em termos de custo, aplica-bilidade e efetividade. Criterio de teste pode ser definidocomo o tipo de “regra” utilizada para identificar ou avaliardados que devem ser utilizados para testar um programa [9].

Alguns trabalhos exploram caracterısticas especıficas dedomınios de aplicacao e podem requerer a adaptacao dessastecnicas ou mesmo a criacao de tecnicas especıficas paratais domınios. Spoto et al. [25], por exemplo, propoe umatecnica para identificar definicao e utilizacao de variaveispersistentes em aplicacoes de banco de dados relacional eum conjunto de criterios estruturais de teste de unidade ede integracao. Lemos et al. [13] definem criterios estrutu-rais para lidar com caracterısticas especıficas de programasorientados a aspecto. Delamaro et al. [10] discutem comousar as caracterısticas da analise de bytecode Java e comoestende-la para a implementacao de criterios de teste estru-turais para dois domınios especıficos: programas orientadosa aspectos e aplicacoes de banco de dados. Neste contexto,este artigo explora o domınio de aplicacao que sao os siste-mas de RV.

Em sistemas de RV, Grafos de Cena (GC) sao estrutu-ras de dados organizadas em classes, nas quais, por meio dehierarquia de objetos e atributos, pode-se especificar cenascomplexas. Cada objeto ou atributo e representado por umno, que possui informacoes sobre sua aparencia fısica, den-tre outras caracterısticas [30]. Assim, e possıvel ver um GCcomo um modelo e uma abstracao de um programa de RVe, portanto, pode-se pensar na utilizacao de criterios de testeque utilizem esse modelo para derivar requisitos e dados deteste. Semelhante a criterios estruturais, e possıvel utilizaro GC para selecionar estruturas a serem exercitadas durantea atividade de teste.

Neste artigo discute-se como estabelecer criterios deteste baseados no GC abordando a tecnica de teste estru-tural. Apresentam-se, tambem, aspectos da automatizacaoda aplicacao desses criterios por meio de uma ferramentade teste. Nesse contexto, o restante do artigo esta organi-zado da seguinte forma: a Secao 2 apresenta conceitos deteste de software aplicados em RV, na Secao 3 discutem-seos criterios de teste baseado em GC, na Secao 4 sao apre-sentados aspectos relativos a automatizacao desses criteriose, por fim, na Secao 5, sao feitas as consideracoes finais.

2. Conceitos de teste de software

O desenvolvimento de um software nao e uma tarefa tri-vial. Pelo contrario, pode tornar-se bastante complexa, de-pendendo do sistema a ser criado. Assim, podem surgirdiversos problemas durante sua implementacao que acar-retam a obtencao de um produto diferente daquele que seesperava [9]. O conceito de qualidade e um fator essencialno desenvolvimento de software, muito se tem investido napesquisa na area de teste de software [3, 21, 16].

No ambito da RV, a literatura nao apresenta trabalhos queexplorem algum tipo de criterio de teste bem definido. Oque se encontram sao trabalhos que utilizam a tecnologia deRV para realizar testes, simulacoes, analises, visualizacoesentre outras opcoes que a RV oferece [12, 28, 23, 4, 14].

Segundo Delamaro et al. [9], um criterio define requi-sitos de teste e os dados que satisfazem esses requisitossao os que devem ser selecionados. Dado de teste de umprograma, e o elemento do domınio de entrada do mesmo.Domınio de entrada pode ser entendido como possıveis va-lores que um parametro pode ter [1]. Um par formado porum dado de teste mais o resultado esperado para a execucaodo programa com aquele dado de teste e denominado “casode teste” [9].

Criterios de teste estao agrupados em tres tecnicas, quese distinguem pela origem da informacao necessaria paraderivar os requisitos de teste. Na tecnica funcional, os re-quisitos de teste sao derivados a partir da especificacao. Natecnica estrutural, os casos de teste sao criados a partir docodigo ou modelo do programa. Por fim, na tecnica base-ada em defeitos os requisitos de teste sao derivados a partirde informacoes sobre os defeitos mais frequentes encontra-dos no desenvolvimento de software. Salienta-se que essastres tecnicas sao vistas como complementares e o seu usoem conjunto proporcionam maior qualidade e confianca naatividade de teste.

Dentre as tecnicas tradicionais de teste, enfatiza-se nesteartigo a tecnica estrutural. Ela tem como objetivo requerer oexercıcio de partes elementares da implementacao. Tais es-truturas, como comandos, desvios ou pontos do programanos quais as variaveis sao utilizadas, constituem os requisi-tos de teste a serem satisfeitos. Em ferramentas de teste, aporcentagem de tais requisitos, executados – ou cobertos –pelos casos de teste, representam a cobertura desse conjuntoem relacao ao teste estrutural [2].

Para representar o controle logico do programa, sao uti-lizados grafos orientados. Esses grafos contem um unico node entrada, cada vertice representa um bloco indivisıvel decomandos e as arestas indicam um possıvel desvio de fluxode controle [16]. O teste estrutural pode ser caracterizadoa partir das escolhas dos elementos do Grafo de Fluxo deControle (GFC) que devem ser executados [2]. O GFC as-socia uma aresta com cada desvio possıvel no programa, e


248

um no com cada sequencia de instrucoes [1].Os criterios de teste estrutural baseiam-se em diferentes

tipos de conceitos e elementos de programas para determi-nar os requisitos de teste [2]. Criterios baseados em fluxo decontrole utilizam caracterısticas de controle da execucao doprograma para derivar requisitos de teste, como por exem-plo, comandos ou desvios [2]. Segundo Myers [16] e Pres-sman [22], os criterios mais conhecidos dessa tecnica sao:

• Todos-Nos: estabelece que cada bloco de comando sdo programa seja exercitado ao menos uma vez;

• Todas-Arestas: requer que cada desvio do fluxo decontrole do programa seja exercitado ao menos umavez; e

• Todos-Caminhos: exige que todos os possıveis ca-minhos do programa sejam exercitados.

Outros criterios do teste estrutural sao os baseados emfluxo de dados. Esses criterios empregam analise defluxo de dados para derivar os requisitos de teste, assim,para derivacao de casos de teste tais criterios baseiam-senas associacoes existentes entre uma definicao de variavele seus possıveis usos subsequentes. Dois exemplos decriterios de teste baseados em fluxo de dados sao: afamılia de criterios proposta por Rapps e Weyuker [24] ea Potenciais-Usos, proposta por Maldonado [15].

Grafos dirigidos, que indicam a ordem das arestas, saoutilizados para abstrair tambem outros artefatos utiliza-dos no desenvolvimento de software e por isso servem defundamentacao para a definicao de diversos criterios deteste. Um exemplo de artefatos utilizados no desenvolvi-mento de software e a chamada Maquinas de Estados Fi-nitas (MEFs) [1]. MEFs representam o comportamentogeral de um modelo de software, os nos representam os es-tados e as arestas representam as transicoes. Outro exemploe o mapeamento do codigo fonte para o grafo de fluxo decontrole, ja mencionado. Segundo Ammann e Offutt [1], eimportante entender que grafo nao e o mesmo que artefato.A mesma abstracao que produz o grafo a partir do artefatotambem mapeia os casos de teste para o caminho no grafo.Um criterio de cobertura baseado em grafo avalia um con-junto de teste de um artefato em termos de como os cami-nhos correspondentes aos casos de teste “cobrem” o grafode tal artefato.

O crescente poder computacional faz com que cenas deRV cada vez mais complexas e mais realistas possam sergeradas e visualizadas em tempo real. Essa complexidadetambem se aplica ao desenvolvedor da cena, que precisaespecificar e modelar varias caracterısticas, implicando naexigencia de um modelo ou uma estrutura de dados capazde organizar os elementos na cena e disponibiliza-los aousuario de forma rapida e eficiente, para isso existem osGC.

A fim de apoiar o teste de aplicacoes de RV, este artigodefine criterios de teste baseados em GC. Como os nos doGC possuem descricoes das caracterısticas que o AmbienteVirtual (AV) possui, e pertinente pensar em criterios de testepara estabelecer requisitos a serem satisfeitos por um con-junto de dados de teste.

3. Criterios de teste baseados em GC

Bem como no teste estrutural, o conceito de grafos temsido utilizados em outras abordagens de teste como cober-tura de grafo para elementos de projeto, cobertura de grafopara especificacao e cobertura de grafo para caso de uso,definidos por Ammann e Offutt [1].

Na composicao de um AV, diversos aspectos comoposicao do objeto, forma, textura, iluminacao, compor-tamento e visao do mundo virtual devem ser descritos[11]. Esses aspectos podem ser adicionados a um GCpor meio de vertices e arestas direcionadas que formamum grafo direcionado acıclico. No GC, pode-se encontrarnos intermediarios e nos folhas. Os nos folhas contem adescricao geometrica de um objeto e os nos intermediariosrepresentam transformacoes tridimensionais como rotacao,translacao e escala. O no raiz, que e conectado a todos osdemais, direta ou indiretamente, representa o AV como umtodo [7].

O conceito de GC nao e novo, como pode ser vistono artigo de Strauss e Carey [26]. Diversas bibliotecasde implementacao de ambientes 3D utilizam esse conceitocomo forma de modelagem. E o caso, por exemplo, dasbibliotecas OpenSceneGraph1, OpenSG2, OpenInventor3 eJava3D4.

No contexto desse artigo, analisando o GC de um AVpodem-se derivar requisitos de teste baseados nas carac-terısticas de que o ambiente foi construıdo. Um possıvelrequisito de teste, ou seja, o que sera testado no GC, podeser uma rotacao definida em um no intermediario. Essatransformacao geometrica fara que seus nos filhos tambemsofram tal transformacao. Portanto um caso de teste podeser definido, tendo como entrada a rotacao a ser realizada noobjeto correspondente e como saıda esperada a confirmacaose ocorreu de fato tal transformacao.

Para que seja possıvel verificar a cobertura de um casode teste, ou seja, quais foram os nos do GC exercitadospor alguma acao no AV, e necessario instrumentar o GCde tal modo que se possa relatar quais foram os nos exer-citados na atividade de teste. Segundo Ammann e Offutt[1], instrumentacao pode ser entendida como um codigo de

1Veja: http://www.openscenegraph.org/projects/osg2Veja: http://opensg.vrsource.org/trac3Veja: http://oss.sgi.com/ projects/inventor/4Veja: https://java3d.dev.java.net/


249

programa adicional que nao muda o comportamento funci-onal do programa. No caso do GC, instrumentar significaadicionar funcionalidade aos nos do grafo, de forma que sepossa obter informacao sobre quais nos foram “executados”durante um caso de teste.

Para a derivacao dos requisitos de teste baseados no GCeste artigo define dois criterio:

• Todos–Nos–Intermediarios: determina que, pormeio de um ou mais casos de teste, todos os nos in-termediarios do GC que contemplem algum tipo detransformacao (rotacao, translacao ou escala) sejamexercitados pelo menos uma vez; e

• Todos–Nos–Folhas: exige que todos os nos folhas doGC que contemplem modificacoes de aparencia (cores,sombreamento, iluminacao, entre outras) sejam exerci-tados ao menos uma vez.

Como exemplo, podemos observar o GC da Figura 1como sendo um GC de um programa qualquer que possuitransformacoes definidas para os seus nos. No no inter-mediario T1G esta definida uma transformacao geometricade escala e no no S3 e definida uma modificacao de cor. Aexecucao de um caso de teste que transforme a escala do ob-jeto relacionado com o T1G e que modifique a cor do objetorelacionado a S3 faz com que sejam cobertos os nos cor-respondentes, conforme mostra a Figura 2. Com este tipode criterio de teste os nos que nao possuem algum tipo detransformacao ou modificacao definida, nao serao cobertos.

A cobertura dos nos intermediarios denota que ao menosuma transformacao definida no no foi executada e, portanto,foi testada. Da mesma forma, a cobertura dos nos folhas,que contemplem modificacoes de aparencia, significa quefoi realizada uma modificacao ao menos uma vez e tambemfoi testada.

Figura 1. Representacao de um AV.

Alem dos criterios definidos acima, outros ainda de-vem ser propostos no escopo do presente trabalho. Com

Figura 2. Identificacao dos nos exercitados.

a cobertura destes criterios pode-se assegurar que astransformacoes definidas pelos nos do grafo foram testadaspelo menos uma vez e, individualmente, funcionam comoesperado. Existem, porem, falhas que se manifestam ape-nas quando sequencias especıficas de operacoes sao execu-tadas. Para esses casos, e necessario que sejam identifica-dos caminhos no grafo que possam representar sequenciasespecıficas de operacoes. Por exemplo, todos os caminhosda raiz da arvore ate os seus nos folhas, sao bons candidatosa requisitos de teste.

A automatizacao dos criterios ja definidos e feita deforma relativamente simples, nao exigindo que seja alte-rada a estrutura do GC. No entanto, para criterios que iden-tifiquem a execucao de caminhos no grafo, a automatizacaotorna-se sensivelmente mais complicada. Na proxima secaoesses aspectos sao discutidos.

4. Automatizacao

Como apoio aos criterios de teste que estao sendo defi-nidos, uma ferramenta esta sendo implementada. E impor-tante ressaltar que a atual versao da ferramenta consideraque os GCs nao tem as suas estruturas alteradas durante aexecucao. Na Figura 3 pode ser observado um diagramaque descreve a execucao da ferramenta, que trata aplicacoesdesenvolvidas utilizando a API Java3D. Inicialmente e feitoo carregamento da classe (o universo virtual) a ser testadapor meio de um ClassLoader especıfico. Apos carregadaa classe, salvam-se todos os requisitos que serao utilizadosno teste e a visualizacao do GC atual e apresentada em umainterface grafica.

Entao, a ferramenta possibilita adicionar casos de testeinteragindo com o AV que esta sendo testado. Ao carregar aclasse, a ferramenta faz com que a interface do AV se abra.O testador adiciona casos de teste como mostra a Figura 4.Por exemplo, ao rotacionar o objeto 3D no AV e adicionadoo caso de teste e sao verificados quais nos do GC foram co-


250

bertos. Para visualizar a cobertura no grafo, o no cobertoe exibido na interface grafica com uma cor diferente. Oscasos de teste adicionados sao inseridos em uma tabela afim de que se possa visualizar seu GC correspondente, jun-tamente com seus nos cobertos. Para verificar quais nosforam exercitados, nao foi preciso instrumentar o GC, ape-nas comparou-se o GC inicial com o GC apos a execucaodos casos de teste.

Figura 3. Diagrama de execucao da ferra-menta.

Figura 4. Screenshots da ferramenta.

Como dito anteriormente, falhas podem se manifes-tar quando sequencias especıficas de operacoes sao exe-cutadas, para isso estao sendo estudados novos criteriosque consigam identificar caminhos a serem executadosno grafo. A automatizacao desses criterios e complexa,tornando-se necessaria a instrumentacao do GC. As formasde instrumentacao que podem ser utilizadas no GC estaosendo avaliadas. A simples comparacao do GC antes e de-

pois da execucao de um caso de teste pode mostrar quaisnos foram exercitados mas nao mostra em qual ordem issoaconteceu.

A ferramenta esta sendo desenvolvida utilizando a lin-guagem de programacao Java, juntamente com sua APIJava3D. A implementacao da ferramenta de apoio estasendo desenvolvida adotando-se o processo de desenvolvi-mento baseado em prototipos, a fim de que seja possıvelavaliar o custo e efetividade das tecnicas definidas e ve-rificar se o GC construıdo pela aplicacao em teste corres-ponde aos requisitos do AV, em outras palavras, a ferra-menta podera relatar se os elementos do GC foram testadosou nao. Em adicao, a ferramenta proporciona a visualizacaodo GC para que se consiga identificar a cobertura dos nos,gerando-se uma plataforma de codigo aberto, que poderaser explorada para ensino e pesquisa.

Parte desse projeto refere-se ao desenvolvimento de sis-temas de RV com aplicacao a area de saude, entretantoa ferramenta permite apoiar o teste para todo tipo de sis-temas de RV que utilizem GC. Nesse projeto sera avali-ada a utilizacao dos criterios definidos e da ferramenta deapoio, tomando como estudo de caso as funcionalidadesdo Virtual Medical Training (ViMeT) [8]. Desenvolvidocom o apoio do projeto do Instituto Nacional de Cienciae Tecnologia – Medicina Assistida por Computacao Ci-entıfica (INCT–MACC), o ViMeT e um Framework de RVorientado a objetos. Foi implementado em linguagem deprogramacao Java e C++, utilizando as tecnologias da APIJava3D e a interface de programacao nativa Java Native In-terface (JNI). Direcionado a geracao de aplicacoes para trei-namento medico, o ViMeT disponibiliza determinadas fun-cionalidades como interface grafica, deteccao de colisao,deformacao, interacao com equipamentos convencionais enao convencionais, estereoscopia, importacao e modelagemde objetos 3D e geracao de AVs [8].

5. Conclusoes

A realizacao de atividades de teste nao garante a inexis-tencia de erros. Na maioria dos casos, e impraticavel autilizacao de todo o domınio de dados de entrada para ava-liar as caracterısticas funcionais e operacionais do sistemaem atividade. Entretanto, o teste, quando efetuado de formasistematica e criteriosa, contribui para aumentar a fiducia deque o software desempenha as funcoes especificadas [19].

Tendo o GC como um modelo e uma abstracao de umprograma de RV, pode-se pensar na utilizacao de criteriosde teste que utilizem esse modelo para derivar requisitos edados de teste. Semelhante a criterios estruturais, e possıvelutilizar o GC para selecionar estruturas a serem exercitadasdurante a atividade de teste.

Nesse artigo e apresentada uma forma de estabelecer re-quisitos e criterios de teste baseados em GC para automati-


251

zar a aplicacao desses criterios por meio de uma ferramentade teste.

6 Agradecimentos

A FAPESP (Fundacao de Amparo a Pesquisa do Es-tado de Sao Paulo), processo (2009/03803-1), e ao Insti-tuto Nacional de Ciencia e Tecnologia – Medicina Assis-tida por Computacao Cientıfica (INCT–MACC), processo(573710/2008-2 Edital MCT/CNPq No 015/2008 – Institu-tos Nacionais de Ciencia e Tecnologia), pelo apoio finan-ceiro.

Referencias

[1] P. Ammann and J. Offutt. Introduction to Software Testing.Cambridge University Press, 1 edition, January 2008.

[2] E. F. Barbosa, M. L. Chaim, A. M. R. Vicenzi, M. E. De-lamaro, M. Jino, and J. C. Maldonado. Teste estrutural. InIntroducao ao Teste de Software, chapter 4, pages 47–76.Campus, Rio de Janeiro, Brasil, 2007.

[3] B. Beizer. Software Testing Techniques. Van Nostrand Rei-nhold Company, New York, 2nd edition, 1990.

[4] M. Bellamine, N. Abe, K. Tanaka, P. Chen, and H. Taki.A virtual reality based system for remote maintenance ofrotating machinery. In L. T. Yang, M. Guo, G. R. Gao, andN. K. Jha, editors, Embedded and Ubiquitous Computing,volume 3207 of Lecture Notes in Computer Science, pages223–232. Springer Berlin / Heidelberg, 2004.

[5] A. Bertolino. Software testing research: Achievements,challenges, dreams. In FOSE ’07: 2007 Future of SoftwareEngineering, pages 85–103, Washington, DC, USA, 2007.IEEE Computer Society.

[6] M. Blackburn, R. Busser, A. Nauman, and B. Stensvad. De-fect identification with model-based test automation. Societyof Automotive Engineers Inc (SAE), 2003.

[7] R. J. M. da Silva, A. B. Raposo, and M. Gattas. Grafode cena e realidade virtual. Monografia em Ciencia daComputacao - Rio de Janeiro - RJ: PUC-Rio, 11 2004.

[8] A. C. M. T. G. de Oliveira and F. L. S. Nunes. Building aopen source framework for virtual medical training. Journalof Digital Imaging, September 2009.

[9] M. E. Delamaro, J. C. Maldonado, and M. Jino. Introducaoao Teste de Software. Editora Campus, 2007.

[10] M. E. Delamaro, P. Nardi, O. A. L. Lemos, P. C. Masiero,E. S. Spoto, J. C. Maldonado, and A. M. R. Vincenzi. Sta-tic analysis of java bytecode for domain-specific softwaretesting. In: XXI Simposio Brasileiro de Engenharia de Soft-ware, Joao Pessoa, PB, pages 325–341, 2007.

[11] A. G. Ferreira. Uma arquitetura para a visualizacao dis-tribuıda de ambientes virtuais. Dissertacao de mestrado,PUC/RJ, 1999.

[12] Y. Jung, R. Recker, M. Olbrich, and U. Bockholt. Using x3dfor medical training simulations. In Web3D ’08: Procee-dings of the 13th international symposium on 3D web tech-nology, pages 43–51, New York, NY, USA, 2008. ACM.

[13] O. A. L. Lemos, A. R. Vincenzi, J. C. Maldonado, and P. C.Masiero. Control and data how structural testing criteria foraspect-oriented programs. The Journal of Systems and Soft-ware, 80(6):862–882, 2007.

[14] M. Li. Applications of virtual reality technology in cons-truction industry. volume 4, pages V4–223 –V4–227, apr.2010.

[15] J. C. Maldonado. Criterios Potencias Usos: UmaContribuicao ao Teste Estrutural de Software. Tese de dou-toramento, DCA/FEE/UNICAMP, Campinas, SP, 1991.

[16] G. J. Myers. The art of software testing. John Wiley & Sons,2 edition, 2004.

[17] S. Naik and P. Tripathy. Software Testing and Quality As-surance : Theory and Practice. John Wiley and Sons, 6edition, 2008.

[18] F. L. S. Nunes, C. G. Correa, F. L. Picchi, C. R. M. e Melo,R. Tori, R. Nakamura, and J. H. A. Barbosa. A importanciada avaliacao na engenharia de requisitos em sistemas de re-alidade virtual e aumentada: um estudo de caso. In S. S. B.de Computacao, editor, XII SVR: Proceedings of the Sympo-sium on Virtual and Augmented Reality, 2010.

[19] H. Ossher, W. Harrison, and P. Tarr. Software engineeringtools and environments: a roadmap. In ICSE ’00: Procee-dings of the Conference on The Future of Software Engine-ering, pages 261–277, New York, NY, USA, 2000. ACM.

[20] W. Perry. Efective methods for software testing. John Wileyand Sons, 3th edition, May 2006.

[21] R. S. Pressman. Software Engineering - A Practitioner’sApproach. McGraw-Hill, 4 edition, 1997.

[22] R. S. Pressman. Engenharia de software. Makron Books, 6edition, 2006.

[23] C. qing Yu, H. hua Ju, and Y. Gao. 3d virtual reality simu-lator for planetary rover operation and testing. pages 101–106, may. 2009.

[24] S. Rapps and E. J. Weyuker. Selecting software test datausing data flow information. In EEE Transactions on Soft-ware Engineering, volume 11, pages 367–375, 1985.

[25] E. S. Spoto, M. Jino, , and J. C. Maldonado. Structural soft-ware testing: An approach to relational database applicati-ons. In In XIV Brazilian Symposium on Software Enginee-ring, Joao Pessoa, PA, Brazil. (In Portuguese), 2000.

[26] P. S. Strauss and R. Carey. An object-oriented 3d graphicstoolkit. Computer Graphics, 26(2), 1992.

[27] W. F. Tichy, P. Lukowicz, L. Prechelt, and E. A. Heinz. Ex-perimental evaluation in computer science: a quantitativestudy. J. Syst. Softw., 28(1):9–18, 1995.

[28] E. van Wyk and R. de Villiers. Virtual reality training appli-cations for the mining industry. In AFRIGRAPH ’09: Pro-ceedings of the 6th International Conference on ComputerGraphics, Virtual Reality, Visualisation and Interaction inAfrica, pages 53–63, New York, NY, USA, 2009. ACM.

[29] J. Wainer, C. G. Novoa Barsottini, D. Lacerda, and L. R.Magalh aes de Marco. Empirical evaluation in computerscience research published by acm. Inf. Softw. Technol.,51(6):1081–1085, 2009.

[30] M. Woo, J. Neider, T. Davis, and D. Shreiner. OpenGL,Programming Guide. 3th edition, 1999.

[31] M. V. Zelkowitz and D. R. Wallace. Experimental modelsfor validating technology. Computer, 31(5):23–31, 1998.


252

Reconstrução de Superfícies a Partir de Pontos a Não Organizados

Caio SantiagoUniversidade de São Paulo

Sistemas da InformaçãoAv. Arlindo Bettio, 1000 - Ermelino Matarazzo

[email protected]

Helton Hideraldo BíscaroUniversidade de São Paulo

Sistemas da InformaçãoAv. Arlindo Bettio, 1000 - Ermelino Matarazzo

[email protected]

Resumo

Geração de modelos tridimensionais com geometriacomplexa é um interessante problema da ComputaçãoGráfica, com aplicações em diversas áreas de pesquisa,inclusive Realidade Virtual. Este artigo descreve umatécnica elegante e eficiente para geração de modelos geo-métricos a partir de conjuntos de pontos não organizados,que utiliza somente operações locais para a geração domodelo completo. Além disso, propõe duas variações natécnica apresentada e faz uma comparação de desempenholevando em consideração os tempos de processamento e aqualidade dos modelos gerados.

1 Introdução

Nas últimas décadas, a computação gráfica vem se tor-nando uma poderosa ferramenta de apoio na solução de di-versos problemas, como a reconstrução de superfícies, limi-tantes de borda de imagens, reconstrução de movimentos,dentre outros.

Particularmente, na área de realidade virtual, a geraçãode modelos tridimensionais com geometria complexa semostra uma ferramenta extremamente útil, principalmentequando o grau de complexidade dos mundos virtuais au-menta. Para solucionar esses problemas é utilizada a mode-lagem geométrica, área da computação gráfica responsávelpela criação e representação de modelos que descrevem aforma e outras características de um objeto.

Existem diversas técnicas de modelagem tridimensionalcomo CSG (Constructive Solid Geometry) que modela ob-jetos complexos a partir de objetos simples tais como es-feras, cones cubos, etc..., realizando operações de união,intersecção e subtração de conjuntos; reconstrução atravésde fatias que gera modelos tridimensionais através de ima-gens bidimensionais adquiridas por exemplo de tomógra-fos; e mais recentemente, com o avanço dos aparelhos deaquisição de dados tridimensionais, conhecidos como scan-

ners 3D, surge a construção modelos geométricos a partirde pontos não organizados ou “nuvem de pontos”.

A reconstrução a partir de nuvem de pontos permitiu ageração de modelos virtuais de grande complexidade comoas estátuas de Michelangelo, digitalizadas pelo Digital Mi-chelangelo Project [21], desenvolvido pela universidade deStanford, e gerou aplicações similares criando a ideia demuseus virtuais e contribuindo para a preservação do patri-mônio histórico e cultural da humanidade.

O problema de reconstrução de superfícies a partir depontos não organizados consiste em: dado um conjunto depontos P amostrados a partir de uma superfície S, construiruma superfície F , linear por partes, que contenha todos ospontos de P , garantindo ainda que F aproxime S geometri-camente e que ambas sejam equivalentes topologicamente.

As amostras fornecem as coordenadas dos pontos, o quenão supre as informações de curvatura e de topologia doobjeto original. Apesar disso, vários algoritmos têm obtidobons resultados com relação à reconstrução [16, 6, 14].

De fato, alguns métodos de reconstrução tais como os deAmenta e seus colaboradores [2] conseguem garantir, sobuma adequada taxa de amostragem, a reconstrução corretado objeto original. Amenta e seus colaboradores tambémargumentam que o fato de um algoritmo apresentar garan-tias teóricas não significa que, na prática, ele apresenta re-sultados satisfatórios. Este fato pode estar relacionado, se-gundo o mesmo artigo, a problemas numéricos e/ou de per-formance computacional do algoritmo. Ambos problemasestão, por sua vez, relacionados com a realização de cálcu-los geométricos caros e pouco confiáveis. A proposta destetrabalho apresentar alternativas que use o mmo possl deoperas geométricas, tornando os algoritmos menos custososcomputacionalmente e mais confiáveis.

Este texto está organizado da seguinte maneira: Na se-ção 2 são descritos os objetivos desse trabalho de pesquisa;a seção 3 faz um apanhado geral dos trabalhos existentes naliteratura; a seção 4 descreve os algoritmos e as modifica-ções propostas pelos autores; na seção 5 são feitas compara-ções entre os algoritmos com o objetivo de avaliar a perfor-


253

mance das modificações propostas; na seção 6 são descritasas conclusões e os trabalhos futuros e finalmente na seção 7são colocados os agradecimentos.

2 Objetivos

Em uma recente publicação [8], Bíscaro propõe um algo-ritmo bastante eficiente chamado de LDT (Local DelaunayTriangulation), embora ainda sem garantias teóricas, para oproblema de reconstrução de superfícies a partir de nuvemde pontos. Esta abordagem é do tipo “avanço de fronteira”efaz uso de operações geométricas simples como projeções,movimentos rígidos no espaço euclidiano R3 e uma trian-gulação de Delaunay bidimensional [18] para selecionar opróximo triangulo a ser anexado na malha já existente.

O objetivo deste projeto é estudar a possibilidade de apri-moramento do algoritmo citado acima. Para isso, pretende-se trocar a operação de triangulação de Delaunay bidimen-sional por um sistema de pontuação que deverá selecionaro melhor candidato a triângulo a ser adicionado na malha.Acredita-se que esse sistema de pontuação, que deverá levarem conta diversas informações geométricas, deve ser maissimples e portanto, mais barato computacionalmente do quea atual triangulação que está sendo utilizada no algoritmo.

3 Revisão Bibliográfica

A reconstrução de superfícies a partir de pontos não or-ganizados tem merecido considerável atenção dos pesqui-sadores, tanto de Computação Gráfica quanto de GeometriaComputacional. O problema se tornou popular depois do ar-tigo de Hoppe et al [19], que apresentou um algoritmo parareconstrução de superfícies como um conjunto de zeros deuma função de distância. No entanto, essa abordagem nãoé capaz de capturar detalhes finos da superfície. Um algo-ritmo relacionado desenvolvido por Curless e Levoy [12] émais eficaz na percepção de detalhes da superfície, no en-tanto, ele depende de informações adicionais sobre os pon-tos. Abordagens alternativas para a reconstrução de super-fícies como conjunto de zeros de uma função de distânciatêm sido propostos. Carr et al. [11], por exemplo, utili-zam funções de base radial para aproximações de distância.Seu algoritmo, embora computacionalmente caro, é capazde lidar com lacunas e detalhes finos no modelo. Ohtake etal. [22] e Alexa et al. [1] empregam partição da unidadee aproximação de mínimos quadrados para estimar uma su-perfície aproximada da original. A capacidade de lidar comum grande volume de dados é um problema implícito nouso dessa abordagen. Além disso, as superfícies produzidasnão interpolam as amostras dadas, o que pode ser indesejá-vel em algumas aplicações.

Alguns pesquisadores em Geometria Computacional op-taram por uma abordagem diferente para o problema, pro-

pondo algoritmos de reconstrução com base em triangula-ções de Delaunay geradas a partir dos pontos da amostra-gem. A lógica por trás de tais algoritmos é esculpir a su-perfície a partir da triangulação. Boissonnat [10] propõe oprimeiro algoritmo de reconstrução baseado em Delaunay,que opera através da remoção de tetraedros e triângulos queviolam certas condições geométricas. Infelizmente, isso sóse aplica às superfícies de genus zero. O algoritmo α-shape[17] começa com a triangulação de Delaunay nos pontosda amostragem e remove os simplexos que não estão emuma esfera de raio 1

α . O α-shape é simples de implemen-tar, mas funciona corretamente apenas em amostragens uni-formes, pois um único α se aplica ao conjunto de pontosinteiro. Teichmann e Capps [26] introduziram uma escalade densidade ao α-shape para resolver esse problema. Noentanto, essa abordagem exige vetores normais nos pontosda amostragem. O algoritmo Crust de Amenta e Bern [3], éo primeiro algoritmo tridimensional com garantias teóricasde reconstrução. Para que um dado conjunto de amostrasele calcula uma aproximação linear por partes geometrica-mente próximo da superfície original. O Crust reconheceamostragens não uniformes e exige pouca intervenção dousuário durante a reconstrução. A desvantagem é que oscálculos geométricos necessários para estimar os vértices deVoronoi introduzem instabilidades numéricas. Além disso,o algoritmo tem um alto custo computacional porque fazduas triangulações de Delaunay, uma para computar os vér-tices de Voronoi e outra para gerar a superfície. O algo-ritmo Cocone, por Amenta et al. [4] é uma simplificaçãoelegante e rápida do Crust que preserva as garantias teó-ricas. No entanto, em aplicações práticas gera lacunas in-desejáveis na superfície. Uma evolução desse algoritmo, oTight Cocone, não captura os componentes internos. Alémdisso, é necessário utilizar estimativas de polos de rotulaçãodos mesmos e, em alguns casos, estimativas de tamanhodo triângulo. O Power Crust [5] também é um aprimora-mento do Crust. Ele calcula uma aproximação linear porpartes de uma superfície suave, utilizando um diagrama deVoronoi ponderado chamado Power Diagrama. O PowerCrust também tem garantias teóricas para reconstrução sobcondições adequadas, e seu desempenho computacional émelhor que o seu antecessor. Mas ainda enfrenta problemasde instabilidade numérica devido aos cálculos geométricosnecessários para construir o Power Diagrama. Kolluri et al.[20] apresentam o algoritmo Eight Crust para a reconstru-ção de uma superfície a partir de dados bastante irregulares.A partir da triangulação de inicial, utiliza uma variação doparticionamento de grafos espectrais para decidir se cadatetraedro está dentro ou fora do objeto original. A superfí-cie reconstruída consiste do conjunto de faces triangularescompartilhadas por tetraedros internos e externos. O parti-cionador espectral toma decisões locais com base em umavisão global do modelo e, portanto, o algoritmo pode igno-


254

rar ruído nos dados de entrada, remendar lacunas e regiõespouco amostradas. O alto custo computacional ainda é umagrande desvantagem.

O algoritmo Ball pivoting de Bernardini et al. [7] é muitosimples e rápido. Três pontos formam um triângulo se umabola de raio especificado pelo usuário toque-os sem conterqualquer outro ponto. A partir de um triângulo “semente”,as “bolas pivô” giram em torno da borda, mantendo emcontato com pontos de extremidade a extremidade até queelas toquem outro ponto, formando um triângulo. O algo-ritmo continua até todas as arestas acessíveis tenham sido“pivoteadas”, e então começa por outro triângulo semente,e só termina quando todos os pontos tenham sido considera-dos. O processo pode ser repetido com uma bola maior paralidar com densidades de amostras desiguais. Uma grandevantagem do Ball pivoting é que não utiliza a triangulaçãode Delaunay. Por outro lado, o usuário dependente das nor-mais nas amostras. Progressos nas estratégias têm sido em-pregadas em algoritmos de reconstrução por vários autores,tais como Schreiner et al. [24] e [25], mas a implementaçãodesses métodos pode ser bastante complicada.

Edelsbrunner [15] deriva de um algoritmo para recons-trução de superfícies para um conjunto de pontos que se ba-seia na teoria clássica de Morse. Embora ele dependa de umconhecimento prévio da topologia, a topologia é empregadaapenas para deduzir os cálculos geométricos. Outra aborda-gem que usa a teoria de Morse discreta é o trabalho de Bís-caro et al. [9] que usa uma função de Morse discreta defi-nida em uma triangulação de Delaunay tridimensional paraorientar o processo de reconstrução. Além disso, a desvan-tagem principal deste trabalho é a estrutura tridimensionalpara extrair um objeto bidimensional.

Na verdade, a maioria dos algoritmos clássicos derivama reconstrução de um subconjunto de triangulações de De-launay tridimensional. A abordagem de Bíscaro evita aconstrução de uma estrutura tridimensional para obter umaaproximação linear em partições bidimensionais da super-fície evitando este espaço de imersão. Além disso, reduza quantidade de memória RAM utilizada no processo, bemcomo o número de cálculos geométricos. Outra vantagemde evitar um triangulação de Delaunay tridimensional é aausência de tetraedros slivers, que é um problema clássicoem triangulações tridimensionais.

4 Algoritmos

Na busca de alternativas ao algoritmo proposto por Bís-caro, Algoritmo 1, que calcula uma malha inicial e arma-zena as arestas de bordo em uma lista de arestas “ativas”;em seguida, para cada uma delas seleciona um conjunto depontos candidatos a formarem um novo triângulo. Quandoo este é adicionado, a lista de arestas de bordo é atualizada.O algoritmo só termina a execução quando esta lista estiver

vazia.

Entrada: Um conjunto de amostras P ⊂ R3

1 para cada p ∈ P faça2 Aproxima o vetor normal em p

3 Encontra uma triangulação inicial FArmazena em E as arestas de bordo de Fenquanto E 6= ∅ faça

4 Remove e de Ese e ainda é uma aresta de bordo então

5 f ← FindNewFace(e);6 F ← F ∪ {f};7 Adiciona em E as aresta de bordo de f

8 retorna FAlgoritmo 1: LDT - Local Delaunay Triangulation -extraído de [8]

A função FindNewFace, detalhada no algoritmo 2, éa responsável por receber uma aresta de bordo e encontrar,dentre um conjunto de candidatos, o vértice v que, junta-mente com a aresta e, formará um novo triângulo. Paraisso, a função constrói uma triangulação de Delaunay comos vértices candidatos e a partir dessa triangulação, escolheo vértice mais apropriado. O trecho dessa função com maiorcusto computacional é o cálculo da triangulação de Delau-nay que, por mais que seja feita localmente, é uma operaçãocustosa. Exatamente nesse trecho é que propomos alterna-tivas computacionalmente mais baratas.

Entrada: Aresta de bordo e.1 Seja p um dos pontos de e;2 Rotacionar p e seu n vizinhos mais próximos para

alinhar a normal de p com o eixo Z e a aresta e com oeixo Y ;

3 Encontrar pe, o vértice oposto a e;4 Projetar no plano tangente os vértices pi de tais quepex ∗ pix ≤ 0;

5 Encontrar DT , uma triangulação de Dalaunaybidimensional com os vértices projetados ;

6 Encontrar f , o triângulo de DT que contenha a arestade bordo e ;

7 retorna fAlgoritmo 2: FindNewFace - extraído de [8]

Propomos duas variações na função FindNewFace queutilizem soluções mais simples que o LDT. A primeira de-las (A), dentre os vértices candidatos, seleciona aquele que“enxerga”a aresta e com o maior ângulo. A segunda (B),assim como o algoritmo de Bíscaro, projeta todos os candi-datos no plano tangente a superfície na aresta e, para que ocálculo fique exclusivamente bidimensional , e então verifi-


255

car qual dos candidatos forma o maior ângulo com a arestae.

Como o cálculo para obter um ângulo é mais simplesdo que uma triangulação de Delaunay os algoritmos que outilizam devem ser mais rápidos que o algoritmo LDT.

5 Resultados Comparativos

Os testes comparativos das performances dos algoritmosforam realizados em um processador Dual Core 2.8 Ghzcom 1 Gb de memória RAM.

O algoritmo de Bíscaro (LDT, Local Delaunay Triangu-lation), como já era esperado, por utilizar uma solução maiscomplexa, apresentou o maior tempo entre os algoritmos,como pode ser visto na figura 1. Já a figura 2 dá uma idéiada complexidade logarítmica dos algoritmos.

Figura 1. Comparao de tempos (a)

Vale ressaltar que entre as alternativas, aqui propostas,a diferença entre os tempos de execução dos algoritmosdividida pelo total de pontos da amostra é de no máximo0.0004176s, mas de forma geral o algoritmo B foi mais rá-pido.

Os algoritmos A, B e LDT processaram em média umgrupo de 1000 pontos em 5.57s, 4.99, 11.90 (respectiva-mente), com desvio padrão de 1.07s, 0.3s e 2.16s (respec-tivamente), e portanto nota-se que as duas alternativas pro-postas apresentam vantagens em termos de velocidade deprocessamento.

A Figura 2, em escala de tempo logarítmica, confirmaque a complexidade do algoritmo de Bíscaro é maior que ados outros algoritmos e isso se deve a triangulação de De-launay, executada na escolha de todos os triângulos que vãocompor a malha final.

Figura 2. Comparao de tempos (b)

Além da velocidade, espera-se que as malhas geradas pe-las alternativas propostas não sejam muito diferentes daque-las geradas pelo LDT. Para medir a distância entre as malhasgeradas utilizamos o software metro [23] que calcula, entreoutras informações, a distância de Hausdorff [13] entre duasmalhas. Com base nessas distâncias, a Tabela 1 foi gerada.

Pontos Hausdorff(LDT,A) Hausdorff(LDT,B)

90 0,000004 0,000004766 1,946024 0,021476

1000 0,893728 0,5131241408 0,006081 0,0000012903 0,103347 0,0409974006 1,480263 1,3159528036 0,462135 0,1309309697 0,003678 0,002486

11885 0,738631 0,74812513666 0,410088 0,68608616475 0,063726 0,03822416864 0,004431 0,00039535947 0,001751 0,00143254654 0,191462 0,02056354811 0,046253 0,105957

Tabela 1. Distancias de Hausdorff

Com base nas distâncias de Hausdorff, percebemos quemesmo com tempos menores se comparados com o algo-ritmo de Bíscaro as malhas geradas com as propostas alter-nativas, não foram muito distantes das geradas pelo LDT.Em média 0.20 ( alternativa B) e 0.36 ( alternativa A). Comoexemplo vemos a comparação das malhas geradas de uma


256

amostra com 9697 pontos na Figuras 3 (A), 4 (B) e 5 (LDT).Visualmente, quase não se nota diferenças entre as malhasgeradas pelos três algoritmos. Quando comparada com a al-ternativa (A) a distância foi de 0, 003678 e para a alternativa(B) têm-se uma distância de 0, 002486 o que representa umvalor, na prática, imperceptível.

Figura 3. Modelo gerado pelo algoritmo (A)

Figura 4. Modelo gerado pelo algoritmo (B)

Figura 5. Modelo gerado pelo algoritmo (A)

Os algoritmos de reconstrução geram uma relação de vi-zinhança entre as amostras, cujo resultado final é uma malhacomposta de triângulos. A comparação do número de facespode determinar características sobre a reconstrução. A fi-gura 6 apresenta uma ideia da proporção entre triângulos evértices para diferentes conjuntos de amostras.

Figura 6. Faces por Pontos para diversosconjuntos de amostras

Os conjuntos testados apresentaram uma proporção entreo número de faces, da malha final, e o número de vér-tices, em média dentro do intervalo [1.89, 1.99]. Isto servecomo indício de que qualquer número fora desse inter-valo pode não ser uma reconstrução boa, como no casoda amostra com 11885 vértices que teve uma proporçao defaces/vértices muito abaixo da média para o algoritmo B,Figura 7 b), mas dentro da média no algoritmo A, Figura 7a).

a) b)

Figura 7. Malha com 11885 pontos gerada pe-los algoritmos (A) e (B) respectivamente

6 Conclusão e Trabalhos Futuros

Os algoritmos A e B mostraram-se mais rápidos que oLDT. Em todos os casos a reconstrução da malha foi possí-vel por todos os algoritmos e as distancias de Hausdorffestão em média a 0.38 e 0.2, respectivamente. De formageral o algoritmo, que não utilizava a projeção no passo de


257

avanço de fronteira (A), se mostrou o mais rápido entre os 3utilizados, apresentando um tempo em média 0.579s menor(para cada 1000 pontos) do que o algoritmo (B), que uti-liza a projeção, mas apresentou uma distancia de Hausdorffmaior do que (B), que parece apresentar uma reconstruçãomais próxima daquela apresentada pelo algoritmo LDT.

Pretende-se, como próximos passos, estudar com maiscritério qual a influência da operação de projeção no resul-tado das malhas e ainda comparar as variações propostasaqui com algoritmos clássicos da literatura, não somente emtermos de tempo de execução e qualidade dos modelos, mastambém em termos de consumo de memória, que é um dosfatores limitantes, quando a quantidade de pontos aumentamuito.

7 Agradecimentos

Ao Conselho Nacional de Desenvolvimento Científicoe Tecnológico (CNPq), pelo apoio financeiro na bolsa aoaluno Caio Santiago, dentro do Programa Institucional deBolsas de Iniciação Científica- PIBIC.

Referências

[1] M. Alexa, J. Behr, D. Cohen-Or, S. Fleishman, D. Le-vin, and C. Silva. Computing and rendering point set sur-faces. IEEE Transactions on Visualization and ComputerGraphics, 9(1):3–15, 2003.

[2] N. Amenta, M. Bern, and D. Eppstein. The crust and theβ−skeleton : Combinatorial curve reconstruction. Graphi-cal Models and Image Processing, 60(2):125–135, 1998.

[3] N. Amenta and M. W. Bern. Surface reconstruction by vo-ronoi filtering. In Symposium on Computational Geometry,pages 39–48, 1998.

[4] N. Amenta, S. Choi, T. K. Dey, and N. Leekha. A simplealgorithm for homeomorphic surface reconstruction. Inter-national Journal of Computational Geometry and Applica-tions, 12(1-2):125–141, 2002.

[5] N. Amenta, S. Choi, and R. K. Kolluri. The power crust,unions of balls, and the medial axis transform. Computatio-nal Geometry, 19(2-3):127–153, 2001.

[6] C. L. Bajaj, F. Bernardini, and G. Xu. Automatic reconstruc-tion of surfaces and scalar fields from 3d scans. ComputerGraphics, 29(Annual Conference Series):109–118, 1995.

[7] F. Bernardini, J. Mittleman, H. Rushmeier, C. Silva, andG. Taubin. The ball-pivoting algorithm for surface recons-truction. IEEE Transactions on Visualization and ComputerGraphics, 5(4):349–359, 1999.

[8] H. H. Bíscaro. Efficient reconstruction from sactteredpoints. In Proceedings of 18th WSCG -International Confe-rence on Computer Graphics, Visualization and ComputerVision, pages 153–160, 2010.

[9] H. H. Bíscaro, A. C. Filho, L. G. Nonato, and M. C. Fer-reira de Oliveira. A topological approach for surface recons-truction from sample points. Vis. Comput., 23(9):793–801,2007.

[10] J. D. Boissonnat. Shape reconstruction from planar cross-sections. Computational Vision Image, 44:1–29, 1988.

[11] J. C. Carr, R. K. Beatson, J. B. Cherrie, T. J. Mitchell,W. R. Fright, B. C. McCallum, and T. R. Evans. Recons-truction and representation of 3d objects with radial basisfunctions. In SIGGRAPH ’01: Proceedings of the 28th an-nual conference on Computer graphics and interactive tech-niques, pages 67–76. ACM Press, 2001.

[12] B. Curless and L. M. A volumetric method for building com-plex models from range images. In Siggraph, pages 303–312, 1996.

[13] G. A. K. Daniel P. Huttenlocher and W. J. Ruckligde. Com-paring images using the hausdorff distance. The Eurogra-phics Association, 15(9):850–1863, 1993.

[14] T. K. Dey and P. Kumar. A simple provable algorithm forcurve reconstruction. Proc. 10th. ACM-SIAM Symposiumon Discrete Algorithms (SODA ’99), pages 893–894, 1999.

[15] H. Edelsbrunner. Surface recosntruction by wrapping finitepoint set in space. Discrete and Computational Geometry.The Goodman-Pollack Festschrift, pages 379–404, 2003.

[16] H. Edelsbrunner and E. P. Mücke. Three-dimensional alphashapes. ACM Transactions on Graphics, 13(1):43–72, 1994.

[17] H. Edelsbrunner and E. P. Mücke. Three-dimensional al-pha shapes. ACM Transactions on Graphics, 13(1):43 – 72,1994.

[18] Fortune. Voronoi diagrams and delaunay triangulations. InComputing in Euclidean Geometry, Edited by Ding-Zhu Duand Frank Hwang, World Scientific, Lecture Notes Series onComputing – Vol. 1. 1992.

[19] H. Hoppe, T. DeRose, T. Duchamp, J. McDonald, andW. Stuetzle. Surface reconstruction from unorganizedpoints. Computer Graphics, 26(2):71–78, 1992.

[20] R. Kolluri, J. R. Shewchuk, and J. F. O’Brien. Spectral sur-face reconstruction from noisy point clouds. In Sigraph,pages 11–22, 2004.

[21] M. Levoy, K. Pulli, B. Curless, S. Rusinkiewicz, D. Koller,L. Pereira, M. Ginzton, S. Anderson, J. Davis, J. Ginsberg,J. Shade, and D. Fulk. The digital michelangelo project:3D scanning of large statues. In K. Akeley, editor, Sig-graph 2000, Computer Graphics Proceedings, pages 131–144. ACM Press / ACM SIGGRAPH / Addison WesleyLongman, 2000.

[22] Y. Ohtake, A. Belyaev, M. Alexa, G. Turk, and H.-P. Seidel.Multi-level partition of unity implicits. ACM Trans. Graph.,22(3):463–470, 2003.

[23] C. R. P. Cignoniy and R. Scopignox. Metro: measuring erroron simpli ed surfaces.

[24] J. Schreiner, C. E. Scheidegger, S. Fleishman, and C. T.Silva. Direct (re)meshing for efficient surface processing.Computer Graphics Forum, 25(3):527–536, 2006.

[25] A. Sharf, T. Lewiner, A. Shamir, L. Kobbelt, and D. Cohen-Or. Competing fronts for coarse–to–fine surface reconstruc-tion. In Eurographics, pages 389–398, Vienna, september2006.

[26] M. Teichmann and M. Capps. Surface reconstruction withanisotropic density-scaled alpha shapes. In D. Ebert, H. Ha-gen, and H. Rushmeier, editors, IEEE Visualization ’98,pages 67–72, 1998.


258

A Platform for Spatial Augmented Reality

Julio Lucio MartinIMPA

[email protected]

Luiz VelhoIMPA

[email protected]

Abstract

This document describes the development and first ex-periences of the S.A.R. platform ("Spatial Augmented Real-ity"). This document also describes the first two pieces ofsoftware developed for this platform. The first of them gen-erates a set of transformation matrices that let us to trans-form geometries form 3D virtual space to the 3D real space.The second allow us to design tests with simple geometriesonto de real geometries. We also show the configurationand devices used in the first experiments and a few imagesof the results.

1 Introduction

We developed a project in virtual augmented reality, anddid some experiments in this area, through the developmentof a system that is able to lighting and texturing dynami-cally, the surfaces of convex white objects.

To this end, we used a projector that will place textures,lights and shadows on the object’s surfaces. To calibrate theprojections we used an algorithm developed at VISGRAFLaboratory. This algorithm allow us to use a reference ob-ject, to obtain information about the transformations that weshould apply the image to be mapped on the projector space.

Once we have calculated these transformations in theprojector space, we are able to do the projection on the ref-erence object.

2 Previous Works

Our research is based on previous work in S.A.R., wheredifferent techniques were used for lighting and texturing en-vironments and objects dynamically. The technique of spa-tially augmented reality has its origins in the seminal work"Office of the Future" by Henry Fuchs at North CarolinaUniversity [7].

The first work by Ramesh Raska and colleges [6][8][1]describes a new way of visualisation of 3D computer graph-ics, which involves light projectors and physical objects to

generate images rich in detail directly in the user’s world.Although the method is limited when compared to tradi-tional graphics rendered on computer’s screens, it offers anew way to interact with synthetic images. They presentednew lighting techniques based on images of non-trivial ob-jects. A rendering process involves essentially the user’spoint of view, the shape of graphic objects, the refractionand lighting properties. The traditional computer graphicsor traditional head augmented reality generates the resultsfor all these elements with a temporal reduction rate (framerate) or spatial resolution (pixel). With shader lamps, theytry to keep the point of view and the surface at the highestresolution, and only the additional colour information staysat a limited resolution.

The second work from Deepak Bandyopadhyay andcoauthors, presents a new 3D painting augmented realitypainting system onto real objects. It requires two projec-tors facing each other, a tracker attached to the object (onthe brush), both projectors to be calibrated to the referenceframework of the tracker, the object to be fairly colouredand diffuse, and that the object’s geometry and its texturecoordinates are pre-computed. More references on this andother works can be found in course materials and booksabout the subject[5] [3] [4].

Our initial inspiration for this project was also the workof artist Pablo Valbuena, who developed an artwork, us-ing a projector to illuminate some square base prisms. Heachieved these results through the building of the geome-try in the real world and then he modelled geometry in thecomputer and rendered them with a few lights, using a 3Dsoftware. The resulting rendered movie was projected onthe geometries creating the illusion that the light was flyingaround them. [2]

3 Description

Our platform is composed of two parts. A set of hard-ware components and various software applications. Atfirst, the hardware configuration consists of a computer withhigh end graphics capability, a projector, a base space andsupport objects.


259

In this section we describe both the hardware and soft-ware aspects of the system.

3.1 Devices

In the laboratory, we built a platform made of planar sur-faces that form an angle of ninety degrees, which is servingas a basis for projection.

We put the projector hanging from the ceiling orientedin the direction of the base, allowing it to illuminate theplatform with a lateral projection.

Then we construct a cubic object which when placed onthe platform, allows us to capture the positions of some spe-cific points of the cubic geometry for calibration.

• Base Space or projection platform. This base space(figure. 1), is a coordinate space in the real world. Thatmeans that has a position and orientation. It is thespace where the projector illuminates the geometriesthat are in it. For our first experiments, we have builtover a table at the lab planes of 90cm x 60cm foamwhite paper, and marked on it the origin of the basespace coordinates system.

Figure 1: Base space.

• Calibration Object. We built a cubic calibration objectof dimensions 30cm x 30cm x 30cm and we marked 17points on its edges and faces, points that the calibrationapplication will use as input information. (figure 2)

With this object placed at position (30, 0, 0) on theprojection space, we measure the 3D positions of themarked points, and generate a file with these pointspositions in the real 3D world.

• Projector. The projector is placed hanging from theceiling with the brackets included in the lab, and ori-ented in such a way that is able to illuminate both the

Figure 2: Calibration object.

space-based projection as the top face, left and front ofthe cube. (figure 3)

Figure 3: Projector placement.

• Computer. We connect the projector to the extra videooutput that has the computer where we run applica-tions.

3.2 Applications

With this geometry information, a calibration applicationis able to calculate projective transformation, which will beused later to project the geometries transformed for the pro-jection platform for this projector.

Rendering applications, will draw some textures on thecubic object, and will allows us to establish if the results of


260

calculations of the matrices are correct.Both applications use the libraries openFrameworks.cc

and mathematical GSL library for matrix calculations.

4 Calibration Application

Figure 4 describes the structure and components of thecalibration program.

Figure 4: Architecture of the calibration program.

4.1 Input

Once we have placed the object on the base calibrationspace and we have decided and marked the points on the ob-ject being used to calibrate, we generate a file that containsthe 3D positions of points marked on the object in the realworld.

When running the application, it loads this point file andstart a 3D projected user interface in the base space that al-lows the user to draw points on the geometry and move themto the positions of marked points on the object. (Figure 5).These two sets of points are those that the system uses asinput to the calculations of the matrices.

4.2 Calibration

For the calculation of the calibration matrices we use analgorithm developed at VISGRAF Laboratory. This algo-rithm calculates the transformation matrix that will trans-form from the 3D computer scene space (virtual) to the realspace of the base space. This algorithm was developed byBruno Madeira and built into Windows XP. Using combi-nations of 2D and 3D points, the algorithm generates twomatrices and a vector:

• Camera Transformation. Transformation matrix,which deforms the scene in the same way that makesthe projector lens.

Figure 5: Interface for specifying point correspondence inthe calibration program.

• Rotation. Matrix representing the rotation between thebase space and projector.

• Position vector. Represents the vector of relative posi-tion between the base space and the projector.

4.3 Application output

The matrices generated by the application are stored oncomputer disk for further use.

After calculating the matrices, the application will sketch2D points added by the user and also the 3D pointstrasformed using the transformation matrices.

Maping the two sets of points we have a proof ofthe correct projector calibration, as a consequence of thecoincidence of the position of points 2D and 3D trans-formed.(Figure 6).

Repeating this process with various projectors, we cancalculate transformation matrices for each of them, so weare able to illuminate objects from several different posi-tions, which allows us to cover all areas of the objects.

5 Texture design application

This application is able to load any 3D scene in "3ds" fileformat and draw the objects transformed in the scene, forthem to be designed correctly on the base space. For testing, the application also designs a light that rotates around theobject, and illuminate it.


261

Figure 6: Proof of calibration.

6 Results

Generating different 3D scenes on the computer withcubes of different textures and projecting them on the objectcubic calibration, we obtained the following results. Seefigures 7 8 e 9

(a) left illumination (b) right illumination

Figure 7: Aluminium texture

7 Ongoing work

We have set up the bases for the experimentation with anobject and the projector calibrated for the space where theobject is placed.

As previously mentioned, the projector lights only (tex-tured) one side of the object.

To cover all sides of an object, it would be necessaryto add more projectors (the number depending on the com-plexity of the object).

(a) left illumination (b) frontal illumination

Figure 8: Semitransparent glass texture

We could also use cameras and other sensors to deter-mine both the geometry of the object, how to detect thehead position of the user, enabling us to add the specularcomponent to render.

Though depending on the angle at which focuses thelight from the projector in the geometry, the reflection ishigher or lower for the same colour, we should do some ad-justments in projector illumination, independently for eachobject face. In the case of several projectors, would have toalso make a blending that would eliminate discontinuities inthe light of a projector.

References

[1] Dynamic shader lamps: Painting on movable objects. In ISAR’01: Proceedings of the IEEE and ACM International Sympo-sium on Augmented Reality (ISAR’01), page 207, Washing-ton, DC, USA, 2001. IEEE Computer Society.

[2] Pablo valbuena, spatial augmented reality, 2007.http://www.pablovalbuena.com/.

[3] O. Bimber, F. Coriand, A. Kleppe, E. Bruns, S. Zollmann,and T. Langlotz. Superimposing pictorial artwork with pro-jected imagery. In SIGGRAPH ’06: ACM SIGGRAPH 2006Courses, page 10, New York, NY, USA, 2006. ACM.

[4] J. C. Lee, P. H. Dietz, D. Maynes-Aminzade, R. Raskar, andS. E. Hudson. Automatic projector calibration with embeddedlight sensors. In UIST ’04: Proceedings of the 17th annualACM symposium on User interface software and technology,pages 123–126, New York, NY, USA, 2004. ACM.

[5] R. Raskar. Projectors: advanced graphics and vision tech-niques. In SIGGRAPH ’04: ACM SIGGRAPH 2004 CourseNotes, page 23, New York, NY, USA, 2004. ACM.

[6] R. Raskar, K. Low, and G. Welch. Shader lamps: Animatingreal objects with image-based illumination. Technical report,Chapel Hill, NC, USA, 2000.

[7] R. Raskar, G. Welch, M. Cutts, A. Lake, L. Stesin, andH. Fuchs. The office of the future: a unified approach toimage-based modeling and spatially immersive displays. InSIGGRAPH ’98: Proceedings of the 25th annual conferenceon Computer graphics and interactive techniques, pages 179–188, New York, NY, USA, 1998. ACM.


262

(a) left illumination (b) frontal illumination

Figure 9: Plant texture

[8] R. Raskar, R. Ziegler, and T. Willwacher. Cartoon dioramas inmotion. In NPAR ’02: Proceedings of the 2nd internationalsymposium on Non-photorealistic animation and rendering,pages 7–ff, New York, NY, USA, 2002. ACM.


263

PÔSTERES


264

1

Dispositivos Hápticos: Tendências no Desenvolvimento e Limitações de Uso para

Suporte a Ambientes Autênticos de Aprendizagem

Wilson M. Silva Universidade Federal de Pernambuco

[email protected]

Resumo

Neste trabalho são elicitados requisitos quanto à

interação háptica, a partir da análise de 2 (dois) projetos

de Ambiente Virtual de Treinamento (AVT) – sistemas

implementados com as tecnologias de Realidade Virtual

(RV) e/ou Realidade Aumentada (RA). Os AVT podem ser

utilizados como Ambientes Autênticos de Aprendizagem

(AAA) desde que requisitos identificados quanto à

utilização de dispositivos hápticos sejam atendidos. Além

disto, realizou-se uma compilação de dispositivos

hápticos recentemente desenvolvidos, que sinalizam com

a mitigação de tais deficiências num futuro breve.

1. Introdução

A origem deste trabalho deu-se a partir da identificação de requisitos não-atendidos (ver seção 4) – no que tange à interação háptica – que ao serem mitigados, possibilitariam o uso mais efetivo de Ambientes Autênticos de Aprendizagem (AAA). Os dispositivos hápticos – responsáveis por fornecer a percepção mecânica na interação com os ambientes virtuais – se constituem num fator crucial quanto à utilização de AAA. Pois, fornecer a percepção adequada do contexto é um aspecto-chave para um Ambiente Virtual de Treinamento (AVT) ser considerado autêntico pelo seu usuário.

2. Ambientes Autênticos de Aprendizagem

Experiências ou Ambientes Autênticos de Aprendizagem (AAA) são definidas como tarefas (ou conjuntos de tarefas) que ocorrem num contexto de elevada relevância para o aprendiz [1]. O termo “autêntico” está intimamente relacionado à noção de contextualização. Ou seja, a tarefa a ser executada pelo aprendiz deve se aproximar ao máximo da “realidade” vivenciada ou conhecida por ele [2]. Sendo assim, a perfeita percepção do ambiente é parte fundamental para a autenticidade a ser identificada pelo indivíduo.

3. Ambientes Virtuais de Treinamento

Um AVT pode ser identificado como um AAA, a depender do nível de imersão que tais ambientes proporcionem aos seus usuários. Outro fator que aproxima os AVT dos AAA é a utilização da estratégia de aprendizagem “aprender fazendo”. O que também pode requerer elevado grau de imersão a depender do cenário em uso.

STARMATE [3] [4] trata-se de um AVT que visa prover assistência ao aprendiz quanto à realização de complexos processos de montagem de equipamentos mecânicos. O processo de assistência ocorre a partir de cenários de treinamento. Tais cenários são previamente catalogados. E são compostos por elementos tais como: vídeos, sons, animações 3D, modelos CAD e scripts XML. Sendo que os scripts XML definem a ordem em que tais elementos podem ser acessados / apresentados. O aprendiz que utiliza o STARMATE não tem contato háptico com objetos virtuais. Apenas objetos reais são manuseados.

VIZENDO [5] é um AVT implementado para treinar usuários num contexto de montagem de peças automotivas. Os componentes de hardware utilizados são: HMD, luvas hápticas 5DT® e um device háptico Phantom®. As luvas provêem as informações de orientação e localização das mãos, permitindo sua visualização no ambiente virtual. E o usuário recebe um feedback háptico ao manipular objeto. O device háptico Phantom® é atado às luvas para fornecer um feedback

háptico, que simula as restrições físicas de movimento identificadas num ambiente real. Isto evidencia a necessidade de um dispositivo específico para simular tais restrições.

4. Demanda por Dispositivos Hápticos

A percepção háptica baseia-se nos sinais sensoriais advindos da interação com ambientes virtual ou real. Essas interações envolvem variáveis tais como: forças, torques, massas, movimentos e outros. Também impacta a percepção dos ambientes (virtual ou real), o modo como o sistema nervoso do individuo-usuário processa as informações decorrentes da interação [6].

Para que os AVT possam ser utilizados como AAA, amplia-se a demanda por percepção autêntica do


265

2

ambiente. As sensações de: (1) tocar acidental ou

deliberadamente objetos; (2) segurar ou pressionar

objetos de diversos formatos, pesos e texturas; e (3)

manipular e identificar objetos que não se pode

momentaneamente ver; são alguns dos requisitos que os AVT devem atender para serem considerados AAA.

Alguns cenários de treinamento no mundo real podem requerer a necessidade de tocar objetos com a palma ou dorso da mão do aprendiz. Em outros cenários, o toque pode ser acidental, e isto poderia representar um risco à integridade física do aprendiz, se ocorresse num ambiente de treinamento com algum grau de periculosidade.

Dois dispositivos apresentados recentemente poderiam ser utilizados para satisfazer os requisitos (1) e (3): ServoSqueeze e ServoTap [7]. O ServoSqueeze tem a função de simular uma pressão ao punho do usuário. O ServoTap tem a função de simular um toque com a ponta do dedo no punho do usuário.

O ServoTap poderia simular um toque no dorso da mão, quando o aprendiz inadvertidamente “tocasse” um objeto virtual (requisito <1>), que no mundo real poderia lhe causar dano: uma superfície pontiaguda ou cortante. Uma adaptação do ServoSqueeze poderia simular uma vibração no punho do usuário, para os casos em que o mesmo “colocasse” a palma da mão numa superfície virtual vibratória (próxima a um motor virtual – requisito <3>). Poder-se-ia adaptar sensores aos equipamentos apresentados, para se obter a localização e orientação dos mesmos no ambiente virtual.

Ao simular a manipulação de objetos virtuais

“pesados” (requisito <2>) tende-se a esbarrar no limiar de força, que os dispositivos hápticos apresentam. No entanto, projetos como o MasterFinger-2 [8] são promissores no que tange a vencer tais barreiras. O MasterFinger-2 é composto de uma estrutura metálica, na qual o usuário pode introduzir os dedos polegar e indicador de ambas as mãos. O objetivo é erguer objetos virtuais com a simulação de peso.

Uma estratégia interessante seria combinar o MasterFinger-2 com o dispositivo desenvolvido por [9]. Este dispositivo foi projetado para avaliar a percepção de direção, com os dedos das mãos, o que tenderia a ampliaria a sensação de autenticidade. A maior sensibilidade na ponta dos dedos poderia permitir que este novo dispositivo agregasse à capacidade de simular a percepção do peso dos objetos virtuais, à sensibilidade a texturas.

Já o dispositivo proposto por [10] visa fornecer a sensação de diferentes graus de rugosidade sem mudança do estímulo mecânico (requisito <2>). O estímulo deve ser criado diretamente no dedo indicador.

5. Discussão

O uso efetivo de AAA requer um grau elevado de autenticidade, conforme se procurou mostrar neste texto. Os requisitos elicitados são um fragmento de um grande conjunto, ainda não completamente identificado. O objetivo deste trabalho foi mostrar que o uso efetivo de AAA requer o desenvolvimento de dispositivos hápticos específicos.

No entanto, a breve compilação de dispositivos hápticos apresentada mostra um cenário alentador para o usuário / pesquisador de tais ambientes. Parece evidente que, outros trabalhos nesta vertente precisam ser apresentados. Na busca de ampliar o conjunto mínimo de requisitos de interação, de modo a estimular a indústria a satisfazer tais demandas.

6. Referências

[1] T. Herrington and J. Herrington, “Authentic Learning Environments in Higher Education”, Turkish Online Journal of Distance Education, 2006, pp. 175-180.

[2] H. T. Berge, S. Ramaekers A. Pilot, "The Design of Authentic Tasks that Promote Higher Order Learning", EARLI-SIG Higher Education / KIT- Conference, Number 3, 2004, pp. 01-23.

[3] B. Schwald, J. Figue, E. Chauvineau, F. Vu-Hong, A. Robert, M. Arbolino, M. Schnaider, B. De Laval, F. Dumas de Rauly, F.Anez, O.Baldo and J.M.Santos, "STARMATE: Using Augmented Reality technology of complex mechanical elements", E-Work and E-Commerce, Vol. 1, 2001, pp. 196-202.

[4] B. Schwald and B. De Laval, "An Augmented Reality System for Training and Assistance to Maintenance in the Industrial Context", Journal of WSCG, Vol. 11, No 1, 2003.

[5] D. Jia, A. Bhatti and S. Nahavandi, "Design and Evalution of a Haptically Enable Virtual Environment for Object Assembly Training", Haptic Audio Visual Environments and Games, 2009.

[6] G. Robles-De-la-Torre, "Principles of Haptic Perception In Virtual Environment", In M. Grunwald (Ed), “Human Haptic Perception”, pp.363-379, Birkhauser Verlag (2008).

[7] M. A. Baumann, K. E. Maclaren, T. W. Hazelton and A. McKay, "Emulating Human Attention-Getting Practices wit Wearable Haptics", Haptics Symposium, 2010, pp. 149-156.

[8] C. Giachritsis, J. Barrio, M. Ferre, A. Wing and J. Ortego, "Evalution o Weight Perception During Unimanual and Bimanual Manipulation of Virtual Objects", Third Joint Eurohaptics Conference and Symposium on Haptic Interfaces for Virtual Environment and Teleoperator System, 2009, pp. 629-634.

[9] B. T. Gleeson, S. K. Horschel and W. R. Provancher, "Perception of Direction for Applied Tangential Skin Displacement: Effects of Speed, Displacement and Repetition", IEEE Transactions on Haptics, 2010.

[10] R. Samra, D. Wang and M. H. Zadeh, "Design and Evaluation of a Haptic Tactile Actuator to Simulate Rough Textures", IEEE Virtual Reality, 2010.


266

Interface de Realidade Virtual para gerenciamento e

monitoramento de redes

Affonso Moia Vieira, Ingrid Aigner Ostroski, Renan Bergamin Stuchi, Bruno Monteiro

dos Santos, Flávio Yukio Nakabayashi, Raphael Zanguettin Parra, Yuri Costa da Mata, José

Ferreira Remo Brega

UNESP – Bauru - LSTR

[email protected], [email protected], [email protected], [email protected],

[email protected] , [email protected], [email protected], [email protected] .

Abstract

This document discusses the questions

involved in the development of the project Interface

of Virtual Reality of Computer Networks

Management and Monitoring.

Description, methodology documentation,

stages of development.

It is a system for Linux environment,

developed with free software and libraries, aiming at

assisting administrators in the management of

network traffic, proposing a new form of

visualization, a tridimensional analysis in a synthetic

computational environment.

Keywords-component; network environment,

virtual reality.

1. INTRODUÇÃO

Devido ao grande volume e

complexidade dos dados surge a necessidade de

se criar formas eficientes para análise e

compreensão de informações [1]. A utilização

de técnicas de Realidade Virtual (RV) em

conjunto com técnicas de visualização da

informação possibilitaram tamanho avanço.

Neste trabalho é proposto um sistema

que utiliza de técnicas de realidade virtual para

visualização de dados de uma rede de

computadores que possua grande tráfego de

informação. Utiliza-se uma biblioteca, LibpCap,

que possui funções capazes de manipular dados

obtidos através da interface de rede. Essas

informações são analisadas e armazenadas em

uma estrutura de dados, Conexão, que é

responsável por verificar a validade das

conexões e possibilitar que estas estejam

representadas em uma interface 2D e 3D em

tempo real e com interação. Para análise de um

ambiente de RV devem-se considerar quatro

elementos: o ambiente virtual, o ambiente

computacional, tecnologia de Realidade Virtual

e formas de interação [2].

2. OBJETIVOS

Desenvolvimento de uma ferramenta de

visualização e gerenciamento de redes de

computadores que possibilite relacionar dados

da rede, monitorar o fluxo de pacotes e usar

técnicas de Realidade Virtual.

As técnicas de RV empregadas serão:

• Ambiente sintético tridimensional

processado em um ambiente computacional;

• Sistema reagirá a estímulos externos do

usuário – utilizará dispositivos convencionais

(mouse e teclado), caso o gerente de rede queira

interagir com o ambiente para melhor

visualização;

• Os dados serão processados em tempo

real sendo mostrados em uma interface gráfica e

amigável para um ambiente Linux.

O objetivo da ferramenta é garantir um

maior desempenho ao trabalho dos

administradores de rede, visto que, atualmente

os ambientes de visualização são basicamente

em modo texto.

3. METODOLOGIA

Durante a primeira fase de

desenvolvimento, para o levantamento e análise

de requisitos, foram abordados diversos artigos

que abordavam assuntos de redes de

computadores e Realidade Virtual, além de um

estudo sobre a plataforma e linguagem utilizada.

Finalizada a primeira fase, iniciou-se a

estruturação do projeto, modularização,

definição dos diagramas a serem utilizados e por

fim deu-se início a fase de desenvolvimento.

4. INTERFACE TEXTO


267








Este módulo tem o intuito de fornecer ao

usuário uma interface onde possa analisar de

forma mais detalhada as informações dos dados

que trafegam na rede.

Este módulo permite ao usuário escolher

a interface de rede que será rastreada. Escolhida

a interface cria-se uma lista com as conexões

capturadas, o usuário poderá navegar por esta

lista e obter informações detalhadas dos pacotes

capturados.

Figura 1 –Interface texto.

5. INTERFACE LOG

Este módulo consiste em uma interface

de usuário que o administrador de rede poderá

escolher de qual interface de rede será rastreada,

fazer o log deste, e vai poder também selecionar

em qual local e nome do arquivo para ser salvo.

6. INTERFACE 3D

A escolha para utilização da biblioteca

Ogre 3D deu-se por ser desenvolvida em uma

linguagem compilada, C++, isso acarretaria em

um maior desempenho durante a leitura e

interpretação dos dados lidos da rede. Outro

fator que influenciou na escolha da linguagem

C++ como base para o desenvolvimento é que

facilitaria na integração com a biblioteca

LibpCap, escrita em C.

Para realizar a modelagem 3D foi

decidido utilizar trabalhar com o Blender, pois é

um software livre e multiplataforma.

Há uma tela de configuração que permite

ao usuário escolher melhor forma visualização.

As principais configurações são:

• Tela de configuração da interface de

rede: permite ao usuário escolher qual interface

de rede ele gostaria de rastrear, além de poder

escolher ler a partir de um arquivo de log;

• Tela de configuração dos Eixos: nessa

tela o usuário irá escolher quais informações

deverão ser representada em cada aresta do

cubo;

• Tela de configuração de filtros: o

usuário poderá construir filtros com base nas

funções de filtro da LibpCap;

• Tela de configuração dos indicadores:

nessa tela o usuário poderá escolher cores

classificatórias representando um intervalo de

valores que pode porta origem, porta destino,

tamanho em Kbs e tempo.

Figura 2 – Interface 3D

7. CONCLUSÃO

Um sistema de Gerenciamento de Redes

utilizando conceitos de Realidade Virtual pode

ser aplicado em diferentes situações por um

administrador:

• Tipos e Formas de Aplicação: o

Monitoramento do tráfego da rede;

• Detecção de comportamentos

específicos da rede;

• Análise de tráfego de dados em datas

anteriores.

O monitoramento e a detecção de um

comportamento da rede podem parecer com

uma única ação do sistema, porém a segunda

ação é uma conseqüência da primeira, pois a

partir de uma análise dos dados mostrados na

interface do usuário, o administrador pode

detectar uma possível invasão que se caracteriza

primeiramente por uma varredura das portas,

caso exista uma porta que não esteja em uso,

esta ser torna um ponto vulnerável para um

possível o ataque.

8. REFERÊNCIAS BIBLIOGRÁFICAS

[1] J. Virtual Reality Systems. Estados Unidos:

Addison-Wesley, 1995.

[2] KUROSE, J. F., ROSS, K. W. Redes de

Computadores e a Internet: uma nova

abordagem, Pearson, Addison Wesley, 2003.

[3] TORI, R., KIRNER, C., & SISCOUTO, R.

(2006). Fundamento e Tecnologia de Realidade

Virtual e Aumentada. Belem PA.


268

Métodos e Ferramentas para o Desenvolvimento deCenários de um Sistema de Treinamento de Pilotos de

HelicópteroMairlo Hideyoshi Guibo

Carneiro da LuzUniversidade Federal de

ItajubáAv. BPS, 1303. BairroPinheirinho. 37500-903.

Itajubá. MGTel. +55353629-1428

[email protected]

Alexandre CarlosBrandão Ramos

Universidade Federal deItajubá

Av. BPS, 1303. BairroPinheirinho. 37500-903.

Itajubá. MGTel. [email protected]

Edison Oliveira deJesus

Universidade Federal deItajubá

Av. BPS, 1303. BairroPinheirinho. 37500-903.

Itajubá. MGTel. [email protected]

Felix Mora CamiñoEcole Nationale del'Aviation Civile

7, Avenue E. Belin - BP4005.

Toulouse Cedex –Code: 31055

Tel. [email protected]

RESUMOEste trabalho apresenta os métodos e ferramentas

utilizadas no desenvolvimento do módulo de cenário de um

Sistema de Treinamento de Pilotos de Helicóptero – STH. Este

módulo tem por objetivo simular computacionalmente o ambiente

externo real visto pelo ponto de vista do piloto do helicóptero e

faz parte de um simulador do helicóptero AS350, que é composto

por um sistema de treinamento baseado em computador e um

simulador da cabine construído em escala 1:1.

Palavras – chave: Metodologia, Ferramentas,Treinamento, Engenharia de Software e Computação Gráfica.

1. INTRODUÇÃOApesar de toda a tecnologia de ponta presente nos

sistemas e dispositivos eletrônicos das aeronaves, como os

sistemas anti-colisão, muitos acidentes têm ocorrido nos últimos

tempos. Acidentes esses que acarretam na perda de preciosas

vidas humanas e que arranham a imagem das grandes companhias

aéreas, minando seus lucros. Muitos destes acidentes podem ser

evitados caso os pilotos sejam treinados em situações de risco,

onde o tempo para a tomada de decisão é muito pequeno.

Atualmente o treinamento dos pilotos é feito em classe,

onde um piloto mais experiente familiariza os alunos-pilotos com

os controles de vôo e lhes repassa os procedimentos operacionais

de rotina e de emergência a partir de pôsteres e apostilas com

fotos. O STH foi dividido em quatro módulos principais, cujo

desenvolvimento se dá de maneira paralela:

• Tutoriais: os tutoriais disponibilizam conteúdo e

animações a respeito do funcionamento e operação dos

principais subsistemas do helicóptero.

• Cabine: a cabine é composta pelo painel de

instrumentação, os controles e o projetor multimídia,

conforme mostrado na figura 1. Tem como objetivo

simular a cabine de pilotagem do helicóptero da maneira

mais fiel possível;

• Sistema GPS: o sistema GPS (Global Position System

ou Sistema de Posicionamento Global) visa simular o

aparelho de geomapeamento global de navegação, de

modo a auxiliar o piloto na localização geodésica do

simulador de helicóptero. Na figura 3 tem-se uma

imagem de um GPS real;

Figura 1 - Cabine• Cenário: o cenário tem por finalidade simular, a partir

de um ambiente virtual tridimensional, o mundo real a

qual o piloto de helicóptero interage-se no seu dia-a-dia.

Na figura 2 tem-se um exemplo de uma imagem de um

ambiente 3D, utilizado como cenário para este sistema.

Figura 2 - Exemplo de cenário

2. O MÓDULO DE CENÁRIOEste módulo tem por objetivo simular a visualização do

ambiente ao qual o piloto de helicóptero está inserido, dando a ele

o controle de suas ações no comando do simulador do helicóptero.

Para desenvolver esse módulo, faz-se necessário o

estudo de algoritmos de computação gráfica, incluindo

renderização de objetos 3D, otimização da renderização de


269

terrenos tridimensionais, algoritmos de colisão, culling de objetos

3D, etc. [04-07].

Pela complexidade destes algoritmos e do simulador, o

desenvolvimento dos módulos por equipes de desenvolvedores

acaba virando uma necessidade. Desse modo, aborda-se a seguir a

metodologia e as ferramentas utilizadas no desenvolvimento do

módulo de cenários do sistema de treinamento de helicópteros.

2.1. BIBLIOTECA GRÁFICA E LINGUAGEMDE PROGRAMAÇÃO

A linguagem de programação deve ser orientada a

objetos, visto que esta privilegia a manutenção do sistema e

facilita o trabalho em equipe [02]. Quanto mais robusta e simples,

melhor. Principalmente quando a equipe de desenvolvimento não

tem muita experiência. Nesses momentos, linguagens que dão

suporte nativo ao gerenciamento de memória e montagem de

interfaces são as mais apropriadas, pois tornam o trabalho mais

produtivo, mantendo a motivação da equipe de desenvolvimento

em alta, ao contrário de projetos que possuem baixa produtividade

[02] [03].

Já com relação à biblioteca gráfica, a escolha da API

deve ser baseada no suporte nativo via hardware, já que desse

modo a velocidade de execução da aplicação será muito maior em

relação às bibliotecas executadas por software, que são mais

lentas [05]. No projeto utilizado de suporte para este artigo,

utiliza-se a linguagem C# (C - Sharp) e a API gráfica DirectX

para o desenvolvimento.

2.2. INFRA-ESTRUTURA DE APOIOUma vez definidas a linguagem de programação e a

biblioteca gráfica a ser utilizada, é necessário criar a infra-

estrutura de apoio, a fim de facilitar o desenvolvimento em grupo.

Para tal, deve-se propor a padronização da estrutura de diretórios.

Com uma estrutura de diretórios padronizada, o trabalho também

fica facilitado, ajudando no treinamento de novos

desenvolvedores, que se familiarizam mais rapidamente a

estrutura do projeto.

Também facilita na análise de códigos-fontes pelos

desenvolvedores, já que toda vez que uma classe for examinada,

todos os caminhos de acesso a arquivos externos são feitos

baseando-se nessa estrutura padrão, diminuindo assim o “fator de

rejeição” do desenvolvedor ao código cuja decodificação não é de

sua autoria.

Os desenvolvedores também devem criar uma

padronização da nomenclatura das variáveis. Deste modo a

legibilidade do código ficou bastante favorecida, facilitando a

manutenção do código-fonte pelos desenvolvedores que não

participarem originalmente na concepção das classes envolvidas

no projeto.

2.3. FERRAMENTAS PARA RASTREARERROS E MEDIÇÃO DE DESEMPENHO

Para facilitar no rastreio de erros deve-se criar estruturas

de Log (gravar em arquivo texto informações importantes, como a

finalização da execução de um algoritmo ou valores de variáveis

para verificar o funcionamento correto de determinado algoritmo)

e Log de Erro (gravar em um outro arquivo informações sobre

erros, as classes envolvidas e valores de variáveis importantes).

Essa funcionalidade é de extrema valia, principalmente nas

ocasiões onde o erro ocorre dentro de um laço de repetição, o que

ocasiona uma série de MessageBoxs repetidos, caso essa

funcionalidade não seja implementada.

Além do dispositivo de log, cria-se estruturas para

mostrar textos em tempo real a partir de fontes 2D e para cálculo

da taxa de FPS (Frames Per Second – Quadros por segundo).

Desse modo, fica possível realizar o rastreamento de erros em

tempo real, mostrando informações internas do simulador na tela

do cenário. Sem falar que também é possível medir o desempenho

do simulador através do acompanhamento da taxa de FPS, uma

vez que quanto maior a taxa de FPS, maior a velocidade de

execução do algoritmo. Por isso pode-se escolher e aperfeiçoar os

algoritmos utilizados no desenvolvimento do módulo do cenário.

2.4. JUNÇÃO DE CÓDIGOS-FONTESTodos que trabalharam ou trabalham com

desenvolvimento de softwares em grupo sabem as dificuldades

que existem quando há a necessidade de se juntar funcionalidades

criadas por diferentes desenvolvedores em um mesmo arquivo.

Por esse motivo deve-se pesquisar uma ferramenta que automatize

esse processo, de modo que na junção dos arquivos nenhuma

funcionalidade seja perdida. Para este projeto foi utilizado o

software WinMerge [08], que atende a essas necessidades.

3. CONCLUSÕESNo projeto desenvolvido, a escolha de uma linguagem

orientada a objeto se mostrou acertada, visto que ela realmente é

mais eficiente na organização e manutenção do código-fonte. No

entanto, a escolha da linguagem C# (C - Sharp) não se mostrou

tão eficiente quanto à produtividade que se esperava. Não que as

outras linguagens sejam mais completas. Pelo contrário, a

linguagem C# é bem completa. O seu inconveniente é que, por

ainda não ser muito difundida, encontrar documentação,

bibliotecas e ferramentas que dêem suporte ao desenvolvimento

de ambientes virtuais tridimensionais se torna uma tarefa

complicada.

As ferramentas e bibliotecas existentes estão

disponíveis, em sua maioria, na linguagem C++. Dessa maneira,

apesar de não ter gerenciamento de memória automático e outras

facilidades inclusas na linguagem C#, a linguagem C++ oferece

mais recursos (bibliotecas e ferramentas) no desenvolvimento do

simulador de treinamento de helicóptero.

4. BIBLIOGRAFIA[01] LOPES, Anderson de F; RAMOS, Alexandre C. B.. Sistema

de Treinamento de Pilotos de Helicóptero. Anais do XII Brazilian

Symposium on Multimedia and the Web.

[02] ROLLINGS, Andrew; MORRIS, Dave. Game Architecture

and Design: Learn the Best Practices for Game Design and

Programming. 1ª edição. Coriolis Group Books, Novembro de

1999. 742 páginas.

[03] FOWLER, Martin. A Nova Metodologia. Capturado no dia

17/04/2007, On-line, Disponível na Internet no site

http://simplus.com.br/artigos/a-nova-metodologia/ .

[04] RENDERING, Wikipedia. Capturado no dia 17/04/2007, On-

line, Disponível na Internet no site

http://en.wikipedia.org/wiki/Rendering_(computer_graphics) .

[05] LUNA, Frank D. Introduction to 3D Game Programming

With DirectX 9.0. 1ª edição. Wordware Publishing Inc, junho de

2003. 388 páginas.

[06] PROJECT, Virtual Terrain. Capturado no dia 17/04/2007,

On-line, Disponível na Internet no site http://www.vterrain.org/ .

[07] POLACK, Trent. Focus on 3D Terrain Programming. 1ª

edição. Premier Press. 218 páginas.

[08] WinMerge. Capturado no dia 17/04/2007, On-line,

Disponível na Internet no site

http://winmerge.org/ .


270

Uso da realidade aumentada como ferramenta auxiliar ao vídeo educacional no ensino presencial e à distância

Eduardo Luis Schneider, André Grassi, Leonardo Piccoli, Daiana Vivan, Maria Isabel Timm

Centro Nacional de Supercomputação/CESUP, Universidade Federal do Rio Grande do Sul/UFRGS

Av. Osvaldo Aranha, 99 CEP 90035-190, Porto Alegre, RS [email protected]

Resumo Neste trabalho é apresentado um estudo sobre o uso da realidade aumentada como ferramenta auxiliar ao vídeo educacional. Foram feitos experimentos dentro da estrutura já existente no Centro Nacional de Supercomputação (CESUP) da UFRGS com câmeras controladas com joystick e através de uma mesa de apresentação de documentos. Foi produzido um vídeo de caráter exploratório e demonstrativo sobre o uso da RA (Realidade Aumentada) como tecnologia educacional para a criação de uma rede adicional para o supercomputador do CESUP/UFRGS. Palavras-Chave: realidade aumentada, tecnologias educacionais, educação à distância, vídeo educacional..

1. Infra-estrutura de EAD e Multimídia do CESUP/UFRGS Desde sua implantação em 2007, a infra-estrutura de produção de aulas à distância e multimídia do CESUP/UFRGS tem servido ao treinamento dos usuários do cluster (conjunto de computadores com processamento distribuído) Newton, mas igualmente à pesquisa e parcerias na área de tecnologias educacionais. Conforme descrito por Timm e outros (2008), o conjunto pretende ser um “sistema permanentemente instalado (plug-and-play) de produção, edição e transmissão de eventos interativos”, priorizando “a criação de condições para ministrar cursos que demandem alta exigência de visualização, ou que possam ser beneficiados pelos recursos audiovisuais em multimídia, para apoio à compreensão de conteúdos exigentes e complexos, como a computação de alto desempenho, e outras áreas

científicas e tecnológicas, como engenharia e medicina” [3]. A infra-estrutura, montada no Núcleo de Pesquisa e Desenvolvimento de Tecnologias Educacionais e EAD do CESUP, dispõe de sala de aula-estúdio de gravação com isolamento acústico e iluminação adequada; duas câmeras com controle remoto por joystick; uma mesa de apresentação de documentos; um computador de uso do professor com saídas de vídeo e áudio; e uma ilha de captação/edição com software/placa de captura NewTek Video Toaster, que possibilita escolher, em tempo real, entre as quatro fontes de vídeo mencionadas. Todos esses recursos permitem a integração com outras tecnologias como a RA. Pesquisa-se também a possibilidade de utilização remota da RA, pelos alunos à distância: o acesso a determinado conteúdo de vídeo, áudio e/ou 3D com o próprio computador do estudante [4, 5]. 2. Utilização da RA como Suporte a Criação de uma VLAN A integração da RA à estrutura já existente no CESUP/UFRGS está em fase experimental. O conteúdo dessa videoaula é o procedimento de criação de uma rede adicional para o cluster. Neste estudo de caso, o professor demonstra como criar uma rede local virtual, denominada VLAN, através do switch (dispositivo que gerencia as redes para reencaminhar módulos – frames - entre os diversos nós). Dentro do cluster do CESUP há três redes geridas. Uma rede de alto desempenho, uma de gerência e outra de trabalho (normal). Para dividir a rede em segmentos menores, cada rede adicional pode ser criada acessando-se a interface de configuração do switch e identificando que portas devem ser utilizadas. A videoaula pretende apresentar o switch, seu funcionamento e seus componentes, para que o aluno


271

seja capacitado a criar uma rede adicional para a máquina. A produção está sendo feita na sala de aula-estúdio do CESUP/UFRGS, com captação e edição em tempo real através da ilha de edição. Inicialmente, se produziu um teste de uso da tecnologia, com a utilização e demonstração da RA e dos outros recursos já utilizados regularmente. Na primeira parte da videoaula demonstrativa, o equipamento em questão foi mostrado através de sua imagem inserida em tela cheia no vídeo; e de sua imagem misturada eletronicamente com a do professor, de forma que este pudesse apontar fisicamente partes e componentes . Num segundo momento, experimentou-se a RA, executada através do sistema Sacra versão 2010, disponível em [6]. Foram previamente impressos os marcadores, usando os arquivos .pdf disponibilizados e inserido um novo objeto 3D - uma chapa plana modelada com a linguagem VRML através de um arquivo texto com extensão .wrl. Sobre ela, foi aplicada como textura uma foto do switch em formato .jpg. Para elaboração dessa chapa, primeiramente definiu-se um objeto tridimensional (em VRML 2 chamado de Shapes) que em geral contém dois atributos, a Aparência e a Geometria. Na Aparência definiu-se a textura, no caso a imagem a ser exibida. Já na Geometria definiu-se um objeto em forma de cubo, com as dimensões do painel (largura 10, altura 0.01 e profundidade 7.5). Para essa parte do experimento, um computador ASUS, dotado de webcam D-MAX 1.3M, e executando a RA, foi conectado à ilha de captação e edição de vídeo, para receber o sinal que normalmente é gravado e/ou transmitido. Na imagem captada/gravada, aparece o professor segurando a fotografia do equipamento em questão, como se ele estivesse manipulando o próprio equipamento e seus componentes (Figura 1 A).

Figura 1 – Em A o professor segurando o marcador para a captura por câmeras com controle remoto e a imagem do switch no monitor e em B um suporte a criação de

uma rede adicional com a visualização das portas do switch através da RA. Uma variação dessa experiência foi feita através da mesa de apresentação de documentos. Nessa mesa foi colocado o marcador e, conforme a Figura 1 B, a imagem captada/gravada mostra o próprio equipamento em questão, como se estivesse sendo manipulado e apresentado pelas mãos do professor. Este vídeo foi captado e editado nas instalações do CESUP/UFRGS, utilizando o equipamento já citado, e finalizado no software Adobe Premiere CS4. Está disponível para visualização no canal do YouTube do CESUP, onde também estão publicadas outras produções realizadas pelo Centro [7]. Pretende-se dar continuidade a este trabalho estudando a inserção de objetos 3D e técnicas de comando de voz.

Agradecimentos

Ao CNPQ, aos colegas do CESUP, em especial ao

técnico Lindolfo Meira e a diretora Denise Grüne Ewald, e ao professor Renato Ventura Bayan Henriques e demais colegas do Departamento de Engenharia Elétrica da UFRGS.

Referências [1] AZUMA, R.; BAILLOT, Y.; BEHRINGER, R.; FEINER, S.; JULIER, S.; MACINTYRE, B. Recent Advances in Augmented Reality. IEEE Computer Graphics & Applications, v. 21, n. 6, p. 34-47, novembro/dezembro, 2001. [2] ARTOOLKIT: http://www.hitl.washington.edu/rese~/shared_space. Visitado pela ultima vez em 18/10/2005. [3] TIMM, M. I.; ROLIM, Odilon; LONGHI, Magali; FERNANDES, Luis Fernando; EWALD, Denise Grüne; CABRAL JR., Paulo Augusto; FERREIRA FILHO, Raymundo C.M. Gestão de EAD: projeto de infra-estrutura e atividades de planejamento. In: V ESUD Congresso Brasileiro de Ensino Superior à Distância, 2008. [4] PROVIDELO, C.; DEBONZI, D.H.; GAZZIRO, M.A.; QUEIROZ, I.C.A.S.; KIRNER C.; SAITO, J.H. Ambiente Dedicado para Aplicações Educacionais Interativas com Realidade Misturada. In: I Workshop sobre Realidade Aumentada, Piracicaba, Brasil, Maio, 2004. [5] BOUD, A. C.; HANIFF, D. J.; BABER, C.; STEINER, S. J.. Virtual Reality and Augmented Reality as a Training Tool for Assembly Tasks. International Conference on Information and Visualization, vol. 4, pp.32-36, 1999. [6] http://www.ckirner.com/sacra/SACRA-2010.zip Visitado pela ultima vez em 07/08/2010. [7] http://www.youtube.com/user/cesupUFRGS Visitado pela ultima vez em 27/08/2010.


272

Modelagem de Objetos para Ambientes Virtuais Exteriores

Andson Felipe Pontes Belo, Thaíse Kelly de Lima Costa

LabTEVE - Universidade Federal da Paraíba


Resumo

O realismo em ambientes virtuais é um fator capaz

de motivar o usuário à exploração do ambiente. Sabe-

se que prover um elevado grau de realismo pode

requerer também um elevado desempenho

computacional. Devido a este fato, os direcionamentos

da modelagem podem contribuir para a construção de

modelos capazes de equilibrar o nível de realismo com

o custo de renderização da cena gráfica. Assim, este

trabalho busca apresentar algumas técnicas e

processo simplificado de modelagem de um ambiente

virtual exterior realista que mantém uma adequada

velocidade de exibição e navegação do ambiente.

1. Introdução

Os ambientes de Realidade Virtual (RV) são utilizados em uma variedade de domínios. Estes ambientes de RV, ou também chamados Ambientes Virtuais (AVs), são construídos através de modelos que devem proporcionar nível de realismo capaz de motivar o usuário a conhecer o ambiente.

Sabe-se que para promover um elevado grau de realismo o ambiente pode requerer também um elevado desempenho computacional. Tal desempenho pode influenciar a velocidade de exibição e navegação da cena gráfica e, consequentemente, desestimular o usuário quanto ao seu uso.

Com o objetivo de manter o realismo em ambientes virtuais exteriores abertos, aliados a um bom desempenho e navegação foram estudadas algumas técnicas de modelagem que auxiliam a construção desses AVs. A necessidade dessa investigação surgiu a partir do projeto para construção de um AV que representasse o Sítio Arqueológico da Pedra de Ingá [3]. Dessa forma, este trabalho visa apresentar e exemplificar algumas técnicas utilizadas durante o processo de criação dos modelos 3D que compõem o exterior do Sítio Arqueológico Virtual de Ingá. A fim de uma melhor apresentação, o trabalho será dividido em seções abordando técnicas de modelagem e processo de construção de AV exterior

2. Texturização

A texturização possibilita redução da complexidade dos modelos, mantendo uma aparência real do objeto.

Nos ambientes que representam virtualmente lugares reais, a texturização pode ser considerada um fator importante para o realismo da cena.

Dependendo do objetivo, a imagem utilizada para texturização pode requerer processamentos para melhorar sua qualidade, tanto através das próprias ferramentas de modelagem, como por aplicativos multimídia externos [1]. Uma técnica de processamento utilizada para melhorar o nível de realismo da textura em muitos objetos virtuais é a adição de transparência na imagem.

A adição de transparência ao fundo de uma imagem texturizada, aliada a técnicas de rotação do objeto de acordo com a orientação do observador, possibilita ao usuário a ilusão de que não se trata apenas de uma imagem bidimensional, mas sim de um objeto tridimensional [2].

3. Script Tree From Curves

O Script Tree From Curves foi desenvolvido para auxiliar no desenvolvimento de vegetação e permite a formação de árvores com excelente nível de realismo. Em Ambientes Virtuais extensos, onde a vegetação compõe grande parte do cenário exterior, é importante que, além de texturas, o ambiente contenha objetos virtuais (como árvores e arbustos) capazes de representar com realismo a paisagem natural do ambiente real. Dessa forma, para simular a vegetação, o Script Tree From Curves pode ser utilizado como uma alternativa na criação de modelos realistas [4].

A modelagem com o Script é iniciada a partir da curva de Bezier que sofrerá transformações geométricas para aumentar seu diâmetro e suavizar a superfície, tornando-a semelhante a um tronco. Após a criação do tronco, também por meio do Script, são gerados galhos e ramificações.

Para garantir uma boa navegabilidade, as ramificações devem manter uma distância suficiente entre elas, a fim de garantir a estabilidade do desempenho para exibição e navegação. Este fato ocorre porque, quanto menor a distância entre as ramificações, maior seu número e maior o processamento gráfico, devido ao nível de detalhes e aumento da quantidade de pontos. As folhas também podem ser feitas usando o Script citado, para isso, um


273

plano deve ser adicionado e o script pode replicá-lo na parte superior da árvore.

4. Modelagem do ambiente virtual do Sítio

Arqueológico de Ingá

O Sítio Arqueológico de Ingá é o mais importante do Estado da Paraíba, sendo tombado pela União, através do Instituto do Patrimônio Histórico e Artístico Nacional – IPHAN [3]. Trata-se de uma região extensa composta por pedras e vegetação dispersa pelo ambiente. As pedras possuem gravuras rupestres gravadas em sua face, sendo fonte de estudos para os arqueólogos.

O processo de modelagem do AV do Sítio Arqueológico de Ingá buscou utilizar técnicas de modelagem capazes de produzir um cenário realista com o intuito de atrair o usuário para navegação de exploração do AV. Primeiramente foi modelado o terreno com marcações da localização de cada ponto relevante no sítio, como por exemplo, a pedra principal que contêm gravuras rupestres, cantina, museu, árvore, entrada do sítio, dentre outras.

Posteriormente os objetos foram sendo modelados individualmente usando como modelo de referencia e textura, os vídeos e fotografias digitais do local, para obter um cenário virtual que se aproximasse do real. Durante o processo de modelagem de cada objeto foram necessários aplicação das técnicas descritas nas seções anteriores.

A cada modelo concluído, as marcações eram substituídas no terreno para testar se o novo componente do AV estava em escala adequada com a marcação, construindo o ambiente de forma gradativa. A Figura 1 apresenta o resultado atual da modelagem do Sítio Arqueológico Virtual. Nela percebe-se a presença da vegetação, pedra e outras estruturas presentes no ambiente real. A modelagem da casa, pedras e cercado visualizadas na imagem foram realizadas a partir de modelos básicos da ferramenta de modelagem, utilizando transformações geométricas, extrusão e texturização, no caso do cercado, utilizando também as transparências. A árvore destacada à esquerda da imagem foi modelada a partir da técnica Tree From Curves.

Figura 1. Sítio Arqueológico Virtual da Pedra Ingá.

5. Considerações

O processo de construção dos modelos 3D para a formação do Ambiente Virtual é uma importante fase na construção dos cenários tridimensionais. Sabe-se que a atração do usuário e motivação pela exploração do ambiente é um fator que pode aumentar a possibilidade de sucesso do trabalho.

Assim, a investigação e discussão sobre técnicas utilizadas para a construção de um AV podem auxiliar nas decisões para formação de um modelo 3D capaz de agregar realismo e bom desempenho de renderização da cena gráfica. Sob este olhar, o trabalho apresentou diretrizes para o processo de modelagem de Ambientes Virtuais Exteriores, aplicando estes direcionamentos na construção do Ambiente Virtual do Sítio Arqueológico de Ingá.

6. Agradecimentos

Este trabalho é financiado pelo Ministério da Cultura, edital MEC-XPTA.LAB - Programa laboratórios de experimentação e pesquisa em tecnologias audiovisuais.

7. Referências

[1] Andrade, B. M. Castillo, L. Guia Do Usuário Para Uso do Blender 3D Orientado a Design. Projeto de Graduação II em Design, Universidade Federal de Pernambuco, 2008. Disponível em: http://multipliquedesign.blogspot.com/2010/08/download-livro-guia-do-usuario-para-uso.html. Acesso em: setembro de 2010.

[2] Brutzman, D. Daly, L. X3D: Extensible 3D Graphics for Web Authors. Morgan Kaufmann, 2007.

[3] Marques, M.A. Costa, T.K.L. Machado, L.S. Netto, C.X. “Representação do Sítio Arqueológico da Pedra de Ingá com Realidade Virtual”. Workshop de Realidade Virtual e Aumentada - WRVA'2009, 2009, Santos/SP.

[4] Reinicke, J.F. “Criando Árvores com TreeFromCurves”. Tutorial de utilização do script TreeFromCurves. Disponível em: http://www.blender.com.br/internas/criando-arvores-com-treefromcurves. Acesso em: setembro de 2010.


274

PROPOSTA DE UM SISTEMA DE REALIDADE AUMENTADA PARAAUXIL IAR NO TRATAMENTO DA DOENÇA DE ALZHEIMER

Keynes M. Kanno, Fábio H. M. Oliveira, Edgard A. Lamounier Jr., Alexandre Cardoso,Ederaldo J. Lopes


{keyneskanno,fabiohenriquemonteirooliveira}@gmail.com, {alexandre, lamounier}@ufu.br,[email protected]

Abstract

This paper presents a prototype of an online system thatuses the technology of Augmented Reality (AR) to assist inthe treatment of patients with Alzheimer’s disease (AD). Bymarkers placed in boxes of medicine, the system recognizesthe marker via a Webcam. The markers show informationof the drug, how many hours left they need to take the me-dication and which period of day the patient should take it.Also, the patient can play a game of questions and answersrelated to his medication, using markers of AR. Finally, thesystem provides graphics performance of the patient thatmay be important for the doctor and psychologist to assessthe disease evolution.

1. Introdução

Segundo Kirner [5], a Realidade Aumentada (RA) éo enriquecimento do ambiente real com objetos virtuais,usando algum dispositivo tecnológico, funcionando emtempo real.

A Realidade Aumentada é uma poderosa tecnologia quetem contribuído em diversas áreas como na educação, in-dústria, publicidade e na área médica. Neste trabalho, a tec-nologia de RA é empregada para contribuir no tratamentode pacientes com a Doença de Alzheimer (DA).

A DA é a principal causa de declínio cognitivo em adul-tos, sobretudo idosos, representando mais da metade dos ca-sos de demência. A idade é o principal fator de risco. Issorevela a magnitude do problema no Brasil, onde já vivemcerca de 15 milhões de indivíduos com mais de 60 anos [3].

Sendo assim, decidiu-se desenvolver um sistema de RAbaseado em pesquisas realizadas na área da saúde e em en-trevista realizada com um psicólogo da área da PsicologiaCognitiva Experimental.


Em Bottino [1], foi realizado um tratamento utilizandomedicamento e treinamento cognitivo com um grupo de pa-cientes com doença de Alzheimer (DA), fase leve. Os resul-tados informaram que as estratégias de aprendizagem de-vem ser aplicadas a alguma necessidade do paciente em seucotidiano.

Em Grandmaison [4], os autores analisaram os diversosprogramas de estimulação da memória para pacientes comMal de Alzheimer e concluíram que o treinamento de me-mória ideal é aquele que apresenta informações úteis para avida diária do paciente.

Em Engelhardt [2], participantes da IV Reunião de Pes-quisadores em Doença de Alzheimer e Desordens relacio-nadas, elaboraram recomendações e sugestões para o trata-mento da DA. Dentre as recomendações, sugeriram que opaciente utilize medicamentos e realize treinamentos cog-nitivos.

3. Apresentação do protótipo

Basicamente, o paciente pode realizar três atividadesneste sistema: estudar os medicamentos, jogar o jogo deperguntas e respostas e visualizar dados de desempenho dopaciente.

Ao acessar o sitio pela primeira vez, é preciso cadas-trar os dados pessoais e informações de cada marcador quedeve ficar “colado” na caixa de remédio. Feito o cadastro,o usuário irá para o ambiente de treinamento. Neste ambi-ente, por padrão, o usuário pode estudar os medicamentosapontando-os para o webcam como é visto na Figura 1.

Na Figura 1, é apresentada informações de um remédioque deve ser tomado durante a tarde. O símbolo de um solinforma o período do dia. Além disso, o sistema informaquantas horas faltam para tomar o remédio. Do lado direito


275

da janela é exibido no painel outras informações do medi-camento.

Figura 1. Visualizando dados do medicamento.

Em seguida, o usuário pode iniciar o jogo de perguntas erespostas. Assim, ao clicar no botão “jogar”, uma perguntaé apresentada aleatoriamente. Para responder, basta apre-sentar o remédio que corresponde à pergunta ao webcam eclicar em responder. Veja na Figura 2:

Figura 2. Jogo de perguntas e respostas.

Posteriormente, o sistema indica se o usuário acertou ouerrou a pergunta. Caso tenha errado, o sistema informa da-dos do medicamento incorreto de modo que até no momentoda avaliação o usuário possa estar aprendendo. Caso o usuá-rio tenha acertado, uma mensagem aleatória é exibida para-benizando o paciente.

Por fim, caso o médico, o psicólogo ou o próprio usuá-rio deseje verificar como foi o rendimento no exercício damemória, basta clicar no botão “ver desempenho".

4. Resultados obtidos

O psicólogo que avaliou o sistema achou muito impor-tante a visualização do desempenho do paciente visto que o

profissional responsável pelo paciente pode ter um controlemaior sobre como o tratamento está evoluindo. Além disso,o psicólogo verificou que o sistema apresenta técnicas deaprendizagem e atividades que são úteis para a vida diáriado paciente. Ele verificou também a facilidade de se utilizaro sistema utilizando os marcadores de RA e a mobilidade dese utilizar o sistema em qualquer computador conectado àinternet.


O desenvolvimento do sistema on-line utilizando a tec-nologia de Realidade Aumentada para auxiliar no trata-mento cognitivo da doença de Alzheimer obteve resultadossatisfatórios. Com a avaliação do psicólogo, pode-se con-cluir que este sistema pode apresentar resultados satisfató-rios no tratamento da DA, auxiliando na administração dosmedicamentos, no exercício da memória e no controle pe-los psicólogos e médicos de atividades que o paciente rea-liza quando está interagindo com os marcadores de RA nosoftware.

Como trabalho futuro, pretende-se realizar a migraçãodeste sistema para os dispositivos móveis visto que este sis-tema atual apesar de estar disponível na internet, não apre-senta mobilidade. Acredita-se que através dos smartpho-nes, os usuários terão maior mobilidade para realizar o tra-tamento cognitivo.

Referências

[1] C. Bottino, I. Carvalho, A. Alvarez, R. Avila, P. Zukauskas,S. Bustamante, F. Andrade, S. Hototian, F. Saffi, and C. Ca-margo. Reabilitação cognitiva em pacientes com doença deAlzheimer: relato de trabalho em equipe multidisciplinar.ArqNeuropsiquiatr, 60(1):70–9, 2002.

[2] E. Engelhardt, S. Brucki, J. Cavalcanti, O. Forlenza,J. Laks, and F. Vale. Tratamento da Doença de Alzheimer-recomendações e sugestões do Departamento Científico deNeurologia Cognitiva e do Envelhecimento da Academia Bra-sileira de Neurologia.Arq Neuropsiquiatria, 63(4):1104–12,2005.

[3] O. Forlenza. Tratamento farmacológico da doença de Alzhei-mer. Revista de Psiquiatria Clínica, 32(3):137–148, 2005.

[4] E. Grandmaison and M. Simard. A critical review of memorystimulation programs in Alzheimer’s disease.Journal of Neu-ropsychiatry and Clinical Neurosciences, 15(2):130, 2003.

[5] C. Kirner and R. Siscoutto. Fundamentos de Realidade Vir-tual e Aumentada.Realidade Virtual e Aumentada: Concei-tos, Projeto e Aplicações, pages 9–21, 2007.


276

Implementação em Java de uma estrutura de dados para a

representação de malhas elásticas em modelos com geometrias

complexas

Mariana Porlan Navarro

mariana.porlan.navarro

@usp.br

Helton Hideraldo

Bíscaro

[email protected]

Fátima. L. S. Nunes

[email protected]

Laboratório de Aplicações de Informática em Saúde - LApIS

Universidade de São Paulo - Escola de Artes, Ciências e Humanidades

Rua Arlindo Béttio, 1000 - Ermelino Matarazzo CEP: 03828-000 – São Paulo – SP

Resumo

Muitas aplicações de Realidade Virtual

requerem objetos que representam estruturas

flexíveis deformáveis. Esses objetos podem ser

compostos por vértices interligados por arestas,

passíveis de manipulação para representar

operações como deformação e escalas. O

armazenamento e a recuperação de dados

desses objetos podem demandar alto custo de

processamento se não forem estabelecidas

estruturas eficientes de dados. Esse trabalho

sugere a utilização de estruturas de dados topológicas para otimizar o processo de

recuperação de dados dos objetos que

representam órgãos humanos empregados em

aplicações de Realidade Virtual que simulam

procedimentos médicos.

1. Introdução A Realidade Virtual permite a reprodução

de situações reais em cenários virtuais, sendo

aplicável a diversas áreas como artes, jogos,

design de propaganda, softwares de engenharia

e medicina.

Uma das áreas que mais tem sido

explorada é a saúde. Neste contexto, foi

construído o framework ViMeT [1], com o

objetivo de simular exames de punção,

utilizando deformações e colisões em objetos

virtuais tridimensionais que representam órgãos

humanos e instrumentos médicos. A utilização de malhas geométricas vem a ser imprescindível

para representar objetos gráficos, sobretudo as

malhas geométricas triangulares são

frequentemente utilizadas para tal fim. A

importância de estudar o armazenamento e

recuperação de dados dessas malhas

geométricas fica evidenciada quando as

aplicações necessitam manipular tais malhas,

como é o caso do framework citado.

Este trabalho tem o objetivo de tecer

uma comparação entre estruturas de dados a fim

de analisar a eficiência para manipulação de

malhas geométricas no contexto citado. Assim,

duas estruturas foram implementadas e seus

desempenhos estão sendo analisados a fim de

verificar o quão eficientes se apresentam para armazenar e recuperar dados dos objetos

virtuais que representam órgãos humanos.

2. Framework ViMeT O ViMeT (Virtual Medical Training) é um

framework em desenvolvimento que visa a

permitir gerar aplicações para simular treinamentos médicos e, de forma mais

específica, treinamentos relacionados a exames

de biópsia [2]. Ele é capaz de criar um ambiente

virtual composto de dois objetos virtuais: um

representando um órgão humano e outro

representando um instrumento médico. A fim de

que a simulação do procedimento seja realista,

deformações são executadas em tempo real nas

malhas dos objetos usados pelo framework. As

deformações ocorrem após a detecção de uma

colisão entre o objeto que representa o órgão humano e o objeto que representa o instrumento

médico.

3. Estruturas Topológicas As estruturas de dados topológicas visam a

armazenar as relações de vizinhança de uma

malha geométrica. Nesse trabalho estão sendo

estudadas as estruturas de dados topológicas

Compact Half Edge (CHE), proposta por

Lage[3], e Opposite Face (OF), proposta por

Lizier[4].

A estrutura de dados CHE prevê a

decomposição das arestas contidas na malha de

um objeto bidimensional em semi-arestas (half-

edges). A associação de elementos da malha

como vértices e triângulos se dá por meio de vetores que contêm as coordenadas espaciais de


277

cada vértice, semi-arestas e semi-arestas

opostas. A Figura 1 representa uma triangulação

formada por seis triângulos. O triângulo 5 é

formado pelos vértices 0, 2 e 3 e possui as semi-

arestas indicadas por 15, 16 e 17.

A estrutura de dados Opposite Face (OF) faz

uso de um vetor que contém as coordenadas

espaciais dos vértices e também de um vetor de

células (triângulos) que armazena os três índices

dos vértices que compõem uma célula e os

índices de suas células vizinhas. A Figura 2

representa uma triangulação formada por seis

células. A célula 0 é formada pelos vértices 0, 1

e 2 e possui como células vizinhas as identificadas por 1 e 5.

4. Resultados Obtidos Foram carregados diversos objetos

utilizando as estruturas de dados CHE e OF,

apenas variando o tamanho de suas malhas. Os

resultados são mostrados na Figura 4.

De acordo com os resultados observados nos

experimentos, é possível notar que o

carregamento das malhas triangulares utilizando

a estrutura de dados CHE é levemente mais rápido quando comparado à estrutura de dados

OF.

Para tal resultado, é válido considerar que a

quantidade de vértices e a quantidade de faces

estão diretamente relacionadas, tendo em média

seis faces para cada vértice. Os tempos de

carregamento das malhas são de ordem de

complexidade quadrática em relação ao número

de faces, e consequentemente ao número de

vértices, uma vez que para fazer o

relacionamento entre faces e vértices é

necessário percorrer os vetores de faces, nas

duas estruturas de dados.

5. Conclusões A decisão de qual das estruturas de dados a

ser utilizada ainda não é clara, pois será

necessário realizar testes diferentes dos

realizados até então, analisando além do tempo

necessário para carregamento das estruturas a

busca por elementos da malha e a alteração de

suas posições.

Vem a ser importante a realização de

comparações com a atual implementação do

ViMeT, pois esta não apresenta as relações de

vizinhança de forma explícita, diferentemente do que esse trabalho propõe.

A continuidade deste trabalho prevê buscar

a estrutura de dados topológica que mais se

adequa ao tipo de problema abordado, integrar

esta estrutura no framework ViMeT e analisar o

quanto os resultados obtidos proporcionam de

ganho no desempenho das aplicações.

6. Bibliografia [1]OLIVEIRA, A. C. M. T. G. de; NUNES, F. L. S. Building a Virtual Medical Training (ViMeT) open source framework. Journal of Digital Imaging, 2009.

[2]NUNES, F. L. S.;OLIVEIRA, A. C. M. T.

G.;ROSSATO, D. J.;MACHADO, M. I. C. ViMeTWizard: Uma ferramenta para instanciação de um framework de Realidade Virtual para treinamento médico In: CONF. LATINOAMERICANA DE INFORMÁTICA, 33. 2007. p. 1–8.

[3]LAGE, M. Estruturas de dados topológicas e escalonáveis para variedades de dimensão 2 e 3. PUC-Rio. 2006.

[4]LIZIER, M. Geração de malhas a partir de imagens com textura. USP 2006.


278

Visualização de Estruturas Hierárquicas por meio de Técnicas de RealidadeVirtual

Daniel S. D.Caetano, Fernando E. R. Mattioli, Lucas P. Vasconcelos, Keynes M. Kanno,Lázaro V. O. Lima, Alexandre Cardoso, Edgard A. Lamounier Jr.


{sdc.daniel, mattioli.fernando, lucas.pereira.vasconcelos, keyneskanno}@gmail.com,[email protected], {alexandre, lamounier}@ufu.br

Abstract

Hierarchical structures are one of the most common stra-tegies of information organization. Many visualization te-chniques for this kind of data have been developed in 2Dand 3D with the objective of improving the visualization oflarge hierarchical structures. A common challenge faced bythese techniques is to increase the amount of displayed in-formation of each node seeking a balance between quantityand visibility of the presented information.

In order to overcome these challenges, this paper pre-sents a visualization technique using Virtual Reality andhypertextual interfaces to view hierarchical structures, al-lowing the user to interact and navigate easily throughthe structure, visualizing with clarity many kinds of depth-aligned information.

1. Introdução

Em Visualização da Informação são estudadas as melho-res técnicas para se representar um conjunto abstrato de in-formações em imagens reais, facilitando a compreensão doselementos representados [8]. De acordo com FREITAS[3],existem 3 categorias para se visualizar informações. Ba-seado nestas categorias, foram criadas diversas metáforascomo gráficos em barras, estruturas hierárquicas (Informa-tion Cube[6], listas indentadas [7], grafos hierárquicos [2],TreeMaps[4], ConeTree[1]) e mapas geográficos para re-presentar as diferentes categorias de informação.

As estruturas hierárquicas podem ser utilizadas para re-presentar diferentes tipos de dados, em diferentes domínios.Algumas metáforas utilizadas para representação de estru-turas hierárquicas são: listas identadas, grafos hierárquicos,TreeMapseConeTrees.

Estas metáforas listadas anteriormente apresentam algu-mas limitações como: exibição de um único tipo de infor-

mação em toda estrutura, alto grau de desordem na apre-sentação de diferentes tipos de informação e não permiteminteração com a estrutura hierárquica apresentada.

A Realidade Virtual (RV) pode ser definida como umaforma das pessoas visualizarem, manipularem e interagi-rem com computadores e dados extremamente complexos,na qual idéias como imersão, interação e envolvimento como ambiente virtual são consideradas básicas e fundamentais[5].

Este trabalho aborda uma nova técnica de visualizaçãode estruturas hierárquicas na qual o usuário interage com ainformação apresentada em diferentes níveis de profundi-dade. A distinção entre os diferentes tipos de informaçãofoi feita utilizando-se tomos1, que poderão ser acessadosatravés de hyperlinks.

2. Protótipo de Visualização de informações hi-erárquicas em 3D

Para ilustrar a técnica de visualização apresentada nestetrabalho foi escolhido como estudo de caso a visualizaçãode árvores genealógicas em 3D.

No protótipo implementado, o usuário tem a possibili-dade de construir uma árvore genealógica contendo dife-rentes tipos de informação, para cada nó da hierarquia, querepresenta uma pessoa. Estas informações, distribuídas nostomos, são constituídas por dados pessoais, dados profis-sionais e dados médicos. Ao inserir um novo elemento naárvore, o usuário é convidado a preencher estes dados, atra-vés dos formulários pop-up.

Após preenchidos os dados referente ao primeiro ele-mento da árvore (pessoa que representa a raiz da árvore ge-nealógica), o usuário pode acessar um menu de contexto

1Elementos gráficos alinhados edistribuídos em profundidade, paradistinguir diferentes classes de informação


279

que o possibilita inserir o cônjuge ou os filhos desta pessoaconforme a Figura 1.

Figura 1. Árvore genealógica com menu decontexto.

2.1. Navegação e informações complementares

Ao passar o mouse sobre cada tomo da árvore genealó-gica, é apresentada a classe de informação correspondenteao tomo conforme a Figura 2, facilitando a distinção das in-formações, permitindo que o usuário visualize as informa-ções complementares (dados pessoais, dados profissionais edados médicos) de cada nó, conforme mostrado a Figura 3.

Figura 2. Visualização da classe de informa-ção de cada tomo.

Figura 3. Visualização de um dos nós da ár-vore e form ulário de dados pessoais.

3. Resultados

As informações são apresentadas aos usuários de formasimples e objetiva, buscando limitar a quantidade de recur-

sos secundários utilizados na apresentação (recursos de “de-coração”) para favorecer a abstração das informações rele-vantes pelo usuário.


Com este trabalho, foi possível constatar as melhoriasassociadas à utilização da terceira dimensão (profundidade)para visualização de mais de um tipo de informação dentrode estruturas hierárquicas. Além disso, a utilização de in-terfaces hipertextuais contribui significativamente para a re-dução da desordem visual, quando se lida com um volumegrande de informações a serem apresentadas.

Como sugestões para trabalhos futuros, pretende-se dis-cutir a adaptação da técnica proposta à visualização de hi-erarquias com outras metáforas, como por exemploCone-Tree.

Referências

[1] M. Almeida. Uma ferramenta para mineração visual de dadosusando mapas em árvore e suas aplicações.Salvador: Uni-versidade Salvador, 2003.

[2] C. Bachmaier. A radial adaptation of the sugiyama fra-mework for visualizing hierarchical information.IEEE tran-sactions on visualization and computer graphics, 13(3):583–594, 2007.

[3] C. M. D. S. Freitas and a. et. Introdução à Visualização de In-formação.Revista de Informática Teórica e Aplicada, 2:143–158, 2001.

[4] B. Johnson and B. Shneiderman. Tree-maps: A space-filling approach to the visualization of hierarchical informa-tion structures. InProceedings of the 2nd conference on Visu-alization’91, pages 284–291. IEEE Computer Society PressLos Alamitos, CA, USA, 1991.

[5] Kirner, C., and Pinho, Marcio S. Minicurso - Introdução àRealidade Virtual. In1 Workshop de Realidade Virtual SãoCarlos. Grupo de Realidade Virtual, Departamento de Com-putação, Universidade Federal de São Carlos, 1997.

[6] J. Rekimoto and M. Green. The information cube: Usingtransparency in 3d information visualization. InProceedingsof the Third Annual Workshop on Information Technologies &Systems (WITS’93), pages 125–132. Citeseer, 1993.

[7] H. Song, Y. Qi, L. Xiao, T. Zhu, and E. Curran. Lens-Tree: Browsing and Navigating Large Hierarchical Infor-mation Structures. InArtificial Reality and Telexistence–Workshops, 2006. ICAT’06. 16th International Conferenceon, pages 682–687, 2006.

[8] E. R. Zorzal, C. Kirner, L. F. Silva, A. Cardoso, and E. La-mounier. Visualização de informação com Realidade Virtuale Aumentada. InIRealidade Virtual e Aumentada: Concei-tos, Projeto e Aplicações, pages 256–275. 1 ed. Porto Alegre- RS: Sociedade Brasileira de Computação - SBC, 2007.


280

Low Cost Equipment for First Person Augmented Reality Systems

Christopher Shneider CerqueiraUniversidade Federal de Itajuba

Instituto de Engenharia de Sistemas e Tecnologia da InformacaoAv. BPS, 1303, bairro Pinheirinho, Itajuba - MG, 37500-903

[email protected]

Abstract

This paper proposes a low cost augmented re-ality system to be used on developments where theapplications are intended to be in first person view.Is shown the hardware combination and an evalu-ation on Linux and Windows environments.

1 Introduction

AR (Augmented Reality) is the registration ofa virtual content with the user’s physical world.Most works in the AR field are relied on systemsusing third person vision provided generally bywebcams, so users are not stimulated to walk ormove otherwise than manipulate the desired ARapplication[6] [1] [5].

This paper presents a design that was developedto be a wearable AR setup.

2 Hardware Setup

This prototype has a Standard USB2.0 Webcam,a 3D webcam from Minoru1, a Nintendo Wiimote,a Vuzix Wrap 310XL2 as a HMD(Head MountedDisplay) and a Processing Unit: Asus EeePC 1201n3.

1http://www.minoru3d.com/2http://www.vuzix.com/home/index.html3http://usa.asus.com/product.aspx?P ID=sZ0sI6WqjnCHGFta

2.1 Building Process

Many projects use a safety helmet to assemblythe equipment. On this work was used two headlupes, one to fix the cameras and other to fix theWiimote.

A vest was adapted to hold the netbook and tofix the cabling. On Figure 1a is a picture of thefull mounted equipments, and on the Figure 1b isshown a picture of how the equipment is mountedon an user head.

Figure 1. (a) Full mounted equip-ments. (b) The equipment mounted onuser’s head

3 Analysis

On Windows was tested the usability of theWiimote as whiteboard and head tracker[4],PTAMM(Parallel Tracking and Multiple


281

Mapping)[2] and ARToolKit[3]. The 3D ap-plication of the Minoru Webcam only works onWindows, the 3D illusion is successfully achievedwith the Vuzix Wrap 310. All applications alsorun on Linux, and as PTAMM is coded to Linux, itruns much better. The 3D webcam didn’t work onLinux as it has no 3D driver available.

On Figure 2 is possible to see an electrical andlogical connection of the equipment.

Figure 2. Electrical and logical con-nections.

Figure 3 shows a graphic with several setupsto observe what setup uses more battery. Can beobserved that independent of the operational sys-tem, each load on USB drives down the usage time,and can also be seen that ARToolKit applicationsrequires more processing that the PTAMM, usingmore battery to speed-up the processor.

4 Conclusion

This work defined a first person hardware proto-type with three input devices: two cameras (Stan-dard VGA and Minoru 3D) and the Wiimote in-frared camera, a processing unit and a HMD outputdevice, where the cost price isn’t over a thousanddollars, and it still is capable of handle the actualAR applications, using both artificial and naturalmarkers methods to map the physical world. It wasalso shown an interation possibility using the Wi-imote at the Whiteboard application to control deinterface and the virtual content.

With this and other related works it’s possibleto see an advance in wearable AR systems, if this

Figure 3. Battery life test with somesetups.

trend continues, we can hopefully predict the com-ing of more embedded and powerful technologythat will drive the applications to a more intuitiveand natural combination of the user, digital contentand physical world.

References

[1] B. Avery, R. T. Smith, W. Piekarski, and B. H.Thomas. Designing Outdoor Mixed Reality Hard-ware Systems, chapter 11. Human-Computer In-teraction Series. Springer-Verlag London Limited,2010.

[2] R. O. Castle, G. Klein, and D. W. Murray. Video-rate localization in multiple maps for wearable aug-mented reality. In Proc 12th IEEE Int Symp onWearable Computers, Pittsburgh PA, Sept 28 - Oct1, 2008, pages 15–22, 2008.

[3] H. Kato and M. Billinghurst. Marker tracking andhmd calibration for a video-based augmented realityconferencing system. In Proceedings of the 2nd In-ternational Workshop on Augmented Reality (IWAR99), San Francisco, USA, Oct. 1999.

[4] J. C. Lee. Wii remote projects, 2010.[5] S. Mann. Definition of wearable computer, 2008.[6] W. Piekarski. Interactive 3D Modelling in Outdoor

Augmented Reality Worlds. PhD thesis, Universityof South Australia, 2004.


282

A Realidade Virtual como instrumento de estudo de concepções espontâneas

em dinâmica

Leandro Rezende Franco, Ruberley Rodrigues de Souza, Eliane Raimann

IFG - Campus Jataí / Jataí-GO, Brasil

[email protected] , [email protected] ,[email protected]

Resumo

As concepções alternativas na dinâmica é concebida como normal o fato de um aluno interpretar os fenômenos da natureza de acordo com seu conhecimento prévio, normalmente intitulado concepções alternativas. Neste contexto, a Realidade Virtual (RV) tem ganhado adeptos e sua utilização no ensino de física. Considerado por muitos pesquisadores como uma ferramenta poderosa para estudos de situações complexas e capazes de proporcionar uma interação direta do usuário com os objetos de aprendizagem, RV oferece muitos recursos para o estudo das concepções alternativas em dinâmica. Neste trabalho apresentamos os resultados deste levantamento e descrição do software desenvolvido. Palavras-chave: Blender 3D, a Realidade Virtual; dinâmica; concepções alternativas. 1 - Introdução

Existe uma abertura de um novo campo de pesquisas e hipóteses que tem sido enfocado por vários pesquisadores que tem tratado o assunto e o nomeado como: concepções espontâneas, conhecimento alternativo, concepções prévias, representações mentais, dentre outras denominações.

Em um estudo realizado traça um perfil histórico das investigações sobre concepções alternativas, ressaltando as contribuições destas pesquisas para o ensino de Ciências e os modelos teóricos desenvolvidos para explicar e permitir a superação das mesmas. [2]

Nesta perspectiva, a investigação sobre o conhecimento prévio dos alunos deve ser um processo contínuo e ininterrupto a ser desenvolvido pelos professores, independente do nível escolar em que atuam. E, nesse âmbito, os recursos computacionais do século XXI têm muito a contribuir.

As técnicas computacionais e as estratégias possíveis para sua utilização são numerosas, e, em destaque, a Realidade Virtual (RV – Virtual Reality) vem conquistando muito espaço e adeptos do seu uso na educação escolar. [1].

A área de educação tem muito a ganhar com a Realidade Virtual, tanto no ensino convencional quanto

no ensino à distância. Algumas aplicações incluem: laboratórios virtuais; encontros remotos de alunos e professores para terem aula ou alguma atividade coletiva; participação em eventos virtuais; consulta a bibliotecas virtuais; educação de excepcionais; etc.

A Realidade Virtual fornece um conjunto de características que a tornam única como meio de aprendizagem, pois é uma poderosa ferramenta de visualização para estudar situações tridimensionais complexas, onde o aluno é livre para interagir diretamente com os objetos virtuais, realizando experiências na primeira pessoa.

Os ambientes virtuais permitem situações de aprendizagem por tentativa e erro que podem encorajar os alunos a explorar uma larga escolha de possibilidades, oferecendo feedbacks adequados, permitindo aos alunos centrar a sua atenção em problemas específicos.

O objetivo deste trabalho foi criar um sistema para oferecer ambientes virtuais com simulações de fenômenos físicos, de forma a explorar a utilização de concepções espontâneas, por parte dos usuários, permitindo aos alunos compreenderem os conhecimentos científicos a respeito de tais fenômenos, e auxiliando os professores na transmissão destas idéias.

Foi acreditando nessa possibilidade que nos dedicamos ao desenvolvimento de um software que fosse capaz de tratar o assunto de forma clara, dinâmica e precisa.

2 - Metodologia Foram realizados em um primeiro momento alguns

testes em cenários tridimensionais, simulações de Física real e simulações e controle de animações.

Utilizou-se para a modelagem dos cenários e animações o software Blender 3D, que trata-se de um software multiplataforma extremamente poderoso para modelagem tridimensional (3D) para produção visual, com opções para animação, montagem de vídeos e desenvolvimento de jogos, sem programação. É um software livre e que está sob a licença GNU GPL (GNU General Public License).

Paralelamente ao desenvolvimento desse software, foi realizada uma pesquisa sobre o conhecimento


283

prévio apresentado por alunos do 1º período de uma turma de Engenharia Elétrica do Instituto Federal de Goiás – Campus Jataí.

3 – Discussões dos Resultados Esses resultados da pesquisa realizada foram

essenciais para direcionar o foco das implementações e simulações desenvolvidas. Foi essa experiência que nos possibilitou vislumbrar melhor o produto final que poderia ser alcançado com a Realidade Virtual.

Apesar de as concepções alternativas em Dinâmica ser um fato consciente desde que nos propomos a desenvolver o software Força & Movimento, a pesquisa de campo nos possibilitou uma maior proximidade dessas concepções. Foi possível entender e estudar as concepções alternativas com exemplos mais concretos.

4 - O Software Força & Movimento O software intitulado Força & Movimento é

certamente uma novidade na área de simulações em Física, uma vez oferece um ambiente tridimensional às suas simulações. Força & Movimento trata-se de um simulador de movimentos criado fundamentalmente para fornecer ao estudante e professor a possibilidade de simular determinados movimentos segundo as forças que se acredita serem responsáveis pelos mesmos.

Força & Movimento, que é capaz de simular movimentos importantes e mostrar ao usuário como se comportaria determinado corpo em movimento se a natureza operasse segundo as forças admitidas pelo usuário para determinadas situações.

A versão 1.0 do software possibilita ao usuário o estudo de quatro simulações, intituladas: Tiro de Canhão; Salto de Moto; Lançamento de Avião; e Plataformas Rotacionais. As três primeiras abordam movimentos parabólicos de corpos, ou seja, movimento composto por dois movimentos retilíneos simultâneos em direções perpendiculares. A outra simulação apresenta o Movimento Circular Uniforme de corpos. Corroborando com os resultados apontados pela pesquisa de campo.

A partir da tela inicial do softeware, o usuário pode ter acesso às simulações e ainda ter informações sobre o desenvolvimento do software, seu funcionamento, suas funções principais e utilidades.

• Tiro de Canhão: um canhão alinhado a 45º em relação ao solo dispara uma bala que, se movimenta numa trajetória parabólica até atingir o outro lado de um rio que separa dois lastros de terra firme.

• Salto de Moto: uma moto acelera numa pista inclinada até atingir uma rampa. Saltando sobre as

motos que servem de obstáculo, o sistema moto-piloto percorre uma trajetória parabólica até atingir uma outra rampa posicionada logo após a última moto da fila.

• Lançamento de Avião: um avião voando bem próximo de uma superfície oceânica transporta uma bomba atômica. Alguns segundos depois o avião solta a bomba e ela cai em queda livre até atingir a água.

• Plataformas Rotacionais: Esta simulação é a que melhor explora as vantagens de RV, pois além de explorar a força peso, explora também: força normal e força de atrito. Durante a simulação, as plataformas giram e as caixas permanecem fixas sobre as mesmas, sem realizar qualquer movimento em relação a um referencial inerte sobre as plataformas em que se encontram.

5 - Conclusão A pesquisa sobre concepções alternativas em

Dinâmica não nos deixou dúvida quanto à importância de se estudar os movimentos segundo as forças que os provocam.

O software Força & Movimento adiciona vantagens tridimensionais das simulações e a possibilidade de o usuário poder navegar pelo cenário e acompanhar de muito perto, numa Realidade Virtual, os movimentos em estudo.

Acreditamos que uma vez exposto as conseqüências de suas idéias, ou seja, após acompanhar virtualmente como se comportariam corpos em movimento sob a atuação das forças escolhidas, o estudante, ou professor, terá oportunidade de repensar suas idéias. O usuário será levado a um confronto direto entre suas concepções de mundo, e de funcionamento da natureza, e aquelas cientificamente aceitas. Essas concepções, alternativas ao conhecimento científico, terão boas chances de serem superadas e substituídas pelo conhecimento científico. Referências

[1] KIRNER, C.; TORI, R.; SISCOUTTO, R. Fundamentos e Tecnologia de Realidade Virtual e Aumentada. Belém-PA, Livro do Pré-Simpósio, VIII Symposium on Virtual Reality. Editora SBC – Sociedade Brasileira de Computação. 2006. 277p.

[2] NARDI, R.; GATTI, S. Uma revisão sobre as investigações construtivistas nas últimas décadas: concepções alternativas, mudança conceitual e ensino de ciências. Ensaio: Pesquisa em Educação em

Ciências, Belo Horizonte, v. 6, n. 2, 2008.


284

A Utilização de um Ambiente de Realidade Aumentada no Ensino Fundamental e

Médio e a Difusão da Robótica Móvel – Acesso pela Web

Fábio Akira Nazima, Marcelo de Souza Augusto Zanetti, Antônio Carlos Sementille, Humberto

Ferasolli Filho, João Fernando Marar

Universidade Estadual Paulista – UNESP – Faculdade de Ciências - Bauru

E-mail:[email protected]

Abstract A realidade aumentada atrelada a realidade virtual

permite o desenvolvimento de aplicações de tempo real

que podem ser utilizadas em diversas áreas entre elas a

educação. Com a utilização da realidade aumentada

pode-se desenvolver aplicações que auxilie o professor

no ensino de áreas como a robótica.

1. Introdução

Durante as últimas décadas, pesquisadores

desenvolveram inúmeros kits de Robótica para estimular

o ensino prático de conceitos e métodos ligados a campos

científicos como a Matemática, Física e a Ciência da

Computação.Apesar das inúmeras facilidades que esses

kits possuem, existe uma limitação que dificulta sua

disseminação e popularização em países como o Brasil: o

seu elevado custo relativo.

No entanto, uma alternativa a tais kits reais, são os

kits virtuais (elaborados em software) os quais exigem

apenas um hardware mínimo. Para o desenvolvimento

destes kits virtuais, uma tecnologia emergente conhecida

como Realidade Aumentada (RA) representa uma

possibilidade viável. A Realidade Aumentada pode ser

definida como a inserção de objetos virtuais no ambiente

físico (real), exibida ao usuário, em tempo real, com

o apoio de algum dispositivo tecnológico, usando a

interface do ambiente real, adaptada para visualizar e

manipular os objetos reais e virtuais [1]. Utilizando-se,

então, esse novo conceito, pode-se simular tanto a

construção, quanto a programação e controle de robôs

virtuais em um ambiente aumentado. Essa nova

possibilidade permite desenvolver um sistema de

aprendizado muito parecido com que os kits de robótica,

porém com um custo de montagem e manutenção bem

menor.

2. Fundamentação teórica A realidade aumentada possibilita combinar objetos

virtuais e reais ao mundo real e fornece a capacidade de

manipulação desses objetos através do uso de

marcadores, causando grande impacto na forma como as

pessoas se relacionam. Em particular, as áreas de ensino,

aprendizagem e treinamento devem usufruir dos

benefícios da realidade aumentada, pois facilita a

formalização de novas idéias através de maneiras

diferenciadas de visualização, comunicação e interação

com pessoas e informação [2]. O uso da realidade

aumentada torna possível a análise de teorias,

desempenho e estratégias em tempo real [3], sendo

aplicáveis na robótica móvel.

3. Objetivos Demonstrar ambientes exploratórios direcionados à

Robótica Móvel para fins didáticos, ao nível do ensino

fundamental e médio, os quais utilizam da tecnologia

conhecida como Realidade Virtual e Aumentada,

construídos de forma modular, incremental e com baixo

custo.

Desenvolvimento de um sistema capaz de permitir a

construção e programação de robôs virtuais que deverão

ser integrados ao ambiente real, através do uso de

técnicas de Realidade Aumentada, formando o que

pode ser denominado Ambiente de Realidade

Aumentada.

A difusão do sistema gerado a um número maior de

usuários via Internet.

4. Materiais Os materiais utilizados no projeto foram:

Webcam de captura VGA;

Software FlashDevelop versão 3.2.1;

Bibliotecas: PAPERVISION3D, FlarManager,

FlarToolkit, Polygonal, Jiglib, Flex SDK.

5. Metodologia Este projeto foi estruturado em três módulos:

Morfologia, Programação e Alteração Dinâmica do

Ambiente.

O Módulo de Morfologia dá ao aluno a capacidade de

montar um robô virtual, a partir de seus componentes

principais. É através deste módulo, que o aluno irá

construir o robô utilizando-se de marcadores fiduciais

específicos para isso.


285

O Módulo de Programação permite ao aluno, também

por meio de marcadores, instruir o robô presente no

ambiente de realidade aumentada a atingir um

determinado objetivo como, por exemplo, se movimentar

seguindo determinada trajetória.

O Módulo de Alteração Dinâmica do Ambiente, ainda

em desenvolvimento, por sua vez, agregará funções que

permitam a inclusão dinâmica de novos objetos

(obstáculos virtuais) na cena.

6. Resultados Para construir o Módulo de Morfologia, foi

necessário o desenvolvimento de um grafo que representa

a cena aumentada.

Neste módulo são utilizados três marcadores: o

marcador de peças, o marcador pá e o marcador de

montagem. O Módulo de Morfologia tem seu

funcionamento baseado na aproximação de marcadores,

ou seja, para obter uma peça do marcador de peças, basta

aproximar o marcador de pá ao marcador de objeto

(Figura 1 (a)), e automaticamente ele será ocultado do

marcador de peças e aparecerá no marcador de

transporte (Figura 1 (b)). O processo de construção do

robô no marcador de montagem funciona de maneira

equivalente, ou seja, basta aproximar o marcador da pá

corretamente ao marcador de montagem para o objeto

aparecer no marcador de montagem e desaparecer do

marcador de transporte, como ilustrado na Figura 1 (c).

(a)

(b) (c)

Figura 1 (a) Representa o processo de captura do

objeto; (b) Representa o transporte da peça até o

marcador de montagem; (c) Mostra a peça já no marcador de montagem.

O segundo módulo do projeto, o Módulo de

Programação, cujo ambiente aumentado é mostrado na

Figura 2, tem por objetivo ser um primeiro contato dos

alunos do ensino médio e fundamental com a lógica

algorítmica. Através da apresentação de marcadores, o

aluno é capaz de movimentar o robô com o intuito de

atingir um objetivo pré-definido, representado pela célula

em azul (Figura 3). Com o objetivo de tornar o ambiente

mais dinâmico será dada a possibilidade do aluno inserir

novos obstáculos em cena. Essa nova possibilidade fará

com que cada utilização se torne uma experiência única

ao aluno.

Figura 2 - Ambiente aumentado utilizado no Módulo

de Programação


Com a implementação do projeto, pode-se concluir

que ferramentas que utilizam realidade aumentada

possuem grande potencial para atuar na área educativa

com o intuito de tornar as aulas mais atrativas aos

alunos. Outra importante conclusão é que a realidade

aumentada pode substituir em parte os kits de robótica,

principalmente no quesito de ensino de lógica

algorítmica.

Como trabalho futuro pretende-se aperfeiçoar o

sistema-protótipo desenvolvido por meio da introdução

de novas morfologias robóticas (criação de um banco de

dados de robôs virtuais); da melhoria da linguagem de

programação visual (introdução de uma gramática mais

sofisticada); e da adição de um ambiente experimental

mais dinâmico (criação de diversos níveis de

dificuldade).

10. Referências [1] Azuma, R. (1997). A Survey of Augmented Reality,

PRESENCE: Teleoperators and Virtual Environments.

V.6, n.4, August, p. 355-385.

[2] TORI, R., KIRNER, C. Fundamentos e Tecnologia de

Realidade Virtual e Aumentada. In: Livro do Pré-

Simpósio, VIII Symposium on Virtual Reality. Porto

Alegre: SBC – Sociedade Brasileira de Computação,

Cap. 2, p. 25-26, 2006.

[3] KIRNER, C., SISCOUTTO, R. A. (2008).

Fundamentos de Realidade Virtual e Realidade

Aumentada. In: Realidade Virtual e Aumentada: Uma

Abordagem Tecnológica. Sociedade Brasileira de

Computação – SBC. João Pessoa – PB. Parte 1, p. 1-18,

2008.


286

PROPOSTA DE ARQUITETURA DE UMA FERRAMENTA DE DESENVOLVIMENTO DE SOFTWARE DE REALIDADE VIRTUAL MULTI-PARTICIPATIVO UTILIZANDO DISPOSITIVOS MÓVEIS

COMO FERRAMENTA DE INTERAÇÃO

Alexandre Carvalho Silva, Ligia Christine Oliveira Sousa, Marcos Wagner de Sousa Ribeiro1 Alexandre Cardoso2, Edgard Lamounier2

1- Universidade Federal de Goiás, 2-Universidade Federal Uberlândia [email protected], [email protected], 1- [email protected], 2- [email protected],

[email protected]

Resumo

A utilização de sistemas de Realidade Virtual em diversas áreas do conhecimento humano vem apontando em sentido crescente, isto graças aos bons resultados obtidos em suas específicas aplicações. O desenvolvimento de software nesta área fundamenta-se em várias tecnologias existentes, sendo necessário o conhecimento específico e profundo da tecnologia ou linguagem adotada, além da dificuldade promover mecanismos de interação que permita que o ambiente virtual se torne multi-participativo. Estas dificuldades fundamentam a problemática da dificuldade de desenvolvimentos de software de Realidade Virtual Multi-Participativo por parte de usuários comuns de computador. Sendo assim, este artigo tem como objetivo delimitar e apresentar os parâmetros atribuídos de uma ferramenta que tem como intuito possibilitar ao usuário comum de computador desenvolver sistemas de Realidade Virtual Não-Imersiva e Multi-Participativo de forma visual, fácil, intuitiva e que atenda suas necessidades interativas utilizando dispositivos móveis como ferramenta de interação.

1- Introdução

A Realidade Virtual pode ser descrita como uma

interface avançada para aplicações computacionais que permite ao usuário a movimentação (navegação) e interação em tempo real, em ambiente tridimensional [4].

Graças aos bons resultados obtidos em aplicações nas mais diversificadas áreas do conhecimento humano, a área da Realidade Virtual vem se propagando, sendo desenvolvidos cada vez mais software e aplicações das mais variadas. [1].

Existem várias tecnologias existentes para o desenvolvimento de software de Realidade Virtual, como linguagens do tipo VRML, X3D; bibliotecas gráficas como OpenGL e Java 3D; toolkits implementados sob a forma de bibliotecas C/C++, como o WTK, toolkits gráficos como VizX3D. A preparação dos ambientes virtuais envolve modelagem, preparação e manipulação de texturas, manipulação de som e elaboração de animações [2].

Mas, por outro lado, existe uma dificuldade de disseminação do uso do ambientes de programação e desenvolvimento gráfico entre os usuários comuns, pois para usá-lo é necessário que se tenha conhecimentos avançados do uso da determinada ferramenta ou linguagem [3]. Com base nisso, a problemática dessa pesquisa se fundamenta na dificuldade de desenvolvimento de software de Realidade Virtual Multi-Participativos por parte de usuários comuns de computador.

Diante disto, surge a proposta de uma ferramenta de autoria onde tem por objetivo, possibilitar ao usuário comum de computador desenvolver sistemas de Realidade Virtual Não-Imersiva e Multi-Participativo de forma visual, ou seja, não sendo necessária a inserção de nenhuma linha de código, além de possibilitar uma interface gráfica de fácil entendimento, recursos interativos e a geração de um aplicativo para dispositivos móveis que permitirá o controle de todas as interações do ambiente gerado para vários usuários simultaneamente.

Mediante esses fatores de necessidades esta pesquisa tem com tema: Proposta de arquitetura de uma ferramenta de autoria para software de Realidade Virtual Não-Imersiva e Multi-Participativos.

Sendo assim, esta pesquisa tem como objetivo geral, apresentar os parâmetros atribuídos de uma ferramenta que tem como intuito possibilitar ao usuário comum de computador desenvolver sistemas de


287

Realidade Virtual Não-Imersiva e Multi-Participativo. Para tanto são designados como objetivos específicos desta pesquisa: a) disponibilizar uma biblioteca de objetos virtuais para que usuário possa inserir no ambiente virtual. b) desenvolver mecanismos que possibilitem a manipulação de imersão, navegação e interação dos objetos e ambiente virtual. c) salvar e carregar os programas desenvolvidos, d) gerar aplicativo para dispositivos móveis referente ao protótipo gerado para interação de vários usuários simultaneamente.

Por tudo isso, justifica-se a relevância desta pesquisa pela busca da propagação da Realidade Virtual, possibilitando a criação de software de fácil modo.

2 – Diagrama de Arquitetura do Protótipo A Figura 1 representa arquitetura da ferramenta

proposta, demonstrando a visão geral das ações de interatividade que o usuário pode exercer na ferramenta.

Figura 1 – Diagrama de Arquitetura da Ferramenta de Autoria

3- Trabalhos Futuros

Esta ferramenta ainda encontra-se em fase de desenvolvimento faltando seis ações de interações. As ações implementadas foram testadas e todas estão em funcionamento. Esta proposta de arquitetura e as ações já implementadas, foram expostas a pesquisadores e usuários, concluindo uma fácil manipulação das funções oferecidas da ferramenta.

Espera-se que no futuro esta ferramenta de autoria possa atender de forma satisfatória e completa as necessidades dos usuários, sendo mais uma alternativa no desenvolvimento de software de Realidade Virtual, além de consolidar o desenvolvimento da tecnologia em usuários comuns de computador.

4– Referências [1].CARDOSO, Alexandre; KIRNER, Cláudio; LAMOUNIER, Edgard; KELNER, Judith.Tecnologias para o desenvolvimento de sistemas de realidade virtual e aumentada. Recife: Ed. Universitária da UFPE, 2007. [2] KIRNER, Cláudio. (2007). Realidade Virtual e Aumentada. Página mantida por pesquisadores e estudantes da comunidade de Realidade Virtual e Realidade Aumentada. Disponível em <http://www.realidadevirtual.com.br>. Acesso: 13/04/2009, 09h:33 min.

[3]. RIBEIRO, Viviane; BARRETTO, Saulo. Proposta de uma ferramenta de autoria para geração de conteúdos on-line. Revista Novas Tecnologias na Educação – UFRGS – 2005; [4]. TORI, Romero; KIRNER, Cláudio; SISCOUTTO, Robson. Fundamentos e tecnologia de realidade virtual e aumentada. Belém: VIII Symposiun on Virtual Reality, 2006.

Aplicativo (móvel)


288

Entendendo e padronizando ambientes para videoconferência em ambiente

de realidade virtual

Rainier A. F. Sales

Pontifícia Universidade Católica de Minas Gerais

[email protected]

Resumo

Atualmente, as redes estão suportando cada

vez mais e melhor o tráfego de áudio e vídeo em tempo

real com alta qualidade e definição, o que viabiliza o

desenvolvimento de aplicações avançadas (que por sua

vez exigem maiores capacidades), tais como

videoconferência virtual, vídeo interatividade,

bibliotecas digitais e laboratórios virtuais. O

desenvolvimento destas aplicações favorece tanto a

comunidade acadêmica e instituições de pesquisa

quanto o setor comercial, pois abre um novo mercado

para profissionais, pesquisadores e estudantes.

Uma videoconferência virtual pode ser

entendida como uma junção entre conferência na forma

mais básica “a transmissão de imagem e voz entre dois

ou mais locais separados fisicamente, utilizando

câmeras de vídeo, microfones, monitores de vídeo e

caixas de som²” e a inserção de seus participantes em

um mundo virtual. Baseando-se neste conceito simples,

algumas aplicações podem modificar ou aumentar sua

complexidade. Um exemplo é a tele medicina, que

possibilita diagnosticar doenças e monitorar pacientes

remotamente, representando não apenas uma

alternativa de comunicação entre as partes envolvidas,

mas também um meio de participação de profissionais

da área, sem que estejam no mesmo local, podendo um

paciente ter a sua doença diagnosticada e explicada

rapidamente e desta maneira tratada precocemente.

Imagem I – Tele medicina (Fonte: Autoria própria)

No meio acadêmico, a videoconferência

virtual pode ser usada como uma ferramenta alternativa

para o ensino e aprendizagem, sendo utilizada por meio

de programas para o ensino a distância, por exemplo.

Desta forma, as escolas, universidades e bibliotecas

podem compartilhar dados e principalmente interagir

por meio do intercâmbio de informações e ações de

seus personagens, como na realização remota de aulas

e palestras virtuais. Essa troca de experiência entre

professores e alunos a grandes distâncias pode ser

realizada como se estes estivessem presentes em um

mesmo local possibilitando até mesmo mecanismos de

diversão antes, durante e após a imersão.

Imagem II – Vídeo conferência Virtual (Fonte: Autoria própria)

O artigo, a que este resumo se destina, tem

como objetivo apresentar alguns conceitos

relacionados à videoconferência tradicional inseridos

em uma videoconferência virtual e, a partir destes,

avaliar cenários e ambientes dos participantes

envolvidos. Neste projeto foi realizada uma

padronização do ambiente para videoconferência

baseando-se em parâmetros que foram estabelecidos de

acordo com a recomendação ITU-T F.730. Como

resultado, foi possível estabelecer e fixar um conjunto

mínimo destes parâmetros que poderão ajudar o

usuário a prover ou fornecer videoconferências virtuais

que atendam à suas necessidades.


289

Este por sua vez se justifica não somente pelo

intuito de auxiliar na seleção de melhor uso da infra-

estrutura disponível, mas também contribuir para

outros projetos relacionados à construção de

videoconferências virtuais ou mesmo tradicionais. Nas

seções do artigo são apresentados conceitos

relacionados à videoconferência tradicional; as

características desejáveis em serviços de

videoconferência virtuais; os procedimentos anteriores

necessários para a realização de videoconferência

virtual; análise de ambientes comuns através do uso de

cenários; e as conclusões do artigo.

Referências [1] BATES, R.J. and GREGORY, D. Voice and Data

Communications Handbook, McGraw-Hill Series on

Computer Communications, 1997;

[2] Cookbook, Video Conferencing Cookbook. Disponível

no site http://www.vide.gatech.edu/cookbook2.0, June 2000;

[3] CROWCROFT, J., HANDLEY, M., WAKEMAN, I.

Internetworking Multimedia, Taylor & Francis - Morgan

Kaufmann Publishers, San Francisco, California, 1999;

[4] F.730, International Telecommunication Union,

Telecommunication Standardization Sector, Telematic, Data

Transmission, ISDN Broadband, Universal, Personal

Communications and Teleconference Services: Operation

and Quality of Serviço - Videoconference Service - General,

ITU-T Recommendation F.730, agosto de 1992;

[5] KUO, F., EFFELSBERG, W. e GARCIA-LUNA-

ACEVES, J.J.Multimedia Communications: Protocols and

Applications, Prentice Hall, 1998.

[6] NETO, C. C. Salas de Videoconferência. Disponível no

site http://www.cciencia.ufrj.br/educnet/salavide.htm, 1999;

[7] SCHULZRINNE, H. The IETF Internet Telephony

Architecture and Protocols. Disponível no site

http://computer.org/internet/telephony/w3schrosen.htm,

1999;

[8] WILLEBEEK-LEMAIR, M.H. & SHAE, Z. "Distributed

video conferencing systems" Computer Communications,

vol. 20, pp. 157-168, 1997;


290

AMBIENTE INTELIGENTE PARA VISUALIZAÇÃO DE PLANTAS E MAQUETES 3D BASEADO EM REALIDADE VIRTUAL

UTILIZANDO OPENGL

Alexandre Cardoso, Bruno Souto Borges, Edgard Lamounier, Hulgo Leonardo Jacinto Andrade, Marcos Wagner Souza Ribeiro, Pedro Moises, Roger Luz

Instituto Luterano de Ensino Superior de Itumbiara

Av. Beira Rio, 1001 – Bairro Nova Aurora CEP 75523-230, Itumbiara-GO

Brasil

[email protected], [email protected], [email protected], [email protected], [email protected], [email protected], [email protected]

Resumo – Este artigo tem como objetivo apresentar um sistema para visualização de plantas e maquetes 3D, utilizando a biblioteca gráfica OpenGL, permitindo uma melhor visualização e alteração do ambiente alem de proporcionar menos retrabalhos para engenheiros e aumentar a interação do homem no computador. Palavras-Chave – Computação Gráfica, Ambiente Inteligente, OpenGL, Realidade Virtual. Abstract – This article aims to present a system for visualizing 3D models and plants, using the OpenGL graphics library, allowing a better view and modify the environment in addition to providing less rework for engineers and increase the interaction of man on the computer. Keywords – Computer Graphics, Intelligent Environment, OpenGL, Virtual Reality. 1. INTRODUÇÃO

De acordo com Alves , Cabral , Costa (2009), a Realidade Virtual vem sendo explorada em diversas áreas do conhecimento, tais como medicina, artes, indústria, cinema entre outras.Durante muitos anos a epresentação de superfícies tem sido feita utilizando-se uma projeção em duas dimensões do terreno real, utilizando-se mapas digitais bidimensionais. O ambiente proposto consiste na representação de um mundo 3D onde poderão ser visualizados todos os modelos de edificações oferecidos pela construtora.

Espera-se que o uso do ambiente virtual na construtora possa trazer as seguintes vantagens: aumentar a interação do homem com o computador; tornar o ambiente da construtora mais convidativo para os clientes; evitar que os usuários sintam-se presos aos

modelos convencionais de plantas e diminuir os retrabalhos dos engenheiros.

2. IMPLEMENTAÇÃO DO PROTÓTIPO

No protótipo são encontrados objetos que foram modelados por meio de um software 3D (3D Studio Max). Este software permite a modelagem de objetos bem como a renderização de imagens e animação de cenas. O ambiente virtual, foi criado através do uso da biblioteca gráfica OpenGL, sendo necessário o uso da linguagem de programação Borland Delphi TM 6.0 para compilação do código e implementação da interação do usuário com o mundo e as animações necessárias.

Fig. 1. Visão do protótipo com manipulação 3D.

Fig. 2. Cadastro de Modelos.

Para navegação no Ambiente Virtual, foi construída uma barra de opções que possibilita


291

transformações, diferentes modos de visualização e a mudança dos atributos de interação do ambiente:

1 – Botão de configuração para navegação usando o mouse. 2 – Botões de navegação de translação nos eixos X e Y. 3 – Botões de navegação de rotação nos eixos X, Y e Z. 4 – Botões de navegação de translação no eixo Z. 5 – Botão para reiniciar o ambiente. 6 – Botões para manipulação dos objetos no ambiente. 7 – Campos para escolha de modelos pré definidos. 8 – Lista de objetos inseridos no ambiente. 9 – Cadastro das preferências geradas pelo aplicativo.

3. CONCLUSÕES

Constatou-se por meio dos testes realizados, que a criação do Ambiente Virtual trouxe facilidades nas tarefas executadas no dia-a-dia na construtora, isto levando em conta os resultados obtidos por meio destes testes, onde pode se observar que o protótipo teve uma facilidade de interação por parte dos usuários atingindo um dos principais objetivos deste artigo.

Foi observado também que a utilização deste protótipo também diminuiu os retrabalhos dos engenheiros nas alterações dos projetos de seus clientes, alem de tornar o ambiente da construtora mais convidativo, atingindo assim outro objetivo do artigo

4. REFERÊNCIAS BIBLIOGRÁFICAS [1] SANTOS, Eduardo Toledo; ZUFFO, Marcelo

Knörich; NETTO, Marcio Lobo; LOPES, Roseli de Deus.Computação Gráfica : Estado da arte e a pesquisa na USP. Documento disponível no endereço eletrônico http://66.94.231.168/search/cache?rts=0&p=artigo+computacao+grafica&ei=UTF- 8&btweb=Buscar&meta=vl%3Dlang_pt&fl=1&vl=lang_pt&u=www.lsi.usp.br/%7Elobonett/publications/2001.11_GRAPHICA_ComputacaoGraficaUSP-PFV.pdf&w=artigo+computacao+grafica&d=eQcKBEa qMwJy&icp=1&.intl=cd, julho 2009.

[2] NETTO, Antonio Valério; GOUVEIA , Juliana

Denipote; CATERIANO, Patrícia S. Herrera. Interface 3D para manipulação de dados em redes de distribuição de energia elétrica. Documento disponível no endereço eletrônico http://scholar.google.com.br/url?sa=U&q=http://www.dcc.ufla.br/infocomp/artigos/v4.4/art09.pdf, julho 2009.

[3] GABCAN, Ludmila; SANTOS, Carlos Luiz N.

dos; OLIVEIRA, Mario Jorge F. de; CUNHA, Gerson Gomes; LANDAU, Luiz. Utilização de Técnicas de Realidade Virtual na Visualização de Simulação de Atendimento em Hospital. Documento disponível no endereço eletrônico http://scholar.google.com.br/url?sa=U&q=http://www.lamce.ufrj.br/grva/wrv2002/index.php%3Fgo%3Dartigos/wrv2002_A212.pdf, julho 2009.

[4] SANTOS, Cássia Trojahn dos. Um Ambiente

Virtual Inteligente e Adaptativo Baseado em Modelos de Usuário e Conteúdo. Documento disponível no endereço eletrônico http://scholar.google.com.br/url?sa=U&q=http://inf.unisinos.br/~cassiats/dissertacao/artigos/final_cassia.pdf , julho 2009.

[5] GUIA, Aléxis; ANTUNES, Ricardo José.

Animação 3D. Documento disponível no endereço eletrônico http://student.dei.uc.pt/~aguia/pagina/artigo.html, julho 2009.

[6] MINCHOLA, José Antonio Luján; WETZEL, Luiz

Fernando Stein. Aspectos Implementacionais de Interfaces Gráficas. Documento disponível no endereço eletrônico http://www.dca.fee.unicamp.br/~ting/Courses/ia369/projs/monografia/minchola_wetzel/monogra.htm, julho 2009.

[7] OSORIO, Fernando S.; MUSSE, Soraia R.;

SANTOS, Cássia T. dos; HEINEN, Farlei; BRAUN, Adriana ; SILVA, André T. da. Ambientes Virtuais Interativos e Inteligentes: Fundamentos, Implementação e Aplicações Práticas. Documento disponível no endereço eletrônico http:// www.inf.unisinos.br/~osorio/palestras/jai04-avii03-2pp.pdf, julho 2009.

[8] RIBEIRO, Marcos Wagner de Souza. Arquitetura

para distribuição de ambientes virtuais multidisciplinares. Tese de doutorado. Universidade Federal de Uberlândia – Faculdade de Engenharia Elétrica. julho 2009.

[9] ALVES, Daniele Guimarães; CABRAL, Tathyane

Dutra; COSTA, Rosa Maria Esteves M. da. Ambientes Virtuais para Educação a Distância: uma estrutura de classificação e análise de casos. Documento disponível no endereço eletrônico http://scholar.google.com.br/url?sa=U&q=http://magnum.ime.uerj.br/cadernos/cadinf/vol14/4-rcosta.pdf , julho 2009.


292

USO DA REALIDADE VIRTUAL COMO FERRAMENTA COMPLEMENTAR DE ENSINO DA GEOGRAFIA

Bruno Souto Borges¹, Leisson Pereira Fonseca¹, Marcos Wagner Sousa Ribeiro², Pedro Moises de Sousa¹, Roger Armandio Luz¹, Vinícius Brás Feliciano¹

Instituto Luterano de Ensino Superior de Itumbiara 1- Instituto Luterano de Ensino Superior de Itumbiara, 2- Universidade Federal de Goiás


[email protected], [email protected], [email protected] Resumo – O presente artigo traz, inicialmente, abordagens concernentes ao uso do computador no cotidiano das escolas de ensino fundamental, baseando-se em autores que revelam a subutilização desse recurso pelos docentes. Este trabalho apresenta argumentações teóricas sobre os benefícios que a utilização da realidade virtual pode proporcionar para uma aprendizagem significativa, além de apresentar uma proposta metodológica de utilização desse recurso nas aulas de Geografia no ensino fundamental. . Palavras-Chave – Computação Gráfica, Geografia, OpenGL, Realidade Virtual. 1. INTRODUÇÃO

O desenvolvimento das novas tecnologias da informação e comunicação nas últimas décadas vem afetando todos os setores da sociedade, diminuindo as distâncias, minimizando esforços e tempo nas atividades diárias e, sobretudo, ampliando as possibilidades de acesso à informação. No âmbito educacional, a disseminação do uso dessas novas tecnologias tem permitido agilizar os serviços administrativos e elaborar materiais didáticos. Diante dos fatores de necessidades e potencialidades das áreas de Computação Gráfica e Geografia, surgiu como tema desse artigo, uso da realidade virtual como ferramenta complementar de ensino da geografia.

2. IMPLEMENTAÇÃO DO SISTEMA

A implementação do sistema iniciou com a

modelagem dos objetos. A modelagem foi feita utilizando-se a ferramenta 3D Studio Max 2009. Os objetos foram modelados separadamente para que depois possam ser agrupados para formarem o contexto do ambiente virtual.

A modelagem de objetos tridimensionais é feita, basicamente, utilizando formas geométricas básicas (cubo, esfera, cilindro) e aplicando a estas formas as transformações geométricas que dão as formas do objeto. Esses objetos são selecionáveis mediante funções do OpenGL. O resultado dessa modelagem

construída com o uso do software 3D Studio MAX foi transformado para um arquivo com extensão .OBJ. 3. FUNCIONAMENTO DO SISTEMA

O usuário vai interagir com o software utilizando o teclado, onde poderá movimentar os objetos e conhecer o ambiente virtual. Existem as opções de movimentação e os pontos de visão que o usuário poderá escolher.

A escolha desses botões se deu através de observações cotidianas em crianças acostumadas com jogos, pois estas mesmas teclas são teclas de movimentação na maioria dos jogos mais populares atualmente.

A figura 1 mostra os botões onde o usuário selecionará as peças virtuais. A tecla pra cima fará com que a próxima peça seja a peça que estará ativa e o botão pra baixo fará com que a anterior se ative.

Figura1: Teclas de seleção

Para evitar que durante o processo de montagem o usuário perca as peças da tela foi montado um sistema de zoom do ambiente que será explicado a seguir.

Z: A visão das peças se afasta deixando-as mais longe.

SHIFT+Z: A visão se aproxima deixando-as mais perto.

A figura 2 mostra a interface do mapa do Brasil com a qual os alunos começarão a trabalhar.


293

Figura 2: Mapa do brasil

4. AVALIAÇÃO E ANÁLISE DOS

RESULTADOS Para a avaliação desse protótipo, foi selecionado 30

alunos e um professor, todos os alunos do 3ª ano do Ensino Fundamental da Rede Municipal de Ensino, os quais foram questionados sobre o programa e sobre sua utilização.

As perguntas foram direcionadas aos alunos sobre a utilização e ao professor sobre a viabilidade do uso do programa.

4.1. Análise dos Resultados

A partir da análise das questões aplicadas aos

alunos os resultados foram obtidos e são alvos de muitas considerações e sugestões por parte de alunos e do professor envolvidos na pesquisa. A figura 3 demonstra que os alunos, aprovaram o método em sua maioria e a da Realidade Virtual foi bem aceita aumentando o interesse dos alunos por ser uma grande novidade para todos os alunos, demonstrando ainda em sua totalidade a aprovação do método aplicado no requisito de visualização da informação, onde estes destacaram que ao contrário dos materiais didáticos convencionais, onde as imagens são estáticas e de difícil abstração, na realidade virtual todo método pode ser dinâmico. Destacaram ainda que apesar da técnica seja um método inovador ainda depende muito do professor no processo de ensino e aprendizagem, mas destacaram que a forma de exposição do conteúdo ficou mais interessante e atrativa.

0

5

10

15

20

25

30

Ótimo Regular

Alunos

Figura 3: Gráfico dos resultados

De acordo com o professor a utilização do método foi extremamente satisfatória, o mesmo destacou a importância da tecnologia aliada à ciência, e observou que a ferramenta é uma maneira simples e de baixo custo para melhorar a qualidade na aplicação dos conteúdos, visto que na maioria das vezes os métodos existentes exigem capacitações complexas.

5. REFERÊNCIAS [1] CARDOSO, Alexandre, et. al. Tecnologias para o desenvolvimento de sistemas de realidade virtual e aumentada. Recife: Ed. Universitária da UFPE, 2007. [2] COHEN, Marcelo, MANSSOUR, Isabel Harb. OpenGL, uma abordagem prática e objetiva. São Paulo: Novatec editora, 2006 [3] GOMES, Jonas de Miranda; VELHO, Luiz Carlos. Computação Gráfica, v.1 / Jonas Gomes, Luiz Velho. Rio De Janeiro: IMPA, 1998. 323 p. [4] KIRNER, C; SICOUTO, R. Realidade virtual e aumentada, conceitos, projetos e aplicações. IX Symposium on virtual and argumented reality. 2007, Rio de Janeiro. [5] KIRNER, Cláudio; SISCOUTTO, Robson; TORI, Romero. Fundamentos e tecnologia de realidade virtual e aumentada. Belém: VIII Symposiun on Virtual Reality, 2006. [6] KIRNER et al. (1996) Sistemas de Realidade Virtual; Apostila do I Ciclo de Palestras de Realidade Virtual; UFSCar - Universidade Federal de São Carlos; 54 p. [7] LAMOUNIER, Edgard; CARDOSO, Alexandre. Computação Gráfica. Uberlândia, UFU, 2004. Disponível em: <http://www.alexandre.eletrica.ufu.br/cg/notas.htm>. Disponível em: <http://www.cinted.ufrgs.br/ciclo10/artigos/2cTiago.pdf>. Acessado em 03 de abril de 2009, às 14h55min. [8] Morie, J. F. (1994)Inspiring the Future: Merging Mass Communication, Art, Entertainment and Virtual Environments; Computer Graphics, 28(2); 135-138.


294

Documentação Digital do Patrimônio: uma Implementação Virtual de um

Edifício com Valor Histórico

Maria Amelia Eliseo, Ismar Frango Silveira, Fabio Silva Lopes, Beatriz A. Pacheco Fronterotta

Faculdade de Computação e Informática – Universidade Presbiteriana Mackenzie

{mamelia,ismar,flopes,bia.pacheco}@mackenzie.br

Abstract

This paper shows a digital reconstruction of

historical monuments using VRML (Virtual Reality

Modeling Language). It approaches the [omitted]

Building digital reconstruction and modeling.

[Omitted] building is situated in the [omitted] and

protected by CONDEPHAAT (Sao Paulo’s Council for

the Protection of Historical, Artistic, Archaeological

and Touristic Heritage) in 1993 for your historic and

architectonic value. The digital model has constructed

by 3ds Max software and converted to the VRML due

the facilities in the creation and visualization in the

web virtual environment.

1. Introdução

Os meios digitais têm se apresentado como

ferramenta potencial na reconstrução digital de

monumentos históricos. Passeios virtuais imersivos ou

não imersivos em edifícios que possuam um

significado histórico tem se apresentado como uma

nova forma de documentação e retratação do passado,

conforme relatam os trabalhos de [1],[3],[4] e [5].

Tais reconstruções digitais contribuem na

catalogação de edifícios representativos para o

patrimônio arquitetônico. Permitem ao usuário interagir

com o modelo tridimensional ao explorar visualmente

seus espaços internos e externos. Através dessa

experiência virtual o usuário é colocado em contato

com o passado, revivendo-o, contribuindo com a

preservação e a memória do patrimônio cultural.

Tendo em vista este contexto, esta pesquisa

pretende mostrar a elaboração de um ambiente virtual

em VRML que permita ao usuário interagir, através da

Web, vivenciando e explorando o Edifício Mackenzie,

tombado pelo CONDEPHAAT (Conselho de Defesa

do Patrimônio Histórico, Artístico, Arqueológico e

Turístico do Estado de São Paulo) em 1993, por seu

valor histórico e arquitetônico.

O objetivo foi modelar o Edifício Mackenzie,

procurando manter a fidelidade de seus detalhes

construtivos, bem como suas dimensões e proporções.

A modelagem foi feita no software 3DS Max da

Autodesk e posteriormente convertido para a

linguagem VRML, devido as suas facilidades de

visualização, navegação e interação na Web.

O Edifício Mackenzie foi construído em 1894 em

São Paulo, quando esta ainda era uma promissora

cidade devido à rápida expansão da cultura cafeeira

(Figura 1) [2].

Figura 1. Edifício Mackenzie nas esquinas das

ruas Itambé e Maria Antônia

Construído em alvenaria estrutural, o edifício possui

uma planta quadrada e três pavimentos.

2. A Reconstrução Digital

Para a reconstrução digital do Edifício Mackenzie

foi utilizado o software 3DS Max pela facilidade na

criação de objetos tridimensionais ao manter a

fidelidade dos detalhes inerentes à construção e a

precisão nas dimensões dos elementos construtivos.

Após a construção no 3DS Max o modelo virtual foi

convertido para VRML.

Houve a necessidade de construir objetos de apoio

no formato e medidas das portas e janelas com a

ferramenta de composição disponível no 3DS Max,

unindo dois objetos sólidos: cubo e cilindro, devido à

forma arredondada destes elementos.

Estes objetos de apoio foram utilizados para fazer as

aberturas das portas e janelas nas paredes, através da

operação de subtração.


295

A construção da escada interna foi a parte mais

delicada da reconstrução. Na primeira tentativa, o

desenho foi elaborado com as ferramentas de criação

automática presentes no 3DS Max e o tamanho do

arquivo da escada ficou inviável para uma publicação

na Web.

Isto ocorreu devido à enorme quantidade de

detalhes, conforme figura 2,

(a) (b) Figura 2. Detalhe da escada interna. Modelo feito

no 3DS Max (a). Fotografia do ambiente real (b).

Para viabilizar a implementação da escada foram

utilizadas técnicas de otimização de desempenho

gráfico desenvolvidas como a técnica de propriedade

de estado [6], que se utiliza de grafos de cena e

possibilita o reuso e compartilhamento de objetos com

características e propriedades idênticas.

Para a aplicação das texturas, foram tiradas fotos

diretamente do edifício, de vários detalhes, como a

parede da figura 3, que foi utilizada no revestimento

das paredes externas do modelo.

Figura 3. Foto da parede externa do Edifício

Mackenzie, utilizada como textura em VRML

O mundo virtual criado (Figura 4) permite que o

usuário interaja com o modelo, e além de explorar seus

ambientes internos pode consultar outras informações

como características dos detalhes construtivos e a

própria história que envolve o Edifício.

Figura 4. Entrada do Edifício Mackenzie virtual.

Para a interação com o modelo virtual do Edifício

Mackenzie, o usuário tem a liberdade de seguir seu

próprio “passeio” e explorar os ambientes internos do

edifício utilizando os recursos disponibilizados no

plug-in. Durante o “passeio” ao se deparar com uma

lupa, conforme Figura 4, e clicar em uma delas, o

usuário irá visualizar uma janela com informações

textuais sobre o edifício.

5. Considerações Finais e resultados

obtidos

O patrimônio arquitetônico reflete questões, sociais,

culturais, políticas e econômicas da sociedade em

épocas passadas. Sua preservação, física ou digital,

implica no reconhecimento de seus valores e sua

importância.

Como trabalhos futuros propõem-se a extensão do

modelo virtual do Edifício Mackenzie para um sistema

imersivo, através de uma CAVE (Cave Automatic

Virtual Environment) que permita um “passeio” não

apenas através do espaço, mas através do tempo, além

de explorar o acréscimo de informações adicionais

referentes ao modelo, armazenadas em um banco de

dados espaço-temporal.

O acréscimo de informações extras, como detalhes

construtivos, curiosidades da época e a estruturação

semântica dos dados irão enriquecer a aplicação,

motivando os usuários a explorarem um pouco mais da

história e da cultura.

6. Referências [1] CABRAL, M. ZUFFO, M. GHIROTTI, S. BELLOC, O.

NOMURA, L. NAGAMURA, M. ANDRADE, F. FARIA, R.

FERRAZ, L. An Experience using X3D for Virtual Cultural

Heritage. IN Web3D 2007, Perugia, Italy, 2007.

[2] ELISEO, M. A. ; PACHECO, B. A. ; LOPES, F. S. ;

SILVEIRA, I. F. . Visualização imersiva do patrimônio

histórico: Um modelo espaço-temporal para o campus

Mackenzie-Itambé. In: XIII Congresso da Sociedade Ibero

Americana de Gráfica Digital - SIGraDi2009, 2009, São

Paulo. Anais do SIGraDi 2009, 2009. v. 1. p. 170-173.

[3] FRISCHER, B. (2008). Rome Reborn. Disponível em:

http://www.romereborn.virginia.edu/. Acesso em:

12/11/2008.

[4] GONÇALVES, Alexandrino. MENDES, António José.

(2003). Realidade Virtual na Reconstrução de Ambientes

Históricos: O Fórum Flaviano de Conimbriga. Disponível

em: http://www.nonio.uminho.pt/documentos/actas/

actchal2003/05comunicacoes/Tema10/03AlexandrinoGoncal

ves.pdf. Acesso em 25/09/2010.

[5] ROUSSOU, Maria. (2000). Immersive Interactive Virtual

Reality in the Museum. Athens: Foundation of the Hellenic

World. Disponível em: http://ui4all.ics.forth.gr/

i3SD2000/Roussou.PDF. Acesso em: 26/05/2007.

[6] TORI, Romero, KIRNER, Claudio e SISCOUTO,

Robson. Fundamentos e Tecnologia de Realidade Virtual e

Aumentada. Belém: pré-simpósio – VIII symposium on

Virtual Reality, 2006.


296

SISTEMAS SUPERVISÓRIOS VIRTUAIS

Kenedy Lopes Nogueira, Keila de Fátima C. Nogueira, Gerson Flavio Mendes de Lima, Edgard A. Lamounier, Alexandre Cardoso

[email protected], [email protected], [email protected]; [email protected], [email protected], [email protected]

Universidade Federal de Uberlândia – MG, Brasil

Abstract

The purpose of this paper is to develop a Supervisory

System using Augmented Reality techniques to allow

monitoring works with the display of projects and its

ongoing constructive process on the same interface,

allowing real time interaction of the engineer.

1. Introdução

Este trabalho visa tornar a forma de visualização das informações apresentadas pelos Sistemas Supervisórios atual mais estratégica, usando para isso, técnicas de Realidade Aumentada.

Com esta implementação, o usuário não terá a necessidade de estar diante da tela do computador para ter acesso às informações recebidas pelo Sistema Supervisório, basta que esteja de posse dos óculos de Realidade Aumentada. Além da contribuição tecnológica, este artigo aborda também o uso dos Sistemas Supervisórios como forma de acelerar processos de conferencia de processos construtivos em Obras de Construção Civil, permitindo diminuir erros executivos, perdas, aumento da precisão, e aumento da produtividade.

2. Motivação

Durante os processos construtivos convencionais é comum utilizar-se projetos impressos em papel A0 onde os Mestres de Obras e Engenheiros seguem passo a passo os detalhes construtivos de sua obra, sujeitos á erros interpretativos assim como dificuldade ao acesso ás informações gráficas nos canteiros de obra. Quando muito usam notebooks para acessar os projetos em formato CAD em 2D ou 3D, sujeitos á intempéries diversos que dificultam o acesso e a interpretação da informação.

A contribuição deste trabalho é a utilização de Realidade Aumentada (RA) para proporcionar ao usuário a imersão e compreensão do fluxo de informação que normalmente é exibido em um sistema

convencional CAD, isso através da combinação de cenas virtuais e ambientes reais em um ambiente único.

Além disso, podemos utilizar a RA para estudos de implantação e impacto de vizinhança, estudo de insolação, estudo de fachada com sobreposição da mesma e também na apresentação de projetos para o melhor entendimento dos mesmos.

Sistemas RA pode ser integrado à maquetes, vídeos, músicas ou tudo para gerar uma super apresentação do projeto, podendo ser usada posteriormente nos encartes de revistas ou flyers e até mesmo no lançamento do empreendimento imobiliário.

Figura 1 - Arquitetura do sistema

Ainda é possível através de mapeamento da planta

baixa gerar a extrusão das paredes de casas e edifícios, para tal tarefa basta scanner uma planta em papel ou salvar a mesma em formato imagem (BMP) em seguida o usuário marca quais paredes quer que sofram o extrude (erguidas do 2D para o 3D) este processo ainda está sendo trabalhado.

Todos os dados são carregados no ambiente RA e exibidos através de óculos imersivos, ainda sendo possíveis algumas interações com o modelo gerado através de luvas especiais.

O sistema possui uma gama de objetos pré-cadastrados existentes no software 3DStudio Max, mas


297

novos objetos podem ser inseridos no sistema bastando modelar e cadastrar o mesmo.

Uma vez inserido o modelo no ambiente RA, é possível explorar a obra usando os recursos do sistema. Na Figura 2 abaixo é mostrado o usuário em campo, com os acessórios de imersão e controle.

Figura 2 – Usuário equipado com os dispositivos

de imersão. Na Figura 3 temos a imagem capturada pelo óculos já em realidade misturada.

Figura 3– Ambiente Aumentado com sistema

supervisório RA.


O sistema apresentou-se viável permitindo uma noção da obra antes da execução, ajudando no processo de tomada de decisões principalmente em obras arquitetônicas e ou obras exigem um estudo de viabilidade. A Realidade Aumentada comportou-se como uma ferramenta poderosa e que ainda é pouco explorada na área de engenharia civil e arquitetura.

Como trabalhos futuros pretende-se estudar técnicas que não utilizem marcadores, a otimização do sistema de extrusão permitindo que sistemas mais complexos sejam integrados como dutos de fiação e tubulações elétricas e hidráulicas.

6. Referências Bibliográficas

[1] Realidade Aumentada. http://realidadeaumentada.com.br/home/index.php?option=com_content&task=view&id=6&Itemid=28 27/08/2010 20:30hs/21:30hs.

[2] Caramelo, Frank, Imergindo na Arquitetura com a Realidade Aumentada.

http://www.portaldoarquiteto.com/blog/frank-caramelo/4326-imergindo-na-arquitetura-com-a-realidade-aumentada 26/07/2010 12:00/13:21

[3] ARToolkit, Oficial Site. http://www.hitl.washington.edu/artoolkit/ 21/10/2005 19:00hs/20:30hs. [4] LIMA, D. A; Nogueira, K. L;. SISTEMA

SUPERVISÓRIO UTILIZANDO REALIDADE VIRTUAL E AUMENTADA. 2009. Trabalho de Conclusão de Curso. (Graduação em Engenharia de Computação) - Instituto Superior de Educação de Ituiutaba. 2009, Ituiutaba, MG.

[5] Nogueira, K. L; LAMOUNIER, Edgard Jr.;

CARDOSO, Alexandre (2006). Manutenção de Sistemas de Energia Usando RealidadeVirtual, Realidade Aumentada e Algoritmos Genéticos.III Workshop de Realidade Aumentada 2006. Rio de Janeiro, RJ, Brasil.

[6] Nogueira, K. L; ARCity - Sistema de

visualização arquitetônica em RA.

www.cgworld.com.br/arcity/index.html

[7] SOARES, A. B. ; LAMOUNIER, Edgard ; NOGUEIRA, K. L. ; Andrade, Adriano . AUGMENTED REALITY: A TOOL FOR MYOELECTRIC PROSTHESES. In: XVIIth Congress of the International Society of Electrophysiology and Kinesiology, 2008, Niagara Falls. Proceedings of the XVIIth Congress of the International Society of Electrophysiology and Kinesiology, 2008. v. 1. p. 1-2

[8] [8] LIMA, Gerson Flavio Mendes ; IGOR SANTOS PERETTA ; JOSIMEIRE TAVARES ;Yamanaka, Keiji ; LAMOUNIER Junior, Edgard Afonso ; Cardoso, AlexandreDr. . “PROJETOS DE ILUMINAÇÃO POR TEMATIZAÇÃO E QUANTIZAÇÃO DE ILUMINÂNCIAS EM AMBIENTES 3D.” In: III Simpósio Brasileiro de Sistemas Elétricos - SBSE/2010., 2010, Belem - PA.


298

Panorama Atual da Realidade Virtual e Aumentada no Brasil

Luciana de Oliveira Berretta1, 2, Fabrizzio Alphonsus Alves de Melo Nunes Soares1, Deborah Silva Alves Fernandes1, Edgard Lamounier2, Alexandre Cardoso2 e Marcos Wagner de Souza Ribeiro1

1 - Departamento de Ciência da Computação - Universidade Federal de Goiás – Campus Jataí 2- Laboratório de Computação Gráfica – Universidade Federal de Uberlândia

[email protected] , [email protected], [email protected], [email protected], [email protected] e [email protected]

Resumo

Este trabalho descreve o panorama da Realidade Virtual e

Aumentada no Brasil nos últimos três anos.

Palavras-Chave – Panorama Atual, Realidade Virtual, Realidade Aumentada.

Abstract

This paper describes the nowadays of Virtual and

Augmented Reality in Brazil since three years ago.

Keywords – Augmented Reality, Nowadays, Virtual Reality 1. INTRODUÇÃO A realidade virtual (RV) pode ser visualizada como um sistema computacional usado para criar um ambiente artificial, no qual o usuário tem a impressão de não somente estar dentro do ambiente, mas também habilitado, com a capacidade de navegar no mesmo, interagindo com seus objetos de maneira intuitiva e natural [1]. Já realidade aumentada (RA) é o enriquecimento do ambiente real com elementos virtuais, usando algum dispositivo tecnológico, funcionando em tempo real [4]. O objetivo principal desta pesquisa é apresentar um relato qualitativo e quantitativo do estado da arte das áreas de RV e RA, permitindo a estudantes, professores e pesquisadores estabelecer caminhos iniciais de pesquisa na área. 2. PANOMARA ATUAL 2.1. Realidade Virtual A Realidade Virtual surgiu no Brasil, na década de 90, impulsionada pelo avanço tecnológico, exposição de pesquisadores a novas tecnologias e iniciativas individuais, integrando áreas como computação gráfica, sistemas distribuídos, interação homem computador, etc [2]. 2.2. Realidade Aumentada

Junto com o avanço da Realidade Virtual surge a Realidade Aumentada, trazendo consigo inovações tecnológicas como sistemas em tempo real e combinação de objetos sintéticos tridimensionais com ambientes reais. Sua utilização ganha cada vez mais corpo e vem passando a ser estudada por diversos institutos de pesquisa acadêmicos e comerciais [6]. Aspecto observado pela

quantidade crescente de trabalhos publicados e eventos realizados para tratar o assunto. 2.3. Aplicações de RV e RA

Devido às potencialidades visualizadas pela RV e RA, a diversidade de aplicações, suportada por essas tecnologias, crescem em grande escala [1].

Nos últimos anos, áreas como educação, jogos, medicina, engenharia, psicologia, artes, treinamento, etc., vem sendo amplamente exploradas. 3. EVENTOS CIENTÍFICOS

3.1. Symposium on Virtual and Augmented Reality (SVR)

O SVR é a maior conferência em Realidade Virtual

e Realidade Aumentada no Brasil patrocinada pela SBC (Sociedade Brasileira de Computação). O SVR reúne pesquisadores, estudantes e outros profissionais das áreas acadêmica, industrial e comercial interessados nos avanços e nas aplicações da RV e RA, tendo como atividades, minicursos, palestras, tutoriais, sessões técnicas para apresentação de trabalhos relacionados, exibição de demonstrativos e protótipos e workshops [3]. As edições do SVR foram realizadas em São Carlos (1997), Marília (1999), Gramado (2000), Florianópolis (2001), Fortaleza (2002), Ribeirão Preto (2003), São Paulo (2004), Belém (2006), Petrópolis (2007) João Pessoa (2008) e Porto Alegre (2009) e Natal (2010)

Nos anais do SVR realizado em 2008 em João pessoa, foram publicados 55 trabalhos distribuídos por sessões, sendo 6 na área de Realidade Misturada, 6 na área de Sistemas Distribuídos e Colaborativos, 7 na área de Avatars, Vida Artificial, Fala e outras formas de Interação, 7 na área de Aplicações, 4 na área de Interação com Usuários 3D, 4 na área de Simulações e Computação Gráfica, 10 na área de Desenvolvimento e Aplicações, 5 na área de Desenvolvimento RV e X3D e 6 na área de Educação ???

É possível verificar que a maior incidência de trabalhos está relacionada com a aplicação de RV/RA em outras áreas. As áreas com menor índice de publicação são as áreas de Interação 3D e Simulação e Computação Gráfica.

Nos anais do SVR realizado em 2009 em Porto Alegre, foram publicados 28 trabalhos distribuídos por sessões, sendo 3 na área de Realidade Virtual e Aumentada, 3 na área de Visualização e Computação Gráfica, 4 na área de Treinamento e Educação, 3 na área de Processamento de Imagens, 3 na área de Ambientes Virtuais, 4 na área de


299

Interação e Colaboração, 4 na área de Desenvolvimento e Simulação e 4 na área de Interação com Usuário.

O SVR 2009 merece destaque por apresentar a maioria de seus trabalhos relacionados com a interação.

Nos anais do SVR realizado em 2010 em Natal, foram publicados 24 trabalhos distribuídos por sessões, sendo 9 na área de RA, 3 na área de Fatores Humanos e RV, 6 na área de Técnicas de Interações e 6 na área de Visualização e Simulação.

No SVR 2010 vale ressaltar o grande número de trabalhos relacionados com a Realidade Aumentada.

O SVR 2011 será realizado em Uberlândia – MG, no período de 23 a 26 de maio de 2011.

3.2. Workshop de Realidade Virtual e Aumentada

(WRVA) O Workshop de Realidade Virtual e Aumentada visa promover o encontro e a apresentação de aplicações desenvolvidas ou em desenvolvimento de RV e RA nas mais diversas áreas, permitindo a troca de informações e a difusão de tecnologias para o desenvolvimento por meio de mini cursos e de encontros agendados entre os pesquisadores da área [5]. Em 2004 aconteceu o I Workshop de Realidade Aumentada – WRA’2004, realizado em Piracicaba – SP. Em 2005, ocorreram dois workshops: o WRA’2005, realizado em Piracicaba – SP e o I Workshop de Aplicações de Realidade Virtual – WARV’2005, realizado em Uberlândia – MG. Em 2006, o III Workshop de Realidade Aumentada – WRA’2006 foi realizado no Rio de Janeiro, e o II Workshop de Aplicações de Realidade Virtual – WARV’2006 foi realizado em Recife – PE, Em 2007, os dois workshops foram unidos em um único evento, resultando no IV Workshop de aplicações de Realidade Virtual e Aumentada – WARVA’2007, que foi realizado em Itumbiara – GO [2].

Em 2008, o WRVA foi realizado, em Bauru. Em seus anais foram publicados 34 trabalhos distribuídos por sessões, sendo 5 na área de RA: Educação e Treinamento, 5 na área de RA: Técnicas, Desenvolvimento e Algoritmos, 12 na área de RV: Educação e Treinamento e 12 na área de RV: Técnicas e Algoritmos.

É possível analisar que as áreas de Educação e Treinamento e Técnicas e Algoritmos englobaram a maioria absoluta dos trabalhos.

O WRVA 2009 realizou-se em Santos. Em seus anais foram publicados 35 trabalhos distribuídos por sessões, sendo 5 na área de RA: Educação e Treinamento, 5 na área de RA: Técnicas, Desenvolvimento e Algoritmos, 5 na área de RV: Educação e Treinamento e 14 na área de RV: Técnicas e Algoritmos. Novamente a área de Educação e Treinamento tem o maior número de trabalhos aprovados.

Em 2010, o WRVA acontecerá em São Paulo – São Paulo, no período de 08 a 11 de novembro.

4. GRUPOS DE PESQUISA Atualmente, pela CERV, estão cadastrados 25 grupos de pesquisa 5. ANÁLISE DOS RESULTADOS

O SVR apresenta em sua maioria trabalhos com pesquisa pura, onde a contribuição está na criação de novas tecnologias ou melhorias dentro da própria área (RV e RA).

O WRVA apresenta em sua maioria trabalhos com pesquisa aplicada. Ou seja, o uso de RV/RA na resolução de problemas de outras áreas.

A Realidade Aumentada já não é vista como subárea da Realidade Virtual, e, hoje como áreas em mesmo nível, o crescimento das pesquisas e o foco tem se concentrado em trabalhos em RA. Este fato pode também ser explicado pela força publicitária e comercial que a Realidade Aumentada vem tendo nos últimos anos.

Independente de ser RV ou RA, os trabalhos ainda se concentram, no foco aplicação, na área de Educação e Treinamento. No foco, pesquisa pura, a interação com o usuário é o principal foco de investimento. 5. CONCLUSÕES E TRABALHOS FUTUROS A Realidade Virtual e Aumentada está claramente ampliando seus campos de aplicação. A Realidade Aumentada vem se despontando, sendo tema central de congresso internacional e estudada por institutos de pesquisa acadêmicos e comerciais. O SVR e o WRVA mantiveram um elevado número de publicações de trabalhos, demostrando o interesse dos pesquisadores em desenvolver trabalhos utilizando RV e RA. Os trabalhos futuros a este trabalho, podem ser divididos em: a) Ampliação da pesquisa para o âmbito internacional; b) Detalhamento dos trabalhos, propiciando uma melhor especificação do Estado da Arte da área no país e fora.

Referências

[1] CARDOSO, A., et al. Tecnologias para o desenvolvimento de

sistemas de realidade virtual e aumentada. Editora Universitária da UFPE, Recife, 2007

[2] KIRNER, C. Evolução da Realidade Virtual no Brasil. Anais do X Simpósio de Realidade Virtual e Aumentada, João Pessoa, 2008.

[3] XXII Symposium on Virtual and Augmented Reality 2010. http://www.d imap.ufrn.br/svr2010/

[4] CARDOSO, A. JUNIOR, E. L. Editores. Realidade Virtual:

uma abordagem prática. Editora Mania do Livro, São Paulo, 2004.

[5] WRVA 2008 – Workshop de Aplicações de Realidade Virtual e Aumentada. UNESP - http://www2.fc.unesp.br/wrva/index.php?pagina=objetivos

[6] Campagna, J. P. P., Brega, J. R. F. - Utilização da Realidade Aumentada no Suporte à Correção de Movimentos em Exercícios Físicos que Envolvem Joelho, WRVA 2009.


300

Realidade Aumentada Interativa: um Estudo de Caso com o Ensino do

Movimento Circular

Vanessa Avelino Xavier de Camargo, Bruno Moraes Rocha, Clarissa Avelino Xavier de

Camargo, Emília Alves Nogueira, Rafael Tomaz Parreira, Thamer Horbylon Nascimento,

Marcos Wagner de Souza Ribeiro, Joslaine Cristina Jeske de Freitas

Departamento de Ciência da Computação – Universidade Federal de Goiás – Campus Jataí




Resumo

A Realidade Aumentada provê ao aluno um modo atrativo e estimulante de aprender, em decorrência de

propriedades de interação com elementos virtuais

tridimensionais. Deste modo, o presente trabalho visa a

implementação de um protótipo em Realidade

Aumentada – desenvolvido com a biblioteca

FLARToolKit – como recurso de apoio ao ensino,

possibilitando interação com os objetos virtuais por

intermédio de marcadores modificadores da cena.

Palavras-chave: Realidade Aumentada,

FLARToolKit, Interação, Física.

Abstract

The Augmented Reality supplies to the students an

attractive and rousing way to learn, by interaction with

3D virtual elements. Thus, the objective of this paper is

the implementation of an Augmented Reality prototype

– developed by FLARToolKit – as a resource to

support teaching, enabling interaction with virtual

objects through scene modifier markers.

Key words: Augmented Reality, FLARToolKit,

Interaction, Physics.

1. Introdução

As oportunidades oferecidas pelas atuais

tecnologias digitais de interação e informação podem

transformar os tradicionais métodos de ensino e

aprendizagem [2]. A Realidade Aumentada – dentre

várias outras tecnologias emergentes – tem se destacado como uma ferramenta poderosa de incentivo

e colaboração no processo de ensino-aprendizagem

pelo fato de mesclar o espaço real com objetos virtuais,

produzindo um único ambiente, e possibilitar a

interação e manipulação dos mesmos utilizando as

mãos, sem a necessidade de equipamentos especiais

[6]. A principal vantagem oferecida por esta

tecnologia, quando aplicada à educação, é a forma

como o usuário utiliza seu conhecimento intuitivo a

respeito do mundo físico para manipular o ambiente

virtual, colaborando no processo cognitivo do

aprendiz.

Assim sendo, este artigo tem como objetivo o

desenvolvimento de um protótipo usando Realidade

Aumentada com interface interativa, aplicado a um estudo de caso na área da Física, com o intuito de

minimizar os obstáculos e dificuldades no processo de

ensino-aprendizagem.

2. Trabalhos Relacionados Foram avaliados trabalhos desenvolvidos em RA em

diferentes áreas do conhecimento, como Química [1],

Biologia [7] e Matemática [3]. Em todos há um

consenso sobre as vantagens oferecidas pela aplicação

dessa tecnologia em experimentos científicos didáticos.

Contudo, observa-se ainda poucos trabalhos que

permitam interação através de marcadores

modificadores da cena.

3. Metodologia

Dentre as diversas subáreas da Física, é na

Mecânica onde se acentuam os maiores problemas de

compreensão [5]. Para o desenvolvimento do protótipo

foi escolhido como estudo de caso o Movimento


301

Circular, parte da Mecânica que relaciona definições

fundamentais como aceleração e velocidade.

Na construção do protótipo foi utilizado

FLARToolKit, primeira biblioteca de software para

desenvolvimento de aplicações de Realidade

Aumentada baseada em Flash e derivada do popular

ARToolKit [4].

5. Implementação e Funcionamento do

Sistema

A coexistência entre o real e o virtual foi possível

com a utilização de um globo terrestre real

representando o planeta. Um satélite artificial

orbitando-o foi a contribuição virtual. Apesar do

movimento dos satélites artificiais ser elíptico, este

contexto é valido por permitir a visualização do

movimento uniforme em um contexto real e existente.

A sensação criada no movimento do satélite de que

o mesmo está realmente orbitando o planeta foi obtida

ocultando-o no momento em que realizada a passagem

por trás do planeta. Para a implementação das interações possíveis no

sistema tornou-se necessário a criação e uso de

marcadores para cada finalidade: a) variação de

velocidade; b) variação de aceleração; c) variação do

raio. Aumentar ou diminuir estes valores depende do

posicionamento dos respectivos marcadores sobre

opções suspensas na cena gráfica do sistema. Estas

opções são os sinais de adição (+) e subtração (–), que

ficam no canto superior direito do sistema e aparecem

sempre que um dos marcadores de interação é

identificado. A Figura 1 ilustra os objetos virtuais e

seus respectivos menus.

Figura 1. Esquema dos menus interativos e seus

objetos virtuais

6. Avaliação e Resultados

O protótipo desenvolvido foi apresentado a alunos e

professores da Universidade Federal de Goiás –

Campus Jataí. Os resultados obtidos se mostraram

satisfatórios aos propósitos do projeto, visto que cerca

de 90% dos professores e 85% dos alunos opinaram

favoravelmente à aplicabilidade do sistema.


Após a análise dos resultados oriundos do processo

avaliativo, pôde-se concluir que o objetivo exposto foi

alcançado.

O enfoque na imersão e na interatividade da

Realidade Aumentada proporciona o aperfeiçoamento

do ensino e, consequentemente, o enriquecimento do

aprendizado, adquirido de forma plena a partir de

estímulos visuais e táteis. A possibilidade de presenciar

a ocorrência virtual de fenômenos físicos, impossíveis

de serem vistos ou demonstrados no mundo real,

desperta o interesse do aluno para o estudo e compreensão do ocorrido, aproximando-o da

formalidade científica da Física de maneira natural.

Para trabalhos futuros, sugere-se a expansão do

estudo de caso para outros tópicos da Física igualmente

considerados de difícil assimilação, como Movimento

de Projéteis, Conservação da Energia, Mecânica dos

Fluidos e Campo Elétrico.

Referências

[1] ARAÚJO, Dionata M. de, et al. Uso de Realidade

Aumentada como Ferramenta Complementar ao Ensino das

Principais Ligações entre Átomos. In: 6° Workshop de Realidade Virtual e Aumentada – WRVA, Santos, 2009.

[2] BONADIMAN, Helio; NONENMACHER, Sandra E.B..

O gostar e o aprender no ensino de Física: uma proposta metodológica. Cad. Bras. Ens. Fís., v.24, n.2: p.194-223, ago.

2007.

[3] KAUFMANN, Hannes. Geometry Education with Augmented Reality. Tese de Doutorado – Universidade de

Tecnologia de Viena - TUWIEN, Viena, 2004. 156p.

[4] KOYAMA, Tomohiko. Saqoosha. Disponível em: <http://saqoosha.net/en/flartoolkit/start-up-guide/>. Acesso

em: 23/07/2010.

[5] PEDUZZI, L. O. Q.; ZYLBERSZTAJN, A.; MOREIRA, M. A.. As concepções espontâneas, a resolução de problemas

e a história da ciência numa sequência de conteúdos em

mecânica. Revista Brasileira de Ensino de Física, vol.4, n. 4,

1992. p. 239-246.

[6] SANTIN, R. et al. Ações interativas em Ambientes de

Realidade Aumentada com ARToolKit. Proc. of VII

Symposium on Virtual Reality, SP, out. 2006.

[7] SILVA, W. A.; RIBEIRO, M. W.S. Uma arquitetura para

distribuição de ambientes de realidade aumentada aplicada à educação. Revista Brasileira de Informática na Educação. v.

6. p.57-69. 2008.


302

Uso da Realidade Virtual Como Ferramenta Auxiliar no Ensino das Três Leis de Newton da Física

Thamer Horbylon Nascimento, Bruno Moraes Rocha, Emilia Alves Nogueira, Rafael Tomaz Parreira, Vanessa Avelino Xavier de Camargo, Wanderley de Souza Alencar e Marcos Wagner de Souza Ribeiro

Departamento de Ciência da Computação – Universidade Federal de Goiás – Campus Jataí, GO

[email protected], , [email protected], [email protected], [email protected],

[email protected], [email protected] e [email protected],

Resumo – O objetivo deste trabalho é demonstrar a

possibilidade do estudo de um conteúdo com a ajuda do

computador usando a Realidade Virtual como instrumento

para criação de ambientes virtuais que simulem aspectos da

área da Física. O projeto culminou no desenvolvimento de

um software educacional baseado em Realidade Virtual,

desenvolvido em JAVA 3D a fim de auxiliar o ensino

didático, exemplificando um conteúdo específico de uma

disciplina, em que estudantes possuem dificuldade no

aprendizado, facilitando a visualização dos fenômenos

associados a este conteúdo.

Palavras-Chave – Física, Interação, Realidade Virtual, JAVA 3D.

Abstract – The objective of this work is to demonstrate to the

possibility of the study of content with the aid of the

computer using the Virtual Reality as instrument for virtual

environment creation that simulates aspects of the area of

the Physics. The project culminated in the development of a

based educational software in Virtual Reality, developed in

JAVA 3D in order to assist didactic education, giving the

example a specific content of one disciplines, where students

possess difficulty in the learning, using the potentiality of the

Virtual Reality as a tool of support to education being able to

facilitate the learning of this content of a faster and

interactive form.

1 Keywords - Physics, Interaction, Virtual Reality, JAVA 3D. 1. INTRODUÇÃO

O conhecimento pode ser adquirido de diversas formas, pois há diferentes maneiras de aprender, mas a troca da abstração pelo real, certamente traz bons resultados [1].

Porém, em muitos casos, não é possível simular ou demonstrar realidade sem o uso de mecanismos que aumentam ou transformam a capacidade dos sentidos humanos [3]. Há alguns fatos que não possuem possibilidade de demonstração, às vezes pelo seu custo, outras vezes pelo risco e até mesmo por seu acontecimento ser raro. Para alguém que desconhece algum desses assuntos, o entendimento dos mesmos na maioria das vezes acontece por meio de desenhos, funções e até por definições escritas ou faladas, acarretando enormes dificuldades de aprendizado inerentes ao método de ensino usado. Tradicionalmente os métodos baseados na aplicação do giz e quadro negro, das aulas dialogadas, tornam-se cansativos e desmotivantes

causando falhas no processo, que não poderão ser corrigidas em curto prazo [4].

Um forte apoio para minimizar essas dificuldades ou até mesmo resolvê-las dependendo da situação aplicada é a Informática. Ao utilizar o computador, são criadas condições para que o aluno construa seu conhecimento por meio da interação, visualização e simulação de situações que podem até ser impossibilitadas por meios tradicionais. Neste contexto computacional a Realidade Virtual, um dos melhores instrumentos para criação de cenários imaginados, pode resolver o grande problema de abstração de alguns conteúdos, como por exemplo, a Física, área extremamente carentes de procedimentos de simulação [2].

2. METODOLOGIA UTILIZADA

Entrevistas foram feitas com professores da rede pública e particular com relação aos principais problemas encontrados pelos alunos durante as aulas da disciplina de Física. As três leis de Newton foram identificadas como sendo áreas carentes em sistemas que simulem e demonstrem seu funcionamento.

2.1. Tecnologias de Apoio

No desenvolvimento desse projeto foram utilizadas

algumas dessas tecnologias para a construção do protótipo: a) Java (Java 3D) (manipulação dos objetos virtuais). b) 3D Studio Max (modelagem geométrica dos objetos).

2.2. Diagrama da Arquitetura do Sistema

A Figura 1 representa arquitetura do software, demonstrando a visão geral das partes que compõe o sistema e da comunicação envolvida nessas partes.

Figura 1. Arquitetura do sistema.


303

A arquitetura proposta é formada pelas seguintes partes: - Ambiente Virtual (Leis de Newton). - Modelos Geométricos. - Motor JAVA 3D.

2.2.1 Ambiente Virtual

O ambiente virtual é constituído de interfaces que permitem ao usuário escolher simulações com as três Leis de Newton.

2.2.2 Interface Gráfica do Usuário – GUI

A interface inicial indica ao usuário a possibilidade de três opções (Inércia, Força e Ação/Reação). Para cada opção existe outra interface que permite ao usuário interagir com o sistema.

2.2.3 Modelos Geométricos A camada Modelos Geométricos armazenam no formato

de arquivo 3DS os objetos modelados geometricamente com uso da ferramenta 3D Studio Max.

2.2.4 Motor Java (Java 3D) Responsável pela leitura dos arquivos dos Modelos

Geométricos, propiciando navegação e interação direta com os objetos virtuais. Todas as transformações geométricas necessárias são realizadas nesta camada.

4. IMPLEMENTAÇÃO

Inicialmente os objetos geométricos necessários no ambiente virtual foram modelados no software 3D Studio Max e exportados para o formato .3DS. O protótipo realiza a leitura do arquivo e disponibiliza uma matriz de índices de vértices, vértices, normais, materiais e texturas dos objetos.

4.1 Movimentação dos objetos virtuais

Todas as interações existentes no modelo foram implementadas diretamente em Java 3D. As interações e consequentes simulações tratam das três leis de Newton.

6. AVALIAÇÃO, RESULTADOS E CONCLUSÕES

6.1. Avaliação e Resultados

O ambiente foi apresentado a alunos e professores de uma

escola pública e outra privada. O ambiente foi testado por cerca de 30 alunos dessas escolas que apresentaram dificuldades no conteúdo das três leis na disciplina de Física e respectivamente para 2 (dois) professores da disciplina.

Inicialmente houve uma apresentação formal do ambiente tanto para alunos quanto para professores e a real finalidade desta demonstração. Primeiramente foi ministrada uma aula nos moldes normais para alunos, usando apenas quadro e giz para a explicação das leis. Em um outro momento foi

demonstrada a mesma matéria, porém com a utilização do ambiente virtual, mostrando aplicações das três leis de Newton em uma outra visão, onde os alunos tiveram uma participação mais interativa com o ambiente de física. Em seguida foi aplicado um questionário para que os usuários do processo pudessem demonstrar suas opiniões mais pessoais com sugestões em relação ao uso de Realidade virtual no ensino das três leis de Newton.

Os resultados finais foram satisfatórios, pois 93% dos usuários do processo opinaram que o aprendizado foi bem estimulado com o uso do ambiente virtual de Física, e somente 7 % acharam que poderia-se ter outras formas de demonstrar as três leis de Newton na Física utilizando ambientes virtuais.

6.2. Conclusões

Após a exposição do sistema aos usuários, foi notável que

ao utilizar Realidade Virtual no ambiente de aprendizagem, houve um aumento na motivação tanto dos alunos como nos professores no processo de ensino e aprendizagem do conteúdo.

Conclui-se também que o método e a tecnologia usada para a construção desta aplicação em específico são bem simples, mas, no entanto propiciam excelentes resultados, principalmente por não necessitar de equipamentos de grande porte.

6.3. Trabalhos Futuros

Como trabalho futuro a este considera importante a utilização da Realidade Aumentada.

REFERÊNCIAS BIBLIOGRÁFICAS

[1] BYRNE, C. M. The Use of Virtual Reality as Educational Tool. Washington University, 1995. Documento disponível no endereço eletrônico http://www.hitl.washington.edu/publications/r-93-6, novembro 2005.

[2] FILHO, Kepler de Souza Oliveira, SARAIVA, Maria de Fátima Oliveira Saraiva. Isaac Newton. 2010. Documento disponível no endereço eletrônico http://astro.if.ufrgs.br/newton/index.htm, agosto 2010.

[3] KIRNER, Cláudio. Sistemas de Realidade Virtual. Grupo de Pesquisa em Realidade Virtual, Departamento de Computação – UFSCar. 1997. Documento disponível no endereço eletrônico http://www.dc.ufscar.br/~grv/, setembro 2005.

[4] RIBEIRO, Marcos Wagner de Souza. Uma arquitetura para ambientes virtuais distribuídos. 2005. 105f. Tese (Doutorado em Ciências) Faculdade de Engenharia Elétrica, Universidade Federal de Uberlândia, 2005.


304

Realidade Virtual como apoio no tratamento da Siderodromofobia

Bruno Moraes Rocha, Emilia Alves Nogueira, Rafael Tomaz Parreira, Vanessa Avelino Xavier de Camargo, Thamer Horbylon Nascimento, Fabrizzio Alphonsus Soares de Melo Nunes e

Marcos Wagner de Souza Ribeiro. Departamento de Ciências da Computação – Universidade Federal de Goiás, Campus - Jataí

[email protected], [email protected], [email protected], [email protected], [email protected], [email protected], [email protected]

Resumo

A fobia é um sentimento de medo injustificável,

ansiedade persistente, intensa e irrealística, sensação

que surge quando o fóbico se depara com a situação

causadora de sua fobia. Uma das maneiras para

tratamento de fobias é o uso da computação para

simular estas situações. E, na computação, a área que

melhor propicia reproduzir situações reais do

cotidiano é a Realidade Virtual. O objetivo deste

trabalho é a criação de um ambiente virtual que

permita ao usuário ter a sensação de estar no

ambiente de uma viagem de trem, propiciando a

profissionais da área avaliar e tratar a experiência

gerada.

Palavra-Chave – Siderodromofobia, Realidade Virtual, Fobia, Medo de trem.

Abstract

A phobia is an unreasonable sense of fear, anxiety,

persistent, intense and unrealistic, a feeling that arises

when the phobic situation is faced with the cause of his

phobia. One way to treat phobias is the use of

computers to simulate these situations. And, in

computing, the area that provides better reproduce

real life situations is Virtual Reality. The objective this

work is to create a virtual environment that allows the

uses to have the feeling to be in a train journey. Using

this system professionals can to assess and treat theirs

pacients with the experience generated.

Keywords – Train Phobia, Virtual Reality, Anxiety, Fear Train.

1. Introdução

Existe uma série de explicações do por que desenvolvemos fobias. Seja qual for a causa, as fobias são tratáveis entendendo que a mesma é uma condição que pode ser superada com a terapia comportamental cognitiva e com técnicas específicas [1]. As fobias são conflitos psicológicos internos que aparecem sob a forma de medos que se traduzem no aumento da ansiedade. A fobia não tem uma causa real (trauma real) ela apenas existe simbolicamente. Pode existir ainda uma atitude contra fóbico, a pessoa em vez de evitar o medo, enfrenta-o. Alguns cálculos atuais mostram que em torno de 25% da população teve, tem ou terá, em algum momento da vida, um episódio de fobia.

Nesse contexto, o estudo propõe o uso da Realidade Virtual (RV) para tratamento da Siderodromofobia.

1.1. Siderodromofobia Siderodromofobia (fobia de trem) é uma das fobias que atingi um numero significativo de pessoas, que é o medo que um indivíduo possui de viajar de trem. O medo de ter contato com o transporte de trem é um pânico muitas vezes inexplicável que se manifesta de diferentes formas. Para quem tem Siderodromofobia, não adianta explicar que é seguro. O individuo sempre terá expectativa que a viagem, possa ser fatídica.

1.2. Realidade Virtual Realidade Virtual (RV) é uma interface avançada para aplicações computacionais, que permite ao usuário navegar e interagir, em tempo real, com um ambiente tridimensional gerado por computador, usando dispositivos multisensoriais [2]. A RV pode empregar várias técnicas para reproduzir o mundo real e imaginário e possibilita a manipulação e visualização de informações no computador como se estivesse no mundo real.


305

Assim pode-se entender que RV permite ao usuário interação, navegação e imersão em um ambiente tridimensional sintético, gerado pelo computador por meio de canais multisensoriais dos cinco sentidos (visão, audição, tato, olfato e paladar).

2. Realidade Virtual no tratamento de

fobias Os ambientes virtuais construídos utilizando a RV como ferramenta de desenvolvimento, utiliza como abordagem e ocorre por meio da exposição do paciente a situações criadas com a tecnologia da RV. Tais ambientes simulam situações reais temidas pelo paciente. Sua eficácia é descrita em diversos trabalhos realizados na Europa e nos Estados Unidos [3]. Outro fator relevante no uso destes ambientes é a possibilidade de graduação dos estímulos que é relacionada a uma hierarquização dos ambientes de acordo com obstáculos, que aumentam a ansiedade do paciente.

3. Metodologia e arquitetura do sistema 3.1. Metodologia do sistema No desenvolvimento desse trabalho, foram feitos levantamento bibliográfico do assunto de Siderodromofobia e da área (RV) usada para construir o sistema. Logo após analisar esses dados, foi possível dar inicio ao desenvolvimento, modelagem do ambiente proposto. O contexto inicial do trabalho foi uma simulação de uma viagem de trem por um roteiro fictício. Em seguida este ambiente foi modelado geometricamente usando o software 3D Studio Max. Os arquivos contendo a modelagem dos objetos foram lidos por pelo software loader. Toda a interatividade do sistema foi construída com uso da biblioteca de acesso á hardware gráfico OpenGL. 3.2. Arquitetura do sistema

A arquitetura do sistema é composta pelos modelos geométricos, isolados em uma camada e independentes do sistema. A linguagem C++ juntamente com a biblioteca OpenGL possibilitam o uso dos objetos

geométricos e sua específica manipulação dentro ambiente. Também foram criadas condições de navegação no sistema por meio de transformações geométricas no ambiente e especialmente em cada um dos objetos. Os objetos existentes no ambiente virtual foram: estação de metrô, visão interna da mesma, visão externa a partir de dentro do comboio e uma visão externa (vídeo) dos trilhos por meio de uma janela comboio.

4. Funcionamento do sistema O sistema foi desenvolvido para que profissionais da área de Psicologia analisar todos os níveis de fobia existentes em seus pacientes. Existem três níveis para estudar e avaliar o paciente: - Nível 1: observando suas reações na estação e diante do comboio. De acordo com a avaliação do profissional de Psicologia, o paciente passe ou não para o próximo nível. - Nível 2: observando suas reações dentro do comboio. Onde o paciente sempre terá na sua visão frontal um corredor caminhando para sua devida poltrona. - Nível 3: observando suas reações diante ao trem. Neste nível o paciente já fica sentado ao lado da janela. Onde se passa um vídeo com imagens extraídas de viagens reais, incluindo sincronismo com alguns eventos. Em termos de tratamento, se o paciente tiver um bom resultado ele poderá entrar e acessar todo o ambiente interno do metrô.

5. Referências bibliográficas [1]. Freitas e Paulo, “Transtornos mentais relacionados a

medos e fobias.” Disponível em: <http://www.psicologiananet.com.br/transtornos-mentais-relacionados-a-medos-e-fobias/358/> Acesso: 10 de agosto de 2010, 21h40min.

[2]. Kirner C. e Siscoutto R. A., “Fundamentos de Realidade Virtual e Aumentada”, Realidade Virtual e Aumentada:

Conceitos, Projeto e Aplicações, pp. 9-21, maio 2007.

[3]. Ana Paula T. W. “Fundamentos de Realidade Virtual”, VESUP: O Uso de Ambientes Virtuais no Tratamento

de Fobias Urbanas Rio de Janeiro : Universidade Federal Rio do Janeiro UFRJ, 2007.


306

Desenvolvimento de uma Arquitetura para a Distribuição de Realidade Virtual e Aumentada aplicada na Educação

Keila Nogueira, Kenedy Nogueira, Edgard A. Lamounier, Alexandre Cardoso

[email protected], [email protected], [email protected], [email protected]

Universidade Federal de Uberlândia – MG, Brasil

Abstract

The work objective of this is to develop a distributed Virtual Reality and Augmented Reality system, where the environment virtual objects will be more flexible, allowing to open the virtual model, distribute and also convert it into Augmented Reality. Will be possible to modify a higher parameters amount of the object and the virtual environment. Will be developed a VRML editor to edit and create virtual objects. Thus, this research has the target to present an architecture to support the Virtual Reality Environment and Distributed Augmented Reality. The main objective is to investigate how to allow such distribution, especially augmented environments, in Distance Learning projects

1. Introdução A maioria destes sistemas apresenta algumas

limitações: • Distribuição somente em rede locais: ambientes

virtuais distribuídos em rede local implica na utilização somente em um local físico (laboratório), por exemplo, sendo assim não permite a utilização adequada em ambientes em Educação à Distância (SILVA, 2008).

• Distribuição ora de RV ora de RA: não contemplando as duas tecnologias simultaneamente (SILVA, 2008). A vantagem de utilizar as duas tecnologias é o melhor aproveitamento ou entendimento de um modelo virtual e um ambientes mais rico de aprendizado, como por exemplo em modelos atômicos deixam de ser apenas descritos ou ilustrados pelo professor através da lousa. A interatividade efetiva das técnicas de RV e RA propiciam ao estudante acesso, facilitando a compreensão em nível teórico.

Este trabalho propõe uma arquitetura flexível tanto para o uso de ambientes RV e RA distribuídos e promover a distribuição não só em Redes Locais (LAN) como também na Internet, assim possibilitando a aplicação em ambientes de Educação à Distância.

2. Motivação

Uma das motivações para o desenvolvimento de ambientes virtuais de RV e RA distribuídos na Web está na possibilidade de transformar o mesmo em um lugar social onde uma comunidade de usuários que compartilham e interage essa informação (KIRNER et al, 2000) .Sendo que a educação deve ser um processo de construção de conhecimento ao qual ocorrem em condição de complementaridade, por um lado, os alunos e professores e, por outro, os problemas sociais atuais e o conhecimento já construído (BECKER, 1992).

O objetivo desse projeto é desenvolver um sistema para distribuição de RV e RA, onde os objetos virtuais do ambiente terão maior flexibilidade, podendo-se abrir um modelo virtual qualquer, distribuí-lo e convertê-lo em RA. E ainda poder-se-á alterar uma quantidade maior de parâmetros da cena ou do ambiente virtual. 3. Arquitetura Proposta

A arquitetura proposta permite a conexão de vários (n) usuários conectados a um Ambiente de Distribuição de Realidade Virtual e Aumentada, utilizando de uma interface que permita a manipulação de objetos virtuais. A Figura1 apresenta esta Arquitetura.

Figura 1 – Arquitetura do Protótipo


307

A arquitetura proposta é composta pelos seguintes módulos:

Interface Gráfica com o usuário (GUI): possui o módulo de conexão do sistema, e a interface de visualização RV e RA.

Servidor: Servidor da aplicação recebe dos clientes e distribuí na rede de computadores as informações acerca dos objetos que devem ser editados e distribuídos. A interface do servidor é subdividida em três partes, a primeira é responsável por (iniciar ou finalizar o Servidor), a segunda controla a quantidade de clientes conectados e a terceira tem a função de receber as mensagens e propagar para todos os clientes conectados ao servidor. A Figura 2 mostra cada parte.

Figura 2 – Interface Servidor

Cliente: este módulo possui a parte de conexão do cliente através do endereço IP do servidor (1), uma aba de visualização da interface RV e RA (2) e ainda um chat que permite a comunicação via texto (3), como pode ser visualizado na Figura 3.

Figura 3 – Interface Cliente


Com os resultados obtidos através dos testes realizados com usuários, foi possível verificar que o protótipo atingiu os pontos propostos, como: uma arquitetura que suporte simultaneamente a distribuição de RV e RA. A inserção de novos modelos virtuais na biblioteca com e ainda a alteração de uma quantidade maior de parâmetros do modelo virtual.

Apesar de ter atingido os objetivos propostos a esta pesquisa, diversas melhorias podem ser contempladas, como por exemplo.

A distribuição de objetos com um cliente especifico, isso facilita a comunicação do servidor com um único cliente. No protótipo desenvolvido a distribuição ocorre para todos os clientes (broadcast). O uso de Java ao invés de C++, para ter acesso a recursos de manipulação do ambiente que em C++ são pagos. A utilização da biblioteca FlarToolKit para permitir o uso da Realidade Aumentada pela Internet através de um browser independente do Sistema Operacional utilizado. O protótipo trabalha somente em ambiente Windows devido à linguagem escolhida para seu desenvolvimento ser em C++ que é bastante robusto na comunicação via sockets e também faz ótima integração com o ARToolKit.

Este trabalho objetivava apresentar um protótipo para distribuição de RV e RA, neste sentido pode-se dizer que foram cumpridas as metas.

O artigo apresenta uma arquitetura que suporta o funcionamento de um Ambiente de Realidade Virtual e Aumentada Distribuída. Ainda permite a visualização de modelos virtuais RV e RA e a inserção de novos modelos virtuais na biblioteca comum e alteração parâmetros dos objetos virtuais.

Além da teoria apresentada, este trabalho contribuiu com um desenvolvimento de um protótipo que pode ser considerado um embrião para auxiliar no aprendizado tanto presencial e para a Educação à Distância. 5. Referências Bibliográficas (CARDOSO et al, 2007) CARDOSO, A.; KELNER,

J.; KIRNER, C.; LAMOUNIER, E. Tecnologias para o desenvolvimento de sistemas de realidade virtual e aumentada.; Editora Universidade da UFPE. Recife – PE. p.4. 2007.

(KIRNER et al, 2000) KIRNER, C., IPÓLITO, J. "Projeto de Ambientes Virtuais Multi-Usuários Usando Java e VRML". Proceedings Workshop on Virtual Reality (2000), Gramado, p.169-179.

(RIBEIRO, 2005) RIBEIRO, Marcos Wagner de Souza. Arquitetura para Distribuição de Ambientes Virtuais Multidisciplinares, Uberlândia, Faculdade de Engenharia Elétrica - UFU, 2005, 176p

(SILVA, 2008) Wender A. Uma Arquitetura para Distribuição e Colaboração em Ambientes Virtuais de Realidade Aumentada, Uberlândia, Faculdade de Engenharia Elétrica - UFU, 2008, 215p.


308

USO DE REALIDADE VIRTUAL COMO FERRAMENTA

COMPLEMENTAR AO ENSINO DE PROBLEMAS MATEMÁTICOS

Nayara da Silva Vieira, Dionata Martins de Araújo Instituto Luterano de Ensino Superior de Itumbiara Sistemas de Informação


1. INTRODUÇÃO

Em meados do século XX, o ensino da matemática era baseado na memorização e treinamento, a partir dai

começou a se a falar em resolução de problemas como

metodologia, porém nota-se evidentemente que essas

métodos não são tão eficazes, e que por outro lado o uso de

jogos pedagógicos atualmente vem mostrando resultados

positivos. [2]

A importância dos problemas matemáticos é que

impulsiona os diversos ramos da matemática

desenvolvendo novas idéias. [3]

O ensino da Matemática tem sido malsucedido, devido

aos alunos terem dificuldades em entender o conteúdo. Essa dificuldade inicia-se ainda nas séries iniciais pela falta de

interpretação ou não conseguem ler os problemas. [1]

Diante dos fatores de necessidades e potencialidades das

áreas de Computação Gráfica e Matemática, surgiu como

tema desse projeto, o uso da Realidade Virtual como

ferramenta complementar ao ensino de problemas

matemáticos.

O presente artigo tem como objetivo a apresentação de

um protótipo de software desenvolvido com técnicas de

Realidade Virtual (RV) que possa auxiliar professores e

alunos no processo de interpretação de problemas matemáticos, onde basicamente será reconstituído um

sistema que simule problemas matemáticos, com o

propósito de melhorar o raciocínio matemático.

2. MÉTODOS APLICADOS

A metodologia aplicada no desenvolvimento deste

projeto, em primeira instância foi feito um levantamento

bibliográfico de aprendizagens na área, entendendo mais a

fundo os processos envolvidos no meio pedagógico. E

ainda, verificando-se quais as vertentes de pesquisa sobre o

assunto no Brasil. Posteriormente foi realizada a modelagem dos objetos e

a implementação do protótipo, que são tratados a seguir.

O universo deste trabalho é o ensino de resolução de

problemas de matemática, desta forma a população a qual

se destina o protótipo trata-se especificamente de alunos do

primeiro ano do ensino fundamental.


Na figura 1, mostra a tela inicial do sistema, em

seguida aborda o funcionamento de cada botão e como utilizá-los.

Fig. 1. Interface inicial do software.

O usuário vai interagir com o software utilizando o

mouse, para movimentar os objetos e conhecer o ambiente virtual. Abaixo, segue uma breve explicação de como o

usuário realiza a interação.

Fig. 2. Barra de ferramentas.

Os botões da barra de ferramentas da figura 2 definem

como o usuário se movimenta no ambiente. A barra de

navegação possui as seguintes opções:

1. Este botão é responsável pela confirmação da

resposta dada pelo usuário.

2. O botão é responsável pela disponibilidade da

reprodução do áudio do contexto do problema, gravado pelo professor.

3. Composto por dois botões destinados a mudança do

zoom no ambiente virtual, sendo que um botão aumenta o

zoom em relação ao ambiente e outro é responsável por

executar o efeito reverso.

4. Composto por um botão para escolher outro

problema cadastrado no pelo professor.

A figura 3 apresenta o local onde o problema por

escrita é visualizado.

Fig. 3. Problema escrito.

A figura 4 representa o local onde o usuário irá

escolher o numero do código cadastro pelo professor, assim

após a digitação do numero do problema, será

disponibilizado para o usuário responder.


309

Fig. 4. Escolha do problema já cadastrado.

Na parte superior da janela do software, encontra-se o

menu, conforme a figura 5. Em complementos possui a

opção de cadastramento do problema. O software possui o

conteúdo de ajuda, podendo auxiliar o usuário caso tenha

dúvida.

Fig. 5: Barra de menu.

A tela de cadastramento é composta com um campo

onde o usuário irá escrever o contexto do problema, depois

encontra se o local onde o professor irá fazer o upload do

áudio gravado por ele com o contexto do problema, então o

usuário irá colocar o número do resultado esperado, a frente escolherá a resposta é de qual o personagem ou se for dos

dois é a opção 3, escolha da quantidade de objetos que cada

um iniciará e escolha dos personagens buscando-os no

computador. Na figura 6 apresenta o cadastramento do

problema.

Fig. 6. Cadastramento do problema.

4. AVALIAÇÕES DOS RESULTADOS

A partir da análise dos questionários aplicados aos

alunos os resultados foram obtidos e são alvos de muitas

considerações e sugestões por parte de alunos e professores

envolvidos na pesquisa. Os alunos aprovaram o método em

sua maioria a respeito da motivação através da utilização de

Realidade Virtual, demonstrando ainda em sua totalidade a

aprovação do método aplicado no requisito de visualização

da informação, onde estes destacaram que as imagens

possuem vários ângulos de visualização ao contrário dos

materiais didáticos convencionais, onde as imagens são

estáticas e de difícil abstração. Destacaram ainda que apesar

da técnica seja um método inovador ainda depende muito do professor no processo de ensino e aprendizagem, mas

que a forma de exposição do conteúdo ficou mais

interessante e atrativa. De acordo com os professores a

utilização do método foi extremamente satisfatória, os

mesmos destacaram a importância da tecnologia aliada à

ciência, e observaram que a ferramenta é uma maneira

simples e de baixo custo para melhorar a qualidade na

aplicação dos conteúdos, visto que na maioria das vezes os

métodos existentes exigem capacitações complexas. No

figura 7, demonstra o nível de satisfação obtido através da

utilização do método em sala de aula.

Fig. 7. Satisfação dos alunos com relação ao método.

5. CONCLUSÃO E TRABALHOS FUTUROS

O processo de resolução de problemas de matemática, utilizando Realidade Virtual contribui de maneira

significativa na percepção, interação e motivação dos

usuários.

Feito um levantamento dos trabalhos relacionados ao

ensino de matemática não foi encontrado nenhum software

que utiliza o conteúdo aplicado em problemas de

matemática, enquanto o protótipo apresentado faz o uso

deste conteúdo, sendo assim considera-se essa característica

como uma das contribuições desse trabalho.

Para trabalhos futuros, pretende-se ampliar o protótipo,

dando ao professor a opção de ser um servidor, podendo o mesmo desenvolver o problema e disponibilizar para todos

os computadores conectados na rede de sua máquina.

Criação de um banco de dados, assim o professor

também poderá criar um teste com os problemas salvos no

banco de dados, podendo selecionar quantos e quais

problemas os alunos terão que responder.

No quesito tecnológico, tem-se a intenção de fazer com

que os personagens ganhem movimentação, podendo assim

executar uma simulação mais ampla e detalhada do

contexto histórico.

6. REFERENCIAS BIBLIOGRÁFICAS

[1] INEP. No ensino médio, 67% dos estudantes têm

desempenho crítico em Matemática. Disponível em:<http://www.inep.gov.br/imprensa/noticias/saeb/news03_16.htm>. Acessado em 02 de abril de 2009, às 12h07min.

[2] MIORIM, Maria Ângela. Uma reflexão sobre o uso de

materiais concretos e jogos no Ensino da Matemática. Matemática Hoje. Disponível em:

<http://www.matematicahoje.com.br/>. Acessado em 05 de

abril de 2009, às 10h32min.

[3] SILVEIRA, J. F. P. O que é um problema

matemático? Site:

<http://athena.mat.ufrgs.br/~portosil/resu1.html>. Acessado

em 17 de julho de 2009, às 09h53min.


310

REALIDADE AUMENTADA NO MARKETING: merchandising de produtos eletrônicos na web

Antônio S. Veloso1, Carlos Alberto C. Ramos1, Elizângela S. Moreno1, Jullyandry Coutinho1, Pedro Ivo L. Souza1, Jacquelaine A. Machado1, Wender A. Silva2

1 Faculdade Atual da Amazônia – (FAA)

2 Universidade Federal de Roraima - (UFRR)

{veloso.rr, ellydvn, wender-silva, jacquelaine_itumbiara}@hotmail.com, [email protected],


Abstract

This paper aims at analyzing the contribution of

augmented reality tied to the promotion of merchandising

for consumer electronics on the web. Through this

analysis, we propose a new business idea, using

marketing strategies with the technology of Augmented

Reality (AR) in a web application, which consists of a site

to buy electronic products, as a model to assist the

promotion and exhibition of products. This research

proposes to answer the following question: the use of

merchandising techniques that make use of augmented

reality can contribute to the promotion of electronic

products in a web environment?

Resumo

Este trabalho tem como objetivo principal analisar a

contribuição da realidade aumentada atrelada ao

merchandising para promoção de produtos eletrônicos

na web. Mediante esta análise, propõe-se uma nova idéia

de negócio, utilizando estratégias de marketing junto à

tecnologia de Realidade Aumentada (RA) numa

aplicabilidade via web, que consiste em um site de

compra de produtos eletrônicos, como um modelo que

auxilie a promoção e exposição de produtos. Esta

pesquisa propõe-se a responder a seguinte pergunta: o

uso de técnicas de merchandising que façam uso de

Realidade Aumentada pode contribuir para a promoção

de produtos eletrônicos em ambiente web?

1. Introdução

A proposta da pesquisa está na junção da tecnologia de Realidade Aumentada (RA) nas estratégias de merchandising para a exposição de produtos eletrônicos na web auxiliando assim nas decisões de promoção de

vendas, para constituir um empreendimento de sucesso e inovador.

Definiu-se como objetivo geral do estudo, analisar a contribuição da RA atrelada ao merchandising para promoção de produtos eletrônicos na web.

Como objetivos específicos têm-se: Integrar técnicas de merchandising na web site de vendas de produtos eletrônicos utilizando RA como diferencial; A implementação de uma interface que utilize esta tecnologia como ferramenta de promoção, visando estimular a compra pelo consumidor; Validar a usabilidade do protótipo fazendo com que o usuário interaja com o sistema desenvolvido por meio do teclado, podendo selecionar cores, marcas, modelos e características dos produtos com o auxílio de marcadores.

Em virtude dessas perspectivas, justifica-se a criação de um modelo para exposição de produtos não convencional no mercado, revestindo-se de significativa importância para o contexto social das organizações, dos usuários de internet e para as estratégias de comercialização e promoção de um modo geral.

2. Tecnologias utilizadas

Para criação dos objetos virtuais foi utilizado o software de modelagem e animação gráfica (Blender3D), que cria a partir de simples pontos, linhas ou planos e malhas muito complexas [3]. Para a edição de imagens vetoriais com animação, som e interatividade foi usado o Adobe Flash CS3, que possibilita a criação de efeitos avançados em arquivos bastante pequenos [1], com uso de bibliotecas como o FLARToolkit, que tem seu desenvolvimento em código Action Script (AS), que possibilitam o desenvolvimento de aplicações de RA juntamente com outra biblioteca (PaperVision3D), que realiza o tratamento automático de colisão e geram mundos virtuais com maior detalhamento. Seu processo


311

ocorre por meio de aplicações que usam o FLARToolkit, onde o cliente apenas necessita instalar no navegador (Internet Explorer, Firefox, etc), o plugin do Flash Player versão 10 ou superior e depois permiplugin à webcam possibilitando a visualização da aplicação em Realidade Aumentada. [

3. Funcionamento do Sistema

O sistema apresenta um modelo de ambiente virtualizado na web para teste (www.vcempresa.com/icomprar_v2), onacessar a página, fará o download do marcador e posteriormente poderá imprimir e assim posicionar o marcador em frente a webcam para o objeto aparecer, conforme demonstrado na Figura 1. Para manipulação do objeto é necessário visualizar os comandos que estão juntamente com o marcador.

Figura 1. Objeto (celular) atrelado ao marcador

4. Resultados da Avaliação do Sistema

Para a representação da quantificação dos dados, usou-se um questionário em forma de checkliembasado na ISONORM 9241-10, que é um conjunto de normas que permite avaliar a capacidade de um sistema interativo, oferecendo ao usuário a possibilidade de realizar tarefas de maneira eficaz e agradável, onde fora aplicado para avaliar e validar a usabilidade do sistema quanto à aplicabilidade tecnológica e mercadológica

O questionário foi dividido em nove questões que abrangem aspectos tecnológicos, mercadológicos, de usabilidade e de conteúdo específico proposto no estudo de caso deste trabalho que é mensurado pela escala de Regis Likert.

De acordo com [2], esta escala foi criada em 1932, sendo utilizada para medir os graus de aceitação relacionados aos produtos e serviços, funciona como um indicador de diferentes graus de concordância ou discordância, como: grau de ocorrência, de aceitação, de opinião, de apreciação geral, de satisfação e grau de atribuição de importância.

O universo alvo do estudo foram ada Faculdade Atual da Amazônia, porém nesta amostragem foram estratificados dentre um universo de oitenta pessoas que acessaram o sitequestionário após o uso do sistema na mensuração dos resultados demonstrado

ocorre por meio de aplicações que usam o FLARToolkit, onde o cliente apenas necessita instalar no navegador

), o plugin do Flash Player ou superior e depois permitir o acesso do

possibilitando a visualização da . [4].

O sistema apresenta um modelo de ambiente virtualizado na web para teste (www.vcempresa.com/icomprar_v2), onde o usuário ao acessar a página, fará o download do marcador e

e assim posicionar o a webcam para o objeto aparecer,

Para manipulação do sualizar os comandos que estão

Objeto (celular) atrelado ao marcador

Resultados da Avaliação do Sistema

ação da quantificação dos dados, se um questionário em forma de checklist,

, que é um conjunto de normas que permite avaliar a capacidade de um sistema interativo, oferecendo ao usuário a possibilidade de

de maneira eficaz e agradável, onde fora aplicado para avaliar e validar a usabilidade do sistema quanto à aplicabilidade tecnológica e mercadológica [5].

dividido em nove questões que icos, mercadológicos, de

usabilidade e de conteúdo específico proposto no estudo de caso deste trabalho que é mensurado pela escala de

foi criada em 1932, graus de aceitação

relacionados aos produtos e serviços, funciona como um indicador de diferentes graus de concordância ou discordância, como: grau de ocorrência, de aceitação, de opinião, de apreciação geral, de satisfação e grau de

alunos e professores da Faculdade Atual da Amazônia, porém nesta amostragem foram estratificados dentre um universo de

que acessaram o site e responderam ao na web, conforme a

demonstrados na Tabela 1.

Tabela 1. Dados do questionário da pesquisa


Notou-se que apesar de algumas limitações de usabilidade levantadas pelo estudo de caso, o sistema mostrou-se adequado e atendeu os objetivos propostosonde apenas uma pessoa da amostra aparece insatisfeita nos itens de três a cinco da Tabela 1a idéia da junção da tecnologia e de processos mercadológicos mesclou em atender as novas oportunidades de vendas nos negócios atuais e nas necessidades desta classe de clientes que usam a internecomo canal de comercializaçãode satisfação, aceitação e opiniãode Likert, onde a aceitação dos usuários comusabilidade do protótipo foi favorável, interação e manipulação dos objetos por meio do teclado, validando a proposta de unir a área tecnológica de Rque está em ascensão, junto à técnica de Merchandising para a exposição de produtos eletrônicos.

6. Referências

[1] Adobe. Adobe Systems Incorporated, http://www.adobe.com/br/flashplatform, Janeiro.

[2] Brandalise, Loreni Teresinha. “Modelo de medição de percepção e comportamento: uma revisão”. [S.l.: s.n.], 2005, http://www.lgti.ufsc.br/brandalise.pdf, Março.

[3] Brito, A. “Blender 3D guia do usuário”. N

[4] Cabana, Pablo. “Aprenda com Pablo Cabana, sócioproprietário da Cabana Criação (cabanacriacao.com), como criar uma animação 3D que “salta do papel” e que irá surpreender seus usuários”. Em pauta: Revista W, São Paulo, n. 108, p. 64-66, 2009.

[5] ISONORM-9241-11:1998. “Ergonomic requirements for office work with visual display terminals (VDTs) Guidance on usability”, http://www.iso.org/iso/iso_catalogue/catalogue_tc/catalogue_detail.htm?csnumber=16883, Maio.

Tabela 1. Dados do questionário da pesquisa

Considerações Finais

se que apesar de algumas limitações de levantadas pelo estudo de caso, o sistema

se adequado e atendeu os objetivos propostos, onde apenas uma pessoa da amostra aparece insatisfeita

a Tabela 1. Foi constatado que a idéia da junção da tecnologia e de processos mercadológicos mesclou em atender as novas oportunidades de vendas nos negócios atuais e nas necessidades desta classe de clientes que usam a internet como canal de comercialização, em detrimento ao grau

opinião mencionadas na escala aceitação dos usuários com relação à

usabilidade do protótipo foi favorável, permitindo a interação e manipulação dos objetos por meio do teclado, validando a proposta de unir a área tecnológica de RA

o à técnica de Merchandising para a exposição de produtos eletrônicos.

Adobe. Adobe Systems Incorporated, http://www.adobe.com/br/flashplatform, Janeiro.

Brandalise, Loreni Teresinha. “Modelo de medição de percepção e comportamento: uma revisão”. [S.l.: s.n.], 2005, http://www.lgti.ufsc.br/brandalise.pdf, Março.

Brito, A. “Blender 3D guia do usuário”. Novatec, 2008.

Cabana, Pablo. “Aprenda com Pablo Cabana, sócio-proprietário da Cabana Criação (cabanacriacao.com), como criar uma animação 3D que “salta do papel” e que irá

Em pauta: Revista W, São Paulo, n.

11:1998. “Ergonomic requirements for office work with visual display terminals (VDTs) - Part 11:

ttp://www.iso.org/iso/iso_catalogue/catalogue_tc/catalogue_detail.htm?csnumber=16883, Maio.


312

AnaisWRVA2010

Documents

Transcript of AnaisWRVA2010