IFSPCampus Salto
Um pouco sobre mim!
Pesquisador Corollarium Technologies
CNPq Desenv/Porte Sistemas para Multi Projeo p/ RV Orientador: Dr. Marcelo de Paiva Guimares (IFSP)
Coordenador Geral do FliSol Salto SP (2 anos)
Mercado Livre na rea de preveno a Fraude.
Colaborador do projeto Debian GNU/Linux
Membro do GUD SP planeta.debian-sp.org
Colaborador do projeto DebianZine.org (alpha)
Fiz parte do projeto Hackerteen da 4Linux
Roteiro
Evoluo das interfaces de usurios
Evoluo dos dispositivos de games
O que Kinect?- Como funciona o Kinect?- Possibilidades
Desenvolvimento livre- Middlewares e frameworks- Samples e cdigos -Comparaes de frameworks
Evoluo das interfaces de usurio
interface de linha de comandointerface grfica de usurio
Interface natural de usurioFonte: http://en.wikipedia.org/wiki/Natural_user_interface
Interface de Linha de Comando
Imagem: Google Imagens http://www.google.com.br/imghp - Keyboard
Imagem: Google Imagens http://www.google.com.br/imghp - Mouse
Interface Grfica de Usuriohttp://upload.wikimedia.org/wikipedia/commons/thumb/2/2a/JauntyGUI.png/800px-JauntyGUI.png - JauntyGUI
Imagem: Google Imagens http://www.google.com.br/imghp - Minority Report
Interface Natural de Usurio
Design fcil de utilizao
Design simples e natural
Controle de interface por deteco de gestos
Controle de interface por deteco de fala
Design de aplicaes NUI se resume
TouchScreens
Sensores de movimento (acelerometros)
Cmeras de profundidade (3D)
Sensores de udio
Dispositivos
Evoluo dos dispositivos dos games
Vdeo da evoluo dos dispositivos de controle para
consoles
http://vimeo.com/18743950 - History of Gaming - by Florian Smolka
O Controle do Wii abriu possibilidades
Ele chegou !! vamos se movimentar!
http://www.ifixit.com/Teardown/Microsoft-Kinect-Teardown/4066/1
O que ele ?
Kinect um dispositivo
Hardware com vrios componentes
Cmera RGB 640x480 - (Polarizao em software de 1200x600) - VNA38209015
IR cmera 320x240 - OG12 / 0956 / D306 / JG05A
IR Projetor - Diodo laser de 830 nm - OG12 / 0956 / D306 / JG05A
LED
http://www.ifixit.com/Teardown/Microsoft-Kinect-Teardown/4066/1
http://www.ifixit.com/Teardown/Microsoft-Kinect-Teardown/4066/1
Motor vertical
http://www.ifixit.com/Teardown/Microsoft-Kinect-Teardown/4066/1
Microfones
http://www.ifixit.com/Teardown/Microsoft-Kinect-Teardown/4066/1
Como funciona a captura de udio
Sinal de entrada de udio O Kinect capaz de captar udio por dois microfones
Sinal de entrada de udio O Kinect est equipado com quatro microfones que so colocados em uma fileira. A matriz de microfones capaz de determinar a direo da fonte em relao ao Kinect.
Processamento de sinal de udio Primeiro, o sinal de udio convertido a partir de um sinal analgico para um sinal digital. Em seguida, o sinal processado
O processador
The PrimeSensor Reference Design - http://www.primesense.com/?p=514
O verdadeiro Kinect
The PrimeSensor Technology
The PrimeSensor Technology - http://www.primesense.com/?p=487
O Kinect da ASUS para o PC
http://event.asus.com/wavi/http://us.estore.asus.com/index.php?l=product_detail&p=3397
Preos
Brasil R$599 EUA = $149.99
Consulta data 23/06/2011
EUA = $189.00
EUA $200.00
Kinect e possibilidades
Aproveitar suas caractersticas os benefcios so amplos, pode se
aplicar em reas como ;
Robtica
Realidade virtual
Vigilncia
Educao (fisioterapia etc..)
Captura de movimento de pessoas ou objetos
Rastreamento
Captura de vdeo ou imagem 3D.
Pode ser usado para desenvolvimento de aplicaes NUI
Possibilidades
http://www.youtube.com/watch?v=gu5Ywwb4RaU - 3D models built with Kinect style depth camera
http://www.youtube.com/watch?v=YH58u_057Ac - 3D Reconstruction with Kinect
http://www.youtube.com/user/nicolasburrus#p/u/0/Cldf7UdFq1k - RGBDemo 0.5.0: Improved scene reconstruction
http://www.youtube.com/watch?v=ho8KVOe_y08 - 12 BEST Kinect HACKS
http://www.youtube.com/watch?v=2Gp3E7IwLRQ - Kinect Robot Hack
O Kinect tem melhor desempenho no XBOX 360*
O Kinect s funciona no XBOX 360*
O Kinect queima se ligar o USB no PC*
Mito: O Kinect tem melhor desempenho no XBOX 360Explicao:O Kinect no possui melhor desempenho, ele dispositivo de hardware comum, voc pode desenvolver ele da maneira que desejar e usar toda sua eficincia a diferena que a Microsoft possui desenvolvedores que se focam a desenvolver uma SDK para empresas de desenvolvimento de jogos, assim elas focam em deixar um framework para o XBOX perfeito com todas suas funcionalidades.Mito: O Kinect s funciona no XBOX 360Explicao:Como dito no mito anterior ele um dispositivo de hardware comum, se voc possui o driver e mdulos, ele funciona aonde voc quiser.Mito: O Kinect queima se voc ligar o USB em qualquer outra plataforma que no seja o XboxExplicao:Outro mito que pelo que foi dito anteriormente se resume a mito
OpenKinect uma comunidade de pessoas interessadas em utilizar o Microsoft Kinect em computadores e outros dispositivos criando bibliotecas livres para que a Kinect seja utilizada em diferentes plataformas
O projeto surgiu na corrida para ganhar acesso do Microsoft Kinect no PC Hctor Martin liberou o cdigo da libfreenect no Github Primeiro commit em 10 Novembro de 2010 17 de dezembro j foi implementado libfreenect plataforma win32
Cdigo fonte disponvel em: https://github.com/OpenKinect/libfreenect
Google Groups: OpenKinect#openkinect - Freenode
Imagens de profundidade e RGB
Motor (posio de orientao vertical)
Acelermetro
LED
udio (mais no implementado)
Wrappers (C#, C++ , Python, Java , AS3)
Suporte nas plataformas Windows, GNU/Linux e Mac OS X
libfreenect
PrimeSense reconhece o interesse e as realizaes da comunidade de
cdigo aberto
Surgi um ms depois da libfreenect ser lanada em 09 de dezembro
2010
Lana seus drivers do PrimeSensor em (LGPLv3+)
Surgi fork do PrimeSensor para o Kinect (SensorKinect by
Avin2)
Lana sua OpenNI framework (LGPLv3+)
Promove iniciativas, sem fins lucrativos de utilizao da NUI
Google Groups: OpenNI
Rastreamento de Esqueleto
Z do Kinect
Y
Pontos do esqueleto (x,y,z)
http://www.openclipart.org/people/harmonic/Vitruvian_Man.svg
NiUserTracker
(C++)
Demonstrao e cdigo!
TuxSinbad (OpenNI+Ogre)
https://github.com/ttair/TuxSinbad
Reconhecimento gestos da mo
Demonstrao e cdigo!
FrameworksOpenKinectOpenNIMicrosoft Kinect SDK Beta
LicenaLGPLv3+LGPLv3+Proprietria e no uso comercial
Driver (mdulo)libfreenectSensorKinect Avin2 / CL NUI*
Windows,GNU/Linux e Mac OSX SimSimNo
Suporte para cmeras referncia da PrimeSense(Asus WAVI Xtion)NoSimNo
Uso de vrios KinectsSimSimSim
Cmera RGBSimSimSim
Cmera InfravermelhoSimSimSim
Projetor InfravermelhoSimsimSim
LEDSimSimNo
Motor verticalSimNoSim
udioImplementado (no default)NoSim
Deteco de gestosExemplo de uso OpenCV que possui mdulos de processamento de imagem.NITE Middleware (Baseado em OpenCV)*
Deteco do EsqueletoNoSimSim
Deteco da Mo (Click, movimento e circulo)NoSimNo
Analisador de CenasNoSimNo
Referncias
http://openkinect.org OpenKinect.org
https://github.com/OpenKinect/libfreenect- libfreenect
http://openkinect.org - OpenKinect. is an open community of people interested in making use of the amazing Xbox Kinect hardware with our PCs and other devices. We are working on free, open source libraries that will enable the Kinect to be used with Windows, Linux, and Mac
http://www.primesense.com - PrimeSense. PrimeSense has delivered an important component to the technology, helping us deliver revolutionary controller-free entertainment experiences
http://opencv.willowgarage.com/wiki/ - OpenCV
http://www.primesense.com/?p=514- PrimeSense Reference Design
http://event.asus.com/wavi/ - WAVI Xtion. Intuitive living room experience
http://www.ifixit.com/Teardown/Microsoft-Kinect-Teardown/4066/ - Microsoft Kinect Teardown
http://www.xbox.com/pt-br/kinect -Microsoft Kinect for Xbox360.
http://www.hitl.washington.edu/artoolkit/ - ARToolKit
http://en.wikipedia.org/wiki/Natural_User_Interface - Natural user interface
http://bit.ly/i045ty - RGBDemo 0.5.0: Improved scene reconstruction
Perguntas?
Twitter: @gustavojordanIdenti.ca: !gustavojordanPlaneta Debian-SP : planeta.debian-sp.orgsoftwarelivre.org/jordanSite/Blog: http://andarilhovirtual.com.brBlog: http://blog.andarilhovirtual.com.br
Top Related