Expériences gestuelles - NUI Day 2015
-
Upload
nui-day -
Category
Technology
-
view
100 -
download
0
Transcript of Expériences gestuelles - NUI Day 2015
Prsentation PowerPoint
EXPRIENCES GESTUELLESNicolas CalviMVP Emerging Experiences, Consultant, Expert Technologies NUI ExpertimeXavier HalladeDeveloper EvangelistIntel Corporation
Ulysse SemdCEONaturSoftware
partie 1 Interface gestuelle
Quest-ce quune interface gestuelle ?Le priphrique reconnais ma tension musculaireIl dtecte le mouvement de mes jambesMon visage en dit longDu bout des doigts sans rien toucher
Se pilote avec son corpsSans contact avec un support.La dtection peut-tre local ou globale.A contrario le Tactile demande un contact, gestuelle limit au contact ou mouvement de deux doigts.
3
Les avantagesPas de contactDiversit des gestesMicro gestion de certaines parties du corpsEngagement fort dans lexprienceExprience immersive
Pas de contact.Si tout le corps on peut imaginer des gestuelles plus complexes.Lengagement est fort car les gestuelles accapare notre attention et demande dtre concentr pour corriger ses mouvements.Linterface peut tre entirement li a notre corps (par ex Kinect), ce qui augmente notre sentiment dinteraction avec linterface.On croit que linterface est dans le rel, dans le cas dHololens la ralit est en lien directe avec ses gestes.4
Les inconvnientsFatiguantEnvahissant quant il sagit du corps completTimide sabstenir pour navoir pas peur du ridiculeLes gestuelles complexe a dterminerParfois difficile de faire la bonne gestuelle pour lutilisateur
Ce type dinterface est limit par les possibilits de mouvement de chaque personne (quid des personnes a mobilit rduite)Si gestuelle trop complexe, souvent chec des utilisateurs a faire ce qui est demand.Mais dans le mme temps solutionne ces problme de mobilit (exemple Eye Tracking)Si dans un lieu publique, expose les utilisateurs au regard des autres par leurs gestes et leur posture.Gestuelle difficile a programmer, souvent besoin dune machine learning.Intimidant pour certaines personnes.
5
A chaque priphrique son usage
Kinect / RealSense / Astra / Persee
Myo
Leap Motion
Bien prendre le temps de savoir quel technologie pour quel usage.Bien connaitre aussi les limitations de chaque device.6
partie 2 Kinect 2
Camra Couleur 1920x1080 @ 30 IPS (16:9)1920x1080 @ 15 IPS (16:9) en lumire basseCamra de profondeur 512x424 @ 30 IPSSquelette Jusqu 6 squelette complet en mme temps25 points de jointure pour le corpsDtection de la main (en 3 points) pour 2 squelettesDtection de la rotation des jointuresMicrophones4 microphones directionnelsRduction du bruit ambiantVisageDtection dun visage27 points de jointureDtection des expressionsOn modle un visage sur 1367 verticesDveloppementMicrosoft .NET Unity 3DApp Windows 8.1OutilsSDK document et ressources en ligneKinect StudioKinect Fusion
9
partie 3 Orbbec Astra & Persee
Zone de capture 0.4m - 8mTrs bonne prcision Mesure de profondeur avec une prcision de 0,5 cm une distance de 2 mtresHaute resolution Dgrads plus homognes et la capacit de filtrer les pixels de profondeur de faible de qualit d'une faon prcise via un algorithme propritaire.Faible latence Cest la plus rapide du marchOrbbec Astra Pro
Orbbec Persee est la premire camra-ordinateur de son genre sur le march. Cest une camra Astra Pro avec un ordinateur intgr sous une distribution Linux spcifique :
Un quad-core 1.8 GHz ARM CPU600 MHz GPU avec le support OpenCLWi-Fi et Ethernet2 GB DDR3 RAM16 GB eMMC Flash intgrOrbbec Persee
Existe en format intgrable !Plus dinformation sur http://www.orbbec.com/
partie 4
Cameras RealSense
devkitsclick.intel.comProduitsgrands-publicsFront-facing (F200/SR300)Rear-facing (R200)
intel.com/RealSense/devices
Min requirements15
World FacingIntel RealSense SDK ModulesScene PerceptionEnhancedPhotographyAugmented RealityPerson & Face TrackingGesture RecognitionBackground RemovalObject Recognition and TrackingSpeech Recognition3D Object ScanningHand & Blob TrackingUser Facing
We focus on user facing cameras
16
Intel RealSense SDK Architecture*
Your Application HERE- C++Alphas:+ UWP modules:Streams, Blobs
+Windows.Devices.PerceptionIR-only for now
17
Typical Flow of Intel RealSense Application
Create SenseManager
Enable Module(s)
Configure Module(s)
Create Module(s) Output Data Object(s)
Procedural orEvent BasedImplementationRelease Resources
18
User Facing Technologies
CapabilitiesFeaturesFingers Tracking / Gesture RecognitionBlob trackingCursor Mode22-point Hand and Finger TrackingPoses and Dynamic Gestures
Face TrackingFace RecognitionMultiple Face Detection and tracking78-point Face LandmarksFacial ExpressionsFace RecognitionPulse EstimatorSpeech RecognitionVoice SynthesisCommand and ControlDictationText to SpeechSegmentation3D ScanningAugmented RealityBackground Segmentation3D Object / Face / Room Scanning2D/3D Object Tracking
19
RealSense 3D Hands Tracking
FullExtremitiesCursor (SR300 only)
CapabilitiesCamera F200Camera SR300Camera R200RGB stream1080p/30fps1080p/30fps1080p/30fpsDepth stream640x480/60fps640x480/60fps628x468/60fpsDepth range0.2-1.2m0.2-1.2m0.7-4.0m+Blob Tracking20-85cm20-150cm50-300cmHand Segmentation20-80cm(1m/s)20-110cm(1.5m/s)NAHand Tracking/Gestures20-60cm(0.75m/s)20-85cm(1m/s)NACursor ModeNA20-110cmNAPerson TrackingNA50-200cm100-250cmDevices integrationLaptops/AIOLaptops/AIO/peripheralPhablets/tabletsdetachables
3.Assume a minimum palm size of 5.5 cm, about a fix-year old kid palm size. Interaction speed limitation is noted in parentheses. The segmentation assumes 60fps 640x240. The tracking and gesture assume 45fps 640x480 or 640x320.
Coded light vs stereoscopy21
partie 5 Retour dexprience
NATURSOFTWARE
Redmine
OUTILS DE COLLABORATION EN ENTREPRISE
NATURSOFTWARE
NATURSOFTWARE
NATURSOFTWAREMOYENS DE COMMUNICATION NATURELS HUMAINS
VoixToucherMouvements & gestuellesExpressions faciales motionnelles
Pourquoi devrions nous communiquer diffremment avec nos outils ?
NATURSOFTWARE
NOTRE CONVICTION
Nous ne devrions pas nous adapter aux outils...Ce sont nos outils qui devraient sadapter nous et notre manire naturelle de communiquer
NATURSOFTWARE
NOTRE CONVICTION
NATURSOFTWARE
APERCU DES CAPTEURS QUE NOUS UTILISONS
NATURSOFTWARE
NATURCOLLABORATIONBas sur les NUI pour transformer la faon de travailler
NATURSOFTWAREINTERACTIONS BASES SUR LES MOYENS DE COMMUNICATION NATURELS
Reconnaissance vocaleReconnaissance Tactile
ReconnaissancesGestuellesReconnaissances faciale et motionnelle
NATURSOFTWAREOffrir via les Interfaces utilisateurs Naturelles : des outils collaboratifs centrs utilisateursune collaboration sur les moyens naturels et intuitifs de communicationune exprience de travail disruptive, digitale et fun , favorisant lmulation et lengagementLe dveloppement de lenthousiasme, de la crativit et du bien-tre des quipes
TRAVAILLEZ DE FAON NATURELLE ET INTUITIVE
NATURSOFTWARECONNECTIVITE AVEC LES ALM LES PLUS POPULAIRES
Redmine
NaturCollaboration
NATURSOFTWARE
NUI Framework -> 1 framework unique = 1 code unique = utilisation multi-capteurs
Nui Framework
dmoNATURCOLLABORATION
EXPRIENCES GESTUELLESNicolas Calvihttp://blog.nicolascalvi.com/@nicolascalviXavier Hallade
Ulysse Semd
37