Stage de Master 2 Recherche en Informatique - 75 50 25 0 stroke shortcuts keyboard shortcuts menu...

download Stage de Master 2 Recherche en Informatique -   75 50 25 0 stroke shortcuts keyboard shortcuts menu = . , ...

of 38

  • date post

    06-Feb-2018
  • Category

    Documents

  • view

    215
  • download

    1

Embed Size (px)

Transcript of Stage de Master 2 Recherche en Informatique - 75 50 25 0 stroke shortcuts keyboard shortcuts menu...

  • Stage de Master 2 Recherche en InformatiqueLaboratoire de Recherche en Informatique quipe in|situ|

    Des commandes gestuellesmulti-dimensionnelles

    David BonnetSous la direction deCaroline Appert

  • Remerciements

    Je remercie en premier lieu Caroline Appert, mon encadrante de stage.

    Je remercie Wendy Mackay et Michel Beaudouin-Lafon, mon futur directeur de thse, pour, tout simple-ment, exister. Sans eux, leur travail titanesque et leurs multiples accomplissements, la recherche en inter-action homme-machine en France naurait certainement pas t aussi panouie quaujourdhui et jaurais probablement eu beaucoup plus de mal trouver des personnes qui partagent cette passion.

    Milles mercis Clment Pillias, qui sest toujours rendu disponible pour couter mes ides les plus farfe-lues et maider les rendre moins farfelues, surtout avant que jaille les prsenter Caroline.

    Un grand merci Rodrigo Andrade de Almeida pour mavoir donn de multiples rfrences et ides, le tout avec un air brsilien trs chaleureux et relaxant.

    Je remercie bien videmment tous les membres din|situ| pour leur support, leur gentillesse et leur aide prcieuse.

    INRIA / CNRS quipe in|situ|" 3

  • Sommaire

    1. Introduction! 5

    1.1. Problme abord

    5

    2. tat de l'art ! 7

    2.1. Systmes dentre gestuelle

    7

    2.2. Apport cognitif

    8

    2.3. Algorithmes de reconnaissance

    9

    2.4. Guides et techniques dapprentissage

    10

    2.5. Conception de vocabulaires de gestes

    12

    2.6. Applications

    12

    2.7. Conclusion

    16

    3. SAM! 17

    3.1. Premire approche

    18

    3.2. Description

    19

    3.3. Applications

    23

    4. ThumbRock! 25

    4.1. Motivation

    25

    4.2. Description

    27

    4.3. Calibration

    31

    5. Conclusion! 35

    4" INRIA / CNRS quipe in|situ|

  • 1. Introduction

    Linteraction gestuelle recouvre une ralit trs large allant du langage engageant tout le corps utilis dans les dispositifs grandeur humaine (systmes de ralit virtuelle, tables interactives, etc.) aux suites de points en deux dimensions capturs par les dispositifs de taille plus rduite (tablettes tactiles, smartpho-nes, etc.). Linteraction gestuelle, qui repose sur lassociation entre une commande et une suite de points, a motiv de nombreux travaux de recherche sur plus d'un demi-sicle pour proposer des algorithmes per-mettant de reconnatre des formes, des guides visuels pour faciliter l'apprentissage de gestes, des recom-mandations sur la conception de vocabulaires de gestes et des exemples concrets d'applications.

    L'objectif de ce stage est dutiliser une approche, encore peu considre par la recherche, qui consiste tudier les caractristiques dynamiques des gestes afin daugmenter le pouvoir dexpression de linterac-tion gestuelle sans avoir recours des formes complexes et difficiles mmoriser.

    Pour cela, les smartphones et appareils similaires forment un contexte d'tude particulirement intressant en introduisant deux contraintes majeures d'interaction. D'une part, pour rpondre aux exigences de por-tabilit, la taille rduite de l'cran tactile restreint les gestes sur un espace exigu et deux dimensions. Ainsi, il limite l'expression des gestes principalement bass, et discrimins, sur la forme et balise le travail de recherche en le restreignant au domaine, dj trs vaste, des tracs raliss dans un plan. D'autre part, l'utilisateur peut indiquer des positions sur l'cran tactile uniquement lorsque le doigt est en contact avec sa surface (Buxton et al., 1985). Aucun autre mode ne permet de spcifier une suite de points, contraire-ment au traditionnel ordinateur de bureau o le curseur peut tre dplac avec la souris dans deux tats: en maintenant le bouton de la souris enfonc ou en le laissant relev.

    1.1. Problme abord

    Il sagit didentifier des proprits dynamiques remarquables que lutilisateur est capable de spcifier. Ces schmas dynamiques doivent tre systmatiquement assortis d'un algorithme capable de les reconnatre efficacement et d'indices graphiques (feedback et feed-forward) permettant leur apprentissage. Cependant, l'espace de conception dfini par les dispositifs mobiles sus-mentionns soulve plusieurs problmatiques prcises.

    Tout d'abord, l'utilisateur prfre manipuler l'appareil mobile avec une seule main (Karlson et al., 2008), l'autre main tant rserve pour interagir avec l'environnement, tenir un objet ou alors maintenir l'quili-bre. De cette manire, seul le pouce est disponible, ce qui rend certaines cibles graphiques difficiles atteindre et restreint davantage l'espace d'interaction pour effectuer des gestes.

    De plus, les doigts peuvent masquer des zones importantes de l'cran, ce qui peut handicaper l'apprentis-sage et l'exploration d'ensembles de commandes. La plupart des guides visuels pour soutenir lapprentis-sage et la dcouverte des gestes sont alors moins pertinents et la question denvisager d'autres techniques d'apprentissage simpose.

    Enfin, les commandes gestuelles peuvent entrer en conflit avec les interactions dj utilises sur les dispo-sitifs mobiles. Par exemple, tout dplacement du doigt sur une page web est actuellement interprt comme un dfilement de la page (scroll). Pouvoir passer dans un mode permettant dentrer des comman-des gestuelles et revenir au mode dinteraction usuel est donc indispensable.

    INRIA / CNRS quipe in|situ|" 5

  • Pour retrouver une richesse dinteraction proche de celle que nous connaissons sur les ordinateurs porta-bles ou de bureau, ces contraintes obligent explorer d'autres dimensions pour augmenter la capacit dencodage des gestes.

    6" INRIA / CNRS quipe in|situ|

  • 2. tat de l'art

    Encourag par l'essor des smartphones, et des tablettes tactiles, de plus en plus de systmes interactifs reposent sur linteraction gestuelle. La littrature concernant ce domaine tant particulirement vaste, nous nous restreindrons aux gestes effectus dans un plan et la prsentation des travaux de recherche majeurs qui leur sont consacrs.

    Sketchpad (Sutherland, 1963) fait figure de prcurseur dans le paysage de l'interaction homme-machine. Il s'agit du premier systme permettant l'utilisateur d'entrer un geste, laide dun stylo optique, pour crer et modifier des formes gomtriques par manipulation directe.

    Sketchpad (a) Diffrentes instances dun objet (ici un rivet) avec des dimensions et orientations varies.(b) Manipulation 3D et vues multiples sur un mme objet.

    Les travaux que nous allons prsenter s'inscrivent dans la ligne des problmatiques souleves par Sketchpad: le dveloppement de nouveaux priphriques d'entre gestuelle plus performants et fiables, la cration d'algorithmes permettant de reconnatre les gestes effectus, la mise en uvre de guides et d'in-dices permettant d'apprendre des vocabulaires de gestes et enfin la proposition de mthodes permettant de les rendre efficaces. Ces projets de recherche sont galement motivs par des applications qui vont au-de-l des outils de dessin, que nous dcrirons galement.

    2.1. Systmes dentre gestuelle

    Ce qui suit est un court historique permettant de situer dans lordre chronologique lapparition de nou-veaux appareils dentre gestuelle plane:

    Vers 1950, le Light Gun (Everett, ~1950) fut le premier priphrique optique capable de lire la position d'un point sur un cran afin d'effectuer des diagnostics.

    En 1952, le premier Trackball (Cranston et Longstaff, 1952) fut invent et se prsentait comme une grande souris inverse. Lutilisateur manipulait la boule, maintenue sur des coussins dair pour minimiser les frictions, lintrieur du socle inamovible.

    En 1957, le Lightpen (Gurley, 1957) adopte la forme d'un stylo et est le premier du genre pou-voir tre utilis sur un cran.

    (a) (b)

    INRIA / CNRS quipe in|situ|" 7

  • En 1963, arrive la Rand Tablet (Davis et Ellis, 1963), l'anctre des tablettes graphiques telles que nous les connaissons aujourd'hui.

    Ds 1964, la souris (English et Engelbart, 1967) fut invente.

    En 1965, un mcanisme fonctionnel d'cran tactile capacitif est dcrit (Johnson, 1965).

    En 1972, le premier cran tactile tre massivement distribu dans l'tat d'Illinois voit le jour (Ebeling et al., 1972). Des lumires infrarouges rparties sur le cadre intrieur de lcran permet-tant de dtecter la prsence dun doigt sur lcran.

    En 1982, le premier appareil multi-touch (Mehta, 1982) est cr. Il repose sur l'emploi d'une camra place derrire une plaque de verre rtroclaire filmant les ombres cres par la main de l'utilisateur. Le flux vido est alors numris et transmis un processeur pour analyse.

    En 1983, ce qui semble tre le premier appareil tactile sur le march, le HP 150, est apparu (HP, 1983).

    En 1984, le premier cran multi-touch avec une nappe de dtection transparente est invente (Boie, 1984).

    Enfin, en 2009, ThinSight, le premier cran LCD dot de capteurs optiques sur toute sa surface (Izadi et al., 2009), permettant d'mettre et de capter de la lumire est ralis. Il permet alors de lire et mme scanner tout objet sur ou proche de la surface de l'cran.

    2.2. Apport cognitif

    Appert et Zhai (2009) montrent au travers dune tude empirique le fort potentiel des raccourcis gestuels. Les participants ont su apprendre plus rapidement davantage de gestes arbitraires (jusqu 16) que de rac-courcis claviers en ayant su les restituer avec moins derreurs.

    Light Gun Trackball Lightpen

    Rand Tablet Souris Touch Screen

    8" INRIA / CNRS quipe in|situ|

  • Temps et mmorisation correcte de commandes en fonction du nombre de fois quelles ont t vues

    2.3. Algorithmes de reconnaissance

    Plusieurs algorithmes de reconnaissance de gestes ont t mis au point. Le plus connu est celui de Rubine (1991),