Interface Homme-Machine
Linda KHALIL – M2EIDProfesseur: Catherine Recannati 2010-2011
Introduction I-Concepts de multimodalité
1. Mode2. Modalité3. Taxonomie des modalités
II-Architecture1. Modèles et contrôleurs2. Modèle de la tâche
III-Exemples d’interfaces multimodales1. Exemple divers2. Tableau numérique3. Télétact
Concepts de multimodalité 1. Mode
2. Modalité
3. Taxonomie des modalités
Concepts de multimodalité 1. Mode
Communication entre deux entités○ Hommes○ Animaux○ Machines○ Êtres vivant
Mode de communication○ Organes utilisés par chaque entité○ Mode d’entrée/Mode de sortie
Modes de communication Modes d’entrée chez l’Homme
Organes Modes correspondants
Yeux Visuel
Oreille Auditif
Nez Olfactif
Langue Gustatif
Enveloppe corporelle, couches musculaires, récepteurs articulatoires et vestibulaires
Tactilo-proprio-kinesthésique (TPK)
Modes de sortie chez l’Homme
Système vocale: poumons, cordes vocales, langue, lèvres …
Système musculaire: mains bras, tête, visage…
Organes Modes correspondants
Système vocale Orale
Système musculaire Actionnel ou gestuel
Modes de communication
Modes de communication Modes non humain
VégétalAnimal liste non-exhaustiveMachine
Machine: liste en évolution
}
Modes de communication Communication Homme/Homme: relations
Sortie \ Entrée Visuel Auditif Olfactif Gustatif TPK
Oral Non Oui Non Non Non
Gestuel Oui Non Non Non Oui
Modes de communication Communication Homme-machine: relations
Caméra: gestes du corpsOculomètre: gestes de l’œilJoystick, souris,…: gestes de la main
Clavier, souris, trackball, joystick, stylo, écran tactile, gant numérique, caméra, oculomètre
Système de reconnaissance vocale
Oral Non Oui
Gestuel Oui Non
Modes de communication Communication machine-Homme: relations
Visuel Auditif Olfactif Gustatif TPK
Ecrans 2D et 3D Oui Non Non Non Non
Afficheur Braille Oui Non Non Non Oui
Systèmes de synthèse et/ou de restitution de sons (parole, bruit, musique...)
Non Oui Non Non Non
Systèmes avec retour tactile et/ou retour d'effort
Non Non Non Non Oui
Modalités
Positionnement côté humain
Structure des informations échangée
Perception par le sujet
Machine: perçue comme un être humain
Taxonomie des modalités Différentes formes de présentation
État de l’utilisateur
État de l’environnement
Taxonomie des modalités Selon Bernsen :
Modalités de sortie par rapport à la machineModalités pures
○ Profil de la modalité○ Le média d’expression
Modalités particulières○ Héritent des modalités pures○ Caractéristiques plus spécialisée
Concepts de multimodalité 3. Taxonomie des modalités
Critères de modalité Description
Langagière / Non langagière
préexistence (ou non) d'un lexique, d'une syntaxe et sur des représentations sémantiques et pragmatiques
Analogique / Non analogique
Analogique :véhicule des informations qui tirent leurs représentations de l'entité signifiée.
Arbitraire /Non arbitraire Non arbitraire: préexistence d'un système de représentations sémantiques connu des utilisateurs. Arbitraire: apprentissage des conventions de représentation utilisées dans un contexte donné.
Statique / Dynamique influence du temps sur la structure des informations.
Média d’expression graphique, sonore ou tactile
Concepts de multimodalité 3. Taxonomie des modalités
Média: ○ Pas au même niveau que les autre critères○ Graphique
Mode visuelMode tactile
Critères incompatibles○ Arbitraire vs analogique
Taxonomie des modalités Nouvelle approche :
Multidimensionnel
Mode \ Critère Temporel Spatial Langagier D’analogie De prosodie
Visuel Oui Oui Oui Oui Non
Auditif Non Oui Oui Oui Oui
Oral Non Non Oui Non Oui
Gestuel Oui Oui Oui Non Non
TPK Oui Non Oui Oui Non
Taxonomie des modalités Temporel
Visuel et TPK: animations○ Clignotements○ Rotations ○ Déplacements○ Changement de couleurs …
Gestuel○ Gestes statiques○ Gestes dynamiques: déplacements pris en
compte
Taxonomie des modalités Spatial
Visuel: type de projectionAuditif: son mono, stéréo ou 3DGestuel: 1D, 2D ou 3D
Critère langagierTout modeCritère à valeurs continues
Taxonomie des modalités Analogie
Visuel: ○ ressemblance représentation/représenté○ Distinction photo/peinture/graphique…
Auditif: distinction des sons
ProsodieAuditif et Oral
○ Distinction chant / parole
Architecture
1. Modèles
2. Contrôleurs
Architecture
Utilisateur Application
Contrôleur de
l’interaction
Contrôleur de dialogue
Contrôleur du flot
Application
Modèle de l’Interaction
Modèle du dialogue
Modèle de la tâche
Modèle de l’environnement
Modèle de l’utilisateur
Modèles
Modèle du dialogueStructure hiérarchiqueEnchaînement de situation
Modèle de la tâcheDescription sémantiqueRelations conceptuelles entre les objetsReprésentation de buts et sous-buts
Modèles
Modèle de l’utilisateur
Connaissances de niveau linguistiqueModélisation du savoir Modélisation du niveau d’expertiseInterprétation des gestes, mimiquesInterface en fonction des préférence,
caractéristiques, aptitude de l’utilisateurGestion dynamique de l’interaction
Modèles
Modèle de l’environnementInformation sur le contexteChoix des médias à utiliserRègles d’exploitation des connaissancesCapteurs de contexte: mises à jour
Modèle de l’interactionSpécificité de l’interaction multimodaleDescription des médiasHistorique d’interaction
Contrôleurs
Contrôleur de dialogueContenu sémantique des échanges
Contrôleur d’interactionFormes de présentation des messagesTransmission de la sémantique des entrées
au contrôleur de dialogueChoix de la présentation en fonction des
autres modèles
Interfaces multimodales
1. Exemple divers
2. Tableau numérique
3. Télétact
Interfaces multimodales
WiimoteModalité: le geste
○ Mouvements de la main○ Pression sur bouttons
Sortie○ Vibrations ○ Affichage
Interfaces multimodales
Bornes d’achats tactilesEntrée: Gestes de la main
Billeterie
Passage de commande dans les Fast Food○ Sortie: information envoyé à la cuisine
Interfaces multimodales
Interfaces multimodales
Iphone, Ipad …
Système de reconnaissance vocal
Voice Painter
Tableau numérique
Tom Pouce
Tom Pouce
Tom Pouce
Tom Pouce
Télétact
Profilomètre laser Mesure sur 15 mères de rayon Oreillette
32 notes musicales: intervalles de distances
2 types de vibrations sur 2 doigts 4 intervalles de distancesDétection jusqu’à 12 mètres.
Conclusion
Nombreuses interfaces
Différentes structures
Différents objectif
Architecture d’interaction commune
Top Related