La Mirada en la Interacción Hombre/Robot

Javier Mateo, Fidel Aznar, Mireia Sempere, Mar Pujol, Ramón Rizo

Departamento de Ciencia de la Computación e Inteligencia Arti�cial

Universidad de Alicante

jma27@alu.ua.es

{�del,mireia,mar,rizo}@dccia.ua.es

Resumen

Durante el transcurso de una comunicación ca-ra a cara, gran parte de la comunicación noverbal se produce por medio de la mirada. Lamirada ha sido el centro de varios estudios encampos como la psicología o la ingeniería robó-tica. A pesar de estos estudios y de la propues-ta de varios modelos físicos que imiten el com-portamiento de los ojos humanos, se ha avan-zado poco en el desarrollo de la mirada comosoporte de la comunicación no verbal. Este ar-tículo introduce un sistema robótico emocionalbasado en la variación de la posición de ojosy los párpados. El propósito principal del mo-delo es el de proveer de un interfaz parecido alojo humano, que sea capaz de comunicar susestados emocionales, dependiendo del estadodel robot o de la naturaleza del dialogo. Pa-ra conseguirlo, se ha desarrollado un interfazfísico, basado en un par de ojos y sus corres-pondientes párpados, y un modelo Bayesianopara controlar el sistema.

1. Introducción

La interacción es uno de los aspectos funda-mentales de la comunicación. Sin retroalimen-tación, una parte signi�cativa de la informa-ción transmitida se pierde. Actualmente, va-rios temas de investigación activos en el cam-po de la psicología se basan en estudios queespeci�can la in�uencia de la comunicación noverbal en un dialogo. Varios de estos estudios[1] [2] establecen que los gestos faciales o in-cluso los movimientos de los brazos aportan

un nuevo signi�cado a la comunicación.

Actualmente el sector robótico está en plenoauge, y todo hace suponer que en un futuroeste crecimiento seguirá aumentando [3]. Lasinversiones actuales en robótica, junto al de-sarrollo y mejora de tamaño y potencia de latecnología existente ha hecho posible que lascapacidades de los robots hayan aumentado yque estos sean capaces de llevar a cabo tareasmás complicadas de una manera más e�ciente.Ambas situaciones han posibilitado que los ro-bots se integren en las tareas cotidianas y quela gente conviva con ellos (hospitales, o�cinas,fabricas, hogares,etc.) [4]. La integración de losrobots en la sociedad remarca la necesidad dedesarrollar unos interfaces que hagan posibleque gente sin conocimientos sea capaz de in-teractuar con los robots de una forma intuiti-va, e�ciente y útil. Es importante considerarque estos interfaces han de ser capaces de en-frentarse a gente de diferentes edades, sexo oeducación [5].

En el diseño de un interfaz robótico es ne-cesario considerar que este sea fácil de usar yprovea de una interacción parecida a la queaportaría un humano. Por lo tanto, esta inter-faz debe ser natural, como podría ser basadaen la voz o gestos [5] [6]. Como puede verse,humanizar los interfaces humanos está siendoun tema de interés en el campo de la robó-tica tanto a nivel programación como a nivelhardware. Humanizar estos interfaces propor-ciona dos ventajas: la primera es que los inter-faces se hacen más fáciles de usar y la segundaes que estos aportan una mayor apariencia hu-mana [7]. No obstante, hay que tener en cuenta

que esto no lleva siempre consigo un aumentoen la productividad.

Una forma de incrementar la percepción delestado actual de un robot, es proporcionar uninterfaz que cambie dependiendo del estado in-terno del robot. La cara humana es el compo-nente más expresivo que podemos utilizar y elque más fácilmente reconocemos. En los hu-manos y otros animales, tendemos a llamar aun comportamiento emocional cuando obser-vamos ciertos cambios en la voz o en la cara delhablante, como podrían ser sonreír o gruñir [8].Proporcionar a los robots la capacidad de ex-presar dichos sentimientos puede ser muy útilen gran cantidad de aplicaciones. Obviamen-te, es mucho más expresivo si una cara humanacambia de gesto que si se imprime informaciónpor la consola de texto.

Una emoción es un estado afectivo, una re-acción subjetiva al entorno, que muestra el es-tado interno, motivaciones, deseos, necesida-des y objetivos del interlocutor. Las emocio-nes y las acciones ligadas a esta son una parteesencial de la interacción de un organismo consu entorno. Por lo tanto, un interfaz humanoes muy importante en el caso de que entenderesta emoción o sentimiento sea necesario paranosotros [9].

Centrándonos ya en la cara como interfazde comunicación, hay tres zonas que propor-cionan la mayor parte de la expresividad dela misma: cejas, ojos y boca. Una persona in-capaz de mover los músculos faciales pierdela posibilidad de dotar de sentimientos a suspalabras de una forma que no sea cambian-do el tono de su voz. Lo mismo puede decir-se de un robot. Con las estructuras normalesque existen actualmente (que poseen unos ojos�jos), no se puede comunicar ninguna expre-sión y por lo tanto se debe de extraer todala información del resto de la cara o inclusoúnicamente de la parte verbal aportada por elrobot. En cambio, si la cara del robot es capazde hacer movimientos simples o complejos, lainteracción y los sentimientos percibidos por elreceptor serán mucho mejores. Nuestro estudiose ha centrado en el desarrollo de un sistemade ojos robóticos completo, capaz de expresaremociones.

En este artículo se muestra un sistema ro-bótico basado en el movimiento de los ojosy párpados. Aunque se han desarrollado sis-temas parecidos echamos en falta algunas delas características, necesarias para la comuni-cación, que nuestro modelo posee. En este ar-ticulo comentaremos porqué es importante unmejor interfaz visual y como se puede desa-rrollar. Continuaremos planteando un modeloBayesiano capaz de aprender y controlar lasemociones a mostrar por nuestro sistema. Fi-nalmente terminaremos evaluando los resulta-dos obtenidos y las conclusiones y líneas futu-ras a seguir.

2. Diseño Físico

Como se ha comentado en la introducción,vamos a plantear el desarrollo de un sistemavisual con una aproximación lo más �el posiblea la de un ojo humano. En muchas especies,los ojos toman un lugar principal en la estruc-tura de la cabeza. Cuello, brazos y el restode miembros están controlados por músculos,y los ojos no son una excepción. Como puedeverse en la �gura 1, un ojo real posee una grancantidad de músculos (6) encargados de llevara cabo su movimiento. Con estos músculos, elojo es capaz de realizar movimientos vertica-les y horizontales. Los movimientos llevados acabo por los ojos pueden clasi�carse en trestipos: ducciones, divergencias y versiones [14].Los dos primeros se corresponden con movi-mientos independientes: un ojo se mueve aisla-do o ambos se mueven en direcciones opuestas.

Figura 1: Movimiento de un ojo real. Se requiereuna gran cantidad de músculos para efectuar cual-quier posicionamiento del ojo.

Por su parte, las versiones se corresponden conel movimiento igual de ambos ojos.

La mayoría de los ojos robóticos desarrolla-dos con anterioridad solo son capaces de reali-zar un conjunto limitado de movimientos [11],principalmente porqué se suele considerar quemuchos de los movimientos posibles no apor-tan nada o son sustituibles. Por ejemplo, al-gunos ignoran el movimiento vertical de losojos [12] y otros olvidan los párpados. Aunqueotros modelos si que aportan movimientos máscomplejos [13], tienen una mayor complejidady número de motores. Nuestra intención es lade desarrollar un modelo completo, proveyen-do un conjunto complejo de movimientos lomás �el al ojo real. Para llegar a nuestra me-ta, hemos especi�cado una serie de objetivosy restricciones:

• Los ojos deben ser capaces de realizar mo-vimientos verticales y horizontales.

• Ambos párpados, superior e inferior, de-berán estar presentes en el diseño �nal.

• Nuestra estructura no posibilitará el mo-vimiento independiente de ambos ojos.

• El número de elementos usados en al cons-trucción debe reducirse al mínimo paraminimizar el espacio total del dispositivo.

• El tamaño del dispositivo �nal no deberáser superior al de una cabeza humana.

Como puede extraerse de esos objetivos,nuestra propuesta pretende mejorar tanto elmovimiento como la funcionalidad con respec-to a las alternativas anteriores. Nuestra pro-puesta aportará movimiento en ambos ejes ypárpados completos. Además, a pesar de larestricción del movimiento independiente delos ojos, las situaciones que esto podría gene-rar, como bizquera u otras combinaciones, noson útiles en un sistema robótico de nuestrascaracterísticas.

2.1. Modelo del ojo

La primera parte que nos planteamos desa-rrollar fue el ojo y su movimiento bi-axial. Una

Figura 2: Movimiento ocular. Vista lateral y tra-sera.

de las principales di�cultades a la hora de imi-tar el ojo humano es su habilidad de moversetanto en horizontal como en vertical. Como seha comentado anteriormente, la mayoría de lasalternativas existentes solo mueven los ojos deforma horizontal, dejando el trabajo del mo-vimiento vertical para los motores situados encabeza o cuello. Aunque estas alternativas sehan implementado correctamente, nuestra de-cisión de hacer un sistema lo más �el posibleal ojo humano, necesitaba desarrollar ambosejes de movimiento.Para que cada ojo pueda moverse en am-

bos ejes, es necesario proveerlo de un meca-nismo doble de deslizamiento. Para conseguiresto, se probaron varias alternativas, eligiendo�nalmente un sistema basado en dos anillosconcéntricos de diferente radio, de forma quecada uno se mueva en un eje. La estructura�nal puede verse en la �gura 2.Una vez de�nida la estructura, el siguiente

paso fue desarrollar un sistema capaz de pro-porcionar un movimiento e�ciente. Siguiendonuestra premisa de disponer de un movimientodependiente para ambos ojos, en vez de aña-dir un servomotor para cada ojo y eje, se optópor una alternativa menos costosa: un motorpor eje. De esta forma, para realizar ambosmovimientos, se necesitaron solamente de dosmotores en total para ambos ojos.

2.2. Modelo del párpado

Cuando se de�nió totalmente la estructurade los ojos se procedió al diseño de un párpadofuncional. Unas singularidad de los párpadoses que cada uno tienen un recorrido distinto,

Figura 3: Movimiento del párpado. Vista lateral yfrontal.

siendo el del párpado superior más largo que eldel inferior. Esa es la principal razón de que lamayoría de los trabajos actuales que incluyenpárpados, solo tienen en cuenta la existenciadel superior, dejando el inferior ausente o sólocolocándolo de forma estética en la máscaraque cubre la estructura. En nuestra propuestase han incluido ambos párpados en el diseño.Siguiendo la misma �losofía y considerando lasmismas restricciones de simplicidad, se ha de-sarrollado una estructura en forma de tijerapara simular los párpados. Además, haciendoque cada uno de ellos tuviese una longitud deenganche diferente, se consiguió simular la sen-sación de movimiento de una manera real. Es-tablecidas todas estas características, el diseño�nal quedó como puede observarse en la �gura3.Haciendo uso de esta estructura y de un par

de servomotores (uno para cada juego de pár-pados), se ha conseguido un amplio rango deacción, aumentando de forma exponencial laexpresividad de los ojos por aislado. Anterior-mente, solo se podían expresar gestos de bús-queda o movimientos, con la inclusión de lospárpados, se pueden expresar otras emocionescomo puede ser dormir, guiñar o parpadear.

2.3. Movimiento

Establecidas ambas estructuras y sus necesi-dades de movimiento, el siguiente paso fue con-�gurar correctamente los motores. Para podermover los servomotores se requiere un pulso deamplitud continua. Dependiendo de la longi-tud del pulso, el servo rotara entre -90o y +90o

respecto a su centro. Esta rotación dependeráde la longitud del pulso, siendo 1500µs (micro-

segundos) el origen y 500µs y 2500µs, respecti-vamente, los �nales de trayecto a ambos lados.De esta manera un pulso de 1µs producirá ungiro de 0.09o , siendo esta la resolución delservomotor. Una de los principales problemasen el desarrollo de una estructura con un ta-maño máximo predeterminado, es que en mu-chas ocasiones es imposible encajar todos loscomponentes dentro del espacio disponible. Noobstante, debido al diseño utilizado, fue posi-ble encajar todos los componentes necesariosen un espacio muy reducido (12x12x6.5cm).

Por último, para poder comunicar entre lacapa hardware y la aplicación, fue necesariodesarrollar una capa de interfaz intermedia.Para hacer esta capa lo más intuitiva posible,elegimos un sistema de coordenadas polar. De-bido a que nuestro sistema solo necesita mo-verse en un plano se optó por la opción decoordenadas polares en dos dimensiones. Es-tableciendo el origen en la posición central delojo (θ, ρ) = (0, 0) y situando el máximo enθ = 360o y ρ = 1,0, fue fácil generar un algo-ritmo para traducir estos valores a los necesa-rios por el sistema de control de los motores.Además, la elección de las coordenadas pola-res, facilita la especi�cación del movimiento encírculos o en diagonal.

3. Aprendiendo y Generando Ex-

presiones

3.1. Programación Bayesiana

Para generar expresiones validas de ojos ypárpado, utilizó el formalismo de la programa-ción Bayesiana. La programación Bayesiana esun nuevo formalismo propuesto como una so-lución cuando nos enfrentamos con problemasrelacionados con la incertidumbre o la no com-pletitud. La principal ventaja de este formalis-mo es que nos permite especi�car los conoci-mientos previos del problema y también apren-der y adaptarnos al entorno. Esto es muy útilen tareas de interacción, donde el modelo seadapta a las preferencias del usuario de formaprogresiva.

Un programa Bayesiano se de�ne como unmecanismo para especi�car una familia de dis-

tribución de probabilidades y esta formado pordiferentes componentes (ver �gura 4).

El primero se trata de un componente de-clarativo donde el usuario de�ne una descrip-ción del problema. La �nalidad de esa des-cripción es especi�car un método para calcu-lar una distribución probabilística, de�nida apartir de la unión de un conjunto de varia-bles, dado un conjunto de datos experimen-tales (δ) y el conocimiento previo del pro-blema (π). La segunda componente se tratade un elemento procedural y consiste en uti-lizar las descripciones de�nidas previamentemediante una pregunta. De esta manera seobtiene una pregunta particionando las va-riables en tres grupos: Buscado, Conocido yDesconocido, obteniendo la probabilidad dela distribución P (Buscado|Conocido). Contes-tar esta pregunta consiste en decidir el va-lor para la variable Buscado de acuerdo conP (Buscado|Conocido) utilizando la siguienteregla de inferencia:

P (Buscado|Conocido ⊗ δ ⊗ π) =1Σ×

∑Desconocido

P

(Buscado ⊗ Descono.⊗Conocido|δ ⊗ π

)

3.2. Variables pertinentes

Como se ha comentado previamente se uti-lizarán coordenadas polares para especi�carla posición de los ojos del robot en un mo-mento determinado. Nosotros vamos a utili-zar 4 variables para ese �n: θ1 que de�ne elángulo inicial de los ojos del robot (en gra-dos), ρ1 que especi�ca la distancia inicial delos ojos a su centro (donde 1 es la máximadistancia alcanzable), θ2 que muestra el án-gulo destino que se desea alcanzar (en senti-do antihorario) y ρ2 que especi�ca la distanciadestino. Por ejemplo, el movimiento de bajarlos ojos se expresará de la siguiente manera:(θ1, ρ1, θ2, ρ2) = (0, 0, 0, 1).

Por otra parte, cada movimiento realizadotendrá una componente emocional asignada.Será esta componente la que interpretará elusuario al observar el movimiento. De esta ma-nera se de�ne una variable E que contendrátodas estas emociones/impresiones.

De esta manera se desea conocerla distribución conjunta de todas es-tas variables P (θ1, ρ1, θ2, ρ2, E). Asípues, aplicando el teorema de Bayesconocemos que P (θ1, ρ1, θ2, ρ2, E) =P (θ1) × P (ρ1|θ1) × P (θ2|ρ1, θ1) ×P (ρ2|θ2, ρ1, θ1)× P (E|ρ2, θ2, ρ1, θ1)

3.3. Términos

Inicialmente los ángulos iniciales son equi-probables con lo cual podemos suponer queP (θ1) es una distribución uniforme. Por otraparte el ángulo inicial es independiente dela distancia inicial de los ojos con lo queP (ρ1|θ1) = P (ρ1) siendo también uniforme.Podemos suponer también que el ángulo �-nal no depende directamente del ángulo ini-cial, ya que a partir de un determinado ángulopodemos desear movernos a cualquier otra po-sición del espacio, por tanto P (θ2|ρ1, θ1) serátambién una distribución uniforme. Razonadode la misma manera podemos establecer que:P (θ1, ρ1, θ2, ρ2, E) =

1Σ× P (E|ρ2, θ2, ρ1, θ1)

siendo 1Σuna constante de normalización.

3.4. Identi�cación

Obviamente ahora hemos de ser capaces deobtener la distribución P (E|ρ2, θ2, ρ1, θ1) queinicialmente es desconocida.Podemos suponer que dada una determi-

nada expresión caracterizada por el vector(V = (ρ2, θ2, ρ1, θ1)) se preferirá cada emo-ción/impresión E = e con una intensidad de-terminada. De esta manera podemos suponerque la distribución anterior está formada porun conjunto de gaussianas para cada uno delos vectores V , de esta manera P (E|V ) = G,donde |G| = |E|×|V |. Obviamente es necesariodiscretizar ambas variables, lo cual no suponeningún problema de expresión si utilizamos unnúmero su�ciente de estados. En nuestro casoestas variables se han discretizado con los si-guientes estados: |θ| = 16 y |ρ| = 4

4. Pruebas

Como fase inicial del aprendizaje generamosal azar movimientos V que se mostraron a los

Programa

Descrip.

Espec (π)

Variables pertinentesDescomposicion

Terminos

{ParametricosProgramas

Identificacion basada en Datos(δ)Pregunta

Figura 4: Estructura de un programa Bayesiano

usuarios para que los valoren en referencia algrupo de emociones E. Utilizando estos datosse puede aprender la distribución de maneraexperimental.

4.1. La distribución P (E|θ1, ρ1, θ2, ρ2)

Para aprender la distribuciónP (E|ρ2, θ2, ρ1, θ1) se encuestó a 100 per-sonas sobre 5 movimientos de ojos gene-rados al azar. De esta manera, como seha comentado anteriormente, se ha obte-nido, para cada valor de E, que tipo demovimientos lo representan. ConcretamenteE = {Busqueda, Fatiga, Duda, Pensando,P lacer, Recuerdo, Sospecha, Negacin, Otro}

La �gura 5 muestra la distribución P (E|V )dadas dos vectores de expresión: mover los ojosdel centro hacia arriba (P (E|[V = (1, 0, 0, 0)]))y rotar los ojos (P (E|[V = (1, 0, 1, 359)])).

Para estas grá�cas, podemos ver como lamayor parte de la gente piensa que mover losojos hacia arriba denota el proceso de pensar,lo cual es consistente con recientes estudiospsicológicos [10]. Esta es la tendencia general,si se reconoce un estado emocional entoncesnormalmente se obtiene una moda con una ba-ja desviación. Por otra parte, los movimientosque no se identi�quen claramente (como moverlos ojos de forma circular) tienen una eleva-da desviación para cada estado emocional asícomo muchos valores cercanos a la moda. Estetipo de movimientos tendrán una baja proba-bilidad de generarse debido principalmente asu elevada varianza.

4.2. Generar movimientos basados en lasemociones/expresiones deseadas

Una vez conocida la distribución P (E|V ), sepueden extraer valores dado un estadio emo-cional conocido. Esto nos permite obtener unaamplia variedad de movimientos para un úni-co estado emocional, donde estos movimientosserán elegidos de la distribución gaussiana ob-tenida en el paso previo. De eta forma, dospreguntas a la distribución haciendo uso delmismo estado emocional E = e no produciránel mismo movimiento, haciendo que el siste-ma actúe de una forma más real. En la �gura6 mostramos una secuencia de fotografías. Lospárpados se han quitado para una mejor visiónde los movimientos. En este caso, el movimien-to generado en la iteración se corresponde conel robot ejecutando la expresión Pensando.

5. Conclusiones y trabajo futuro

Aunque se han realizado estudios y desa-rrollos relacionados con ojos robóticos, no haocurrido lo mismo con el estudio de su in�uen-cia en el campo de la comunicación no verbalcomo parte del dialogo.Usualmente, los ojos robóticos desarrollados

en otros estudios [11],[12] solo son capaces dellevar a cabo un conjunto de movimientos li-mitado. Nosotros hemos construido unos ojosrobóticos más so�sticados, con movimiento ho-rizontal y vertical y con párpados completos(superior e inferior), haciendo uso del mismonúmero de motores que las otras alternativas.Además se ha presentado un programa baye-siano destinado a aprender, controlar y gene-rar movimientos basados en el estado emo-cional que queremos representar. Este mode-lo proporciona un interfaz más humano capaz

Figura 5: Esta �gura ilustra la distribución conjunta P (E|V ) dados dos vectores de expresión: mover losojos hacia arriba (P (E|[V = (1, 0, 0, 0)])) (arriba) y rotar los ojos (P (E|[V = (1, 0, 1, 359)])) (abajo).Únicamente se muestra la media de cada valor

Figura 6: Ejemplo de movimiento extraído de la distribución P ([E = Buscando]|V ) haciendo uso de losojos robóticos.

de comunicar una serie de estados emociona-les. El sistema aquí presentado ha sido proba-do con éxito viendo como las expresiones máscomunes han sido reconocidas y identi�cadasde manera correcta por los usuarios.Como líneas futuras nos proponemos inte-

grar el sistema aquí presentado con una cararobótica completa. Actualmente nuestro mo-delo solo posee ojos y párpados, pero planea-mos añadirle cejas y boca, entre otros elemen-tos, en un futuro cercano. Además, tambiénnos hemos planteado utilizar cámaras en losojos, de forma que la cara pueda interactuardirectamente con el entorno, permitiéndole ex-presar no solo su estado interno sino tambiénpercibir el estado del usuario o el lugar dondese encuentra.

Referencias

[1] April R. Trees and Valerie Manusov, �Ma-naging Face Concerns in Criticism: Inte-grating Nonverbal Behaviors as a Dimen-sion of Politeness in Female FriendshipDyads.,� Human Communication Resear-ch, v24 n4 p564-83 Jun 1998

[2] Sara E. Sondgrass and Roberto Rosent-hal, �Interpersonal Sensitivity and Ski-lls in Decoding Nonverbal Channels: TheValue of Face Value.,� Basic and AppliedSocial Psychology, Vol. 6, No. 3, Pages243-255, 1985

[3] U.N.E.C. for Europe, �World robotics2003 - statistics, market analysis, fore-cast, case studies and pro�tability of ro-bot investment,� United Nations, Tech.Rep., 2003.

[4] O. Khatib, K. Yokoi, O. Brock, K. Chang,and A. Casal, �Robots in human environ-ments: Basic autonomous capabilities,�The International Journal of Robotics Re-

search, vol. 18, pp. 684�696, 1999.

[5] C. Breazeal, Advances in Arti�cial Life: 6th European Conference, ECAL 2001.

Proceedings. Springer-Verlag GmbH,2001, ch. A�ective Interaction betweenHumans and Robots, p. 582.

[6] J. Suomela, �From teleoperation to thecognitive human-robot interface,� Ph.D.dissertation, Helsinki University of Tech-nology, 2004.

[7] J. H. Walker, L. Sproull, and R. Subra-mani, �Using a human face in an in-terface,� in Proceedings of the SIGCHIconference on Human factors in compu-

ting systems: celebrating interdependen-

ce ISBN:0-89791-650-6, U. ACM PressNew York, NY, Ed., 1994, pp. 85 � 91.

[8] D. Evans, Emotion: The Science of Sen-timent. Oxford University Press, 2001,ch. 5. Can robots have emotions?

[9] L. Davido�, Introducción a la Psicología.McGraw-Hill, 1980.

[10] M. MIT Institute of Technology, TheMIT encyclopedia of the cognitive scien-

ces, R. A. Wilson and F. C. Keil, Eds.The MIT Press, 1999.

[11] J. Saldien , B. Vanderborght , B. Verrelst, R. Van Ham , D. Lefeber K. Goris, �TheDevelopment of the Eye-System for theIntelligent Huggable Robot ANTY, VrijeUniversiteit Brussel, Department of Me-chanical Engineering, 2006

[12] http://www.androidworld.com/. Site de-voted to androids with a lot of roboticcomponents.

[13] X. Zhang, A Binocular Motor SystemMo-del for Robot Eye Control, Applied Mo-delling and Simulation, 2002

[14] D. Biamino, G. Cannata, M. Maggiali, A.Piazza, MAC-EYE: a tendon driven fu-lly embedded robot eye, 2005 5th IEEE-RAS International Conference on Huma-noid Robots, 62- 67