MIT Media Lab: Affective Computing Group · 2004-08-15 · ˘ ’ 2 " ˜ ˛ *77; 6 ˜ 2 ˜ . ,*)

22
This computer responds to user frustration: Theory, design, and results J. Klein a, * , Y. Moon b , R.W. Picard c a iRobot Corporation, Twin City Of®ce Center, 22 McGrath Highway, Suite 6, Somerville, MA 02143, USA b Harvard Business School, Morgan Hall 197, Boston, MA 02163, USA c MIT Media Laboratory, Room E15-383, 20 Ames Street, Cambridge, MA 02139-4307, USA Abstract Use of technology often has unpleasant side effects, which may include strong, negative emotional states that arise during interaction with computers. Frustration, confusion, anger, anxiety and similar emotional states can affect not only the interaction itself, but also productivity, learning, social relationships, and overall well-being. This paper suggests a new solution to this problem: designing human±computer interaction systems to actively support users in their ability to manage and recover from negative emotional states. An interactive affect±support agent was designed and built to test the proposed solution in a situation where users were feeling frustration. The agent, which used only text and buttons in a graphical user interface for its interaction, demonstrated components of active listening, empathy, and sympathy in an effort to support users in their ability to recover from frustration. The agent's effectiveness was evaluated against two control conditions, which were also text-based interactions: 1) users' emotions were ignored, and 2) users were able to report problems and `vent' their feelings and concerns to the computer. Behavioral results showed that users chose to continue to interact with the system that had caused their frustration signi®cantly longer after interacting with the affect±support agent, in comparison with the two controls. These results support the prediction that the computer can undo some of the negative feelings it causes by helping a user manage his or her emotional state. q 2002 Elsevier Science Ltd All rights reserved. Keywords: User emotion; Affective computing; Affect; Social interface; Frustration; Human-centred design; Empathetic interface 1. Introduction Despite the best efforts of designers, computer interactions often leave users feeling frustrated. With elevated levels of adrenaline and other neurochemicals coursing through the body, a person feeling frustration not only has diminished abilities with respect to Interacting with Computers 14 2002) 119±140 0953-5438/01/$ - see front matter q 2002 Elsevier Science Ltd All rights reserved. PII: S0953-543801)00053-4 www.elsevier.com/locate/intcom * Corresponding author. E-mail address: [email protected] J. Klein).

Transcript of MIT Media Lab: Affective Computing Group · 2004-08-15 · ˘ ’ 2 " ˜ ˛ *77; 6 ˜ 2 ˜ . ,*)

Page 1: MIT Media Lab: Affective Computing Group · 2004-08-15 · ˘ ’ 2 " ˜ ˛ *77; 6 ˜ 2 ˜ . ,*)

���� ������ ����� �� � ��� ������� �������� ����� � � � �����

�� ���� ���� �� ��� �� ���� �������

������� ���������� � � ���� ����� ������ �� ������ ���� �� ����� �� ����������� � !�"#$� %� �����& '�(��(( ������� ���� ��� ")*� '�(��� � !�"�$� %�

��+� ��&� ,�������� ���� -"./$0$� �! ��( ������� �����&��� � !�"$)/#$!*� %�

��������

�� �� ��� ����� ��� ��� ������ ���� ������� !���� ��� � ���� ��� �� ����"� ����� ��

���� �� ����� ��� � � ������ !�� �������� #������ � �� ���� � � ���� � $��� � � �������

����� �� ���� �� ����� � � �� �� � ������ ������ � ���� ������"��� ���� � �� ������

������ ������ � � �"����� !���%��� �� ���� ����� ������ � �! ����� � ��� �������� ����� � �

��� &������ � ������ ������ � ���"��� ����� ���� � ���� ������ � �� ��� � � ����"��

���� ����"� ����� �� ����� ' � �����"� �����&����� ��� !�� ����� �� � � ��� � �� ��

�������� ����� � � ����� !���� ���� !��� ����� � ������� � ��� ��� � !���� ��� � �� �$

� � �� � � � ��������� ��� � ������ ��� �� � ������ � ���� ����� ����� � � �� ���"�

���� � �� ������� � � ������� � � ����� � ����� ���� � ���� ������ � ����"�� ����

������� � ��� ��� (� ������"� ��� !�� �"����� ���� � !� �� ��� �� ���� �� !���� !���

���� �$%����� � ������ �� )*+ ����( ����� � !��� �� ����� � � ),+ ���� !��� ���� � �����

�������� � � -"� ( ���� ����� �� � � �� ��� � � �� ������� .���"����� ����� ���!�� ��

���� ����� � �� � � � � ���� !�� �� ����� �� ��� ����� ���� ������� ��� �/�� ��

�� ��� ���� � ����� � !�� �� �����&����� ��� � � ��������� !�� �� !� �� ����� �����

����� ����� �� �������� �� �� ������ �� �� ���� �� �� ����"� ����� �� � ����� ��

����� � � ��� �� ��� ��� �� ��� ����� �� ���� � ,00, 1���"��� 2��� �� 3� '�� ����� �����"���

1�� ��&(� ��� ����� 4 '�����"� ����� �4 '����4 2����� � ������4 #������ 4 5�� %�� ��� ����� 4

1������� � ������

� ���� ������

6����� �� ��� ������ �� ����� ���� ������ � ������ � ��� ���"� ���� ����� �

�������� ��� ���"��� ��"��� �� ���� ��� � � � ���� ������������ ����� � �����

�� ����� � ����� ����� � ������� � � �� ��� ���� ����� �������� !�� ������ �

23 1��� �� �3 4 +������� ��� ��������( "# 5�!!�6 "")7"#! **7

8 ����� � !�� 9������ *: ),00,+ **7&*:0

07;<%;:<=>0*>? % ��� ��� ���� � ,00, 1���"��� 2��� �� 3� '�� ����� �����"���

�88� 207;<%;:<=)0*+000;<%:

!!!�����"�������>�����>� ���

� 9������� �� � �����

-/��� &&��((8 @� ��� A��������� )�� ���� +�

Page 2: MIT Media Lab: Affective Computing Group · 2004-08-15 · ˘ ’ 2 " ˜ ˛ *77; 6 ˜ 2 ˜ . ,*)

�� �� )������� � � B���� ���� *77:+� ������ ��� �� )��� ��� � *7C<+� ���� %

� � )3�!�� � � ��������� *7=7+� �� D� � �����"��� )8�� � ���� *7=C+� � � ����� ������

� ������ )E����� � *77;+� � � �� ��� ��� ��� � ���� ������� � �� ��������

��� �� !���� ' ������ � � ������ !�� � ������ ����� �� ���� ���"� � ���

����� � ����"��� �������� �!��� �� ����� � � �� ��D���� 8� ��� � ��� �����������

� ����� � �������� � �������� �� ��� ��� ���� ����� )���"�� � � B���� *77F+� ���

����"� �$����� ��� ���� ���� �������� � �� ��� ��������� � � ���� ���� � ��

��� �� �� ���� ������ ��� �$����� ��� ���� � @�� !��� � ����� ��� �� � � �� ����

��� ������ !��D� � ������ ������

��� �� � � ����� � ������ �� !�� �� ��� ��� ������� !���� �� � �G

#��H� �� �� �� �� ����� � � ���� ����� )*+ ��� � � ������ � � � /$ �� �������

�� �� ���� � �� ������� � � �>�� ),+ �������"��� ��� � � ���"� �� ������� ����

����� � � � �� /�� ������ 8 ����� �� ���� ��� ��� �� ������ ��� �� ���� �������� ��

�� 5�� &9����� 8 ������ )598+ ���� �� ��� ����� )���� B���� � *7==+�

5�!�"��� !���� ��� ���������� ��� ������ � ����� ��� �������� � �������� � ��

������� �� ��� ������� � � � ���� ��"� ��� ��! ����� � ������ ��� ���� ��"�� �

���� ����������� ���� �����/������ "��� ���� �������� ��� �$������ �� ���������� �� �

������ �� �� ��� � &&��(( �� ����� �� ��� �� �� ���� ���� �� �� ���� � ���� ��

�� ��� �� �� 598 ���� �� �� ���� �� ������ � � �� ������� �������� � ��

��� �$����� ���

������ � ��� 598 �������� � � ����� �� �� ������ �� �� ������ �� � � ������

����� ����� ���� /��� ����� ����� ����������� � � ������� ��� ��� �������� �

"����� ���"���� ����� � ���� �� !��� � !���� ������ ��� ����� �� � � �����%

�� ��� ������ ����� �� ��"� � ��� �� ��������� � -/ � !�� �� ������( ��

����� ����� �� ����� �� � ���� ���� ��H����� �� #��� 5�� &9�����

8 ������ � �� ������ � ��� )*77:+� �� *;

���� ��� � ���� �� ����������� ��"� ��� �$����� � ���� -���������( � ��� &

������ � ������ �� �$����� � ��! ������ ������ ��� �� ����� �� � ����� ��

��� �� ��� � ����� �� !��� �� �� D � � �� )������� *77C+� '��� ���� ��� � ��� ���

���� �� � ������� ����������� 5�� � ��� ������"� ��� ��� ���"��� � ���� �� �

������$ ����� �� ����� �� ���"��� ����� � � � "��� �� �� �� ���� � � )���� ������

*7=7+�

8 �� ���� ��������� �� ���������� �� ������� �� �� ����� �� � ����� � ��� %

� ����� � ����"� ��� ����� � ��� �� ������� �� � "�������� �� � �� ������

�$������ ��� � ��� �������� ���� ����� �� ������� �� �����"� ����� �� �� ���%

���� �� ���"��� � -���"� �����( ��� �� ���(� �! ������ � �� ��� � � ������ ���

�� ��� ����� �� )'��"� ������� �� !��� �� �����"� � ��� ��� ��/ �� ����!�+ 8 ����� ��

�������� ������ �� � ������ �� ������ � ���� ������� ��"�� � �� ��� �� ��

����� �� ��� �� �� ��� ������� ���� �� � ������ ����� � ��(�������I����� ��

����"���I�������� �!��� �� ������ ' �������� �� � ���� �� ���D� � � �� �/�

��� ��� �! �� �� �� 598 ��� �� �� � � ������ � � ���� ),00*+� � ����� �� ����� �

��� �����

23 1��� �� �3 4 +������� ��� ��������( "# 5�!!�6 "")7"#!*,0

Page 3: MIT Media Lab: Affective Computing Group · 2004-08-15 · ˘ ’ 2 " ˜ ˛ *77; 6 ˜ 2 ˜ . ,*)

� ���������

3������ � ����� ����� )���� J�@� �� *77=4 #���@�� *7=F4 8K���� *77<+ ��� �/�� �

���� �� �������� � ��� � ��� ����� �� �� ��������� � � �� �� ���� �$�� �� �����%

���� � � �������� � ���� � ���� � � �����4 �� ���"���� ��� � ������ � ���� �

��� ���� � � ����� )���D� �� *7F,+4 � � �� � �� �� ���� � � D��� ������ ���� ����

)J�@� �� *77=4 3�6�$� *77:4 ���� � *77:+�

3�!�� )*7F;+� ���� ���� K!���� ��/ �� ������� �� � ����� �� ��� ����� �

���� -�� ������ �� �� � ������� �� ���"� L�M �� ��������� �� � ����( 9��& � ���

���� �� �� � ������� � ��� ����� � ��� �� � ���� )'����� *77,+� #������ �� ���

��������� !�� � ��� )N���� � � 6 �� � *77:+� � � ��� ��� ������� �� ��� �� �����

������ �$����� �� � ������� ��� / � ������"�� ����� � ����� �$��������� ���� �

� �� ��"� � ������� !�� �� (����� �� ���� ������� � � ��� ���� ��"� � ���� !�� ��

����� �� ������ ������ N�� � �� ���� �� �� �� ����������� �� �"� ���� ��� �� ��

�������

#�� ����� ��� � ������� �D���� � � �������� ��� ������ �������� �� ��

������ ������� ��"��� � "���� � ������� )E���� � � � O�K� *77;+� 1���� �����%

�� �� � � �� � ����� � � � �D��� ��� ������ � � � �� ��� � � �(� ����� �� ����

'��� ��������� �� ����� ����%�� ����� � � ��� ��� ��� �/�� �� � ������� ����� �

�� ������� ����������� � �� �� ���� ��� ����� �� �D����� �� ��"������ �� !����

��"� ��� ����� � �������� ���� �� 8P !�� � ����� (� ������ � ���� )E����� � *77;�

��� � Q����� � *7CC4 #����� � � Q����� � *7=C+�

5�� � ��� ���� � �� ��� ���� �! ����� �� ���� !�� "���� � ������� �� ������

���� �� � � �� ����� � ���� �������� )���� � *77:+� � � ���� ������ �� ����� %

�� ����� �D���� ��� � ���� �� ��� #����� � �� ��� � �(� ����� � �� ��"�

����� � ������ � ���� � ��������� ������"��� � � ������ � ��� �� �� � �

���� � � @�� � ��������"� ��� ������ ������ � ������� ����� �� ����� � � ��"���

��������� )E���� � � � O�K� *77;+� � � �"� ������� )9����� � ���� *77;+ � �

���� ����� �������� )��� 9����� ** �� E����� ��� � �"��"��!+�

������ �� � "����� �� ������ � ���� �� ��� ���� ����� �� ��� �� � ����� � !��

����� � �>�� ���� ������� � ���� � � ����� �� !��D� ������ � �� ����� �� �� �

�����"� �� D� �� � � �� ��� � ����� � � ���� ���� ��� ��� �� �������� �������

� � ���� ����� N � ������� D �! �� ������ �� ��"� � ������ �� ����� �� �

�$����� ���� ����� �� � � ������ �� ��� �����"�� ������� �� �� ������ ��

���� ����� �� �� � � �� � ����� ��� � ������ ������ �������D "�� �������

N�� �� � ��� ���� �"�� �� �� �/� �� �� ���� �� "� � � )�� ����(�(� � �� �������%

��� �������+ !�� � ��� )E����� � *77;� ��� F:&F;+� 2��� ���� �� "� � � ��� �

����� � ������ !���� ����� ����� �� � �� ����� � � ���� �� ����� ��� �

�$��������

�3"3 ������ (���� �������( �� ������ ��������

�� ��/ � !� "������� �� ����� ��� ����� ������� � �����"� ������ � � ���"�

� ��� �����"� ������ ��� ���� ��� �� ������ � �� ����� ������ !��� ����������

�������� � �� ������� � �� ����� � ������"��� ����� � ���� ������ ���"����� ����

23 1��� �� �3 4 +������� ��� ��������( "# 5�!!�6 "")7"#! *,*

Page 4: MIT Media Lab: Affective Computing Group · 2004-08-15 · ˘ ’ 2 " ˜ ˛ *77; 6 ˜ 2 ˜ . ,*)

� � ���� ���� ���� 8 ������ � !�� ������ �� ���� � � ����� �������� #�� �$������

����� � � ��� ���� !�� ����� ��� ���� ����� ����"� ����� ��� !��� � � ��������

�� ��D �!������� �� ��� ����� ��4 ��� !��� �� � �$����� �� �����"� ������ 8

�� ���� ����� ����� ����� !�� ������ ������ �� ����!��� ������� ���� ����� �

)� � �� ����� ��������+ �������� �� � ��� � �� �� ��� � ���� ���D� � � � ���� ��

���� � ���� � ��� !�� �� ���� �� � � ��! �� ��D�� �� ����� ����� �� � �$����� ��

���"� ������

����� ��(���� )���� ������ *7=74 B�� � � 5��"���� � *77;+ �� ������� �� ���

D �! �$����� �� ���"��� � ���"� ������ 8 ��� �� ��������� �� ���"��� � �� ����� � %

@����� �� �������D � � ����� ���� ��������� � ��"����� !�� � ���� � ���"��� �

�������D �� �� ����� �� �� � ������ '��"� ���� � � ��� �� ���� � ������ ����������

)���� ���D� � � ������� *77;+� ������ �������������� ���� �� � ���� ������� ��"�

������ � �� !���� N � ��� � �� � ������������� � ������� ��� �D���4 � ����� � �� ���

�� ��������� � ��� ��"���� ����� �� ���� � � )���� E���� � *7C0+� ������ � ������

�� ���� �� �� ���� ������� )���� �� D�� *77<+ � � ���� �������� "� ��� ��� D��

� ������ �� ���"� ���� � � �� �����"�� � �� ������������ ����� ��%�� � �������D�

!���� � "��"�� ��� � �� ����� ���� ��� ����� D �! �� ��� �� ��� ����� �� ���

��� ��� ������"��� ���� ����� )B�� � � 5��"���� � *77;+�

'��"� ���� � �� !�� �������� ������"���� ���� ����� ����� � �� ��� ������

� � (������� ����� ���� ��� ��� ��� � ����� ������� � �� ��� � �� ��� ����

������� � ������� �� ������� �� ������� �� -�� 8 ����� � �� ��� �� !�� �� ���

��� � ������ ���� �� ��! 8 !��� ���� � ���� (���(�( ������(� ������� �� ���� ��D�

-��� �� ��! + ���� ���� !�� ��(�� ��� � ������ 5��� �� �� ������� ��(��(� � ����

��������� ( )8�D��� *77C+� ��� � � �� ������"� ���"� ���� � � �������D ��R��� ����

������ � � �� �� "��� �� �� ����� (� ����� �� �$����� �� �� ����� ������

��������� � � � ����� ������� �� �� ���� ��� ��� ���"� ���� � � �� �������� !��

���� ������� � �� D �! � �����"� ��� �� ����"� ����� �� ���� H��D�� � �

��/��� �� )���� E���� � *7C0+�

�3�3 -����� �������� �(�� ��������(

9��� ������ ������ ����� �� � !��� �� �����"��� ����� � ��� � �� ��� ����

����� �� ������ �� �������� �9� ��� ��� � ��� �� ����� �� ����� � �����

�������� � ������ ����� ����� � � � ����� ��"���� � � ����� � ����� ).�� �

� � 2��"��� *77;4 9�� K��� � � E��� !���� *77:4 E����� � *77;+� B�!��D�� �9(�

���� � ���� ������ � �� "���� ������ ������� ��� ����� ���"��� � ���"� ����� ��

������ '�� �� ���� �$������ ����� ���� � �� ��� � ���� ����� �� ����� ��

��� ��� ��� ���%�� ��� �� � � ������ ��"� � (��: ���� � ������ �I��� ���

� ���������� ������� �� �� ������ 8 ������ � ���� ��� �� ������ ����� �� �����"�

�����4 ��� ������� ���� ����� "������ � ���"� ����� ��� ����� �� ����� ��

������� �

2����� ��"� ��� ��� �� ��"� ��� ���� � ���� ���� !�� ���� � !��� ��

� "��"� ���� ����� � � � � ���� �� � ����� -��; )���K� ���� *7FF+ ��������

������ ��� �H�� ��� ����� �� � ������ � ���� �� !���� !��� �����!�� ���� �������

���"� ���� � �� ���K� ���(� ���� ������ ��� ����� � �� ����� !�� ������ �

23 1��� �� �3 4 +������� ��� ��������( "# 5�!!�6 "")7"#!*,,

Page 5: MIT Media Lab: Affective Computing Group · 2004-08-15 · ˘ ’ 2 " ˜ ˛ *77; 6 ˜ 2 ˜ . ,*)

�$����� ���� �� ���� �������� �� �� 1��K� �� ��� ���������� ��� �� ������ ��

� ������ �� � � �� �� � � ����� ��D�� )*77;+ �������� �� ������ ��� ��� � ��

������%����� ������������ ���������� �� ��� � ��� � ��� �� �%��� �����"�

��� �� ��� �� ���(� ������������� ������ 9����� � � ������ ��� ��� �� #���

)���� ��� *77=+ � � ���������� ���� � ����� ���� ���� �� ����� �� ���� ����� �

������� ������ � �����"� ����� ��� ����� �� ������� � N��� ��� ��� �� '������(

'��� )2����� � *77=+ � � 5�����(� �� ��� '�� ���� ���� ���� ����� � ����

�� � ����� ��������� � �� ���� �� ������� � � ������ �� �� � �� ������ �����

1��K� � � �� ���� ���������� �� ��������� ��� ���"��� �������� � �� ���(� ������"�

���� ������� � � �� ���� ������ ����� �� �� � � �� ���� �� ����� ���"� ����� ���

����� ������� � ����

����������� ��"� ���� ��� � ����� � �����"�� ������� �� ������ �� ����� ���

����� �� ���� ����� !�� �� ��� )1����� *77,4 ���� � � B�D��� *77F+� � ����

-������ �D����( � ����� )2���������� *77=4 .���K���� *77=+� � � � ��"���� ����� �� ��

���� � -��������( !�� ��� � � � ��D� ��� ���� -���� ���������� �� ��� ����

����� �� ��� ��� �$������� � �� �����( )2����� *77C+� 2�� ��"������ � ���!

��� ��� �� �������� ��� ���"� ����� ������� �����4 ��!�"��� � � ���� ��

����� ��� ������

2�"���� 8 �� � ���� � � �!������ ��"� ��� ������ !���� ���� � ��� �� �������

!�� ������ � � ���"���� �� �� � � ������� � ������ ���� ��� �$������ ����� �����%

����� � � ��� !������ �� �� B��� �� 2����� ��� �������� 5���� � ���>>!!!���%

����������K�> ���>� 2�� ���� ��� ����� ���� �� ������ � ������� ������� ��� ����

������ � �$����� ��� � � ������� N��� ���� !�� ������� �$����� ��� ��� ����� �

� � ��� ����� �� ����� �� ���(� ������� � '����� ���� ���� � ���� ���� � �������

���� ������� � �����/����� �� � ���� � � �������� ����� "� � �� �� !��� �� ���!

���� ���� ������ ��� � ����� �� ��� ������"� ������ ��� ����� �� ������

#����� ���� � ������ � �� �� � ����� �� ���� � � ��� ��H��� �� ���������

��� � � ������ ��� �$����� � ��D� � �� "� �� � ���� � !��� � ���� � � ������

2� �� � � �� ���� ������ ������ ���� ������ ������ � ������ ���� ����

����� �� ��� ����� �� ��� �� ���� !�� ���� �$����� �� ��� �� ����"� ����� ��

� � ��� �� �� ������� � ���"��� ���"� ����� ��� ����� ������� �

�3$3 ����� ����� (������ ��� �(�� ���(�����<

8 �'�3'. <�;� � ����� "����� �� � ����%��"�� ��������� ���!��� ���D���

������� �� ������D�� 8 ��� � ��� ���� ��� � �� ������ �$����"� -����( � ��

���!���(� ����� � �� �� � � �� ��������� !��� ����� � !�� � ����"� H���

�� ����� ����� ���� � ��� �� H���� ��� �� -��� ����� �� �� �G( ���� � ��� ����

��� �� �� ��� �������� � ���� "����� � �� �� ���!���� � � � �����%� �� �� � ��

����� ��� �������� �� !�� ����� ��� 5�!�"��� �� ���� �� ����� � � �� �������� ��

������ �� ����"��� � ������� ������ �� �� ����� � ��� ��� � ���� ����� '

�������� ���� �� ������ �� �$����� �� �� � ��� � �8� ���� -.��( !��� !����

!��D� � � �'�3'. <�; � � ������� ��� ������ ������� � �� ��� �� ������� �"��

�������� !�� �'�3'.(� �� �$� 8 � / �� ��H�� �!��� �� �� ���!���(� ������� %

�� �� ����� �� ���������� .�� !�� ��� ���� � �� !��� -����( � �� ����� � �� ��

23 1��� �� �3 4 +������� ��� ��������( "# 5�!!�6 "")7"#! *,<

Page 6: MIT Media Lab: Affective Computing Group · 2004-08-15 · ˘ ’ 2 " ˜ ˛ *77; 6 ˜ 2 ˜ . ,*)

��� �� ����� � ����� ��� !�� -��� ����� �� �� �G(� .��(� ���� ��� ��� � �� ���

#��� �� ������� ���� ������� � � ������� 5��� !�� � !��� �$����� -���D(� �

����� �� � � !��� �� ������� ���� � ������ ����� � �� ��� ����� � ����� ��

���������� �� � ��� �� � � �� ���� �� �� ���!���(� ��"�������� 8 ��� ��������

��� � � ������� �� ������� �� ������� .��(� ������� ���� �� �� ��� �� ����"�

��� �� .�� !�� �$����� �� � ���� �� ������"��� .�� ������ � ����� �� ��

��� ��� � � ������ ��� � !�� �� ����� ��� � !����� �� ��� � ���� �� � ����� ��

��"����� �� ��� ����� ������� � � �� ����� ���D ��! � !��D�

5�������� ��� �� ���� � ��� � � .��(� ��������� ��� �� ��� �$����� �� !��

�$������ ������� ������� ������� ����"��� � ��� � ������ (� -����� ���( ��������

��"� ���� ���� � ��� � � ��� ����� ��� �� �� ��� ����� � �� � �� ���� ��

�$����� �� � � ��� �� ����"���%"��� ��� ����� �� ������ � .�� ���� � ��� � ����%

���� ��� ��� � �� ���!��� � � �� � ������ � ��� ����� �(� ����� �� !�� ���I�

!�� � � �� ��"���� ������ ��� �� ���%���������� � � �� ����� � !��� � �� ����� �

����� �� � � ��� ��� � � � ����� ��� �� 5�!�"��� ��� .�� � !�� ���� � ������

��������� ����"� ����� �� � ��� ������� ����� �� ���I� �� ��� � ���D ��

������� I���� -� ����( � !��� .�� �$������� ��� ����� � ��� )����� ������+�

'������� ��� ������ ���D ������� ���� �� �� ���� ����� � � �� �������D �� ���

�� � � ���"� ���� � �� 8������� �������D �� ����� �� � ������� �� !���� ��������

�� �� "��� �� �� � ������� ��D� -��� ����"� ����� �� ��� �� ������� � �

�������� � � ����(� � ������ �����D �� ���� -�(� �D��(� N � ��� ���� �� ���

�"� ������� � � �$����� �� ����� �����"� ����� �� �� ����� ����� )���� -� !��

@� � ��"����� (+� ��� ���������� ���� �$��� �� ���� �� .��(� ������ ��� ��"�

���� ���� � �� �� �� �� ���� � �� ���������� � � � �� ���������� �� ��

� ���� � ���������� ����� � �� ����� � � �� ���"� ����� ��� ��"� ��� � ���� �

��� ����� ����� ��� .��(� ���� ��� �� �� ����� �� !��� �� �� ��� ���� � ���� �

����� � !�� �� �����I� � ��� ��� ���� � ���D ��! � !��D !�� �'�3'. ���� �

� ������

' ���� �� � �� �������� ��� ������� �� ������ ������� � ���� ����� ��� ��� � ��%

��� � !�� ����� �� �� �� ��� !��� ���� ������4 ��� �� �� ��%������ ��&� -=���� ��

���"�� � � B��� )*77F+� 8 � � ���� ����������� �� � �� ���� ����� � � ������ � �

�������� ���� ������� �� ����!�� ��� ����� � � ������� �������D ���� ��� � )#���

� �B���� *77C�+� 8 � ���� ������ �� ������ ���� ����� ��� � ������ -����� ������( ��

���� !�� ��� ����� � � ��� ����� ������ )��� � � B���� *77F4 ���D�� � ���� *77=4

B��� � ���� ,00*+� 8 ����� ������ ����� ��� �� �� � ���� ���������� )#��� � � B���� *77C�+

� ����� ��� )B��� � ���� *777+ ��"� ��� �� � � ��� &������ � ������ �

�� ���� � � �� ��� �������� ��� �$������ �� ���������� �� ���� !��� ����� �

�����"��� � � ������ �� �$����� ����� %����� �D����� 5�!�"��� ����� � ���

�������� �� ������� ��������� �� ��� ��� �� �� �����!��

��� � ������ ����� ������ ������� � �� ��� �� �� ���� � �� �����"� ��

������� H��D�� � � ������"��� �� ��� � �� ���"� ����� ������

23 1��� �� �3 4 +������� ��� ��������( "# 5�!!�6 "")7"#!*,:

Page 7: MIT Media Lab: Affective Computing Group · 2004-08-15 · ˘ ’ 2 " ˜ ˛ *77; 6 ˜ 2 ˜ . ,*)

�� �� ��� ���������� � ����� !�� ��� �� ������� ��������� ����( �������

�� � ���"� ����� ������ ��� ����� � ��������� � "����� �� ���"� ����� ����%

���� �� ��"� ��� ���� ����� � �� ������"� � � "����� �� ������ �� �$�� �� ���%

�� �� � �� ������� � ������ ����������� ��"������ �� � � ��� ���� �����������

���������� ������ � ����� ������ ���� � � ������ ���� ����� �� �������� �

������ � � ������ �� ����� � � � �� ���� ������� ������ 2����/������ ��������

��� ������� �� �� �����!� � �������� �� ��� �/�� �� �����"� � � ��"����(� ������

� ������ ��� �� ��� ����� � � � �����"� !���

*� ������� (������ �������� ���� ��� �&���&��>( (���� ���������� �� � ��"����(�

����� �� ��� � � ����� �� ��� �� ������ � ������� ) � @� � ��� ��"� ��������

�� �� �������+� ���� H��� ���"�� � ��� � ��D �!����� �� �� � ��"���� �(

����� �� � � ��� �� ��"� � � ����� �� ������ � ����� )B�� � � 5��"���� �

*77;+�

,� ������� �������� � ������ �(���� ���� �� � ������� ��������� �� ���� !��

�� � ��"���� �� ��� � ��� � ��"� �� ��� ��� )� � �� �/ ����+ �� ����� ��

�� ����� ��� � ������ '��"� ���� � � �� D �! � �� � ������"� � ����� � � !����

� � ��"���� ������ !� � � ������� �� !� � � ���� ���� � ������� )E���� �

*7C0+�

<� �:� (��� ��� �(�� �( ��� �� �?���(( �� (�� �( ������� 8 ���� � �� � ������

����� �� �������D ���� � � ��"���� !�� �� ����� � ����(�& � � �� ���"��� ���

!�� ������� �� ���� -8 ��� "��� �������� �����������"��� ����� ��� L����� SM(�:� @����&� ���&��:� �(������� � ������� ������ 2��! �� � ��"���� �� ���

����� �� ��� ��� ��� ������"��� ���� ������ ������� �� ���������� � !�� ��

� ��"���� �� ��� � � ���� ���� )B�� � � 5��"���� � *77;+� ��� ������"�

��� �� �� "�� �� �� �&� �� �� � ��"����(� ����� � ��� ��� ���� ������

� � � @� ����� ���D �� !���� ��� �� �� � ��"�����

;� ��� ��� ����� �� ��� ���&��: �( A�&��& ���� ���� ��� �� ������� � ���"� ���� � ��

� ��"� �� � ��"���� � ��� �� � ������� ��� � ���� ����� �� � � ��D� ��� ���� �� �� ���

��� �� �������� �� "���� � �� ���� ��� '��� ���� ���������� � ���� �� ���� �������

�� ���� �� ������ ���� � �� "�� ������� ��� � �� �� � ��� ���� � �� ��� ��� ��

���� ������ � �� ������ ����� �� ��� �� "�� ��� ����� � � ��� ��������

)E���� � *7C0+�

F� ����� (�(� �� (������ �� ��� �(��� ������%������ ��/ �� ������� �� -�� ��

�� ������� �� � ��� � � � �� ����� � �� ����� �� �� � ����� �� � �����( 8 ��� �����

�� ���� �� � � ������ �� � ��"���� � ���� ���������� !�� � � �� �� ��� �� �

��� � � ����� � �� !�� �>�� ����� )E���� � *7C0+�

C� ��������� (�(� �� ������ �� ��� �(�� ( ���� '�� � !�� �������� ������

�� � ������ � ��� ����� � ���� � �� �� �� ����� �� � � � ����� �� �� ��%

�� !�� �� ���� ��� ������� �� ������� ������ �� � ��������� � � ��������� �

!���� �� � ��"���� �� ���� �� �� ��� ����� � ��� ������� � � ����� )8�D��� *77C+�

=� ����� �� ��� �(�� ��� (�(� ��� ��( ������� (��� �( ���&� 8 �������� ��� �� ���

�� ��� �$������� ���� ����� � ����� ��������� � � �� "���� !�� ���������� �

�� ����� ��%�� � �������D �� � � �����/� D� � �� ����� � B�� �� ���

�� ��� �� ������� ���� ����� ������� �� ������ � �� �������� ��

23 1��� �� �3 4 +������� ��� ��������( "# 5�!!�6 "")7"#! *,;

Page 8: MIT Media Lab: Affective Computing Group · 2004-08-15 · ˘ ’ 2 " ˜ ˛ *77; 6 ˜ 2 ˜ . ,*)

������������ ����� ����� �� ���� ��� �� 2�������� ������ ��� � !�� ��

����� �� �������� ����� � �� � !�� �� ���� ���� � �� "������ �� �� ����� �

)E���� � *7C0+�

� ������ �� ��� �����

8 � ���� � ������� ��� �� �������� �������� ���"�� �� � ������ ��� !��

����� �� !�� �� �����!� � ������������

*� #����!� � 2����� T*� ���"�� �� ��� !�� ����� �� � ���"��� ������ � �������

��� �� ���(� ����� �� ���� ����� � � ����� � ����� � � �� ������ � �������

)��� ���� ����� ,+�

,� 8 !�� ����� �� � ���"��� �������D !��� �� �� �����!� � � ������ � ����� �

�����!� � 2����� T,� ���"� )��� ���� �� 2���� ;� !���� ��������� ��! ��� �� ����%

�K��� !�� �����"��+�

<� #����!� � 2����� T<� ����"� ������ !��� ��� � �������� !�� ���� �$����� ���

)��@��� � �� ��� ��������� ����! ������� ����� � ���"��� ��"��� �� ������� �

� � ��� ����� !�� ��������I��� ���� ����� ,+�

:� '��� ��� 2����� T<� ���� !��� H����� ��� ���� ������� ��"�� � � ����� ��

����� �� � � ��� �� �� � ���� -B� ������� � �� ����( � -��� ��� ������� 8

��"� �"�� �$����� ��� � �� ���� ����� � � ����( )��� ����� <+�

;� #����!� � 2����� T:� ���"�� ����������� �������D �� �� ���(� ����� �� ��� !��

���"����� � � ����� � �� ��"�� �� ����� ������� �� �� ��� )����� <+� ����� � �

�� "�� � �� �� �� "������� ��� �� ���(� ����� �� ��� )� � �� �������� � 2�����

T=� ���"�+�

F� ��� � ��� ������ !��� ��� � � �� � ������ � � ���� �� ��� � ������� � �>��

������ �� ��� �� �� �����(� �������D !�� @���� � �� � ������� ��� 2����� T;�

���"�� ��� ��� !�� ���"���� !�� � � ���� ��� ��� � ������� � �>�� ��@� ���

������� ��"�� �� ����� �

C� �� ������ � � ������������ ������ ����� �� �������D ���� �� ������ �� ���

!�� ����� � ����� �� ������� ����"� � �� ���(� ����� �� ��� � � �������

� � ��� ��"��� '� � ������� ��� �� 2����� TF )���"�+ ��� ����� �� �������

�� ��� ���������� � � ��"� �� � ������� �� �� � �$������� �� ������� ������

�� � �$������� �� ����� �� � � �� ������ �� � ������� �� ��� ����� � � ��� � ��

��� ���� ����� 2� �� ������� ��� � �� ������� �� �� � � �������� ����� �%

� � �� ����� �� ��� �� � ���� �� ������� (������� � � �� �� ���� � �� �� �� �� ��

����� ���( ���� �� � �� � � ���� �� ��� � ���� (������(�& ����

=� '��� ��� 2����� TF� � ��������� ����� �� ������� !�� ������� � �� ���� ��

��� �� �� ������� ����� �

7� ' ����� �� ������ !�� ���� ����� � �� ���� ���� ����"� � ����� �� ���

� � ������� � � ��� ��"��� �������� � 2����� TC� ���"�� ���� ����� ���� ���"��

� ������� 2����� T=� �� �� �� ������� ����� ��� ��������� ���"��

23 1��� �� �3 4 +������� ��� ��������( "# 5�!!�6 "")7"#!*,F

Page 9: MIT Media Lab: Affective Computing Group · 2004-08-15 · ˘ ’ 2 " ˜ ˛ *77; 6 ˜ 2 ˜ . ,*)

� �����

��� /�� ���� ��� �� ��� ������ ��������� ���"� � � � � �����"� �$%����� ���

)�������� � � ��������� ��� � ������� �� E 8+� !���� !��� �������� �� �������� � �� ��

-'##19�&2 ��N��( ��� � ���� ��� !�� ����� �� � � ���� !�� ���� !�� !���

�$����� �� � "����� ��� � �� ������� � ��� �� �� �� �� ��� (� ����� ��� !��

�������� ������� � � ����� � ��R�� �� ��������� �� ������K��� �� ���"� ���� � �

��������� ���"��

��� ������"� ��� �� ��� ��� !�� ���� � � , � < ��� �� C* ��@��� )��� ����� *+!�� !��� ��� � �����"� �� ��� !��� ����%��� � � �! ������ ����� 1���� � ��

23 1��� �� �3 4 +������� ��� ��������( "# 5�!!�6 "")7"#! *,C

����� *

��� ��$ �� ���� � � �� , � < �$������

P���� ���� ��� B� ������ � E��� * 6����� � E��� *

8� ��� �� ���(� ��� 9� *, )F#� F�+ 9� *, )F#� F�+3� �� ��� Q� 9� ** );#� F�+ 9� *, )F#� F�+���"��� '##19�&2 ��N�� 9� ** );#� F�+ 9� *, )F#� F�+

#��� *� 2������� �� �� �������� ��%� ��� �� �$������ �� ��������

Page 10: MIT Media Lab: Affective Computing Group · 2004-08-15 · ˘ ’ 2 " ˜ ˛ *77; 6 ˜ 2 ˜ . ,*)

�� ������� � � ��"�� ���� !��� ������ ���� �� ��� ������ �� 2������� � ���

),00*+� '��� �� �$������ � ��� ��@��� !��� ��������� �� � �� �� ��� �� ��

�$������ � � ��"� �� ���� � ��"� ���� ��� !�����! � N � �� �� C* ��@���

����� � ��"� ���� ��� !�����! � � � �� ��@��(� ��� !�� � � ����� � ��� ���

)#��� *+�

.3"3 @�������(

2�"� � ��� ��@��� !��� �������� ���� *:&:: )����� ,0&,:+� 9� ** �� *, ������� �� �� ��$ �� ���� �� !���� � ����� � F ����� � � � ; ������� � ���� �� ��%

�� � � ���� ��� �� ��� � �� ����

.3�3 @����&���

2�@��� !��� ������� "�� R���� ����� ��� � � ������� ����� �� ������� ?*0 � � �

��� �� � !� ?*00 ��� ����%��� � � �! D� � �� ����� 2�@��� !��� ������� � ����� %

���� � "� ��� H���� ���� )�������� � *77;+ -�� ��� �� �� ����%��� � ��������(�

!���� !��� ��� /���� � � � ��� �� � ���� � � ��� � ��"� ��� 2�@��� ���� � ��

��� � ��� � ��"������� !��� ���� � ����/ � ������ � � !��� ����� � � '���� ��!��

��� =;00>E< ������ !�� � ,0 �� �������� D������� � � ����� �!� !� ��!�� �������"������� �� !��� ��������� � �� ������ ���D��� � B������ ���!��� !�� � �������

�"��� ��������� ��"� �� ���� � ������� � � � �$ !� ��! �������� � ������� � ��� ��

���� )��� #��� ,+�

�!� ��"��%��%������� �� ���� � !��� ����������� 2�@��� � �� 613'� �� ����

������ �� ���� ��� ; �� � ��� � !���� ��� �$����� ��� � � ����� ���%�� ��� -!��

������(� � !���� �� �������� ���K� � ����� � � �� � %����� ���� �� � �� �

��"� ��� ����� � �� BN 613'� �� ���� ���� ������ ��� ; �� � � �$����� ��� �

��� ������� ' ; �� � �� ���� ������ ���������� ��� ��� ��@���� 1��� ��@�� !��

�� �$����� � � � �� ���� ������� � �����"� ������ �� ��� �� ���� �� /��� � � �

H���� ���� ��� �� ����� ��� � ������ � �������� ��� � �� ���� ������� �� ��%

�� � )8EBN�1� Q1B� �� '##19�&2 ��N��+�

��� 8EBN�1 � ������ !�� ������ � ��H� �����%��"����� H���� ����I� ��� �

�� �������I�� �� �� �� H���� � �� ��� � � "��"� �� ��@��(� ����� �� �� � �

��� � �� ������ � � ������� ��D� ����� ������ )��� ����� ,+� ����� ��� !��� � �� ����

�� ����� �� � !�� ���%��/ �� ������� ��� Q1B� H���� ���� !�� ������� � ���� �

�� 8EBN�1 H���� ����� �$��� �� � ��"� ��@��� ��� %� ��� ��� � � ����� ��

����"� �������� �� !��� �� �� ��@��(� ����� �� ����

��� '##19�&2 ��N�� � ������ ���� � �� ���� !�� �� �� Q1B� H���� %

����� � !�� �� ������ ������� �� ��@�� ��� ��! ������� �>�� !�� ����� �� ��

������ ��"� �������D ����� � �� ������� ������� ��"��� #������D !�� ������

���� �� ��� ������ ��������� ���"�� ����� ����� ��%�� � �������D � � ��� � ���

������ � � �������� � )���� -8 �� �� ��D� �� ��� ������ ������� ����� � ��� ����� 8�

�� ��� ����G(+� �� !��� �� � � ����� �� ������� ����� � �� ������� �������

��"�� )���� -8 �� �� ��D� �� ��� ( ��"� �� ��� �$����� ��� �� � ���(� � ��� � (+

� � � � ������ ����� )���� -2���� � ���� �� �� ��� ( �� �� !���(+� 1��� �������D

�� � �� !�� �������� � �"��� �������� ����� �� �� �� ��@�� )��� ����� <+�

23 1��� �� �3 4 +������� ��� ��������( "# 5�!!�6 "")7"#!*,=

Page 11: MIT Media Lab: Affective Computing Group · 2004-08-15 · ˘ ’ 2 " ˜ ˛ *77; 6 ˜ 2 ˜ . ,*)

'�� ��@��� !��� �� ��D�� � ���� � � %����� "����� �� �� ���� ��� � ���� < �� �

' < �� � � -P�( �� )������ � � � �������� � �� ��� �� �� ���� � ����+ ������

���"�� � ��@��� ���� ���� �� ��� �� ��� !������ � � ,0 �� � 5�!�"��� �� ���� !��

����� �� � �� ���� � � ���� )���� !�� � "������ � ��!��� �������� � ��������� �

�! �KK��� � ������� � � � ������ �� ������ ��� �� �D��� ��H����� � ���� � !��

!�� � ������ ������� � E��� *+� � � ��@��� !��� ��"� � � �� �"� � ���� �� ��� ��

< �� � �� / ���� � �� ���� � ����� ��@��� !��� �� ��� � ����� H���� ���� ��D� �

��! ��� ��� ��� � "����� ��� � �� �� !���� �$����� ��� '�� ����%����� ��� !��

������ � � ��������� � � ����"��� !�� ������� �� ���������� ������� � �� ���

���� ��@�� ������ E��� ,� �� !��� �� �� ������*

23 1��� �� �3 4 +������� ��� ��������( "# 5�!!�6 "")7"#! *,7

* ������������� �������� ��� �� ���� ��� � 2������� � ��� ),00*+� !��� � �� ������� ��� ��� �$������ �

�� �� ��� !��� ���� � �� ����� �� �� ���"� � H���� � �� ��� ��������� ��� ��� ���� ��� ������� ����

��"� ��� ���� � ������ !��D ��� � �� ���� �� �������� � ������������ ��� �$����� ��� �������� � �����

�� ������� ������� ��"���� 8 !�� �������� ��!�"��� �� ���� � � �� ������$�� �� ��� �$������ ��

� ����� � ��� ��� ����� ����� ������� !�� � ���������I� � �� ����� ���� ������� !��� �

������� �� �� ��"�� ���� ��� � ��@��� ����� � ���� ���������� �

#��� ,� ' ����� ��� �� �� � ��� ����� �� ���� ��@�� ���� ��� �� /�� ��� �� � ��� � �� �������� B��

�� ��� ����� � � �� ������� !��� ����� �� ������ ��� �� �$������ � �� �"����� � ��� )� ���� � ��

������%� �� ��� � �� ��+ !�� ������ ��������� ������ �� � ���������� 6������ F�0 ��� �� ���� ����

Page 12: MIT Media Lab: Affective Computing Group · 2004-08-15 · ˘ ’ 2 " ˜ ˛ *77; 6 ˜ 2 ˜ . ,*)

23 1��� �� �3 4 +������� ��� ��������( "# 5�!!�6 "")7"#!*<0

����� ,

9� � � �� �� ���� H���� ����%� ������ �� �� � ����������� � � ������� ��� ������ �� ���� �� B�� ��

�� '##19�%2 ��N�� � ������ )���� <+ � ����� � �����"���� �� �� H���� �� �� ��� �� ���� !��

���%���� ��� � ���� ��� �� ��� � ������ � 6� � �� ��� ��� � ��� �� �� ��� � ������ � �

��������� �� �� � ��� � ������ �� � ��������� ����� � �� ������K�� � �� �$ � � �� �� ��� � ��

� ���� � ���� )*777+�

P���� ���� ��� �� 8EBN�1

�� ��� �� ���� ) � "� ��

����� �����+

P���� ���� ��� �� Q1B�

�� ����

P���� ���� ����� )������

��� + �� '##19�&2 ��N��

�� ����

#��� ���� �� �� �������� ���

���G

#��� ���� �� �� �������� ���

���G

#��� ���� �� �� �������� ���

���G

� *0&*; � *0&*; � *0&*;

� *;&*7 � *;&*7 � *;&*7

� ,0&,: � ,0&,: � ,0&,:

� ,;&,7 � ,;&,7 � ,;&,7

� <0&<: � <0&<: � <0&<:

� <;&<7 � <;&<7 � <;&<7

� :0&:: � :0&:: � :0&::

� :;&:7 � :;&:7 � :;&:7

� ;0&;7 � ;0&;7 � ;0&;7

� F0&F7 � F0&F7 � F0&F7

� C0� � C0� � C0�

2��� �� !�� �� ��� ��$G 2��� �� !�� �� ��� ��$G 2��� �� !�� �� ��� ��$G

� #����� � #����� � #�����

����� ����� �����

ND��� B�! ��! ��� ��"� ��

������ ������ ����� �� "����

����� ������G

ND��� B�! ��! ��� ��"� ��

������ ������ ����� �� "����

����� ������G

ND��� B�! ��! ��� ��"� ��

������ ������ ����� �� "����

����� ������G

� 0 )B�"��+ � 0 )B�"��+ � 0 )B�"��+

� * )N � �� !��� � �� ����+ � * )N � �� !��� � �� ����+ � * )N � �� !��� � �� ����+

� , )#�!�� �� � ����+ � , )#�!�� �� � ����+ � , )#�!�� �� � ����+

� < ).�!�� *0 � � ,0

����+

� < ).�!�� *0 � � ,0

����+

� < ).�!�� *0 � � ,0

����+

� : ) ��� � ���� ���������

� ��"� ( � ����+

� : ) ��� � ���� ���������

� ��"� ( � ����+

� : ) ��� � ���� ���������

� ��"� ( � ����+

� ; )'�� � � � �� �+ � ; )'�� � � � �� �+ � ; )'�� � � � �� �+

� F )N �� � !��D+ � F )N �� � !��D+ � F )N �� � !��D+

� C )2�"���� ���� � !��D+ � C )2�"���� ���� � !��D+ � C )2�"���� ���� � !��D+

� = )� � � ���+ � = )� � � ���+ � = )� � � ���+

� 7 )' ���� � �� � ���+ � 7 )' ���� � �� � ���+ � 7 )' ���� � �� � ���+

� *0 )�� � ���� ���� ���+ � *0 )�� � ���� ���� ���+ � *0 )�� � ���� ���� ���+

' � ��! ��� )�� �"��+ ��"� ��

������ ����� �"�� � ������

�!��DG

' � ��! ��� )�� �"��+ ��"� ��

������ ����� �"�� � ������

�!��DG

)���=���� (��� ��+ )���=���� (��� ��+

Page 13: MIT Media Lab: Affective Computing Group · 2004-08-15 · ˘ ’ 2 " ˜ ˛ *77; 6 ˜ 2 ˜ . ,*)

23 1��� �� �3 4 +������� ��� ��������( "# 5�!!�6 "")7"#! *<*

����� , )������&+

P���� ���� ��� �� 8EBN�1

�� ��� �� ���� ) � "� ��

����� �����+

P���� ���� ��� �� Q1B�

�� ����

P���� ���� ����� )������

��� + �� '##19�&2 ��N��

�� ����

5�"� �� ������ ����%����� � ��

��"� �� ����� ������G N

������ �� �� � ���� (

����� 8� ��� ��� ��! ��� G

5�"� �� ������ ����%����� � ��

��"� �� ����� ������G N

������ �� �� � ���� (

����� 8� ��� ��� ��! ��� G

)���=���� (��� ��+ )���=���� (��� ��+

5��� ' � !�� ��� ���������

��"� �� ����� � �� ���� ��

��������� � 6�G 5�"� ��

������ � � �� ����G

5��� ' � !�� ��� ���������

��"� �� ����� � �� ���� ��

��������� � 6�G 5�"� ��

������ � � �� ����G

' � ��! ��� )�� �"��+ ��"� ��

������ ��������� ��"� ��

����� � �� ���� �� ���������

� 6�G

)���=���� (��� ��+ )���=���� (��� ��+ )���=���� (��� ��+

8 ����� �� 5�"� �� �"��

������ ������ �� "���� �����

� !���� �� ��� �������� !��

������G 8� ��I���� I��!

��� G

8 ����� �� 5�"� �� �"��

������ ������ �� "���� �����

� !���� �� ��� �������� !��

������G 8� ��I���� I��!

��� G

5��� 5�"� �� �"�� ������

������ �� "���� ����� �

!���� �� ��� �������� !��

������G 8� ��I���� I��!

��� G

)���=���� (��� ��+ )���=���� (��� ��+ )���=���� (��� ��+

ND��� B�! � ��� ����� !����

�� �� �����!� � ��� ���������

�� ��� ��������(�

������� ��G

ND��� B�! ��! !��� �� ��

�� D �� ��� � ��� ����G

ND��� B�! ��! !��� �� ��

�� D �� ��� � ��� ����G

� * )9������� �� �����+ � *0 )��� ��� �����U+ � *0 )��� ��� �����U+

� , )9������� �� �����+ � �

� < )9������� � "������

� ���+

� 0 )��� !��� �����+ � 0 )��� !��� �����+

� : )���� �� ��������(�

�/ ���� ��@��� +

� ; )9���� �� ��������(�

�/ ���� ��@��� +

5�! !�� �� ����� � �

����� ��� �� �� �!��D !����

�� ������G ���� ���� � �

������G

5�! !�� �� ����� � �

����� ��� �� �� �!��D !����

�� ������G ���� ���� � �

������G

� *0 )'!��4 ��� ������U+ � *0 )'!��4 ��� ������U+

E� �� ' � !���� �� ��

�����!� � ������ ����

�������� ��� ��� G

� �

� * )����� ������+ � 0 )2����4 � ������+ � 0 )2����4 � ������+

� , ).���D � �$+

� < )E��� ���+

� : )��� ���+

� ; ).�� ����� �+

5��� 8� ���� !��� � � �������

�� �� �� D ��� ������� ���

����G

5��� 8� ���� !��� � � �������

�� �� �� D ��� ������� ���

����G

� *0 )���� ������U+ � *0 )���� ������U+

� �

� 0 )B�� � � ���+ � 0 )B�� � � ���+

5���� ��� D� � �� ������

!�� ������ � ���G

5�! ������� �� �� �� D ��

�� ����� � �� ����� ��� �� ��

�� �������G

5�! ������� �� �� �� D ��

�� ����� � �� ����� ��� �� ��

�� �������G

Page 14: MIT Media Lab: Affective Computing Group · 2004-08-15 · ˘ ’ 2 " ˜ ˛ *77; 6 ˜ 2 ˜ . ,*)

23 1��� �� �3 4 +������� ��� ��������( "# 5�!!�6 "")7"#!*<,

����� , )������&+

P���� ���� ��� �� 8EBN�1

�� ��� �� ���� ) � "� ��

����� �����+

P���� ���� ��� �� Q1B�

�� ����

P���� ���� ����� )������

��� + �� '##19�&2 ��N��

�� ����

)���(��� ��(� ��+ � *0 )��� ��� ������� 8

��"� �"�� ��� � �� ���� ����� �

� ����U+

� *0 )��� ��� ������� 8

��"� �"�� ��� � �� ���� ����� �

� ����U+

' � !�� D� � �� ������ !��

������ � ���G

� � 7

)���(��� ��(� ��+ � 0 )'������� � �������

� ���+

� =

'� ��� ���� ��"������ !���� ��

�� �����!� � !��� �� ���

��D� � ���G

' � ��! ��� ��������� ���

�� �$����� �� �� � ���� ��

����� �G

� C

� *0 )���� � %"���� ����

����+

)!&"! (��� ( ����� �(��

-(��(��&(+

� F

� 7 )8 ������ >���������

!�� ���� ���������>�������+

ND��� 6�� ����� � �� ����

��D� �� ���� � $��� �� � ��G

8� ��� ��! ���G

� ;

� = )2����� � ������ !��

���� ���������>�������+ )!&"! (��� ( ����� �(��

-?���( �� ��(�(+

� :

� C )' ���� �� ���� ��

� ����� � ��� ��������+ N"������ ��! ��� � ��� ��

��"� ����� � �� ����G

� <

� F )�KK��� � ���"�+

)!&"! (���� �(�� -��( B&

-�&( � ���� ��-���(C+

� ,� ; )��� �������� !���� �

����� � � !����� � !���� �+

6�� �� �$����� �� ����� � ��

���� ��D� �� ���� � ���G 8� ���

��! ���G

� *� : )��� ������ � ��� � �

���� ���D � ����+

)!&"! (��� ( ����� �(��

-(��(��&(+

� 0 )'������� � �������

� ���+

� = )' ���� �������� � ����

�� � ������ � �+

������ �������� ��� ������ �

��� �$����� ���

� 7 )�� ���� � D���+

)���A��� � ���� ��?� � ����

���& ����+

)1B6 N# Q1B� 9NB��N3

P 12�8NBB'8�1+

��� !�&"#$$%&� �����

����'� ������( ���' �����

� �)���� ��� ������� ���� ��

���*��� ��)��

� *0 )�� ���� ���� � ���

��������+

� ** )����� � �"���+

'���� � ��� �� ������ !���

������� ��� !�� !��� ��

��� ��D� � ��� ���� ��G

)D��������� ������ ��(�

��+

)1B6 N# 9NB��N3

P 12�8NBB'8�1+

Page 15: MIT Media Lab: Affective Computing Group · 2004-08-15 · ˘ ’ 2 " ˜ ˛ *77; 6 ˜ 2 ˜ . ,*)

+ &���(��

'�� � ������ !��� ����� � ����� � ���%�������� 'BNQ' �� 'B9NQ'� ��� �����%

������ ��� �� ������ �� ��������� �, !��� �� ���� �� � 6 �(� � )��� �� �� �

���� *77*+ !���� ��@�� ��� �� � R��� ��� �/�� �� ��"��� ��������� !�� ������

��������� �� '�� ����� !��� ����� � !�%����� ����

' �� ������ ����D< �� /���� �� �� 613'� �� ���� ������� ��� �/�� ��

���� ������� �� �� BN%613'� �� ���� � 8 �� ���%�$������ H���� �����

�������� � ����� ��� � �� H���� � -5�! ��� ������� ��� �� ���� ����������

���� ����� � E��� *G(� ' ���%�������� 'BNQ' ��"����� �� �������� � � �� 613'�

�� ���� ���� ���� ������� ��"�� ��� �/�� �� ������ ���� �� /�� ���� )�� :�=+�� ��� �������� � � �� BN%613'� �� ���� )�� <�;F+� E)*� F:+� :�;:� @� 0�0;�

����� !��� � ���� ��� �/�� ������ !�� ������ � ��� "��������

��� D�� �������� � ��� �$������ !�� �� ��@��� !�� !��� �$����� �� � ����

��"��� �� ������� � ����� � ���� ����� � E��� * � �� 613'� �� ���� � !��� ����

������ ������ ���� ��� ��� ���������� ���� �$����� �� � �� '##19�&2 ��N��

� ������ � � ��������� !�� �� !� �� ��� �� ���� �� .���� � ��� �����"��� �

��@��� !��� �$����� � ���� ���� �����"� ����� �!��� �� ��D� �� !��� �� � �� �����

�� ���� ������� I�� ���� � � �� �!��D�� ������ ����� � !���� � !��

������� 2�@��� � �� 613'�>'##19�&2 ��N�� �� ���� !��� �������� ��������

� ���� �� ��� �� ��@��� � ����� �� 613'�>8EBN�1 �� 613'�>Q1B� �� ���� ��

��� ����� ������� ��� �������� � B� � �� !�� ���� � ��� ����� !�� ������ �

�� ��� �� �������D ��@��� �����"��� E),� F:+� =�00� @� 0�0*� � ��� �� ������ ��

��������� � � ������ �� �������� � � �� '##19�&2 ��N�� �� ���� ������

E��� , ��� � ��� �/�� �� �� ��� ��� �� �������� � � ����� �� 8EBN�1 �� ����

)�):;+� ,�F<� @� 0�0*+� �� �� Q1B� �� ���� )�)::+� <�7C� @� 0�0*+� )����� !�� �

��� �/�� ������� �� � �� ����%����� � ����"��� ��!�� �������� � � �� 8EBN�1

� � Q1B� �� ���� ��+ ����� ������� ��� ���� ����� �� ���������� ��� �/�� ��

������� � ������ �� �� 613'� "�� BN 613'� �� ���� �� ��� ��� ��@��� � ��

613'� ���� !�� �$����� ��� �� '##19�&2 ��N�� ��� ������ E��� , (����/

���� ����� )��� ;�; �� �� ���� � �"�����+ �� ���� � ����� �� 613'�>

8EBN�1 �� 613'�>Q1B� �� ���� ��

2��������� ��@��� � �� BN 613'� �� ���� !�� �$����� ��� '##19�&

2 ��N�� ������ E��� , ��� �/�� �� �� ��� �� ��� ���� � �� BN 613'�>8EBN�1

� � BN 613'�>Q1B� �� ���� �� 8 ����� �� '##19�&2 ��N�� ��� � �� ��� ����

23 1��� �� �3 4 +������� ��� ��������( "# 5�!!�6 "")7"#! *<<

, ' ��� �� ��������� �� � �� ���� !�� �� ��� � �� ��� �/�� �� �� � �����/� ��������� �� !� �� ����

"��������� �� ������ ���� �� !���� ��� �������� �� � ���������� 2�� � ��������� �� ���� � �� ��� ��� �����

�� -/��� � ��� �( � �� ��� ��� ��� �/�� ������ ��� ��� ������ �� ������ ��� � �� ��� ��� ������%

��� ��� ��� -� ���� �� ( ���� ���� ����I���� �� ���� �� � � ��������� �� ���� � ���� � � �� �����

���� � ����� ��� �� ������ �� ��������� � ��� � !���%�������� ���� ��� � �� �� ��� � ��������

� ���K���< ' �� ������ ����D ��� �� �� �� ������ �� �� "�������� � �� �$������ ��� �� ������� �����I�

��� ����� �� �� 613'� �� ���� !�� ��� �/�� �� ���� ������ � ��� ��@��� �� �� BN%613'� �� ��%

�� �

Page 16: MIT Media Lab: Affective Computing Group · 2004-08-15 · ˘ ’ 2 " ˜ ˛ *77; 6 ˜ 2 ˜ . ,*)

� E��� , � ��� �� ��! � � ���� ������� �� ���� �� �� �������� � �� �� ����

)Q1B� � � 8EBN�1+�

����� !�� � � ���� ��� ������ �������� � � �� 613'� �� ���� � )�� C<;+������ E��� , ��� � ��� �/�� �� �� ��� ��� �� �������� � � �� BN%613'� �� ��%

�� � )�� ;:;+� E)*� F:+� 7�,0� @� 0�00* )��� #��� <+�

�����%!�� 'BNQ'� !��� ���� ��������� � �� ��� �� ��� �/�� �� �� �� ����

����� �� )���+ ����������� � � ����� ���� ���� �$����� �� � �� ��� ����"�����

������ B� ��� �/�� ����� !�� �� � ��� � � �� �����

, ����������

*3"3 @����� �������� ��(���(

�� � ������ ���� ����� � ����$� � � ��@��� � �� 613'� �� ���� ��� ������

�� ��� �� ��� ���� � �� BN%613'� �� ���� � 5�!�"��� ��� ������� �� �� ��

������ � !�� �� D �! �� ��� �����& ������8 ��@��� !�� �$����� ��� ������ �

�� /�� ���� ��� �� �$����� �� ��� � �� ���� � ����� 8 ���� �� �����"� ���� �

E��� ,� �� 613'� ��@��� ��� �$����� ��� �����"��� ���� �$����� � � ���� ����

� E��� ,� � � � ������� � � � �� �������� � E��� *I� ������ �������� !���� ��� �

���� ����� � �� ���� ��� ���� � ����� ��D�� � ��� � ����� � ������� ���� ���(( ��

613'�>BN%613'� �� ���� �� ��� �� ��� �/�� �� �� ���� �� 613'� �� ���� �

���� !�� �$����� ��� �� '##19�&2 ��N�� ��� ������ ��� �/�� �� �� ��� ��

���� !�� ��� �� ��� ���� ���� !�� ��� �/�� !��� �� ��!%������� BN%613'�

�� ���� � ���� !�� �$����� ��� �� '##19�&2 ��N�� ��� ������ ��� �/�� ��

�� ��� �� ���� !�� ��� ��

2�"���� ���� ��"� �$��� ��� � ��"� ��� �� ������� ��� �� ������� / �� � �� ��

'##19�&2 ��N�� �� ���� ��� � �� ��� ���� �� ���� � ��� ��� �� #�� �$������

��@��� ���� ��"� ������ �� ��� ������ �� '##19�&2 ��N�� ��� � ������

�����"��� ���� � � E��� , �� ������ � �$����� �� ��@��� �� � �����"� �����

� ���� !�� �����"��� ����� �� �� � ������ � 5�!�"��� ������ � ������ �� �� ���

���� � ����� ��� �$��� ��� � 2����/������ ��@��� !��� ��D�� � �� 1$� P���� %

���� � ����� ���� ��"�� �� ������� � �� !��� �� ���� ����� �� � D�� � ��"��� ��� �

�� ���� N"������ � ��� �/�� ��������� !�� �� � ��!�� ����%����� �� �������

��"�� ���� � �!��� � �� � �����"� H���� ���� � � ��� ��� ����� � E��� ,� 8

������ � � �� ������ � �������� �� � �� 613'� �� ���� �� � !�� ��� ��������4

�� ��: (�(��� ��(��� �� !�� �� ������ ���� �� �� ��@��(� ������� ��"���� ���

��@��� !��� ������� � ��D � � ����� �� ������� ��� � � ���� ��� ���� ����

���� � � ���� ������� ��� ����� �� ���� !�� !��� ���� ������ �� �� ������ �� �

��� ������ ����� � ���� � �� �� �� �� ������� ���������� ��� ��@��� ������

�� ��� ������ ��� ��� ����� � !�����

��� ��� �� ���������� �� �� '##19�&2 ��N�� �� ���� !�� ���� -���� ���(

� ���G 9��� ��� ���� ��� �� ������� ��� � ��� ����"��� ������ �� "�����

�� ���� �G ���� �� �������� � ��D���� �� �� ���� ���� -� �������( �� "������ ��

�� ���� !�� �������� ������ ��� �� � ������ � )��� ����� ,+�

23 1��� �� �3 4 +������� ��� ��������( "# 5�!!�6 "")7"#!*<:

Page 17: MIT Media Lab: Affective Computing Group · 2004-08-15 · ˘ ’ 2 " ˜ ˛ *77; 6 ˜ 2 ˜ . ,*)

��� ��� ���� �$��� ��� ����� � �� �� � �$%� �� � ������ �� ��������

������� ������%������"� �D���� D �! � ������ � ��� &��� � ������ �� ����

���������� �� ��� �� � ������� 2�� � ��� &������ � ������ ��� � �D�

���� �� � ��! �� ��4 � �������� � �� ���"��� ������ �� ����"� ����� �� ����

������ � ������� � �� �� ���� � ����H� ��� ����"��� �!��� �� ��A��� �� ��

����"� ����� �

*3�3 ,� ����� ��� F-9� ��&����(

2���!�� ������� � !��� �� ������� ��! ��� ���� �� ��@��� ������ E��� ,

� �� Q1B� �� ���� � ��� � �� 613'� � � BN%613'� �� ���� �� 8 !�� ���

������� �� ���� �� �� R�� � �� ������� ��� �� �� �/� �� ����� �� "� � �� ���

���� / �� �� �� � ����� � �� ����� �� "� � � �� � �������� ����� ��

������� �������

*3$3 ,����� (���(������ ������� (���/������ &�

��� ����%����� ��� !�� �D� � ���������� � �� 1$� P���� ����� � �� � �����

��@���( ������"� ���� � "����� ��� � ������ �� �$������ � ��� ������ ��

��� � ����"����� ����� ��������� ���"�� "��� ���� �� �� ����%����� ��� ��R���� ��

23 1��� �� �3 4 +������� ��� ��������( "# 5�!!�6 "")7"#! *<;

����� <

' ���� � �� ��� � ���� �������D ��H� ��� )��������� � �$ � %����� + �� �� '##19�&2 ��N�� ���

���"����� ����� � ���%������� ��"�� �� ������� � ��� ����� ��� !��� ����� �� � ������ ���� � � ������D��

������� ��"�� �� ������� 8B8�8'3 ����� %�� � �������D ����� �� �� �� �����

0 '������� � ������� �

���

-8 �� �� ��D� �� !��� ( ������� � �� ���� ����� � ��� ����� 8�

�� ��� ����G( )���>B�+

* -8 �� �� ��D� �� ��� �"�� �� ������ ������� ����� � ��� ����� 8�

�� ��� ����G( )���>B�+

, -8 �� �� ��D� �� ��� � ���� ������� ����� � ��� ����� 8� �� ���

����G( )���>B�+

< -8 �� �� ��D� �� ��� ������ ������� ����� � ��� ����� 8� �� ���

����G( )���>B�+

: -8 �� �� ��D� �� ��� ����!�� ������� ����� � ��� ����� 8� ��

��� ����G( )���>B�+

; -8 �� �� ��D� �� ��� ���� ������� ����� � ��� ����� 8� �� ���

����G( )���>B�+

F -8 �� �� ��D� �� ��� ���� ��� ������� ����� � ��� ����� 8� ��

��� ����G( )���>B�+

C -5���� 8 �� �� ��D� �� ��� ������ ������� ����� � ��� ����� 8�

�� ��� ����G( )���>B�+

= -��!U 8 �� �� ��D� �� ��� ������� ������� ����� � ��� ����� 8�

�� ��� ����G( )���>B�+

7 -��!U 8 �� �� ��D� �� ��� �����"���� ������� ����� � ��� �����

8� �� ��� ����G( )���>B�+

*0 ��� ��� ������� 8 ��"�

�"�� ��� � �� ���� !����

����� � � ����

-E��� ���"� �U 8 �� �� ��D� ��� �����"���� ������� � �

��������� ��� � ����� � ��� ����� 8� �� ��� ����G( )���>B�+

Page 18: MIT Media Lab: Affective Computing Group · 2004-08-15 · ˘ ’ 2 " ˜ ˛ *77; 6 ˜ 2 ˜ . ,*)

����"����� / �� �� N� / �� �� ��� �� �� ���� !�� ���� �� ����� �������� !��

��"� �� � ����� �� ����%����� ��� � �� � �� ��������� ������ � � �!��� �� ��� ��

� ���� ��� � "����� �� ����� � )J�@� �� *77=+�

*3#3 ���������� & ������� ���������(

��� ���� �������� ����� � �� /�� ������� �� � � �����"� ���!��� ���

�� ����� ������� �� ���"��� � ���"� ����� �� ����� � � ������� ���� ����

��� !�� �� "��� ������ �� ����� � � � ��� � ��� ����� ���� ��"� ��� ��

����� � �� � � � �� ���� ��������� ��� � ������I����� � ��� �� ������

��$��� ����� �� �� � � �$� 8 ������ !�� �� '##19�&2 ��N�� ���

������� ������ ����� ������ �� ��� �� �� ���� D�������� � � ����� ��� � ���

�� ����� ��� �� � ������ ����� � F �� = ���� �� �� �� *,%��� �$� ������ �

� ��! �� �� � � ��� � � ���� �� ���� �� �$� �� �� � ��D "��� ���� ��� ��

����� � ������ ' �� �� ����%�� ���� �� ����� !�� ��� � ��D� �� �$

�� ���� ���� ���� � � ����%��D��

����� ��� ��� �������� � � ������������� ��������� � �� ��� !��D� ����� � ����

������ �������� �� ���� ����� ��� �� �� � � �� ����� �� ����� � ��� ����

)������ � � ���� � ,00*+� ���� �������� ��������� � ��� ��������� ����!�

*� 9������ ��� ������� �� ����"��� � ��� �� ����"� ����� �� �"� !�� ��� ��� ��

����� �� ���� ����"� ����� ��

,� 8 �� �������� � ���� ��� � �� ��"� -������( ������������ !��� �� �$����� �����%

�/���� �� ���� ��� �� ��� ��������� � �� ��� ��� ����� �� ����� ��

������ ��� � ��� � �� ����� �/�� ���������� �� �� ��"� ��� � ������ ��� �H��

��� �� ������ 8>N � ����� � �� ������"��

<� .���� � ���� �� ������ �� ������ "� ��� �� ��� �� ������"� �� ��� � ��� � �

���� � ���� �� ��������� � �� ��� ����� ���

*3.3 +��������( ��� &�(����( & �&�(���

��� ����� ���� ��� ��� ����� !��� � !���� ����� ��� ���� �� D ������� ��

��� ��! � ������� ������� � �� ����� �� ���!����

� �� ����� �� ���(� ����� �� ��� �� � �� � �� ����� � �� ����� �������4

� ��������� �� ������ � � ����� ��� �� ���(� ����� �� ��� ��� � �� ���� � �����

������ �� � ��� � �� ��� � ����� � !���� �� ���� � � ���� �� ����� �� ���

�� � �� � ������ !�� �� ���4

� �$ � � �� � ��� �� � ���%������ � � �"�����D�� ����� ��� ����� � ��� ���

��� '##19�&2 ��N�� ��� !�� ���! � �� ������"� � � �� � �����"� � ��� ��

����"� ������ � � ��D� � ��@��� ���� ���� ��� �� � �� ���� ������ �����

)� � �������� � "��� ��� �� ���� ���"��+ �� ��� ������� ���� � �� /�� ������

����� / �� �� ��"� �������� ��������� � ��� "������ �"��� D� � �� ����� �� � �����

!�� �������

23 1��� �� �3 4 +������� ��� ��������( "# 5�!!�6 "")7"#!*<F

Page 19: MIT Media Lab: Affective Computing Group · 2004-08-15 · ˘ ’ 2 " ˜ ˛ *77; 6 ˜ 2 ˜ . ,*)

� �� ����� ���� ����� ���� ������� � � ����� ����� � �������� � ������ !�� �

� ����� ��� �� ��!��4 ���� � ��� -�� � ��� �� ��D(4

� �� / �� �� ���� ���� �� ���� !�� �� � ����� �� ����� ��� ���� ����� ���

������ !� � � ��D� � �� ����� ���� !�� � '##19�&2 ��N�� ��� � �����

�� !��� �4

� �� ���� �� � �����"� ����� ��� � �� ��D �!������� �� � ��������� (� ��

�����(� ������ )�� �"� ��� ��� ������+ ��� ��"� ������ ����� � ��� � �����

��� ���� ������� � �������� '������ ����� � �� �� ����� � ������� �����%

� � ���������� �� �D� � � � ���� D� � �� ����� ������� ��� ���� �������� �� �� � ��

�"����� � ��� ����I� ���� �� � ��� � ����� ���� �� �� �� ���� � �� ���� !��D

���� ����� �� ���� ��� �� �� �/ � ������ ��������� �� ��� �� �� �� ������

��������� ��������� ��� ����� �"� �� ����� ���

- ������ ���������

N � �� �� ������� � � ��� !��D �� �� �� ����� ���� � �� ����������� � � ��

��� ����� ��� �� ������ � ���"��� ������ �� ���� �� ������� � �� ����� �

�� ����� �� ���� � � ��� ��� ���������� ��� � �� �$������ � �� ��@��� � ����

� � ����� �� � ���� ���� ��"�� �� ������� � N � �� ���� ����� � � ��� �� ��

��� ���� �������� "�� ����� !�� �� �� ��� !�� ���������� � � ������ !����� �

23 1��� �� �3 4 +������� ��� ��������( "# 5�!!�6 "")7"#! *<C

#��� <� ��� ���� �� ��@��� ������ ���� ,� �� ����� �� ��� � � 613'�>BN 613'� �� ���� � )��@���

���� ���� ��� *=0� �� *,00 �&<&,0 �� +

Page 20: MIT Media Lab: Affective Computing Group · 2004-08-15 · ˘ ’ 2 " ˜ ˛ *77; 6 ˜ 2 ˜ . ,*)

�$����� ��� �� �������� 5�!�"��� �� �� ��� !��� ������� � �� ���%���"� � ����� �� �

� �� ���(� ����� � � !��� ��� ���� ������ � � ���K� �� ���(� �� �$ � � ��D�

�������� � � �>�� H����� � �� ��� ��� ��� ����� �� ���� �� �� ���� � ����� ��� ��

���(� ����� �� �$������� �� '����� ���� ��� ���� �� ��� � � ������ � ��� ��

�������� �!��� ��� ���� )���� ��� ������ ��� � ������� *77C� � � � �� ����� �� �����

�� 2������� � ���� ,00*+� �� � � ����� � �� � ���� ��� ��� !��D�

9������� !��D ����� � � �� �� � � ������ � !���� ����� � � �� �� �����

����� %����� ����� ��� ��� ������"�� !���� � �� ��� ���� ��� � � !���� � ��

� ���� ���� ����� �����"� �� ������"� ��� �� � '##19�&2 ��N��%���

��� � 8� �� ���������� � �������D �������� � � ��/��� � ����� ������"�

�����G '�� ��� ������ � � ������� ��H���� � ��� �� ������"� ���G

���� ���� �� � ���� ��� �H� �� ���� ������"� � ����"��� � ������ �

����� �G 6��� � ����� �� ���� �� ��� �� �� ��� (� ������"� ��� � ��D�

���� �$����� �� ������(� � ������ � ���� ������� �� ���� ������"� ����G

6��� � ����� �� ��� (� ������"� ��� � ��D� ���� �$����� �� ���� �� ��

������ ����� �� �� ������ ����� � � � �� � ����"� ��� ����� �� )�� ��� ��

����� � �� � ����+ �� �� ���� ��!�� �� ��� )� � ���� ���!��� ��

!���� � �� � ���+ � � �� ��� ����� ���G 6��� �� ���� �� �� � �������

���� ����� �� �� ��� !��� �"� ���� ����� ��� ���� �� ���� �� �� ���� ��

���� �� ����� �����"�� �� �� '##19�&2 ��N�� ��� G ' � ��! �� ��� ����

"��� !�� ��� ����� ����� ������� ��� ����� � � � ���� ����� �� ����G

8 �� �$������ � �� '##19�&2 ��N�� �� ���� !�� ���! � �� ������"� �

�����"� � ������� � �� !��� �� �� �"����� ����"� ����� ��� �� ��@��� �!��� ��

����� �� ���� ������� I�� ������� ���� ������ ������� !���� ��@��� ��� �

D �!����� �� �� ��� (� �$��� ��� �� ����� �� �� ����� ��� �����"� � �� ������ 8

����� � � �� ��� �� ���� !��� ����� ��� � ��� !�� ��� D �! ��� �� ���

�������� �� �� �� ��� �� � ���� �� � ��� ����� ������ ����� �� � "������� � ���

��� �� ��� ��� � � ����H� "����� � �� ��

�����.(� ��'����

�� !��� ��D� � �� D 9������� B��� � � 2����� ��D�� ��� ���� ���� �� � � �� ��%

��� � �!��� ��� !��D� �� ����� ���� ��D� � �$� � �� D� � ������ ��������

2������� ��� ��� ���� � � ��� �$������ �� ����� � �� !���� ���� �� ��� !��D ��

������ � � � ��� #�� � ��K� ���� N���� � � ����� �� ����� ��� ���� ����� � �

������ ����� ��

&���������

'����� '�� *77,� #������ ������� 9�������� �"����� ������ 9� ����

.���K���� 9�� *77=� ������ � ��� &���� � ������ �� � -����� �(� -���"��( � � ������ �$������� ��

����� �� � '� ���� '�� � *77= !��D���� -'�� � � 8 ������ I'�H��� � 9����� �� �����

8����� -� �� �������>2 ���� ����

23 1��� �� �3 4 +������� ��� ��������( "# 5�!!�6 "")7"#!*<=

Page 21: MIT Media Lab: Affective Computing Group · 2004-08-15 · ˘ ’ 2 " ˜ ˛ *77; 6 ˜ 2 ˜ . ,*)

.�� � � ��'�� 2��"��� ����� *77;� 6��� ��� � �� ��� ������ � ����� ������� � � � ���� �� ������ ����

� ��� � �� ����� ���� � � 2����� ���������� .���� ,* )<+� ,FC&,=<�

9�� K���� 2���� E��� !���� E�� *77:� 1$���� ���� ��� ����"� ���� ������� � ���� � � � ��������� ��� �

������� ��� �� ��� �� �� 9� ���� � ���������� :* )*+� <:&::�

9������ ��3�� #�� �� ����� ������� ��� ����� ��� *77;� 6�� D� � � ������ �����"� � � ����"� ����� �� �

���"��� �� ����� �� ������� ��� F7 F7 );+� 770&*00;�

1����� 9�� *77,� ��� ������"� ����� ��� � ������� ����� �� ����� � � � ���%��� ������ ��6 �������

B���!���� �"������ ���� ��� 8 ��� ��� 3��� � � 2��� ���� ���� ���� ����� T<,�

#����� � ����� Q����� � E�1�� *7=C� ������� ������� �� ����� � :0%���� ���� 8 � ' ����� � 1���� 9������ .���

)1���+� ��� 8 "� ������ 9����� E������ ������ B�! ���D�

#���� .���� B���� 9�8�� *77C� 2����� ������� �� �� ������ �� ������� �� R���� 8 �� ��� �� ��� �� ��

5�� %9����� 2�����

#���� .���� B���� 9�8�� *77C� 5�! ���� ���������� � �������� � �$������ �� ���� ����� ����"���

��� ��� �������� �� �� '9�958 7C 9� ���� �� � 5�� #����� � 9���� � 2������ "��� ,� � ��� <<*&

<<,�

E����� � 6�� *77;� 1���� �� 8 ������ ��� .� �� .��D�� B�! ���D�

E���� � ��� *7C0� �1�� ���� 1�����"� ��� ���� � �� ���� .��D� )B�! '������ 3������+� B�! ���D�

E����� ��� � O�K� ��#�� *77;� 1���� ������� � � �� �� ������ 9�� ���� ���������� 2��� �� � � ������� ,

),+� *;*&*F:�

8�D��� �� )1��+� *77C� 1������ '������� E������ ������ B�! ���D�

8�� � '���� 6���� � ��'�� B�!��D�� E���� *7=C� �����"� ����� ��������� �����"� ������� ���"� �� ��� �� ��

����� ���� � � 2����� ���������� ;, )F+� **,,&**<*�

8K���� 9�1�� *77<� #�� ������ ��� ����� ���"��� � 9�� ��"� � � � ��� ��"� ���������� �������������

��"��! *00 )*+� F=&70�

�� D�� ��� *77<� �� ���� ���� � ����� � � ���� 9����� ������ ���� �� ����� *, ),+� <F�

���� � ��� *77:� ��� B��� �� �� 9����� �� � ' �"������ 1���� � .���� .��D�� B�! ���D�

��� ��� � 6�� *7C<� '����� � � �� �� � '� �� � � '����� ��� ��� 5���� 1 ���!��� 9������ B�� ��� ,=&:7

9�� <�

���� ��� 2�� *77=� ����� ������� � � �� ��"������� !�� ��"� ���� ������ 2�������� ��� *<=�

�������� 2�� B���� ���� ���� )1���+� *77:� 5���(� 1��� 1���� �� 8 R� ��� � �������� � � '� �� �

'������� ������ B�! ���D�

���� � ��� *777� 9����� ����� �� � ��� #������ � �8� �����(� ������� �� ����

3�6�$� ��1�� *77:� 1���� � ������ � � �� ���� � 2��� �/� '������ � �� ;0&;C�

3�!��� Q�1�� ��������� ��B�� *7=7� ����%�� ��� "�� ����%���%���� �� ���� � �� ��������� � ��� � "��!

�� ����� � 8 � ��D� � 6� )1��+� ���� � � ������� ������� ��������� � � '�������� �� Q���� : ��

2������ 8��� �� �� ��� �� �� 2����� .���"��� � � ����� ���� ),+� *;C&*C*�

�������� � '�� *77;� ������ � � �"��� �� ����� � � � ����� �� ��� ����������� 9��� ���������� *: )*+� :&,=�

��� � ��� B���� 9�8�� *77F� 5�! -����( ��� ������ ����� ������G ������������� ����� ��� � ����� ���� ����

� ��� &������ � ������ � 9��� ����� �������� ,< )F+� F;*&FC:�

���D��� ��� ��� ��� 5�� B���� 9�� *77=� 1����� �� ���� � ������%������� ���� ����� � � ��� &

������ � ������ � 8 � �������� �� �� �� 9� ���� �� �� 5�� #����� � 9����� 2����� )9587=

2�����+� 958 7=� 3�� ' ������

������ 6�E�� *7=7� ����������� , � �� ���� ���������� B�! ���D�

B���� 9�8�� ��� � ��� 9�� ��� ��� *777� '�� ������ ����� � �������G ����� ��� � ������%����� � ��%

"��!� � ������� ��� �� �� '������ 2����� ���������� ,7 );+� *07<&***0�

B���� 9�8�� #���� .���� ��� � ��� ,00*� 9� ������� �� �������G� 8 �� ��� �� ��� �� �� 5�� %9�����

2���� )� �����+�

B���� � 6�� *7==� ��� ���������� �� 1"������ ��� �� )��D��� ��� 6���� �� 1"������ ��� ��+� .���� .��D��

B�! ���D�

B�� � ����� 5��"���� � 5�� *77;� ���� � �� ������ �� ���"� ���� � �� �������� � 2����� ���D ������� ;

),+� *;,&*C;�

N����� ��� 6 �� � 1�� *77:� ��� �$����� �� �� ����� � � �"������ ����� 9�� ��� � � 1���� = ):+� <F7&

<=*�

������� ����� *77C� '�����"� 9���� �� �8� ������ 9��������� �'�

23 1��� �� �3 4 +������� ��� ��������( "# 5�!!�6 "")7"#! *<7

Page 22: MIT Media Lab: Affective Computing Group · 2004-08-15 · ˘ ’ 2 " ˜ ˛ *77; 6 ˜ 2 ˜ . ,*)

������� �� ��� ���� � ��� ,00*� 9������ �� ����� ��� � � ����� � � ��� ����� � ��������� � � ��������

��������� �� 8 ��� ���� �� 8 ����� � !�� 9�������

������� ��� ������� ��� 2����� 5�� .� �� � 6�� 5���� �� 2�� 9����� ��� *77:� 5�� &9����� 8 ������ �

'����� %������� B�! ���D�

���D� � ��� ������� 9�� *77;� ����� %�� ���� ������� 8 � 9���� �� ����� ����� �� 6� )1���+� 9��� ����������%

����� ;� ��� #� 1� ������D ���������� 8 �� 8����� 83�

���"��� .�� B���� 9�8�� *77F� ��� ����� 1H��� � 5�! ������ ���� 9������� ����"���� � � � B�! �����

3�D� ���� ������ � � ������� 9�������� �"����� ������

2���������� .�� ,00*� 8����� � � ����� ���� �� @�� �� �� � � ��"������ �� ����� ��� ����� � ������

�D���� � � ��� ��� ����� �� ������ �� ��� �� � 2��� ���%Q����� �������

2�������� ��� #�� � ��K� ��� ���� � ��� ������� ����� ,00*� #����� � �� ��� � ������� � ��� �!��� ����� �

� ������"� ������� 8 ��� ���� �� 8 ����� � !�� 9�������

2����� 2�� *77C� 5�! � ��D� � ���� ������ �8� ���� ����� ��"��! *00 )C+� *:�

2����� � 1�� *77=� ��� �� � ������ �� � ��D� � �� ����� ���� � � ������ ����� !�� '������ .�� ��� 8 �

�������� �� �� �� 9� ���� �� �� 5�� #����� � 9����� 2������ 958 7=� 3�� ' ������

���D� �� 2�2�� *7F,� '����� 8������� 9� ����� ���� "����� * V ,� ��� �����"� '����� � � ��� B����"�

'������ 2��� ���� B�! ���D�

����� B�� B�D��� ��� *77F� 3���%��D� ���� ����� ��� I����� %�� �� � �������� -�89( � � ����� �

������ �������� -� 21(� 8 � �������� �� �� �� *77F 8 �� ��� �� 9� ���� �� � �������� 9���� �

� � 2����� )�������� -7F+�

��D��� 2�� *77;� 3��� � �� 2���� � 2��� V 2������ B�! ���D�

Q����� � E�1�� *7CC� '������ � 3���� 3���� .��! � .��� �

���K� ���� ��� *7FF� ' ������ ������� ��� �� ��� �� ���� �� ���� ���� ����� ��!�� �� � �

����� �� 9��� ����� � �� �� '�������� �� 9���� � ����� ��� 7� <F&:;�

�� ��� .���� .��! � 6���� �������� ����� *77*� 2������� ��� ������ � �$������ �� ����� � <�� ��� ��E��!%

5���� B�! ���D�

J�@� �� ��.�� *77=� 1���� �� 8 � #������ 6���� #��D�� 2���� 3� �K��� E� )1���+� ��� 5� ����D �� 2�����

����������� :� ��� ��� 5� ����D �� 2����� ����������� "��� *�� ��� ;7*&F<,�

23 1��� �� �3 4 +������� ��� ��������( "# 5�!!�6 "")7"#!*:0