2019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST 1...13 /28...
Transcript of 2019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST 1...13 /28...
/281
2019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
/282
意図した行動を促す対話
2019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
掃除を促す説得
説得者の感情表現に着目
/283
→ [Morris 2000]
→ [Forgas 1998]
→ [Sinauar 2006]
2019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
ユーザの発話を基に次の感情状態を決定
感情表現の使い分けが必要
/2842019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
[ 2018]
用例文の検索
・説得性と自然性が低下
→ 応答候補数が減少
/2852019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
Neural Conversation Model (NCM)
言語モデルに感情を反映 [Ghosh 2017]
雑談対話システムの応答生成に感情表現を導入 [Zhou 2018]
( )
( )
説得のタスク(掃除、就寝などのドメイン)において
感情ラベルを用いた応答生成モデルの学習が困難
言語モデル上の自然さが優先される傾向
説得対話発話生成における感情ラベルの反映方法を提案
/286
目的に合った説得内容
選択した感情の表現を含む
2019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
入力
説得対話において感情表現を反映した応答文を生成
入力出力
入力で与えた感情を反映した応答を出力
/287
2019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
/288
( )
Russell [Russell 1978]
1
2019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
/289
[Luong 2015]
RNN Gated Recurrent Unit (GRU) [Cho 2014]
感情ラベルを入力
2019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
ℎ1𝑒𝑛𝑐 ℎ2
𝑒𝑛𝑐 ℎ3𝑒𝑛𝑐 ℎ1
𝑑𝑒𝑐 ℎ2𝑑𝑒𝑐 ℎ3
𝑑𝑒𝑐ℎ14𝑒𝑛𝑐
[Li 2016]
/2810
感情の単語を予測
感情の反映度向上を期待
2019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
ℎ1𝑒𝑛𝑐 ℎ2
𝑒𝑛𝑐 ℎ3𝑒𝑛𝑐 ℎ1
𝑑𝑒𝑐 ℎ2𝑑𝑒𝑐 ℎ3
𝑑𝑒𝑐ℎ14𝑒𝑛𝑐 ℎ4
𝑑𝑒𝑐
#ANG
#ANG
出力の末尾で感情ラベルに対応した単語を予測
/28112019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
/2812
雑談対話コーパス
説得対話コーパス 全トピック
説得対話コーパス 1トピック
2019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
2,823,875 2,292 2,326 2,180 2,155 2,219 11,172
/2813
感情ラベル付き説得対話コーパス [ 2018]
2019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
ラベルごとにペア数の偏り大
→
オーバーサンプリング
多
少
525 716 829 682 813
550 422 481 602 326
598 504 388 436 396
246 380 163 143 380
33 56 107 46 56
340 248 212 246 248
2,292 2,326 2,180 2,155 2,219
/2814
感情の反映度の評価
( )
説得の効果の評価
( )
応答の自然性の評価
( 5 )
54 ( 19 35 )
→
2019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
/2815
(
)
2019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
1 2 3 4 5
( 5段階評価 )
感情反映
説得効果
応答自然性
説得に効果的だと思いますか
どのくらい自然な応答だと思いますか
「悲しみ」の感情表現と捉えられますか
/28162019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
/2817
(1/3)
2019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
0.850
0.932
提案モデルのほうが出力文が変化した割合が高い
/28182019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
ベースライン
提案モデル
ベースライン
提案モデル
ベースライン
提案モデル
ベースライン
提案モデル
ベースライン
提案モデル
目標感情を入力した応答
0.589 0.515 0.407 0.322 0.500 0.696 0.115 0.296 0.403 0.457
「平静」を入力した応答
0.222 0.152 0.141 0.078 0.100 0.037 0.226 0.211 0.172 0.120
0.026 0.067 0.041 0.030 0.070 0.063 0.067 0.070 0.051 0.058
0.163 0.267 0.411 0.570 0.330 0.204 0.593 0.422 0.374 0.366
• 目標感情全体の場合は向上• 「怒り」「悲しみ」の場合はやや低下 「喜び」「安心」の場合は向上• 誤識別された割合が低下
(2/3)
選択肢
( ) モデル同士の比較
/28192019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
怒り 悲しみ 喜び 安心 全体
ベースライン
提案モデル
ベースライン
提案モデル
ベースライン
提案モデル
ベースライン
提案モデル
ベースライン
提案モデル
目標感情を入力した応答
0.589 0.515 0.407 0.322 0.500 0.696 0.115 0.296 0.403 0.457
0.222 0.152 0.141 0.078 0.100 0.037 0.226 0.211 0.172 0.120
0.026 0.067 0.041 0.030 0.070 0.063 0.067 0.070 0.051 0.058
どちらも目標感情らしく
ない
0.163 0.267 0.411 0.570 0.330 0.204 0.593 0.422 0.374 0.366
• 「安心」の場合以外は0.25以上• 「怒り」と「喜び」は半数以上の被験者が正しく識別• 「悲しみ」と「安心」は識別が困難 「平静」
(3/3)
( ) 感情同士の比較
選択肢
/28202019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
0.422 0.593 0.463 0.226 0.407 0.426
0.507 0.574 0.556 0.319 0.396 0.489
モデル同士の比較• 提案モデルの方が比較的高い
感情同士の比較• 感情を用いた場合(全感情)の方が高い• 「安心」以外の感情については半数以上が「説得に効果的」と回答
( )
/28212019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
モデル同士の比較
•
感情同士の比較
•→ 中程度の自然性
( 5 )
3.270 3.333 3.170 2.626 3.023 3.100
3.181 3.504 3.060 2.667 3.332 3.103
/2822
• 提案モデル > ベースラインモデル
• 「怒り」「喜び」は識別率が高いが
「悲しみ」は比較的低く「安心」は低い
• 提案モデル > ベースラインモデル
• 感情を用いる場合(全感情) > 用いない場合(平静)
• 「安心」以外の感情は半数以上が効果的を選択
• 提案モデル ≒ ベースライン
• 「安心」以外の感情は中程度
2019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
感情の反映
説得の効果
応答の自然性
/2823
(1/3)
2019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
0.056
食べましょう‼Aさん‼Aさん?‼Aさん‼‼
0.278
0.056
ご飯を食べてくれた人の気持ちを考えて食べてくれると嬉しいよ!
0.667
「!」の利用による感情識別への影響 「嬉しい」などの典型的な単語による影響
/2824
(2/3)
2019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
0.050
部屋が汚いのは健康に良くないですよ 0.500
0.400
大丈夫じゃありませんよ! 0.150
• 健康に良くないですよ 感情を連想するフレーズがある
• 変化が少なくテキスト情報だけでは判断しづらい• 感情を連想できるフレーズがない
/2825
(3/3)
2019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
0.111
そうです。Aさんのために栄養不足を考えてしまいます!
0.167
0.389
でも残さずたべましょう。 0.056
• 典型的な単語を想像しづらい• 平静と混同されやすい感情である
/28262019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
/2827
感情ラベルによる制御性と説得性の向上を示唆
2019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
/2828
音声・ジェスチャーなどの表現方法の利用
感情表現の制御
発話内容や対話行為の考慮
2019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
/2829
Appendix
2019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
/28302019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
「悲しみ」で生成
「平静」で生成
正しい識別
/28312019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
「悲しみ」で生成
「平静」で生成
正しい識別
/2832322019/5/7 2019©Sara Asai, AHC-Lab, IS, NAIST
正しい識別
「怒り」で生成
「平静」で生成
/2833
BLEU
0.944
0.772
0.897
2019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
/2834
2019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
正解データの感情を入力した場合
「平静」が正解データの場合
他の感情が正解である場合
ベースライン 0.447 0.353 0.408
提案モデル 0.486 0.414 0.472
→ ユーザ発話の内容によって、入力感情の識別される度合いが変化している
/2835
0.430 0.366 0.426 0.352 0.417
0.454 0.407 0.648 0.560 0.292
2019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
/2836
Reference
2019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
[Morris 2000] Michael W Morris and Dacher Kelner: How emotions work: An analysis of the social functions of emotional expression in negotiations.Research in organizational behavior, Vol. 22, pp. 1-50
[Forgas 1998] Joseph P. Forgas: On feeling good and getting your way: mood effects on negotiator cognition and bargaining strategies. Journal of personality and social psychology, Vol. 74, No. 3, pp. 565-577
[Sinaceur 2006] Marwan Sinaceur, Larissa Z Tiedens: Get mad and getmore than even: When and why anger expression is effective in negotiations. Journal of Experimental Social Psychology, Vol. 42, No. 3, pp. 314-322
[石川 2018] 石川葉子, 水上雅博, 吉野幸一郎, Sakti Sakriani, 鈴木優, 中村哲: 感情表現を用いた説得対話システム, 人工知能学会論文誌,Vol.33, No.1, pp.DSH-B 1-9
[Ghosh 2017] Sayan Ghosh, Mathieu Chollet, Eugene Laksana, Louis Philippe Morency and Stefan Scherer: Affect-lm: A neural language model for customizable affective text generation. Proceedings of ACL, pp.634-642.
[Zhou 2018] Hao Zhou, Minlie Huang, Tianyang Zhang, Xiaoyan Zhu and Bing Liu: Emotional chatting machine: Emotional conversation generation with internal and external memory. Association for the Advance of Articial Intelligence, pp. 730-738
/28372019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
[Russell 1978] James A Russell. Evidence of convergent validity on the dimensions of affect. Journal of personality and social psychology, Vol. 36, No. 10, p. 1152
[Luong 2015] Minh-Thang Luong, Hieu Pham and Christopher D.Manning: Effective approaches to attention-based neuralmachine translation. Proceedings of EMNLP, pp. 1412-1421 (2015)
[Kudo 2018] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. Proceedings of EMNLP, pp. 66-71 (2018)
[Kingma 2015] Diederik P. Kingma, Jimmy Ba: Adam: A method for stochastic optimization. Proceedings of ICLR
[Cho 2014] Kyunghyun Cho, Bart van Merrienboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk and Yoshua Bengio: Learning phrase representations using rnn encoder-decoder for statistical machine translation. Proceedings of EMNLP, pp. 1724-1734
[Nakamura 2019] Ryo Nakamura, Katsuhito Sudoh, Koichiro Yoshino and Satoshi Nakamura: Another diversity-promoting objecttive function for neural dialogue generation. AAAI 2019 Workshop on Reasoning and Learning for Human Machine Dialogues(DEEP-DIAL 2019)
/28382019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
[20] Yonghui Wu and Mike schuster et al.: Google's neural machine translation system: Bridging the gap between human and machine translation. arXiv:1609.08144
[21] Kishore Papineni, Salim Roukos, Todd Ward and Weijing Zhu: BLEU: a method for automatic evaluation of machine translation. Proceedings of ACL, pp. 311-318
/28392019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
[Kudo 2018]
( ITF loss : Inverse Token Frequency loss)
[Nakamura 2018]
[Nakamura 2018]
[Wu 2016]
•
•
•
256
2
64
0.1
1.0
Adam
3e-4
3e-6
ITF loss
[Kingma 2015]
sentence piece
32000
64
0.1
/2840402019/5/7 2019©Sara Asai, AHC-Lab, IS, NAIST
0
0.2
0.4
0.6
0.8
1
1.2
1.4
1.6
6 32 64 96
BLEU(テストデータ, 出力文)
BLEU(平静, 感情あり)/10
違う文を出力した割合(平静, 感情あり)
感情ラベルの分散表現のサイズ
/28412019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
[ 2018]
/2842
[Hiraoka 2016]
説得成功
満足度向上
2019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
販売員と顧客による対話
対話数:340 対話行為タグ(GPF) 対話のフレーミング
目的の商品(A~E) 内容
(Positive/Negative)
/2843
(1/2)
2019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
Classifier(Accuracy)
Naïve Bays Logistic Regression
SVM Random Forest
チャンスレート
掃除 0.32 0.33 0.33 0.34 0.26
運動 0.42 0.43 0.43 0.43 0.37
食事 0.41 0.42 0.40 0.41 0.33
ゲーム 0.36 0.36 0.37 0.36 0.32
睡眠 0.44 0.44 0.45 0.45 0.38
全ドメイン 0.39 0.39 0.37 0.39 0.32
• チャンスレートより高いスコア
• 感情を明確に表していない学習データが多く分類が困難
感情分類器の作成(bag-of-words, using scikit-learn)
/2844
(2/2)
( MLP )
2019/6/14 2019©Sara Asai, AHC-Lab, IS, NAIST
Accuracy(valid)
チャンスレート
cleaning 0.51 0.26
exercise 0.44 0.37
lunch 0.53 0.33
game 0.46 0.32
sleep 0.57 0.38
all 0.44 0.32
平静 怒り 悲しみ
喜び 安心
平静 49 21 32 4 0
怒り 8 18 8 2 0
悲しみ
9 6 25 0 0
喜び 3 0 0 6 0
安心 0 0 0 0 0
Validation confusion matrix(cleaning)Correct labels
pred
icted lab
els
bag-of-wordsより精度が高いが、5割強では不十分である