WordPress.com - 対話システムのあるべき姿 · 2019-03-19 ·...

Copyright©2019 NTT corp. All Rights Reserved.

対話システムのあるべき姿

NTTメディアインテリジェンス研究所

NTTコミュニケーション科学基礎研究所（兼務）

東中竜一郎

2019.3.3 第2回自然言語処理の中長期研究構想を論じる会

★NTT研究所では対話研究者を募集しています！

2 Copyright©2019 NTT corp. All Rights Reserved.

自己紹介

2001年~ NTT入社メディアインテリジェンス研究所主任研究員（上席特別研究員）関わったプロジェクト／サービス

• 「しゃべってコンシェル」におけるQ&A機能 • 雑談対話システム（雑談対話API） • マツコロイドの雑談機能 • 「ロボットは東大に入れるか」の英語問題（東ロボ）

※阪大石黒研究室との共同研究


アウトライン

①対話システム・雑談対話の研究

②対話研究のトレンド

③対話システムのあるべき姿


アウトライン





対話システム

• 対話 • 自然言語で情報の授受（を繰り返すこと） • それにより自身・外界に作用を及ぼすこと

• 対話システム • 人間と対話するシステム

• 対話システムの類型 • タスクの有無（タスク指向型，非タスク指向型） • 人数（一人，二人，多人数） • モダリティ（音声，タッチパネル，ジェスチャ） • 主導権（システム，ユーザ，混合主導） • 身体性（バーチャルエージェント型，ロボット型）


対話システムの例

しゃべってコンシェル Siri Alexa Pepper

https://www.nttdocomo.co.jp/service/shabette_concier/ https://www.apple.com/jp/siri/ https://developer.amazon.com/ja/alexa https://www.softbank.jp/robot/pepper/


動画（タスク指向型対話）


非タスク指向型対話（雑談対話）

メディアの等式 • 相手がシステムであっても人間のように振る舞ってしまう • 「たけまるくん」への入力の半分程度は雑談 • 実サービスにおいても同様の傾向

https://www.youtube.com/watch?v=3-JWN6ZPezA

人間の対話の 6割以上が雑談

（国語研による調査）


雑談における多様な話題

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

旅行

料理

映画

お酒

音楽

趣味

スポーツ

ゲーム

秋

暑さ

天気

海外旅行

雨

気候

カレー

ペット

京都

テレビ

沖縄

犬

猫

漫画

子供

海

気温

北海道

車

ラーメン

ワンピース

夏

温泉

好きな食べ物

ハムスター

パソコン

スマホ

ドラマ

仕事

ライブ

ビール

好きな季節

外食

海外

水泳

スマートフォン

運動

自転車

食べ物

雷

ドライブ

動物

％（発話）

非常にロングテール


NTTの対話システムの構成

述語項構造解析

対話行為推定

焦点語（話題）抽出

質問応答インターネット上のコンテンツに基づく応答

無難な応答

ルールベースの応答

ユーザ

ユーザ発話

システム発話

次対話行為推定

発話ランキング

質問タイプ推定

対話状態

ユーザ情報構造化話題継続願望判定

発話理解部

対話管理部

発話生成部ブログ／ツイッター

ユーザ情報を用いた応答

http://www.aclweb.org/anthology/C14-1088


動画（ＳＯＴＡ）


アウトライン





最近の対話システム事情

深層学習

データセットコンペティション

「最近の対話システム事情～深層学習･データセット･コンペティションの観点から～」映像情報メディア学会誌 Vol. 73, No. 2, pp. 271～276（2019）

深層学習時代の研究サイクル

https://bit.ly/2TQN43D ここから読めます→


深層学習の適用

• 非タスク指向型対話

• 多様性

• 制御性

• 外部知識

• キャラクタの一貫性

• 文脈の一貫性

• タスク指向型対話

• 非タスク指向型と同様のアプローチだが生成対象にAPIコールを含める


データセット

データセットの名前対話数

DSTC2 3K

M2M 3K

MultiWOZ 8K

AirDialogue 400K

データセットの名前対話数

Persona-Chat 11K

DialyDialog 13K

WikiConv 91M

Reddit 700M

タスク指向型

非タスク指向型（雑談対話）

サイズ拡大

サイズ拡大


システム仲介によるタスク対話収集

M2M

AirDialogue

https://arxiv.org/abs/1801.04871

https://aclweb.org/anthology/D18-1419


発話生成の精度

※BLEU等は人手との相関が低いので人手評価のみ参照

(W. Zhang, COLING2018)

DSTC7: Track2

(G. Zhou, AAAI2017)

60%～70%適切結束性は3段階中2（3/5）


コンペティション

• データセットで評価 • DSTC7

• 発話選択

• 発話生成

• Video dialog

• 対話破綻検出チャレンジ

• 人間による対話で評価 • ConvAI

• Lost in conversation

• Alexa Prize • Gunrock

• 対話システムライブコンペ • tripfreak


対話の満足度

順位

チーム名ボット名平均点

1位 NTTCS tripfreak 2.81 （3.19相当）

2位 NTTdocomo marikoZatsudanBot

3.06

3位 teamzunko Zunko 3.48

ConvAI2

Alexa Prize ライブコンペ


tottoにおける深層学習の利用

• 深堀り質問生成

• 支持発話生成

0%

20%

40%

60%

80%

100%

言語モデルベース seq2seq 提案手法

正解率ユニーク質問率

言語モデル seq2seq 提案法

0%10%20%30%40%50%

1点 2点 3点 4点 5点

(片山ら,JSAI2018)

(光田ら,IWSDS2019)

約７５～８０%で適切な応答

※阪大・ATR・totto製作委員会との共同研究


アウトライン





対話システムのレベル

不定形タスクコマンド実行スロットフィリング

定型タスク

価値観の共有定型応答場の共有情報の共有

タスク対話

雑談対話

期待される進化

現状

レベル1 レベル2 レベル3 レベル4

データから最尤な発話を生成するアプローチ（再現性アプローチ）でレベル３に対応できるのだろうか？


レベル３以上には事実や意見の積み上げ

が必須


過去のデータに基づく再現性アプローチは新たに物事を創っていく積み上げに向いていない


再現性から創造性へ

創造性

再現性


関連エピソード

• エラー分析のワークショップ

• 「機械だけでなく人間もミスをするのでは？」

• 言語処理学会テーマセッション

• 「人間同士の対話はミスしても破綻しない」

• マツコロイドとの対話

• 発話が完璧でない方が対話は面白い

• 対話を創っていく（積み上げていく）過程が本質 • そのためにはどうすればよいのか？


対話を創っていく（積み上げていく）ためには

共通基盤が必要


共通基盤（相互信念, common ground）

• 複数の話者が共同するために共有する知識や信念 [Clark96, Traum94]

Bが知っていること

Aが知っていること

共通基盤

複雑なやり取り


対話システムレベル３に向けて

不定形タスクコマンド実行

単純タスク定型タスク

価値観の共有定型応答場の共有情報の共有

タスク対話

雑談対話

レベル1 レベル2 レベル3 レベル4

共通基盤

事実や意見の積み上げ


何に取り組むべきか

• タスク • コールセンタ

• 情報提供／物語

• 教育

• 交渉

• 議論

• 漫才

• 評価の仕方 • タスク評価

• 共通基盤の言語化，シンクロクイズ

• 共通基盤のモデルや表現方法

LV3

LV4


関連研究

• 共通基盤の提示 • 暗黙的確認 • フィードバック発話 • ユーザ情報の利用

• 共通基盤の構築 • 個人的なQAの挿入 • Image editing • 階層的RNN（HRED） • 分析用コーパス

(Sakai et al., SIGDIAL2018)

(Manuvinakurike et al., SIGDIAL2018)

(角森ら, NLC研究会)


対話システムのあるべき姿

共通基盤の構築を通して人間とともに創造する

WordPress.com - 対話システムのあるべき姿 · 2019-03-19 ·...

Documents

Transcript of WordPress.com - 対話システムのあるべき姿 · 2019-03-19 ·...