聞き手の非言語的反応と協調的アノテーションに基づ

くミーティングキャプチャシス

テム京都大学大学院情報学研究科勝木弘，角康之，西田豊明

はじめに

ミーティング–知識交流や新たな知を創造する重要な場–記録・構造化による知的活動支援

• 参加者への負担、制限が厳しい• 話し手の発話内容や振る舞いに注目

参加者の非言語インタラクションと、メモや書き込み

といった聞き手の行う協調的アノテーションをもとに、

ミーティングの知識コンテンツ化をおこなう

実世界会話場

DB 支援システム

会話記録

知識コンテンツ化

・会話シーン認識・インデクス付与

提示・支援

3

ミーティング

システムの流れ

獲得する非言語行動

• 視線検出、顔認識– 全方位カメラ or カメラ　＋顔認識ソフトウェア OKAO VISION

• 音声検出 －環境マイク

• うなずき検出 －加速度センサを利用

• 本棚，ホワイトボードの利用 • 協調的アノテーション– Photochat で行われる写真撮影や書き込み

4

Photochat による協調的アノテーション

• 写真撮影・手書きメモ機能• リアルタイム共有• 写真上での仮想的な会話

[ 角 et al. 08]

⇒ 参加者の興味や感心を反映

◯◯◯について

・ xxxxxxx・ vvvvvvv・ tttttttttt

スクリーン俯瞰映像用

参加者撮影用

本棚監視用

ホワイトボード

ホワイトボード監視用

・・・・・・

加速度センサ

PhotoChat

全方位カメラ・マイク

本棚

俯瞰映像用

俯瞰映像用

俯瞰映像用

ネットワークカメラ

視線　　　うなずき　　発話　　

カメラアレイ

全方位カメラ 加速度センサ マイク Photochat

マスク処理

顔認識

顔追跡

3 次元ベクトル化

正規化

首振り検出

ノイズ除去動作検出

非言語インタラクションパターン検出

同期処理

操作抽出 文字認識

キーワード抽出パターン分類

知識コンテンツ化

会話シーン認識

フレーム補完

システム構成図

発話区間検出

映像圧縮

協調的アノテーション

非言語行動の検出－視線－

• 全方位カメラ Ladybug2• OKAO Vision による顔認識・視線方向認識• 顔追跡とエラー訂正処理• 2 次元情報→ 3 次元上の顔の位置と視線方

向

　 1024( ピクセル )

　 2048 ( ピクセル )

Ladybug2

全方位カメラ

非言語行動の検出－うなずき－頭部につけた加速度センサからうなずき動作を検出

する

9

加速度の二乗和

分散

1. 加速度センサの傾きを補正2. 鉛直方向の動きを窓幅 600 ミリ秒で分散をとり，抽

出する3. 首振り動作以外の動きを除去する

－顔方向を変える動作

首振り動作区間

顔方向を変える動作

垂直方向の動作区間

[斎賀 et al. 10]

非言語行動の検出－その他－

• 発話テーブル中心に設置した環境マイクの音声から発話

区間検出

• 協調的アノテーション撮影、書き込み、閲覧といった操作操作パターンなどによる仮想会話の分類

• 本棚、ホワイトボードの利用カメラ映像の差分による行動検出

知識コンテンツ化：会話シーン認識• 再利用性の高い重要シーンの獲得

– 再利用性の高いシーンを得るには参加者の意図に沿うことが重要

– 非言語情報から会話の状況や参加者の意図を掴む– 意味情報までは踏み込まない（キーワード単語の利用程度）

・参加者間の非言語インタラクション– 発話交替、視線集中，うなずきの同期，…

・参加者のつける意味的アノテーション– メモ・写真情報＋それを書き込む（撮る）という行為

特徴的な会話シーンの獲得11

知識コンテンツ化：インデクス付与

　会話シーンのもつ情報インデクススライドやメモから得たシーンに出てきたキーワード会話状況

– 話題転換や盛り上がり、注目が集まっているなどの特徴的な会話状況

非言語インタラクション協調的アノテーションミーティング・参加者情報

これらのインデクスを利用してミーティングの構造化や、現在の状況と照らし合わせた提示を行う

まとめと今後

参加者の非言語インタラクションと、メモや書き込みといった協調的アノテーションをもとに、知識コンテンツ化をおこなうミーティングキャプチャシステムの提案

• 記録したミーティングを分析して会話シーン認識のモデルを構築し知識コンテンツ化を行う

• 日常的に運用し、有用性を確認する

まとめ

• グループ内の知識流通サイクルを実現する– ミーティング，立ち話，本棚周辺における会話の獲得– 非言語情報を用いた重要シーン切り出し– 会話シーンの関連付けによるメタ構造の導入– 有益な会話の促進や知識共有のための提示システム

• 研究室内において日常的に運用することで，グループ内における知識流通が促進される　ことを確認する

19