日本カメラの品質向上と輸出検査...日本カメラの品質向上と輸出検査 竹内 淳一郎 はじめに 日本カメラは 戦後初期の 安かろう 悪かろ
PCの前背面カメラを活用したARによる会話特徴量の可視化 · 2014-06-10 ·...
1
• T : ARToolKitを用いて計測 • T : 前背面カメラの位置関係が既知であることより定める • T : (株)オムロンのOKAO® Visionによる顔検出・顔姿勢 推定，物体の実サイズと投影サイズの関係のキャリ ブレーションに基き推定 • マーカから顔への座標変換行列 T = T −1 T T • テーブル座標系でユーザがどこにいてどっちを向いているか 計測できる • タブレットPCのマイク入力を利用し，閾値以上の音声が検出 されたときを発話とする • 発話しているとき／していないときの音声信号の二乗平均平 方根（RMS）の値から，あらかじめ閾値を定めておく タブレットPCの前背面カメラを活用したARによる会話特徴量の可視化 ○安達寛之，明神聖子，島田伸敬 立命館大学 情報理工学部 知能情報学科 対面での多人数会話において，人により発話の多寡があり，発話 の少ない人からの情報が提供されないような場面が考えられる． そのような人から情報を引き出すよう働きかけたい．そのため， 会話の活性化を目的とした，タブレットPCの前背面カメラを活 用し，会話の様子を定量的に可視化するシステムを製作する． 1.研究背景・目的 • システムの概要 • ユーザが囲むテーブル上にマーカを配置 • 前背面カメラを搭載したタブレットPCを所持した状態で会話 • 各ユーザの発話特徴量を取得 • サーバで発話特徴量を統合し，タブレットPCに可視化表示 • 個人の発話特徴量 • マーカを基準としたユーザの位置と顔の方向 • どのくらいの音量で発話しているか • 多者間の会話特徴量 • 個々人の発話特徴量を統合 • 誰が誰に 話しているか，およびそのこれまでの累積量 2.会話特徴量の可視化システム 3.発話特徴量の計測 タブレットPCの前面・背面のカメラを同時に使用し，マーカを 基準としたユーザの顔の位置と姿勢を求める． T= r 11 r 12 r 21 r 22 r 13 t x r 23 t y r 31 r 32 0 0 r 33 t z 0 1 マーカ ユーザ タブレットPC T T T T 4.会話特徴量の算出・可視化 5.会話特徴量の可視化の動作確認実験 • 精度評価（顔検出，マーカ検出，音量検出におけるノイズ） • 会話の活性化に向けた仕組みの妥当性・有効性の確認 • トップビューの可視化ではなく，背面カメラ映像への会話特徴 量の重畳表示 6.今後の課題 C B A Aの視線 ベクトル AからB へのベクトル AからC へのベクトル AB AC • うまく会話を進めるユーザ ほど得点が増加する • 一方的に話すだけでなく， 聞き手にも回る必要がある A B C A B C マーカに基づく背面 カメラ画像からの タブレットPCの 位置・姿勢推定 前面カメラ画像 からの顔検出・ 顔姿勢推定 発話 特徴量 会話 特徴量 ユーザごとに専用のタブレットPC サーバ Socket.IO Node.js • T :背面カメラからマーカ への座標変換行列 • T : 背面カメラから前面 カメラへの座標変換行列 • T : 前面カメラから顔への 座標変換行列 3つの座標変換行列を 掛け合わせる 回転行列 ＋ 並進成分 ユーザの位置と顔の向き 誰に対して話しているか A3-9 視線ベクトル と他ユーザへのベクトル の類似度を比較 類似度Sim = cos = ⋅ 最も類似している（Sim が1に近い）相手を算出する UserA UserB UserC (自分) ユーザ名 得点 視線 自分 （発話者） 発話音量 会話相手 会話を 示す矢印 会話の履歴（累積量） 話した 見ていた ユーザ • ユーザの位置を示す丸印と視線 を示す点線 • 誰が誰にどの程度の音量で話し ているかを示す矢印とメータ • 自分が相手に話した時間／見て いた時間の棒グラフ 会話の様子 可視化表示 計測結果等 背面カメラ映像 前面カメラ映像 可視化表示部分の拡大図 会話開始から1分後 • 各ユーザの位置や顔の向きがおおむね正しく得られている • 顔の向きの計測の誤差は水平方向に±2°程度 • 顔会話相手の算出ができており，会話履歴も記録できている 会話開始から3分後 会話の活性化に向け，会話へのゲーム性の導入例として，会話 に得点を設け，それを可視化することを考える．ユーザの会話 特徴量から，話したときの報酬 () ，話しかけられたときの報 酬 を設定し，その合計の時系列積分値を得点 とする． 会話特徴量の算出 会話特徴量の可視化 動作確認実験 会話の活性化に向けた仕組みの例 ユーザの位置・姿勢の推定 発話音量の計測 前面カメラ で 自分の顔を映す 背面カメラ で マーカを映す 音声を検出 サーバ 前背面カメラ を搭載した タブレットPC 各ユーザ視点の会話特徴量 会話相手の算出 会話の様子を トップビューで表示 1 1 0 1 話しすぎると減点される 全員の累積発話量 に対する自分の 累積発話量の割合 話したとき 0 話しを聞くと一定の報酬を得る 聞いたとき ユーザB ユーザC …… 該当なし 相手
Transcript of PCの前背面カメラを活用したARによる会話特徴量の可視化 · 2014-06-10 ·...
• 𝑏𝑐T𝑚: ARToolKitを用いて計測
• 𝑏𝑐T𝑓𝑐: 前背面カメラの位置関係が既知であることより定める
• 𝑓𝑐T𝑓: (株)オムロンのOKAO® Visionによる顔検出・顔姿勢推定，物体の実サイズと投影サイズの関係のキャリブレーションに基き推定
• マーカから顔への座標変換行列 𝑚T𝑓 =𝑏𝑐T𝑚
−1 𝑏𝑐T𝑓𝑐𝑓𝑐T𝑓
• テーブル座標系でユーザがどこにいてどっちを向いているか計測できる
• タブレットPCのマイク入力を利用し，閾値以上の音声が検出されたときを発話とする
• 発話しているとき／していないときの音声信号の二乗平均平方根（RMS）の値から，あらかじめ閾値を定めておく
タブレットPCの前背面カメラを活用したARによる会話特徴量の可視化○安達寛之，明神聖子，島田伸敬 立命館大学 情報理工学部 知能情報学科
対面での多人数会話において，人により発話の多寡があり，発話の少ない人からの情報が提供されないような場面が考えられる．そのような人から情報を引き出すよう働きかけたい．そのため，会話の活性化を目的とした，タブレットPCの前背面カメラを活用し，会話の様子を定量的に可視化するシステムを製作する．
1.研究背景・目的
• システムの概要• ユーザが囲むテーブル上にマーカを配置• 前背面カメラを搭載したタブレットPCを所持した状態で会話• 各ユーザの発話特徴量を取得• サーバで発話特徴量を統合し，タブレットPCに可視化表示
• 個人の発話特徴量• マーカを基準としたユーザの位置と顔の方向• どのくらいの音量で発話しているか
• 多者間の会話特徴量• 個々人の発話特徴量を統合• 誰が誰に話しているか，およびそのこれまでの累積量
2.会話特徴量の可視化システム
3.発話特徴量の計測
タブレットPCの前面・背面のカメラを同時に使用し，マーカを基準としたユーザの顔の位置と姿勢を求める．
T =
r11 r12r21 r22
r13 txr23 ty
r31 r320 0
r33 tz0 1
マーカユーザ
タブレットPC 𝑏𝑐T𝑚
𝑓𝑐T𝑓
𝑏𝑐T𝑓𝑐
𝑚T𝑓
4.会話特徴量の算出・可視化
5.会話特徴量の可視化の動作確認実験
• 精度評価（顔検出，マーカ検出，音量検出におけるノイズ）• 会話の活性化に向けた仕組みの妥当性・有効性の確認• トップビューの可視化ではなく，背面カメラ映像への会話特徴量の重畳表示
6.今後の課題
CB
A
Aの視線ベクトル
AからBへのベクトル
AからCへのベクトル
𝜃AB𝜃AC
• うまく会話を進めるユーザほど得点が増加する
• 一方的に話すだけでなく，聞き手にも回る必要がある
A
B
CA
B
C
マーカに基づく背面カメラ画像からのタブレットPCの位置・姿勢推定
前面カメラ画像からの顔検出・顔姿勢推定
発話特徴量
会話特徴量
ユーザごとに専用のタブレットPC
サーバ
Socket.IO
Node.js
• 𝑏𝑐T𝑚:背面カメラからマーカへの座標変換行列
• 𝑏𝑐T𝑓𝑐: 背面カメラから前面カメラへの座標変換行列
• 𝑓𝑐T𝑓: 前面カメラから顔への座標変換行列
3つの座標変換行列を掛け合わせる
回転行列＋
並進成分
ユーザの位置と顔の向き誰に対して話しているか
A3-9
視線ベクトル𝑈𝑖と他ユーザへのベクトル𝑉𝑖𝑗の類似度を比較
類似度Sim𝑖𝑗 = cos 𝜃𝑖𝑗 =𝑈𝑖 ⋅ 𝑉𝑖𝑗
𝑈𝑖 𝑉𝑖𝑗
最も類似している（Sim𝑖𝑗が1に近い）相手を算出する
UserA
UserB
UserC(自分)
ユーザ名 得点𝑃
視線自分（発話者）
発話音量
会話相手
会話を示す矢印
会話の履歴（累積量）話した
見ていた
ユーザ
• ユーザの位置を示す丸印と視線を示す点線
• 誰が誰にどの程度の音量で話しているかを示す矢印とメータ
• 自分が相手に話した時間／見ていた時間の棒グラフ
会話の様子 可視化表示 計測結果等
背面カメラ映像 前面カメラ映像
可視化表示部分の拡大図
会話開始から1分後
• 各ユーザの位置や顔の向きがおおむね正しく得られている• 顔の向きの計測の誤差は水平方向に±2°程度• 顔会話相手の算出ができており，会話履歴も記録できている
会話開始から3分後
会話の活性化に向け，会話へのゲーム性の導入例として，会話に得点を設け，それを可視化することを考える．ユーザの会話
特徴量から，話したときの報酬𝑅(𝑆)，話しかけられたときの報
酬𝑅 𝐿 を設定し，その合計の時系列積分値を得点𝑃とする．
会話特徴量の算出
会話特徴量の可視化
動作確認実験
会話の活性化に向けた仕組みの例
ユーザの位置・姿勢の推定
発話音量の計測
前面カメラで自分の顔を映す
背面カメラでマーカを映す
音声を検出
サーバ
前背面カメラを搭載したタブレットPC
各ユーザ視点の会話特徴量
会話相手の算出
会話の様子をトップビューで表示
𝑅 𝑆
𝛼
𝑆𝑖 1𝑁 𝑆𝑗
1
𝑁0 1
話しすぎると減点される
全員の累積発話量に対する自分の累積発話量の割合
話したとき
0
𝑅 𝐿
𝛽
話しを聞くと一定の報酬を得る
聞いたとき
ユーザB
ユーザC
……
該当なし
相手
𝑉𝐴𝐵𝑉𝐴𝐶
𝑈𝐴
![4.8 Multiple Integrals and Monte Carlo Integrationzxu2/acms40390F13/MC-Integration.pdf · 4 [𝑓 , +2𝑓 , + 2 +𝑓( , )] The approximation is of order (( − )( − )[ − 2+(](https://static.fdocuments.net/doc/165x107/5f97ceb2c542240b4445f4de/48-multiple-integrals-and-monte-carlo-integration-zxu2acms40390f13mc-4-.jpg)
![3 ليلحتلا...][Maths_WhatsApp : 0991921144 Facebook_Page : IOM F.B Group : Syria Math – 2nd Year 2 𝑓 𝑥 𝜀 𝑓 𝑥 𝑓 𝑥 𝜀 حتزامري îكذ أ ñز íس](https://static.fdocuments.net/doc/165x107/5eb50407258fcd2ae7579525/3-mathswhatsapp-0991921144-facebookpage-iom-fb-group.jpg)
![2.1 The Bisection Method - University of Notre Damezxu2/acms40390F13/Lec-2.1.pdf · Convergence • Theorem Suppose function 𝑓(𝑥) is continuous on [ , ], and 𝑓 ∙𝑓](https://static.fdocuments.net/doc/165x107/5c9b569209d3f22a6b8ba4ad/21-the-bisection-method-university-of-notre-dame-zxu2acms40390f13lec-21pdf.jpg)
