高精度拡張現実感 スマートフォン情報提示手法 （高精度の世界 … · •...
24
Transcript of 高精度拡張現実感 スマートフォン情報提示手法 （高精度の世界 … · •...
研究背景
• 「世界カメラ」に代表されるような、ＧＰＳや電子コンパスと連動し、さらにＡＲ活用の直観的なインターフェイスが身近となって来ている
• 屋内の位置精度がやや劣る問題
• 高齢者などスマートフォンに不慣れな人でもいろいろな情報が得られる工夫が必要
１．見たい情報へ関する位置精度の向上
（特に、屋内における
精度向上）
２．利用者の状況に合わせた情報提示
新技術の概要：
• 部屋や街角の人を見守るカメラによるジェスチャー認識を用いることで、
• 人がスマートフォンを向けた方向を精度良く得ることが出来る。その結果、
• 直観的でかつ高精度なスマートフォン情報提示が実現できた。
• お年寄りでも利用可能な状況依存の情報提示が可能となった（利用者の特定、相対的位置などの状況データで表示内容を変える）
• 運転中でも状況に合わせて情報表示可能
一般的な事例で検証
事例０：ユニバーサルリモコン利用：家電ＯＮ/ＯＦＦ
外部メモリとして利用（ＰＣメモリ）思い出し機能：印鑑を置いた場所を記憶
１．見たい情報へ関する位置精度の向上
（特に、屋内における
精度向上）
２．利用者の状況に合わせた情報提示
家電の操作
印鑑などの場所を記憶させる
利用者のスマートフォン家電などや引き出しの相対的位置関係
一般的事例
システム概要
ＵＳＢカメラ
Life logdatabase
ルームサーバ
背景差分
特徴点抽出
人検出
画像処理 OpenCV
無線ＬＡＮ ＴＣＰ / ＩＰやBluetoothなど
ApriPoco(東芝)
１．見たい情報へ関する位置精度の向上
（特に、屋内における
精度向上）
２．利用者の状況に合わせた情報提示
状況依存情報提示
カメラまたは
事前に家電機器の配置机、引き出し、などの配置を記憶スマートフォン別の利用者を事前に記憶
スマートフォンへ不慣れなお年寄りでも利用可能
ローカルに接続
個々の人の必要とする情報を個別に提示
（ローカルなネットなので災害時にはバトンリレー的情報交換が可能：防災ネット）
活用システム
冷蔵庫
無線
LAN
状変通知
ドア開閉検知
照明検知
ベッド
PC・テレビ
視聴テレビ番組獲得
ドア開閉検知
インテリジェントルーム
マイク
カメラ
インターフェースロボットApriPoco (東芝)
ユーザ
ルームサーバ
Life logdatabase
size : 210×210×270 mm
画像処理動作制御スケジュール管理ライフログデータベース（MySQL）
家族ホームヘルパー
事例０：ユニバーサルリモコン利用
外部メモリとして利用（ＰＣメモリ）思い出し
事例１：生活状況の確認
スマートフォン別の状況依存の情報提示
画像処理による人の動作認識の活用肌色認識を用いた人の動作認識（従来手法）
SIFT特徴量を用いた人の動作認識
USBカメラ×2 OpenCV
Apripoco(Toshiba)
Point
Body height
対象物の差し位置の高精度な認識
カメラ利用で高精度化：対象物の差し位置の認識率
Average error
point1 22.9cm
point2 13.7cm
point3 12.4cm
Maximal error
point1 29.1cm
point2 17.6cm
point3 40.5cm
-300
-200
-100
0
100
200
300
-300 -200 -100 0 100 200 300
Human position
target point
point1
point3point2
Human position
(cm)
(cm)
一方、従来の電子コンパス、ＧＰＳのものは、屋内では多くの誤差を伴うため家電への利用などへは不向きであった。
家電に利用可能な精度
実用化を目指す説明として事例を多数準備
事例１－１：支援者の家電履歴情報の活用
• 環境情報（家電や家具の位置） ： サーバに事前に登録する
• 指差し認識 ： 人の認識から人の手の動作を動画で解析し，
得られた軌跡データから指差しを認識する
• 家電の利用状況 ： カメラ画像から特徴点の変化から家電の移動や使用を検知
→ サーバに情報を蓄積、データマイニングへ
→チェックポイント自動獲得
ユーザ
ルームサーバ
ステレオカメラ
Life logdatabase
携帯情報端末
画像処理－ 拡張現実（AR）
ApriPocoの制御
画像処理－ 指差し認識
－ エリア変化認識家電使用量解析ライフログデータベース
－ ユーザ－ 家電
環境情報と指差し動作検知から家電を特定→履歴情報提示
2回使いました
展示会（NHK11/14放映）および全体のデモ、サイト実験
11/14山口研久保田研（首都大）中内研（筑波大）合同デモ
従来技術・競合技術との比較：
• 従来の電子コンパス依存の方向特定でなく、利用者の実際のジェスチャーを
• 見守りカメラで認識するため、ＧＰＳ精度悪化をカバーできる。このため、利用者と場所
• や向けた物の特定精度が増し、個別のユーザーモデル依存で、その人の欲する
• きめ細かい状況に応じた情報提示が可能となる。（お年寄りでもＯＫ、運転中でもＯＫ）
新技術の特徴：
• きめ細かい情報提示の特徴から高齢者向け「福祉支援ＩＴ機器」
• データマイニング用のログの自動収集に活用でき、「ユーザーモデル依存型の各種サービスシステム」
• 自動車運転中など、利用者が直接端末を操作できない場合の「ロボット（エージェント）型情報支援機器」
画像認識スポット（カメラ）i-spotの連携による自宅の外の事例
経路データ（ID別）ID1：2010-12-10 14:10:11 12,120,10
2010-12-10 14:10:12 14,122,202010-12-10 14:10:13 17,110,29
：ID2：2010-12-10 14:10:11 90,130,55
：
IDごとの経路パターンの作成
移動経路取得サーバ
データベース絶対座標での座標データ（時刻順）
2010-12-10 14:10:11 id4, 150, 130, 122010-12-10 14:10:12 id2, 390, 150, 67
：
変換処理 座標データ（時刻順）
人を検出、中心座標を取得IDを付加して複数人を区別
時刻ごとの中心座標の距離から、同一人物であるかを判定
→人物ごとにＩＤを付加
変換処理
i-spot
座標データ（時刻順）
座標データ（時刻順）
変換処理
座標問い合わせ座標問い合わせ
座標問い合わせ
グローバル座標への変換
事例２－１：多数カメラ連携：徘徊検知として
i-spot1
i-spot2
i-spot3
情報提示サーバ
実験環境
徘徊検知システム都市内において，周囲を徘徊している高齢者や認知症患者を検知し，携帯するSmart Phoneに最適な情報を提示する．Smart Phoneには，最近の生活ログを提示し，記憶を呼び起こすきっかけを与えたり，帰宅経路を表示する．
Aさんの歩行、方向転換時の軌跡
Aさんの徘徊時の軌跡
徘徊の定義・同じ場所を何度も訪れる・方向転換の回数が多い
事例２－２： ~商品・店舗情報推薦サービス~
対象：理系大学生10人各被験者の経路から被験者をパターン分けし、それに見合った情報提示を行う
•パターンAスポーツ好きな学生
・・・スポーツ用品店や靴屋に立ち寄る傾向がある
•パターンBインドア派の学生
・・・本屋や家電量販店に立ち寄る傾向がある
•パターンC勉強する学生
・・・喫茶店に長時間いたり、本屋に立ち寄る傾向がある
飲食店→靴屋→情報取得要求スポーツショップ、趣味のサッカー関連の情報をSmart Phone上に推薦
Smart Phone動画
全体動画
全店舗を立ち寄った人の移動経路
店舗の立ち寄り状況
事例３：クルマにおける情報提示（充放電NAVI）ユーザインタフェイスを中心としたユニット
入力インタフェイス
前方カメラ映像
情報提示部
スマートフォン
歩行者サービスに移行
車から降りてスマートフォンを持ち出し
Logicool製ステアリングコントローラGT Force
ドライバー見守り
顔の動きを認識 視線抽出
フロント画面
事例３：状況依存提示（EV電力NAVIシステム）
• 電気自動車のバッテリー残量が減ったと想定
• 充電スタンドまで案内を行う
• バッテリー容量のデータは擬似的なデータを送り続ける
充電スタンド
i-spot i-spot
i-spot
i-spot
RoboCar
※案内は、位置情報に基づき提示する
i-spotが環境情報（道の情報）から
充電スタンドを探索と同時にルート作成
充電スタンドへの案内を開始
EV電力管理システムがi-spotに充電スタンドへの案内を依頼
充電スタンドへのルートを返す
情報提示モニタ(スマートフォン)
最大電力を30%以上抑える充放電のNAVI
人の生活モデルを活用
特願 2010-157519 出願日 2010/7/12電力分配装置、電力分配プログラム、電力分配システム、及び電力分配方法山口 亨，大林 源
想定される用途・業界
• 高齢者宅で高齢者の生活リズム維持による「介護予防システム」への活用
＝＞介護・福祉分野
• 店舗でユーザの嗜好を自動収集する「マーケティングシステム」への活用
＝＞店舗システム
• 支援行動ログなど、各種行動ログ自動獲得によるルール発見用の「データマイニングシステム」への活用
＝＞クラウドサービス、ＷＥＢシステム
実用化に向けた課題、企業への期待
• 個々のユーザーに合った状況に依存した情報提示では「ユーザーモデル」の構築が重要
• 多くの事例とログからのデータマイニングにより、質の高いユーザーモデルが得られるため企業におけるクライド的な支援で、ログを収集することが必要である。（期待したい）
• 実用化において、平常時の本発表の情報提示に加えて、災害時の防災ネットワーク情報サービスの付加により、さらなる進展がある。
A
B
3
4
56
7
8
9
1
2
Fier×
×
？
板橋区地震避難訓練実験２００６年実施
携帯のネットワークが不通でもOK
自動で安否情報・経路情報、災害情報
を交換
防災ネットワークシステム出願番号：特願2004-047796発明者：高間 康史、山口 亨
本技術に関する知財権、産学連携経歴、問い合わせ
• 知財権
• 名称/番号：情報提示システム、情報提示プログラム、及び情報提示方法 / 特願2010-191065
• 出願人：公立大学法人首都大学東京
• 発明者：山口 亨，柴野 友美，藤本 泰成，久保田 直行
• 経歴：ＪＳＴ、ＮＥＤＯ、他 民間も多数
• 問い合わせ：
宗木 好一郎（首都大、コーディネーター）
Ｔel：042-585-8460 Mail：[email protected]田島 伸明（TAMA-TLO、産学連携事業部）
Tel：042-570-7240 Mail：[email protected]
まとめ
カメラ
インターフェースロボットApriPoco (東芝)
ユーザ本人利用
size : 210×210×270 mm
家族ホームヘルパー利用
事例０：（一般的）ユニバーサルリモコン利用や外部メモリとして利用（ＰＣメモリ）思い出し支援
事例１：生活状況の確認（家電利用履歴や
食事状況履歴）
状況依存の情報提示
事例２： 屋外でカメラ連携による活用事例事例３： EVにおける活用事例（充放電NAVI）
１．見たい情報へ関する位置精度の向上（特に、屋内における精度向上）
２．利用者の状況に合わせた情報提示
または
拡張として
