高精度拡張現実感 スマートフォン情報提示手法 (高精度の世界 … · •...

24
高精度拡張現実感 スマートフォン情報提示手法 (高精度の世界カメラに近い機能) とその応用 首都大学東京 山口 (久保田直行) [email protected]

Transcript of 高精度拡張現実感 スマートフォン情報提示手法 (高精度の世界 … · •...

Page 1: 高精度拡張現実感 スマートフォン情報提示手法 (高精度の世界 … · • 環境情報(家電や家具の位置):サーバに事前に登録する •

高精度拡張現実感スマートフォン情報提示手法

(高精度の世界カメラに近い機能)とその応用

首都大学東京

山口 亨 & (久保田直行)

[email protected]

Page 2: 高精度拡張現実感 スマートフォン情報提示手法 (高精度の世界 … · • 環境情報(家電や家具の位置):サーバに事前に登録する •

研究背景

• 「世界カメラ」に代表されるような、GPSや電子コンパスと連動し、さらにAR活用の直観的なインターフェイスが身近となって来ている

• 屋内の位置精度がやや劣る問題

• 高齢者などスマートフォンに不慣れな人でもいろいろな情報が得られる工夫が必要

1.見たい情報へ関する位置精度の向上

(特に、屋内における

精度向上)

2.利用者の状況に合わせた情報提示

Page 3: 高精度拡張現実感 スマートフォン情報提示手法 (高精度の世界 … · • 環境情報(家電や家具の位置):サーバに事前に登録する •

新技術の概要:

• 部屋や街角の人を見守るカメラによるジェスチャー認識を用いることで、

• 人がスマートフォンを向けた方向を精度良く得ることが出来る。その結果、

• 直観的でかつ高精度なスマートフォン情報提示が実現できた。

• お年寄りでも利用可能な状況依存の情報提示が可能となった(利用者の特定、相対的位置などの状況データで表示内容を変える)

• 運転中でも状況に合わせて情報表示可能

Page 4: 高精度拡張現実感 スマートフォン情報提示手法 (高精度の世界 … · • 環境情報(家電や家具の位置):サーバに事前に登録する •

一般的な事例で検証

事例0:ユニバーサルリモコン利用:家電ON/OFF

外部メモリとして利用(PCメモリ)思い出し機能:印鑑を置いた場所を記憶

1.見たい情報へ関する位置精度の向上

(特に、屋内における

精度向上)

2.利用者の状況に合わせた情報提示

家電の操作

印鑑などの場所を記憶させる

利用者のスマートフォン家電などや引き出しの相対的位置関係

一般的事例

Page 5: 高精度拡張現実感 スマートフォン情報提示手法 (高精度の世界 … · • 環境情報(家電や家具の位置):サーバに事前に登録する •

システム概要

USBカメラ

Life logdatabase

ルームサーバ

背景差分

特徴点抽出

人検出

画像処理 OpenCV

無線LAN TCP / IPやBluetoothなど

ApriPoco(東芝)

1.見たい情報へ関する位置精度の向上

(特に、屋内における

精度向上)

2.利用者の状況に合わせた情報提示

状況依存情報提示

カメラまたは

事前に家電機器の配置机、引き出し、などの配置を記憶スマートフォン別の利用者を事前に記憶

スマートフォンへ不慣れなお年寄りでも利用可能

ローカルに接続

個々の人の必要とする情報を個別に提示

(ローカルなネットなので災害時にはバトンリレー的情報交換が可能:防災ネット)

Page 6: 高精度拡張現実感 スマートフォン情報提示手法 (高精度の世界 … · • 環境情報(家電や家具の位置):サーバに事前に登録する •

活用システム

冷蔵庫

無線

LAN

状変通知

ドア開閉検知

照明検知

ベッド

PC・テレビ

視聴テレビ番組獲得

ドア開閉検知

インテリジェントルーム

マイク

カメラ

インターフェースロボットApriPoco (東芝)

ユーザ

ルームサーバ

Life logdatabase

size : 210×210×270 mm

画像処理動作制御スケジュール管理ライフログデータベース(MySQL)

家族ホームヘルパー

事例0:ユニバーサルリモコン利用

外部メモリとして利用(PCメモリ)思い出し

事例1:生活状況の確認

スマートフォン別の状況依存の情報提示

Page 7: 高精度拡張現実感 スマートフォン情報提示手法 (高精度の世界 … · • 環境情報(家電や家具の位置):サーバに事前に登録する •

画像処理による人の動作認識の活用肌色認識を用いた人の動作認識(従来手法)

SIFT特徴量を用いた人の動作認識

USBカメラ×2 OpenCV

Apripoco(Toshiba)

Page 8: 高精度拡張現実感 スマートフォン情報提示手法 (高精度の世界 … · • 環境情報(家電や家具の位置):サーバに事前に登録する •

Point

Body height

対象物の差し位置の高精度な認識

Page 9: 高精度拡張現実感 スマートフォン情報提示手法 (高精度の世界 … · • 環境情報(家電や家具の位置):サーバに事前に登録する •

カメラ利用で高精度化:対象物の差し位置の認識率

Average error

point1 22.9cm

point2 13.7cm

point3 12.4cm

Maximal error

point1 29.1cm

point2 17.6cm

point3 40.5cm

-300

-200

-100

0

100

200

300

-300 -200 -100 0 100 200 300

Human position

target point

point1

point3point2

Human position

(cm)

(cm)

一方、従来の電子コンパス、GPSのものは、屋内では多くの誤差を伴うため家電への利用などへは不向きであった。

家電に利用可能な精度

Page 10: 高精度拡張現実感 スマートフォン情報提示手法 (高精度の世界 … · • 環境情報(家電や家具の位置):サーバに事前に登録する •

実用化を目指す説明として事例を多数準備

事例1-1:支援者の家電履歴情報の活用

• 環境情報(家電や家具の位置) : サーバに事前に登録する

• 指差し認識 : 人の認識から人の手の動作を動画で解析し,

得られた軌跡データから指差しを認識する

• 家電の利用状況 : カメラ画像から特徴点の変化から家電の移動や使用を検知

→ サーバに情報を蓄積、データマイニングへ

→チェックポイント自動獲得

ユーザ

ルームサーバ

ステレオカメラ

Life logdatabase

携帯情報端末

画像処理- 拡張現実(AR)

ApriPocoの制御

画像処理- 指差し認識

- エリア変化認識家電使用量解析ライフログデータベース

- ユーザ- 家電

環境情報と指差し動作検知から家電を特定→履歴情報提示

2回使いました

Page 11: 高精度拡張現実感 スマートフォン情報提示手法 (高精度の世界 … · • 環境情報(家電や家具の位置):サーバに事前に登録する •

展示会(NHK11/14放映)および全体のデモ、サイト実験

11/14山口研久保田研(首都大)中内研(筑波大)合同デモ

Page 12: 高精度拡張現実感 スマートフォン情報提示手法 (高精度の世界 … · • 環境情報(家電や家具の位置):サーバに事前に登録する •

従来技術・競合技術との比較:

• 従来の電子コンパス依存の方向特定でなく、利用者の実際のジェスチャーを

• 見守りカメラで認識するため、GPS精度悪化をカバーできる。このため、利用者と場所

• や向けた物の特定精度が増し、個別のユーザーモデル依存で、その人の欲する

• きめ細かい状況に応じた情報提示が可能となる。(お年寄りでもOK、運転中でもOK)

Page 13: 高精度拡張現実感 スマートフォン情報提示手法 (高精度の世界 … · • 環境情報(家電や家具の位置):サーバに事前に登録する •

新技術の特徴:

• きめ細かい情報提示の特徴から高齢者向け「福祉支援IT機器」

• データマイニング用のログの自動収集に活用でき、「ユーザーモデル依存型の各種サービスシステム」

• 自動車運転中など、利用者が直接端末を操作できない場合の「ロボット(エージェント)型情報支援機器」

Page 14: 高精度拡張現実感 スマートフォン情報提示手法 (高精度の世界 … · • 環境情報(家電や家具の位置):サーバに事前に登録する •

画像認識スポット(カメラ)i-spotの連携による自宅の外の事例

経路データ(ID別)ID1:2010-12-10 14:10:11 12,120,10

2010-12-10 14:10:12 14,122,202010-12-10 14:10:13 17,110,29

:ID2:2010-12-10 14:10:11 90,130,55

IDごとの経路パターンの作成

移動経路取得サーバ

データベース絶対座標での座標データ(時刻順)

2010-12-10 14:10:11 id4, 150, 130, 122010-12-10 14:10:12 id2, 390, 150, 67

変換処理 座標データ(時刻順)

人を検出、中心座標を取得IDを付加して複数人を区別

時刻ごとの中心座標の距離から、同一人物であるかを判定

→人物ごとにIDを付加

変換処理

i-spot

座標データ(時刻順)

座標データ(時刻順)

変換処理

座標問い合わせ座標問い合わせ

座標問い合わせ

グローバル座標への変換

Page 15: 高精度拡張現実感 スマートフォン情報提示手法 (高精度の世界 … · • 環境情報(家電や家具の位置):サーバに事前に登録する •

事例2-1:多数カメラ連携:徘徊検知として

i-spot1

i-spot2

i-spot3

情報提示サーバ

実験環境

徘徊検知システム都市内において,周囲を徘徊している高齢者や認知症患者を検知し,携帯するSmart Phoneに最適な情報を提示する.Smart Phoneには,最近の生活ログを提示し,記憶を呼び起こすきっかけを与えたり,帰宅経路を表示する.

Aさんの歩行、方向転換時の軌跡

Aさんの徘徊時の軌跡

徘徊の定義・同じ場所を何度も訪れる・方向転換の回数が多い

Page 16: 高精度拡張現実感 スマートフォン情報提示手法 (高精度の世界 … · • 環境情報(家電や家具の位置):サーバに事前に登録する •

事例2-2: ~商品・店舗情報推薦サービス~

対象:理系大学生10人各被験者の経路から被験者をパターン分けし、それに見合った情報提示を行う

•パターンAスポーツ好きな学生

・・・スポーツ用品店や靴屋に立ち寄る傾向がある

•パターンBインドア派の学生

・・・本屋や家電量販店に立ち寄る傾向がある

•パターンC勉強する学生

・・・喫茶店に長時間いたり、本屋に立ち寄る傾向がある

飲食店→靴屋→情報取得要求スポーツショップ、趣味のサッカー関連の情報をSmart Phone上に推薦

Smart Phone動画

全体動画

全店舗を立ち寄った人の移動経路

店舗の立ち寄り状況

Page 17: 高精度拡張現実感 スマートフォン情報提示手法 (高精度の世界 … · • 環境情報(家電や家具の位置):サーバに事前に登録する •

事例3:クルマにおける情報提示(充放電NAVI)ユーザインタフェイスを中心としたユニット

入力インタフェイス

前方カメラ映像

情報提示部

スマートフォン

歩行者サービスに移行

車から降りてスマートフォンを持ち出し

Logicool製ステアリングコントローラGT Force

ドライバー見守り

顔の動きを認識 視線抽出

フロント画面

Page 18: 高精度拡張現実感 スマートフォン情報提示手法 (高精度の世界 … · • 環境情報(家電や家具の位置):サーバに事前に登録する •

事例3:状況依存提示(EV電力NAVIシステム)

• 電気自動車のバッテリー残量が減ったと想定

• 充電スタンドまで案内を行う

• バッテリー容量のデータは擬似的なデータを送り続ける

充電スタンド

i-spot i-spot

i-spot

i-spot

RoboCar

※案内は、位置情報に基づき提示する

i-spotが環境情報(道の情報)から

充電スタンドを探索と同時にルート作成

充電スタンドへの案内を開始

EV電力管理システムがi-spotに充電スタンドへの案内を依頼

充電スタンドへのルートを返す

情報提示モニタ(スマートフォン)

Page 19: 高精度拡張現実感 スマートフォン情報提示手法 (高精度の世界 … · • 環境情報(家電や家具の位置):サーバに事前に登録する •

最大電力を30%以上抑える充放電のNAVI

人の生活モデルを活用

特願 2010-157519 出願日 2010/7/12電力分配装置、電力分配プログラム、電力分配システム、及び電力分配方法山口 亨,大林 源

Page 20: 高精度拡張現実感 スマートフォン情報提示手法 (高精度の世界 … · • 環境情報(家電や家具の位置):サーバに事前に登録する •

想定される用途・業界

• 高齢者宅で高齢者の生活リズム維持による「介護予防システム」への活用

=>介護・福祉分野

• 店舗でユーザの嗜好を自動収集する「マーケティングシステム」への活用

=>店舗システム

• 支援行動ログなど、各種行動ログ自動獲得によるルール発見用の「データマイニングシステム」への活用

=>クラウドサービス、WEBシステム

Page 21: 高精度拡張現実感 スマートフォン情報提示手法 (高精度の世界 … · • 環境情報(家電や家具の位置):サーバに事前に登録する •

実用化に向けた課題、企業への期待

• 個々のユーザーに合った状況に依存した情報提示では「ユーザーモデル」の構築が重要

• 多くの事例とログからのデータマイニングにより、質の高いユーザーモデルが得られるため企業におけるクライド的な支援で、ログを収集することが必要である。(期待したい)

• 実用化において、平常時の本発表の情報提示に加えて、災害時の防災ネットワーク情報サービスの付加により、さらなる進展がある。

Page 22: 高精度拡張現実感 スマートフォン情報提示手法 (高精度の世界 … · • 環境情報(家電や家具の位置):サーバに事前に登録する •

A

B

3

4

56

7

8

9

1

2

Fier×

×

板橋区地震避難訓練実験2006年実施

携帯のネットワークが不通でもOK

自動で安否情報・経路情報、災害情報

を交換

防災ネットワークシステム出願番号:特願2004-047796発明者:高間 康史、山口 亨

Page 23: 高精度拡張現実感 スマートフォン情報提示手法 (高精度の世界 … · • 環境情報(家電や家具の位置):サーバに事前に登録する •

本技術に関する知財権、産学連携経歴、問い合わせ

• 知財権

• 名称/番号:情報提示システム、情報提示プログラム、及び情報提示方法 / 特願2010-191065

• 出願人:公立大学法人首都大学東京

• 発明者:山口 亨,柴野 友美,藤本 泰成,久保田 直行

• 経歴:JST、NEDO、他 民間も多数

• 問い合わせ:

宗木 好一郎(首都大、コーディネーター)

Tel:042-585-8460 Mail:[email protected]田島 伸明(TAMA-TLO、産学連携事業部)

Tel:042-570-7240 Mail:[email protected]

Page 24: 高精度拡張現実感 スマートフォン情報提示手法 (高精度の世界 … · • 環境情報(家電や家具の位置):サーバに事前に登録する •

まとめ

カメラ

インターフェースロボットApriPoco (東芝)

ユーザ本人利用

size : 210×210×270 mm

家族ホームヘルパー利用

事例0:(一般的)ユニバーサルリモコン利用や外部メモリとして利用(PCメモリ)思い出し支援

事例1:生活状況の確認(家電利用履歴や

食事状況履歴)

状況依存の情報提示

事例2: 屋外でカメラ連携による活用事例事例3: EVにおける活用事例(充放電NAVI)

1.見たい情報へ関する位置精度の向上(特に、屋内における精度向上)

2.利用者の状況に合わせた情報提示

または

拡張として