第7回ros勉強会 NTTデータのロボティクス分野取り組み

Copyright © 2015 NTT DATA Corporation

2015/10/04 弟 7 回 ROS 勉強会株式会社 NTT データ　技術開発本部サービスイノベーションセンタ　ロボティクスインテグレーション推進室

NTT データのロボティクス分野取り組み～ Sota を利用したコミュニケーションロボット大解剖～

2Copyright © 2015 NTT DATA Corporation

自己紹介

名前　河村雅人 (@masato_ka)2008 年度　 NAIST 　　　　ロボティクス講座卒2009 年度～ 2012 年度　社内向け開発ツールの研究開発2013 年度～現職（ロボティクス分野の研究開発）


本日の目的

NTT データで実施しているコミュニケーションロボットがどんなものなのかを２つの事例を通して紹介します。


NTT データにおけるロボティクスの取組

サービスロボットセンサデバイス (IoT)

ロボティクス活用サービスの例医療・介

護受付・窓

口観光案内災害対策エネルギー

デバ

イス

サー

ビス

人感センサ

加速度センサ

GPS

クラウドロボティクス基盤

空間認識物体認識状況認識運用管理

シス

テム

基盤

プロファイル情報

位置情報環境情報ロボット情報空間情報

調査・救助

データ収集制御

ユースケース毎の実証実験を行い研究開発を進めている（ロボットの社会実装）商用化を目指して活動中

コミュニケーション受付・案内

生体情報センサ


今後のビジネス展開

ロボット・センサを活用したサービスの構築を通し、新たなライフスタイルの創造に貢献して参ります。

2020 年に向けたスマートシティの実現や、少子高齢化対策など、ロボットの活躍が期待されるシーンは多岐に亘ります。


コミュニケーションロボット紹介

コミュニケーションロボットとして２つの実証実験を実施した。( コミュニケーションロボットは 2013 年末から検討が始まる )

高齢者生活支援ロボット博物館アンケートロボット

2015 年 3 月～ 2015 年 6 月3 月～ 4 月に予備調査を行い5 月～ 6 月に高齢者との対話実験を実施した。センサと連動して高齢者にロボットが話しかけを行う。

ヴイトン社・ NTT ・ＮＴＴデータの 3 社共同実験の一環として実施2015 年 8 月に日本科学未来館での展示を実施したロボットによる展示物のアンケート収集を実施

Copyright © 2015NTT DATA Corporation 7

事例１高齢者生活支援ロボット


実証実験におけるシステム構成

センサ情報から高齢者のコンテキストを抽出コンテキストにもとづいたロボットに会話の指示を行う

対話機能は NTT 研究所の研究成果を活用


3.3. 　高齢者支援サービスにおける対話イメージ

起床

朝食

昼食

デイケア

夕食

就寝

起床時間になったら声がけ・安否確認起床予定時間に起床してくるか気にかけます

起きてこない場合は緊急通報

食事メニューの確認や水分摂取の促し食事時刻を通知したり水分摂取を促します

帰宅

介護スタッフも情報を把握コミュニケーションロボットが情報共有を助けます

帰宅したときにも声がけ無事に帰宅したかを把握します

服薬時間になったら声がけ服薬状況を把握し、二重服薬も防止します

転倒や夜間外出を察知緊急事態と判断される場合は通報します

異常検知

食事管理起床時安否確認

情報共有異常検知

服薬確認異常検知

帰宅後も

予定時刻を大幅に過ぎた場合は家族等に通知

異常と判断された場合は緊急通報

おはようございます

体調はいかがですか？

わかりました。ヘルパーさんに伝えておきますね。

今日はこんなリハビリしてきたんだね。

食後の薬は飲みましたか。

何錠飲みましたか。

わかりました。

食事の時間だよ！今日は何を食べるの？

今日は暑いからいつもより水分を多めにとってね。

昨日は少なめだったからね。

おかえりなさい！

●●さんが心配してたよ。

こんな時間にどこ行くの？

大丈夫？立ち上がれる？

誰かに来てもらうね！

おはよう

ちょっとお腹が痛くてねぇ

白飯と味噌汁と焼鮭だよ。

今日は外にも行くからね。

あれはきつかったよ～。

ただいま～！今日は疲れたよ～。

そうかい。連絡しておくかね。

飲んだよ。

2錠だよ。

ちょっとダメみたい。助けて。

・・・（無反応）

こんな食事をとってるのね。日頃の健康状態もすぐわかるわ。

10


中身はどうなっているの？

ロボットについて

会話する機能について

ロボットの動作制御について

11


使用したロボット

価格は 9万 9900円（税込）。別途、保守サービス（月額 2160円）

仕様

外形 280(H)×140(W)×160(D)mm自由度合計 8自由度 (胴体 1軸、腕 2

軸 x2、首 3軸 )ＣＰＵ Intel Edison / Raspberry Pi入出力・カメラ　・モノラルマイク

　・スピーカ　・ LED （両目×2 、口 ×1 、電源ランプ×1 ）・スイッチ（電源ボタン、音量ボタン ×2 ）

インタフェース

・ WiFi 　・ Bluetooth ・USB 　・電源コネクタ　・I2C(Edison と RasPi で差異あり )

電源 AC アダプタ（ 12V 4A ）

小回りの効く非常に使いやすいロボット Sota®

Sota® はヴイストン株式会社の登録商標です。

12


NTT 研究所の研究成果

1. 音声認識エンジン (VoiceRex®) 大規模語彙連続合成エンジン 1000万語をリアルタイムに認識できる。 IT 社から SpeechRec® サーバとして製品がでている。

2. 音声合成サーバ (Future Voice Crayon®) NTT 研究所の成果を活用 NTT アイティ社から Future Voice Crayon® として利用可能話者 × 口調の組み合わせで 100 通り以上の合成音声を作成可能高齢者実証で活躍テキストのタグ付けなしで自然な口調で音声合成できる。

3. 対話サーバシナリオベースでの会話

4. インテリジェントマイク特定方向の集音雑音の抑制展示会場である程度離れて音声認識できる

NTT 研究所の研究成果を使い対話機能を実現

VoiceRex®, はそれぞれ日本電信電話株式会社の登録商用です。SpeechRec ®, FutureVoice Crayon® はそれぞれ NTT アイティ社の登録商用です。

13


対話機能

NTT 研究所の成果を使いロボットの対話でありがちな課題を解決

音声認識サーバ

音声合成サーバ

対話サーバ

マイク

認識できる語彙数認識速度

しゃべれるシナリオが少ない。

シナリオの作りこみ

音声合成が不自然、音声がロボットに合わな

い

騒音や雑音関係ない人の声

ＲＯＳだと rospeex なんかもありますが、、、

14


対話機能

NTT 研究所の成果を使い対話機能を使いありがちな課題を解決

音声認識サーバSpeechRec®(VoiceRe

x®)

音声合成サーバ(Future Voice

Crayon®)

対話サーバ

インテリジェントマイク

数百万～ 1000万語を瞬時に認識する

対話シナリオを入れ替えるだけで利

用可能

話者 × 口調 =100通り以上を再現、無調性で自然な声

質

特定方向の集音と雑音抑制を行う

個々のサーバのクライアントを持っ

ている

15


どのようにセンサシステムと連携しているか？

UNR-PF （ ATR 開発）を活用してネットワーク越しにロボットの動作を制御する

UNR-PF

• 機能の登録• 実行結果の通知

メッセージング

音声認識コンポーネント音声発話コンポーネント

外部マイク

１つのロボットとして扱

える

サービスアプリケーション A

ふるまいはロボットの実装に依存

MessagePack-RPC

アプリB

利用するロボットの指示ロボットの制御指示

MessagePack-RPC

MessagePack-RPC

RoIS という仕様でインタフェースが決められているmessagebusPlanner

VirtualRobot

VirtualRobot

ROS をラップすることも

できる

ロボットの割り当てを

管理

センサ

16


URN や RoIS について詳しくはこちら！

•UNR-PF については

http://www.irc.atr.jp/std/UNR-Platform.htmlまたは UNR-PF で検索 •RoIS については

http://www.irc.atr.jp/std/RoIS.htmlまたは ATR RoIS で検索

http://www.irc.atr.jp/std/UNR-Platform.html

http://www.irc.atr.jp/std/RoIS.html


事例２博物館でのアンケート

18


ロボットサービス実現に向けた共同実験

ヴイストン株式会社、 NTT 研究所と共同実験を開始しました。

より密な技術のインテグレーション。。。ビジネスを行う上での体制確認

19


日本科学未来館におけるアンケートロボットの実証実験

http://www.miraikan.jst.go.jp/info/1507281318542.html

20


高齢者実証からの変更点

インテリジェントマイクの内蔵化、サーバとの通信方法を見直し

音声認識サーバSpeechRec(VoiceRex)

音声合成サーバ(Feature Voice

Crayon)

対話サーバ

インテリジェントマイクを内蔵

アンケート向けにシナリオを作成

ロボットの発話内容も抑制

対話サーバと直接通信させるロボット制御はスタンドア

ローン

顔画像認識を利用


デモ実施～実際に見てみよう～

22


今後に向けて

１．コミュニケーションロボットの商用化

2. 会話機能以外の充実（会話以外のユースケース）

3.ROS も活用していきたいな～

第7回ros勉強会 NTTデータのロボティクス分野取り組み

Technology

Transcript of 第7回ros勉強会 NTTデータのロボティクス分野取り組み