1

（2016 年 2 月 9 日に広報発表済み）

2016 年 2 月 17 日 三菱電機株式会社

聴覚障がい者や外国人と円滑で多様なコミュニケーションを実現

世界初 話した言葉を指でなぞった軌跡に表示する「しゃべり描きUI」を開発

三菱電機株式会社は、世界で初めて※、タブレットやスマートフォン向けに、話した言葉を指で

なぞった軌跡に表示できる音声認識表示技術「しゃべり描き UI（ユーザーインターフェース）」

を開発しました。「しゃべり描き UI」に、お絵描きや多言語翻訳など様々な機能を組み合わせた

アプリケーション「しゃべり描きアプリ」は、手話や外国語ができなくても、聴覚障がい者や外

国人との円滑で多様なコミュニケーションを実現します。 ※ 2016 年 2 月 9 日現在（当社調べ）

開発の特長

1．世界初、話した言葉を指でなぞった軌跡に文字表示する「しゃべり描きUI」 ・画面の好きな場所を指で長押しして話しながらなぞると、話した言葉がなぞった軌跡に文字

で自由な形状で表示される ・指先から文字が湧き出る直感的で楽しい操作 ・文字を書く手間がなく、筆談より手軽に会話 ・様々な機能と組み合わせて色々な使い方ができる

2．多彩な機能で円滑で多様なコミュニケーションを実現する「しゃべり描きアプリ」

・「しゃべり描き UI」にお絵描き機能を組み合わせることにより、話した文字を、手描きのイ

ラストなどと一緒に表示し、わかりやすく豊かに表現 ・「しゃべり描き UI」に多言語翻訳機能を組み合わせることにより、表示した文字をその形状

のまま翻訳でき、外国人にもわかりやすく意思表示可能

開発の概要

機能

今回 ・話した言葉を指でなぞった軌跡に文字表示する「しゃべり描き UI」 ・「しゃべり描き UI」に、その他機能を組み合わせた「しゃべり描きアプリ」

既存技術 ・話した言葉を特定の場所に文字表示する音声認識機能 ・話した言葉や書いた言葉を翻訳する多言語翻訳機能 ・指で書いた文字を認識する手書き文字認識機能

今後の展開

2016 年度中に大学などへ実証実験の協力を呼びかけ、早期の事業化を目指します。

報道関係からの お問い合わせ先

〒100-8310 東京都千代田区丸の内二丁目 7 番 3 号 TEL 03-3218-2359 FAX 03-3218-2431 三菱電機株式会社 広報部

長押し 話しながらなぞる なぞった軌跡に文字表示

「しゃべり描き UI」操作方法

開発の

手話が

ます。ま

けて多言

っていま

「しゃ

語が異な

を目標に

当社は

UI」を開

プリケー

ことが難

なり、世

特長の

1．世界

話す

画面

は、手

ズに

2．多彩

「し

を開

でき

・お絵

聴覚

の会

イラ

話の

シー

背景

ができない健

また、近年、

言語対応を強

ます。 ゃべり描き Uなる」などの

にした自主研

は今回、世界

開発しました

ーションは、

難しかった聴

世界中の人々

詳細

界初、話した

手軽さと、指

上の好きな場

手で文字を書

聴覚障がい者

彩な機能で円

ゃべり描き

発しました。

ます。

絵描き機能 覚障がい者は

会話は、内容

ラストを指差

の内容を理解

ーンイメージ：

健聴者と聴覚

訪日外国人

強化する施策

UI」は、様々

のコミュニケ

研究プロジェ

界で初めて、

た。「しゃべ

直感的で親

聴覚障がい者

々の気持ちが

言葉を指で

指で線を描

場所に好きな

書くよりも素

者とコミュニ

滑で多様な

UI」に、お

。様々な機能

は、健聴者の

容が理解でき

差したり、話

解できます。

聴覚障がいを

覚障がい者と

人観光客が急

策を打ち出す

々な専門領域

ケーションの

ェクトの開発

話した言葉

り描き UI」親しみやすい

者や外国人と

が繋がる社会

なぞった軌跡

くように文字

な形状で話し

素早く簡単に

ニケーション

コミュニケー

お絵描きや多

能との組み合

の口の動きと

きないという

話した言葉を

を持つ子どもが

2

との会話には

急増しており

すなど、「コミ

域の当社デザ

の壁をインタ

発成果です。

葉を指でなぞ

に、お絵描

い操作性を実

との間で気軽

会の実現に貢

跡に文字表示

字を配置でき

した言葉を文

に文字表示で

ンができます

ーションを実

多言語翻訳機

合わせにより

と指先を同時

問題があり

を指先から表

が、お絵描きを

は、大きなコ

、日本政府

ミュニケーシ

イナー8 名が

ーフェース

ぞった軌跡に

描きや多言語

実現し、これ

軽に楽しみな

献します。

示する「しゃ

きる直感的な

文字表示でき

できるので、

す。

実現する「し

機能を組み合

り、多様なシ

時に見ること

ました。「し

表示したりで

をしながら親と

ミュニケー

は 2020 年

ションの壁」

が集まり、「耳

デザインの力

文字表示で

語翻訳機能な

れまでコミュ

がら直接会話

ゃべり描き Uな操作が特長

きます。また、

健聴者は筆

しゃべり描き

合わせた「し

シーンや用途

ができない

しゃべり描き

きるので、

と会話

ションの壁が

の国際大会開

は社会的な問

耳が聞こえな

力で乗り越

きる「しゃべ

どを組み合わ

ニケーショ

話することが

UI」 長です。これ

、「しゃべり描

談より手軽で

きアプリ」 ゃべり描きア

に合わせた使

ため、指差

アプリ」は

画面を見るだ

が存在し

開催に向

問題とな

ない」「言

えること

べり描き

わせたア

ンをとる

が可能と

れにより、

描き UI」でスムー

アプリ」

使い方が

しながら

、文字や

だけで会

・多言

画面

シー

その他

「しゃべ

面二画面

1．背景

保存

ねて

とが

シーン

シーン

2．手書

画面

語に

聴覚

こと

える

また

コミ

言語翻訳機能

面の好きな場

ーンイメージ：

他の特長

べり描きアプ

面表示機能も

景画像表示機

した画像やカ

表示するこ

できます。

ンイメージ：医

ンイメージ：観

書き文字認識機

の好きな場所

翻訳したり

障がい者が、

ができます。

ことができ

、建設現場や

ュニケーシ

能 場所に好きな

旅行先で購入

プリ」は、「

も組み合わせ

能 カメラで撮影

とで、様々な

医師が、耳の不

観光客が、行き

機能 所を 2 回タ

できます。

、手書き文字

。外国人の方

ます。 や街角など、

ョンをとるこ

な形状で配置

入したいお土産

しゃべり描き

せて使えます

影した写真を

なシーンや用

不自由な高齢者

きたい観光地の

ップすると手

字認識機能と

方は、話した

騒音が多く

ことができま

3

置した文字を

産の絵を描き、

き UI」に背

す。

を背景画像と

用途に合わせ

者にレントゲン

の写真を見せな

手書きで書い

と翻訳機能を

た言葉を翻訳

く正確に音声

ます。

、そのまま外

売っているお

背景画像表示

として表示で

せて、話した

ン写真を表示

ながら所要時間

いた文字を認

を使って外国

訳表示して聴

声を認識でき

外国語に翻訳

お店の場所を尋

示機能、手書

できます。そ

たい内容をよ

しながら説明

間を尋ねる

認識し、音声

国人とコミュ

聴覚障がい者

きない場所で

訳できます。

尋ねる

き文字認識機

こに話した言

り具体的に伝

で読み上げた

ニケーショ

に手軽に気持

で、健聴者や外

機能、対

言葉を重

伝えるこ

たり多言

ンをとる

持ちを伝

外国人が

シーン

3．対面

画面

えた

シーン

主な仕

OS：An機能：多

手書き文

特許

国内 2 意匠登

国内 4 開発担

三菱電機

〒247-8FAX 046http://w

ンイメージ：イ

面二画面表示機

を二分割し

りすること

ンイメージ：役

様

ndroid 多言語音声認

文字認識機能

2 件、海外 2

登録

4 件、海外 4

担当研究所／

機株式会社

8501 神奈川

67-41-2142 www.Mitsub

イベント会場な

機能 て対面で表示

なく会話でき

役所で、外国人

認識機能、お

能、対面二画

2 件

4 件

お客様からの

デザイン研

川県鎌倉市大

ishiElectric

などで、聴覚障

示できるので

きます。受付

人に書類の記入

お絵描き機能

画面表示機能

のお問い合わ

研究所 大船五丁目 1

c.co.jp/corpo

4

障がいのスタ

で、向かい合

付カウンター

入方法を伝えた

能、多言語翻

能

わせ先

1 番 1 号

orate/randd/

ッフが外国人を

合った人が場

ーなど、向か

たり質問を受け

翻訳機能、背

/inquiry/ind

を座席まで案内

場所を変えた

かい合ってい

けたりする

景画像表示機

dex_id.html

内

たり、端末の向

いるときに便

機能、カメ

l

向きを変

便利です。

ラ機能、