2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

29
伊伊伊伊 伊伊伊伊 伊伊伊伊伊伊伊伊伊伊 伊伊伊伊伊伊伊伊伊 「」 ニニニニニニ 2013 ニ 12 ニ 21 ニ ニニニニ ニニニニ 伊伊伊伊伊伊伊伊伊伊伊伊伊 「、、」 ニニ ニニ

Transcript of 2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

Page 1: 2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

伊福部達   東京大学・高齢社会総合研究機構

「感覚脳」の福祉工学ニコニコ学会  2013 年 12 月21 日

モノ作り

ナゾ解き

「聞く、話す、見る」を助ける

循環 循環

Page 2: 2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

警報音+声

 「アイヌ」の歌と「ゴジラ」の音楽   -「福祉工学」研究の原風景-

川北紘一氏提供

故郷のアイヌ集落(二風谷)と熊祭り

映画「ゴジラ」の場面と音楽

Page 3: 2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

医療工学

福祉工

障害を克服

快適な生活

生命を維持

社会に参加

支援の対象

 福祉工学とは

4 つの課題に挑戦

1.「聴く」を助ける  触知ボコーダ

2.「聴く」を助ける 音声タイプライタ

3.「話す」を助ける  人工喉頭

4.「見る」を助ける  超音波メガネ

Page 4: 2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

「聴く」を助ける ー指で聴く「触知ボコーダ」ー

( NHK 総合 TV 「指で聴いたアイウエオ」 1975 年)

音声を表示する触覚ディスプレイ( 48 チャンネル)

触覚で言葉が分かるのか?

麻雀の盲パイの分析→ パターンの動きが重要

Page 5: 2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

 一音一音発声した声をかな文字する(伊福部研から生まれたベンチャー企業との共同開発、1977販売)

「聴く」を助ける「音声タイプライタ」-中途失聴者からの依頼-

( 1983 年出版)

HBC ニュース( 1982頃)

TBS 「おはようクジラ」( 1998 年頃)

  32kByte,   3Mhz,  Z80(CPU)

しかし、高価で売れなかった

Page 6: 2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

「話す」を助ける ー代用発声の音色ー

食道発声(ゲップ音で話す) 人工喉頭(のどに

振動、フラットな音)

北海道文化放送ニュース( 2002 年頃)

ヒトの声の抑揚を旨く真似ている

NHK 教育「 VR は福祉だ」(( 1994 )

なぜ!どうやって?

Page 7: 2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

「見る」を助けるコウモリをモデルとした超音波メガネ

キクガシラコウモリ( CF-FM )をモデルに

NHK 教育「ジュニア文化、人工の目、耳」 1980 年頃

なぜ!どうやって?

Page 8: 2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

Final appraisal何かにぶつかりそうになる

First perception 何かがあるような感じ

障害物は気配で分かる? 「ナゾ」

どうも「音」で分かるらしい!

障害物知覚の2つのステップ

NHK 総合「解体新ショー」( 2009 )

Page 9: 2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

「聴く、話す、見る」を助ける機器から多くの「ナゾ」が生まれた

その「ナゾ」はとても深く、「モノ」は売れない!

聞く 見る話す

支援機器作り

多くのナゾが生ま

Page 10: 2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

戻っては来たが、研究室の居場所がない!君のは学問でない!「人工の耳」を学ぶためスタンフォード大学行きの準備(1984)

その前に、 100 年前のカラフトアイヌの歌の再生依頼

Page 11: 2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

  蝋管から聞こえる 100 年前の声        ~樺太アイヌの歌~

アイヌ音楽の例(ムックリと歌)

ポーランドで発見されたロウ管レコード( 73本)

NHK特集「ユーカラ沈黙の 80 年」(1985)

Page 12: 2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

ロウ管の歌の再生装置

サファイア針による再生

レーザによる再生

NHK特集「ユーカラ沈黙の 80 年」(1985)

Page 13: 2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

ヤエカテカラ(恋の歌)

樺太アイヌの全盲の 83歳のお婆さんの記憶がよみがえる

アイヌの人たちは文字を持っていなかったので、の歌で歴史や心情を伝えていた

再生された歌の例

シャーマン(神と人の通訳者)

アイヌのシャーマンの声を聴いた孫の記憶がよみがえる

記憶がよみがえる?

Page 14: 2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

「聴く」を助ける人工内耳米国スタンフォード大学における共同研究 ( 1984年)

聴神経 (16,000本 )

電極 (8個 )

内耳の蝸牛管

ボランティア(67歳)

金属性の雑音にすぎない、でも21世紀のために・・・・2,3週間後に「声」になった!

Page 15: 2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

脳内の情報の流れが見えてきた

機能の代償(失われた感覚を補う )

脳の可塑性(脳の特性が変わる )

声は脳で聞き、記憶がよみがえる

脳内の流れを変えても、聞きたい欲

(端的に盲ろう者で現れる)

言葉の構築

言葉の理解

言葉の表出

触覚

触覚パターン

視覚

大脳左半球と旧皮質

聴覚

電気刺激

Page 16: 2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

再び挑戦してみようか

スタンフォード大学のプロジェクトは解散

Page 17: 2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

福島智助教授(現教授)福島智助教授(現教授)■ 9歳のとき視力喪失9歳のとき視力喪失■ 1818歳のとき聴力喪失歳のとき聴力喪失(夢も指点字で・・)(夢も指点字で・・)

盲ろう者(福島先生)の指点字ー東大・バリアフリー PJ での共同研究ー

東大・先端研( 2001~)

言葉の構築 言葉の

理解

言葉の表出

触覚

触覚パターン

視覚

大脳左半球と旧皮質

文字

脳内の情報の流れTBS テレビ「情熱大陸」( 2005 )

脳が変わる「可塑性」の力!

Page 18: 2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

盲ろう者が歌を取り戻す( 2006 )

40歳のときに聴力と視力を失う((謡いの先生、当時 67歳)

東大・先端研( 2001~)

言葉の構築 言葉の

理解

歌の表出

触覚

触覚・歌パターン

視覚

大脳左半球と旧皮質

触覚 - 脳 - 発声がループを描く

Page 19: 2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

「聴く」を助ける音声字幕システム-世界障害者会議( DPI) より依頼( 2002.10 )-

2004 年当時

ヒトと機器の共同作業

  ネットワークを使うと

皆が使うものにすると売れる?

Page 20: 2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

「読む」を助けるスクリーンリーダ ~ 3倍近く速い音声を聞き取る? 「ナ

ゾ」~

言語脳の可塑性と潜在能力文字を高速音声に非文字を触覚情報

触覚ジョグダイアル

NHK 総合 TV ニュース( 2005 )

NHK 教育「ホワイトボックス」( 2009 )

2つの感覚を併用するともっと良い

Page 21: 2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

呼吸で声の高さを制御

「話す」を助ける抑揚制御型人工喉頭の製品化

トップシェアで販売、ヒトの適応能力のすごさ

NHK 教育「にんげんゆうゆう」( 2000 )

歌も歌える

Page 22: 2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

「話す」を助ける「構音障害」「失語症」の支援

腹話術師が舌の動きだけで全ての声を出す仕組み舌の動き    指の動き   

笑い声なども

笑い声も

ヒトの学習能力のすごさ

Page 23: 2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

「感情表現の増強」

ヒッチコック監督の映画「サイコ」 (1960)

恐怖感、不安感の増強「ゴジラ」 (1956) の音楽のイントロ破壊場面の予測        

映画音楽を参考

「場面の連続と予測」

   緊急地震速報チャイムの制作( 2007 )

Page 24: 2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

交響曲「シンフォニア・タプカーラ」

3 楽章冒頭部Vivace

アイヌ集落の熊祭りと踊り「タプカーラ」

和音(ドン!)

トリル!オリジナルの圧縮

機械的な音に変換( タプ 3和音編曲2 )

和音(ドン、地震)

トリル的繰り返し(津波)

電子音にしてトリルを加える

機械的な音を速く+トリル

( タプ 3和音編曲 6)

( タプ 3和音編曲 7)

緊張感・不安感・難聴者

Page 25: 2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

東日本の巨大地震の直後、激しく鳴り響く

○管弦楽曲にする人も!

再び、日常の研究生活へ

○著書も生まれた( 2012 )

脳内の潜在感覚に訴える力の凄さ!!

Page 26: 2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

「話す」を助けるウェアラブル装置・スマホの実用化

首バンド型ウェアラブル人工喉頭   

アイ・アプリ「ゆびで話そう」発売( 2013.5 )

テレビ朝日「ビフォーアフター」( 2013 . 8 )

腹話術師

指の動き

舌の動き

Page 27: 2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

カメラ画像

マイク音響

「聞く、見る、話す」を助けるバリアフリー携帯触覚センサと触覚ディスプレイを兼ねる双方向インタフェース

触覚双方向通信

全盲者が文字を読む例

Page 28: 2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

例:気配を感じる「驚異の聴覚」

ナゾはますます増え、            循環は果てしなく続く

聞く 見る話す

モノ作り

ナゾ解き

脳の可塑性、未知の潜在能力が見えてくる

NHK 教育「サイエンスゼロ」( 2010 )

そこから新しい「モノ作り」が生まれる

Page 29: 2013.12.21 第五回ニコニコ学会β研究100連発伊福部スライド

ヒトの肉体はますます長持ちするが、感覚や脳はそうもいかない → 将来、誰もが必要となる「モノ作り」になる

この分野の面白さを知ってもらい、挑戦してくれる人が増えてくれれば幸い!

割合高齢化

現在 近未来

ICT, IRT日本経済生きがい

過去

産業創出