視覚変調による味覚操作に関する研究...視覚変調による味覚操作に関する研究...

14
視覚変調による味覚操作に関する研究 中野 萌士 (NAIST サイバネティクス・リアリティ工学研究室 D2)

Transcript of 視覚変調による味覚操作に関する研究...視覚変調による味覚操作に関する研究...

Page 1: 視覚変調による味覚操作に関する研究...視覚変調による味覚操作に関する研究 中野萌士 (NAIST サイバネティクス・リアリティ工学研究室D2)

視覚変調による味覚操作に関する研究

中野萌士 (NAIST サイバネティクス・リアリティ工学研究室 D2)

Page 2: 視覚変調による味覚操作に関する研究...視覚変調による味覚操作に関する研究 中野萌士 (NAIST サイバネティクス・リアリティ工学研究室D2)

2

自己紹介

• 名前:中野萌士 (Kizashi Nakano)

• 所属:NAIST,清川研究室 D2

• 領域:AR/VR,味覚,HMD,Virtual Avatar

• 興味:

感覚提示手法によって私達が知覚している世界を操作する

@signs0302

Page 3: 視覚変調による味覚操作に関する研究...視覚変調による味覚操作に関する研究 中野萌士 (NAIST サイバネティクス・リアリティ工学研究室D2)

3

研究の背景

原因:食物アレルギーや疾患,ダイエット等問題:食生活のQoLが低下[1]

食べられない食事を食べた感覚を味覚変調で提示する[1] J. A. Lieberman and S. H. Sicherer : Quality of life in food allergy. Current Opinion in Allergy and Clinical Immunology, 11(3), pp236–242, 2011.

Page 4: 視覚変調による味覚操作に関する研究...視覚変調による味覚操作に関する研究 中野萌士 (NAIST サイバネティクス・リアリティ工学研究室D2)

4

StarGANを用いた食事外見の変調[2]

[2] K. Nakano et al. : DeepTaste: Augmented Reality Gustatory Manipulation with GAN-based Real-time Food-to-food Translation, ISMAR, pp.328-339, 2019.

https://www.youtube.com/watch?v=BJaQ5IF6iEI

Page 5: 視覚変調による味覚操作に関する研究...視覚変調による味覚操作に関する研究 中野萌士 (NAIST サイバネティクス・リアリティ工学研究室D2)

5

視覚提示した味を感じるのか? (N=12) [2]

そうめんの味に感じたか?

焼きそばの味に感じたか?

• 実際の食事はそうめん

• VAS (0-100) で回答

• 焼きそばを見る条件では– 実際の食事の味を弱く感じる

– 視覚提示した食事の味を強く感じる

• 種類の変化>味の変化( 種類の認識>味覚刺激 )

[2] K. Nakano et al. : DeepTaste: Augmented Reality Gustatory Manipulation with GAN-based Real-time Food-to-food Translation, ISMAR, pp.328-339, 2019.

Page 6: 視覚変調による味覚操作に関する研究...視覚変調による味覚操作に関する研究 中野萌士 (NAIST サイバネティクス・リアリティ工学研究室D2)

6

• 実際の食事はそうめん

• VAS (0-100) で回答

• 焼きそばを見る条件では– 実際の食事の味を弱く感じる

– 視覚提示した食事の味を強く感じる

• 種類の変化>味の変化( 種類の認識>味覚刺激 )

視覚提示した味を感じるのか? (N=12) [2]

焼きそばを食べていると感じたか?

焼きそばの味に感じたか?

[2] K. Nakano et al. : DeepTaste: Augmented Reality Gustatory Manipulation with GAN-based Real-time Food-to-food Translation, ISMAR, pp.328-339, 2019.

Page 7: 視覚変調による味覚操作に関する研究...視覚変調による味覚操作に関する研究 中野萌士 (NAIST サイバネティクス・リアリティ工学研究室D2)

7

味覚の変化は持続するのか? (N=16) [3]

• 実際の食事はそうめん外見は焼きそば

• 5口目まで1口ごとにVAS (0-100) で回答

• 1口目との差をグラフ化

• 仮説:そうめんの味が増加焼きそばの味が減少 そうめんの味

に感じたか?焼きそばの味に感じたか?

1口目と5口目の値が10以上• 増加した• 変化しなかった• 減少した

[3] K. Nakano et al. : A Study on Persistence of GAN-Based Vision-Induced Gustatory Manipulation, Electronics 10 (10), 1157, 2021.

Page 8: 視覚変調による味覚操作に関する研究...視覚変調による味覚操作に関する研究 中野萌士 (NAIST サイバネティクス・リアリティ工学研究室D2)

8

味覚の変化は持続するのか? (N=16) [3]

• 実際の食事はそうめん外見は焼きそば

• 5口目まで1口ごとにVAS (0-100) で回答

• 1口目との差をグラフ化

• 結果:増加,変化なし減少が同程度存在

[3] K. Nakano et al. : A Study on Persistence of GAN-Based Vision-Induced Gustatory Manipulation, Electronics 10 (10), 1157, 2021.

そうめんの味に感じたか?

焼きそばの味に感じたか?

1口目と5口目の値が10以上• 増加した• 変化しなかった• 減少した

Page 9: 視覚変調による味覚操作に関する研究...視覚変調による味覚操作に関する研究 中野萌士 (NAIST サイバネティクス・リアリティ工学研究室D2)

9

VR空間で食体験を構築出来るだろうか?

AR

VR (AV)

• これまではARを用いた味覚操作の研究を紹介した

• VR (AV)を用いることで周囲の環境変化や遠隔共食を行える

• しかし,HMD装着時に食事をすることは困難

Page 10: 視覚変調による味覚操作に関する研究...視覚変調による味覚操作に関する研究 中野萌士 (NAIST サイバネティクス・リアリティ工学研究室D2)

10[4] 中野萌士と堀田大地 : VR空間における食体験の構築, 2019年度未踏IT人材発掘・育成事業, 2020.

VR空間で食事を行えるソフトウェアの開発 [4]https://www.youtube.com/watch?v=Teo_Gv3lFI4

Page 11: 視覚変調による味覚操作に関する研究...視覚変調による味覚操作に関する研究 中野萌士 (NAIST サイバネティクス・リアリティ工学研究室D2)

11

VR空間での共食 [4]

自分の視点

相手の視点

[4] 中野萌士と堀田大地 : VR空間における食体験の構築, 2019年度未踏IT人材発掘・育成事業, 2020.

https://www.youtube.com/watch?v=Teo_Gv3lFI4

Page 12: 視覚変調による味覚操作に関する研究...視覚変調による味覚操作に関する研究 中野萌士 (NAIST サイバネティクス・リアリティ工学研究室D2)

12

垂直下方向の視野角 (下方視野) の重要性

AR• ARやVR (AV)を用いた味覚操作の研究を紹介した

• 視覚変調を行うためのHMDの視野角が足りない

• 特に垂直方向の視野角が足りず口元付近の食事を表示できない

HMD

Page 13: 視覚変調による味覚操作に関する研究...視覚変調による味覚操作に関する研究 中野萌士 (NAIST サイバネティクス・リアリティ工学研究室D2)

13

下方視野を拡大したHMDの開発 [5]

[5] 中野萌士ら :下方視野を拡大したHMDの開発と評価,インタラクション, pp.106-114, 2020.

https://www.youtube.com/watch?v=7yig_w3X0PI

Page 14: 視覚変調による味覚操作に関する研究...視覚変調による味覚操作に関する研究 中野萌士 (NAIST サイバネティクス・リアリティ工学研究室D2)

14

今後も視覚変調による味覚操作に関する研究に挑戦していきます!

私達が知覚している世界を操作する• ARを用いて食事の味や種類を操作

• VR (AV)を用いてVR空間における食体験を構築

• 下方視野を拡大したHMDを開発

@[email protected]