視覚・触覚・嗅覚情報を持つクロスモーダルメディアの印象評価 The Cross-modal Effect of Visual, Haptic and Olfactory Feedback on Impression

Evaluation

田井 眞直子*1，村松 慶一*2，小島 一晃*2，松居 辰則*2 Manako TAI*1，Kazuaki KOJIMA*2，Keiichi MURAMATSU*2，Tatsunori MATSUI*2

*1早稲田大学大学院人間科学研究科 *1 Graduate School of Human Sciences, WASEDA University

*2 早稲田大学人間科学学術院 *2 Faculty of Human Sciences, WASEDA University

Email: m-tai@asagi.waseda.jp, kei-mura@ruri.waseda.jp, koj@aoni.waseda.jp, matsui-t@waseda.jp

あらまし：本研究では視覚，触覚，嗅覚の 3つのモダリティを持つメディアにおける情動面で効果的な

情報提示のあり方の解明を目的として実験的検討を行った．結果，最もポジティブな感情反応が見られ

た刺激は，視覚情報については最も実物に近い 3DCG の写実性をやや低めたもの，触覚情報については，

視覚情報との組合せでは最も硬い感触の刺激となったが，さらに香りを付加した場合には最も硬い感触

よりもやや柔らかい感触の刺激となり，感情反応に変化が見られた． キーワード：クロスモーダル，マルチモーダル，触覚，嗅覚，認知負荷

1. はじめに 従来のコミュニケーションメディアは視聴覚中心

であったが，遠隔のやり取りの発達に伴い，多感覚

情報通信への取り組みがなされるようになった(1)．

多感覚情報提示を行うバーチャル・リアリティでは

高い臨場感をもたらすために写実性の高い視覚表現

をするメディアが多い．写実性が高ければメディア

の持つ情報量が多くなるが，マルチメディア学習に

おいて，情報過多により高い認知負荷がかかると理

解の妨げになるため，各モダリティに適度な量の情

報提示を行うことが効果的だと提唱されている(2)．

以上の背景により，視覚・触覚・嗅覚のモダリティ

を持つメディアにおける認知・情動面で効果的な情

報提示のあり方の解明を本研究の目的とした． 2. 方法 日常で接する頻度の高いりんごの視覚・触覚・嗅

覚情報をメディアで提示し，その印象評価を求める

実験を行った．りんごの視覚情報は図 1に示す写実性の異なる 4 種の 3D 画像，触覚情報は異なるばね定数によって強さを段階づけした反力(ばね定数 0.1の反力を F0，0.25の反力を F1，0.5の反力を F2，0.75の反力を F3，1の反力を F4と定義する)，嗅覚情報はりんごの香りが提示された．表 1に示すように，実験 1では視覚情報のみ，実験 2では視覚・触覚情報，実験 3では視覚・触覚・嗅覚情報を被験者に提示し，各々の印象評価を求めた．印象評価では，5段階の尺度を持つ 34項目の形容詞対を用いた． 反力は，図 2に示すように，力覚デバイスを用い

てディスプレイ上に提示された画像に対応した仮想

物体を被験者に触らせることで提示した．香りにつ

いては，蓋付き容器に入れたりんごジュース液中に

エアーポンプによって空気を送り込み，香り成分が

集積した気泡が容器内の空中ではじけた際に発散す

る香り成分をチューブを通して被験者の鼻先に送る

ことによって提示した．

表 1 実験概要 実験 1 実験 2 実験 3

モダリティ 視 視・触 視・触・嗅

目的

画像の写

実性によ

る印象変

化の調査

画像と反力の

組合せによる

印象変化の調

査

画像・反力・香

りの組合せに

よる印象変化

の調査

刺激数 画像 4種 画像 4種×反

力 4(5)種 = 16

画像 4種×反力4(5)種×香り 1種 = 16

A B C D 図 1 写実性の異なるりんごの画像

（写実性の高い方から順に A，B，C，Dと定義する）

図 2 実験風景

3. 結果と考察 3.1 画像の物理的情報と印象の関係 実験 1では画像Aよりも Bの方が感情に関する形

容詞対においてポジティブな評価(以下，「感情に関

する形容詞対においてポジティブ/ネガティブな評価」であることを省略して「ポジティブ/ネガティブな評価」と記述する)であり，実験 2，3 においてもB を用いた刺激はポジティブな評価となるものが多かった．B のテクスチャは，A のそれをもとに階調数を 255から 14に削減する操作により作成し，これは色の明度の分布を示す図 3に示すように，明るさの範囲を変えずに等間隔に階調を設定したため，明

暗のはっきりした色使いになったと解釈される． Aと Bの印象評価の差を見ると，Bの方が鮮やか

さ，色づきの良さが高く評価されており，因子分析

の結果これらの項目は鮮度に関することが判明した

ことから，B の方が鮮度の高い印象を与え，よりポジティブな評価となったと考えられる．

図 3 3D画像のテクスチャのカラーヒストグラム （左：A，右：B，横軸：色の明るさ値，縦軸：各値

を取るピクセル数） 3.2 反力と香りの効果 実験１と２の結果を比較したところ，画像や反力

の種類に関わらず，反力提示により臨場感が高まる

傾向にあり，特に反力が強い方がその効果が大きく

なることが明らかになった．また，写実性の高い画

像 A，B に強い反力を組み合わせるとよりポジティブな評価となる相乗効果が見られた．表 2に示すように，反力の強さに影響されると考えられる硬さ感

覚と引き締まり感覚(この 2 項目は触感に関連)が鮮度に関する印象と相関があった．したがって，強い

反力を与えると硬く引き締まった印象を持つことに

よって鮮度が高く感じられ，よりポジティブな評価

につながったのだと考えられる． 実験 2と 3の結果を比較したところ，写実性の高

い画像 A，B に香りを付加した刺激はよりポジティブな評価になったが，最も写実性の低い画像 Dの刺激においてはよりネガティブな評価となり，香りの

効果は反力よりも画像と関係が強いことが明らかに

なった．また，香りを付加することにより柔らかさ

の印象が増すが，それによって必ずしもネガティブ

な評価に転じるわけではないことが確認された．香

りに関する形容詞対と感情に関する形容詞対での評

価の関係を調べたところ，甘く華やかな香りだと感

じるとポジティブな評価となることが示唆された． 3.3 画像・反力・香りの最適な組合せ 其々の実験において最もポジティブな評価となっ

た刺激は，実験 1 では B，実験 2 では B と F4 の組合せ B4，実験 3では Bと F3の組合せに香りを付加した B3s，A と F4 の組合せに香りを付加した A4sとなった．表 3に結果の一部を示す．画像と反力の組合せの場合には，硬い感触を得ることで鮮度の高

い印象を持ったことが起因してポジティブな評価に

なったと考えられる．さらに香りを付加した場合に

は，B4s よりも B3s という柔らかさを増した刺激の方がポジティブな評価となった理由としては，熟成

感が挙げられる．りんごの香り成分に含まれるエス

テル類は熟成感をもたらす．一方で，りんごは熟成

に伴い軟化する．したがって，香りによりもたらさ

れた熟成感がやや柔らかい触感と適合したと考えら

れる．

4. おわりに 本研究では，視覚・触覚・嗅覚の 3つのモダリテ

ィを組合せたメディアに対する印象評価を通して，

画像の写実性，反力の強さ，香りの有無が情動面の

評価にもたらす影響について検討した．結果，色の

階調数という観点で写実性をやや低めた画像はメリ

ハリの効いた色使いとなり，好印象を与えたことか

ら，メディアにおいて色の情報量を統制することで

認知負荷を軽減し，情動面に良い効果をもたらすこ

とができるという知見が得られた．また，触覚情報

は鮮度の印象形成に影響し，りんごという食べ物の

状態を判断する認知的活動に寄与することを通じて

情動に影響し，さらに香りを付加すると熟成感とい

う新たな判断基準が作られ，情動反応に変化が起き

たものと考えられる．以上より，各モダリティは異

なる役割を持って情動に影響したと推察される． 今後の課題としては，(1)五感情報の統合過程から

認知・情動反応に至る仕組みの解明，(2)最適な組合せを決定する要因をより詳細に検討すること，(3)香りの要素と印象との関係性の解明が挙げられる． 表 2 触感と鮮度に関する評価平均の積率相関係数

硬さ － みずみずしさ 0.88

硬さ – 新鮮さ 0.93

硬さ – ハリ 0.97 引き締まり感 – みずみずしさ 0.91 引き締まり感 – 新鮮さ 0.93 引き締まり感 – ハリ 0.97

表 3 感情に関する項目における評価平均値

刺激の種類

気持の良さ

好感度

快さ

おいしさ

違和感の無

さ

親しみやす

さ

A 2.83 3 2.83 3 2.92 2.75

B 3.27 3.27 3.45 3.41 3.32 3.45

A4 3.64 3.64 3.41 3.54 3.64 3.59 B3 3.55 3.59 3.64 3.45 3.64 3.41 B4 3.63 3.82 3.68 3.45 3.91 3.68

A4s 3.75 3.8 3.8 3.6 4.05 3.9

B3s 3.67 3.86 3.9 3.67 3.86 4

B4s 3.57 3.76 3.76 3.9 3.67 3.86

参考文献

(1) 廣瀬通孝：“五感情報通信技術”，バイオメカニズム学会誌，Vol.31，No.2，pp.71-74(2007)

(2) Richard E. Mayer: “Multimedia Learning (2nd edition)”, Cambridge University Press (2012)