言語表現と視覚表現の比較

関西大学社会学部　雨宮俊彦

話しの流れ

• 言葉と視覚表現の位置づけ（言語ウィルス説、視覚記号菌説）視覚表現は言葉の解釈系に依存している

• 純粋な視覚表現の記号的弱点（否定表現、階層性、抽象性）

• 視覚表現の修辞法とスタイル• マンガにおける話し言葉の視覚化と、絵の

言葉化

言語は人類に寄生するウィルスである

• 文化感染症説（梅棹 1967 の宗教伝染病論、 Sperpber1996 の表象の疫学）

• 言語は人間の認知系に寄生するよう進化したウィルスである（ Deacon1997)

• 言語修得（感染）能力には、一般的認知機能だけではなく、言語に特異的な基盤があり、これは遺伝子に書き込まれている。しかし、どの言語に感染するかは、言語ウィルスを伝搬するどの集団に属したかによって決まる。

言語ウィルスは人類の認知能力に革命をもたらした

• 記号の表現面における二重の分節化（音素と単語）と内容面の階層化によりもたらされた数千の語彙による指示能力の飛躍的拡大（ Deacon1997 ）

• 命題表現による状況に依存しない事実の叙述。否定表現。意図的に事実と異なる表現。

視覚記号は人間の視覚情報処理系に言語ウィルスの力を借りて寄生するように

なった有用な細菌である

• 面的・オブジェクト的で膨大な情報を持つ視覚画像を記号的に扱えるため、適切に使えばきわめて強力な認知能力を発揮する

• 視覚画像の潜在的な情報量が多すぎるため、記号の表現面と内容面との対応には言語によるアンカーや解釈が必用。視覚記号は歴史的にきわめて遅くに発達した。

• 視覚記号菌は、進化ではなく歴史に属し、言語ウィルスのような特定の遺伝的基盤はない。言語の強力な補助者にとどまる。

視覚情報処理

視覚記号菌のさまざま

視覚記号の分類

視覚記号の確立された分類はない。視覚情報処理のどの段階の出力を利用しているか、図式化、構成要素の規格化の程度でおよそ分けることができる。両者はおよそ対応するが、最近は規格化された Object 表示も用いられるようになった。

（記号の表現面と内容面との対応が比喩的な場合が表現、そうでない場合が表示である。両者を区別しない場合には表現という用語を用いる。）

図式化・構成要素の規格化

写真・絵図・グラフアイコン文

視覚の初期出力の利用

視覚の後期出力の利用

話し言葉と書き言葉

話し言葉

書き言葉

表現面 内容面

間エージェント的・線条的・二重分節化による綴りと数千以上の語彙・声の調子

オブジェクト的に提示される間エージェント性・面に展開される線条性・文字による綴りの定着と数万の語彙

　 　 否定・ウソ・命題、階層性、抽象性、状況依存性と声の感性伝達

　 　 否定・ウソ・命題、階層性、抽象性の強化と分析性の獲得

（声の文化）

（文字の文化）

言葉と視覚表現の位置

潜在的に膨大Iconicな情報を

に提示しうる

アンカー・解釈の文脈提示

視覚表現

言葉

社会集団

環境

階層的語彙と命題

視覚図式への寄生

集団的に脳に感染し、遺伝子に基本が書き込まれたレトロウィルスとしての言葉

有用体内細菌としての視覚記号

純粋な視覚表現で否定形は可能か？

「海には誰も泳いでいない。」

否定は命題論理の基本要素。否定が表現できないと命題を組織的に表現することも不可能。

？

手塚治虫の試み（言葉）

手塚治虫の試み（絵とバルーン）

言葉は抽象の階層の任意のレベルで対象を指示できる

絵は特定のレベル（基本レベル）との自然な結びつきがあるので任意のレベルの指示対象のラベルにはなりにくい

PICの形容詞、抽象名詞の正答率は低い

比喩的に抽象概念を表現しても言語的注釈がないと分からない

感性的内容は対象の指示によらずやや漠然と表現可能（音象徴や声の調子に相

当）

アイコン文は要素と意味、構文が規格化された記譜（ Notational)記号システム

であって絵ではない

中間的まとめとこれからの話し

• 言葉による注釈や文脈の提示なしの、純粋な視覚記号のみの表現はかなり限られたもので、実際的には存在しない。

• 以下の、視覚表現の修辞法、視覚表現のスタイルでは、言葉による注釈や文脈の提示を前提にして、視覚表現を扱う。

• 最後のマンガ表現では、視覚表現と言語表現の融合を扱う。