行動実験に基づく科学的研究 認知科学からの諸議論

本田 秀仁（東京大学大学院総合文化研究科）

HAIシンポジウム2017 チュートリアル 「HAIを科学研究として成立させるための作法」

本日の内容• 行動実験の今：より“科学的”研究にするための議論 • 再現性の問題 • “False positive”が孕む問題点 • 実験者としての心得

• 意思決定科学分野から考える行動実験から科学的に研究を実践する方法

• ヒューリスティック研究を参考に

2

行動実験の今ーより“科学的”研究にするための議論ー

科学研究の重要な要素

• 研究手続きの明確化と主張内容の根拠を述べる→実験研究に基づくのであれば、根拠となる証拠（結果）は　再現される必要がある

4

心理学研究の知見は再現できるのか？

• Open Science Collaboration (2015, Science) • 心理学分野の有力雑誌に掲載された研究100について 論文内の手続きに従い、忠実に再現を行う

• 検討された研究が掲載された雑誌 • Psychological Science • Journal of Personality and Social Psychology • Journal of Experimental Psychology; Learning, Memory and Cognition

5

結果 6

Open Science Collatoration (2015), Science

p値の分布 効果量の分布

• 概して、予想される方向で再現できていないといえる • p値を基準とした有意検定では、効果の再現率が低い • 効果量で見た時、再現実験での効果量が小さい • 再現率：36%, 効果量：オリジナルの49%

• 他の社会科学分野では？ • Camerer et al. (2016, Science)：行動経済学の場合 • 心理学よりはいいものの、再現率は予想される率よりも低く、効果量も小さい • 再現率：61%, 効果量：オリジナルの66%

7

実験研究は概して、false positiveな傾向が強く、また効果量は強目に報告されている

False positiveな結果が孕む問題点

• Simmons, Nelson, and Simonsohn (2011), Psych. Sci. • False-positiveな結果が報告されがちな実験研究の問題点 • null resultsから明確な結論が出せないこと • null resultsや単純な再現では有力雑誌に掲載することはできない

• False positiveは研究資源を大きく奪ってしまう • 実りない研究への多大なコスト • 研究への信頼性の問題

8

実験者としての心得 Simmons, Nelson, and Simonsohn (2011), Psych. Sci.

• 実験開始前に、データ集めの方針を決め、またそれを論文に書く • 最低20名のデータを集め、もしそうではない場合は データ集めのコストに関して説得的に説明する

• 実験で測定した変数はすべて記載する • （失敗した操作も含めて）すべての実験条件を報告する • もしデータを削除する場合、この除外データも含めて分析した 際の結果も報告する

• もし共変量を仮定して統計分析結果を報告する場合、共変量を 仮定しない場合の統計分析結果も報告する

9

行動実験から科学的研究を行うための作法

意思決定科学からの示唆

行動実験から科学的研究を行うための作法

• ヒューリスティック（人間の単純な推論プロセス）を分析するために重要な視点

• Competitive test • Individual-level-test • Adaptive selection of heuristics

• より一般的な「科学的に行動実験研究を行う作法」としても考えることができる

11

Gigerenzer and Brighton (2009), Top. Cogn. Sci.

Competitive test

• 既存のモデルと比べ、さらによいモデルを特定することが科学

• 複数のモデルを検証して、その中から最も正確と考えられるモデルを選択する

• １つのモデルの評価を行わない

12

Gigerenzer and Brighton (2009), Top. Cogn. Sci.

Honda et al. (2017), Cogn. Sci.• 推論モデルの定式化

• BIC基準に基づく、モデル選択の証拠の強さの算出

13

• １

14

Honda et al., (2017), Cogn. Sci.

• モデルを定式化することによって、“科学的”手法を使いやすくなる

• モデルは“相対的”な良さで比較することが重要

• モデル間の違いを議論することで、自身の研究のオリジナリティをより明確に主張できる

15

Individual-level-test

• 個人レベルで分析することで、各個人が行なっている行動を理解できる

• 全体の平均だと、個人の性質が隠れてしまう

16

Gigerenzer and Brighton (2009), Top. Cogn. Sci.

人間の認知の個人差：思考を例として•Cognitive Reflection Test

17

Frederick (2005), J. Econ. Perspect.

スコア0（直感的）

スコア3（分析的）

（“分析的” が正答）

18

Frederick (2005), J. Econ. Perspect.

一般消費者 1.44医者 2.22

放射線技師 1.76食品会社の社員 1.78看護師 1.20管理栄養士 1.37

Honda et al., (2015), Food Qual. Prefer

19

職業、思考傾向と食品リスク認知の関係

思考傾向や職業によって、食品へのリスク認知は大きく異なる

Honda et al., (2005), Food Qual. Prefer

• 平均を分析することは、研究で検討したい要因の効果の有無について調べる上でもっとも重要な指標

• 一方で、大きな個人差が存在していることも事実

• 個人レベルで分析し、どのような個人がいたのか、その分布を理解することによって、要因の効果の意義の真の理解につながる

• 応用的にも、基礎的な人間理解においても重要

20

Adaptive selection of heuristics

• 人間は、単一のヒューリスティックを使っているわけではなく、複数のヒューリスティックを使用している

• 人間はそれらを適応的に使用することができるのか

21

Gigerenzer and Brighton (2009), Top. Cogn. Sci.

• 状況の違いによるヒューリスティックの使用の違い 22

選択率（％）

0

25

50

75

100

難易度高問題 難易度低問題

Heuristic 知識ベースの推論

Honda et al., (2017), Cogn. Sci.

• １つのモデルで、すべての行動を説明できない • 個人間で行動は異なる • 個人内でも状況に応じて異なる

• モデルの射程をしっかりと述べる • 提案するモデルは、どのような行動を説明するモデルなのか • 提案するモデルは、どのような場面の行動を説明できて、 どのような場面の行動を説明できないのか

23

文献• Camerer, C. F., et al. (2016). Evaluating replicability of laboratory experiments in economics. Science,

351(6280), 1433–1436.

• Frederick, S. (2005). Cognitive reflection and decision making. Journal of Economic Perspectives, 19(4), 25–42.

• Gigerenzer, G., & Brighton, H. (2009). Homo heuristics: Why biased minds make better inferences. Topics in Cognitive Science, 1(1), 107–143.

• Honda, H., Matsuka, T., & Ueda, K. (2017). Memory-Based Simple Heuristics as Attribute Substitution: Competitive Tests of Binary Choice Inference Models. Cognitive Science, 41(S5), 1093–1118.

• Honda, H., Ogawa, M., Murakoshi, T., Masuda, T., Utsumi, K., Nei, D., & Wada, Y. (2015). Variation in risk judgment on radiation contamination of food: Thinking trait and profession. Food Quality and Preference, 46, 119–125.

• Open ScienceCollaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251).

• Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366.

24