2013 11 jacet-kansai-ws

58
Excel を使った t 検定 2013年度大学英語教育学会 (JACET)関西支部秋季大会 企画ワークショップ1 2013/11/09@神戸市外国語大学 水本 篤(関西大学)

Transcript of 2013 11 jacet-kansai-ws

Page 1: 2013 11 jacet-kansai-ws

Excel を使った t 検定

2013年度大学英語教育学会(JACET)関西支部秋季大会

企画ワークショップ12013/11/09@神戸市外国語大学

水本 篤(関西大学)

Page 2: 2013 11 jacet-kansai-ws

説明スライドとデータ

http://mizumot.com/lablog

Page 3: 2013 11 jacet-kansai-ws

竹内・水本(2012)

Page 4: 2013 11 jacet-kansai-ws

http://mizumot.com/handbook

Page 5: 2013 11 jacet-kansai-ws

•『外国語教育研究ハンドブック』の内容に基づき,Excelで基本的な分析と図表作成方法の紹介。

•Excelでカバーできない内容は,オンラインプログラムの紹介。

•効果量,検定力分析の紹介。

Page 6: 2013 11 jacet-kansai-ws

外国語教育研究の立ち位置(柳瀬, 2006を一部改変)

竹内・水本 (2012, p. 8)

Page 7: 2013 11 jacet-kansai-ws

2010年の状況

Page 8: 2013 11 jacet-kansai-ws

その他

ミックス

掲載本数(理論研究37本以外計413本)

0 50 100 150 200 250 300 350

341

13

31

28

水本・浦野(2013)

ARELEは量的研究が82.5%

Page 9: 2013 11 jacet-kansai-ws

•どのようなデータをどのように分析するか知らなければ,データ収集もできない。

•データ収集,論文執筆前に知っておこう。

Page 10: 2013 11 jacet-kansai-ws

•記述統計を Excel で計算できるようになる。

•t 検定を Excel で計算できるようになる。

•効果量(effect size)を知る。

WSの目標

Page 11: 2013 11 jacet-kansai-ws

•平均値(mean: M)

•標準偏差(standard deviation: SD)

記述統計(descriptive statistics)

Page 12: 2013 11 jacet-kansai-ws

よくある表

Page 13: 2013 11 jacet-kansai-ws

•平均値(mean: M)

•標準偏差(standard deviation: SD)

記述統計(descriptive statistics)

演習1

<実行方法説明> http://mizumot.com/handbook/?page_id=96

Page 14: 2013 11 jacet-kansai-ws
Page 15: 2013 11 jacet-kansai-ws

平均30点,標準偏差10点

Page 16: 2013 11 jacet-kansai-ws

平均2.8点,標準偏差1.2点

2.8

Page 17: 2013 11 jacet-kansai-ws

グラフも描いてみましょう

http://langtest.jp:3838/bs/

http://spark.rstudio.com/mizumot88/bs/

or

Page 18: 2013 11 jacet-kansai-ws

•対応のない t 検定

•対応のある t 検定

t 検定(t-test)

Page 19: 2013 11 jacet-kansai-ws

対応のない t 検定

2つのグループの平均点を比べたいような場合

Page 20: 2013 11 jacet-kansai-ws

対応のある t 検定

同じ学習者が2回テストを受けて,その平均点を比べたいような場合。

Page 21: 2013 11 jacet-kansai-ws

推測統計

Page 22: 2013 11 jacet-kansai-ws

t 検定(対応なし)

2つのグループの点数の相違が「母集団 (population)においても見られるか?」という推測をおこなう。

 <前提条件>  1. 標本の無作為抽出(→注意)

  2. 各グループの母集団の分布が正規分布(正規性)

 3. 2つの母集団の分散が等しいこと(等分散性)

Page 23: 2013 11 jacet-kansai-ws

t 検定のロジック

• 2つのグループには「差がない」と仮定

• 2つのグループの人数,平均値,標準偏差から t 値を算出

• 2つのグループから得られる自由度を持ったt 分布から確率を算出

•「差がない」確率が p < .05 なら有意差あり

Page 24: 2013 11 jacet-kansai-ws

t 検定のロジック

• 2つのグループには「差がない」と仮定

• 2つのグループの人数,平均値,標準偏差から t 値を算出

• 2つのグループから得られる自由度を持ったt 分布から確率を算出

•「差がない」確率が p < .05 なら有意差あり

Page 25: 2013 11 jacet-kansai-ws

t 値

※人数,平均値,分散(標準偏差の2乗) しか入っていないことに注目!

等分散の仮定が満たされる場合

Page 26: 2013 11 jacet-kansai-ws

t 検定のロジック

• 2つのグループには「差がない」と仮定

• 2つのグループの人数,平均値,標準偏差から t 値を算出

• 2つのグループから得られる自由度を持ったt 分布から確率を算出

•「差がない」確率が p < .05 なら有意差あり

Page 27: 2013 11 jacet-kansai-ws

自由度(degree of freedom: df)

•群1: 女子 44 人

•群2: 男子 48 人

自由度

(44-1)+(48-1)= 90

Page 28: 2013 11 jacet-kansai-ws

自由度のイメージ

9 8

5

4

21

67

310

Page 29: 2013 11 jacet-kansai-ws

自由度のイメージ

98

54

21

6

7

3

10

Page 30: 2013 11 jacet-kansai-ws

自由度のイメージ

9 8

5

4

21

67

310

Page 31: 2013 11 jacet-kansai-ws

自由度のイメージ

98

54

216

7

3

10

Page 32: 2013 11 jacet-kansai-ws

-3 -2 -1 0 1 2 3

0.0

0.1

0.2

0.3

0.4

x

dt(x, 90)

df = 90

Page 33: 2013 11 jacet-kansai-ws

-3 -2 -1 0 1 2 3

0.0

0.1

0.2

0.3

0.4

x

dt(x, 90)

df = 90

2つのグループから得られる自由度を持ったt 分布から確率を算出

Page 34: 2013 11 jacet-kansai-ws

Learning by doing stats

http://langtest.jp:3838/tut/

http://spark.rstudio.com/mizumot88/tut/

or

Page 35: 2013 11 jacet-kansai-ws

•男女それぞれに平均値と標準偏差を求める。

•男女の平均値に差があるかを検定。(母集団でも差は見られるか?)

t 検定演習2

<実行方法説明> http://mizumot.com/handbook/?page_id=144

Page 36: 2013 11 jacet-kansai-ws

結果の見方・報告

p < .05(0.05以下)

•p < .05 であれば統計的に有意な差あり。

•p > .05 であれば統計的に有意な差なし。

•書き方 t (90) = 0.09, p = .93

Page 37: 2013 11 jacet-kansai-ws

正規性が仮定できない場合

2つのクラスの点数を比べるような(対応のない)場合

→マンホイットニーのU検定

同じ学習者がテストを2回受けたような(対応のある)場合 →ウィルコクスンの符号付順位和検定

Page 38: 2013 11 jacet-kansai-ws

一番楽な方法

http://langtest.jp

Page 39: 2013 11 jacet-kansai-ws

効果量 (effect size)

Page 40: 2013 11 jacet-kansai-ws

p 値は「差がない」確率

p < .001

Page 41: 2013 11 jacet-kansai-ws

95%

5%

p = .03(3%)     p < .05(0.05以下)

p < .05 であれば統計的に有意な差あり

p 値は「差がない」確率

Page 42: 2013 11 jacet-kansai-ws

統計的に有意な差

p < .05(0.05以下)

Page 43: 2013 11 jacet-kansai-ws
Page 44: 2013 11 jacet-kansai-ws
Page 45: 2013 11 jacet-kansai-ws

p = .46(p < .05)

N = 400

たったの2点差!

Page 46: 2013 11 jacet-kansai-ws

• 統計的検定の問題点- サンプルサイズが影響。- 有意差あり・なしのみの判断。- p 値は実質的な差を示さない。

効果量(Effect Size)

Page 47: 2013 11 jacet-kansai-ws

• 効果量(Effect Size)- サンプルサイズに影響されない。- 効果の大小を示す。- 実質的な差を確認できる。

• APA 6th では報告が「不可欠」

Page 48: 2013 11 jacet-kansai-ws

M = 30SD = 10

Page 49: 2013 11 jacet-kansai-ws

M = 30SD = 10

M = 32SD = 10

Page 50: 2013 11 jacet-kansai-ws

M = 30SD = 10

M = 32SD = 102/10 = 0.2

d = 0.2 (効果量小)

Page 51: 2013 11 jacet-kansai-ws

M = 30SD = 10

M = 35SD = 105/10 = 0.5

d = 0.5 (効果量中)

Page 52: 2013 11 jacet-kansai-ws

M = 30SD = 10

M = 38SD = 108/10 = 0.8

d = 0.8 (効果量大)

Page 53: 2013 11 jacet-kansai-ws

効果量 d = 0.2

効果量 d = 0.2

Page 54: 2013 11 jacet-kansai-ws

http://www.mizumot.com/stats/effectsize.xls

Page 55: 2013 11 jacet-kansai-ws

一番楽な方法

http://langtest.jp

Page 56: 2013 11 jacet-kansai-ws

検定力分析(power analysis)

- 本当に差がある場合に,有意差を検出することができる力。- サンプルサイズは大きすぎても,小さすぎてもダメ。- 検定力(power)を大きくし,できるだけ小さなサンプルサイズで検定するために,必要なサンプルサイズを見積もる方法。

Page 57: 2013 11 jacet-kansai-ws

G*Power3

Page 58: 2013 11 jacet-kansai-ws

推薦書籍