PCT申请申请的布局的布局的布局与管理与管理 · 2010. 7. 5. · 1 机密机密 PCT申请申请的布局的布局的布局与管理与管理 Layout and Management of
統計モデリング 第二回配布資料 - Osaka...
Transcript of 統計モデリング 第二回配布資料 - Osaka...
2019年4月16日@統計モデリング
担当:田中冬彦
統計モデリング第二回 配布資料
文献:A. J. Dobson and A. G. Barnett:An Introduction to Generalized Linear Models 3rd ed.,
CRC Press.
配布資料のPDFは以下からもDLできます. 短縮URL http://tinyurl.com/lxb7kb8
今日の内容
0. (統計の復習) 分布記号&データの分類1.統計分析の流れ2.統計モデル3.線形モデル(4.グループ分けアンケート)
統計の復習1~分布記号
分布記号
統計モデル = モデル式で表現
↑ しばしば分布記号を使う
本講義でモデル式を使う理由
1. 統計・機械学習などのテキストで標準的に利用
2. WinBUGS, Stan などのツールで利用
分布記号の例1
ツボの中に k 色の小さいボールを大量に入れる.
その比率は
多項分布
意味:
kqqq ,,, 21
121 =+++ kqqq
n 個のボールを取り出す試行(復元抽出)を考えるとき, 各色のボールの個
数を
kXXX ,,, 21
とする. これらは確率変数であり, 多項分布に従うことを以下のように記載.
),,;(~),,,( 121 kk qqnMXXX
),,;( 1 kqqnM
ツボに赤(R)・青(B)・白(W)のボールを、5:3:2 の割合でいれてよく混ぜた. 100個のボールを取り出す試行を考えるとき, 各色のボールの個数を
練習してみよう!
問1:
~),,( WBR XXX
WBR XXX ,, とする. (復元抽出と考える)
)2.0,3.0,5.0;100(M
問2:
サイコロを10回ふって出た目の数を数える.(1~6は1/6 の確率で出る.)
j の目が出る回数を とする (j=1,2,3,4,5,6).jX
~),,,,,( 654321 XXXXXX
61,
61,
61,
61,
61,
61;10M
分布記号の例2
二項分布
意味:
多項分布で k=2 (二色のボール)を二項分布と呼ぶ.
この場合, 片方の色のボールの個数のみに注目.
(成功か失敗かの試行を n 回繰り返す)
10 ≤≤ q
以下と同じ意味.
)1,;(~),( qqnMYX −
);( qnBin
);(~ qnBinX
nYX =+
分布記号の例3
正規分布
意味:
),(N~,,, 21 vmXXX n
確率変数 が正規分布に従うことを以下のように記載.
),(N vm
平均 m, 分散 v (>0) の正規分布(ガウス分布)
X
),(N~ vmX確率変数 が同一の正規分布に独立に従うことを以下のように記載. (n 標本を独立に抽出, サンプリングする)
nXXX ,,, 21
... dii
平均 162, 分散 25 の正規分布から10個の標本を抽出
練習してみよう!
問3:
1021 ,,, XXX
~,,, 1021 XXX
... dii )25,162(N
1.分布記号のバリエーション
),(N~ vmX j
nj ,,1= はすべて独立で以下の確率分布に従うjX
補足
2.確率変数は通常、大文字だが、小文字で書いたり、混同して用いる
統計の復習2~データの分類
ここでの目標
データの形式と区別を理解
→ 統計モデルとデータの形式は密接に関連
& モデルを紹介する際にデータのイメージと実例が思い浮かぶようにする
変量(変数)とは
k変量データも同様に定義 (k次元データとよぶことも)
(英語の点数, 統計の点数)
(88, 90)
(45, 78)
(56, 100)
(77, 85)
1変量データ
学食での摂取カロリー(kcal)
879
1047
760
779
845
nxxx ,,, 21
2変量データ ),(,),,(),,( 2211 nn yxyxyx
n を標本数 (サンプルサイズ)とよぶ (データサイズとよんだりすることもある)
データの分類(1/3)
データの分類(2/3)データの区分 (統計モデルを考える際の目安)
量的データ
(連続データ)
質的データ
(カテゴリカルデータ)
・名義尺度
・間隔尺度
男、女(性別)や職業など
◎、〇、△、×(評価)など;順序に意味があるが, 等間隔とは限らない
*参考:
永田靖. 他著: 多変量解析入門. サイエンス社, 1-1節.
東京大学教養学部統計学教室編: 統計学入門, 東京大学出版会, pp. 27-28.
温度のように順序も間隔も意味があるが原点はどこでもよい
・比率尺度
・順序尺度
間隔尺度だが原点が定まっている. (重さ、長さなど)
モデリングする上での分類
連続データ
カウントデータ
・上限あり
・正負をとる
ある条件下での種子の発芽数
交通事故件数;ツイート数;いいねの数
3種類のラーメンの注文数
(みそ、しお、とんこつ)
・正値のみ
・上限なし
温度
その他のカテゴリカルデータ
製品の寿命
データの分類(3/3)
1. 統計分析の流れ
理想論
実際には, 1,2,3,4 の順に進んで終了することはほとんどない!!
← 狭義にはここで「統計モデリング」
1.分析課題
3.データの統計分析
4.結論
2.データ収集
実際の所
IT関係では大量のデータ・記録を保存
→ そこから、面白い関係を見つけ出してほしい
(むちゃぶりデータマイニング!)
例1: まずはじめにデータありき
例2: 課題のすりかえ
分析したら、当初予定した結果が出なかった
→ 「1.課題」も変更することに!
1,2,4は完全に切り離して考えることはできない!
参考:
松浦健太郎: StanとRでベイズ統計モデリング, 共立出版,
Chap.3 「統計モデリングを始める前に」
2. 統計モデル
この解釈により, 確率論と統計学が結びついた!
標本の例:あるクラスの模試の点数 (72, 92, 91, 81, 73)
確率変数の実現値(未知の分布 F から無作為に5つ取り出した値)と解釈
0 20 40 60 80 100
0.00
0.01
0.02
0.03
0.04
0.05
クラス Bの受講者の点数分布(仮想
点数
F
72 92 91 81 73
標本と母集団【統計学の復習】
~,,, 21 nXXX
i.i.d. F
標本と母集団
記法
母集団(分布)観測される値の分布 (仮想的なものでもよい)
問題点Fの動く範囲は広すぎる→ ある程度, 分布の形を制限して考える
(だいたいの形がわかればよい)
統計学の究極的な目標
観測値からFが正確に把握できればよい
0 20 40 60 80 100
0.00
0.01
0.02
0.03
0.04
0.05
クラス Bの受講者の点数分布(仮想
点数
)|( θxp
統計モデル: いくつかのパラメータで指定される確率分布の集合
統計モデルの設定
確率分布の未知パラメータθ
i.i.d.
1, , ~ ( | )nX X p x θ
記法
( | )p x θ
( | )d 1, ( | ) 0p x x p xθ θ= ≥∫( | ) 1, ( | ) 0
xp x p xθ θ= ≥∑
確率密度/ 確率関数
サンプルサイズn の標本が独立同一に なる確率分布から発生していると仮定
( | )p x θ
最初の統計モデリング
廃棄携帯の基盤から金メダルに必要な金を回収する.2種類の方法A, Bで金を回収するとき, 基盤ひと山あたりの回収量[g] がA, Bで以下のようになった. ( 金 1 g= 約5000円)
シチュエーション
A: 73, 72, 66, 80, 75B: 71, 67, 68, 57, 68, 75, 60, 69
基本的な統計量
全体の平均 69.3 全体の分散 38.4
Aの平均 73.2 Aの分散 25.7
Bの平均 66.9 Bの分散 33.5
なんとなくAの方が回収量が多い?(金なので、差は無視できない)
最初の統計モデリング
二つとも連続値→ とりあえず, 正規分布からの標本と仮定
モデル式 (独立な2変量ガウスモデル)
~,,, 521 XXX
i.i.d.
),(N vAµ
821 ,,, YYY ~i.i.d.
),(N vBµ
統計モデルの設定
σµ,注意:統計モデルのパラメータは, p, q, f, t, など何を用いてもよい. ただし, 異なるものは のように区別すること. BA ,µµ
分散は等しい(解析を簡単化する仮定)
最初の統計モデリング
モデルパラメータ(母数)の推定値*
可視化の例
,2.73ˆ =Aµ
*計算公式は省略(統計のテキストに掲載)
パラメータの推定値を代入して分布を眺める
9.66ˆ =Bµ 7.30ˆ =v
Aの方がBより回収量が多め(本来はこの後, t 検定)
40 50 60 70 80 90 100
0.00
0.02
0.04
0.06
0.08
Ambition of TKK
yields
Pop
ulat
ion
パラメータの推定量(値)はハットをつけ、パラメータの真の値(神のみぞ知る)と区別する
73.2Aµ = ではない!
注意
ここまでのまとめ
1. データ(数値)の背後に母集団分布を想像2. 母集団分布を統計モデルで表現
→ パラメータ推定(点推定)や信頼区間、仮説検定、予測
統計モデリングの基本的な考え方
課題が先か手法が先か
分析手法: (ガウスモデルでの)平均の差の仮説検定
分析課題: 方法A, Bで回収量に差があるか?
仮説検定(統計手法)を知っていると、それに応じた課題設定が可能
練習してみよう!
O大学(数千人規模)から無作為に100人の学生を選び出し, A, B,C三択のアンケートを行い以下のような結果を得た. 分析のためのモデル式を設定しなさい.
A: 85B: 13C: 2 合計: 100
1) O大学でA, B,Cと回答する人たちの割合を以下のように表す(分析者にとって未知のパラメータ)
( ), , , 1A B C A B Cq q q q q q+ + =
2) 無作為に一人を選んだ場合, その人がBと回答する確率はいくらか? パラメータで書きなさい.
( )0, 1, 0A B CP X X X= = = = Bq
3) 無作為に三人を選んだ場合, 一人がA, 二人がBと回答する確率はいくらか? パラメータで書きなさい. (復元抽出でよい)
( )1, 2, 0A B CP X X X= = = =23 A Bq q
さらに、無作為に選んだ学生がアンケートでA, B, Cと回答
する人数をそれぞれ とすると、これは確率変数と考えることができる
, ,A B CX X X
5) 4)の結果を分布記号を使ってモデル式で表しなさい
( )CBA XXX ,, ~ (100; , , )A B CM q q q
4)同様に 100人選んだ場合 , それぞれの回答数が
のようになる確率はいくらか?
( ), , , 100A B C A B Cx x x x x x+ + =
( ), ,A A B B C CP X x X x X x= = = =100!! ! !
CA B xx xA B C
A B C
q q qx x x
【参考】 学部1年で習う母比率の差の仮説検定の公式は上のような3項モデルで導出している.
補足
思想的な注意点
1.通常, モデルに正解はない/ 検証のしようがない物理などの自然科学
2. 独立同一性(i.i.d.)の仮定も含め、作業仮説3. 「よいモデル」は目的・課題依存
1. 母集団分布の正確な形状は知り得ない,だいたいの形で十分
2. 実験結果から分布の形状が既知の場合, 正当化できる(*)3. 仮説検定や信頼区間 【初等統計では, このことをあまり表に出さない】、ベイズ分析で必要
モデルを設定する理由
*精密科学/実験科学の状況だが, 本講義ではあまり考えないシチュエーション,
3. 線形モデル
ここでの目標
ある変数を別の変数で説明するモデルを提案
& モデルパラメータの推定
注:ここでの例は分析課題は提示しない
回帰分析(B-2/C-2資料より)
O大学 新入生のみずほさんは賃貸情報をネットで検索. 以下のようなデータを得ました.
例題: みずほの部屋探し
→ 傾向をみるため, 横軸に距離, 縦軸に賃料をとりプロット(点を打つ)
最寄り駅からの距離 (徒歩): 3 5 6 10 11 17一カ月の賃料 (万円): 8 7.3 6.2 4 4.2 3.5
豊中キャンパス近くの賃貸物件(1K)
データのプロット
0 5 10 15 200
24
68
10
Kaiki
Min Walk
10^4
YE
Nx <- c(3, 5,6, 10, 11, 17);y <- c(8, 7.3, 6.2, 4, 4.2, 3.5);plot(x,y, pch=18, col=2, xlim=c(0, 20), ylim=c(0, 10), main="Kaiki", xlab="Min Walk", ylab="10^4 YEN");abline(h=0, lty=2, col="gray"); # hori lineabline(v=0, lty=2, col="gray"); # vert line
R プログラム例
ペアになっている2変量データは
プロットしておおまかな傾向をつかむ!
ワンポイント
なんとなく右肩下がりの傾向が見える
説明変数と目的変数
0 5 10 15 20
02
46
810
Kaiki
Min Walk
10^4
YE
N
(データのばらつきはいったん無視)
簡単な関数 f で変数に以下のような関係が期待される時
説明変数と目的変数
)(xfy ≈
y 目的変数
x 説明変数
とよぶ.
(因果関係が既知の) 統計モデリング
今回はx, y は1次元(1変量)のみ扱う.
),,( 1 kxxfy ≈この f をうまく与える(モデル化)のがひとつの目標
x
y
統計モデルの導入
)(: iii xy βαε +−=
統計モデルの設定
??)(xfy ≈なんとなく右肩下がり → とりあえず, f として直線(一次式)を仮定
本来のモデル式
~,,, 621 εεε
i.i.d. ),0(N 2σ
分散は等しい(解析を簡単化する仮定)
→ とりあえず, 平均0の正規分布を仮定
xxf βα +=)(
6,,2,1 =i
x: 最寄駅からの距離(分:徒歩換算), y:一か月の家賃 (万円)
線形モデル
),0(~ 2σε Ni
iii xY εβα ++=
2;, σβαデータから推定値を出すには最尤推定法などを用いる
xxy 34.05.8ˆˆ −=+= βα
線形モデル(回帰モデル)
通常は, 以下のような形で記載 ( f(x) の形を明示)
5.8ˆ =α 34.0ˆ −=β
モデルのパラメータ
回帰直線
回帰直線
0 5 10 15 20
02
46
810
Kaiki
Min Walk
10^4
YE
N
x <- c(3, 5,6, 10, 11, 17);y <- c(8, 7.3, 6.2, 4, 4.2, 3.5);res <- lm(y~x);ahat <- res$coefficients[1];bhat <- res$coefficients[2];
R プログラム例 (回帰分析)
plot(x,y, pch=18, col=2, xlim=c(0, 20), ylim=c(0, 10), main="Kaiki", xlab="Min Walk", ylab="10^4 YEN");abline(h=0, lty=2, col="gray"); # hori lineabline(v=0, lty=2, col="gray"); # vert lineabline(a=ahat, b=bhat);
R プログラム例 (回帰直線)
xxy 34.05.8ˆˆ −=+= βα
ここまでのまとめ
・1Kの家賃は、最寄駅からの距離(徒歩換算)が増えるほど、減少する傾向がみてとれた。・だいたい一次式に従っている
今の例について
より踏み込んだ分析に向けて
・あてはまりのよさも議論(仮説検定)・最寄駅からの距離で、だいたいの家賃を予測
さまざまな拡張のアイディア
1.目的変数Y の期待値を x で表現 (確率の要素なし!)
参考:
たとえば, 多項式回帰など.2)( xxxf γβα ++=
2~ ( , )i iY N xα β σ+
: [ ] ( )i i iE Y f xµ = =
ixα β= +
2.Yの分布のモデル
解釈無視で, x, y をlog, べき乗で変換する方法もある
注:確率変数の期待値
複数のモデルがある場合*
本講義では, AIC, BICなどの情報量規準を機械的に使用してよい
pLAIC 2)ˆ(2 +−= θ
赤池情報量規準 (Akaike Information Criterion) を用いたモデル選択
尤度関数の最大値 (最尤推定は尤度関数を最大化)とパラメータ数からAICを計算; 相対的にAICの小さいモデルを選ぶ
p パラメータ数
)(max)ˆ( θθθ
LL =
)(θL 尤度関数
θ̂ 最尤推定での推定値
グループタスクでは統計研究室の学生に聞こう!