1

Reliability & Validity for Study

Chia-Feng Yen, Ph. D.

Department of Public Health

Tzu-Chi University

2

Warm up ……

如何評估某測量工具的優劣?

–心理計量學之特性Psychometric Properties

發展一套新的測量工具時，先要發展Reliability

還是Validity ?

翻譯國外量表，先發展Reliability還是Validity ?

下列何者現象邏輯上不存在?

– Good reliability and good validity

– Bad reliability and good validity

– Good reliability and bad validity

– Bad reliability and bad validity

3

圖 8—5 信度和效度的關係圖示 資料來源：Duane Davis (2004), “Business Research for Decision Making”, sixth edition, p.188.

Reliability & Validity for Study

4

信度(Reliability)

所謂信度是衡量沒有誤差的程度，也是測驗結果的一致性

(consistency)程度：

1.用同一測驗重複測量某項持久性特質，得相同結果的程度；

2.測驗前後兩次分數一致的情形；

3.測驗內部試題間是否相同符合的程度。

– Trustworthiness

– Consistency

– Stability

– Dependability

– Accuracy of precision

5 5

評估工具的信度

信度種類

– 重測信度 (test-retest reliability)

– 測試者間信度 (inter-rater reliability)

相對信度與絕對信度

– 測量標準誤 (standard error of measurement, SEM)

統計方法:

– 一致性 (agreement)

– 相關係數r (Pearson product moment correlation)

– 組內相關係數 (Intraclass Correlation Coefficient, ICC)

– 內部一致性(internal consistency)：Cronbach α係數

標準誤越低越好, 相關係數 &一致性越高越好

6

信度(Reliability)- 測量誤差愈小，信度愈高

誤差種類

1. 系統性誤差(system error)

2. 隨機性誤差(random error)

誤差的來源

1. 由回應者(respondent)產生的誤差

2. 由情境因素產生的誤差

3. 由衡量者產生的誤差

4. 由衡量工具產生的誤差

7

相關係數(correlation coefficient)

– 兩個連續性(continuous)變項之間的相關

Pearson 相關係數檢定

組內相關係數ICC (Intraclass correlation coefficient)

– 變項為序位尺度，如Likert scale

同意程度(極度不同意、不同意、沒意見、同意、非常同意)與

喜好(五分法)相關?

– 二類尺度之間的相關

性別與答對與錯之相關?

– 二類尺度與連續性變項之間的相關

某題目對錯與總分之相關?

衡量信度的指標

8

相關係數(correlation coefficient)

變數尺度 相關 若類別變項符合常態性分布的假設

兩變數皆為二分 (二類*二類)

(dichotoomous)

Phi (Ф) tetrachoric

Dichotomous * continuous Point-biserial biserial

continuous* continuous Pearson, ICC

序位(等級)變項*序位(等級) •Spearman Coeff.

•Kendal ح

Polychoric correlation

序位(等級)變項*continuous polyserial

序位(等級)變項*二分(二類) polychoric

9

甲測量 (第一次)

乙測量(

第二次)

Reliability: Pearson相關係數檢定或ICC

10 10

Linear Regression

5.00 10.00 15.00 20.00 25.00

va r00001

5.00

10.00

15.00

20.00

25.00

va

r2

va r 2 = 0 .0 0 + 2. 0 0 * v ar 00 001R- Squa r e = 1. 00

組內相關係數 (Intraclass correlation coefficient)

Test retest ICC = 0.37, p= 0.074

Test retest r = 1, p=0.000 by Pearson correlation test

ICC = 222

2

EFT

T

SSS

S

11

Reliability: Pearson相關係數檢定或ICC

組內相關係數分析 (intraclass correlation coefficient, ICC)用於比較重複量測的信度。在過去，研究多採用皮爾森相關係數分析 (Pearson correlation coefficient) 來比較重複量測的信度，基本上是錯誤的方式；因為皮爾森相關係數的前提假設 (assumption) 是兩組數據必須是獨立的變項

(independent variable)。

使用 ICC 有下列的優點：

– 可以計算重複量測的相依變項之相關性，亦即欲求相關性的兩個變項可以是相依的 (dependent)。

– 可以計算小族群 (small sample size) 的相關性，尤其是小於 15 個受試者的研究，可以使用 ICC，不會受到小族群的影響。

11

14

1. 施測者間信度 (inter-rater reliability)

– 兩個或兩個以上的施測者在同一個時間對同一個施測對象施測結果的一致性。

2. 再測信度(test-retest method):

– 讓同一組受測者，在前後兩個時間內測驗兩

次，以其兩次測驗的結果求其相關係數，而此

係數稱為再測信度 (test-retest reliability)。

衡量信度的方法

15

3. 折半信度(split-half method):折半信度是將

受測題目分成兩半，然後再以前半段之題

目與後半段之題目做相關，若相關程度很

高就代表折半信度很高，是考驗衡量的同

質性。

16

4. 複本信度(equivalent-forms method):為了

讓不同程度的受測者能夠明確瞭解問卷題

目的意思，有時候同一個測驗中有甲、乙

卷兩種以上的複本，由一組受試者先用甲

卷進行測試，同組人或另外同質性高的群體

再用乙卷進行測試，用這兩種測驗的結果求

其相關係數即為複本信度。

前提: 複本的發展及信效度要先被確立

17

5. 庫李信度(Kuder-Richardson reliability)目的在於分析問項

間的一致性。在估計信度上，最常用的是庫李二十號公

式：

其中 K：表示整份測驗的題數

：表整個測驗中每題答對與答錯百分比乘積之總合

S2：表示測驗總分的變異量

)1)(1

(220

S

pq

k

krKR

pq

內部一致性

18

L. J. Cronbach另創係數，其公式如下：

其中， ：為估計的信度

：測驗的總題數

：測驗的總變異數

：題目與另一題目之共變數

iji

i

SS

S

k

k

21 2

2

K2

iS

ijS

內部一致性

19

共變數矩陣（因素一）

Sc6 Sc7 Sc8 Sc9

Sc6 1.047

Sc7 0.992 1.630

Sc8 0.667 1.052 1.247

Sc9 0.643 0.988 0.961 1.218

8985.0

961.0.....992.02218.1........047.1

218.1247.1630.1047.11

14

4

利用上述之公式，我們可以求得因素一之α值為：

20 2013/3/29 Chia-Feng Yen 20

效度(validity)

效度即正確性，一個測驗的效度愈

高即表示測驗的結果愈能顯現被測

者的真正特質。

所謂效度是指衡量的工具是否能真

正測量到研究者的問題。

21 2013/3/29 Chia-Feng Yen 21

效度種類

內容效度(content validity)

– 測驗內容適切性

效標關聯效度(criterion-related validity)

– 以測驗分數和效度標準(validity criterion)(效標)之間的相關係數

建構效度(construct validity)

– 測驗能測量到理論之概念或特質的程度而言

22 22

效度面向

內容效度（Content validity）

– 表面效度 (Face validity )

效標效度 (Criterion validity)

– 預估效度（Predict validity）

– 同時效度（Concurrent validity）

建構效度（Construct validity）

– 因素分析 (factor analysis)

– 羅吉斯特模式(Rasch Model)

– 已知族群效度(known group validity)

– 反應效度 (responsiveness validity)或改變的敏感度 (sensitivity to change)

23

指測驗內容適當的程度，內容是否都涵蓋重要的

特質元素；以及內容對於個特質元素的比例是否

恰當。

內容效度又分成表面效度(face validity)及邏輯效

度(logical validity)：

Face validity：主觀上認為該測量是否有效

logical validity：針對受試者特質細心定義範圍並經由邏輯設

計找出涵蓋所有重要之特質元素。

內容效度(content validity)

以上兩種內容效度皆受主觀影響

24

指測驗結果與效標相關聯的程度。而效標是指想用測驗來預

測的某種特質或行為。所謂效標關聯效度是指使用中的衡量

工具和其他的衡量工具來比較兩者是否具有關聯性。

同時效度 (concurrent validity)

–工具A想測量生活品質

–工具B為目前證實可以有效測得生活品質之工具

–A與B之分數相關

預測效度 (predictive validity)

–例一：想發展一套工具了解中風病人出院前手部功能恢復情形來預測

其出院後日常生活功能

–利二：幼兒兩歲時的貝李氏嬰兒發展量表德風預測幼兒四歲半的動作

及認知能力

效標關聯效度(criterion-related validity)

25

甲測量

黃金標準測量

效標效度:Pearson相關係數檢定

26 26

1. 衡量某種工具(M-F)是否能真正要測量到某理論

概念、結構或特質(Q)，即為建構效度。

Q

M P C E H F

V

建構效度(construct validity)

27

1. 建構效度有兩類：收斂效度與區別效度。

2. 最常使用之方法為因素分析法。

– 同一因素構面中，若各題目之因素負荷量

(factor loading)愈大(一般以大於0.5為準)，則愈

具備「收斂效度」。

– 若問卷題目在非所屬因素構面中，其因素負荷

量愈小(一般以低於0.5為準)，則愈具備「區別

效度」。

建構效度(construct validity)

28

統計方法

相關：除了Pearson CC，還有ICC (組內相關係數)

(Intraclass correlation coefficient)

建構效度常使用因素分析

– 探索性的因素分析(Exploratory factor analysis, EFA) ：

是在沒有任何限制之下，找出因 素的結構

– 驗證性因素分析（Confirmatory factor analysis,

CFA）：是在已知可能的結構下 ，驗證是否仍 適用

建構效度(construct validity)

29

學說效度有時被稱為“通則化的效度(lawlike

validity)”，學說效度是基於對構念和從理論建構的

正式假設而來的衡量項目的明確調查。

學說效度(nomological validity)

30 30

圖 8-6 信度效度與其他相關因素的關係

抽樣特性包含

1. 樣本大小

2. 回覆率

3. 樣本的本質

4. 標的的種類

5. 蒐集資料的方法

6. 研究的種類

衡量特性包含

1. 問項的數目

2. 問卷的困難度

3. 使用尺度的種類

4. 使用幾點量表

5. 使用何種符號

衡量發展程序包含

1. 對構念範圍的定義

2. 問項發展程序

抽樣特性

量測特性

量測發展

程序

信 度

收斂效度

區別效度

學說效度

（+）

（+）

（＋）

（+）

（+）

（+）

（-）

（-）

註：＋表示正相關，－表示負相關

信度和效度及其影響因素 之關係

建構效度

31

研究工具-量表信效度之建立

自擬式量表/問卷

– 內容效度-小樣本施測(前-前測)-修改問卷

– 小樣本前測

效標效度/建構效度

再測信度

施測者之間信度

一致性

翻譯國外既有量表

– 雙向翻譯 (單向翻譯--討論，反翻譯---討論)

– 專家討論訂稿(一)

– 前測…..

32

案例說明

以身心障礙者鑑定新制功能評估量表發展(WHODAS 2.0)研究為例

WHO Disability Assessment Schedule 2.0 探索性的因素分析：是在沒有任何限制之下，找出因素的結構

再現信度

內部一致性

效標效度

建構性效度：驗證性因素分析

中文版建立

33

問卷效度-探索性的因素分析Exploratory factor analysis, EFA

34 2013/3/29 Chia-Feng Yen 34

問卷效度-探索性的因素分析Exploratory factor analysis, EFA

35

36

Result(7): The Factor Analysis for Performance (pricipal component)

36

收斂效度

區辨效度

37

驗證性因素分析（Confirmatory factor analysis, CFA）：

38

39