Lab Experiments and

Quasi (Field) Experiments

中央大學 . 資訊管理系范錚強

mailto: ckfarn@mgt.ncu.edu.tw

2010.03

6

中央資管：范錚強 2

Learning Objectives

Understand . . .

Uses for experimentation.

Advantages and disadvantages of the experimental method.

Seven steps of a well-planned experiment.

Internal and external validity with experimental research designs.

Three types of experimental designs and the variations of each.

中央資管：范錚強 3

研究效度間的取捨

學術性研究內部效度構念效度統計結論效度外部效度

實務性研究、應用研究內部效度外部效度依變數的構念效度統計結論效度自變數的構念效度

在進行研究設計時，研究者必須清醒的對各種效度的考量，做全盤的取捨

例如：在研究管理者決策訂定的研究時，應該用學生為樣本（高可行性、高內部效度、低外部效度）；還是在真實情境用真實的經理人員（低可行性、低內部效度、高外部效度）

中央資管：范錚強 4

實驗室實驗 Lab Experiments

在一個嚴格「控制」的實驗室情境之下進行盡可能排除干擾因素、排除可能的效度威脅實驗室和和「真實世界」不同外部效度可能不高

先操弄自變數，後衡量因變數因果關係確定：內部效度操弄 manipulate 自變數

有操弄，就需要考量倫理問題衡量因變數、其他變數

中央資管：范錚強 5

Causal Evidence

Agreement between IVs and DVs

Time order of occurrence

Extraneous variables did not influence DVs

中央資管：范錚強 6

Experimentation in the Research Process

中央資管：范錚強 7

實驗過程：實驗過程的設計影響效度

選擇適當的變數選擇實驗設計訂定自變數操弄的劑量（不同的程度）控制環境變數

環境控制： blind; double-blind

選擇和分派樣本隨機分派、配對、配額矩陣 (quota matrix)

先導實驗、調整、測試分析資料

中央資管：范錚強 8

實驗研究

實驗室實驗 Lab experiments真實實驗 True-experiments在實驗室中進行

現場實驗 Field experiments準實驗 Quasi-experiments在自然情境下的現場中進行

模擬實驗利用電腦模擬實驗情境

中央資管：范錚強 9

實驗室實驗 現場實驗 Field Experiment

人造情境─真實性低

很少外在變數

控制嚴密

低成本

時程短

樣本知道參與實驗

自然情境─真實性高

很多外在變數

控制鬆散

高成本

時程長

樣本不知道參與實驗

Copyright © 2000 by Harcourt, Inc. All rights reserved

實驗室實驗和現場實驗的比較

中央資管：范錚強 10

實驗研究的優點

對「因果」關係的確定排除外在變數的污染方便性、成本考量可以複製、重複實驗可使用自然發生的事件

中央資管：范錚強 11

實驗研究的弱點

實驗室的人造情境一些特定樣本可能產生偏誤可能會針對當前的問題比較有效對樣本操弄的道德問題

中央資管：范錚強 12

Conducting an Experiment

Specify treatment levels

Control environment

Choose experimental design

Select and assign participants

Pilot-test, revise, and test

Collect data

Analyze data

Specify treatment variables

中央資管：范錚強 13

Experiment: Placement of Benefits Module

中央資管：范錚強 14

Measurement Options

Scaling techniques

Scaling techniques

Physiologicalmeasures

Physiologicalmeasures

OptionsOptions

Paper-and-pencil tests

Paper-and-pencil tests

Observation

Self-administered instruments

中央資管：范錚強 15

Validity in Experimentation

ExternalInternal

中央資管：范錚強 16

Threats to Internal Validity

Threats

Maturation History

Testing

Instrumentation

Selection

Statisticalregression

Experimentalmortality

中央資管：范錚強 17

Additional Threats to Internal Validity

Diffusion of treatmentDiffusion of treatment

Compensatory equalizationCompensatory equalization

Compensatory rivalryCompensatory rivalry

Resentful disadvantagedResentful disadvantaged

Local historyLocal history

中央資管：范錚強 18

Threats to External Validity

Reactivity of testing on X

Interaction of selection and X

Other reactive factors

中央資管：范錚強 19

Experimental Research Designs

Pre-experiments

True experiments

Field experiments

中央資管：范錚強 20

Selecting and Assigning Participants

Random assignment

Matching

中央資管：范錚強 21

Quota Matrix Example

中央資管：范錚強 22

實驗設計的一些慣用符號

X: manipulation 操弄O: observation 觀察 R: random assignment 隨機分派M: matched pair assignment 配對分派

中央資管：范錚強 23

實驗設計：假實驗 Pre-experimentation

(One-Shot) After-Only Case Study

X O

Pre-experiment

中央資管：范錚強 24

One Group Pretest-Posttest Design

O1 X O2

Pre-experiment

中央資管：范錚強 25

Static Group Comparison

X O1

O2

Pre-experiment

中央資管：范錚強 26

真實驗 True Experimentation Posttest-Only Control Group Design

True experiment

R X O1

R O2

中央資管：范錚強 27

Pretest-Posttest Control Group Design

R O1 X O2

R O3 O4

True experiment

Effect= (O2- O1) vs (O4 - O3)

Deal well with the major internal validity problems

中央資管：范錚強 28

真實驗 2

Completely Randomized Design

E.g., 3 treatment levels

R O1 X2 O3

R O3 X3 O4

R O5 X5 O6

中央資管：范錚強 29

真實驗 3

Completely Randomized Design

E.g., 3 treatment levels

R O1 X2 O3

R O3 X3 O4

R O5 X5 O6

中央資管：范錚強 30

Randomized Block Design

真實驗 4

Blocking FactorActive Factor High Medium Low7 cents R X1 X1 X112 cents R X2 X2 X217 cents R X3 X3 X3

中央資管：范錚強 31

真實驗 5

Latin Square Design

Customer IncomeStore Size High Medium LowLarge X3 X1 X2Medium X2 X3 X1Small X1 X2 X3

中央資管：范錚強 32

Factorial Design

Covariance Analysis

真實驗 6

Price SpreadUnit price information? 7 Cents 12 Cents 17 CentsYes X1Y1 X1Y2 X1Y3No X2Y1 X2Y2 X2Y3

中央資管：范錚強 33

Non Equivalent Control Group Design

Separate Sample Pretest-Posttest Design

Group Time Series Design

Field Experiments: Quasi- or Semi-Experiments

中央資管：范錚強 34

Nonequivalent Control Group Design

O1 X O2

O3 O4

Field experiment

中央資管：范錚強 35

Separate Sample Pretest-Posttest Design

R O1 (X)R X O2

Field experiment

中央資管：范錚強 36

Group Time Series Design

R O1 O2 O3 X O4 O5 O6

R O7 O8 O9 O10 O11 O12

Field experiment

中央資管：范錚強 37

Job Enrichment Quasi-Experiment

中央資管：范錚強 38

Main effect

The influence of a single independent variable on a dependent variable.

Interaction effect

The influence on a dependent variable by combinations of two or more independent variables.

主效果和互動效果

中央資管：范錚強 39

Men

Women

Ad A Ad B

65

65

70 60

Main Effectsof Gender

Main Effects of Ad

>

>

2 x 2 Factorial Design

中央資管：范錚強 40

100

90

80

70

60

50

40

30

20

10

Bel

ieva

bilit

y

變數互動

Men

Women

Ad A Ad B

中央資管：范錚強 41

強設計： Lab Experiments

實驗室設計能排除最多的效度威脅一般而言，內部效度最高外部效度偏低

強設計：內部效度高最能夠放心地做因果關係的結論

很多批評樣本無真實性、外部效度低

系統開發的結果模擬實驗