研究工具的編製方法與技術 (by 蘇彥寧yenning)
description
Transcript of 研究工具的編製方法與技術 (by 蘇彥寧yenning)
2013/2/9
1
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
研究工具的編製方法與技術
蘇彥寧
成功大學工程科學系
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
蘇彥寧 (Yen-Ning Su)
教育背景:成功大學工程科學系博士班 (2010~至今)臺南大學教育學系碩士班 (2008~2010)臺南大學社會科教育學系 (2004~2008)
工作經驗:
臺南市國民小學電腦代課教師5 年 (2008~至今)嘉南藥理科技大學兼任講師 (網路安全應用與標準)南臺科技大學兼任講師 (電子商務)
2013/2/9
2
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•社會科學研究
•工欲善其事,必先利其器
•研究工具是為影響研究結果的重要因素之一
– Garbage in, garbage out (GIGO)
– If you input wrong data, the output will also be wrong!
– 治學方法:錯誤的輸入即保證錯誤的輸出
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
• 研究工具的種類
– 問卷 (Questionnaires)
– 量表 (Scale)
– 心理或教育測驗
– 自我檢核表 (Self-checklist)
2013/2/9
3
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•問卷的定義
–問卷主要在瞭解填答者對所調查問題的興趣、
意見或態度,而非測量填答者的能力。
–問卷並無標準答案。
•量表的定義
–評量個人所擁有的興趣、信念或感受程度。
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•心理或教育測驗的定義
–多為常模參照測驗。
•自我檢核表的定義
–用於填答者的自我診斷或評估自己的表現。
2013/2/9
4
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•問卷和量表的差異
–量表須有理論依據,問卷僅要符合主題即可。
–量表的各分量表須有明確定義,問卷則無要求。
–量表是以各分量表為計分單位,問卷是以各題
為單位來計次。
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•研究工具的來源
–使用他人的研究工具
•購買: 心理出版社。
•授權: 須取得權利人授權。
•修訂: 依據原工具的內容進行改編。
–自行編製: 須留意研究工具的信、效度。
2013/2/9
5
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•量表與問卷的架構
–名稱:描述此研究工具的名稱。
–前言:敘述此研究的目的、保密原則、署名等。
–指導語:填寫此研究工具的方式與說明。
–基本資料:如:性別、年齡、職業等。
–題目:量表或問卷的內文。
–感謝詞
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•題目數量與填寫時間安排
– 國中、小學生以不超過50題,或填寫時間不超
過15分鐘為參考原則。
– 高中以上以不超過30分鐘為參考原則。
2013/2/9
6
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•研究工具編製流程
確立問題 文獻探討 焦點團體
編製題目預試項目分析
因素分析
正式題目
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•研究工具編製流程
–確立問題
–文獻探討:蒐集相關資料、研究論文。
–焦點團體:邀請領域專家或人員進行訪談。
–編製題目:待確定架構後,即可開始編製題目。
2013/2/9
7
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
• 編製題目細節
– 問卷形式
• 開放式問題 (open-ended question)
• 封閉式問題 (close-ended question)
• 半封閉問題 (partially close-ended question)
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
• 編製題目細節
– 計分模式
• 李克特量表 (總加量表法): 分為 4 點、5點、7點量表
• 由一組測量某一個相同特質或現象的題目所組成,
每一個題目均有相同的重要性。
• 每一個題目包含一個陳述句與一套不同贊成程度的
量尺。
2013/2/9
8
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•李克特量表 (續)
–每題依其正負向計分後,計算填答者整個
量表總分為其分數。
非常同意
同意
普通
不同意
非常不同意
1. 我認為使用電子書來閱讀是方便的 □ □ □ □ □
2. 我希望未來能使用電子書來閱讀 □ □ □ □ □
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
• 編製題目細節
– 計分模式
• 賽斯通量表 (等距量表法)
• 編寫約200條敘述,由專家自1到11作評分。每題得
分的中位數為該題的值,並保留20題專家意見較為
一致的敘述。
• 計算填答者所有贊成題目的量表值,即為其分數。
2013/2/9
9
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
• 賽斯通量表 (續)
同意
不同意
量表值
□ □ 1.教師不體罰會助長不良少年的形成 9.5
□ □ 2.體罰無法讓學生心服口服 2.4
□ □ 3.禁止體罰不如勸告少用體罰 5.9
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
• 編製題目細節
– 計分模式
• 語意區分量表
(1) (2) (3) (4) (5)
喜歡. . . . . .討厭
快樂. . . . . .憂愁
滿意. . . . . .不滿意
同意. . . . . .不同意
2013/2/9
10
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
• 編製題目細節
– 題目敘述
• 清楚易懂: 須配合填答者年齡、經歷。
• 一個題目只問一個問題。
– 如:使用電子書閱讀課文讓我覺得容易與實用。 (反例)
• 避免引導性的問題。
– 如:長期注視螢幕可能引發近視,請問你是否支持導入電
子書於國小校園? (反例)
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•編製題目細節
– 專家審題,也稱為專家效度(expert validity)
• 請專家評估題目的適切性。
• 題目是否與變項名稱相符。
• 用字遣詞是否恰當。
• 建議可邀請10位領域專家進行審題。
• 審查時可將各題區分為:適合、修正後適合、不適合。
2013/2/9
11
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•專家審查卷
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•專家審查結果參考標準
–達 3 成以上專家勾選不適合,即刪除該題。
–修正後適合的題項,可由研究者作最終評定。
2013/2/9
12
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試
– 施測樣本約100-150人。
– 預試過程、對象需具代表性。
– 修改題意、用字不清楚或不瞭解的地方。
– 題目盡量多列,以避免後續刪題問題。
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–研究工具的信、效度
• 效度高:擊中靶心
• 信度高:落點集中
• 有效度一定有信度。
• 但有信度不一定有效度。
• 無信度一定無效度。
2013/2/9
13
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–預試流程
•施測
•將量表資料輸入電腦
•項目分析:t檢定、相關分析
•因素分析:建構效度
•計算整體、分量表的信度
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–項目分析
–使用時機:預試後,根據填答資料求出各題項
的決斷值(CR),若決斷值沒有達到顯著水準,
則該題項便將刪除。
2013/2/9
14
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–項目分析
–將各題項的值
進行加總。
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–項目分析
–將加總後的
變數命名為
sum。
2013/2/9
15
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–項目分析
–取得sum。
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–項目分析
–計算高、低分組
2013/2/9
16
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–項目分析
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–項目分析
–區隔為 27%
與73%
2013/2/9
17
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–項目分析
–得出前27%
為39;後27%
為30.68
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–項目分析
–將 sum 分群。
2013/2/9
18
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–項目分析
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–項目分析
–依照前後
27%分群
2013/2/9
19
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–項目分析
–分群結果:
1為低分組
2為高分組
.為未分組
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–項目分析
2013/2/9
20
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–項目分析
–分析各題
是否具鑑別度
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–項目分析先看變異數同質性考驗之F值(Levene’s Test)
» F值之p-value < 0.05 看 Equal variances not assumed之t值» F值之p-value > 0.05 看 Equal variances assumed之t值
各題項之t值便是CR值
2013/2/9
21
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–項目分析
–篩選結果
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–相關分析
2013/2/9
22
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–相關分析
–將各題項與
總分列入
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–相關分析
2013/2/9
23
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–相關分析
–篩選結果
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–因素分析
–使用時機:建立研究工具的建構效度
2013/2/9
24
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–因素分析
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–因素分析
2013/2/9
25
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–因素分析
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–因素分析
• KMO值越大,表示變項間的共同因素越多,越適合進行因素分析。
• 一般來說,如果KMO值小於 .5時,較不宜進行因素分析。
• 本例中的KMO值為.840,大於.5,所以適合因素分析。
• 另一種指標為Bartlett’s球形考驗,其卡方值4520.779,達顯著水準,
代表相關矩陣間有共同因素存在,因此適合進行因素分析。
2013/2/9
26
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–因素分析
–刪除未滿3題的構面
因此須將第6題刪除
並且重跑因素分析
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–因素分析 (刪除第 6 題)
2013/2/9
27
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–因素分析 (刪除第 6 題)
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–因素分析 (刪除第 6 題)
–刪除未滿3題的構面
因此須將第4,5題刪除
並且重跑因素分析
2013/2/9
28
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–因素分析 (刪除第 4,5,6 題)
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–因素分析 (刪除第 4,5,6 題)
2013/2/9
29
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–因素分析 (刪除第 4,5,6 題)
–獲得最終結果:
•構面一共有7題
•構面二共有3題
•整體問卷共有10題
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–信度分析
–使用時機:進行項目分析與因素分析之後,
建立問卷的信度。
2013/2/9
30
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–信度分析
–信度參考範圍
信度 係 數 可信 程 度
信度 0.30 不可信
0.30 <信度 0.40 初步的研究,勉強可信
0.40 <信度 0.50 稍微可信
0.50 <信度 0.70 可信(最常見的信度範圍)
0.70 <信度 0.90 很可信(次常見的信度範圍)
0.90 <信度 十分可信
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–信度分析
–從因素分析結果得知,這份研究工具最後共有
二個構面,題目分別為:
構面一:7,8,9,10,11,12,13
構面二:1,2,3
2013/2/9
31
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–信度分析
–求整份工具的信度
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–信度分析
2013/2/9
32
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–信度分析
–得知整份工具的信度
為.853
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–信度分析 (構面一)
2013/2/9
33
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–信度分析 (構面一)
– 得知構面一的信度
為.882
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–信度分析 (構面二)
2013/2/9
34
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•預試 (續)
–信度分析 (構面二)
– 得知構面二的信度
為.722
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•正式題目
–經由前述的編製過程,最後我們可以獲得一份
完整的正式題目。
•建構效度: χ² = 3484.222 ,df = 45, p = .000 < .001
•信度 (整體:共10題):.853
•信度 (構面一:共7題):.882
•信度 (構面二:共3題):.722
2013/2/9
35
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•數位學習領域的研究工具
– 取自黃國禎老師 TWELF2012 演講投影片
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•數位學習領域的研究工具
– 取自黃國禎老師 TWELF2012 演講投影片
2013/2/9
36
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•數位學習領域的研究工具
– 取自黃國禎老師 TWELF2012 演講投影片
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•數位學習領域的研究工具
– 取自黃國禎老師 TWELF2012 演講投影片
2013/2/9
37
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
•數位學習領域的研究工具
– 取自黃國禎老師 TWELF2012 演講投影片
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
• References李嘉峰 (2011)。淺論研究問卷的編製。家庭教育雙月刊,29,35-42。
翁嘉英、林宜美、呂碧鴻、陳秀蓉、吳英璋、鄭逸如 (2008)。「短式華人敵
意量表」之發展與信效度考驗。測驗學刊,55(3),463-487。
黃國禎 (2012)。數位學習的研究議題、策略與工具。取自:
http://140.116.39.77:41402/twelf2012/Gwo-Jen_Hwang.pdf
李復惠 (2009)。評量工具的信度與效度。取自:
http://163.17.61.21/lobo/971210/信度與效度.ppt
2013/2/9
38
講題:研究工具的編製方法與技術 講者:蘇彥寧
Core-Conference of DDLab 2013 Winter
Thanks for your attention
Q & A