Lecture 7: การต งคาถามวจยและการเขยนโครงรางในการ

ตดตามประเมนผล

วทธวช พนธมงคล

30 มกราคม 2561

หวขอบรรยาย

• แนวทางตดตามประเมนผลโครงการ

• การตงคาถามงานวจย

• การเขยนโครงรางการตดตามประเมนผล

2

• ทาความเขาใจกบปญหา บรบท และคาถามเชงนโยบาย

• ใครเปนผรองขอใหมโครงการ/มาตรการน?

• การประเมนนสนบสนนการตดสนใจอะไร?

• ทาไมตองประเมนโครงการ/มาตรการนในปจจบน?

• โครงการ/มาตรการนจะถกนาไปใชทใด?

• เมอไหรทมความจาเปนตองใชขอมลการประเมนน?

• ใครจะเปนผพจารณาผลการประเมน?

3

แนวทางในการดาเนนการตดตามประเมนผล (M&E)

แนวทางในการดาเนนการประเมนฯ (ตอ)

• รวบรวมขอมลประเดนปญหา

• กาหนดขอบเขต/ คาถามงานวจย

• กาหนดวธในการตอบคาถามงานวจยทเหมาะสม โดยพจารณา

• วธการ

• ความเปนไปได

• เวลา

• พจารณาวาผทตองการทราบขอมลคอใคร

4

มาตรฐานของการตดตามประเมนผล

• การใชประโยชน (Utility)

• ความเปนไปได (Feasibility)

• ความเหมาะสม (Propriety)

• มความถกตองและแมนยา (Accuracy)

5

การกาหนดขอบเขตและกรอบงานวจย

6

• กาหนดคาถามงานวจยอยางชดเจนโดยการแปลงคาถามของคนทวไป (รวมทงของผกาหนดนโยบาย) มาเปนคาถามทสามารถทาวจยได

• คาถามงานวจยควรอยในรปแบบทสามารถตอบไดดวยการทาวจย และมจานวนคาถามทสามารถบรหารจดการได

• ในการกาหนดคาถามงานวจย ควรมการประชมรวมกนระหวางผมสวนไดสวนเสยทเกยวของ

• คาถามงานวจยควรจะสอดคลองกบคาถามเชงนโยบายทจดตามลาดบความสาคญ (ยกเวนเมอผมสวนไดสวนเสยทงหมดเหนพองตองกนวาควรมการเปลยนแปลง)

Source: HTA process guidelines

ประเภทของคาถามวจย

• คาถามวจยหลก (Primary research question)• เปนคาถามหลกจะมคาถามเดยว

• เปนคาถามทสาคญทสด นาไปพจารณาเลอก Research design

• คานวณขนาดตวอยางและกาหนดตวแปร

• คาถามวจยรอง (Secondary research questions)• สามารถมหลายคาถาม มความสาคญรองลงมา ผวจยตองระลกวาอาจไมไดคาตอบถกตองครบถวนเพราะไมไดคานวณขนาดตวอยางสาหรบคาถามการวจยน

7

ลกษณะคาถามวจยทด• Relevant - คาถามวจยจะตองเกยวของกบประเดนปญหาทเกดขนจากการคนพบหรอทางปฏบต

• Manageable – สามารถเขาถงแหลงขอมลเพอนามาใชในการตอบคาถามทตงขนได

• Substantial and original – คาถามวจยควรแสดงใหเหนแนวคดของผวจยอยางเปนรปธรรม

• Fit for assessment – สามารถนาไปสวธการประเมนเพอหาผลลพธทสนใจได

• Clear and simple – มความชดเจนวาตองการอะไร รวมทงมความเรยบงาย

• Interesting คาถามทดจะตองเปนทนาสนใจ

8

ทมา: 1. Sue Hemmings (The Open University) and Anne Hollows (Sheffield Hallam University) (2005) . Formulating the Research Question

2. BRYMAN, A. (2004). Social Research Methods. 2nd ed., Oxford, Oxford University Press, chapter 2

การกาหนดคาถามงานวจย

9

• กาหนดประชากรเปาหมาย (Population: P)

• ดาเนนการในประชากรกลมใด

• ม Sub-population หรอไม?

• กาหนดโครงการ/มาตรการ (Intervention: I)

• โครงการ/มาตรการทประเมน

การกาหนดคาถามงานวจย (ตอ)

10

• กาหนดตวเปรยบเทยบ (Comparator: C)

• ตองการเปรยบเทยบกบสงใด

• พจารณาตวเปรยบเทยบทเปนไปไดทงหมด

• กาหนดผลลพธ (Output/Outcome: O)

• ผลผลต/ผลลพธ/ผลกระทบทตองการจากงานวจยคออะไร

องคประกอบหลกของโครงรางการตดตามประเมนผล• บทนา - การวเคราะหโครงการ

• วตถประสงคของการตดตามประเมนผล

• กรอบการประเมนผล

• ตวชวดและแหลงขอมล

• การออกแบบการประเมนผล

• แผนการเกบขอมล

• แผนการใชขอมลจากการตดตามประเมนผล

• งบประมาณ

• การกาหนดระยะเวลาในการตดตามและประเมนผล

11

บทนา - การวเคราะหโครงการ• อธบายรายละเอยดของโครงการทจะประเมน

• วเคราะหโครงการทจะประเมน ดงน• วตถประสงค (Objective) • ตองการบรรลเปาหมาย (Goal) • พนทเปาหมายและกลมเปาหมาย (group) • รายละเอยดกจกรรมและผลผลต (Activity & Outputs) • ผลลพธและผลกระทบ (Intended Outcomes & Impacts)• ภาคสวน/ผมสวนเกยวของ (Partnership/Stakeholders)• ปจจยนาเขา/งบประมาณ (Inputs/Budget) • ระยะเวลาในการดาเนนโครงการ (Duration)

12

การทบทวนหลกฐานเชงวชาการ

13 13

• การคนควาเอกสารตางๆ ทเกยวของกบเรองทตองการศกษา และ/หรอ โจทยวจยทกาหนด เพอใหผประเมนมความรอบรในเรองนนมากขนจนสามารถทาการประเมนในเรองดงกลาวไดอยางมคณภาพ

• สถานการณ

• ชองวางความรกอน

• แนวคดทฤษฎ

• งานวจยทเกยวของ

ระหวาง งานวจยทเกยวของเพอการอภปรายหลง

ระดบความนาเชอถอของหลกฐานเชงวชาการ

14

A systematic review or meta-analysis of all relevant RCTs, or evidence-based clinical practice guidelines based on systematic reviews of RCTs

At least one well-designed RCT

Well-designed controlled trials without randomization

Well-designed case-control and cohort studies

Systematic reviews of descriptive and qualitative

A single descriptive or qualitative study

Expert opinion

Source: Melnyk, B. & Fineout-Overholt, E. (2005)

• ฐานขอมลวชาการ

• Medline (>5500 journals from 1946)

• EMBASE (>8000 journals from 1947)

• Scopus

• Cochrane Library

• อนๆ

• Web of Knowledge

• Google Scholar

• หนงสอตาราวชาการ

• รายงานวจย วทยานพนธ และดษฎนพนธ

• รายงานการประชม สมนาวชาการ

แหลงขอมลในการสบคน

วตถประสงคของ M&E

• การตดตามตรวจสอบโครงการ (ผลผลต/ผลลพธ/ผลกระทบ?)

• การตรวจสอบการดาเนนงาน (ประสทธผล/ประสทธภาพ?)

• ประเมนความคมคาของการลงทนโครงการ

• การมสวนรวมของประชาชน/ผมสวนเกยวของ

• การประสานงาน/บรณาการงานกบองคกรอน

• ปญหาอปสรรค/ปจจยเสยง และการจดการ

• การขยายผลโครงการในวงกวาง

• ความยงยนของโครงการ

16

กรอบการประเมนผล

• กรอบแนวคดรวบยอด (Conceptual framework)

• กรอบแนวคดผลลพธ (Result framework)

• กรอบแนวคดเหตสมพนธ (Logical framework)

• กรอบแนวคดแบบตรรกะ (Logic model)

17

ตวชวด

• กาหนดตวชวดจากกรอบการประเมนผล• เลอกตวชวดผลลพธและผลกระทบของโครงการ

• อธบายรายละเอยดของตวชวด• เหตผลในการเลกตวชวดแตละตว

• แหลงขอมล

• เงอนไขความสาเรจของโครงการ

• ทาตารางสรปตวชวด

18

การออกแบบการประเมนผล

• วางแผนกาหนดรปแบบ ขอบเขต และแนวทางการประเมน

• จาเปนตองออกแบบในลกษณะของการวจย (การวจยประเมนผล)

• ตองออกแบบการประเมนผลใหเหมาะสมกบเรองทจะประเมน

• รปแบบการประเมนผลทใชจะตองชวยลดความคลาดเคลอน (error)

• รปแบบทใชจะตองชวยเพมความนาเชอถอและความถกตองแมนยาของขอมลทจะเกบ

19

ประเภทการออกแบบการประเมนผล

• การออกแบบเชงปรมาณ (Quantitative designs)• เกบขอมลในลกษณะตวเลข

• นยมใชในการวดผลกระทบ (Impact) ของโครงการ

• การออกแบบเชงคณภาพ (Qualitative designs)• เกบรวบรวมขอมลทไดมาจากการบนทก การพดคย

• ใชในการประเมนกระบวนการ (Process evaluation)

20

VS

องคประกอบการออกแบบการประเมนผล

• กลม – กลมบคคลหรอประชากรเปาหมาย• กลมประชากรทเปนเปาหมายของโครงการ (Treatment/Experiment group)

• กลมประชากรทไมเปนเปาหมายของโครงการ (Comparison/Control group/Non-project area)

• เวลาททาการวด • การวดกอนโครงการ - ไดขอมลมาออกแบบโครงการ

• การวดหลงโครงการ – ไดตวแปร/ตวชวดทบอกผลลพธของโครงการ

21

รปแบบการประเมนผล

• แบบทมกลมทดลอง (Experimental design)• มการสมกระจาย (Random assignment)

• ไมมการสมกระจาย (Non-random assignment)

• การวดผล – Pre-test, Post-test, วดความแตกตางระหวางกลม

• แบบทไมมกลมทดลอง (Non-experimental design or Observational design)

• ไมมการสมกระจาย (Non-random assignment)

• การวดผล – เกบขอมลเชงพรรณนา/ศกษาเฉพาะกรณ

22

แผนการเกบรวบรวมขอมล

• วางแผนในการเกบรวบรวมขอมลทเกยวของทงหมด

• คนหาแหลงขอมล • แหลงปฐมภม – ขอมลทเกบจากแหลงกาเนดโดยตรง เชน การสารวจแบบสอบถาม การสมภาษณเชงลก การสนทนากลม การสงเกตการณ

• แหลงทตยภม – ขอมลทไดมาจากแหลงทผอ นเกบรวบรวมไวแลว เชน จากรายงาน ฐานขอมลตางๆ เปนตน

• ระบรายละเอยดในการเกบขอมลเพอตอบตวชวด• ประชากร กลมตวอยาง วธการไดมาซงตวอยาง ขนาดตวอยาง และเครองมอทใช

• จดทาแผนการ/ตารางเวลาคราวๆ ในการเกบขอมล• ระบขอมลทตองการเกบ วนทตองการเกบ วธเกบขอมล

23

เครองมอทใชเกบรวบรวมขอมล

เชงปรมาณ เชงคณภาพ

• แบบสอบถาม

• แบบประเมน

• แบบสมภาษณ

• การสมภาษณเชงลก

• การสนทนากลม

• การสงเกต

- การสงเกตแบบมสวนรวม

- การสงเกตแบบไมมสวนรวม

• แบบสอบถามทใชคาถามปลายเปด

24

การวเคราะหขอมล

การวเคราะหขอมล

ขอมลเชงปรมาณ

สถตเชงพรรณนา

สถตเชงอนมาน

ขอมลเชงคณภาพ

การวเคราะหแบบอปนย

การวเคราะหแบบจาแนกชนดขอมล

การวเคราะหโดยใชสงทเปนแกนหลกของ

ปรากฏการณประเมน

การใชขอมล /นาเสนอผลจาก M&E

• ควรวางแผนการใชขอมลไวลวงหนา• จดทาขอเสนอแนะเชงนโยบาย

• ปรบปรงโครงการ

• ขยายผลโครงการ

• การนาเสนอผลการประเมน• เผยแพรผลการประเมน

• นาผลการประเมนไปใช

26

แผนงบประมาณ

• ควรเขยนแผนงบประมาณการตดตามประเมนผล

• ระบแหลงเงนทจะจะนามาใชในการตดตามประเมนผลโครงการ

• ประเภทการเขยนแผนงบประมาณ• แบบแบงหมวดคาใชจาย

• คาตอบแทน• งบดาเนนงาน• ใชสอย• คาจาง• คาเดนทาง

• แบบแจกแจงรายกจกรรม

27

ตวอยางแผนงบประมาณ

28

กจกรรม รายละเอยดคาใชจาย งบประมาณ (บาท)

เกบขอมล Pre-test คาแบบสอบถาม 1,000 ชด x 5 บาท 5,000

คาเกบขอมล 1,000 ชด x 5 บาท 5,000

รายละเอยด งบประมาณ (บาท)

หมวดคาตอบแทน

หมวดงบดาเนนงาน

หมวดใชสอย

หมวดคาเดนทาง

หมวดคาจาง

รวมงบประมาณทงหมด

• แบบแบงหมวดคาใชจาย

• แบบแจกแจงรายกจกรรม

ระยะเวลาในการประเมนโครงการ

• โครงการทมการตดตามประเมนผลลพธและผลกระทบตองมการทาแผนหรอกาหนดเวลาในการตดตาม ประเมนผลลพธ/ผลกระทบ

• ระยะเวลาสามารถปรบเปลยนไดตามระยะเวลาของโครงการ

• หากมการปรบเปลยนกลไกการทางานของโครงการตองมการทบทวนแผนการประเมนดวย

29

กอน ระหวาง สนสด

ระยะเวลาดาเนนโครงการ

M&E

ตวอยางการเขยนระยะเวลาในการประเมน

กจกรรม เดอนท

1 2 3 4 5 6 7 8 9 10 11 12

30

ระยะเวลาในการดาเนนโครงการ 12 เดอน

Follow us at