of MBUISC TQF5 for Practice... · Web viewส งคมสงเคราะห ศาสตรบ ณฑ ต สาขาว ชาส งคมสงเคราะห ศาสตร
Context Input Process Product Impact - MBUISC · 2013-07-08 ·...
Transcript of Context Input Process Product Impact - MBUISC · 2013-07-08 ·...
![Page 1: Context Input Process Product Impact - MBUISC · 2013-07-08 · กลุ่มการประเมินเพือการตัดสินใจโดยวิธีเชิงระบบ](https://reader033.fdocuments.net/reader033/viewer/2022050223/5f687f0f49eb9c2a5516de7d/html5/thumbnails/1.jpg)
SYSTEMATIC EVALUATIONรศ. ดร. วโรจน สารรตนะ
หลกสตรศกษาศาสตรดษฎบณฑตสาขาวชาการบรหารการศกษา
มหาวทยาลยมหามกฏราชวทยาลย 2556
Context Input Process Product Impact
![Page 2: Context Input Process Product Impact - MBUISC · 2013-07-08 · กลุ่มการประเมินเพือการตัดสินใจโดยวิธีเชิงระบบ](https://reader033.fdocuments.net/reader033/viewer/2022050223/5f687f0f49eb9c2a5516de7d/html5/thumbnails/2.jpg)
ประเมนทาไม (why)
ประเมนเพ�อการตดสนใจ” เปนกระบวนการตรวจสอบความสอดคลองระหวาง “ส�งท�เกดข� นกบส�งท�ควรจะเปน” เพ�อใหไดสารสนเทศสาหรบผบรหารหรอผมอานาจในการตดสนใจในการตดสนคณคาของส�งของหรอเหตการณท�ไดรบการประเมนน�นๆ มนกทฤษฎท�มความเช�อในแนวคดน� เชน Tyler, Provus, Stufflebeam เปนตน
“ประเมนเพ�อการตดสนคณคา” เปนกระบวนการท�นกประเมน “ตดสนคณคา” ของส�งของหรอเหตการณท�มงประเมนน�น โดยนกประเมนจะมบทบาทท�สาคญคอเปนผตดสนคณคาจากผลการประเมนน�นดวย หากนกประเมนใด ไมไดทาหนาท�น� กถอวายงทาหนาท�ในการประเมนท�ไมสมบรณ มนกทฤษฎท�มความเช�อในแนวคดน� เชน Scriven, Worthenand Sanders, Apple, Cooley and Lohns, Guba and Lincoln เปนตน และการตดสนคณคาน�น ตามทศนะของ Scriven เหนวา จะตองตดสนคณคาท�แทจรงท�งหมด ท�งคณคาของผลท�คาดหวงไวและท�ไมไดคาดหวงไว ท�งทางบวกและทางลบ สาหรบผบรหารหรอผมอานาจในการตดสนใจ
![Page 3: Context Input Process Product Impact - MBUISC · 2013-07-08 · กลุ่มการประเมินเพือการตัดสินใจโดยวิธีเชิงระบบ](https://reader033.fdocuments.net/reader033/viewer/2022050223/5f687f0f49eb9c2a5516de7d/html5/thumbnails/3.jpg)
ประเมนอยางไร (how)
“ประเมนอยางไร” มแนวคดในการตอบคาถามน� สองแนวคดคอ
ประเมนโดยยดวธเชงระบบ (system approach) และประเมนโดยยดวธเชงธรรมชาต (naturalistic approach)
สองแนวคดน� กมวธการ การมองคณคา เคร�องมอ การรวบรวมขอมล และการวเคราะหขอมลท�แตกตางกนดวย
![Page 4: Context Input Process Product Impact - MBUISC · 2013-07-08 · กลุ่มการประเมินเพือการตัดสินใจโดยวิธีเชิงระบบ](https://reader033.fdocuments.net/reader033/viewer/2022050223/5f687f0f49eb9c2a5516de7d/html5/thumbnails/4.jpg)
system approach VS naturalistic approach
ประเมนโดยยด “วธเชงระบบ” (system approach) เปนการประเมนตามความเช�อในปรชญาปรนยนยม (objectivism) เปนการประเมนท�มการวางแผนการประเมนและวธดาเนนการอยางชดเจน รดกม และเปนระบบ สนบสนนการใชเคร�องมอท�ไดมาตรฐานในการรวบรวมขอมล มการควบคมสถานการณและตวแปรแทรกซอนท�อาจสงผลกระทบตอการประเมน ทาการวเคราะหขอมลและมการสรปผลตามเกณฑมาตรฐานท�กาหนดไวลวงหนา
การประเมนโดยยด “วธเชงธรรมชาต” (naturalistic approach) เปนการประเมนตามความเช�อในปรชญาอตนยนยม (subjectivism) มลกษณะการดาเนนงานท�ยดหยน สนบสนนการเกบรวบรวมขอมลในสภาพธรรมชาต โดยเนนการสงเกตแบบไมมโครงสราง วเคราะหขอมลโดยอาศยหลกการเช�อมโยงเหตผล การสงเกตและการวเคราะหเบ� องตนจะนาไปสการสงเกตและวเคราะหในข�นลกๆ ตอไป จนไดขอสรปเก�ยวกบคณคาของส�งของหรอเหตการณท�ไดรบการประเมน โดยตองอาศยความร ความเช�ยวชาญ และประสบการณของนกประเมนเปนเกณฑ
เชงปรมาณ !!
เชงคณภาพ !!
![Page 5: Context Input Process Product Impact - MBUISC · 2013-07-08 · กลุ่มการประเมินเพือการตัดสินใจโดยวิธีเชิงระบบ](https://reader033.fdocuments.net/reader033/viewer/2022050223/5f687f0f49eb9c2a5516de7d/html5/thumbnails/5.jpg)
why + how รวมกนเปน 4 กลม
กลมการประเมนเพ�อการตดสนใจโดยวธเชงระบบ (system decision-oriented evaluation) เนนการใชวธเชงระบบเพ�อการนาเสนอสารสนเทศท�เปนประโยชนตอการตดสนคณคาของผบรหารหรอผมอานาจการตดสนใจ
กลมการประเมนเพ�อตดสนใจโดยวธเชงธรรมชาต (naturalistic decision-oriented evaluation ) เนนการใชวธเชงธรรมชาตเพ�อการนาเสนอขอมลสารสนเทศท�เปนประโยชนตอการตดสนคณคาของผบรหารหรอผมอานาจการตดสนใจ
กลมการประเมนเพ�อตดสนคณคาโดยวธเชงระบบ (system value-oriented evaluation) เนนใชวธเชงระบบเพ�อใหนกประเมนทาการตดสนคณคาของส�งของหรอเหตการณท�ไดรบการประเมน
กลมการประเมนเพ�อตดสนคณคาโดยวธเชงธรรมชาต ((naturalistic value-oriented evaluation) เนนใชวธเชงธรรมชาตเพ�อใหนกประเมนทาการตดสนคณคาของส�งของหรอเหตการณท�ไดรบการประเมน
เลอกกลมน�
ศกษารายละเอยดอ� นๆ จากตารา ใหเขาใจ ไมจา
![Page 6: Context Input Process Product Impact - MBUISC · 2013-07-08 · กลุ่มการประเมินเพือการตัดสินใจโดยวิธีเชิงระบบ](https://reader033.fdocuments.net/reader033/viewer/2022050223/5f687f0f49eb9c2a5516de7d/html5/thumbnails/6.jpg)
ในกลมน� ...เลอกใช…. Stufflebeam’s CIPP Model
Context-Input-Process-Product: CIPP
CIPP Model เปน 1 ใน..... กลมการประเมนเพ�อการตดสนใจโดยวธเชงระบบ (system decision-oriented evaluation) เนนการใชวธเชงระบบเพ�อการนาเสนอสารสนเทศท�
เปนประโยชนตอการตดสนคณคาของผบรหารหรอผมอานาจการตดสนใจ
![Page 7: Context Input Process Product Impact - MBUISC · 2013-07-08 · กลุ่มการประเมินเพือการตัดสินใจโดยวิธีเชิงระบบ](https://reader033.fdocuments.net/reader033/viewer/2022050223/5f687f0f49eb9c2a5516de7d/html5/thumbnails/7.jpg)
ประเมนบรบท ปจจยปอนเขา กระบวนการ และผลผลต (context-input-process-product)
• การตดสนใจเพ�อการวางแผน (planning decisions) เปนการเลอกเปาหมายหรอจดมงหมายโครงการ
• การตดสนใจเพ�อกาหนดโครงสราง (structuring decisions) เปนการกาหนดยทธวธหรอแผนงานหรอแนวการดาเนนงาน
• การตดสนใจเพ�อการนาไปปฏบต (implementing decisions) เปนการปรบเปล�ยนยทธวธหรอการดาเนนงานใหเหมาะสม
• การตดสนใจเพ�อการทบทวน (recycling decisions) เปนการเปล�ยนแปลงหรอคงหรอขยายหรอยบหรอเลกโครงการ
การตดสนใจ
4 ประเภท
Stufflebeam’s CIPP Model
![Page 8: Context Input Process Product Impact - MBUISC · 2013-07-08 · กลุ่มการประเมินเพือการตัดสินใจโดยวิธีเชิงระบบ](https://reader033.fdocuments.net/reader033/viewer/2022050223/5f687f0f49eb9c2a5516de7d/html5/thumbnails/8.jpg)
ประเมนบรบท ปจจยปอนเขา กระบวนการ และผลผลต (context-input-process-product)
• การประเมนบรบท (context evaluation)
• การประเมนปจจยปอนเขา (input evaluation)
• การประเมนกระบวนการ (process evaluation)
• การประเมนผลผลต (product evaluation)
การประเมน
4 ประเภท
Stufflebeam’s CIPP Model
![Page 9: Context Input Process Product Impact - MBUISC · 2013-07-08 · กลุ่มการประเมินเพือการตัดสินใจโดยวิธีเชิงระบบ](https://reader033.fdocuments.net/reader033/viewer/2022050223/5f687f0f49eb9c2a5516de7d/html5/thumbnails/9.jpg)
CIPP + I = CIPPI Model
• การประเมนบรบท (context evaluation)
• การประเมนปจจยปอนเขา (input evaluation)
• การประเมนกระบวนการ (process evaluation)
• การประเมนผลผลต (product evaluation)
• การประเมนผลกระทบ (impact evaluation) อาจมหรอไมมตามความเหมาะสม
การประเมน
5 ประเภท
Stufflebeam’s CIPP Model เพ�ม Impact
![Page 10: Context Input Process Product Impact - MBUISC · 2013-07-08 · กลุ่มการประเมินเพือการตัดสินใจโดยวิธีเชิงระบบ](https://reader033.fdocuments.net/reader033/viewer/2022050223/5f687f0f49eb9c2a5516de7d/html5/thumbnails/10.jpg)
แนวคดด�งเดมของ CIPP/CIPPI Model ประเมนคนละชวงเวลา
การประเมนบรบท
(context evaluation)
การประเมนปจจยปอนเขา
(input evaluation)
การประเมนกระบวนการ (process
evaluation)
การประเมนผลผลต
(product evaluation)
แนวคดด�งเดม แยกการประเมนออกเปนตางกรรมตางวาระหรอตางชวงเวลา 4 ชวง
1
24
3
เพ�อกาหนดปญหาและความจาเปนในการพฒนา และกาหนดทศทางหรอจดมงหมายของการแกปญหาหรอการพฒนา
เพ�อศกษาความเปนไปไดของทรพยากรท�จะใช
เพ�อศกษาอปสรรค ปญหา และความกาวหนาในการดาเนนงาน
เม�อส� นสดโครงการวาประสบผลสาเรจหรอไม
เพยงใด
![Page 11: Context Input Process Product Impact - MBUISC · 2013-07-08 · กลุ่มการประเมินเพือการตัดสินใจโดยวิธีเชิงระบบ](https://reader033.fdocuments.net/reader033/viewer/2022050223/5f687f0f49eb9c2a5516de7d/html5/thumbnails/11.jpg)
การประยกตใช CIPP/CIPPI Model เพ�อการประเมนในชวงเวลาเดยวกน
การประเมนบรบท (context evaluation)
การประเมนปจจยปอนเขา (input evaluation)
การประเมนกระบวนการ (process evaluation)
การประเมนผลผลต (product
evaluation)
การประเมนผลกระทบ (impact evaluation)
ประเมนชวงเวลาเดยวกน หลงจากดาเนนโครงการมาแลว ชวงเวลา
หน�ง เชน 3 ป 5 ป
การนา CIPP / CIPPI Model มาใชในการประเมนทางการบรหารการศกษา น�น สวนใหญมกเปนการ
ประเมนผลการ “ดาเนนงานตามโครงการใดโครงการหน�ง” ซ�งมการ
ดาเนนงานมาแลวในชวงเวลาหน�ง แตมความประสงคจะประเมนใน
องคประกอบท�ง 4 หรอ 5 องคประกอบน�นในคร�งเดยวกนหรอในชวงเวลา
เดยวกน คอ 1) การประเมนบรบท 2) การประเมนปจจยปอนเขา 3) การ
ประเมนกระบวนการ 4) การประเมนผลผลต และ 5) การ
ประเมนผลกระทบ
1
1
1
1
1
![Page 12: Context Input Process Product Impact - MBUISC · 2013-07-08 · กลุ่มการประเมินเพือการตัดสินใจโดยวิธีเชิงระบบ](https://reader033.fdocuments.net/reader033/viewer/2022050223/5f687f0f49eb9c2a5516de7d/html5/thumbnails/12.jpg)
กรณ
การประยกตใช CIPP/CIPPI Model เพ�อการประเมนในชวงเวลา
เดยวกน
การประเมนชวงเวลาเดยวกน
![Page 13: Context Input Process Product Impact - MBUISC · 2013-07-08 · กลุ่มการประเมินเพือการตัดสินใจโดยวิธีเชิงระบบ](https://reader033.fdocuments.net/reader033/viewer/2022050223/5f687f0f49eb9c2a5516de7d/html5/thumbnails/13.jpg)
จดมงหมายการประเมนบรบท....เดมเพ�อกาหนดวตถประสงคท�เหมาะสม เปล�ยนเปนเพ�อตรวจสอบความเหมาะสมของวตถประสงคท�กาหนดไวกอนหนา
การประเมนบรบท (context evaluation) แนวคดเดมของ Stufflebeam เปนการประเมนปจจยภายในและปจจยภายนอก ม
จดมงหมายเพ�อนาผลการประเมนมาประกอบการตดสนใจระบสภาพความเปนปญหาหรอความตองการจาเปนในการพฒนา ท�จะนาไปสการกาหนด
วตถประสงค (objectives) ของโครงการวาจะทาเพ�ออะไร แตการประยกตแนวคดของ Stufflebeam มาใชเพ�อการประเมนโครงการใดโครงการหน�งท�มการดาเนนงานมาแลวระยะเวลาหน�งน�น มจดมงหมายเพ�อตรวจสอบความเหมาะสมของวตถประสงค (objectives) ของ
โครงการท�มการกาหนดมากอนหนาน�น วาเม�อมการดาเนนงานไปชวงระยะเวลาหน�งแลว วตถประสงคน�น ยงมความเหมาะสมอยหรอไม ม
ขอเสนอแนะเพ�อการปรบปรงแกไขหรอเพ�มเตมอะไรบาง
![Page 14: Context Input Process Product Impact - MBUISC · 2013-07-08 · กลุ่มการประเมินเพือการตัดสินใจโดยวิธีเชิงระบบ](https://reader033.fdocuments.net/reader033/viewer/2022050223/5f687f0f49eb9c2a5516de7d/html5/thumbnails/14.jpg)
จดมงหมายการประเมนปจจยปอนเขา.... เดมเพ�อกาหนดทรพยากรท�เหมาะสมเปล�ยนเปนเพ�อตรวจสอบความเหมาะสมของทรพยากรท�กาหนดไวกอนหนา
การประเมนปจจยปอนเขา (input evaluation) แนวคดเดมของ Stufflebeam เปนการประเมนความเปนไปได (feasibility) ของปจจยปอนเขา
ท�จะนามาใชในโครงการ วาควรจะใชทรพยากรอะไรบาง ในจานวนเทาไร มคณภาพอยางไร และใชอยางไร จงจะทาใหการนาโครงการไปปฏบตมโอกาสประสบผลสาเรจตามวตถประสงค (objectives) ท�กาหนดไวได ซ�งปจจยปอนเขาหากพจารณา
ทรพยากรทางการบรหาร 4 ประเภท หรอ 4M’s แลว กหมายถง ปจจยเก�ยวกบคน (man) เงน (money) วสดอปกรณ (material) และการจดการ
(management) แตในการประยกตแนวคดของ Stufflebeam มาใชเพ�อการประเมนโครงการใดโครงการหน�งท�มการดาเนนงานมาแลวระยะเวลาหน�งน�น ม
จดมงหมายเพ�อตรวจสอบความเหมาะสมของทรพยากรทางการบรหาร ของโครงการท�มการกาหนดมากอนหนาน�น วาเม�อมการดาเนนงานไปชวงระยะเวลาหน�งแลว ทรพยากรทางการบรหารเหลาน�น ยงมความเหมาะสมอยหรอไม มขอเสนอแนะเพ�อการปรบปรง
แกไขหรอเพ�มเตมอะไรบาง
![Page 15: Context Input Process Product Impact - MBUISC · 2013-07-08 · กลุ่มการประเมินเพือการตัดสินใจโดยวิธีเชิงระบบ](https://reader033.fdocuments.net/reader033/viewer/2022050223/5f687f0f49eb9c2a5516de7d/html5/thumbnails/15.jpg)
จดมงหมายการประเมนกระบวนการ....เพ�อตรวจสอบความกาวหนาในการปฏบตงาน
การประเมนกระบวนการ (process evaluation) เปนการประเมนผลการนาโครงการสการปฏบตวา เม�อมการดาเนนงานไประยะหน�งแลว มความกาวหนาในการทางานเพยงใด เปนไปตามท�คาดหวงหรอไม มอปสรรคปญหาอะไรเกดข� นบาง มขอเสนอแนะเพ�อการปรบปรงแกไขหรอเพ�มเตมอะไรอกบาง เปนการประเมนท�ม
จดมงหมายเดยวกบแนวคดเดมของ Stufflebeam
![Page 16: Context Input Process Product Impact - MBUISC · 2013-07-08 · กลุ่มการประเมินเพือการตัดสินใจโดยวิธีเชิงระบบ](https://reader033.fdocuments.net/reader033/viewer/2022050223/5f687f0f49eb9c2a5516de7d/html5/thumbnails/16.jpg)
จดมงหมายการประเมนผลผลต.....เพ�อตรวจสอบความสาเรจตามวตถประสงคท�กาหนด
การประเมนผลผลต (product evaluation) เปนการประเมนผลผลต
หรอผลลพธท�เกดข� นเม�อส� นสดโครงการ วา เปนไปตามวตถประสงค (objectives) ท�กาหนดไวหรอไม เพยงใด ซ�งเปนการ
ประเมนท�มจดมงหมายเดยวกบแนวคดเดมของ Stufflebeam
![Page 17: Context Input Process Product Impact - MBUISC · 2013-07-08 · กลุ่มการประเมินเพือการตัดสินใจโดยวิธีเชิงระบบ](https://reader033.fdocuments.net/reader033/viewer/2022050223/5f687f0f49eb9c2a5516de7d/html5/thumbnails/17.jpg)
จดมงหมายการประเมนผลกระทบ....เพ�อตรวจสอบผลท�เกดข� นสบเน�อง (มหรอไมม...ตามความเหมาะสม)
การประเมนผลกระทบ (impact evaluation) โดยหลกการแลว เปนการประเมนผลท�เกดข� นสบเน�อง หลงส� นสดโครงการไปแลวระยะเวลาหน�ง แตในการประเมนคร�งเดยวกนหรอในชวงเวลาเดยวกนทกองคประกอบน�น
อาจพจารณาผลกระทบท�เกดข� นในชวงระยะเวลาดาเนนงานตามโครงการ ซ�งในกรณน� หากผวจยเหนวา ยงไมสามารถประเมนผลกระทบไดชดเจน กอาจประเมนเพยง 4 องคประกอบแรก คอ การประเมนบรบท การประเมน
ปจจยปอนเขา การประเมนกระบวนการ และการประเมนผลผลต
![Page 18: Context Input Process Product Impact - MBUISC · 2013-07-08 · กลุ่มการประเมินเพือการตัดสินใจโดยวิธีเชิงระบบ](https://reader033.fdocuments.net/reader033/viewer/2022050223/5f687f0f49eb9c2a5516de7d/html5/thumbnails/18.jpg)
สรป....เม�อดาเนนโครงการไประยะเวลาหน�ง...ประเมน...
วตถประสงคท�กาหนดกอนหนา ...... เหมาะสมหรอไม ควรปรบปรงอะไร ?
ทรพยากรท�กาหนดกอนหนา...... เหมาะสมหรอไม ควรปรบปรงอะไร ?
กจกรรมท�กาหนดกอนหนา.... กาวหนาเพยงใด มอปสรรคอะไร ควรปรบปรงอะไร
ผลลพธท�คาดหวง..... ผลลพธท�เกดข� นจรง
ผลกระทบท�คาดหวง.... ผลกระทบท�เกดข� นจรง
![Page 19: Context Input Process Product Impact - MBUISC · 2013-07-08 · กลุ่มการประเมินเพือการตัดสินใจโดยวิธีเชิงระบบ](https://reader033.fdocuments.net/reader033/viewer/2022050223/5f687f0f49eb9c2a5516de7d/html5/thumbnails/19.jpg)
หากตดสนใจ...
หากตดสนใจประเมนเชงระบบ ผวจยควรเร�ม review วรรณกรรมท�เก�ยวของท�สาคญ คอ 1) หลกการ แนวคด ทฤษฎท�เก�ยวของกบโครงการท�ประเมนน�น 2) รายละเอยดโครงการท�จะประเมน โดยช� ประเดนใหเหนถงองคประกอบท�จะประเมนแตละดาน เพ�อนาไปสการกาหนดเปนกรอบแนวคดเพ�อการวจย คอ
ก) C - วตถประสงคของโครงการท�จะตรวจสอบความเหมาะสม
ข) I - ทรพยากรท�ใชในโครงการท�จะตรวจสอบความเหมาะสม
ค) P - กจกรรมการดาเนนงานในโครงการท�จะตรวจสอบความกาวหนา
ง) P - ส�งท�คาดหวงใหเกดข� นจากโครงการ
จ) I - ผลกระทบท�คาดหวงใหเกดข� นจากโครงการ (ถาตองการประเมนผลดวย)
** โครงการท� จะประเมนควรเปน Master project ไมเปนโครงการเลกๆ
![Page 20: Context Input Process Product Impact - MBUISC · 2013-07-08 · กลุ่มการประเมินเพือการตัดสินใจโดยวิธีเชิงระบบ](https://reader033.fdocuments.net/reader033/viewer/2022050223/5f687f0f49eb9c2a5516de7d/html5/thumbnails/20.jpg)
ขอควรคานง...
วจยเชงสารวจ
พหกรณศกษาผลการวจย
![Page 21: Context Input Process Product Impact - MBUISC · 2013-07-08 · กลุ่มการประเมินเพือการตัดสินใจโดยวิธีเชิงระบบ](https://reader033.fdocuments.net/reader033/viewer/2022050223/5f687f0f49eb9c2a5516de7d/html5/thumbnails/21.jpg)
การนาเสนอผลการวจย...
นาเสนอขอมลจากการวจยเชงสารวจ เสรมดวยขอมลจากพหกรณศกษา เพ�อตอบวตถประสงคการวจยทละดาน
ความเหมาะสมของวตถประสงค และขอเสนอแนะเพ�อการปรบปรง
ความเหมาะสมของทรพยากร และขอเสนอแนะเพ�อการปรบปรง
ความกาวหนาของกจกรรม อปสรรคท�เกดข� น และขอเสนอแนะเพ�อการปรบปรง
ผลลพธท�เกดข� นจรง ท�งสาเรจและไมสาเรจ และขอเสนอแนะเพ�อการปรบปรง
ผลกระทบท�เกดข� นจรง ท�งคาดหวงและไมคาดหวง และขอเสนอแนะเพ�อการปรบปรง
![Page 22: Context Input Process Product Impact - MBUISC · 2013-07-08 · กลุ่มการประเมินเพือการตัดสินใจโดยวิธีเชิงระบบ](https://reader033.fdocuments.net/reader033/viewer/2022050223/5f687f0f49eb9c2a5516de7d/html5/thumbnails/22.jpg)
กรณศกษา...
![Page 23: Context Input Process Product Impact - MBUISC · 2013-07-08 · กลุ่มการประเมินเพือการตัดสินใจโดยวิธีเชิงระบบ](https://reader033.fdocuments.net/reader033/viewer/2022050223/5f687f0f49eb9c2a5516de7d/html5/thumbnails/23.jpg)
การประเมนเชงระบบ.... ผวจย