MCQ Analysis

Achara Wuttiprasittipol

MD, MMed

Principles of Educational Assessment

• Validity

• Reliability

• Acceptability

• Educational impact

• Cost effectiveness

Good Characteristics of MCQ

• Validity

• Reliability

• Objectivity

• Practicability

• Comprehensiveness

• Good level of difficulty

• Good discrimination power

MCQ Analysis

• วเคราะหรายขอ

Item Analysis

• วเคราะหขอสอบทงฉบบ

Whole Test Analysis

Item Analysis

• ความยากงาย 0-1 (before-AI, after-p)

Level of Difficulty

• คาอ านาจการจ าแนก(เดกเกง vs เดกออน), r (-1 to +1)

Discrimination Power

• ประสทธภาพตวลวง

Distractibility

Level of Difficulty

• AI = acceptability index (0-1.0)

คาความยากงายกอนสอบ (ประมาณการ)

• p value = difficulty index (0-1.0)

คาความยากงายหลงสอบ (ไดจาก OMR) p = จ านวนผ ทตอบถก จ านวนผ เขาสอบทงหมด

•p < 0.2 ยาก •p 0.3-0.7 ปานกลาง (0.5-0.6: ideal) •p > 0.8 งาย

MPL

Discrimination Power

• เปนการบอกวาขอสอบนนสามารถจ าแนกคนเกง (ในความหมายทวาตอบถกไดคะแนนรวมมากกวา)และไมเกงไดเพยงใด

• ขอสอบในกลมทคนเกงตอบถกมากกวาคนในกลมไมเกง ถอวาอ านาจจ าแนกสง

• Discrimination index (d or r): -1 to 1

d = H-L

n

•H = คนกลมคะแนนสงทตอบถก •L = คนกลมคะแนนต าทตอบถก •n = จ านวนผ เขาสอบทงหมด

Discrimination Power

• r > 0.35 ดเยยม

• r 0.25-0.34 ด

• r 0.15-0.24 พอใช

• r < 0.15 Need revision!

Distractibility

• ประสทธภาพของตวลวง จะชวยใหขอสอบขอนนสมบรณยงขน

• ตวลวงนนจะมประสทธภาพยงขน เมอสามารถลวงคนในกลมไมเกงใหเลอกตอบไดมากกวาคนในกลมเกง และมการกระจายของผ เลอกตวลวงตางๆ

• โดยทวไป ตวลวงแตละขอ ควรมผ เลอกประมาณรอยละ 5 ของจ านวนผสอบทงหมด

• การพจารณาประสทธภาพของตวลวง ใชคา discrimination index แตพจารณาทตวลวงแทน

Distractibility

– ถาตวลวงตวใดมคา d (หรอ r) ตดลบ (คอ สดสวน L > สดสวน H) แสดงวาลวงถกตอง เพราะกลมคนไมเกงเลอกตอบตวเลอกนนมากกวากลมคนเกง

– ถาตวลวงตวใดมคา d (หรอ r) เปนบวก (คอ สดสวน L < สดสวน H) บงบอกวา เปนตวลวงทไมด

– ถา d (หรอ r) = 0 (คอ สดสวน L = สดสวน H) แสดงวาลวงใครไมไดเลย ซงอาจหมายความวา นกศกษามความรวาตวลวงนนผดจรง หรออาจเปนตวลวงนนงายหรอชดเกนไป จนทกคนรวาตวลวงนนผด

Whole Test Analysis

• Reliability

• Validity

• Score: distribution, mean, median, mode,

SD, range

• Standard error of measurement (SEM)

• Level of difficulty

• Discrimination power

Validity

“Degree to which a test measures what it is

supposed to be measured”

• Face validity

• Content validity

• Predictive validity

• Concurrent validity

• Construct validity

Content Validity

• พจารณาวาขอสอบฉบบนนๆ สามารถวดเนอหาหรอวตถประสงคการเรยนร ไดมากนอยเพยงใด

• สราง “Table of specification”

Table of Specification

Level

Content

Know/Remember

Comprehend Apply Higher learning

Total

Total

Table of Specification

Type

Content

Etiology Pathophysiology

Clinical

manifestation

Management

Prevent Total

Total

Content Validity

• Index of Item-Objective Congruence

• ผ เชยวชาญใหคะแนน +1/0/-1: แนใจ/ไมแนใจวาตรงจดประสงค/แนใจวาไมตรงจดประสงค

• คะแนนรวม/จ านวนผ เชยวชาญ > 0.5 : valid

IOC

• Content validity index

• ผ เชยวชาญใหคะแนนวาขอสอบวดตรงจดประสงคหรอไม โดยมคะแนน 1-4 (1: ไมตรงเลย 4: ตรงอยางสมบรณมาก)

• จ านวนขอทผ เชยวชาญให3หรอ4/จ านวนขอ > 0.8 : valid

CVI

Construct Validity

“Degree to which a test measures hypothetical

construct or non-observable trait which explains behavior”

• ความสามารถของขอสอบ ในการวดพฤตกรรมและสมรรถภาพดานตางๆ ไดตามจดมงหมายทก าหนดไว และเปนไปตามหลกการของทฤษฎ

• Logical by expert, Known-Group Technique

Reliability

• Test-retest reliability

• Equivalent form reliability

• Internal consistency reliability

-Split half reliability

-KR-20 (Kuder-Richardson)

-KR-21

-Cronbach’s Alpha

Mark 0,1 (0=wrong, 1=right)

KR-20

• ในกรณทคาความยากงายของขอสอบแตละขอไมเทากน

ขอสอบนกเรยนแพทย มกใชคาน เพราะในขอสอบ 1 ฉบบ มกยากงายไมเทากน

KR-21

• ในกรณทคาความยากงายของขอสอบแตละขอเทากน หรอไมแตกตางกนมาก

Standard Setting

• Norm- versus criterion-referenced standards

• Test-centered or Examinee-centered methods

Standard Setting Test-centered methods

• Angoff method

• Modified Angoff method

• Ebel method

• Nedelsky method

• Bookmark method

Examinee-centered methods

• Contrasting groups

method

• Borderline group method

• Hofstee method

MCQs OSCEs

Angoff Method

ผ เชยวชาญ 5-6 คน ประเมนวาผสอบกลมborderline (just pass) จะตอบขอนนถกตองประมาณรอยละเทาใด

หาคาเฉลยของคาสดสวนทผ เชยวชาญแตละคนประเมนในแตละขอ

น าคาเฉลยของสดสวนทผ เชยวชาญประเมนในแตละขอนนมาบวกกน = standard cut score =X

MPL (proportion) = X/จ ำนวนขอ

X100 =%

Angoff Method

MPL = 5.27/8 = 0.65 0.65x100 = 65%

ควรท าได5 or 6 ขอ (ขนกบกรรมการ) จาก 8 ขอ จงผานเกณฑ

Modified Angoff Method

ผ เชยวชาญ 5-6 คน ประเมนวาผสอบกลมborderline (just pass) จะตอบขอนนถกตองหรอไม โดยตอบถกให 1 คะแนน ตอบผดให 0 คะแนน

รวมคาคะแนนทผ เชยวชาญแตละคนใหในแตละขอ แลวน าคาทงหมดมาบวกกน เปนคา S

MPL (%) = S x 100% (จ ำนวนขอxจ ำนวนผเชยวชำญ)

Modified Angoff Method

ขอ ผเชยวชำญ

1 2 3 4 5 6 7 8 9 10

1 1 1 0 0 0 1 0 0 1 1

2 0 1 0 1 0 1 0 1 1 1

3 0 0 0 1 0 0 1 0 0 1

4 1 1 1 1 1 1 1 1 1 1

5 1 0 1 1 0 0 1 0 1 0

Total 3 3 2 4 1 3 3 2 4 4 29

Modified Angoff Method

• MPL = [29/(10x5)]x100% = (29/50)x100% = 58%

• เกณฑผาน คอ รอยละ 58 คอ ตองผาน 5 หรอ 6 ขอใน 10 ขอ ตามแตผ เชยวชาญตกลงกน

Ebel Method ผ เชยวชาญ แบงกลมของค าถามตามระดบความยากงาย และความถในการพบปญหาในเวชปฏบต (common/uncommon)

ผ เชยวชาญ ประเมนวาสดสวนของผสอบกลมborderline (just pass) ทจะตอบค าถามขอนนๆถกตอง มเทาใด (Angoff method)

หาคาเฉลยของสดสวนทประเมนนน โดยแยกตามกลมของค าถามทแบงไวตงแตขนตน

Ebel Method

น าคาเฉลยเหลานน มาคณกบจ านวนค าถาม ในแตละกลม ตามทไดแบงไวตงแตแรก จากนน น าผลเหลานนมาบวกกน = X1 + X2 … + X100 = standard cut score = S

MPL (%) = S x 100% (จ ำนวนขอ)

Ebel Method

MPL = 75x100% = 75% 100

100

Nedelsky Method

• ผ เชยวชาญประเมนวา ผสอบกลม borderline (just pass) จะมความสามารถในการตดตวเลอกลวง และเหลอตวเลอกทจะตอบไดถกตองเปนสดสวนเทาใด

• ถาเหลอตวเลอกเดยวทจะเลอกตอบ แปลวาโอกาสทจะตอบถก คอ 100% • ถาเหลอตวเลอกทตองตดสนใจ 2 ตว จาก 5 ตว แปลวาโอกาสทจะตอบถก คอ

50% • ถาเหลอตวเลอกทตองตดสนใจ 3 ตวเลอก จาก 5 ตวเลอก แปลวาโอกาสทจะตอบ

ถก คอ 33% • ถาเหลอตวเลอกทตองตดสนใจ 4 ตวเลอก จาก 5 ตวเลอก แปลวาโอกาสทจะตอบ

ถก คอ 25% • ถาเหลอตวเลอกทตองตดสนใจ 5 ตวเลอก จาก 5 ตวเลอก (ตดขอใดไมไดเลย)

แปลวาโอกาสทจะตอบถก คอ 20%

Nedelsky Method

ผ เชยวชาญประเมนวา เมอตดตวเลอกลวงไดแลว ผสอบกลมborderline (just pass) จะมโอกาสตอบขอนนไดถกตองประมาณรอยละเทาใด

หาคาเฉลยของคาทประเมนโอกาสตอบถกของผ เขาสอบในแตละขอ ทประเมนโดยผ เชยวชาญแตละคน

น าคาเฉลยทผ เชยวชาญประเมนโอกาสตอบถกในแตละขอนนมาบวกกน = standard cut score =X

MPL (proportion) = X/จ ำนวนขอ

X100 =%

Nedelsky Method ขอ

ผเชยวชำญ 1 2 3 4 5 6 7 8 9 10

1 1 0.5 0.33 0.5 0.5 0.33 0.5 0.33 0.2 0.33

2 0.5 0.33 0.33 0.5 0.5 0.25 0.5 0.33 0.2 0.5

3 0.33 0.25 0.33 0.2 0.5 0.25 0.33 0.5 0.2 0.5

4 0.5 0.2 0.5 0.25 1 0.2 0.25 0.25 0.25 0.33

5 0.5 0.5 0.2 0.5 1 0.2 0.2 0.25 0.5 0.5

Average 0.56 0.35 0.34 0.39 0.7 0.25 0.36 0.33 0.27 0.4

Nedelsky Method

• Standard cut score = 3.95 4 (out of 10)

• MPL = (4/10)x100% = 40%

Bookmark Method

เรยงล าดบขอสอบแตละขอตามความยากงาย (AI or P) จากงายสดไปยากสด

ผ เชยวชาญแตละคนประเมนวาผ เขาสอบกลมborderline (just pass)จะสามารถตอบถกไดถงขอใด (ขอยากกวานน จะตอบผด) แลววางเครองหมายไว (bookmark)

Standard cut score กคอ คาเฉลยของคะแนน(ขอ)ทผ เชยวชาญbookmarkไว = x

MPL (proportion) = X/จ ำนวนขอ

X100 =%

Hofstee Method

• Standard setters produce four judgements, as

follows:

-The maximum acceptable failure rate

-The minimum acceptable failure rate

-The maximum cut score

-The minimum cut score

• Remember that the cut score is the score for a

borderline candidate – one who just scrapes a pass

Hofstee Method

1. วาดกราฟ โดยใหแกน Y เปน % cumulative students ทจะ fail และแกน Xเปนคะแนน

2. กรรมการก าหนด maximum acceptable failure rate, minimum acceptable failure rate และplot ทง 2 คาในกราฟ โดยลากเสนขนานกบแกน X จะไดเสนขนานแกน X 2 เสน

3. กรรมการก าหนด maximum cut score, minimum cut score และplot ทง 2 คาในกราฟ โดยลากเสนขนานกบแกน Y จะไดเสนขนานแกน Y 2 เสน

4. Plot คะแนนผ เขาสอบในกราฟ จะมบางจดทคะแนนอยในกรอบสเหลยมดงกลาว

5. Pass mark คอ จดทเสนคะแนนนกเรยนตดกบเสนทแยงมม

จาก2,3 จะไดกรอบสเหลยม ใหลากเสนทแยงมมจากขวาลางไปซายบน

Hofstee Method: Example

• The maximum acceptable failure rate 30%

• The minimum acceptable failure rate 5%

• The maximum cut score 65 marks

• The minimum cut score 50 marks

Borderline Group Method

• Examiners work from their direct observations at

the time of the exam taking place, so no extra

time involved.

• Uses an itemised checklist and a global rating

scale.

• Scoring of each candidate by means of the

itemised checklist and the global rating scale.

• Borderline candidates are identified by the

global rating scale for each test item.

Borderline Group Method

• The mean checklist mark for the borderline

candidates is then calculated.

• This sum of the mean score (plus one SEM –

the standard error of measurement) is the pass

mark for the whole exam.

Contrasting Groups Method

• Examiners as a group choose a random sample of

candidates and categorise each candidate into a

“pass” or a “fail” group based on the candidates’

answers to all test items in the examination.

• The examination scores for the two groups are

plotted on the same graph. (As two curves.)

• Number of candidates on Y axis, score on X axis.

Contrasting Groups Method

• A point on the graph is chosen as the pass mark.

• The cut score is usually set at the point of least

overlap between the two distributions.

ควรผานแตตก ควรตกแตผาน