ttkhaothi.hpu2.edu.vnttkhaothi.hpu2.edu.vn/uploads/news/2017_04/mo-hinh-rasch... · Web...

CHƯƠNG TRÌNH ĐÀO TẠO THẠC SĨ ĐO LƯỜNG VÀ ĐÁNH GIÁ

Môn học:

Mô hình Rasch

và Phân tích dữ liệu bằng phần mềm QUEST (Rasch Model and Data Analyis with Special Software QUEST)

Giảng viên: TS Phạm Xuân Thanh

Mobile 0913090960

HÀ NỘI – 2013

Mô hình Rasch và Phân tích dữ liệu bằng phần mềm QUEST

1. GIỚI THIỆU CHUNG

Khóa học “Thạc sĩ Đo lường và đánh giá” của ĐHQGHN được xậy dựng

trên cơ sở tham khảo khóa học ““Thạc sĩ Đo lường và đánh giá” của ĐH

Melbourne và của một số nước khác.

Trong chương trình của 2 khóa học đầu tiên “Thạc sĩ Đo lường và đánh

giá” của ĐHQGHN, 3 môn học dưới đây, có liên quan với nhau được đưa vào

giảng dạy:

- Lý thuyết đánh giá (3 đvht)

- Đo lường đánh giá trong giáo dục: Mô hình Rasch trong phân tích kết quả

học tập (3 đvht)

- Thuyết “Mô hình đáp ứng” và phân tích dữ liệu bằng các phần mềm

chuyên dụng QUEST (4 đvht)

Trong chương trình của khóa học thứ 3 trở về sau chỉ có 2 môn “Lý

thuyết đo lường và đánh giá” và Môn hình Rasch và Phân tích dữ liệu bằng phần

mềm QUEST (Rasch Model and Data Analyis with Special Software QUEST).

Về thực chất, nội dung của 2 môn học này sẽ bao gồm nội dung của 3 môn của

khóa 1 và Khóa 2.

Chương trình môn học “Mô hình Rasch và Phân tích dữ liệu bằng phần

mềm QUEST” bao gồm:

Chương I: Mô hình Rasch

1. Lý thuyết đánh giá cổ điển và hiện đại

2. Mô hình Rasch và sự mở rộng

- Mô hình Rasch đơn giản (1 thông số)

- Mô hình Rasch 2 thông số

- Mô hình Rasch 3 thông số

- Mô hình partial Credit.

Chương II: Các thuật ngữ cơ bản của thuyết hồi đáp (IRT)

Giả thiết

Mô hình toán học

Chức năng thông tin

Chức năng hiệu quả tương đối

Chương III: Lựa chọn mô hình và phương pháp tính

Lựa chọn mô hình

Lựa chọn phương pháp tính

Chương IV. Các ứng dụng minh hoạ:

Thiết kế các test đo lường

Thiết kế lại các công cụ test đo lường

Sự tương đương của các công cụ

Sự định kiến của các công cụ

Chương V. Phân tích dữ liệu với các phần mềm chuyên dụng

Ứng dụng phần mềm QUEST

2. MỤC ĐÍCH, NỘI DUNG MÔN HỌC

a) Mục đích :

- Trang bị những hiểu biết cơ bản về mô hình Rasch trong đo lường và kiểm

tra, ứng dụng.

- Hình thành kỹ năng tính toán và báo cáo các kết quả học tập sau mỗi kì thi

– kiểm tra.

- Hiểu rõ các giá trị từ các kết quả thi và kiểm tra, trên cơ sở đó có thể báo

cáo chính xác, khách quan và có thể đưa ra những kiến nghị bổ ích cho các

nhà quản lý.

- Cung cấp những kiến thức nền tảng về thuyết đáp ứng IRT để hiểu tại sao

người học có thể trả lời được hay không trả lời được, hoàn thành hay

không hoàn thành một nhiệm vụ được giao.

- Giúp người học có kiến thức cơ bản về việc sử dụng các phần mềm chuyên

dụng để phân tích dữ liệu.

- Hiểu được bản chất của quá trình đánh giá, ứng dụng vào phân tích xử lý

dữ liệu bằng các phần mềm chuyên dụng.

2

b) Nội dung môn học

STTNội dung

Khối lượng (tiết)Lý

thuyếtThực hành, thảo luận

1 Chương I: Mô hình Rasch1. Lý thuyết test cổ điển2. Vận dụng lý thuyết khảo thí cổ điển vào việc phân tích câu hỏi thi3. Lý thuyết test hiện đại4. Mô hình Rasch và sự mở rộng

- Mô hình Rasch đơn giản (1 thông số)- Mô hình Rasch 2 thông số- Mô hình Rasch 3 thông số- Mô hình partial Credit

9 12

2 Chương II: Các thuật ngữ cơ bản của lý thuyết đáp ứng IRT1. Giả thiết2. Mô hình toán học3. Chức năng thông tin4. Chức năng hiệu quả tương đối

3 6

3 Chương III: Lựa chọn mô hình và phương pháp tính1. Lựa chọn mô hình2. Lựa chọn phương pháp tính

3 3

4 Chương IV. Các ứng dụng minh hoạ1. Thiết kế các test đo lường2. Thiết kế lại các công cụ test đo lường3. Sự tương đương của các công cụ4. Sự định kiến của các công cụ (câu hỏi)

6 9

5 Chương V. Phân tích dữ liệu với các phần mềm chuyên dụng1. Giới thiệu các phần mềm chuyên dụng2. Phân tích dữ liệu với mô hình Rasch

- Chuẩn bị dữ liệu để phân tích- Lựa chọn phần mềm chuyên dụng- Đọc kết quả xử lý- Giải thích các kết quả thu được

3. Báo cáo kết quả thi và kiểm tra- Mô tả kết quả- Bình luận, giải thích- Kiến nghị

15 12

Tổng 36 24Tổng số: 4 tín chỉ, bao gồm 36 tiết giảng lý thuyết, 24 tiết (tương đương) : thực

hành, thảo luận.3

c) Lịch lên lớp:

Tên môn họcThời gian

Địa điểmGiờ Thứ Ngày

Chương 1. Mô hình Rasch (9 tiết)1 Lý thuyết test cổ điển2 Lý thuyết test hiện đại3 Mô hình Rasch và sự mở rộngChương II: Các thuật ngữ cơ bản của lý thuyết đáp ứng IRT (3 tiết)

3/8Chương III: Lựa chọn mô hình và phương pháp tính (3 tiết)

10/8Chương IV. Các ứng dụng minh hoạ (6 tiết)

24/8Chương V. Phân tích dữ liệu với các phần mềm chuyên dụng (15 tiết)

7/9, 14/9d) Hệ thống bài tập : Trong quá trình học, các học viên sẽ phải làm bài tập.

Yêu cầu: Trả bài tập đúng thời hạn, đúng khối lượng quy định. Trừ 10% điểm

nếu nộp muộn, hoặc có số trang dài hơn hoặc ngắn hơn 20% so với quy

định.

1. Kiểm tra - đánh giá thường xuyên: Thang điểm: 10/ Tỷ trọng 10%

Đi học đầy đủ, chuẩn bị tốt phần tự học

Tham gia thảo luận và trình bày các vấn đề tại lớp

2. Kiểm tra - đánh giá định kỳ

Các bài kiểm tra, bài tập giữa kỳ theo các nội dung của chương trình

Điểm và tỷ trọng: Thang điểm: 10/ Tỷ trọng 50 %

3. Thi – đánh giá hết môn

+ Hình thức: Tiểu luận (Bài tập lớn) về kết quả đánh giá của 1 project

+ Điểm và tỷ trọng: Thang điểm: 10. Tỷ trọng 40%

e) Giảng viên: TS Phạm Xuân Thanh,

Điện thoại CQ: 04-36230219; NR: 04-35620689; Mobile: 0913090960;

E-mail: [email protected]; [email protected]

4

f) Địa chỉ liên hệ chung của lớp

Vào trang Web : https://sites.google.com/a/moet.edu.vn/danhgiachatluonggiaoduc/home/mohinhrasch

(tất cả những ai có đường link đều có thể xem)

Các tài liệu và các trao đổi khác sẽ được thực hiện qua địa chỉ trên

g) Yêu cầu đối với Viện Đảm bảo chất lượng giáo dục

Cung cấp danh sách học viên có đầy đủ các thông tin : Họ và tên, giới tính, ngày

tháng năm sinh, đơn vị công tác, điện thoại di động, địa chỉ email

g) Yêu cầu đối với Lớp

Có sổ theo dõi học tập và hàng ngày ghi chép đầy đủ, đưa giảng viên ký

i) Tài liệu tham khảo chính: 1. A user’s guide to FACET.2. A user’s guide to WINSTEP.3. Adams, R. J. & Khoo, S. T. (1996). Quest: The Interactive Test Analysis

System. Camberwell, Vic.: Australian Council for Educational Research.4. Crocker, L. and Algina J (1986). Introduction to classical and modern test theory. Holt Rinehart Winston.5. Gronlund, N. E. (1998). Assessment of student achievement. Boston: Allyn and Bacon.6. Haladyna, T.M. (1994). Developing and Validating Multiple Choice Test Items. Lawrence Erlbaum Associates, Hillsdale, New Jersey.7. Hambleton R.K. “Validating the test scores” (p.225) in R.A. Berk (Ed.) A Guide to Criterion-Referenced Test Construction, 1984, Baltimore8. Hambleton, R.K. & Swaminathan, H. (1985 ). Item Response Theory,

Principles and Applications. Kluwer, Nijhoff Pusblishing, Boston.9. Linn, R. L., & Gronlund, N. E. (1995). Measurement and assessment in teaching. Upper Saddle River, NJ: Merrill.10.Master G.N and Keeves J. P. (1999). Advances in Measurement in

Educational Research and Assessment. Pergamon.11.Osterlind, S. J. (1989). Constructing Test Items. Kluwer Academic Publishers, London.12.Patrick Griffin (1997). An Introduction to the Rasch Model. Assessment

Research Centre, University of Melbourne13.Popham, W. J. (1998). Classroom assessment: What teachers need to know. Boston: Allyn and Bacon.14.Quest: The Interactive Test Analysis System15.Sax, G. (1989). Principles of Educational and Psychological Measurement

and Evaluation. Wadsworth Publishing Company, Belmont, California.

5

16. Phạm Xuân Thanh. Lý thuyết đánh giá. Tài liệu giảng dạy lớp thạc sĩ đo lường đánh giá khóa 1, 2 (2006, 2007).

17. Phạm Xuân Thanh. Đo lường đánh giá trong giáo dục: Mô hình Rasch trong phân tích kết quả học tập. Tài liệu giảng dạy lớp thạc sĩ đo lường đánh giá khóa 1, 2 (2006, 2007).

6

Chương I: MÔ HÌNH RASCH

Hầu hết các đại lượng tâm lý là các thuộc tính của tư duy, mà tư duy thì

không thể quan sát trực tiếp (đại lượng ẩn), nhưng vẫn có thể đo một cách gián

tiếp thông qua các hành vi có thể quan sát được của con người. Ví dụ: để biết

một học sinh có nắm được nội dung của môn học hay không sau khi học xong

môn học đó, một bài test có thể cho chúng ta biết một cách chính xác: học sinh

đó hiểu đến mức nào (chỉ nhận biết khái niệm một cách máy móc hay còn có khả

năng đánh giá, chuyển giao nhận thức của mình). Các công cụ đo lường, quan sát

(ví dụ bài test) cần được thiết kế cẩn thận, có độ tin cậy cao để ghi nhận chính

xác các hành vi, làm cơ sở để xác định đại lượng ẩn.

Trong đo lường tâm lý, sự thành công của phép đo phụ thuộc nhiều vào

công cụ đo (ví dụ bài test), nhưng đồng thời cũng bị ảnh hưởng vào sự thể hiện

các hành vi, thông thường không nhất quán. Hành vi của con người bao giờ cũng

chủ quan, chịu ảnh hưởng của rất nhiều yếu tố khác nhau.

Trong đo lường giáo dục, hai hệ lý thuyết đánh giá cơ bản dưới đây đang

được sử dụng:

1. Lý thuyết khảo thí cổ điển (Classical Test Theory)

2. Lý thuyết khảo thí hiện đại (Modern Test Theory)

Để tiếp thu môn học này, người học phải có một số kiến thức và kỹ năng

về những vấn đề sau:

- Một số thuật ngữ thống kê cơ bản: Tần suất, giá trị có tần suất cao nhất,

Max, Min, Trung vị (Median), Trung bình cộng, Phương sai, Độ lệch chuẩn, Mô

tả kết quả làm bài của thí sinh theo điểm z

- Một số kỹ thuật xử lý: Xác định các chỉ số thống kê bằng Excel, SPSS.

Vẽ biểu đồ bằng Excel, SPSS

Học viên có thể tham khảo tài liệu giảng dạy lớp thạc sĩ đo lường đánh giá

khóa 1, 2 (2006, 2007): Lý thuyết đánh giá. Tải xuống từ địa chỉ email chung

của lớp.

7

I.1 LÝ THUYẾT KHẢO THÍ CỔ ĐIỂN:

1. Phương trình cơ bản trong lý thuyết khảo thí cổ điển

xi = ti + ei

Trong đó: xi là điểm làm bài test của thí sinh i

ti là điểm thực của thí sinh i

ei là sai số

2. Trong lý thuyết khảo thí cổ điển, sai số được giả thiết là đại lượng ngẫu nhiên.

Sai số, đôi khi có thể lớn, nhỏ, có thể có giá trị âm hoặc dương... Sai số hệ thống

được bỏ qua.

Vì sai số là đại lượng ngẫu nhiên nên:

a. Với một số lượng thí sinh lớn, trung bình cộng của sai số ngẫu nhiên

bằng 0.

Do đó, trung bình cộng điểm làm bài của thí sinh bằng trung bình cộng

điểm thực của họ, tức là

b. Sai số ngẫu nhiên phải không có mối tương quan với điểm thực

Mối tương quan giữa t và e = 0

c. Mối tương quan của sai số giữa hai test = 0

3. Điểm thực của thí sinh i, tức là ti được xác định như sau:

Khi thí sinh thực hiện k bài test đồng nhất thì

Khi k khá lớn thì

Những bài test đồng nhất là những bài test đo cùng một đại lượng và bao gồm

những câu hỏi tương tự. Như vậy, với một số test đồng nhất:

1

2

3

4

8

a. Điểm thực của mỗi thí sinh trong hai bài test phải tương đương nhau

b. Phương sai của điểm quan sát được (điểm làm bài) của thí sinh trong hai

bài test cũng phải tương đương nhau

c. Tương quan của điểm làm bài của thí sinh trong hai bài test bất kỳ phải có

cùng một giá trị.

4. Từ phương trình cơ bản (1) và tính chất của sai số ngẫu nhiên, ta có

var(x) = var(t) + var(e) (5)

Phương sai của điểm làm bài test của thí sinh có thể chia làm hai phần:

a. Phương sai của điểm thực, và

b. Phương sai của sai số ngẫu nhiên.

Điều đó chứng tỏ phương sai của điểm làm bài test của thí sinh phải lớn bằng

phương sai của điểm thực vì phương sai của sai số tự nhiên bằng 0. Một điều

kiện để đánh giá bài tesr là tỷ lệ

var(t) / var(x) gần bằng 1

Tỷ lệ này gọi là độ tin cậy của bài test.

5. Cho hai bài test đồng nhất 1 và 2

xi1 = ti1 + ei1

xi2 = ti2 + ei2

và ti1 = ti2.

Đồng phương sai (covariance) của xi4 và xi2 là tổng của 4 phần:

a đồng phương sai giữa ti1 và ti2, chính là var(t)

b đồng phương sai giữa ti1 và ei2, bằng 0

c đồng phương sai giữa ei1 và ti2, bằng 0

d đồng phương sai giữa ei1 và ei2, bằng 0

Do đó cov(x1, x2) = var(t)

Mối tương quan giữa x1 và x2 = độ tin cậy của bài test.

Công thức khác tính độ tin cậy:

(a) Công thức phân đôi

9

trong đó, r là độ tin cậy của nửa bài test.

(b) Công thức dự báo của Spearman – Brown

trong đó, r là độ tin cậy của bài test

là độ tin cậy của bài test được kéo dài k lần

(c) Công thức Kuder – Richardson: (với những câu hỏi đúng/sai, đa lựa chọn)

K-R 20

trong đó, pi là tỷ lệ số thí sinh trả lời đúng câu hỏi i

là phương sai chung của cả bài test

n là số câu hỏi của bài test

K-R 21

trong đó, là trung bình cộng của cả bài test

là phương sai chung của cả bài test

n là số câu hỏi của bài test

(d) Hệ số Crombach

trong đó, là phương sai của kết quả trả lời câu hỏi i

là phương sai chung của kết quả cả bài test

n là số câu hỏi trong bài test

Hạn chế của lý thuyết khảo thí cổ điển:

1. Điểm thực phụ thuộc vào độ khó của các câu hỏi trong bài test

10

2. Chưa đề cập đến độ tin cậy của bài test, chưa mô tả bài test một cách tổng

thể, mức độ bài test đo từng thí sinh như thế nào

3. Chưa đề cập đến độ khó của câu hỏi được thể hiện qua việc trả lời của thí

sinh như thế nào.

Bài tập 1

Lớp chia làm 4 nhóm để giải 4 bài tập dưới đây và báo cáo kết quả tại lớp:

1. Cho kết quả thi như sau:

Câu hỏi

Thí sinh

(a) Tính độ tin cậy KR-20 và sai số chuẩn của bài test

(b) Tính độ tin cậy KR-21

(c) KR-20 và KR-21 khác nhau về độ lớn như thế nào? Tại sao?

2. Cho kết quả thi như sau:

Câu hỏi

Thí sinh

(a) Tính độ tin cậy của các câu hỏi chẵn và lẻ, sai số chuẩn của bài test

(b) Tính độ tin cậy KR-20 và sai số chuẩn của bài test

(c) Tính độ tin cậy KR-21 và sai số chuẩn của bài test

(d) KR-20 và KR-21 khác nhau về độ lớn như thế nào? Tại sao?

3. Giả sử có một bài test gồm 30 câu với độ phân tán chuẩn (standard deviation)

của điểm làm bài của thí sinh bằng 10 và độ tin cậy bằng 0.60.

(a) Độ tin cậy của bài test có 60 câu tương tự sẽ như thế nào?

(b) Sai số chuẩn điểm của thí sinh khi làm bài test 60 câu đó?

11

4. Gọi tên một số cách nâng cao độ tin cậy của bài test

Mỗi nhóm báo cáo sẽ được các nhóm khác chấm điểm (các thành viên trong

nhóm chấm điểm rồi tổng hợp thành điểm chung của nhóm).

Thời gian : Làm bài tập và báo cáo kết quả trong 3 giờ



I.2 VẬN DỤNG LÝ THUYẾT KHẢO THÍ CỔ ĐIỂN VÀO VIỆC PHÂN

TÍCH CÂU HỎI THI

1. Khái niệm phân tích câu hỏi thi - kiểm tra

Một trong những ứng dụng của lý thuyết đánh giá cổ điển là phân tích câu

hỏi thi - kiểm tra. Phân tích câu hỏi - thi kiểm tra là một quá trình xem xét chúng

một cách kỹ lưỡng và có phê phán. Phân tích câu hỏi thi - kiểm tra nhằm làm

tăng chất lượng của chúng, loại bỏ những câu hỏi quá tồi, sửa chữa những câu

hỏi có thể sửa được và giữ lại những câu hỏi đáp ứng yêu cầu.

Phân tích câu hỏi thi - kiểm tra có thể thực hiện bằng một trong hai

phương pháp:

- Phương pháp chuyên gia (Phương pháp bình phẩm, phê phán) bằng cách

đề nghị một số chuyên gia cho ý kiến nhận xét về những câu hỏi thi -

kiểm tra cụ thể theo một số tiêu chí đề ra. Những người được hỏi có thể là

các chuyên gia môn học, chuyên gia soạn thảo văn bản, thậm chí là một

số thí sinh.

Cách tiếp cận này có hai nguyên tắc:

Người được hỏi phải là người có khả năng bình phẩm, phê phán các

câu hỏi thi - kiểm tra;

các câu hỏi thi - kiểm tra được viết theo một nguyên tắc đã được

xác định và có các tiêu chí để bình phẩm, phê phán.

- Phương pháp định lượng (Phân tích số liệu): Phân tích thống kê kết quả

làm bài của thí sinh. Sau khi có kết quả, nhập dữ liệu để phân tích. Việc

này thường làm trong quá trình thử nghiệm các câu hỏi thi - kiểm tra.

12

Mục đích chính của thử nghiệm là thu thập dữ liệu để phân tích các câu

hỏi thi - kiểm tra, chỉ ra những câu hỏi thi - kiểm tra cần phải sửa.

Các phương pháp phân tích số liệu và bình phẩm, phê phán đều quan trọng

để nâng cao chất lượng câu hỏi thi - kiểm tra.

2. Làm tăng giá trị nội dung câu hỏi bằng ý kiến của chuyên gia

Cộng dụng trước hết của việc phân tích câu hỏi thi - kiểm tra là để làm

tăng giá trị nội dung của câu hỏi thi - kiểm tra. Chất lượng của câu hỏi thi - kiểm

tra có thể được làm tăng lên bằng cách thu thập các bằng chứng liên quan đến

nội dung của câu hỏi thi - kiểm tra. Có thể hỏi ý kiến về mức độ tương thích và

phù hợp (tương hợp) giữa những câu hỏi thi - kiểm tra cụ thể với nội dung mà

chúng ta dự định kiểm tra đánh giá bằng chính những câu hỏi thi - kiểm tra đó.

Việc này đòi hỏi phải tập hợp một nhóm chuyên gia để đánh giá mức độ phù hợp

giữa câu hỏi thi - kiểm tra với nội dung cần kiểm tra đánh giá theo một số tiêu

chí đã được xác định.

Hai phương pháp chính để lấy ý kiến của chuyên gia về mức độ tương hợp

giữa nội dung cần kiểm tra đánh giá và câu hỏi thi - kiểm tra là:

Phương pháp thứ nhất: người đánh giá được cung cấp mục đích, nội

dung của kỳ thi kiểm tra và các câu hỏi thi - kiểm tra dự định dùng để kiểm tra

đánh giá học sinh. Nhiệm vụ của người đánh giá là khẳng định các câu hỏi thi -

kiểm tra phù hợp hay không phù hợp với mục đích và nội dung dự định kiểm tra

đánh giá học sinh. Tất nhiên, cần có một mẫu phiếu để ghi lại các ý kiến của

người đánh giá. Phiếu đánh giá cho phép người đánh giá ghi lại 3 mức độ của sự

tương hợp:

- Rất phù hợp

- Tương đối phù hợp hoặc không chắc chắn là phù hợp

- ít hoặc hoàn toàn không phù hợp

Ba mức này là đủ để đánh giá một câu hỏi thi - kiểm tra. Bên cạnh phần

ghi kết quả đánh giá còn dành chỗ để ghi các ý kiến về lý do đưa ra các mức

đánh giá đó. Bảng 1 là một ví dụ về phiếu đánh giá câu hỏi thi - kiểm tra.

13

Phương pháp thứ hai: (mạnh hơn và khó hơn) để thu thập sự nhất trí của

các chuyên gia về sự tương hợp giữa câu hỏi thi - kiểm tra và mục đích của kỳ

thi kiểm tra bằng cách yêu cầu họ chỉ ra những câu hỏi thi - kiểm tra tương hợp

với những mục đích cụ thể của kỳ thi kiểm tra nhưng không cho họ biết dự định

của người viết câu hỏi thi - kiểm tra. Người đánh giá sẽ lựa chọn những câu hỏi

thi - kiểm tra tương hợp với từng mục đích của kỳ thi kiểm tra, theo ý kiến cá

nhân của họ và ghi vào phiếu đánh giá. Ban thư ký sẽ tổng hợp lại ý kiến của các

chuyên gia đánh giá.

Ý kiến thống nhất của các chuyên gia đánh giá về sự tương hợp giữa câu

hỏi và mục đích cụ thể của kỳ thi kiểm tra là bằng chứng về giá trị nội dung của

câu hỏi thi - kiểm tra. Bảng 2 đưa ra một ví dụ về phiếu đánh giá theo phương

pháp này. Các bảng 1 và 2 có thể được điều chỉnh, sửa đổi để phù hợp với từng

trường hợp cụ thể.

Bảng 1. Phiếu đánh giá sự tương hợp giữa câu hỏi thi - kiểm tra và mục đích của

kỳ thi kiểm tra

Họ và tên người đánh giá:

Hướng dẫn: Đọc các mục đích của kỳ thi kiểm tra. Sau đó, đọc câu hỏi thi - kiểm

tra thứ nhất trong đề thi kiểm tra. Xem xét cẩn thận mức độ tương hợp của câu

hỏi thi - kiểm tra với mục đích của kỳ thi kiểm tra. Ước lượng sự tương hợp đó

theo 3 mức dưới đây:

C = Mức độ tương hợp cao

TB = Mức độ tương hợp trung bình

T = Mức độ tương hợp thấp.

Nếu có các ý kiến về sự tương hợp của câu hỏi thi - kiểm tra, ghi chúng vào phần

dành riêng ở bên phải. Sau khi xử lý xong với câu hỏi thứ nhất, hãy chuyển sang

câu hỏi thứ hai, ước lượng sự tương hợp, rồi tiếp tục với những câu hỏi khác cho

đến hết.

Mục đích 1 của kỳ thi kiểm tra:

........................................................................................................

Ước lượng mức độ ý kiến/ lý do

14

tương hợp

Câu 1 ........................ .........................................................

Câu 2 ........................ .........................................................

Câu 3 ........................ .........................................................

Câu 4 ........................ .........................................................

Câu 6 ........................ .........................................................

Câu 9 ........................ .........................................................

Mục đích 2 của kỳ thi kiểm tra:

........................................................................................................

Ước lượng mức

độ tương hợp

ý kiến/ lý do

Câu 5 ........................ .........................................................

Câu 8 ........................ .........................................................

Câu 10 ........................ .........................................................

Câu 11 ........................ .........................................................

Bảng 2. Tổng hợp ý kiến của chuyên gia về sự tương hợp giữa câu hỏi thi - kiểm

tra và mục đích của kỳ thi kiểm tra

Người đánh giá:.......................................Ngày: .........................................

Lĩnh vực: .........................................................

Trước hết, ông / bà hãy đọc cẩn thận các mục đích của kỳ thi kiểm tra.

Số thứ tự Các mục đích của kỳ thi kiểm tra

1. .........................................................

2. .........................................................

3. .........................................................

4. .........................................................

Đề nghị đọc kỹ các câu hỏi thi - kiểm tra. Sau đó chỉ ra các câu hỏi thi -

kiểm tra có thể sử dụng nhằm đạt được từng mục đích. Bên cạnh từng mục đích

của kỳ thi kiểm tra, viết số thứ tự của các câu hỏi mà ông / bà cho rằng chúng 15

phù hợp với mục đích đó. Có thể có những câu hỏi thi - kiểm tra mà ông / bà

cho rằng chúng không phù hợp với bất kỳ mục đích nào của kỳ thi kiểm tra. Hãy

viết chúng xuống hàng cuối cùng.

Mục đích của kỳ thi

kiểm tra

Những câu hỏi thi - kiểm tra phù hợp với

mục đích của kỳ thi kiểm tra

1 .........................................................

2 .........................................................

3 .........................................................

4 .........................................................

Không phù hợp với

các mục đích ở trên .........................................................

Nguồn: R.K. Hambleton “Validating the test scores” (p.225) in R.A. Berk (Ed.)

A Guide to Criterion-Referenced Test Construction, 1984, Baltimore

Để tăng thêm tính chính xác, các chuyên gia có thể được mời phản biện

kín, họ không tiếp xúc với bộ phận viết câu hỏi thi - kiểm tra, không biết những

chuyên gia khác cũng được mời đánh giá. Họ nhận nhiệm vụ và gửi ý kiến của

họ qua bưu điện, fax, email hoặc giao dịch qua điện thoại với Ban tổ chức. Cách

làm này đảm bảo các ý kiến của chuyên gia ít bị tác động bởi những người khác.

Thông thường một nhóm 4-5 chuyên gia đủ để đánh giá từng câu hỏi thi -

kiểm tra. Tuy nhiên, nếu có quá nhiều câu hỏi thi - kiểm tra cần đánh giá thì có

thể lập một số nhóm chuyên gia, mỗi nhóm có 4-5 người. Với những đề thi kiểm

tra quan trọng như các kỳ thi tuyển sinh, thi tốt nghiệp thì có thể lập mỗi nhóm

gồm 10 thậm chí 15 chuyên gia để đánh giá các câu hỏi thi - kiểm tra. Không nên

để 1 người hoặc chính những người viết câu hỏi thi - kiểm tra làm công việc này

để hạn chế tối đa các sai sót có thể xẩy ra.

Mỗi nhóm chuyên gia nên có hai thành phần:

Chuyên gia môn học,

Chuyên gia được đào tạo để đánh giá các câu hỏi thi - kiểm tra.

16

Chuyên gia môn học phải là những người có uy tín chuyên môn và am

hiểu việc tổ chức thi kiểm tra và có kinh nghiệm viết câu hỏi thi - kiểm tra. Các

chuyên gia được đào tạo để đánh giá câu hỏi thi - kiểm tra phải được đào tạo kỹ,

được trao đổi nhiều kinh nghiệm khác nhau để có thể phát hiện nhanh các lỗi của

câu hỏi thi - kiểm tra.

Định lượng kết quả đánh giá của chuyên gia

Sau khi các chuyên gia hoàn thành nhiệm vụ, cần thu thập kết quả đánh

giá và lập thành cơ sở dữ liệu đánh giá câu hỏi thi - kiểm tra, tiến hành phân tích

và lý giải các kết quả thu được để xác định mức độ đồng nhất ý kiến của các

chuyên gia về mỗi câu hỏi thi - kiểm tra. Những người viết câu hỏi thi - kiểm tra

nhận các thông tin phản hồi về chất lượng câu hỏi thi - kiểm tra để xác định liệu

có đạt được những ý kiến thống nhất về việc các câu hỏi thi - kiểm tra phù hợp

với những mục đích của kỳ thi kiểm tra như dự định hay không. Mặc dù không

có những con số qui định và chính xác, nhưng các câu hỏi thi - kiểm tra được

xem là được đánh giá thống nhất nếu có ít nhất 4 trên 5 hay 8 trên 10 chuyên gia

đồng ý (đạt ít nhất 80%).

Mặc dù phương pháp lập bảng thống kê các ý kiến đồng ý của chuyên gia

là phương pháp được sử dụng rộng rãi, tuy nhiên nhiều phương pháp khác cũng

được ưa dùng trong nhiều trường hợp, nhưng chưa được giới thiệu ở đây.

3. Phân tích thống kê các câu hỏi thi - kiểm tra

Một số thống kê có thể chỉ ra những thuộc tính cụ thể của câu hỏi thi -

kiểm tra, qua đó chung ta biết được những câu hỏi tốt và chưa tốt. Các nhà

nghiên cứu (Crocker & Algina, 1986) đã phân loại các chỉ số thường được sử

dụng như sau:

1. Những chỉ số mô tả sự phân bố trả lời của thí sinh về một câu hỏi cụ thể

(trung bình cộng và phương sai trả lời của thí sinh).

2. Những chỉ số mô tả mức độ của mối quan hệ giữa sự trả lời của thí sinh

về một câu hỏi và những tiêu chí cụ thể đang được quan tâm.

3. Những chỉ số liên quan đến phương sai của câu hỏi thi - kiểm tra và mối

liên hệ với những tiêu chí cụ thể.

17

Một số thống kê thường được sử dụng để mô tả các thông số trên của câu

hỏi thi - kiểm tra là giá trị p, phương sai, một số chỉ số phân biệt như hệ số

tương quan point-biserial, hệ số tương quan biserial, hệ số tương quan phi. Mỗi

chỉ số thống kê này đều quan trọng với những mục tiêu cụ thể khi phân tích câu

hỏi thi - kiểm tra. Dưới đây chỉ mới giới thiệu việc sử dụng giá trị p vào việc

phân tích câu hỏi thi - kiểm tra.

3.1 Độ khó của câu hỏi thi - kiểm tra:

Độ khó của câu hỏi (giá trị p) được sử dụng rộng rãi đối với các câu hỏi

đúng / sai, đa lựa chọn. Giá trị p là tỷ lệ thí sinh trả lời đúng so với tổng số thí

sinh tham gia trả lời câu hỏi đó. Ví dụ: Giả sử 100 thí sinh tham gia trả lời 1 câu

hỏi nào đó và có 80 thí sinh trả lời đúng. Khi đó giá trị p = 80/100 = 0.80, cho

biết có 80% thí sinh trả lời đúng. Nếu có 300 thí sinh nhưng chỉ có 225 thí sinh

trả lời đúng thì giá trị p = 0.75 (vì 225/300 = 0.75).

Giả sử có một bài test gồm 5 câu hỏi. Giá trị p của từng câu hỏi thi - kiểm

tra được đưa vào bảng 3 như sau:

Bảng 3. Giá trị p của bài thi kiểm tra có 5 câu hỏi

Số thứ tự của câu hỏi Giá trị p

1 0.68

2 0.45

3 0.91

4 0.36

5 0.48

Giá trị p của mỗi câu hỏi chưa nói lên được câu hỏi đó tốt hay không,

nhưng nó nói lên độ khó tương đối của câu hỏi đó đối với số thí sinh tham gia

làm bài test. Nếu một nhóm thí sinh khác trả lời câu hỏi đó thì giá trị p có thể

khác.

Khái niệm Sự phụ thuộc mẫu (sample dependence) thường được sử dụng

để phản ánh một số phương diện nào đó của một nhóm hay tập hợp thí sinh tham

gia làm bài thi kiểm tra. Ví dụ: một nhóm học sinh lớp ba và một nhóm khác học

sinh lớp 5 cùng làm một bài test. Kết quả cho thấy giá trị p giữa hai nhóm sẽ rất

18

khác nhau. Khi đó, mỗi câu hỏi sẽ có hai giá trị p, một giá trị p chỉ độ khó tương

đối so với học sinh lớp 3 và một giá trị p khác - so với học sinh lớp 5. Như vậy,

giá trị p phụ thuộc vào mẫu thí sinh tham gia làm bài test.

3.2 Sử dụng giá trị p để phân tích câu hỏi thi - kiểm tra

Giá trị p có ý nghĩa quan trọng đối với những người viết câu hỏi thi - kiểm

tra trong quá trình phân tích câu hỏi. Hiểu đúng ý nghĩa của giá trị p và lý giải

hợp lý các kết kết quả thu được, người viết câu hỏi có thể thấy được mức độ phù

hợp của các câu hỏi đó đối với nhóm thí sinh. Ngoài ra, giá trị p còn giúp xác

định một số lỗi khác của câu hỏi để kịp thời điều chỉnh, sửa đổi hoặc rút kinh

nghiệm cho lần sau. Ví dụ: lỗi do dùng từ, hành văn làm thí sinh không hiểu câu

hỏi, hiểu nhầm, bị đánh lừa hay có nhiều cách hiểu khác nhau; lỗi trong phần lựa

chọn của câu hỏi trắc nghiệm; không có phương án trả lời đúng hay có nhiều

phương án trả lời đúng... Giá trị p cũng có thể cho thấy kết quả làm bài của các

nhóm thí sinh khác nhau trong cùng một tập hợp (ví dụ: cũng là học sinh lớp 5

nhưng của những tỉnh có đặc trưng khác nhau như thành phố, nông thôn, miền

núi...).

Khi phân tích câu hỏi trắc nghiệm, giá trị p được tính cho từng phương án

trả lời, bằng tỷ lệ giữa số thí sinh lựa chọn từng phương án (ví dụ: số thí sinh

chọn phương án A) với tổng số thí sinh (kể cả số thí sinh bỏ sót hay không trả lời

câu hỏi đó)

Bảng 4. Giá trị p của một câu hỏi trắc nghiệm

Phương án trả lời A B C* D Bỏ sót Tổng

Số lượng 28 17 197 41 3 286

Giá trị p 0.10 0.06 0.69 0.14

Ghi chú: * ký hiệu phương án trả lời đúng.

Trong ví dụ này, đa số thí sinh trả lời được câu hỏi này và đã lựa chọn

phương án C. Giá trị p = 0.69 cho thấy câu hỏi này không quá dễ và không quá

khó đối với nhóm thí sinh này. Tất cả các phương án đều thu hút được một số thí

sinh lựa chọn, không có phương án nào có giá trị p = 0. Điều đó có nghĩa không

một phương án nào bị thí sinh loại trừ. Điều này chứng tỏ câu hỏi trắc nghiệm

19

này có chất lượng, tuy nhiên, phương án B có giá trị p = 0.06 là quá bé chứng tỏ

phương án này chỉ thu hút được một số ít thí sinh có năng lực thấp, với hầu hết

những thí sinh có năng lực cao hơn thì phương án B là phương án sai tương đối

rõ, bị nhiều thí sinh loại trừ. Phương án B cần được nghiên cứu thêm để giảm

khả năng loại trừ quá lộ liễu.

Một câu hỏi có thể quá dễ đối với nhóm thí sinh này và quá khó đối với

nhóm thí sinh khác. Người viết câu hỏi thi - kiểm tra cần quan tâm đến giới hạn

thích hợp của giá trị p đối với một nhóm thí sinh nhất định. Theo Osterlind

(1989), giá trị p nên nằm trong khoảng từ 0.40 đến 0.80. Dưới 0.4 nghĩa là câu

hỏi quá khó và trên 0.80 là quá dễ đối với nhóm thí sinh. Người viết câu hỏi thi -

kiểm tra cố gắng điều chỉnh để độ khó của câu hỏi rơi vào trong khoảng 0.4-0.8

cho phù hợp với đối tượng dự thi kiểm tra.

Bảng 5. Giá trị p của một câu hỏi trắc nghiệm kém chất lượng

Phương án trả lời A* B C D Bỏ sót Tổng

Số lượng 77 0 130 63 16 286

Giá trị p 0.27 0.00 0.45 0.22 0.06


Trong ví dụ này, giá trị p chỉ ra một số lỗi trong câu hỏi thi - kiểm tra. Rõ ràng,

thí sinh bị nhầm lần khi trả lời câu hỏi này. Phương án A (lựa chọn đúng) lại thu

hút được ít thí sinh (27%) hơn phương án C (lựa chọn sai). Phương án B không

thu hút được một thí sinh nào, chứng tỏ phương án này sai quá lộ liễu nên bị loại

trừ. Hơn nữa, khoảng 6% thí sinh không trả lời câu hỏi này cũng là một dấu hiệu

về sự sai sót của câu hỏi. Những điều trên chỉ ra rằng, câu hỏi này sai rất nghiêm

trọng, không chấp nhận được.

Mặc dù những cách lý giải ở trên mới chỉ dựa trên lý thuyết đánh giá cổ

điển, chưa hoàn toàn phù hợp với lý thuyết đánh giá hiện đại, nhưng những

thông tin do giá trị p đưa đến cũng rất bổ ích để suy xét chất lượng của câu hỏi

thi - kiểm tra.

Người đọc có thể thấy rằng câu hỏi có nhiều sai sót chắc chắn không phải

do những chuyên gia giỏi biên soạn và họ không phải là người biết làm việc

20

nghiêm túc. Người đọc cần lưu ý rằng các lỗi ẩn chứa trong mỗi câu hỏi không

dễ phát hiện ra trừ phi các câu hỏi đó được phân tích kỹ lưỡng. Viết câu hỏi thi -

kiểm tra mới chỉ là việc làm bước đầu, nó đòi hỏi phải được thử nghiệm trước

khi sử dụng và sau mỗi lần tổ chức thi kiểm tra cần được phân tích kỹ lưỡng để

rút kinh nghiệm và đồng thời để lý giải được kết quả làm bài của thí sinh.

3.3 Nhầm đáp án

Một thuộc tính bổ ích khác của giá trị p là giúp xác định những câu hỏi bị

nhầm đáp án. Rất tiếc, nhầm đáp án là một hiện tượng khá phổ biến trong quá

trình viết câu hỏi trắc nghiệm. Trong nhiều trường hợp, những nhầm lẫn này có

thể hiểu được. Nhiều khi, sự đơn điệu và buồn tẻ trong việc viết câu hỏi thi -

kiểm tra làm các chuyên gia thiếu tập trung, dẫn đến nhầm đáp án. Những lúc

khác, sự mơ hồ, thiếu rõ ràng trong việc hành văn, diễn đạt câu hỏi đã gây khó

khăn cho việc xác định phương án trả lời đúng. Khi viết những câu hỏi để đánh

giá những kỹ năng của quá trình nhận thức phức tạp, sự phức tạp về nội dung

hoặc thuật ngữ có thể dẫn đến xác định sai đáp án.

Những câu hỏi thi - kiểm tra bị nhầm đáp án thường bị phát hiện khi người

soạn câu hỏi xem bảng giá trị p và thấy có sự khác biệt lớn giữa dự định và thực

tế trả lời của thí sinh. Ví dụ: Bảng 6 cung cấp thông tin thống kê liên quan đến 1

câu hỏi trên cơ sở kết quả làm bài của thí sinh và cho thấy, người soạn câu hỏi

này cho rằng phương án B là đáp án của câu hỏi nhưng thực tế đa số thí sinh đều

chọn phương án A. Tuy đây là câu hỏi tốt vì các phương án B, C và D có giá trị

p tương đối gần nhau và cùng khác biệt với giá trị p của phương án A, nhưng đây

lại là một câu hỏi nhầm đáp án. Người soạn câu hỏi cần nghiên cứu lại vì thông

tin thống kê cho thấy phương án A mới là đáp án.

Bảng 6. Giá trị p của một câu hỏi nhầm đáp án

Phương

án trả lời

A B* C D Bỏ sót Tổng

Số lượng 202 31 28 25 0 286

Giá trị p 0.71 0.11 0.10 0.09


21

3.4 So sánh các giá trị p giữa các nhóm đạt kết quả cao và kết quả thấp

Đôi khi cũng nên so sánh các nhóm thí sinh khác nhau để xác định các

thuộc tính của câu hỏi thi - kiểm tra. Nhằm mục đích đó, hai nhóm thí sinh được

chọn ra: một nhóm có kết quả cao và nhóm khác có kết quả thấp. Cụ thể, nhóm

thứ nhất bao gồm 27% số thí sinh làm bài test có tổng điểm bài test cao nhất.

Nhóm thứ hai bao gồm 27% số thí sinh làm bài test có tổng điểm bài test thấp

nhất. Kelly (1939) cho rằng con số 27 có thể cho một chỉ số ổn định về sự khác

nhau giữa hai nhóm có năng lực cao và thấp. Sự so sánh này nhằm làm rõ mức

độ khác biệt kết quả làm bài của hai nhóm thí sinh có năng lực khác nhau.

Bảng 7. Giá trị p của các nhóm thí sinh đạt kết quả cao và kết quả thấp

Phương án trả lời A B* C D Bỏ sót

Nhóm trên 0.29 0.61 0.08 0.02 1

Nhóm dưới 0.31 0.27 0.31 0.11 6

Sự khác nhau -0.2 0.34 -0.23 -0.9


Bảng 7 cho thấy câu hỏi này không khó đối với nhóm trên nhưng khá khó

đối với nhóm dưới. Sự khác nhau giữa hai nhóm khi lựa chọn phương án B là

khá lớn. Sự khác nhau ở các phương án A, C và D cho thấy ít thí sinh ở nhóm

trên lựa chọn các phương án này hơn so với nhóm dưới. Tuy nhiên, sự khác nhau

không đáng kể giữa hai nhóm khi lựa chọn phương án A là dấu hiệu có sự phân

biệt không đáng kể giữa hai nhóm này. Điều đó chỉ ra rằng phương án A cần

được xem lại.

4. Tóm lại:

Trên đây chỉ là một số ít ứng dụng lý thuyết đánh giá cổ điển vào việc

phát hiện những câu hỏi thi - kiểm tra kém chất lượng. Việc nghiên cứu lý thuyết

đánh giá cổ điển còn đưa lại nhiều ứng dụng khác giúp ích cho việc nâng cao

chất lượng câu hỏi thi - kiểm tra. Hơn thế nữa, ở mức cao hơn, lý thuyết đánh giá

hiện đại còn có nhiều ứng dụng hơn và giúp chúng ta định cỡ câu hỏi thi - kiểm

tra, từ đó có thể so sánh kết quả làm bài của thí sinh ở những lần thi kiểm tra

khác nhau.

22

Ví dụ tham khảo và minh họa

1. Tiểu đề án phân tích câu hỏi thi của các đề thi trắc nghiệm khách quan.

2. Trích “Báo cáo phân tích đề thi”.

Bài tập 2

Lớp chia làm 4 nhóm để giải 2 bài tập dưới đây và báo cáo kết quả tại lớp:

1. Ra một đề thi hoặc chọn một đề thi (đã sử dụng) gồm 3-5 câu; cả nhóm phân

tích các câu hỏi thi và làm tăng giá trị nội dung câu hỏi bằng ý kiến của chuyên

gia.

2. Sử dụng kết quả thi trắc nghiệm (do học viên tự chọn hoặc do giảng viên cung

cấp) để phân tích thống kê các câu hỏi.

Thời gian : Làm bài tập và báo cáo kết quả trong 3 giờ



I.3 LÝ THUYẾT KHẢO THÍ HIỆN ĐẠI

Lý thuyết hồi đáp (tóm tắt)

Lý thuyết hồi đáp bao gồm một hệ thống các định đề liên quan đến từng cá

nhân trả lời câu hỏi. Liệu Lý thuyết hồi đáp có đưa ra một giải pháp thoả đáng

cho một số vấn đề đo lường hay không vẫn là một câu hỏi đang cần được kiểm

chứng qua thực nghiệm.

1. Đại lượng cần đo được hình dung như một đường nào đó (thẳng hoặc cong) và

kết quả đo lường được mô tả như một điểm đặt trên đường đó. Do đó, đại lượng

cần đo được giả thiết là phân bố liên tục. Tuy nhiên, chưa có một dạng phân bố

cụ thể nào được chỉ ra.

2. Điều kiện cốt yếu để thí sinh trả lời đúng câu hỏi được xem xét qua hai đại

lượng:

a. Năng lực của thí sinh (tham biến năng lực hay tham biến thí sinh)

b. Độ khó của câu hỏi (tham biến độ khó hay tham biến câu hỏi)

Năng lực của thí sinh và độ khó của câu hỏi là những đại lượng được phân

bố trên đường đặc trưng có tính liên tục bao gồm các giá trị của đại lượng cần

23

đo. Thông thường, với các câu hỏi được sử dụng để định cỡ, thì độ khó của các

câu hỏi giữ vai trò thang giá trị thể hiện dọc theo đường đặc trưng của đại lượng

cần đo.

3. Lý thuyết hồi đáp quan tâm đến xác suất trả lời đúng đối với một câu hỏi. Xác

suất đó được thể hiện là một hàm số của năng lực thí sinh và độ khó câu hỏi và

có thể có thêm một số tham biến khác (ví dụ: mức độ đoán mò).

Những hàm số xác suất khác nhau (thể hiện mối quan hệ giữa năng lực thí

sinh và độ khó câu hỏi) dẫn đến những mô hình lý thuyết hồi đáp khác nhau, ví

dụ: Mô hình logistic đơn giản, Mô hình hai tham biến, Mô hình ba tham biến của

Birnbaum, Mô hình partial credit.

4. Xác suất trả lời đúng một câu hỏi được biểu thị bằng một hàm số liên quan

đến năng lực của thí sinh (thể hiện dưới một hàm số logarit tự nhiên). Xác suất

đó là hàm P() – một đường cong đặc trưng của câu hỏi (Item Characteristic

Curves - ICC).

a. Đường cong tăng lên khi tăng (năng lực của thí sinh tăng thì xác

suất trả lời đúng P() tăng)

b. Đường cong nằm giữa hai đường thẳng y=0 và y=1 (Hàm xác suất P()

nằm giữa 0 và 1)

c. Đường cong tiệm cận đến hai đường thẳng y=0 và y=1

P() tiến đến 0 khi - và P() tiến đến 1 khi

5. Xác suất biểu thị hàm số độ khó câu hỏi (là thể hiện dưới một hàm số logarit

tự nhiên) cho đường cong đặc trưng thí sinh là hàm P() (Person Characteristic

Curves - PCC). Lưu ý sự khác nhau giữa ICC và PCC.

6. Ở trên đã giả thiết xác suất trả lời là một hàm số đặc trưng đơn giản cho năng

lực thí sinh. Để Lý thuyết hồi đáp có thể áp dụng được với các bài test, các câu

hỏi phải là các đơn thứ nguyên (unidimensional). Không một công cụ đo lường

nào là đơn thứ nguyên chính xác. Ở đây có thể có một số thứ nguyên phụ (minor

dimensions) ảnh hưởng đến việc trả lời câu hỏi. Liệu có hay không một công cụ

là đơn thứ nguyên thoả đáng còn là một câu hỏi quan trọng để có thể ứng dụng

Lý thuyết hồi đáp.

24

7. Nếu năng lực của thí sinh i đã được xác định, khi đó sự hiểu biết của thí sinh

i để trả lời câu hỏi j không ảnh hưởng đến khả năng có được câu trả lời đúng đối

với câu hỏi k khác.

P[ xij = 1 | , xik = 1 ] = P[ xij = 1 | ]

Nếu điều đó sai, nghĩa là câu trả lời đối với câu hỏi j phụ thuộc vào điều gì

đó ngoài năng lực . Sự không phụ thuộc này được gọi là sự độc lập cục bộ hay

sự độc lập có điều kiện, và là kết quả của tính đơn thứ nguyên. Điều đó còn

nghĩa là

P[ xij = 1, i=1,2,…,I | ] =

8. Hầu hết các mô hình lý thuyết hồi đáp sử dụng xác suất như một hàm số của

sự khác nhau giữa tham số năng lực và tham số độ khó , tức là - . Trong

Mô hình logistic đơn giản (Mô hình Rasch):

Xác suất để thí sinh i trả lời đúng câu j là

P[ xij = 1 | ]

9. Các kết quả làm bài của thí sinh (kết quả trả lời câu hỏi) có được sau khi tổ

chức làm một bài test được sử dụng để tính tham biến năng lực và độ khó.

Phương pháp sử dụng để tính các tham biến đó là phương pháp có khả năng tối

đa (Maximum likelihood).

10. Sự tính toán này nhằm xác định những vị trí tương đối của các tham số,

nhưng đó không phải là những vị trí thực

- = ( + c) – ( + c)

Sai số chuẩn (standard errors) của sự tính toán này có thể tính được.

Mối quan hệ giữa Lý thuyết hồi đáp (IRT) và Lý thuyết đánh giá cố điển (CCT)

Lý thuyết đánh giá cố điển

Lý thuyết hồi đáp

Đo năng lực Điểm thực t Tham biến năng lực

Đo độ khó Mức độ khó Tham biến độ khó

Đo độ phân biệt

Point biserial Tham biến phân biệt

25

Đo độ chính xác

Phương sai của sai số độ tin cậy, var(x|t)

Sai số chuẩn

Trong Lý thuyết đánh giá cố điển, điểm thực bị phụ thuộc vào các câu hỏi của

bài test. Tham biến trong mô hình Lý thuyết hồi đáp là bất biến.

"Tính khách quan đặc trưng”: Việc so sánh hai đối tượng bất kỳ, đã được đo

bằng một công cụ nào đó, sẽ không phụ thuộc vào công cụ đo. Trong khảo

nghiệm tâm lý, sự so sánh hai cá thể được test sẽ chỉ phụ thuộc vào những câu

hỏi được sử dụng trong bài test.

Câu hỏi thảo luận

1. Cho hình sau:

a) Đồ hoạ trên có 2 đường cong đặc trưng của câu hỏi (ICC). Thông số độ khó

của hai câu hỏi này là gì?

b) Hai câu hỏi trong mô hình logistic đơn giản có thông số độ khó khác nhau.

Liệu có khả năng hai đường cong đặc trưng của câu hỏi ICC có một điểm cắt

nhau? Tại sao?

1.4 MÔ HÌNH RASCH VÀ SỰ MỞ RỘNG

1.4.1. Mô hình Rasch đơn giản (1 thông số)

Mô hình Rasch đơn giản cho các câu hỏi chỉ nhận một trong 2 giá trị: 0 và 1 (câu

hỏi đúng sai, câu hỏi đa lựa chọn...):

Ví dụ 1: Đối với các câu trắc nghiệm đa tuyển (MC), nên sử dụng dạng nào dưới

đây?

A.* Câu hỏi

B. Câu cần được hoàn chỉnh

0

26

C. Câu đa tuyển phức tạp

D. Lựa chọn đa chiều

Ví dụ 2: Thuật ngữ nào dưới đây miêu tả khí hậu với nhiệt độ cao và mưa nhiều?

A. Xavan (hoang mạc, thảo nguyên)

B.* Rừng mưa nhiệt đới

C. Tunđra (lãnh nguyên)

Ví dụ 3: 77 + 34 =A. 101B.* 111

Phương án A là phương án trả lời sai có logic cho những ai học về toán cộng đơn

giản.

Mô hình Rasch để tính xác suất trả lời đúng:

P() )exp(1)exp(

Xác suất để thí sinh n có năng lực n trả lời ĐÚNG câu hỏi i có độ khó i được

viết như sau:

Pn[ xi = 1 | n ] )exp(1)exp(

in

in

Xác suất để thí sinh n có năng lực n trả lời SAI câu hỏi i có độ khó i được viết

như sau

Pn[ xi = 0 | n ] = 1 - )exp(1)exp(

in

in

= )exp(1

1

in =

Chia xác suất trả lời đúng cho xác suất trả lời sai ta có:

Pn[ xi = 1 | n ] : Pn[ xi = 0 | n ] = )exp(1)exp(

in

in

: )exp(1

1

in =

ln{Pn[ xi = 1 | n ] : Pn[ xi = 0 | n ]} = in

Suy ra = ln{Pn[ xi = 1 | n ] : Pn[ xi = 0 | n ]} = ln{Pn[ xi = 1 | n ] : {1- Pn[ xi

= 1 | n ]}}

Như vậy với thí sinh n trả lời một câu hỏi i thì

n - i = ln{Pn[ xi = 1 | n ] : {1- Pn[ xi = 1 | n ]}}

Thí sinh n trả lời l câu hỏi trong bài (i=1,...,l)27

ln -

l

ii

1

= ln{Pn[ xi = 1 | n ] : {1- Pn[ xi = 1 | n ]}}

Đặt:

l

ii

1

= 0

ln = ln{Pn[ xi = 1 | n ] : {1- Pn[ xi = 1 | n ]}}

n = { ln{Pn[ xi = 1 | n ] : {1- Pn[ xi = 1 | n ]}}}/l

k

nn

1

= { ln{P1[ xi = 1 | n ] : {1- P1[ xi = 1 | n ]}}}/l

Tương tự: Từ công thức

n - i = ln{Pn[ xi = 1 | ] : {1- Pn[ xi = 1 | ]}}

Khi k thí sinh cùng trả lời câu hỏi i, (n=1,..,k)

k

nn

1

- ki = ln{Pn[ xi = 1 | ] : {1- Pn[ xi = 1 | ]}}

ki =

k

nn

1

- ln{Pn[ xi = 1 | ] : {1- Pn[ xi = 1 | ]}}

i = {

k

nn

1

- ln{Pn[ xi = 1 | ] : {1- Pn[ xi = 1 | ]}}}/k

1.4.2. Mô hình Rasch 2 thông số

Mô hình này không bao gồm thông số đoán mò, sinh viên rất yếu không có cơ

hội trả lời đúng một câu trả lời khó

Pn[ xi = 1 | n ] )(7.1exp11

inia

ai là chỉ số phân biệt của câu hỏi i.

1.4.3. Mô hình Rasch 3 thông số (Birnbau 1968)

Pn[ xi = 1 | n ] )(7.1exp1)1(

ini

i

ac

Trong đó: ci là thông số đoán mò.

28

Mô hình sẽ thích hợp với trường hợp khi những sinh viên yếu tình cờ trả

lời đúng những câu khó.

Mô hình sẽ rất phù hợp cho các đề thi đánh giá năng lực sử dụng dạng câu

hỏi trắc nghiệm.

Lord (1974) phát hiện ra rằng việc tính thông số c thường ít hơn xác suất

đoán mò đúng đáp án.

1.4.4. Mô hình đường cong chuẩn (normal ogive model)

Pn[ xi = 1 | n ] = dyyiba

)2

exp(21 2)(1

1.4.5. Mô hình Partial Credit

Mô hình để xác định mức độ thực hiện trung bình giữa đúng và sai và xác

định partial credit cho những mức độ trung gian này.

Ví dụ: (30 + 47) x 26

Đây là câu hỏi có hai bước thực hiện theo thứ tự: thực hiện phép tính trong

ngoặc trước; sau đó nhân kết quả với 26.

Bước 1: thực hiện phép cộng 30 + 47 =

Khả năng 1: kết quả thực hiện đúng.

Pn[ xi = 1 | ,ti1] )exp(1)exp(

1

1

iin

iin

Khả năng 2: kết quả thực hiện sai.

Pn[ xi = 0 | ,ti1 ] )exp(11

1iin

Như vậy:

P[xi=1|,ti1] : P[xi=0|,ti1] = exp( )

Để thực hiện bước 2: nhân kết quả với 26, ta có:

P[xi=1|,ti2] : P[xi=0|,ti2] = exp( 2iin )

P[xi=1|,ti1] : P[xi=0|,ti1] * P[xi=1|,ti2] : P[xi=0|,ti2] = exp( 1iin )*exp(

2iin )

Ln{P[xi=1|,ti1] : P[xi=0|,ti1] * P[xi=1|,ti2] : P[xi=0|,ti2]} =

29

Giả sử có m bước phải thực hiện :

Ln{P[xi=1|,ti1] : P[xi=0|,ti1]*P[xi=1|,ti2] : P[xi=0|,ti2]*…*P[xi=1|,tim] :

P[xi=0|,tim]=

=Ln{P[xi=1|,ti1] : P[xi=0|,ti1]*P[xi=1|,ti2] : P[xi=0|,ti2]*…*P[xi=1|

,tim] : P[xi=0|,tim]

={Ln{P[xi=1|,ti1] : P[xi=0|,ti1]*P[xi=1|,ti2] : P[xi=0|,ti2]*…*P[xi=1|

,tim] : P[xi=0|,tim]}/m

M« h×nh tæng qu¸t (c©u hái cã nhiÒu gi¸ trÞ vµ ®îc ®o qua nhiÒu bíc):

P(Xni=xni))(exp

)(exp

00

0

ijin

k

jij

m

k

ijin

Xni

jij

w

w

i

)

Trong đó:

n – thí sinh thứ n

i – câu hỏi thứ i

Xni - điểm câu hỏi thứ i của thí sinh thứ n

0...mi - điểm có thể có của câu hỏi i

n - năng lực của thí sinh n

wij điểm của câu hỏi thứ i tại bước j

i - - độ khó của câu hỏi i

i - - thông số thứ 3 liên quan đến câu hỏi i.

Lưu ý:

1)(exp0

ijin

o

jijw

00

im

jij

30

và

1

1

0i

i

31

Chương II:

Các thuật ngữ cơ bản của lý thuyết hồi đáp IRT

1. Giả thiết

2. Mô hình toán học

3. Chức năng thông tin

4. Chức năng hiệu quả tương đối

1. Giả thiết

Hầu hết các mô hình trong Lý thuyết hồi đáp đều giả thiết rằng chỉ có một

đại lượng ẩn gắn với một item. Do vậy, người ta giả thiết rằng: hầu như các bài

test được thiết kế để đo một đại lượng đơn.

Lý thuyết hồi đáp giả thiết rằng có thể mô tả bằng toán học mối quan hệ

giữa năng lực của học sinh với kết quả làm bài. Sự mô tả toán học này được gọi

là “Chức năng trả lời câu hỏi„ “Đường cong đặc tính của câu hỏi“.

2. Chức năng trả lời của item (item response function)

Đối với câu hỏi chỉ nhận các giá trị đúng – sai, chức năng trả lời của item

về mặt toán học là xác suất trả lời đúng đối với một cấp độ xác định của biến.

P(ui=1|)=ci + (1-ci)/(

Mô hình đường cong chuẩn (normal ogive model)

P(ui=1|)=ci + (1-ci)/ [ai(-bi)]

Trong đó: [] là chức năng phân bố tích lũy chuẩn

là năng lực của thí sinh

ai, bi, ci là các thông số của item i :

ai độ phân biệt của item

bi độ khó của item

ci thông số đoán mò

3. Chức năng thông tin (Information function)

Chức năng thông tin (Bimbaum,1968) được sử dụng để mô tả hiệu quả đo

lường của một bài test hoặc một câu tại mỗi cấp độ (level) của đối tượng cần đo.

32

Hình 1. a) chức năng trả lời của 2 item thuộc mô hình 1 thông số (ở trên, bên

trái); b) chức năng trả lời của 2 item thuộc mô hình 2 thông số (ở trên, bên phải);

c) chức năng trả lời của 2 item thuộc mô hình 3 thông số (ở dưới, bên trái)

Chức năng thông tin của kết quả bài y, I(,y) là tỷ lệ nghịch với bình phương của

khoảng cách tin tưởng tiệm cận khi tính toán năng lực từ kết quả điểm y.

4. Chức năng hiệu quả tương đối (Relative efficiency (RE) functions)

Giả sử cáo 2 bài test x và y cùng đo năng lực , khi đó chức năng hiệu quả tương

đối của bài test y so với bài test x là RE(y,x) là tỷ lệ của 2 chức năng thông tin

tương ứng với với 2 giá trị của năng lực : RE(y,x) = I(,y)/ I(,x)

33

Chương III:

Lựa chọn mô hình và phương pháp tính

1. Lựa chọn mô hình2. Lựa chọn phương pháp tính

Bước đầu tiên khi áp dụng lý thuyết hồi đáp vào các vấn đề thực tiễn là

chọn mô hình toán học cho chức năng trả lời của câu hỏi và để tính toán các

thông số của item và năng lực .

1. Lựa chọn mô hìnhSự lựa chọn mô hình phù hợp sẽ phụ thuộc chủ yếu vào dạng của câu hỏi thi và

điểm thi.

Khi xem xét các item chỉ nhận các giá trị đúng hoặc sai, ví dụ các câu hỏi đa lựa

chọn, có khả năng thí sinh đoán mò để trả lời đúng một số câu nào đó thì mô hình trả lời

của item nên có thông số đoán mò.

Với những câu hỏi mà thí sinh phải tự đưa ra câu trả lời, như vậy khó có thể đoán

mò, thì nên sử dụng mô hình 2 thông số, không có thông số đoán mò.

Trong trường hợp thí sinh phải tự đưa ra câu trả lời, nhưng kết quả còn tùy thuộc

người chấm thì phải sử dụng mô hình 3 thông số.

2. Lựa chọn phương pháp tínhCác phương pháp tính: bằng tay (by hands), bằng các chương trình máy tính.

Các phần mềm:

LOGIST (Wingersky, 1983)

BILOG (Mislevy and Block, 1983)

ASCAL (Vale, 1985)

BIGSTEPS(Wright and Linacre, 1991)

WINSTEPS

QUEST

CONQUEST

34

Chương IV. Các ứng dụng minh hoạ1. Thiết kế các test đo lường2. Thiết kế lại các công cụ test đo lường3. Sự tương đương của các công cụ4. Sự định kiến của các công cụ (câu hỏi)

1. Thiết kế các test đo lườngQuy tr×nh thiÕt kÕ gồm 7 bước:

1. Xác định mục đích sử dụng điểm thi, kiểm tra a. sử dụng kết quả vào việc theo dõi, giám sát kết quả học tập,b. để phân loại học sinh, c. để tuyển sinh...

2. Xác định các cấu trúc đoa. Cấu trúc kết quả học tập (mức độ học sinh nắm được nội dung của

môn học sau mỗi khoá học)b. Cấu trúc năng lực

3. Chọn mẫua. Đánh giá tất cả học sinhb. Đánh giá một mẫu đại diện (kỹ thuật chọn mẫu: ngẫu nghiên đơn

giản, phân nhóm, phân tầng...)4. Xác định nội dung chi tiết của bài thi kiểm tra

STTCác nội dung cần đánh

giá

Thang năng lực

Biết Hiểu Ứng dụng Phân tích Tổng hợp Đánh giá

1

2

...

5. Viết câu hỏi thi, kiểm traNhững lời khuyên khi viết câu hỏi thi

Lindquist (1936):

a) Lựa chọn dạng câu hỏi thib) Kiểm tra lại xem dạng câu hỏi thi đã được lựa chọn có tính khả thi

khôngc) Lựa chọn và tập huấn những người tham gia viết câu hỏi thi để thống

nhất cách viếtd) Viết các câu hỏi thie) Giám sát tiến độ của người viết câu hỏi thi và chất lượng câu hỏi.

6. Rà soát, xem xét lại câu hỏi thi, kiểm traTập hợp các chuyên gia để rà soát nội dung và cách diễn đạt (chủ yếu

là chuyên gia môn học và một vài nhà biên tập)

7. Thử nghiệm và các bước tiếp theoThử nghiệm trên một mẫu, phân tích câu hỏi thi và gửi thông tin phản hồi

cho người viết câu hỏi thi. Sửa chữa và hoàn thiện. Bảo mật và tổ chức thi.

35

(Xem thêm: Viết câu hỏi thi)

Xây dựng ngân hàng câu hỏi

- Mục đích xây dựng ngân hàng câu hỏi- Yêu cầu đối với ngân hàng câu hỏi

Lựa chọn loại ngân hàng câu hỏi (xem bài Ngân hàng câu hỏi)

Thế hệ 1: Thư viện.

Thế hệ 2: những câu hỏi thi đã được làm tăng giá trị sử dụng bằng con

đường thực nghiệm truyền thống.

Thế hệ 3: những câu hỏi thi đã được định cỡ.

Quy trình xây dựng ngân hàng câu hỏi được định cỡ

1. Viết câu hỏi

a) Đào tạo nhóm chuyên gia viết câu hỏi cho từng bộ môn

b) Tổ chức viết câu hỏi

c) Các chuyên gia trong nhóm nghiên cứu các câu hỏi của người khác và

phản biện lẫn nhau.

d) Sửa chữa câu hỏi.

Bước c và d có thể lặp lại một số lần để đạt được chất lượng câu hỏi

tốt hơn. Đến đây, những câu hỏi đã được chỉnh sửa có thể đưa vào ngân

hàng câu hỏi ở mức phát triển thứ nhất.

2. Làm tăng giá trị sử dụng bằng con đường thực nghiệm truyền thống

a) Thử nghiệm (Pilot test) Lưu ý tính không phụ thuộc mẫu

b) Phân tích câu hỏi thi bằng lý thuyết khảo thí cổ điển

Xem bài “Phân tích câu hỏi thi”

Các bước a, b có thể lặp lại nhiều lần.

Công đoạn này không đòi hỏi kỹ thuật cao, không phải đào tạo nhiều.

3. Định cỡ câu hỏi

Trên cơ sở kết quả thử nghiệm, dùng mô hình Rasch để định cỡ.

a) Xác lập thang đo chuẩn cho ngân hàng câu hỏi thi Có thể sử dụng những câu hỏi đã được định cỡ từ trước Có thể chọn những câu hỏi có chất lượng tốt trong một kỳ thi đăng

trưng cho đối tượng được đánh giá Có thể tạo ra một thang tương đối (và có tính cục bộ) cho ngân hàng

câu hỏi thi (lấy 1 bài test có chất lượng tốt, chọn ra những câu có chất lượng tốt làm các câu chung)

b) Bổ sung các câu hỏi đã định cỡ từ trước vào bài test và tổ chức thic) Phân tích bài test bằng mô hình Rasch với các câu đã được định cỡ từ

trước

36

d) Chọn những câu có chất lượng tốt để bổ sung vào ngân hàng, ghi lại các thông số (độ khó) của câu hỏi thi.

4. Lưu giữ và sử dụng

a) Ngân hàng phải được bảo mật

b) Các câu hỏi phải có các thông tin về độ khó (sau khi định cỡ), đã dụng

để thi vào lúc nào, đối tượng nào

c) Tuỳ theo đối tượng học sinh để chọn ra đề thi (bao gồm các câu hỏi thi)

có độ khó thích hợp (để tăng hiệu quả đánh giá), hoặc tuỳ theo mục đích kỳ

thi mà chọn các đề thi có độ khó tương đương (Độ khó trung bình của toàn

bài là tương đương nhau:

l

ii

1

)

Ví dụ:

Header MATH VIET TEST GRADES 3 and 5 linked across common itemsset width =132 ! pageset logon >- MatViet.logdata_file final.datcodes 0123456789format studid 1-12 items (t46,71a1,t118,120a1,t239,42a1)recode (0123456789) (0100000000) ! 19,26,31,77,88,92,95,104,105,132,-73recode (0123456789) (0010000000) ! 12,13,24,25,27,28,30,34,37,43,45,-51,56,58,60,62,64,67recode (0123456789) (0001000000) ! 2-4,7,8,10,11,14,17,20-22,29,32recode (0123456789) (0001000000) ! 33,36,38,39,42,44,46-50,55,63,65recode (0123456789) (0000100000) ! 1,5,6,9,15,16,18,23,35,40,41recode (0123456789) (0000100000) ! 52-54,57,59,61,66,68-71recode (0123456789) (0100000000) ! 137,143,153,155,159,161,163,166recode (0123456789) (0100000000) ! 174,175,180recode (0123456789) (0010000000) ! 76,78,79,81,84,85,89-91,93,96-98recode (0123456789) (0010000000) ! 102,103,106,108,118,119,128,131recode (0123456789) (0010000000) ! 138,141,142,144,145,157,169,171recode (0123456789) (0010000000) ! 176,181,183,184,187recode (0123456789) (0001000000) ! 75,80,82,83,86,87,94,99,100recode (0123456789) (0001000000) ! 130recode (0123456789) (0001000000) ! 107,129,139,156,158,160,162recode (0123456789) (0001000000) ! 164,165,167,170,172,173,177-179recode (0123456789) (0001000000) ! 188-190recode (0123456789) (0000100000) ! 74,101,154,168recode (0123456789) (0100000000) ! 72,109-117,120-127,133-136,140recode (0123456789) (0100000000) ! 146-152,182,185,186,191,193-208recode (0123456789) (0100000000) ! 215-223,226-228recode (0123456789) (0120000000) ! 192,209,213,214,224,225,229-233recode (0123456789) (0123000000) ! 210,211recode (0123456789) (0123450000) ! 212*scale 1-233 !v_m_e35

37

scale 1-67,69,71,72,74-129,131-233 !v_m_e35scale 1-38,40-67,69-71 !mat35scale 72,74-129,131-190 !viet35scale 192-233 !ESSAY35*anchor!items <<viet35.ancestimate ! iter=100;scale=v_m_e35estimate ! iter=100;scale=mat35estimate ! iter=100;scale=viet35estimate ! iter=100;scale=ESSAY35show ! scale=v_m_e35 >- v_m_e35.mapshow ! scale=mat35 >- mat35.mapshow ! scale=viet35 >- viet35.mapshow ! scale=ESSAY35 >- ESSAY35.mapshow cases!scale=v_m_e35; form=export; delimiter=tab >- v_m_e35.casshow cases!scale=mat35; form=export; delimiter=tab >- mat35.casshow cases!scale=viet35; form=export; delimiter=tab >- viet35.casshow cases!scale=ESSAY35; form=export; delimiter=tab >- ESSAY35.cas*show items!scale=viet35; form=anchor >- viet35.ancitanal ! scale=v_m_e35 >- v_m_e35.ita*itanal ! scale=viet35 >- viet35.itaresetquit

Xây dựng một hệ thống dịch vụ thi (Ngân hàng, hệ thống tổ chức thi, cấp chứng chỉ…

Ví dụ: ETS) hoạt động như 1 doanh nghiệp

- Ngân hàng câu hỏi thi- Bộ phận marketing- Bộ phận in, sao đề- Bộ phận tổ chức thi và cấp chứng chỉ- Bộ phận phân tích kết quả

2. Thiết kế lại các công cụ test đo lường

38

Chương V. Phân tích dữ liệu với các phần mềm chuyên dụngBao gồm:- Chuẩn bị dữ liệu để phân tích- Lựa chọn phần mềm chuyên dụng- Đọc kết quả xử lý- Giải thích các kết quả thu được

Đặt vấn đề:

Có 2 trường hợp cần quan tâm:

- Kết quả làm 1 bài thi / kiểm tra với n câu trắc nghiệm đa lựa chọn

- Kết quả làm 1 bài thi / kiểm tra với n câu tự luận

Yêu cầu:

- Đánh giá năng lực của học sinh qua kết quả làm bài thi / kiểm tra (2

trường hợp đầu)

- Cung cấp các thông tin phản hồi về câu hỏi thi / kiểm tra

Những vấn đề cần giải quyết:

- Điểm thô của học sinh có thể không thể hiện chính xác năng lực của

học sinh vì các câu hỏi có độ khó khác nhau và không tính đến sai số

trong khi đo.

Giải pháp:

Sử dụng lý thuyết hồi đáp (mô hình Rasch) để giải quyết các vấn đề trên.

5.1. Giới thiệu các phần mềm chuyên dụng

Các phần mềm chạy mô hình Rasch.

Ví dụ: QUEST, CONQUEST, BIGSTEPS, WINSTEPS, FACET...

5.2 Phân tích dữ liệu với mô hình Rasch

5.2.1 Chuẩn bị dữ liệu để phân tích

File dữ liệu SPSS

Giả sử chúng ta đã nhập dữ liệu vào máy tính, sử dụng phần mềm SPSS.

Chúng ta có file dữ liệu Math.sav

Mô tả dữ liệu:

8 biến (variable) đầu tiên trong file dữ liệu Math.sav là

studid ID của học sinh (sinh viên)39

http://www.winsteps.com/


http://www.winsteps.com/bigsteps.htm

schlid ID của trường

clsid ID của lớp

province STT của tỉnh tham gia dự án

district STT của quận / huyện

commune STT của xã

school STT của trường

student STT của học sinh (sinh viên)

year Lớp

m3, m5 là các biến gồm 1 dấu thẳng đứng “ |” dùng để phân cách dữ liệu

cho dễ nhìn.

Các biến (47): an501 an502 aas303 an504 an506 an507 an508 an509 an510 an511 an512 an513

as514 an515 am516 an517 an518 an520 as521 an522 an523 as524 an525 an526

an527 an528 an529 am530 am531 an532 am533 an534 an535 am536 an537 am538

am539 am540 am541 am542 an543 as544 an545 an546 an547 am548 an550

là các đại lượng ghi kết quả trả lời của học sinh khi làm bài kiểm tra môn toán

lớp 5 ứng với 47 câu hỏi trắc nghiệm (chỉ nhận các giá trị 0 và 1).

Mỗi biến ghi kết quả trả lời của học sinh nhận các giá trị nguyên dương từ 1 đến

4 tương ứng với các phương án lựa chọn trong câu trắc nghiệm; giá trị 9 để chỉ

dữ liệu bị bỏ sót hoặc không hợp lệ.

5.2.2 Tạo file dữ liệu để sử dụng mô hình Rasch

a) Tạo 1 file syntax trong SPSS đã được mở:

File --> New --> Syntax gõ Enter

Một cửa sổ syntax được mở ra.

b) Lấy danh sách biến từ file SPSS

Trong cửa sổ syntax:

Utilities --> Variables

40

Xuất hiện cửa sổ Variables:

Đánh dấu các biến cần lấy bằng cách bôi đen, rồi kích chuột vào “Paste”.

Các biến đã được đánh dấu sẽ hiện ra trong cửa sổ Syntax.

c) Tạo file dữ liệu *.dat

Trong cửa sổ syntax viết các câu lệnh sau:

write outfile='math.dat'/studid (f12) province (f4) m3 (a1) an501 an502 aas303 an504 an506 an507 an508 an509 an510 an511 an512 an513 as514 an515 am516 an517 an518 an520 as521 an522 an523 as524 an525 an526 an527 an528 an529 am530 am531 an532 am533 an534 an535 am536 an537 am538am539 am540 am541 am542 an543 as544 an545 an546 an547 am548 an550 (47f1).

execute.

Bôi đen các câu lệnh trên (ở trong cửa sổ syntax) và kích vào:

Run --> Selection

Máy tính sẽ tạo ra file math.dat trong thư mục chứa file SPSS.

Trong cửa sổ syntax chạy:

File --> Save

để lưu các câu lệnh trên.

41

5.2.3. Bài tập nhóm:

Lớp chia làm 4 tổ/ nhóm.

Mỗi tổ/ nhóm được cung cấp dữ liệu tương tự như dữ liệu kèm theo.

Khuyến khích học viên sử dụng dữ liệu của mình để làm bài tập.

Yêu cầu:

- Tạo ra danh sách biến và file dữ liệu *.dat như hướng dẫn ở trên

- Trình bày tuần tự như hướng dẫn ở trên (làm ngay trên lớp)

- Lưu lại để sử dụng trong các bước tiếp theo.

5.2.4 Lựa chọn phần mềm chuyên dụng

Các phần mềm chạy mô hình Rasch.

Ví dụ: QUEST, CONQUEST, BIGSTEPS, WINSTEPS, FACET...

Phần này giới thiệu phần mềm QUEST là phần mềm đơn giản, dễ sử dụng.

5.2.5 Các file cần có để chạy phân tích dữ liệu

QUEST.EXEPFE.EXEFile dữ liệu có đuôi dat (trong trường hợp này là Math5.dat)Control file có đuôi ctl (ví dụ: Math5.ctl)

Ghi chú: Nên để các file trên trong cùng 1 thư mục.

5.2.6 Mô hình Rasch với đề trắc nghiệm (các câu hỏi thi chỉ nhận các giá trị 0 và 1)Chương trình chạy phần mềm QUEST để xử lý kết quả của đề thi trắc nghiệm 5.2.6.1 Viết chương trình điều khiểnDùng PFE.EXE để viết chương trình sau:

a) Kích vào PFE.EXE để chạy fileb) Kích chuột vào File --> New để mở cửa sổ mới (hoặc kích chuột vào biểu

tượng mở cửa sổ mới)c) Gõ các dòng lệnh dưới đây

Header MATH TEST GRADES 5set width =132 ! pageset logon >- math5.logdata_file math.datcodes 012349format studid 1-12 province (t14,a3) items (t18,47a1)* 1 2 3 4 * 12345678901234567890123456789012345678901234567key 44313322433443134414344434233442443433323312234 ! score=1scale 1-47 !math5estimate ! iter=100;scale=math5show ! scale=math5 >- math5.mapshow cases!scale=math5; form=export; delimiter=tab >- math5.casshow cases!scale=math5 >-math5a.cas

42



http://www.winsteps.com/bigsteps.htm

show items!scale=math5 >-math5a.itmitanal ! scale=math5 >- math5.itaquit

d) Kích chuột vào File --> Save để lưu (hoặc kích chuột vào biểu tượng lưu).Ghi chú: Những dòng có dấu sao (*) ở đầu dòng là những dòng chú thích. Chương trình sẽ không thực hiện.5.2.6.2 Chạy chương trình

Vào thư mục có chứa các file đã nói ở mục 2.2.2

Kích chuột vào file QUEST.EXE để chạy chương trình. Ta có:

Tại con trỏ đang chờ lệnh, gõ:

Submit math5.ctl (tên control file)

Sau khi chương trình chạy xong, các file kết quả sẽ được lưu vào trong thư mục

chứa file điều khiển (control file).

5.2.6.3 Xem kết quả:

a) Vào file math5.log để kiểm tra chương trình có bị lỗi nào không. Nếu có lỗi

thì chương trình sẽ chỉ ra lỗi.

b) Vào file math5.map để xem kết quả chung:Summary of item Estimates=========================Mean .00 Mean phải bằng hoặc gần 0.00SD 1.26 SD phải bằng hoặc gần 1.00SD (adjusted) 1.25Reliability of estimate .98

Fit Statistics=============== Infit Mean Square Outfit Mean Square Mean .99 Mean 1.00 Mean phải bằng hoặc gần 1.00 SD .13 SD .29 SD phải bằng hoặc gần 0.00

Summary of case Estimates

Khi dữ liệu phù hợp với mô hình thì

43

Ghi chú: Để chuyển hình này từ trong file math5.map vào trong file Word cần đánh dấu phần cần lấy, ghi vào clipboard (gõ Ctrl – C), dán (Paste) vào Word, đánh dấu (bôi đen) toàn bộ phần vừa copy và chọn font Courier New, cỡ chữ 8. Sẽ được một hình như trong file math5.map.

Trong hình trên, câu 39 không thuộc nhóm này (ngoại lai), cần bỏ ra khỏi nhóm.

d) Vào chương trình điều khiển để sửa dòng

scale 1-47 !math5 thành dòng scale 1-38,40-47 !math5

Rồi chạy chương trình (xem phần 2.2.3)

Ta thấy câu 3 không thuộc nhóm này (ngoại lai), cần bỏ ra khỏi nhóm.MATH TEST GRADES 5 -------------------------------------------------------------------------------------------------------------Item Fit 20/11/ 6 18:38 all on math5 (N = 511 L = 46 Probability Level= .50) INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 1.40 1.50 1.60----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+-------- 1 item 1 . |* . 2 item 2 . * | . 3 item 3 . | .* 4 item 4 . * . 5 item 5 . * | . 6 item 6 . | * . 7 item 7 . | * . 8 item 8 . | * . 9 item 9 . * . 10 item 10 . | * . 11 item 11 . * | . 12 item 12 . |* . 13 item 13 . * | . 14 item 14 . * | . 15 item 15 . | * . 16 item 16 . * . 17 item 17 . * | . 18 item 18 . * | . 19 item 19 . | * . 20 item 20 . | * . 21 item 21 . * | . 22 item 22 . | * . 23 item 23 . * | . 24 item 24 . * | . 25 item 25 . * . 26 item 26 . | * . 27 item 27 . * | . 28 item 28 . * | . 29 item 29 . | * . 30 item 30 . * | . 31 item 31 . * | . 32 item 32 . | * . 33 item 33 . * . 34 item 34 . * | . 35 item 35 . | * . 36 item 36 . * | . 37 item 37 . * | . 38 item 38 . * | . 40 item 40 . * | . 41 item 41 . * | . 42 item 42 . * | . 43 item 43 . | * . 44 item 44 . * . 45 item 45 . * | . 46 item 46 . | * . 47 item 47 . * | .

d) Vào chương trình điều khiển để sửa dòng

scale 1-38,40-47 !math5 thành dòng scale 1,2,4-38,40-47 !math5

Chương trình điều khiển sau khi sửa lần 2:Header MATH TEST GRADES 5

45

set width =132 ! pageset logon >- math5.logdata_file math.datcodes 012349format studid 1-12 province (t14,a3) items (t18,47a1)* 1 2 3 4 * 12345678901234567890123456789012345678901234567key 44313322433443134414344434233442443433323312234 ! score=1scale 1,2,4-38,40-47 !math5estimate ! iter=100;scale=math5show ! scale=math5 >- math5.mapshow cases!scale=math5; form=export; delimiter=tab >- math5.casshow cases!scale=math5 >-math5a.casshow items!scale=math5 >-math5a.itmitanal ! scale=math5 >- math5.itaquit

Kết quả cho thấy các item 1,2,4-38,40-47 tạo thành 1 cấu trúc vì 45 item này có INFIT MNSQ nằm giữa 0,77 và 1,30.MATH TEST GRADES 5 -------------------------------------------------------------------------------------------------------Item Fit 20/11/ 6 18:49 all on math5 (N = 511 L = 45 Probability Level= .50) -------------------------------------------------------------------------------------------------------INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 ----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+-- 1 item 1 . |* . 2 item 2 . * | . 4 item 4 . * . 5 item 5 . * | . 6 item 6 . | * . 7 item 7 . | * . 8 item 8 . | * . 9 item 9 . |* . 10 item 10 . | * . 11 item 11 . * | . 12 item 12 . |* . 13 item 13 . * | . 14 item 14 . * | . 15 item 15 . | * . 16 item 16 . |* . 17 item 17 . * | . 18 item 18 . * | . 19 item 19 . | * . 20 item 20 . | * . 21 item 21 . * | . 22 item 22 . | *. 23 item 23 . * | . 24 item 24 . * | . 25 item 25 . * . 26 item 26 . | * . 27 item 27 . * | . 28 item 28 . * | . 29 item 29 . | * . 30 item 30 . * | . 31 item 31 . * | . 32 item 32 . | * . 33 item 33 . * . 34 item 34 . * | . 35 item 35 . | * . 36 item 36 . * | . 37 item 37 . * | . 38 item 38 . * | . 40 item 40 . * | . 41 item 41 . * | . 42 item 42 . * | . 43 item 43 . | * 44 item 44 . * . 45 item 45 . * | . 46 item 46 . | * . 47 item 47 . * | .=======================================================================================================

46

Ma trận năng lực thí sinh và độ khó của câu hỏiMATH TEST GRADES 5------------------------------------------------------------------------------------------Item Estimates (Thresholds) 20/11/ 6 18:49 all on math5 (N = 511 L = 45 Probability Level= .50) ------------------------------------------------------------------------------------------ 5.0 | | | | XXXXXXXXXXXXXXX | | 4.0 | | XXXXXXXXXXXXXX | | | XXXXXXXXXXXXXXX | 3.0 | XXXXXXXXXXXXXXXXXX | | XXXXXXXXX | XXXXXXX | | 22 2.0 XXXXXXXX | 38 XXXXXXXX | 16 43 XXXXXXX | 40 XXXX | XXXXX | 36 XXXXXXXXXX | 13 1.0 XXXX | 28 41 42 XXX | 24 29 31 XXX | 15 XXXXX | 45 XXX | 26 37 XXXX | 6 7 19 30 44 46 47 X | 8 .0 XXX | XXX | 23 XXX | 34 X | 2 11 14 20 27 | 18 | 9 17 33 -1.0 | | 12 35 | 5 32 | 21 25 | | 10 -2.0 | 4 | | | | | -3.0 | 1 | | | | | -4.0 |------------------------------------------------------------------------------------------ Each X represents 3 students==========================================================================================

Nhận xét:

- Đề thi quá dễ so với số thí sinh dự thi.

- Đề có những câu quá dễ, có thể bỏ bớt.

- Đề thiếu những câu khó để đo những thí sinh có năng lực cao. Cần bổ

sung.

RẤT KHÓ

Sự phân bố của item

theo độ khó

Sự phân bố của thí

sinh theo năng lực

NĂNG LỰC

THẤP

NĂNG LỰC CAO

RẤT DỄ

47

- Có thể chia các câu hỏi của đề thành 5 nhóm theo độ khó. Căn cứ vào nội

dung của câu hỏi (item) để phân tích bản chất của mỗi nhóm items; mỗi

nhóm items định đo cái gì, qua đó giải thích vì sao có sự phân bố như thế

của thí sinh.

5.2.6.4 Xem sản phẩm của các câu lệnh

a) So sánh sản phẩm của 2 dòng lệnh:

Dòng lệnh:show cases!scale=math5; form=export; delimiter=tab >- math5.cas

Cho kết quả sau:MATH TEST GRADES 5 Case Estimates In input Order 20/11/ 6 18:49 all on math5 (N = 511 L = 45 Probability Level= .50) ------------------------------------------------------------------------------------------101051701501 43.00 45 3.63 .74 .89 .36 .02 -.18 101051701502 43.00 45 3.63 .74 .95 .80 .13 .29 101051701503 43.00 45 3.63 .74 .96 .85 .13 .34 101051701504 41.00 45 2.84 .55 1.01 .57 .17 -.26 101051701505 39.00 45 2.33 .47 1.30 1.41 1.04 .76 101051701506 42.00 45 3.18 .62 1.20 1.26 .55 .58 101051701507 41.00 45 2.84 .55 1.24 1.46 .70 .75101051701508 40.00 45 2.56 .50 1.19 1.05 .64 .33 Dòng lệnh:show cases!scale=math5 >-math5a.cas

Cho kết quả sau:MATH TEST GRADES 5 Case Estimates In input Order 20/11/ 6 18:49 all on math5 (N = 511 L = 45 Probability Level= .50) -------------------------------------------------------------------------------- NAME |SCORE MAXSCR | ESTIMATE ERROR | INFIT OUTFT INFT OUTFT | | | MNSQ MNSQ t t -------------------------------------------------------------------------------- 1 10105170101| 43 45 | 3.63 .74 | .89 .36 .02 -.18 2 10105170101| 43 45 | 3.63 .74 | .95 .80 .13 .29 3 10105170101| 43 45 | 3.63 .74 | .96 .85 .13 .34 4 10105170101| 41 45 | 2.84 .55 | 1.01 .57 .17 -.26 5 10105170101| 39 45 | 2.33 .47 | 1.30 1.41 1.04 .76

Dòng lệnh thứ hai cho kết quả rất tường minh. Cột ESTIMATE là độ khó của item

và ERROR là sai số chuẩn trong quá trình tính toán (estimate). Căn cứ vào độ khó

để phân bố các item trong ma trận năng lực thí sinh và độ khó của câu hỏi. Dòng

lệnh thứ nhất cho 1 file dữ liệu thuận lợi cho việc chuyển file text sang file excel.

b) Chuyển kết quả (ở file text) sang excel và SPSS.

- Mở file math5.cas bằng PFE.EXE

48

- Xoá 5 dòng đầu, chỉ để phần số

- Lưu (Save) vào máy tính.

- Đóng (Close) file math5.cas

- Vào Excel mở file math5.cas (Chú ý File of type All files (*.*))

Chọn FinishChọn

cột D, Ctrl-C, vào file math5.sav, copy vào 1 cột,

đặt tên cho biến mới.

d) Xem kết quả của câu lệnh phân tích itemitanal ! scale=math5 >- math5.ita

Các kết quả thu được:

Phương án đúng: Số 4* là ký hiệu phương án đúng.

Infit MNSQ phải nằm trong khoảng 0.77 – 1.30

Chỉ số phân biệt (Disc) phải nằm trong khoảng 0,25-0,75 đối với các test trong

lớp học. Điều này không nhất thiết đối với các test có quy mô lớn như các kỳ thi

quốc gia.

Tỷ lệ phần trăm (Percent, %) của 1 phương án là tỷ lệ giữa số thí sinh chọn

phương án đó so với tổng số thí sinh làm bài test.

Độ khó, tỷ lệ phần trăm (Percent) trả lời đúng so với số thí sinh làm bài 49

test, trong khoảng 0,3-0,70 đối với các test trong lớp học. Điều này không nhất

thiết đối với các test có quy mô lớn như các kỳ thi quốc gia.

Đối với những câu dễ thì độ khó lớn hơn 0.5.

Câu hỏi tốt khi các phương án nhiễu của câu hỏi đó có sức hấp dẫn tương

đương nhau.

Pt-Biserial: Hệ số tương quan point biserial (Xem chương 1). Cần loại bỏ những

câu hỏi có mối tương quan thấp hoặc dưới 0 sẽ làm tăng độ tin cậy của bài test.

Step Labels 1 : Giữa giá trị 0 và 1 chỉ có 1 bước (step), thí sinh thực hiện được

bước này khi trả lời đúng.

Thresholds -3.10 : Ngưỡng để vượt qua, thực chất là độ khó của câu hỏi trắc

nghiệm.

P-value: là xác suất thống kê khả năng mỗi phương án trả lời được lựa chọn,

phải nhỏ hơn hoặc bằng 0,05.

Mean ability: thang đo logarit năng lực của thí sinh đưa ra sự lựa chọn của mình.

Phương án trả lời đúng phải có Mean ability cao hơn các phương án trả lời sai.

Error: là sự tính toán độ tin cậy của câu hỏi, thông thường nhỏ hơn 0.2. Xem ví

dụ dưới đây để minh hoạ:MATH TEST GRADES 5 ------------------------------------------------------------------------------------------Item Analysis Results for Observed Responses 20/11/ 6 18:49 all on math5 (N = 507 L = 45 Probability Level= .50) ------------------------------------------------------------------------------------------.......................................................................................... Item 1: item 1 Infit MNSQ = 1.01 Disc = .13 Categories 0 1 2 3 4* 9 missing Count 0 1 0 3 502 1 0Percent (%) .0 .2 .0 .6 99.0 .2Pt-Biserial NA -.06 NA -.08 .13 -.10p-value NA .081 NA .044 .002 .012Mean Ability NA .54 NA 1.19 2.19 -.16 NA Step Labels 1 Thresholds -3.10Error .45...

Căn cứ vào những thông tin trên có thể đưa ra những bình phẩm đối với từng câu

hỏi.

5.2.6.5 Trong chương trình điều khiển trên, có thể thay dòng lệnh:

50

key 44313322433443134414344434233442443433323312234 ! score=1

bằng các dòng lệnh mã hoá lại như sau:

recode (012349) (010000) ! 4,15,19,43

recode (012349) (001000) ! 7,8,27,32,40,44,45

recode (012349) (000100) ! 3,5,6,10,11,14,16,21,25,28,29,35,37,37-39,41,42,46

recode (012349) (000010) ! 1,2,9,12,13,17,18,20,22-24,26,30,31,33,34,36,47

5.2.6.6 Bài tập nhóm:

a) Từ kết quả của bài tập ở mục 2.1.3 thực hiện các bước tương tự như các mục

từ 2.3.2 đến 2.3.5.

b) Thay dòng lệnh Key trong file điều khiển (xxxxx.ctl) bằng các dòng lệnh mã

hoá lại (xem 2.3.6), chạy chương trình và so sánh kết quả đạt được.

c) Trình bày báo cáo của nhóm với đầy đủ các mục đã trình bày ở trên (từ 2.3.2

đến 2.3.5)

5.2.6.7 Viết chương trình điều khiển với nhiều thang đo (scale)

Trong phần 2.3.2 chúng ta chỉ sử dụng 1 thang đo: scale 1-47 và gán cho nó cái

tên: math5

Về sau sửa thành: scale 1,2,4-38,40-47 !math5 (sau khi bỏ các item ngoại lai)

scale 1-47 bao gồm các item tương ứng với 47 biến (variable) của file Math5.sav

(SPSS) như sau:

an501 an502 aas303 an504 an506 an507 an508 an509 an510 an511 an512

an513 as514 an515 am516 an517 an518 an520 as521 an522 an523 as524 an525

an526 an527 an528 an529 am530 am531 an532 am533 an534 an535 am536

an537 am538 am539 am540 am541 am542 an543 as544 an545 an546 an547

am548 an550.

Các biến có chữ cái n để chỉ các biến liên quan đến các phép tính số học

(numeric), còn các biến có chữ cái m để chỉ các biến liên quan đến các phép đo

lường (measurement).

Viết bổ sung 2 dòng lệnh sau:

51

scale 1- 12, 14, 16- 18, 20, 21, 23-27, 30, 32, 33, 35, 41, 43- 45, 47 ! math5n

scale 15, 28, 29, 31, 34, 36 - 40, 46 ! math5mKhi đó cũng phải viết các dòng lệnh estimate và show khác có liên quan đến 2

scale mới .

5.2.6.8 Bài tập nhóm:

Làm tiếp bài tập 2.3.7

a) Tách các biến (câu hỏi thi) thành các thang đo như sau:

scale 1 câu 1-5 lựa chọn các cụm từ thích hợp để hoàn thành câu

scale 2 Câu 6-10 điều từ vào chỗ trống trong một đoạn văn

scale 3 Câu 11-35 lựa chọn các cụm từ thích hợp để hoàn thành câu

scale 4 Câu 36-40 nhận dạng âm tiết khác với các âm tiết còn lại

scale 5 Câu 41-45 sửa chữa lỗi trong câu.

Tổ/ nhóm 1: chọn scale 1 - 2




b) Viết bổ sung 2 dòng lệnh scale như đã hướng dẫn ở mục 2.3.8 (tổng cộng có

3 dòng lệnh)

c) Viết các dòng lệnh estimate và show khác có liên quan đến 2 scale mới .

d) Chạy chương trình và thực hiện các bước từ 2.3.2 đến 2.3.5 cho 2 thang đo

mới.

Hoàn thành sản phẩm vào ngày tiếp theo.

5.2.7. Mô hình Rasch với đề thi tự luận

Học sinh lớp 5 được yêu cầu tả về một người thầy, cô giáo.

Bài kiểm tra được chấm theo 13 tiêu chí sau:

1 Mở bài 0-22 Hình dáng 0-23 Tính tình 0-24 Thái độ 0-25 Nội dung bài văn 0,16 Văn phong 0,1

52

7 Kết luận 0-28 Trình bày 0-49 Lỗi chính tả, ngữ pháp 0-210 Sử dụng từ ngữ 0-311 Cấu trúc câu 0-312 Tính logic và sự liên kết 0-513 Sự sáng tạo 0-2

Kết quả chấm bài được nhập vào file SPSS có tên là Essay5.sav với 13 biến sau:

a5e01 a5e02 a5e03 a5e04 a5e05 a5e06 a5e07 a5e08 a5e09 a5e10 a5e11 a5e12

a5e13

Tạo file dữ liệu để chạy QUEST là Essay5.dat

Để tiện lợi khi viết chương trình điều khiển. sắp xếp các câu hỏi theo thứ tự của cột 3

5 Nội dung bài văn 0,16 Văn phong 0,11 Mở bài 0-22 Hình dáng 0-23 Tính tình 0-24 Thái độ 0-27 Kết luận 0-29 Lỗi chính tả, ngữ pháp 0-213 Sự sáng tạo 0-210 Sử dụng từ ngữ 0-311 Cấu trúc câu 0-38 Trình bày 0-412 Tính logic và sự liên kết 0-5

Chương trình điều khiển : Essay5.ctl

Header ESSAY TEST GRADES 5set width =132 ! pageset logon >- essay5.logdata_file essay5.datcodes 0123459format studid 1-12 province (t14,a3) items (t18,13a1)recode (0123459) (0100000) ! 5,6recode (0123459) (0120000) ! 1-4,7,9,13recode (0123459) (0123000) ! 10,11recode (0123459) (0123400) ! 8recode (0123459) (0123450) ! 12scale 1-13 ! essay5estimate ! iter=100;scale=essay5show ! scale=essay5 >- essay5.mapshow cases!scale=essay5;form=export; delimiter=tab >-essay5.cas

53

XXXXX | | -3.0 | 1.1 XX | | | XX | -4.0 | 8.1 | | X |-------------------------------------------------------------------------- Each X represents 6 students==========================================================================

5.2.8. Mô hình Rasch với các phiếu hỏi điều tra xã hội

Trường Đại học …. thực hiện đề tài: CÁC GIẢI PHÁP NÂNG CAO

CHẤT LƯỢNG GIÁO DỤC ĐẠI HỌC. Một trong những công cụ đo lường

được sử dụng là phiếu hỏi có tên: “MẪU 4: BẢNG KHẢO SÁT VỀ CHẤT

LƯỢNG ĐẦU RA CỦA GIÁO DỤC ĐẠI HỌC DÀNH CHO SINH VIÊN ĐẠI

HỌC (CÁC NĂM CUỐI)”. Phiếu này được gửi đến các trường đại học (xem

trong phiếu hỏi). Số phiếu nhận được (xem trong phiếu hỏi) đạt 83% so với số

phiếu được gửi đi. Dữ liệu được lưu trong một file SPSS:

Sinh vien nam cuoi.sav

Trong phiếu hỏi này, Phần C. 11: Hãy tự đánh giá các kỹ năng và phẩm

chất cá nhân bao gồm 19 câu hỏi, tương ứng với 19 biến trong file SPSS kèm theo. Xem

bảng dưới đây:

Câu hỏi Tên biến

(1) Tư duy sáng tạo sangtao

(2) Làm việc độc lập doclap

(3) Làm việc theo nhóm theonhom

(4) Thu thập thông tin thuthap

(5) Sử dụng thông tin sudung

(6) Giao tiếp giaotiep

(7) Thích ứng thichung

(8) Có óc quan sát quansat

(9) Đánh giá danhgia

(10) Tự học tuhoc

(11) Hợp tác hoptac

(12) Giải quyết vấn đề gquyet55

Câu hỏi Tên biến

(13) Chấp nhận sự đa dạng trong cuộc sống dadang

(14) Có kỷ luật kyluat

(15) Sức khoẻ suckhoe

(16) Cẩn thận canthan

(17) Trung thực trngthuc

(18) Sự tự tin tutin

(19) Kiên trì kientri

Các biến từ 1 đến 13 tạo thành 1 nhóm, để đo đại lượng KNCN đặc trưng

cho “các kỹ năng cá nhân”; các biến từ 14 đến 19 tạo thành 1 nhóm khác để đo

đại lượng PCCN đặc trưng cho “các phẩm chất cá nhân”.

ii. Yêu cầu của bài tập:

Thực hiện các công việc và viết một báo cáo ngắn gọn theo các yêu cầo

dưới đây:

1. Dùng SPSS lấy được danh sách biến (bao gồm STUDID và 19 biến ở trên)

Lưu ý: Biến STUDID là biến chuỗi (string) nên dùng format a8 (không

phải là f8 hay f12)

2. Tạo được file dữ liệu *.dat để chạy phần mềm QUEST.

3. Viết chương trình điều khiển (Controle file).

Chú ý phần recorde

recode (0123459) (0012340) ! 1-19

Ở đây, chúng ta giả thiết là khoảng cách giữa các mức 1-2, 2-3,… là tương

đương nhau.

Đây là thang ước lượng (rating scale) nên phải dùng 2 câu lệnh sau:

estimate rate ! iter=100;scale=KNCN

estimate rate ! iter=100;scale=PCCN

4. Chạy chương trình

5. Tính toán và xử lý:

a) Tính được biến KNCN (13 câu đầu tiên).

56

b) Tính được biến PCCN (6 câu cuối).

c) Đưa ra các nhận xét về:

Mức độ dữ liệu phù hợp với mô hình

Phân tích item fit. Xử lý các biến ngoại lai.

Nhận xét về sự phân bố của các item - câu hỏi và người trả lời

Kèm theo các thông tin minh hoạ.

6. Xác định những item cần sửa chữa để phiếu hỏi có chất lượng hơn. Đề xuất

cách sửa.

Giao bài tập cuối khóa:

Mỗi học viên làm một bài tập cuối khóa, lấy từ file nén Bai tap cuoi khoa.zip (dữ

liệu có dung lượng lớn, được cung cấp trong đĩa CD). Số thứ tự của đề bài tương

ứng với số thứ tự của học viên trong danh sách lớp.

5.2.9 So sánh các nhóm trong cùng 1 thang đo

Mục đích:

- Phát hiện ra những câu hỏi, trong cùng 1 thang đo, có thể quá thiên vị với

một nhóm so với nhóm khác.

Các bước thực hiện:

- Xác định các nhóm cần so sánh

GROUP (LANG<3) !NESBGROUP (LANG=3) ! ESB

- Xác định thang đo (scale)

SCALE 1-5,14-43,70 ! READSCALE 6-11,44-47,71 ! WRITESCALE 12,13,48-69,72 ! NUM

- Tính toán theo mỗi thang đo cho từng nhóm

ESTIMATE !iter=50; Group= ESB; SCALE=READESTIMATE !iter=50; Group=NESB; SCALE=READESTIMATE !iter=50; Group= ESB; SCALE=WRITEESTIMATE !iter=50; Group=NESB; SCALE=WRITEESTIMATE !iter=50; Group= ESB; SCALE=NUMESTIMATE !iter=50; Group=NESB; SCALE=NUM

- So sánh các nhóm khác nhau trong tùng tháng đo

compare item_ests ! scale=READ;group=ESB,NESB;FORM=diffMAP>- compare.reacompare item_ests ! scale=WRITE;group=ESB,NESB;FORM=diffMAP>-compare.wri

57

compare item_ests ! scale=NUM;group=ESB,NESB;FORM=diffMAP>- compare.num

Ví dụ một chương trình điều khiển sau:

TITLE BHP DATA: Nov. 1998SET Logon >- bhp.logset width=132!pageDATA_FILE BHPall.DATCODES 0123456RECODE (0123456) (0210000) ! 1-3,6,30,35RECODE (0123456) (0100000) ! 4,5,7-10,12-21,23-29,31-34,48-69RECODE (0123456) (0012000) ! 11,36,40RECODE (0123456) (0101000) ! 22RECODE (0123456) (0210000) ! 45,47RECODE (0123456) (0100010) ! 38,41,43RECODE (0123456) (0210020) ! 37,39,42RECODE (0123456) (0012345) ! 44,46RECODE (01234567) (01234567) ! 70,71,72FORMAT NAME 1-8 LANG 74 ITEMS 75-80/ITEMS 1-66ITEM_NAME <<ITNAM.BHPGROUP (LANG<3) !NESBGROUP (LANG=3) ! ESBSCALE 1-5,14-43,70 ! READSCALE 6-11,44-47,71 ! WRITESCALE 12,13,48-69,72 ! NUM

ESTIMATE !iter=50; Group= ESB; SCALE=READESTIMATE !iter=50; Group=NESB; SCALE=READESTIMATE !iter=50; Group= ESB; SCALE=WRITEESTIMATE !iter=50; Group=NESB; SCALE=WRITEESTIMATE !iter=50; Group= ESB; SCALE=NUMESTIMATE !iter=50; Group=NESB; SCALE=NUMcompare item_ests ! scale=READ;group=ESB,NESB;FORM=diffMAP>- compare.reacompare item_ests ! scale=WRITE;group=ESB,NESB;FORM=diffMAP>-compare.wricompare item_ests ! scale=NUM;group=ESB,NESB;FORM=diffMAP>- compare.numITANAL ! Group= ESB; scale=READ >- ITANe.REAITANAL ! Group=NESB; scale=READ >- ITANn.REAITANAL ! Group= ESB; scale=WRITE >- ITANe.WRIITANAL ! Group=NESB; scale=WRITE >- ITANn.WRI

58

ITANAL ! Group= ESB; scale=NUM >- ITANe.NUMITANAL ! Group=NESB; scale=NUM >- ITANn.NUM

Quit

5.3. Phân tích dữ liệu với phần mềm CONQUEST

5.3.1 Phân tích kết quả thi trắc nghiệm

Title Chay thu voi cau trac nghiem;Datafile math.dat;Format id 1-12 responses 18-64;codes 0,1,2,3,4,9; Key 44313322433443134414344434233442443433323312234 ! 1;Model item;Estimate;Show ! estimates=latent>> essay5.shw;Itanal >>- essay5.itn;Plot icc;Plot mcc ! legend=yes;

5.3.2. Phân tích kết quả chấm bài tự luậnTitle ESSAY;Datafile essay5.dat;format studid 1-12 responses 18-30;codes 0,1,2,3,4,5; recode (0,1,2,3,4,5) (0,1,0,0,0,0) ! items(5,6);recode (0,1,2,3,4,5) (0,1,2,0,0,0) ! items(1,2,3,4,7,9,13);recode (0,1,2,3,4,5) (0,1,2,3,0,0) ! items(10,11);recode (0,1,2,3,4,5) (0,1,2,3,4,0) ! items(8);recode (0,1,2,3,4,5) (0,1,2,3,4,5) ! items(12);model item + item*step;Estimate;Show ! estimates=latent>> essay5.shw;Itanal >> essay5.itn;plot icc;plot ccc;

5.3.3 Phân tích phiếu hỏiTitle Rating Scale: Student feadback questionaire;datafile tuanhsv.dat;format id 1-10 responses 12-21;

59

codes 0,1,2,3,4,5;recode (0,1,2,3,4,5) (0,4,3,2,1,0) !item(1,2,3,4,5,6,7,8,9,10);model item + step;estimate;Show >> Tuanh.shw;Itanal >> Tuanh.itn;plot icc;plot ccc;

60

5. 4. Báo cáo kết quả thi và kiểm tra

- Mô tả kết quả- Bình luận, giải thích- Kiến nghị- Bình luận, giải thích- Kiến nghị

Case study / Giới thiệu một số trường hợp

a) Báo cáo phân tích đề đánh giá năng lực sử dụng tiếng Anh của 1 công ty BHP, Australia

b) Báo cáo kết quả đánh giá năng lực tư duy sáng tạo

c) Trích đoạn báo cáo phân tích phiếu hỏi

61

ttkhaothi.hpu2.edu.vnttkhaothi.hpu2.edu.vn/uploads/news/2017_04/mo-hinh-rasch... · Web...

Documents

Transcript of ttkhaothi.hpu2.edu.vnttkhaothi.hpu2.edu.vn/uploads/news/2017_04/mo-hinh-rasch... · Web...