Đưa cùng một bài tự luận cho hai người chấm độc lập, kết quả thường chênh nhau. Đưa cùng bài đó cho một người chấm vào hai thời điểm khác nhau, kết quả cũng có thể chênh.
Đây không phải dấu hiệu người chấm thiếu năng lực — nó là đặc điểm của việc đánh giá bằng phán đoán, và nó giảm được bằng các bước cụ thể.
Vì sao điểm dao động
Bốn nguyên nhân, và mỗi nguyên nhân có cách xử riêng:
Tiêu chí không rõ. "Lập luận chặt chẽ" được mỗi người hiểu một mức.
Trọng số không thống nhất. Người coi trọng nội dung, người coi trọng cách diễn đạt.
Ảnh hưởng của thứ tự. Bài chấm sau một bài rất tốt bị đánh giá thấp hơn thực tế, và ngược lại.
Mệt. Bài thứ năm mươi được chấm khác bài thứ năm — thường là nhanh hơn và ít khoan dung hơn.
Bảng tiêu chí: xây thế nào cho dùng được
Bảng tiêu chí không phải danh sách yêu cầu mà là mô tả các mức khác nhau.
Bốn nguyên tắc:
Ba tới năm tiêu chí, không hơn. Nhiều hơn thì người chấm không giữ hết trong đầu và bắt đầu chấm theo cảm nhận tổng.
Mỗi tiêu chí có ba tới bốn mức, mô tả bằng hành vi quan sát được — không phải bằng tính từ.
So sánh: "lập luận tốt" với "mỗi luận điểm có ít nhất một dẫn chứng cụ thể và giải thích được dẫn chứng đó liên quan thế nào". Mô tả thứ hai chấm được; mô tả đầu thì không.
Trọng số rõ cho từng tiêu chí, quyết định trước khi chấm.
Có bài mẫu cho mỗi mức. Đây là phần quan trọng nhất và hay bị bỏ: chọn hai ba bài thật ở mỗi mức và dùng chúng làm mốc. Bảng tiêu chí kèm bài mẫu chính xác hơn nhiều so với bảng tiêu chí đứng một mình.
Trước khi chấm cả tập
Ba bước, mất khoảng nửa giờ và chúng quyết định phần lớn độ nhất quán:
Đọc lướt mười bài trước khi cho điểm bài nào. Việc này cho bạn cảm nhận về phổ chất lượng thật của lớp, thay vì phải đoán khi chấm bài đầu tiên.
Chấm thử năm bài rồi dừng lại đối chiếu với bảng tiêu chí. Thường sẽ phát hiện mình đang chấm chặt hơn hoặc lỏng hơn tiêu chí.
Nếu có hai người chấm: cùng chấm năm bài độc lập rồi so. Bàn về chỗ lệch và thống nhất cách hiểu tiêu chí trước khi chia bài ra chấm. Bước này là biện pháp hiệu quả nhất trong cả bài.
Trong lúc chấm: bốn cách giảm thiên lệch
Chấm theo câu, không theo bài. Chấm câu một của tất cả các bài, rồi mới sang câu hai. Cách này giữ tiêu chí ổn định hơn nhiều và cũng nhanh hơn.
Che tên. Biết tên học sinh ảnh hưởng tới điểm — theo cả hai hướng, và người chấm thường không nhận ra.
Xáo thứ tự bài giữa các câu, để cùng một bài không luôn được chấm sau một bài rất tốt hoặc rất kém.
Nghỉ đều. Sau mỗi mười lăm tới hai mươi bài. Và nếu phải chấm nhiều, chia sang nhiều buổi thay vì chấm một mạch.
Một việc kiểm rẻ: sau khi chấm xong, lấy lại năm bài đã chấm ở đầu và chấm lại mà không nhìn điểm cũ. Nếu chênh nhiều, xem lại toàn bộ — vì có thể chuẩn đã trôi trong quá trình chấm.
Kiểm độ nhất quán giữa nhiều người chấm
Với các kỳ thi có nhiều người chấm, cần một cơ chế kiểm chứ không chỉ dựa vào bảng tiêu chí.
Cách đơn giản và hiệu quả: chấm chéo một phần mẫu. Khoảng mười phần trăm số bài được hai người chấm độc lập. So kết quả:
Nếu chênh lệch nằm trong một khoảng chấp nhận được đã định trước, tiếp tục.
Nếu chênh nhiều ở một người, người đó cần được trao đổi lại về tiêu chí.
Nếu chênh nhiều ở nhiều người, vấn đề nằm ở bảng tiêu chí chứ không ở người chấm.
Và định trước cách xử lý khi hai điểm chênh quá ngưỡng: người thứ ba chấm, hay hai người bàn để thống nhất.
Phúc khảo
Quy trình phúc khảo tốt có ba đặc điểm:
Người chấm lại không phải người chấm lần đầu và không biết điểm cũ.
Chấm lại theo cùng bảng tiêu chí, không chấm lại theo cảm nhận.
Có ghi lại lý do thay đổi nếu điểm đổi — vì các trường hợp này là nguồn thông tin về chỗ tiêu chí chưa rõ.
Và một việc nên làm sau mỗi kỳ: xem tỉ lệ phúc khảo theo từng câu. Câu có nhiều đơn phúc khảo thường là câu tiêu chí chưa rõ, và nó cần được sửa cho lần sau.
Với bài viết dài và đồ án
Càng bài dài và mở, độ dao động càng lớn — nên hai việc bổ sung:
Cho học sinh biết bảng tiêu chí trước khi làm bài. Đây vừa là công bằng vừa là dạy học: học sinh biết mình được đánh giá theo gì thì làm bài tốt hơn.
Và cân nhắc chấm hai vòng: vòng một phân bài thành ba nhóm theo mức chung, vòng hai cho điểm chi tiết trong từng nhóm. Cách này ổn định hơn việc cho điểm chính xác ngay từ lần đọc đầu.
Vì sao điểm bài tự luận dao động?
Tiêu chí không rõ, trọng số không thống nhất giữa người chấm, ảnh hưởng của thứ tự bài, và sự mệt khi chấm nhiều.
Bảng tiêu chí nên xây thế nào?
Ba tới năm tiêu chí, mỗi tiêu chí ba bốn mức mô tả bằng hành vi quan sát được, trọng số rõ, và kèm bài mẫu cho từng mức.
Biện pháp hiệu quả nhất là gì?
Hai người cùng chấm năm bài độc lập rồi so và thống nhất cách hiểu tiêu chí trước khi chia bài ra chấm.
Chấm theo câu hay theo bài?
Theo câu — chấm câu một của tất cả các bài rồi mới sang câu hai; cách này giữ tiêu chí ổn định hơn và cũng nhanh hơn.
