Cuối học kỳ, bảng kết quả cho thấy lớp A có điểm trung bình cao hơn lớp B, và năm nay cao hơn năm ngoái.
Hai quan sát này thường được đọc như hai kết luận: lớp A học tốt hơn, và năm nay khá hơn. Cả hai bước suy luận đều cần điều kiện mà thường không được kiểm.
Bốn điều kiện để so sánh có nghĩa
Cùng phép đo. Cùng đề, cùng tiêu chí chấm, cùng người chấm hoặc ít nhất cùng bảng tiêu chí. Nếu hai lớp thi hai đề khác nhau thì điểm không so được, dù hai đề cùng nội dung.
Đầu vào tương đương. Đây là điều kiện quan trọng nhất và hay bị bỏ nhất — xem phần dưới.
Cùng điều kiện học. Sĩ số, thời lượng, cơ sở vật chất, và số tiết thực dạy.
Cỡ đủ lớn. Với hai lớp ba mươi người, một chênh lệch nhỏ trong điểm trung bình có thể do vài cá nhân — không nói gì về lớp.
Vì sao điểm trung bình không đủ
Bốn lý do:
Nó che mất phân bố. Hai lớp cùng điểm trung bình có thể rất khác nhau: một lớp đều ở mức giữa, một lớp có nhóm rất cao và nhóm rất thấp. Hai tình huống này đòi hai cách can thiệp khác nhau.
Nó bị kéo bởi các giá trị cực trị. Vài điểm rất thấp hạ trung bình đáng kể ở lớp nhỏ.
Nó không cho biết ai đang gặp khó. Con số quan trọng hơn với việc dạy là bao nhiêu người dưới ngưỡng, không phải trung bình.
Nó không nói gì về tiến bộ.
Bốn con số nên xem cùng lúc: trung bình, trung vị, độ phân tán, và tỷ lệ dưới ngưỡng đạt.
Vấn đề đầu vào
Đây là vấn đề lớn nhất trong mọi so sánh giữa các lớp.
Nếu học sinh được xếp lớp theo năng lực — chính thức hoặc không chính thức — thì kết quả cuối kỳ phản ánh chủ yếu việc xếp lớp, không phản ánh việc dạy.
Điều này đúng cả khi việc xếp lớp không cố ý: lớp chọn theo nguyện vọng, lớp theo ban, lớp của học sinh đăng ký muộn — mỗi cách đều tạo ra nhóm không tương đương.
Cách xử lý: so tiến bộ, không so mức.
Nghĩa là cần một phép đo ở đầu kỳ để đối chiếu. Nếu không có, thì mọi so sánh giữa các lớp đều mang một giả định chưa được kiểm — và giả định đó thường sai.
Đo tiến bộ
Ba cách, theo mức khả thi:
Bài kiểm tra đầu kỳ và cuối kỳ tương đương. Cách đơn giản nhất và đủ dùng cho phần lớn mục đích trong một trường.
Lưu ý: hai bài phải đo cùng thứ và ở cùng độ khó. Dùng chính đề đầu kỳ làm đề cuối kỳ thì đo cả trí nhớ về đề.
So với kết quả kỳ trước của chính nhóm học sinh đó.
So với mức dự kiến dựa trên đầu vào — phức tạp hơn và cần dữ liệu qua nhiều năm.
Cả ba đều tốt hơn nhiều so với việc so điểm cuối kỳ giữa các lớp.
So giữa các năm
Bốn thứ cần kiểm trước khi kết luận năm nay tốt hơn hay kém hơn:
Đề có tương đương không? Đây là biến lớn nhất. Một đề dễ hơn làm điểm tăng mà không có gì thay đổi trong việc dạy hay học.
Cách chấm có đổi không — người chấm khác, tiêu chí khác.
Đầu vào có đổi không — tuyển sinh năm nay khác năm trước.
Điều kiện có đổi không — sĩ số, số tiết, giáo viên.
Nếu bất kỳ thứ nào trong bốn thứ này đã đổi, con số hai năm không so trực tiếp được — và việc trình bày chúng cạnh nhau như một xu hướng là gây hiểu nhầm.
Cách trình bày so sánh cho đúng
Bốn nguyên tắc:
Luôn kèm cỡ nhóm.
Nêu rõ điều kiện — đề giống hay khác, đầu vào tương đương hay không.
Không dùng biểu đồ cắt trục. Trục bắt đầu từ một giá trị khác 0 làm chênh lệch nhỏ trông như một khoảng cách lớn.
Nêu cả phân bố, không chỉ trung bình.
Và một nguyên tắc về mục đích: khi so sánh được dùng để đánh giá giáo viên, chất lượng dữ liệu giảm ngay. Người ta sẽ chấm nới hơn, ra đề dễ hơn, hoặc tìm cách khác để con số đẹp lên — và đó là phản ứng hợp lý với một hệ thống đo lường.
So sánh dùng để tìm ra chỗ cần hỗ trợ thì cho dữ liệu thật; so sánh dùng để xếp hạng người dạy thì không.
Các so sánh hợp lệ và hữu ích
Bốn loại so sánh ít vướng các vấn đề trên:
So kết quả từng câu hỏi trong cùng một đề, giữa các lớp. Nếu một câu có tỷ lệ sai cao ở mọi lớp thì vấn đề ở nội dung hoặc ở câu hỏi.
So một lớp với chính nó qua các kỳ.
So tỷ lệ đạt ngưỡng thay vì so điểm trung bình.
So phân bố — lớp nào có nhóm dưới ngưỡng lớn hơn, và nhóm đó cần gì.
Một câu hỏi nên đặt trước mỗi so sánh
Nếu con số này khác đi, chúng ta sẽ làm gì khác?
Nếu không có câu trả lời, thì phép so sánh đó không phục vụ mục đích nào — và công sức bỏ ra để tạo và bàn về nó nên chuyển sang chỗ khác.
Điều kiện nào để so sánh giữa các lớp có nghĩa?
Cùng phép đo, đầu vào tương đương, cùng điều kiện học, và cỡ nhóm đủ lớn.
Vì sao điểm trung bình không đủ?
Nó che mất phân bố, bị kéo bởi giá trị cực trị, và không cho biết bao nhiêu người đang dưới ngưỡng — con số quan trọng hơn với việc dạy.
Cách xử lý vấn đề đầu vào không tương đương?
So tiến bộ chứ không so mức — cần một phép đo ở đầu kỳ để đối chiếu.
Vì sao dùng so sánh để đánh giá giáo viên làm hỏng dữ liệu?
Vì người ta sẽ chấm nới hơn hoặc ra đề dễ hơn — đó là phản ứng hợp lý với một hệ thống đo lường dùng để xếp hạng.
