Bài giới thiệu ở mức khái quát; mỗi khái niệm đều có tài liệu chuyên sâu và nhiều cách kiểm khác nhau tuỳ loại công cụ.
Hai khái niệm này hay bị dùng lẫn. Cách phân biệt ngắn nhất: độ tin cậy là đo có ổn định không, độ giá trị là có đo đúng thứ mình muốn đo không. Một cái cân lệch năm ki-lô luôn lệch đúng năm ki-lô thì rất tin cậy nhưng không có giá trị.
Độ tin cậy: các cách kiểm
Nhất quán nội tại — các câu trong cùng một thang có đo cùng một thứ không. Đây là cách phổ biến nhất với bảng hỏi, dùng các hệ số nhất quán.
Ổn định qua thời gian — đo lại cùng nhóm sau một khoảng thời gian và so kết quả. Khoảng cách phải đủ dài để không nhớ bài, nhưng đủ ngắn để thứ được đo chưa thay đổi thật.
Nhất quán giữa người chấm — với câu tự luận hoặc quan sát lớp học, hai người chấm độc lập rồi so. Đây là loại độ tin cậy quan trọng nhất và hay bị bỏ trong nghiên cứu giáo dục ở ta.
Lưu ý: hệ số nhất quán cao không chứng minh thang đo đúng. Nó còn tăng khi bạn thêm nhiều câu gần như trùng nhau — điều đó làm hỏng thang đo chứ không cải thiện.
Độ giá trị: bốn hướng thường xét
Giá trị nội dung — các câu có bao phủ đủ phạm vi cần đo không. Cách kiểm thực dụng: lập ma trận nội dung và nhờ chuyên gia đối chiếu.
Giá trị cấu trúc — thang đo có phản ánh cấu trúc khái niệm như lý thuyết mô tả không, thường kiểm bằng phân tích nhân tố.
Giá trị theo tiêu chí — kết quả đo có tương quan với một thước khác đã được thừa nhận không, hoặc có dự báo được kết quả tương lai không.
Hệ quả của việc đo — hướng ít được nhắc nhưng quan trọng trong giáo dục: cách bạn đo sẽ đổi cách người ta dạy và học. Một kỳ thi chỉ đo ghi nhớ sẽ tạo ra việc dạy để ghi nhớ.
Phân tích câu hỏi: việc nhẹ, ít ai làm
Sau mỗi lần dùng đề, tính hai chỉ số cho từng câu: tỉ lệ trả lời đúng, và độ phân biệt giữa nhóm điểm cao và nhóm điểm thấp.
Câu mà nhóm điểm cao trả lời sai nhiều hơn nhóm điểm thấp gần như luôn là câu hỏng: hoặc diễn đạt gây nhầm, hoặc đáp án sai.
Câu quá dễ hoặc quá khó không phân loại được ai, nên chỉ giữ một ít để tạo cấu trúc đề, không giữ nhiều.
Khi dùng thang đo của nước khác
Không thể dịch rồi dùng ngay. Cần ba bước: dịch và dịch ngược để kiểm nghĩa; thử với một nhóm nhỏ để xem người trả lời hiểu từng câu thế nào; rồi kiểm lại độ tin cậy và cấu trúc trên mẫu Việt Nam.
Nhiều khái niệm không chuyển ngữ trực tiếp được vì bối cảnh giáo dục khác — phần này phải bàn trong bài viết, không được lướt qua.
Bốn lỗi thường gặp
Báo cáo hệ số nhất quán rồi coi như đã chứng minh thang đo tốt — đó chỉ là một mảnh của độ tin cậy, chưa nói gì về độ giá trị.
Dùng điểm tổng của thang nhiều chiều như một con số duy nhất, khi các chiều đo những thứ khác nhau.
Đo thái độ tự khai rồi kết luận về hành vi. Hai thứ này thường lệch nhau đáng kể.
Không kiểm nhất quán giữa người chấm với dữ liệu quan sát hoặc tự luận, rồi kết luận về khác biệt giữa các nhóm.
Hệ số nhất quán bao nhiêu là đủ?
Các ngưỡng thường gặp trong tài liệu chỉ là quy ước, và phụ thuộc loại công cụ cùng mục đích sử dụng. Quan trọng hơn là báo cáo minh bạch và bàn về ý nghĩa của con số trong bối cảnh của bạn.
Bài kiểm tra tự luận có kiểm được độ tin cậy không?
Có, chủ yếu qua nhất quán giữa người chấm. Có bảng tiêu chí chi tiết và tập dượt chấm trước là cách nâng chỉ số này hiệu quả nhất.
Cần bao nhiêu người để thử thang đo?
Tuỳ phương pháp phân tích dự định dùng. Trước khi thử chính thức, nên phỏng vấn vài người về cách họ hiểu từng câu — bước này rẻ và bắt được nhiều lỗi diễn đạt.
Tự xây thang đo mới hay dùng thang có sẵn?
Dùng thang có sẵn đã được kiểm định nếu có, vì tự xây đòi nhiều công đoạn kiểm chứng. Chỉ tự xây khi không có công cụ nào phù hợp với khái niệm bạn nghiên cứu.