Một bài báo kết luận rằng một phương pháp dạy học làm tăng kết quả học tập. Trước khi quyết định làm theo, có vài câu hỏi quyết định kết quả đó đáng tin tới đâu — và chúng không nằm ở phần kết luận.
Thiết kế nghiên cứu: mỗi loại kết luận được gì
Đây là câu hỏi đầu tiên và nó quyết định mọi thứ sau đó.
Nghiên cứu tương quan. Quan sát thấy hai thứ đi cùng nhau. Kết luận được: có liên hệ. Không kết luận được: cái nào gây ra cái nào.
Ví dụ quen thuộc: học sinh đọc nhiều sách có kết quả tốt hơn. Có thể đọc sách làm học tốt hơn; có thể học sinh vốn học tốt thì thích đọc hơn; có thể cả hai cùng do hoàn cảnh gia đình.
Nghiên cứu có nhóm đối chứng, phân nhóm ngẫu nhiên. Cho phép kết luận về nguyên nhân, trong phạm vi bối cảnh đã nghiên cứu. Đây là thiết kế mạnh nhất và cũng khó thực hiện nhất trong giáo dục.
Nghiên cứu có nhóm so sánh nhưng không ngẫu nhiên. Yếu hơn, vì hai nhóm có thể khác nhau từ đầu theo những cách không đo được.
Nghiên cứu trước-sau không có nhóm đối chứng. Rất yếu về mặt nhân quả: học sinh tiến bộ sau một học kỳ là chuyện bình thường, dù có can thiệp hay không.
Nghiên cứu định tính. Cho hiểu biết sâu về cơ chế và bối cảnh. Không nhằm khái quát hoá bằng con số, và việc đòi nó làm điều đó là hiểu sai mục đích.
Những gì cần kiểm trong phần phương pháp
Năm điểm:
Cỡ mẫu và đơn vị phân nhóm. Trong giáo dục, can thiệp thường áp cho cả lớp chứ không cho từng học sinh — nên đơn vị thật là lớp, không phải học sinh. Một nghiên cứu với bốn lớp mà báo cáo như có một trăm hai mươi mẫu độc lập đang nói quá độ mạnh của mình.
Ai dạy nhóm can thiệp. Nếu chính tác giả dạy, kết quả có thể phản ánh nhiệt tình và kỹ năng của người đó hơn là phương pháp.
Nhóm đối chứng làm gì. So với "dạy như bình thường" thì khác hẳn so với một phương pháp tích cực khác. Nhiều hiệu ứng biến mất khi nhóm đối chứng cũng được quan tâm tương đương.
Đo bằng gì. Bài kiểm tra do chính tác giả soạn, bám sát nội dung nhóm can thiệp đã học, sẽ cho kết quả thuận lợi. Một phép đo độc lập đáng tin hơn nhiều.
Thời gian. Hiệu ứng đo ngay sau can thiệp khác hẳn hiệu ứng đo sau sáu tháng. Rất nhiều hiệu ứng trong giáo dục biến mất theo thời gian, và các nghiên cứu có đo lại về sau thì đáng tin hơn nhiều.
Đọc độ lớn hiệu ứng
"Có ý nghĩa thống kê" chỉ nói rằng kết quả khó xảy ra do ngẫu nhiên. Nó không nói rằng kết quả đủ lớn để đáng quan tâm.
Với cỡ mẫu lớn, một khác biệt rất nhỏ vẫn có ý nghĩa thống kê.
Thứ cần tìm là độ lớn hiệu ứng và cách diễn giải nó trong thực tế: tăng bao nhiêu điểm, tương đương bao nhiêu tháng học?
Và một câu hỏi thực tế đi kèm: hiệu ứng đó đổi lấy cái gì? Một phương pháp cho hiệu ứng nhỏ nhưng không tốn gì có thể đáng làm; cùng hiệu ứng đó mà đòi tập huấn dài và thiết bị mới thì không.
Khái quát hoá: nghiên cứu này áp dụng cho ai
Bốn câu hỏi:
Học sinh trong nghiên cứu ở độ tuổi nào, trình độ nào, bối cảnh nào?
Môn học gì — nhiều phương pháp có hiệu quả rất khác nhau giữa các môn.
Sĩ số lớp và điều kiện cơ sở vật chất ra sao?
Giáo viên được chuẩn bị tới mức nào?
Một kết quả từ lớp hai mươi học sinh với giáo viên được tập huấn ba ngày không tự động áp dụng cho lớp bốn mươi lăm học sinh với một buổi phổ biến.
Bốn dấu hiệu nên thận trọng
Kết quả quá tốt. Các hiệu ứng rất lớn trong giáo dục hiếm, và khi xuất hiện thì thường do thiết kế có vấn đề hoặc do phép đo thiên vị.
Không nêu giới hạn. Mọi nghiên cứu đều có giới hạn; bài không nêu phần này là bài chưa hoàn chỉnh.
Người nghiên cứu có lợi ích liên quan — bán phần mềm, bán chương trình tập huấn. Không có nghĩa là kết quả sai, nhưng nó là thông tin cần biết khi đọc.
Kết luận rộng hơn dữ liệu. Một nghiên cứu ở ba lớp học kết luận về "giáo dục Việt Nam" là kết luận vượt quá phạm vi.
Một bài không đủ
Điểm cuối và quan trọng nhất.
Một kết quả đơn lẻ, dù thiết kế tốt, vẫn có thể là ngẫu nhiên hoặc đặc thù bối cảnh. Thứ đáng tin hơn nhiều là một loạt nghiên cứu độc lập cùng chỉ về một hướng, hoặc một bài tổng hợp có hệ thống gộp nhiều nghiên cứu.
Với người làm chính sách hoặc quản lý, đây là nguyên tắc thực tế nhất trong cả bài: đừng đổi cả hệ thống vì một nghiên cứu — và cũng đừng bỏ qua một hướng chỉ vì một nghiên cứu không tìm thấy hiệu quả.
Nghiên cứu tương quan kết luận được gì?
Chỉ kết luận được là có liên hệ giữa hai thứ — không kết luận được cái nào gây ra cái nào.
Điểm nào hay bị nói quá trong phần phương pháp?
Đơn vị phân nhóm: can thiệp thường áp cho cả lớp nên đơn vị thật là lớp, không phải từng học sinh.
Có ý nghĩa thống kê nghĩa là gì?
Chỉ nghĩa là kết quả khó xảy ra do ngẫu nhiên — không nghĩa là nó đủ lớn để đáng quan tâm, nên cần xem độ lớn hiệu ứng.
Vì sao một bài nghiên cứu là chưa đủ?
Vì một kết quả đơn lẻ có thể do ngẫu nhiên hoặc đặc thù bối cảnh — đáng tin hơn là nhiều nghiên cứu độc lập cùng chỉ một hướng.
