Nghiên cứu can thiệp trong giáo dục: thiết kế và các giới hạn

Nghiên cứu có sự tham gia của người học, đặc biệt người chưa thành niên, phải được phê duyệt đạo đức theo quy định của cơ sở và có sự đồng ý của gia đình khi cần. Nội dung dưới đây bàn về thiết kế, không thay cho các yêu cầu đó.

Câu hỏi "cách dạy này có tốt hơn cách cũ không" chỉ trả lời được bằng cách thử. Nhưng kết luận rút ra phụ thuộc hoàn toàn vào cách thử được thiết kế.

Bốn thiết kế, từ yếu tới mạnh

Chỉ đo sau khi can thiệp. Áp dụng phương pháp mới, đo kết quả. Thiết kế này gần như không kết luận được gì — không biết học sinh đã ở mức nào trước đó.

Đo trước và sau, một nhóm. Cho biết có thay đổi hay không, nhưng không cho biết thay đổi đó do can thiệp hay do các yếu tố khác — học sinh vẫn lớn lên và vẫn học các môn khác trong khoảng thời gian đó.

Có nhóm đối chứng. Hai nhóm, một nhóm áp dụng, một nhóm không, đo cả hai trước và sau. Đây là mức tối thiểu để kết luận được điều gì.

Phân nhóm ngẫu nhiên. Chặt chẽ nhất, nhưng thường khó thực hiện trong trường học vì lớp đã được xếp sẵn.

Với phần lớn nghiên cứu ở quy mô một trường, thiết kế thứ ba là mức khả thi và đủ dùng — miễn là hai nhóm tương đương và điều đó được kiểm.

Vấn đề nhóm đối chứng

Ba khó khăn thực tế và cách xử lý:

Hai lớp không tương đương. Nếu không phân nhóm ngẫu nhiên được, phải đo và so sánh hai nhóm ở đầu kỳ — về kết quả học tập, về các đặc điểm liên quan. Nếu lệch thì phải tính tới điều đó khi phân tích.

Vấn đề đạo đức. Nếu tin rằng phương pháp mới tốt hơn, cho một nhóm học sinh không được hưởng là vấn đề. Cách xử lý thông dụng: cho nhóm đối chứng áp dụng sau khi nghiên cứu kết thúc.

Lây lan giữa hai nhóm. Giáo viên trao đổi với nhau, học sinh nói chuyện với nhau. Trong một trường, việc này gần như không tránh được và nên được nêu như một giới hạn.

Các yếu tố gây nhiễu

Sáu yếu tố phổ biến trong nghiên cứu giáo dục, và chúng đều làm kết quả khó diễn giải:

Hiệu ứng người thực hiện. Nếu chính bạn dạy nhóm áp dụng phương pháp mới, kết quả phản ánh cả sự nhiệt tình của bạn, không chỉ phương pháp.

Hiệu ứng cái mới. Học sinh hứng thú vì đây là thứ khác lạ — và hiệu ứng này mất đi sau vài tuần.

Sự chú ý. Nhóm được quan sát thường làm tốt hơn, độc lập với can thiệp.

Giáo viên khác nhau. Nếu hai nhóm do hai người dạy, không tách được ảnh hưởng của phương pháp khỏi ảnh hưởng của người dạy.

Thời điểm trong năm học.

Bài kiểm tra thiên về nội dung của một nhóm. Nếu đề bài đo đúng thứ mà phương pháp mới nhấn mạnh, kết quả tất yếu nghiêng về nhóm đó.

Cách giảm: mô tả rõ từng yếu tố trong phần giới hạn, và thiết kế để kiểm soát những gì kiểm soát được — ví dụ cùng một giáo viên dạy cả hai nhóm, hoặc luân phiên.

Cỡ mẫu

Ba điểm thực tế:

Hai lớp ba mươi học sinh là mẫu nhỏ. Nó phát hiện được các khác biệt lớn, không phát hiện được các khác biệt vừa và nhỏ.

Đơn vị phân tích là lớp hay là học sinh? Nếu can thiệp áp dụng cho cả lớp thì về mặt thống kê, cỡ mẫu thật là số lớp, không phải số học sinh. Điểm này hay bị bỏ qua và nó ảnh hưởng lớn tới kết luận.

Không tìm thấy khác biệt không có nghĩa là không có khác biệt — với mẫu nhỏ, đó thường chỉ là thiếu khả năng phát hiện.

Đo cái gì

Bốn nguyên tắc:

Đo đúng thứ can thiệp nhắm tới.

Dùng cùng một công cụ đo cho cả hai nhóm, ở cả hai thời điểm.

Đo cả các tác động không mong muốn. Một phương pháp làm tăng kết quả ở nội dung này có thể làm giảm ở nội dung khác — và nếu không đo thì không biết.

Nếu được, đo lại sau một thời gian. Nhiều hiệu quả xuất hiện ngay sau can thiệp rồi biến mất. Phép đo lại sau vài tháng cho biết nhiều hơn phép đo ngay sau đó.

Khái quát hoá tới đâu

Ba giới hạn cần nêu rõ:

Bối cảnh. Kết quả từ một trường ở thành phố với điều kiện tốt không tự động áp dụng cho trường ở vùng khó khăn.

Người thực hiện. Một phương pháp chạy tốt với giáo viên được tập huấn kỹ và có động lực cao không chắc chạy khi triển khai rộng.

Quy mô. Nhiều can thiệp có hiệu quả ở quy mô nhỏ và mất hiệu quả khi nhân rộng — đây là hiện tượng được ghi nhận nhiều lần trong nghiên cứu giáo dục.

Một cách viết kết luận cho đúng

So hai cách viết cùng một kết quả:

"Phương pháp X hiệu quả hơn phương pháp truyền thống."

"Trong hai lớp 10 tại một trường ở địa bàn này, nhóm áp dụng phương pháp X có mức tiến bộ cao hơn nhóm đối chứng ở bài kiểm tra cuối kỳ. Cùng một giáo viên dạy cả hai lớp. Kết quả chưa được kiểm chứng ở bối cảnh khác."

Cách thứ hai dài hơn bốn dòng và nó là cách duy nhất đúng với những gì nghiên cứu đó thật sự cho thấy.