Đánh giá một sản phẩm công nghệ giáo dục trước khi đưa vào trường

Một trường được giới thiệu một sản phẩm công nghệ giáo dục, kèm số liệu: học sinh dùng nó tiến bộ hơn bao nhiêu phần trăm.

Con số đó thường có thật. Điều nó không nói là: so với ai, trong điều kiện nào, và ai đã thực hiện nghiên cứu.

Đọc các tuyên bố về hiệu quả

Bốn câu hỏi cho gần như mọi con số trong tài liệu giới thiệu:

So với cái gì? "Học sinh dùng sản phẩm tiến bộ hai mươi phần trăm" — so với chính các em đó trước đó, hay so với nhóm không dùng? Nếu chỉ so với chính mình, thì học sinh nào cũng tiến bộ sau một học kỳ, dù có dùng gì hay không.

Ai làm nghiên cứu? Nghiên cứu do chính nhà cung cấp thực hiện không đương nhiên sai, nhưng nó cần được đọc khác với nghiên cứu độc lập.

Trong điều kiện nào? Nhiều nghiên cứu về sản phẩm được làm với sự hỗ trợ đặc biệt — có người của công ty ở lớp, có tập huấn kỹ, có thiết bị đủ. Trường của bạn sẽ không có các điều kiện đó.

Đo cái gì? Tiến bộ đo bằng chính bài kiểm tra trong sản phẩm là điều dễ xảy ra và không nói gì về việc học sinh học được nội dung môn học.

Ba mức bằng chứng

Yếu: lời chứng của người dùng, số liệu về mức độ sử dụng, so sánh trước sau không có nhóm đối chiếu.

Số liệu sử dụng đáng được nhắc riêng: "học sinh dùng trung bình bốn mươi phút mỗi tuần" không phải bằng chứng về hiệu quả — nó là bằng chứng về mức độ hấp dẫn, vốn là chuyện khác.

Trung bình: có nhóm đối chiếu, nhưng hai nhóm khác nhau ở nhiều thứ ngoài sản phẩm.

Mạnh hơn: nghiên cứu độc lập, có nhóm đối chiếu tương đương, đo bằng công cụ ngoài sản phẩm, và có nhiều nghiên cứu cho cùng hướng kết quả.

Với phần lớn sản phẩm, bằng chứng nằm ở mức đầu. Điều đó không có nghĩa là không nên dùng — nó có nghĩa là trường phải tự kiểm.

Thiết kế một đợt thử

Thử là cách duy nhất biết sản phẩm có hợp với trường mình không. Sáu nguyên tắc:

Xác định trước thế nào là thành công. Không đặt trước thì đợt thử nào cũng kết thúc bằng nhận xét tích cực.

Chọn lớp đại diện, không chọn lớp tốt nhất và không chọn giáo viên hào hứng nhất — cả hai làm kết quả không dùng được cho việc mở rộng.

Có nhóm đối chiếu nếu được — một lớp tương đương không dùng, cùng giáo viên nếu có thể.

Không dồn nguồn lực đặc biệt cho đợt thử. Nếu khi mở rộng không có tập huấn hằng tuần thì đợt thử cũng không nên có.

Đo bằng công cụ độc lập — bài kiểm tra của trường, không phải báo cáo trong sản phẩm.

Hỏi cả giáo viên và học sinh, và hỏi cụ thể: mất bao nhiêu thời gian chuẩn bị, gặp trục trặc gì, phần nào có ích nhất.

Thời gian đủ để kết luận: ít nhất một học kỳ. Vài tuần chỉ đo được sự mới mẻ.

Dữ liệu học sinh: các câu hỏi bắt buộc

Đây là phần có rủi ro pháp lý và đạo đức, và nó phải được trả lời trước khi thử chứ không sau.

Sản phẩm thu thập những dữ liệu gì về học sinh, và ở mức chi tiết nào.

Dữ liệu được lưu ở đâu, trong bao lâu, và ai truy cập được.

Dữ liệu có được dùng cho mục đích khác ngoài việc dạy học không — phân tích, phát triển sản phẩm, quảng cáo.

Khi trường ngừng dùng, dữ liệu được xử lý thế nào, và trường lấy lại được không.

Nhà cung cấp có cam kết gì bằng văn bản về những điều trên.

Và với học sinh chưa thành niên: việc thu thập dữ liệu cần sự đồng ý theo quy định, và điều đó thuộc trách nhiệm của nhà trường chứ không phải của nhà cung cấp.

Chi phí thật sau năm đầu

Bốn khoản thường không nằm trong báo giá:

Phí thuê bao các năm sau, và mức tăng — hỏi mức trần.

Thiết bị cần có ở mức nào, và bao nhiêu học sinh không có thiết bị đó ở nhà.

Thời gian giáo viên bỏ ra để học dùng và chuẩn bị.

Chi phí chuyển đổi nếu sau này muốn đổi sản phẩm — dữ liệu và nội dung đã tạo có mang đi được không.

Khoản cuối là điểm ràng buộc thật: sau ba năm, trường có thể không đổi được vì toàn bộ nội dung đã nằm trong một hệ thống không xuất ra được.

Câu hỏi nên hỏi trước mọi thứ khác

Sản phẩm này giải quyết vấn đề gì của trường mình?

Nếu câu trả lời không cụ thể được — nếu nó là "hiện đại hoá việc dạy học" hay "bắt kịp xu hướng" — thì chưa nên mua, bất kể sản phẩm tốt tới đâu.

Và nếu vấn đề đó xác định được, hỏi tiếp: có cách nào khác giải quyết nó không, và cách đó tốn gì. Nhiều vấn đề trong lớp học được giải bằng thay đổi cách tổ chức chứ không bằng công cụ — và cách đó thường rẻ hơn nhiều.