Kết quả các kỳ đánh giá quốc tế được nhắc nhiều trong tranh luận chính sách. Chúng là dữ liệu có giá trị, và cũng là dữ liệu bị dùng sai thường xuyên nhất.
Chúng đo gì
Các kỳ đánh giá quốc tế đo một tập hợp năng lực nhất định, ở một độ tuổi nhất định, bằng một hình thức nhất định.
Điều đó nghĩa là chúng không đo: những gì ngoài phạm vi bài kiểm; mức độ phát triển của học sinh qua thời gian; sự công bằng trong hệ thống, trừ khi kết quả được tách theo nhóm; và chất lượng của những thứ khó chuẩn hoá qua các nền văn hoá.
Nên câu "nước A giáo dục tốt hơn nước B" không suy ra được từ một bảng xếp hạng. Câu suy ra được là: "trong nhóm năng lực này, ở độ tuổi này, học sinh nước A làm bài tốt hơn".
Bốn lý do hạng số không nói nhiều như nó trông
Khoảng cách giữa các hạng liền nhau thường không có ý nghĩa thống kê. Nhảy từ hạng 20 lên hạng 15 có thể chỉ là biến động mẫu. Nên theo điểm và khoảng tin cậy, không theo hạng.
Mẫu tham gia khác nhau giữa các nước. Tỉ lệ trẻ ở tuổi đó còn trong trường học khác nhau — nơi tỉ lệ bỏ học cao thì mẫu thi chỉ gồm nhóm còn lại, và điểm trung bình cao hơn thực chất.
Một số nước chỉ tham gia bằng một vùng, thường là vùng phát triển nhất. So vùng đó với cả một nước khác là so hai thứ khác nhau.
Bối cảnh kinh tế xã hội giải thích phần lớn biến thiên. Phần còn lại — phần thuộc về hệ thống giáo dục — nhỏ hơn nhiều so với cách các bảng xếp hạng được đọc.
Sai lầm khi vay chính sách
Hình thức phổ biến: nước X xếp cao, nước X có chính sách Y, vậy ta áp dụng Y.
Chuỗi suy luận này bỏ qua ba điều.
Tương quan không phải nguyên nhân. Chính sách Y có thể không liên quan gì tới kết quả cao, hoặc thậm chí là kết quả của việc hệ thống đã tốt.
Chính sách hoạt động trong một hệ. Một nước có kết quả cao thường có nhiều yếu tố cùng lúc: cách tuyển và đào tạo giáo viên, vị thế xã hội của nghề giáo, mức đầu tư, cấu trúc gia đình và xã hội. Lấy một mảnh ra khỏi hệ đó thì nó không hoạt động như cũ.
Điều kiện ban đầu khác nhau. Một chính sách hiệu quả ở nước có giáo viên được đào tạo tốt và được trả lương tốt có thể thất bại ở nơi chưa có hai điều kiện đó — và thất bại theo cách làm mọi thứ tệ hơn.
Dùng dữ liệu so sánh thế nào cho có ích
Đọc phần tách theo nhóm, không đọc trung bình. Khoảng cách giữa nhóm cao nhất và thấp nhất trong cùng một nước thường là thông tin giá trị hơn hạng của nước đó.
Theo xu hướng của chính mình qua các kỳ thay vì so với nước khác. So mình với mình là phép so hợp lệ nhất.
Dùng để đặt câu hỏi, không để lấy câu trả lời. Nếu một chỉ số của ta thấp bất thường, đó là chỉ dẫn nên nghiên cứu sâu ở trong nước — không phải chỉ dẫn nên sao chép ai.
Đọc các báo cáo phụ, không chỉ bảng xếp hạng. Phần lớn giá trị phân tích nằm ở đó: dữ liệu về điều kiện học tập, về giáo viên, về thái độ người học.
Nghiên cứu so sánh làm được gì tốt
So sánh hai hệ thống một cách sâu — mô tả cách chúng vận hành và vì sao — có giá trị hơn nhiều so với xếp hạng nhiều hệ thống trên một thang.
Các câu hỏi tốt trong nghiên cứu so sánh thường có dạng: cùng một vấn đề này, hai nước xử lý theo hai cách khác nhau, và mỗi cách dẫn tới hệ quả gì trong bối cảnh của nó.
Với người làm nghiên cứu ở Việt Nam, đây là hướng có chỗ đứng rõ: mô tả chính xác cách hệ thống trong nước vận hành là việc người ngoài không làm được, và nó là điều kiện để mọi so sánh có nghĩa.
Khi trình bày dữ liệu so sánh cho người ra quyết định
Nêu rõ chỉ số đo gì và không đo gì, trước khi nêu con số.
Trình bày khoảng tin cậy, không chỉ điểm.
Và nếu có người đề xuất nhập một chính sách, hãy đặt ba câu hỏi: bằng chứng nào cho thấy chính sách đó gây ra kết quả kia; điều kiện nào cần có để nó hoạt động; và ta có những điều kiện đó chưa.
Hạng của một nước trong đánh giá quốc tế nói được gì?
Rằng trong nhóm năng lực được đo, ở độ tuổi đó, học sinh làm bài tốt hơn hoặc kém hơn — không nói hệ thống giáo dục tốt hơn về mọi mặt.
Vì sao không nên theo hạng mà nên theo điểm?
Vì khoảng cách giữa các hạng liền nhau thường không có ý nghĩa thống kê; cần đọc điểm cùng khoảng tin cậy.
Vay chính sách từ nước xếp cao có ổn không?
Rủi ro, vì chính sách hoạt động trong một hệ gồm nhiều yếu tố và phụ thuộc điều kiện ban đầu. Cần hỏi bằng chứng về quan hệ nhân quả và điều kiện cần có.
Cách dùng dữ liệu so sánh có ích nhất là gì?
Đọc phần tách theo nhóm để thấy khoảng cách trong nội bộ nước mình, và theo xu hướng của chính mình qua các kỳ.
