Ta sử dụng phương pháp "vách ngăn" để giải loại bài này.
Đầu tiên, sắp xếp 5 quyển sách Toán vào kệ, có 5! cách
5 quyển sách Toán sẽ tạo ra 6 khe trống (tính cả hai đầu). Xếp 3 quyển sách tiếng Anh vào 6 khe trống đó thì yêu cầu của bài toán được thỏa mãn.
Số cách sắp xếp 3 quyển sách tiếng Anh vào 6 khe trống là: \(A_6^3\)
Vậy tổng cộng có \(5!A_6^3=14400\) cách