\(x^2-2x-3=\left(x+1\right)\left(x-3\right)\)nên x = -1 và x = 3 là nghiệm của x2 - 2x - 3.
Để đa thức 4x4 - 11x3 - 2ax2 + 5bx - 6 chia hết cho đa thức x2 - 2x - 3 thì -1 và 3 cũng là nghiệm của 4x4 - 11x3 - 2ax2 + 5bx - 6
Khi đó ta có: \(4.\left(-1\right)^4-11.\left(-1\right)^3-2.\left(-1\right)^2a+5.\left(-1\right)b-6=0\)
và \(4.3^4-11.3^3-2.3^2a+5.3b-6=0\). Suy ra: 2a + 5b = 9 và 18a - 15b = 21. Giải hệ phương trình này ta tìm được
a = 2 và b = 1