\(x^2-2x-3=\left(x+1\right)\left(x-3\right)\)nên x = -1 và x = 3 là nghiệm của x² - 2x - 3.

Để đa thức 4x⁴ - 11x³ - 2ax² + 5bx - 6 chia hết cho đa thức x² - 2x - 3 thì -1 và 3 cũng là nghiệm của 4x⁴ - 11x³ - 2ax² + 5bx - 6

Khi đó ta có: \(4.\left(-1\right)^4-11.\left(-1\right)^3-2.\left(-1\right)^2a+5.\left(-1\right)b-6=0\)

và \(4.3^4-11.3^3-2.3^2a+5.3b-6=0\). Suy ra: 2a + 5b = 9 và 18a - 15b = 21. Giải hệ phương trình này ta tìm được 

a = 2  và  b = 1

Giả sử : \(f\left(x\right)=\left(x^2-2x-3\right).Q\left(x\right)+r=\left(x-3\right)\left(x+1\right).Q\left(x\right)+r\)

với Q(x) là đa thức thương và r là số dư

Vì f(x) chia hết cho x²-2x-3 nên r = 0

Suy ra : \(f\left(x\right)=\left(x-3\right)\left(x+1\right).Q\left(x\right)\Rightarrow\left[\begin{array}{nghiempt}f\left(-1\right)=0\\f\left(3\right)=0\end{array}\right.\)

 \(f\left(-1\right)=0\Leftrightarrow-2a-5b=-9\)

\(f\left(3\right)=0\Leftrightarrow-18a+15b=-21\)

Ta có hệ : \(\begin{cases}-2a-5b=-9\\-18a+15b=-21\end{cases}\)\(\Leftrightarrow\begin{cases}a=2\\b=1\end{cases}\)

Vậy a = 2 , b = 1

\(f\left(x\right)=x^3+2ax+b\)

Vì \(f\left(x\right)⋮\left(x-1\right)\)\(\Rightarrow f\left(1\right)=0\)\(\Leftrightarrow1+2a+b=0\)\(\Leftrightarrow2a+b=-1\)(1)

Vì \(f\left(x\right)\)chia \(x+2\)dư \(3\) \(\Rightarrow f\left(-2\right)=3\)

\(\Leftrightarrow-8-4a+b=3\Leftrightarrow-4a+b=11\Leftrightarrow4a-b=-11\)(2)

Cộng (1) với (2) ta được \(2a+b+4a-b=6a=-1-11=-12\)\(\Rightarrow a=-2\)

\(\Rightarrow b=3\)

Vậy \(a=-2;b=3\)