Để \(\left(4x^4-11x^3-2ax^2+5bx-6\right)⋮\left(x^2-2x-3\right)\) thì :

\(4x^4-11x^3-2ax^2+5bx-6=\left(x^2-2x-3\right)\cdot Q\)

\(4x^4-11x^3-2ax^2+5bx-6=\left(x^2-3x+x-3\right)\cdot Q\)

\(4x^4-11x^3-2ax^2+5bx-6=\left(x-3\right)\left(x+1\right)\cdot Q\)

Vì đẳng thức đúng với mọi x

+) Đặt x = 3 ta có :

\(4\cdot3^4-11\cdot3^3-2\cdot a\cdot3^2+5\cdot b\cdot3-6=\left(3-3\right)\left(3+1\right)\cdot Q\)

\(21-18a+15b=0\)

\(18a-15b=21\left(1\right)\)

+) Đặt x = -1 ta có :

\(4\cdot\left(-1\right)^4-11\cdot\left(-1\right)^3-2\cdot a\cdot\left(-1\right)^2+5\cdot b\cdot\left(-1\right)-6=\left(-1-3\right)\left(-1+1\right)\cdot Q\)

\(9-2a-5b=0\)

\(2a+5b=9\)

\(6a+15b=27\left(2\right)\)

Lấy (1) + (2) ta có : \(18a-15b+6a+15b=21+27\)

\(24a=48\)

\(a=2\)

\(\Rightarrow b=1\)

Vậy a = 2; b = 1

Giả sử : \(f\left(x\right)=\left(x^2-2x-3\right).Q\left(x\right)+r=\left(x-3\right)\left(x+1\right).Q\left(x\right)+r\)

với Q(x) là đa thức thương và r là số dư

Vì f(x) chia hết cho x²-2x-3 nên r = 0

Suy ra : \(f\left(x\right)=\left(x-3\right)\left(x+1\right).Q\left(x\right)\Rightarrow\left[\begin{array}{nghiempt}f\left(-1\right)=0\\f\left(3\right)=0\end{array}\right.\)

 \(f\left(-1\right)=0\Leftrightarrow-2a-5b=-9\)

\(f\left(3\right)=0\Leftrightarrow-18a+15b=-21\)

Ta có hệ : \(\begin{cases}-2a-5b=-9\\-18a+15b=-21\end{cases}\)\(\Leftrightarrow\begin{cases}a=2\\b=1\end{cases}\)

Vậy a = 2 , b = 1

\(x^2-2x-3=\left(x+1\right)\left(x-3\right)\)nên x = -1 và x = 3 là nghiệm của x² - 2x - 3.

Để đa thức 4x⁴ - 11x³ - 2ax² + 5bx - 6 chia hết cho đa thức x² - 2x - 3 thì -1 và 3 cũng là nghiệm của 4x⁴ - 11x³ - 2ax² + 5bx - 6

Khi đó ta có: \(4.\left(-1\right)^4-11.\left(-1\right)^3-2.\left(-1\right)^2a+5.\left(-1\right)b-6=0\)

và \(4.3^4-11.3^3-2.3^2a+5.3b-6=0\). Suy ra: 2a + 5b = 9 và 18a - 15b = 21. Giải hệ phương trình này ta tìm được 

a = 2  và  b = 1

\(\Leftrightarrow1-m=0\)

hay m=1