Giả sử : \(f\left(x\right)=\left(x^2-2x-3\right).Q\left(x\right)+r=\left(x-3\right)\left(x+1\right).Q\left(x\right)+r\)
với Q(x) là đa thức thương và r là số dư
Vì f(x) chia hết cho x2-2x-3 nên r = 0
Suy ra : \(f\left(x\right)=\left(x-3\right)\left(x+1\right).Q\left(x\right)\Rightarrow\left[\begin{array}{nghiempt}f\left(-1\right)=0\\f\left(3\right)=0\end{array}\right.\)
\(f\left(-1\right)=0\Leftrightarrow-2a-5b=-9\)
\(f\left(3\right)=0\Leftrightarrow-18a+15b=-21\)
Ta có hệ : \(\begin{cases}-2a-5b=-9\\-18a+15b=-21\end{cases}\)\(\Leftrightarrow\begin{cases}a=2\\b=1\end{cases}\)
Vậy a = 2 , b = 1