Lời giải:

Đặt $f(x)=Q(x)(x+1)(x^2+1)+ax^2+bx+c$ trong đó $ax^2+bx+c$ là đa thức dư khi chia $f(x)$ cho $(x+1)(x^2+1)$

Ta có:

$f(x)=Q(x)(x+1)(x^2+1)+a(x^2-1)+b(x+1)+a-b+c$

$=(x+1)[Q(x)(x^2+1)+a(x-1)+b]+a-b+c$

Do đó $f(x)$ chia $x+1$ có dư là $a-b+c$

$\Rightarrow a-b+c=4(*)$

Lại có:

$f(x)=Q(x)(x+1)(x^2+1)+a(x^2+1)-a+bx+c$

$=(x^2+1)[Q(x)(x+1)+a]+bx+(c-a)$

$\Rightarrow f(x)$ khi chia $x^2+1$ có dư là $bx+(c-a)$

$\Rightarrow bx+(c-a)=2x+3$

$\Rightarrow b=2; c-a=3(**)$

Từ $(*);(**)\Rightarrow a=\frac{3}{2}; b=2; c=\frac{9}{2}$

Áp dụng định lý Bezout ta được:

\(f\left(x\right)\)chia cho x+1 dư 4 \(\Rightarrow f\left(-1\right)=4\)

Vì bậc của đa thức chia là 3 nên \(f\left(x\right)=\left(x+1\right)\left(x^2+1\right)q\left(x\right)+ax^2+bx+c\)

\(=\left(x^2+1\right)\left(x+1\right)q\left(x\right)+\left(ax^2+a\right)-a+bx+c\)

\(=\left(x^2+1\right)\left(x+1\right)q\left(x\right)+a\left(x^2+1\right)+bx+c-a\)

\(=\left(x^2+1\right)\left[\left(x+1\right)q\left(x\right)+a\right]+bx+c-a\)

Vì \(f\left(-1\right)=4\)nên \(a-b+c=4\left(1\right)\)

Vì f(x) chia cho \(x^2+1\)dư 2x+3 nên

\(\hept{\begin{cases}b=2\\c-a=3\end{cases}\left(2\right)}\)

Từ (1) và (2) \(\Rightarrow\hept{\begin{cases}a+c=6\\b=2\\c-a=3\end{cases}\Leftrightarrow\hept{\begin{cases}a=\frac{3}{2}\\b=2\\c=\frac{9}{2}\end{cases}}}\)

Vậy dư f(x) chia cho \(\left(x+1\right)\left(x^2+1\right)\)là \(\frac{3}{2}x^2+2x+\frac{1}{2}\)