Lời giải:
Ta thấy: $\Delta'=(m-1)^2+m^3-(m+1)^2=m^3-4m$
Để pt có nghiệm thì $m^3-4m\geq 0\Leftrightarrow m\geq 2$ hoặc $-2\leq m\leq 0$
Áp dụng định lý Vi-et: \(\left\{\begin{matrix} x_1+x_2=2(m-1)\\ x_1x_2=-m^3+(m+1)^2\end{matrix}\right.\)
Khi đó:
\(P=x_1^3+x_2^3+3x_1x_2(x_1+x_2)+8x_1x_2\)
\(=(x_1+x_2)^3+8x_1x_2\)
\(=8(m-1)^3-8m^3+8(m+1)^2=40m-16m^2\)
Xét $f(m)=40m-16m^2$
$f'(m)=40-32m=0\Leftrightarrow m=1,25$ (loại vì $m\in [-2;0]\cup [2;3]$)
Lập bảng biến thiên ta thấy:
$P_{\min}=P(-2)=-144$
$P_{\max}=P(2)=16$