`a)`Thế `m=3` vào `(1)` ta được:
\(x^2-3x-4=0\)
\(\Leftrightarrow\left[{}\begin{matrix}x=-1\\x=4\end{matrix}\right.\) ( Vi-ét )
`b)`\(\Delta=\left(-m\right)^2+16=m^2+16>0\)
`->` pt luôn có 2 nghiệm phân biệt
Theo hệ thức Vi-ét, ta có:\(\left\{{}\begin{matrix}x_1+x_2=m\\x_1x_2=-4\end{matrix}\right.\)
\(x_1\left(x_2^2+1\right)+x_2\left(x_1^2+1\right)>6\)
\(\Leftrightarrow x_1x_2^2+x_1+x_1^2x_2+x_2>6\)
\(\Leftrightarrow x_1x_2\left(x_1+x_2\right)+\left(x_1+x_2\right)>6\)
\(\Leftrightarrow-4m+m>6\)
\(\Leftrightarrow-3m>6\)
\(\Leftrightarrow m< -2\)
Vậy `m<-2`