Lời giải:
Để PT có 2 nghiệm phân biệt $x_1,x_2$ thì:
\(\Delta'>0\)
\(\Leftrightarrow 4-(m+1)>0\)
\(\Leftrightarrow m< 3\)
Áp dụng định lý Vi-et: \(\left\{\begin{matrix} x_1+x_2=4\\ x_1x_2=m+1\end{matrix}\right.\)
Khi đó:
\(x_1^2+x_2^2=26\)
\(\Leftrightarrow (x_1+x_2)^2-2x_1x_2=26\)
\(\Leftrightarrow 4^2-2(m+1)=26\)
\(\Leftrightarrow m=-6\) (hoàn toàn thỏa mãn)
Vậy $m=-6$