Lời giải:
Để PT có 2 nghiệm $x_1,x_2$ thì:
$\Delta'=(m+1)^2-(m^2-1)>0\Leftrightarrow 2m+2>0\Leftrightarrow m>-1$
Áp dụng định lý Viet:
$x_1+x_2=2(m+1)$ và $x_1x_2=m^2-1$
Khi đó, để $x_1^2+x_2^2=x_1x_2+8$
$\Leftrightarrow (x_1+x_2)^2-2x_1x_2=x_1x_2+8$
$\Leftrightarrow (x_1+x_2)^2=3x_1x_2+8$
$\Leftrightarrow 4(m+1)^2=3(m^2-1)+8$
$\Leftrightarrow m^2+8m-1=0$
$\Leftrightarrow m=-4\pm \sqrt{17}$. Vì $m>-1$ nên $m=-4+\sqrt{17}$