Lời giải:
a. Khi $m=1$ thì PT trở thành:
$x^2-2x-3=0$
$\Leftrightarrow (x+1)(x-3)=0$
$\Leftrightarrow x+1=0$ hoặc $x-3=0$
$\Leftrightarrow x=-1$ hoặc $x=3$
b.
Để pt có 2 nghiệm $x_1,x_2$ thì:
$\Delta=(m+1)^2-4(m-4)\geq 0$
$\Leftrightarrow m^2+2m+1-4m+16\geq 0$
$\Leftrightarrow (m-1)^2+16\geq 0\Leftrightarrow m\in\mathbb{R}$
Áp dụng định lý Viet:
$x_1+x_2=m+1$
$x_1x_2=m-4$
Khi đó:
$(x_1^2-mx_1+m)(x_2^2-mx_2+m)=2$
$\Leftrightarrow [x_1^2-(m+1)x_1+m-4+x_1+4][[x_2^2-(m+1)x_2+m-4+x_2+4]=2$
$\Leftrightarrow (x_1+4)(x_2+4)=2$
$\Leftrightarrow x_1x_2+4(x_1+x_2)+14=0$
$\Leftrightarrow m-4+4(m+1)+14=0$
$\Leftrightarrow 5m+14=0$
$\Leftrightarrow m=\frac{-14}{5}$