Lời giải:
Để pt có 2 nghiệm pb thì $\Delta'=1-(m-1)>0\Leftrightarrow m< 2$
Áp dụng hệ thức Viet:
$x_1+x_2=2$
$x_1x_2=m-1$
Khi đó:
$x_1^2+x_2^2-3x_1x_2=2m^2+|m-3|$
$\Leftrightarrow (x_1+x_2)^2-5x_1x_2=2m^2+|m-3|$
$\Leftrightarrow 2^2-5(m-1)=2m^2+|m-3|$
$\Leftrightarrow 2m^2+5m+|m-3|-9=0$
$\Leftrightarrow 2m^2+5m+3-m-9=0$ (do $m< 2 < 3$)
$\Leftrightarrow 2m^2+4m-6=0$
$\Leftrightarrow m^2+2m-3=0$
$\Leftrightarrow (m-1)(m+3)=0$
$\Rightarrow m=1$ hoặc $m=-3$ (đều tm)