Lời giải:
Để pt có 2 nghiệm $x_1,x_2$ thì:
$\Delta'=1+(m-1)(m-3)\geq 0\Leftrightarrow (m-2)^2\geq 0\Leftrightarrow m\in\mathbb{R}$
Ta có:
$x^2-2x-(m-1)(m-3)=0$
$\Leftrightarrow [x-(m-1)][x+(m-3)]=0$
$\Rightarrow (x_1,x_2)=(m-1,3-m)$ và hoán vị
Nếu $x_1=m-1; x_2=3-m$ thì: $A=(x_1+1)x_2=m(3-m)=3m-m^2=\frac{9}{4}-(m-\frac{3}{2})^2\leq \frac{9}{4}$
Vậy $A_{\max}=\frac{9}{4}$ khi $m=\frac{3}{2}$
Nếu $x_1=3-m; x_2=m-1$ thì:
$A=(4-m)(m-1)=5m-4-m^2=\frac{9}{4}-(m-\frac{5}{2})^2\leq \frac{9}{4}$
Vậy $A_{\max}=\frac{9}{4}$ khi $m=\frac{5}{2}$
Vậy tóm lại $m=\frac{3}{2}$ hoặc $m=\frac{5}{2}$ thì $A_{\max}$