Lời giải:
a. $y=mx-x^2-2x+mx^2+m=x^2(m-1)+x(m-2)+m$
Lấy $x_1,x_2\in R$ sao cho $x_1\neq x_2$
$y(x_1)=x_1^2(m-1)+x_1(m-2)+m$
$y(x_2)=x_2^2(m-1)+x_2(m-2)+m$
Để hàm đồng biến thì:
$\frac{y(x_1)-y(x_2)}{x_1-x_2}>0$
$\Leftrightarrow \frac{x_1^2(m-1)+x_1(m-2)+m-[x_2^2(m-1)+x_2(m-2)+m]}{x_1-x_2}>0$
$\Leftrightarrow \frac{(m-1)(x_1^2-x_2^2)+(m-2)(x_1-x_2)}{x_1-x_2}>0$
$\Leftrightarrow (m-1)(x_1+x_2)+(m-2)>0$
Với mọi $x_1,x_2\in\mathbb{R}$ thì không có cơ sở để tìm $m$ sao cho hàm đồng biến.
b.
Xét tương tự câu 1, với $x_1\neq x_2\in \mathbb{R}$ thì hàm đồng biến khi:
$(m^2-3m+2)(x_1+x_2)+(m-1)>0$
Với mọi $x_1, x_2\in\mathbb{R}$ thì điều này xảy ra khi:
$m^2-3m+2=0$ và $m-1>0$
$\Leftrightarrow (m-1)(m-2)=0$ và $m-1>0$
$\Leftrightarrow m=2$