a, Khi \(m=-1\)ta có HPT : \(\hept{\begin{cases}-x+y=-2\\x-y=0\end{cases}}\)

=> HPT vô nghiệm

b, \(\hept{\begin{cases}mx+y=2m\\x+my=m+1\end{cases}}\)

\(\Leftrightarrow\hept{\begin{cases}y=2m-mx\\x+m\left(2m-mx\right)=m+1\end{cases}}\)

\(\Leftrightarrow\hept{\begin{cases}y=2m-mx\\\left(1-m^2\right)x=-2m^2+m+1\end{cases}}\)( * )

HPT vô nghiệm

<=> ( * ) vô nghiệm

\(\Leftrightarrow\hept{\begin{cases}1-m^2=0\\-2m^2+m+1\end{cases}}\ne0\)

<=> m = 1 hoặc m = -1 mà m khác 1 và -1/2 

<=> m = -1

Lời giải:

$x+my=2\Rightarrow x=2-my$. Thay vào PT(2):

$m(2-my)-2y=1$

$\Leftrightarrow 2m-y(m^2+2)=1$

$\Leftrightarrow y=\frac{2m-1}{m^2+2}$

$x=2-my=2-\frac{2m^2-m}{m^2+2}=\frac{m+4}{m^2+2}$

Vậy hpt có nghiệm $(x,y)=(\frac{m+4}{m^2+2}; \frac{2m-1}{m^2+2})$

Để $x<0; y>0$

$\Leftrightarrow \frac{m+4}{m^2+2}<0$ và $\frac{2m-1}{m^2+2}>0$

$\Leftrightarrow m+4<0$ và $2m-1>0$ (do $m^2+2>0$)

$\Leftrightarrow m< -4$ và $m> \frac{1}{2}$  (vô lý)

Do đó không tồn tại $m$ thỏa mãn đề.

Hệ có nghiệm duy nhất khi: \(\dfrac{1}{m}\ne\dfrac{m}{-2}\Rightarrow m^2\ne-2\) (luôn đúng)

\(\Rightarrow\) Hệ luôn có nghiệm duy nhất với mọi m

Khi đó: \(\left\{{}\begin{matrix}x+my=2\\mx-2y=1\end{matrix}\right.\) \(\Leftrightarrow\left\{{}\begin{matrix}2x+2my=4\\m^2x-2my=m\end{matrix}\right.\)

\(\Leftrightarrow\left\{{}\begin{matrix}\left(m^2+2\right)x=m+4\\y=\dfrac{mx-1}{2}\end{matrix}\right.\)

\(\Leftrightarrow\left\{{}\begin{matrix}x=\dfrac{m+4}{m^2+2}\\y=\dfrac{4m-2}{2\left(m^2+2\right)}\end{matrix}\right.\)

Nghiệm hệ thỏa mãn x<0, y<0 \(\Rightarrow\left\{{}\begin{matrix}\dfrac{m+4}{m^2+2}< 0\\\dfrac{4m-2}{2\left(m^2+2\right)}< 0\end{matrix}\right.\) (1)

Do \(m^2+2>0;\forall m\) nên (1) tương đương:

\(\left\{{}\begin{matrix}m+4< 0\\4m-2< 0\end{matrix}\right.\) \(\Leftrightarrow\left\{{}\begin{matrix}m< -4\\m< \dfrac{1}{2}\end{matrix}\right.\) \(\Rightarrow m< -4\)