+) Với m = 0 ta có nghiệm x = 2 > 0 và y = -1/2 < 0 ( thỏa mãn)

+) Với m khác 0

Ta có: \(\hept{\begin{cases}x+my=2\\mx-2y=1\end{cases}}\)

<=> \(\hept{\begin{cases}mx+m^2y=2m\\mx-2y=1\end{cases}}\)

<=> \(\hept{\begin{cases}m^2y+2y=2m-1\\x=2-my\end{cases}}\)

<=> \(\hept{\begin{cases}y=\frac{2m-1}{m^2+2}\\x=2-\frac{2m^2-m}{m^2+2}=\frac{4+m}{m^2+2}\end{cases}}\) 

Với đk: x > 0 ; y < 0 khi đó \(\hept{\begin{cases}\frac{2m-1}{m^2+2}< 0\\\frac{4+m}{m^2+2}>0\end{cases}}\Leftrightarrow\hept{\begin{cases}m< \frac{1}{2}\\m>-4\end{cases}}\Leftrightarrow-4< m< \frac{1}{2}\)

vì m khác 0 nên ta có: \(\hept{\begin{cases}-4< m< \frac{1}{2}\\m\ne0\end{cases}}\)

Kết hợp 2 TH ta có: -4 < m <1/2

a) Với \(m=0\): hệ phương trình đã cho tương đương với: 

\(\hept{\begin{cases}4y=10\\x=4\end{cases}}\Leftrightarrow\hept{\begin{cases}x=4\\y=\frac{5}{2}\end{cases}}\)

Với \(m\ne0\): hệ có nghiệm duy nhất khi: 

\(\frac{m}{1}\ne\frac{4}{m}\Leftrightarrow m\ne\pm2\)

Hệ có vô số nghiệm khi: 

\(\frac{m}{1}=\frac{4}{m}=\frac{10-m}{4}\Leftrightarrow m=2\)

Hệ vô nghiệm khi: 

\(\frac{m}{1}=\frac{4}{m}\ne\frac{10-m}{4}\Leftrightarrow m=-2\).

b) với \(m\ne\pm2\)hệ có nghiệm duy nhất. 

\(\hept{\begin{cases}mx+4y=10-m\\x+my=4\end{cases}}\Leftrightarrow\hept{\begin{cases}m\left(4-my\right)+4y=10-m\\x=4-my\end{cases}}\Leftrightarrow\hept{\begin{cases}\left(4-m^2\right)y=10-5m\\x=4-my\end{cases}}\)

\(\Leftrightarrow\hept{\begin{cases}x=\frac{8-m}{m+2}\\y=\frac{5}{m+2}\end{cases}}\)

\(\hept{\begin{cases}\frac{8-m}{m+2}>0\\\frac{5}{m+2}>0\end{cases}}\Leftrightarrow\hept{\begin{cases}8-m>0\\m+2>0\end{cases}}\Leftrightarrow-2< m< 8\)

c) \(\hept{\begin{cases}\frac{8-m}{m+2}=\frac{10-m-2}{m+2}=\frac{10}{m+2}-1\inℤ\\\frac{5}{m+2}\inℤ\end{cases}}\Leftrightarrow\frac{5}{m+2}\inℤ\)

\(\frac{5}{m+2}=t\inℤ\Rightarrow m=\frac{5}{t}-2\)

Để \(x,y\)dương thì \(-2< \frac{5}{t}-2< 8\Leftrightarrow0< \frac{5}{t}< 10\Rightarrow t\ge1\)

Vậy \(m=\frac{5}{t}-2\)với \(t\)nguyên dương thì thỏa mãn ycbt.