ĐK: \(x\ne0;y\ne0\)
Ta có hệ phương trình \(\hept{\begin{cases}x^2+xy-y^2=5\left(1\right)\\\frac{y}{x}-\frac{2x}{y}=\frac{-5}{2}-\frac{2}{xy}\left(2\right)\end{cases}}\)
Từ pt (2) ta có \(\frac{2y^2}{2xy}-\frac{4x^2}{2xy}=\frac{-5xy-4}{2xy}\Rightarrow2y^2-4x^2=-5xy-4\)
\(\Rightarrow4x^2-5xy-2y^2=4\)
Ta có hệ mới \(\hept{\begin{cases}x^2+xy-y^2=5\\4x^2-5xy-2y^2=4\end{cases}}\Leftrightarrow\hept{\begin{cases}4x^2+4xy-4y^2=20\\20x^2-25xy-10y^2=20\end{cases}}\)
\(\Rightarrow4x^2+4xy-4y^2=20x^2-25xy-10y^2\)
\(\Rightarrow-16x^2+29x+6y^2=0\Rightarrow\orbr{\begin{cases}x=2y\\x=-\frac{3y}{16}\end{cases}}\)
Với x = 2y, ta có \(\left(2y\right)^2+2y.y-y^2=5\Rightarrow5y^2=5\Rightarrow\orbr{\begin{cases}y=1\Rightarrow x=2\\y=-1\Rightarrow x=-2\end{cases}}\)
Với \(x=-\frac{3}{16}y\), ta có \(\left(-\frac{3y}{16}\right)^2+\left(-\frac{3y}{16}\right).y-y^2=5\Rightarrow-\frac{296}{256}y^2=5\) (Vô nghiệm)
Vậy hệ phương trình có nghiệm (x;y) = (2;1) hoặc (x;y) = (-2;-1).