Lời giải:
Đặt \((\frac{1}{x}, \frac{1}{y}, -xy)=(a,b,c)\Rightarrow abc=-1\). HPT đã cho trở thành:
\(\left\{\begin{matrix} a^2+b^2=3+c^2\\ a^3+b^3-3abc=-c^3\end{matrix}\right.\Leftrightarrow \left\{\begin{matrix} a^2+b^2=3+c^2(1)\\ a^3+b^3+c^3-3abc=0(2)\end{matrix}\right.\)
Xét (2):
\(\Leftrightarrow (a+b+c)(a^2+b^2+c^2-ab-bc-ac)=0\) (đây là 1 đẳng thức đã rất quen thuộc)
\(\Rightarrow \left[\begin{matrix} a+b+c=0\\ a^2+b^2+c^2-ab-bc-ac=0\end{matrix}\right.\)
$\bullet$ Nếu \(a+b+c=0\):
Khi đó: \((1)\Leftrightarrow (a+b)^2-2ab=3+c^2\)
\(\Leftrightarrow (-c)^2-2ab=-3abc+c^2\Leftrightarrow ab(3c-2)=0\)
Do $a,b\neq 0$ nên \(c=\frac{2}{3}\Leftrightarrow ab=-\frac{3}{2}(*)\)
\(a+b=-c=\frac{-2}{3}(**)\)
Từ \((*); (**)\) và áp dụng định lý Vi-et đảo suy ra \(a,b\) là nghiệm của pt \(X^2+\frac{2}{3}X-\frac{3}{2}=0\Rightarrow (a,b)=(\frac{-2+\sqrt{58}}{6}, \frac{-2-\sqrt{58}}{6})\) và hoán vị
\(\Rightarrow (x,y)=(\frac{2+\sqrt{58}}{9}, \frac{2-\sqrt{58}}{9})\) và hoán vị
$\bullet$ Nếu $a^2+b^2+c^2-ab-bc-ac=0$
\(\Leftrightarrow (a-b)^2+(b-c)^2+(c-a)^2=0\)
\(\Rightarrow a=b=c\Leftrightarrow \frac{1}{x}=\frac{1}{y}=-xy\Rightarrow x=y=-1\) (thay vào pt đầu tiên của hệ không thỏa mãn nên loại)
Vậy.........
