Lời giải:
PT $(2)\Leftrightarrow \left(\frac{x}{y}+y\right)^2-2x+2\sqrt{x^2+1}=3$
$\Leftrightarrow \frac{(x+y^2)^2}{y^2}+2(\sqrt{x^2+1}-x)=3$
PT $(1)\Leftrightarrow (x+y^2)+\frac{y(\sqrt{x^2+1}-x)}{(\sqrt{x^2+1}+x)(\sqrt{x^2+1}-x)}=0$
$\Leftrightarrow (x+y^2)+y(\sqrt{x^2+1}-x)=0$
Đặt $x+y^2=a; \sqrt{x^2+1}-x=b$ thì ta thu được:
\(\left\{\begin{matrix} \frac{a^2}{y^2}+2b=3\\ a+yb=0\end{matrix}\right.\Rightarrow \left\{\begin{matrix} a^2+2by^2=3y^2\\ a^2=(yb)^2\end{matrix}\right.\)
\(\Rightarrow (yb)^2+2by^2=3y^2\)
\(\Rightarrow b^2+2b=3\) (do $y\neq 0$)
$\Rightarrow b=1$ hoặc $b=-3$. Hiển nhiên $b=\sqrt{x^2+1}-x>\sqrt{x^2}-x=|x|-x\geq 0$ nên $b=1$
Do đó: $\sqrt{x^2+1}-x=1$
$\Rightarrow \sqrt{x^2+1}=x+1$
$\Rightarrow x^2+1=(x+1)^2=x^2+2x+1$
$\Rightarrow x=0$ (thỏa mãn)
Thay vào PT đầu tiên suy ra $y=- 1$
Vậy.......