ĐK: \(x+\frac{1}{y}\ge0;x+y-3\ge0\)
Đặt \(\sqrt{x+\frac{1}{y}}=a;\sqrt{x+y-3}=b\left(a,b\ge0\right)\)
Khi đó, ta có \(a+b=3\) và \(a^2+b^2=x+\frac{1}{y}+x+y-3=2x+y+\frac{1}{y}-3=5\)
\(\hept{\begin{cases}a+b=3\\a^2+b^2=5\end{cases}}\Rightarrow\hept{\begin{cases}a=3-b\\9-6b+2b^2=5\end{cases}\Rightarrow\orbr{\begin{cases}b=2,a=1\\b=1,a=2\end{cases}}}\)
Với a = 1, b = 2, ta có \(\hept{\begin{cases}x+\frac{1}{y}=1\\x+y-3=2\end{cases}}\Rightarrow\hept{\begin{cases}x=1-\frac{1}{y}\\1-\frac{1}{y}+y-5=0\end{cases}\Rightarrow\hept{\begin{cases}x=1-\frac{1}{y}\\y^2-4y-1=0\end{cases}}}\)
\(\Rightarrow\orbr{\begin{cases}y=2+\sqrt{5},x=3-\sqrt{5}\\y=2-\sqrt{5},x=3+\sqrt{5}\end{cases}}\)
Với a = 2, b = 1, ta có \(\hept{\begin{cases}x+\frac{1}{y}=2\\x+y-3=1\end{cases}}\Rightarrow\hept{\begin{cases}x=2-\frac{1}{y}\\2-\frac{1}{y}+y-4=0\end{cases}\Rightarrow\hept{\begin{cases}x=2-\frac{1}{y}\\y^2-2y-1=0\end{cases}}}\)
\(\Rightarrow\orbr{\begin{cases}y=1+\sqrt{2},x=3-\sqrt{2}\\y=1-\sqrt{2},x=3+\sqrt{2}\end{cases}}\)
Vậy hệ có 4 nghiệm.