ĐKXĐ: ...
Đặt \(\sqrt{xy}=t\ge0\Rightarrow x+y=3-t\)
Bình phương 2 vế pt dưới:
\(x+y+2+2\sqrt{xy+x+y+1}=16\)
\(\Leftrightarrow3-t+2\sqrt{t^2+3-t+1}=14\)
\(\Leftrightarrow2\sqrt{t^2-t+4}=t+11\)
\(\Leftrightarrow4t^2-4t+16=t^2+22t+121\)
\(\Leftrightarrow3t^2-26t-105=0\Rightarrow\left[{}\begin{matrix}t=-3\left(l\right)\\t=\frac{35}{3}\end{matrix}\right.\)
\(\Rightarrow\left\{{}\begin{matrix}\sqrt{xy}=\frac{35}{3}\\x+y=-\frac{26}{3}\end{matrix}\right.\) \(\Leftrightarrow\left\{{}\begin{matrix}xy=\frac{1225}{9}\\x+y=-\frac{26}{3}\end{matrix}\right.\)
Theo Viet đảo, x và y là nghiệm: \(X^2+\frac{26}{3}X+\frac{1225}{9}=0\) (vô nghiệm)
Vậy hệ đã cho vô nghiệm