ĐKXĐ: ...
Đặt \(\sqrt{xy}=t\ge0\Rightarrow x+y=t+3\)
Bình phương 2 vế pt dưới:
\(x+y+2+2\sqrt{xy+x+y+1}=16\)
\(\Leftrightarrow t+5+2\sqrt{t^2+t+4}=16\)
\(\Leftrightarrow2\sqrt{t^2+t+4}=11-t\) (\(t\le11\))
\(\Leftrightarrow4t^2+4t+16=121-22t+t^2\)
\(\Leftrightarrow3t^2+26t-105=0\Rightarrow\left[{}\begin{matrix}t=3\\t=-\frac{35}{3}\left(l\right)\end{matrix}\right.\)
\(\Rightarrow\left\{{}\begin{matrix}\sqrt{xy}=3\\x+y=6\end{matrix}\right.\) \(\Leftrightarrow\left\{{}\begin{matrix}x+y=6\\xy=9\end{matrix}\right.\)
Theo Viet đảo; x và y là nghiệm:
\(X^2-6X+9=0\Rightarrow X=3\Rightarrow x=y=3\)