Lời giải:
ĐKXĐ: \(x>0,y\geq 0\)
Đặt \(x=a,\sqrt{xy}=b\). Nhân hai vế của PT $(2)$ với \(x\sqrt{x}\) ta có:
\(\text{HPT}\Leftrightarrow \left\{\begin{matrix} b^2+b+1=a\\ b^3+1=a+3ab\end{matrix}\right.\Rightarrow b^3+1=b^2+b+1+3ab\)
\(\Rightarrow b^3+1=b^2+b+1+3ab\Leftrightarrow b(b^2-b-1-3a)=0\)
TH1: \(b=0\Rightarrow \sqrt{xy}=0\). Vì $x\neq 0$ nên $y=0$. Thay vào PT $(1)$ suy ra $x=1$. Thử lại thỏa mãn
Ta có bộ $(x,y)=(1,0)$
TH2: \(b^2-b-1-3a=0\). Kết hợp với \(b^2+b+1=a\Rightarrow 3(b^2+b+1)-(b^2-b-1)=0\)
\(\Leftrightarrow b^2+2b+2=(b+1)^2+1=0(\text{vl})\)
Vậy HPT có nghiệm $(x,y)=(1,0)$