Xét pt thứ nhất: \(x^2+xy^2-xy-y^3=0\Leftrightarrow\left(x+y^2\right)\left(x-y\right)=0\)
Do \(x\ge0\) nên nếu \(x+y^2=0\) thì \(x=y=0\), thử vào pt thứ hai thấy không thỏa mãn.
Vậy \(x=y\), thay vào pt thứ hai:
\(2y^2-3y\sqrt{y}-y-3\sqrt{y}+2=0\)
Chia cả hai vế cho y ta được:
\(2\left(y+\frac{1}{y}\right)-3\left(\sqrt{y}+\frac{1}{\sqrt{y}}\right)-1=0\)
Đặt \(\sqrt{y}+\frac{1}{\sqrt{y}}=a>0\)
Ta có: \(2a^2-3a-5=0\Leftrightarrow\left(2a-5\right)\left(a+1\right)=0\)
⇔ \(a=\frac{5}{2}\)
⇔ \(\sqrt{y}+\frac{1}{\sqrt{y}}=\frac{5}{2}\) ⇔
\(2y-5\sqrt{y}+2=0\Leftrightarrow\)\(\left(2\sqrt{y}-1\right)\left(\sqrt{y}-2\right)=0\)
⇔ \(\left[{}\begin{matrix}x=y=4\\x=y=\frac{1}{4}\end{matrix}\right.\)