Lời giải:
Từ PT $(1)$:
$\Rightarrow x(x^2+y^2)=y^6+y^4$
Nếu $x^2+y^2=0\Rightarrow x=y=0$ (thỏa mãn)
Nếu $x^2+y^2>0\Rightarrow x=\frac{y^6+y^4}{x^2+y^2}\geq 0$.
Cũng từ PT $(1)$:
\(\Leftrightarrow (x^3-y^6)+(xy^2-y^4)=0\)
\(\Leftrightarrow (x-y^2)(x^2+xy^2+y^4)+y^2(x-y^2)=0\)
\(\Leftrightarrow (x-y^2)(x^2+xy^2+y^4+y^2)=0\)
TH1: $x-y^2=0\Leftrightarrow x=y^2\Rightarrow x\geq 0$
Thay vào PT $(2)$ ta có:
\(2\sqrt{x^2+1}+\frac{1}{x^2+1}+4x^3=3\)
Thấy rằng:
\(2\sqrt{x^2+1}+\frac{1}{x^2+1}=\sqrt{x^2+1}+\sqrt{x^2+1}+\frac{1}{x^2+1}\geq 3\) theo BĐT AM-GM
\(4x^3\geq 0\) do $x\geq 0$
$\Rightarrow 2\sqrt{x^2+1}+\frac{1}{x^2+1}+4x^3\geq 3$
Dấu "=" xảy ra khi $\sqrt{x^2+1}=\frac{1}{x^2+1}$ và $x^3=0$ hay $x=0$
$\Rightarrow y^2=x=0\Rightarrow y=0$
Ta có cặp nghiệm $(x,y)=(0,0)$
TH2: $x^2+xy^2+y^4+y^2=0$
Vì $x\geq 0; y^2\geq 0$ nên $x^2+xy^2+y^4+y^2\geq 0$
Dấu "=" xảy ra khi $x=y^2=0$ hay $x=y=0$.
Tóm lại hệ có nghiệm $x=y=0$