Áp dụng BĐT AM-GM ta có:
\(x^2+2\sqrt{x}=x^2+\sqrt{x}+\sqrt{x}\ge3\sqrt[3]{x^2\cdot\sqrt{x}\cdot\sqrt{x}}=3x\)
Tương tự ta có: \(\hept{\begin{cases}y^2+2\sqrt{y}\ge3y\\z^2+2\sqrt{z}\ge3z\end{cases}}\)
Cộng theo vế các BĐT trên ta được:\(\left(x^2+y^2+z^2\right)+2\left(\sqrt{x}+\sqrt{y}+\sqrt{z}\right)\)
\(\ge3\left(x+y+z\right)=\left(x+y+z\right)^2\). Suy ra
\(\left(x^2+y^2+z^2\right)+2\left(\sqrt{x}+\sqrt{y}+\sqrt{z}\right)\ge x^2+y^2+z^2+2\left(xy+yz+xz\right)\)
\(\Leftrightarrow\sqrt{x}+\sqrt{y}+\sqrt{z}\ge xy+yz+xz\)
Dấu "=" xảy ra khi \(\hept{\begin{cases}x+y+z=3\\x=y=z\end{cases}}\Rightarrow x=y=z=1\)
Vậy hệ pt có nghiệm là (x;y;z)=(1;1;1)