Đặt \(a=\frac{9+3\sqrt{17}}{4};b=\frac{3+\sqrt{17}}{4}\Rightarrow a=3b\) và \(a+1=2b^2=c=\frac{13+3\sqrt{17}}{4}\)
Áp dụng BĐT AM-GM ta có:
\(x^2+b^2y^2\ge2bxy\)
\(by^2+z^2\ge2byz\)
\(a\left(z^2+x^2\right)\ge2azx\)
Cộng vế theo vế của các BĐT ta được:
\(\left(a+1\right)\left(x^2+z^2\right)+2b^2y^2\ge2b\left(xy+yz\right)+2azx\)
\(\Rightarrow c\left(x^2+y^2+z^2\right)\ge2b\left(xy+yz+3zx\right)\). Tiếp tục thay các giá trị của \(xy+yz+3zx\)vào b và c để được:
\(P=x^2+y^2+z^2\ge\frac{\sqrt{17}-3}{2}\)
\(\Rightarrow x=z=\frac{1}{\sqrt[4]{17}};y=\sqrt{\frac{13-\sqrt{17}-51}{34}}\left(TMĐK\right)\)
\(\Rightarrow P=\frac{\sqrt{17}-3}{2}\)là GTNN của biểu thức P ( đpcm )
