Giả sử \(c=min\left\{a,b,c\right\}\Rightarrow1=a^2+b^2+c^2+2abc\ge2c^3+3c^2\Rightarrow c\le\frac{1}{2}\)
Chọn t > 0 thỏa mãn: \(\hept{\begin{cases}2t^2+c^2+2t^2c=1\left(1\right)\\2t^2+c^2+2t^2c=a^2+b^2+c^2+2abc\left(2\right)\end{cases}}\) (từ (1) ta mới có (2):v)
(2) \(\Rightarrow2c\left(t^2-ab\right)=a^2+b^2-2t^2\).
Ta thấy rằng, nếu\(t^2< ab\) thì:\(2t^2>a^2+b^2\ge2ab\Rightarrow t^2>ab\) (mâu thuẫn).
Vì vậy: \(t^2\ge ab\Rightarrow a^2+b^2\ge2t^2\). Bây giờ đặt P = f(a;b;c)
Xét: \(f\left(a;b;c\right)-f\left(t;t;c\right)=\left(c-1\right)\left(t^2-ab\right)+c\left(a+b-2t\right)\)
\(=\left(c-1\right)\left(t^2-ab\right)+\frac{c\left(a^2+b^2-2t^2\right)+2c\left(ab-t^2\right)}{a+b+2t}\)\(=\left(c-1\right)\left(t^2-ab\right)+\frac{2c^2\left(t^2-ab\right)-2c\left(t^2-ab\right)}{a+b+2t}\)
\(=\left(c-1\right)\left(t^2-ab\right)\left(1+\frac{2c}{a+b+2t}\right)\le0\)
Do đó \(f\left(a;b;c\right)\le f\left(t;t;c\right)=f\left(t;t;1-2t^2\right)\).
\(=\frac{1}{8}\left(2c-1\right)^2\left[\left(2c-1\right)^2-6\right]+\frac{5}{8}\le\frac{5}{8}\)
Cách rất dài và hại não, tối rồi em lười check lại quá:((
