Để ý: \(ab+bc+ca=\frac{\left[\left(a+b+c\right)^2-\left(a^2+b^2+c^2\right)\right]}{2}\).
Do đó đặt \(a^2+b^2+c^2=x>0;a+b+c=y>0\). Bài toán được viết lại thành:
Cho \(y^2+5x=24\), tìm max:
\(P=\frac{x}{y}+\frac{y^2-x}{2}=\frac{5x}{5y}+\frac{y^2-x}{2}\)
\(=\frac{24-y^2}{5y}+\frac{y^2-\frac{24-y^2}{5}}{2}\)
\(=\frac{24-y^2}{5y}+\frac{3\left(y^2-4\right)}{5}\)\(=\frac{3y^3-y^2-12y+24}{5y}\)
Đặt \(y=t\). Dễ thấy \(12=3\left(a^2+b^2+c^2\right)+\left(ab+bc+ca\right)=3t^2-5\left(ab+bc+ca\right)\)
Và dễ dàng chứng minh \(ab+bc+ca\le3\)
Suy ra \(3t^2=12+5\left(ab+bc+ca\right)\le27\Rightarrow t\le3\). Mặt khác do a, b, c>0 do đó \(0< t\le3\).
Ta cần tìm Max P với \(P=\frac{3t^3-t^2-12t+24}{5t}\)và \(0< t\le3\)
Ta thấy khi t tăng thì P tăng. Do đó P đạt giá trị lớn nhất khi t lớn nhất.
Khi đó P = 3. Vậy...