Lời giải:
Giả sử \(b=\text{mid}(a,b,c)\Rightarrow (b-a)(b-c)\leq 0\)
\(\Leftrightarrow b^2+ac\leq bc+ba\)
\(\Rightarrow b^2a+a^2c\leq abc+a^2b\)
\(\Rightarrow ab^2+bc^2+ca^2\leq abc+a^2b+bc^2\)
Lại có, áp dụng BĐT AM-GM:
\(abc+a^2b+bc^2=b(ac+a^2+c^2)\leq b(2ac+a^2+c^2)=b(a+c)^2=\frac{1}{2}.2b(a+c)(a+c)\)
\(\leq \frac{1}{2}\left(\frac{2b+a+c+a+c}{3}\right)^3=\frac{1}{2}\left(\frac{2(a+b+c)}{3}\right)^3=4\)
Vậy $P_{\max}=4$ khi $(a,b,c)=(2,1,0)$ và hoán vị.