Lời giải:
Do đây là BĐT hoán vị nên ta hoàn toàn có thể giả sử $b$ nằm giữa $a$ và $c$ rồi dồn về 2 biến $a,c$
Khi đó:
\((b-c)(b-a)\leq 0\)
\(\Leftrightarrow b^2+ac\leq ab+bc\)\(\Rightarrow c(b^2+ac)\leq c(ab+bc)\)
\(\Rightarrow a^2b+b^2c+c^2a\leq a^2b+abc+bc^2=b(a^2+ac+c^2)\)
\(\Rightarrow (a^2b+b^2c+c^2a)(ab+bc+ac)\leq b(a^2+ac+c^2)(ab+bc+ac)\)
Mà:
\(b(a^2+ac+c^2)(ab+bc+ac)=(3-a-c)(a^2+ac+c^2)[(a+c)(3-a-c)+ac]\)
\(=(3-a-c)(a^2+ac+c^2)(3a+3c-a^2-c^2-ac)\)
\(=\frac{1}{3}(9-3a-3c)(a^2+ac+c^2)(3a+3c-a^2-c^2-ac)\)
\(\leq \frac{1}{3}\left(\frac{9-3a-3c+a^2+ac+c^2+3a+3c-a^2-c^2-ac}{3}\right)^3=\frac{1}{3}.3^3=9\) (theo BĐT AM-GM ngược dấu)
Do đó: \((a^2b+b^2c+c^2a)(ab+bc+ac)\leq 9\)
(đpcm)
Dấu "=" xảy ra khi $a=b=c=1$
