Lời giải:
Áp dụng BĐT AM-GM cho các số dương:
\((a+b-c)(b+c-a)\leq \left(\frac{a+b-c+b+c-a}{2}\right)^2=b^2\)
\((a+b-c)(c+a-b)\leq \left(\frac{a+b-c+c+a-b}{2}\right)^2=a^2\)
\((b+c-a)(c+a-b)\leq \left(\frac{b+c-a+c+a-b}{2}\right)^2=c^2\)
Nhân theo vế và rút gọn :
\(\Rightarrow (a+b-c)(b+c-a)(c+a-b)\leq abc\)
\(\Leftrightarrow (6-2c)(6-2a)(6-2b)\leq abc\) (do $a+b+c=6$)
\(\Leftrightarrow 8[27-9(a+b+c)+3(ab+bc+ac)-abc]\leq abc\)
\(\Leftrightarrow 8(-27+3(ab+bc+ac)-abc)\leq abc\)
\(\Leftrightarrow abc\geq \frac{8}{3}(ab+bc+ac)-24\)
Do đó:
\(3(a^2+b^2+c^2)+2abc\geq 3(a^2+b^2+c^2)+\frac{16}{3}(ab+bc+ac)-48\)
\(=3(a+b+c)^2-\frac{2}{3}(ab+bc+ac)-48=60-\frac{2}{3}(ab+bc+ac)\)
Mà theo hệ quả của BĐT AM-GM \(ab+bc+ac\leq \frac{(a+b+c)^2}{3}=12\)
\(\Rightarrow 3(a^2+b^2+c^2)+2abc\geq 60-\frac{2}{3}.12=52\) (đpcm)
Dấu "=" xảy ra khi $a=b=c=2$