Lời giải:
Áp dụng BĐT AM-GM:
\(\left\{\begin{matrix} (a+b-c)(b+c-a)\leq \frac{(a+b-c+b+c-a)^2}{4}=b^2\\ (a+b-c)(c+a-b)\leq \frac{(a+b-c+c+a-b)^2}{4}=a^2\\ (b+c-a)(c+a-b)\leq \frac{(b+c-a+c+a-b)^2}{4}=c^2\end{matrix}\right.\)
Nhân theo vế và rút gọn, suy ra:
\((a+b-c)(b+c-a)(c+a-b)\leq abc\)
\(\Rightarrow F=\frac{(a+b-c)(b+c-a)(c+a-b)}{3abc}\leq \frac{abc}{3abc}=\frac{1}{3}\)
Vậy \(F_{\max}=\frac{1}{3}\Leftrightarrow a=b=c\)