Lời giải:
Biểu thức $P$ không đối xứng. Có lẽ đề bài đúng là:
\(P=\frac{1}{\sqrt{a^2-ab+3b^2+1}}+\frac{1}{\sqrt{b^2-bc+3c^2+1}}+\frac{1}{\sqrt{c^2-ab+3a^2+1}}\)
Áp dụng BĐT AM-GM ta có:
$a^2-ab+3b^2+1=(a^2+b^2)-ab+(b^2+1)+b^2\geq ab+2b+b^2$
$\Rightarrow \frac{1}{\sqrt{a^2-ab+3b^2+1}}\leq \frac{1}{\sqrt{ab+2b+b^2}}$
Mà cũng theo BĐT AM-GM kết hợp BĐT Cauchy_Schwarz:
\(\frac{1}{\sqrt{ab+2b+b^2}}=\frac{1}{\sqrt{b(a+b+2)}}\leq \frac{1}{4b}+\frac{1}{a+b+2}\leq \frac{1}{4b}+\frac{1}{16}\left(\frac{1}{a}+\frac{1}{b}+\frac{1}{1}+\frac{1}{1}\right)\)
\(=\frac{1}{16}.\frac{1}{a}+\frac{5}{16}.\frac{1}{b}+\frac{1}{8}\)
Hoàn toàn tương tự với các phân thức còn lại và cộng theo vế thu được:
$P\leq \frac{3}{8}\left(\frac{1}{a}+\frac{1}{b}+\frac{1}{c}\right)+\frac{3}{8}\leq \frac{3}{8}.3+\frac{3}{8}=\frac{3}{2}$
Vậy $P_{\max}=\frac{3}{2}$. Dấu "=" xảy ra khi $a=b=c=1$
