Áp dụng bất đẳng thức \(AM-GM\) cho từng cặp số không âm, ta có:
\(a^2+b^2\ge2ab\) \(\left(1\right)\)
\(b^2+1\ge2b\) \(\left(2\right)\)
Cộng \(\left(1\right)\) và \(\left(2\right)\) vế theo vế, ta được:
\(a^2+2b^2+1\ge2ab+2b\)
\(\Rightarrow\) \(a^2+2b^2+3\ge2ab+2b+2\)
Vì hai vế của bất đẳng thức trên cùng dấu (do \(a,b,c>0\)) nên ta nghịch đảo hai vế và đổi chiều bất đẳng thức:
\(\frac{1}{a^2+2b^2+3}\le\frac{1}{2ab+2b+2}\) \(\left(1\right)\)
Hoàn toàn tương tự với vòng hoán vị \(b\) \(\rightarrow\) \(c\) \(\rightarrow\) \(a\) \(\rightarrow\) \(b\), ta có:
\(\frac{1}{b^2+2c^2+3}\ge\frac{1}{2bc+2c+2}\) \(\left(2\right)\) và \(\frac{1}{c^2+2a^2+3}\ge\frac{1}{2ca+2a+2}\) \(\left(3\right)\)
Cộng từng vế \(\left(1\right);\) \(\left(2\right)\) và \(\left(3\right)\), ta được:
\(VT\le\frac{1}{2ab+2b+2}+\frac{1}{2bc+2c+2}+\frac{1}{2ca+2a+2}=\frac{1}{2}\left(\frac{1}{ab+b+1}+\frac{1}{bc+c+1}+\frac{1}{ca+a+1}\right)\) \(\left(\text{*}\right)\)
Mặt khác, xét từng phân thức \(\frac{1}{ab+b+1};\frac{1}{bc+c+1};\frac{1}{ca+a+1}\) kết hợp với giả thiết đã cho, nghĩa là \(abc=1,\) ta có:
\(\frac{1}{ab+b+1};\) \(\frac{1}{bc+c+1}=\frac{abc}{bc+c+abc}=\frac{ab}{ab+b+1}\) và \(\frac{1}{ca+a+1}=\frac{abc}{ca+a+abc}=\frac{bc}{bc+c+1}=\frac{bc}{bc+c+abc}=\frac{b}{ab+b+1}\)
Do đó, \(\frac{1}{ab+b+1}+\frac{1}{bc+c+1}+\frac{1}{ca+a+1}=\frac{1}{ab+b+1}+\frac{ab}{ab+b+1}+\frac{b}{ab+b+1}=1\) \(\left(\text{**}\right)\)
Từ \(\left(\text{*}\right)\) và \(\left(\text{**}\right)\) suy ra \(\frac{1}{a^2+2b^2+3}+\frac{1}{b^2+2c^2+3}+\frac{1}{c^2+2a^2+3}\le\frac{1}{2}\)
Dấu \("="\) xảy ra \(\Leftrightarrow\) \(a=b=c\)
