Lời giải:
Không mất tính tổng quát, giả sử \(a>b> c\). Khi đó \(a-b>0; b-c> 0; c-a< 0\)
Áp dụng BĐT AM-GM:\(\frac{1}{(a-b)^2}+\frac{1}{(b-c)^2}\geq \frac{2}{(a-b)(b-c)}\)
Tiếp tục áp dụng BĐT AM-GM: \((a-b)(b-c)\leq \left(\frac{a-b+b-c}{2}\right)^2=\frac{(c-a)^2}{4}\)
\(\Rightarrow \frac{1}{(a-b)^2}+\frac{1}{(b-c)^2}\geq \frac{2}{\frac{(c-a)^2}{4}}=\frac{8}{(c-a)^2}\)
\(\Rightarrow \frac{1}{(a-b)^2}+\frac{1}{(b-c)^2}+\frac{1}{(c-a)^2}\geq \frac{9}{(c-a)^2} \)
Mà \(0\leq c< a\leq 2\Rightarrow 0< a-c\leq 2\Rightarrow (c-a)^2=(a-c)^2\leq 4\)
\(\Rightarrow \frac{1}{(a-b)^2}+\frac{1}{(b-c)^2}+\frac{1}{(c-a)^2}\geq \frac{9}{(c-a)^2} \geq \frac{9}{4}\) (đpcm)
Dấu "=" xảy ra khi $(a,b,c)=(2,1,0)$ và hoán vị.