Gọi S là diện tích tam giác ABC, p là nửa chu vi.
Ta có: \(r=\frac{S}{p}\).
Lại có: \(S=\sqrt{p\left(p-a\right)\left(p-b\right)\left(p-c\right)}\) (Công thức Heron)
\(\Rightarrow r=\sqrt{\frac{\left(p-a\right)\left(p-b\right)\left(p-c\right)}{p}}=\sqrt{\frac{\frac{a+b-c}{2}.\frac{b+c-a}{2}.\frac{c+a-b}{2}}{\frac{a+b+c}{2}}}=\sqrt{\frac{\left(a+b-c\right)\left(b+c-a\right)\left(c+a-b\right)}{4\left(a+b+c\right)}}\).
Do đó: \(\frac{a^2+b^2+c^2}{r^2}=36\)
\(\Leftrightarrow\left(a^2+b^2+c^2\right):\frac{\left(a+b-c\right)\left(b+c-a\right)\left(c+a-b\right)}{4\left(a+b+c\right)}=36\)
\(\Leftrightarrow\left(a^2+b^2+c^2\right)\left(a+b+c\right)=9\left(a+b-c\right)\left(b+c-a\right)\left(c+a-b\right)\) (*)
Áp dụng bất đẳng thức AM - GM ta có: \(\left(a^2+b^2+c^2\right)\left(a+b+c\right)\ge3\sqrt[3]{a^2b^2c^2}.3\sqrt[3]{abc}=9abc\). (1)
Đẳng thức xảy ra ở (1) khi và chỉ khi a = b = c.
Do \(a+b-c,b+c-a,c+a-b0\ge\) nên áp dụng bất đẳng thức AM - GM ta có:
\(abc=\frac{\left[\left(a+b-c\right)+\left(b+c-a\right)\right]\left[\left(b+c-a\right)+\left(c+a-b\right)\right]\left[\left(c+a-b\right)+\left(a+b-c\right)\right]}{8}\ge\frac{2\sqrt{\left(a+b-c\right)\left(b+c-a\right)}.2\sqrt{\left(b+c-a\right)\left(c+a-b\right)}.2\sqrt{\left(c+a-b\right)\left(a+b-c\right)}}{8}=\left(a+b-c\right)\left(b+c-a\right)\left(c+a-b\right)\) (2)
Đẳng thức ở (2) xảy ra khi và chỉ khi \(a+b-c=b+c-a=c+a-b\Leftrightarrow a=b=c\).
Từ (1), (2) suy ra \(\left(a^2+b^2+c^2\right)\left(a+b+c\right)\ge9\left(a+b-c\right)\left(b+c-a\right)\left(c+a-b\right)\).
Mà theo (*) thì đẳng thức xảy ra
Nên đẳng thức ở (1), (2) xảy ra \(\Leftrightarrow a=b=c\).
Vậy a = b = c hay tam giác ABC đều.