Ta có:\(a^2+b^2+c^2=\left(a+b+c\right)^2-2\left(ab+bc+ca\right)=\left(a+b+c\right)^2-18\)
Ta chuyển bài toán về tìm max a+b+c
Ta có:\(\left(a-1\right)\left(b-1\right)\ge0\Rightarrow ab+1\ge a+b\)
CMTT\(\Rightarrow bc+1\ge b+c;ca+1\ge c+a\)
Cộng vế theo vế ta có:\(ab+bc+ca+3\ge2\left(a+b+c\right)\)
\(\Leftrightarrow a+b+c\le6\)
\(\Rightarrow a^2+b^2+c^2\le36-18=18\)
"="<=>a=b=1;c=4 và các hoán vị