Lời giải:
Không mất tổng quát, giả sử \(c=\max(a,b,c)\Rightarrow 6=a+b+c\leq 3c\Rightarrow c\geq 2\)
Ta có:
\(P=a^2+b^2+c^2=(a+b+c)^2-2(ab+bc+ac)=36-2(ab+bc+ac)\)
Vì \(a,b,c\geq 1\Rightarrow (a-1)(b-1)\geq 0\)
\(\Rightarrow ab\geq a+b-1\)
\(\Rightarrow ab+bc+ac\geq a+b-1+bc+ac\)
\(\Rightarrow ab+bc+ac\geq 6-c-1+c(6-c)\)
\(\Rightarrow ab+bc+ac\geq 11-(c^2-5c+6)\)
\(\Rightarrow ab+bc+ac\geq 11-(c-2)(c-3)\)
Vì \(3\geq c\geq 2\Rightarrow (c-2)(c-3)\leq 0\Rightarrow 11-(c-2)(c-3)\geq 11\)
Do đó: \(ab+bc+ac\geq 11\Rightarrow P=36-2(ab+bc+ac)\leq 14\)
Vậy \(P_{\max}=14\Leftrightarrow (a,b,c)=(3,2,1)\) và các hoán vị.