Lời giải:
Ta có:
$P=a^2+b^2+c^2=(a+b+c)^2-2(ab+bc+ac)=9-2(ab+bc+ac)$
Vì $a,b,c\leq 2\Rightarrow (a-2)(b-2)(c-2)\leq 0$
$\Leftrightarrow abc-2(ab+bc+ac)+4(a+b+c)-8\leq 0$
$\Leftrightarrow 2(ab+bc+ac)\geq 4(a+b+c)+abc-8$
Mà $4(a+b+c)+abc-8=4+abc\geq 4$ do $a,b,c\geq 0$
Do đó $2(ab+bc+ac)\geq 4$
$\Rightarrow P=9-2(ab+bc+ac)\leq 5$
Vậy $P_{\max}=5$. Giá trị này đạt tại $(a,b,c)=(2,1,0)$ và hoán vị.