\(a+b\le10\Rightarrow a^2+ab\le10a\) (1)
\(\left(b-a\right)\left(7-b\right)\ge0\Leftrightarrow b^2+7a\le ab+7b\) (2)
Cộng vế với vế (1) và (2):
\(a^2+b^2\le3a+7b=3\left(a+b\right)+4b\le3.10+4.7=58\)
\(P_{max}=58\) khi \(\left\{{}\begin{matrix}b=7\\a=3\end{matrix}\right.\)
\(\left\{{}\begin{matrix}a^2\ge0\\b^2\ge0\end{matrix}\right.\) \(\Rightarrow P\ge0\)
\(P_{min}=0\) khi \(a=b=0\)