TH1: \(a< 3\Rightarrow b< a< 3\Rightarrow P=a^2+b^2< 3^2+3^2=18\) (1)
TH2: \(3\le a\le4\)
\(\Rightarrow\left(4-a\right)\left(b-a\right)\le0\Rightarrow4b\le4a+ab-a^2\)
\(\Rightarrow2ab\le3a+4b\le3a+4a+ab-a^2\)
\(\Rightarrow ab\le7a-a^2\)
\(\Rightarrow b\le7-a\)
\(\Rightarrow P=a^2+b^2\le a^2+\left(7-a\right)^2=25+2\left(a-3\right)\left(a-4\right)\)
Mà \(3\le a\le4\Rightarrow\left(a-3\right)\left(a-4\right)\le0\)
\(\Rightarrow P\le25\) (2)
(1);(2) \(\Rightarrow P_{max}=25\) khi \(\left(a;b\right)=\left(4;3\right)\)