Lời giải:
$P=a^4+b^4-ab=(a^2+b^2)^2-2a^2b^2-ab$
$=(3-ab)^2-2a^2b^2-ab=-a^2b^2+9-7ab=-[(ab)^2+7ab-9]$
Ta thấy:
$3=a^2+b^2+ab=(a-b)^2+3ab\Rightarrow 3ab=3-(a-b)^2\leq 3\Rightarrow ab\leq 1$
$3=a^2+b^2+ab=(a+b)^2-ab\Rightarrow ab=(a+b)^2-3\geq -3$
Vậy $1\geq ab\geq -3(*)$
Ta có:
$(ab)^2+7ab-9=ab(ab-1)+8(ab-1)-1=(ab+8)(ab-1)-1$. Vì $(*)$ nên $(ab+8)(ab-1)\leq 0$
$\Rightarrow (ab)^2+7ab-9=(ab+8)(ab-1)-1\leq -1$
$\Rightarrow P\geq 1$ hay $P_{\min}=1$
Mặt khác:
$(ab)^2+7ab-9=ab(ab+3)+4(ab+3)-3=(ab+3)(ab+4)-3\geq -3$ do $ab\geq -3$
$\Rightarrow P=-[(ab)^2+7ab-9]\leq 3$ hay $P_{\max}=3$