Lời giải:
Áp dụng BĐT Cauchy:
\(4=a^2+b^2\geq 2\sqrt{a^2b^2}=2|ab|\geq 2ab\Rightarrow ab\leq 2\)
\(P=a^4+b^4+4ab=(a^2+b^2)^2-2a^2b^2+4ab\)
\(=16-2(a^2b^2-2ab)=18-2(a^2b^2-2ab+1)\)
\(=18-2(ab-1)^2\)
Vì \((ab-1)^2\geq 0, \forall ab\leq 2\Rightarrow P=18-2(ab-1)^2\leq 18\)
Vậy \(P_{\max}=18\Leftrightarrow \left\{\begin{matrix} ab=1\\ a^2+b^2=4\end{matrix}\right.\)