Lời giải:
Ta có:
\(P=a^2b^2(a^2+b^2)\Rightarrow 2P=ab.2ab(a^2+b^2)\)
Áp dụng BĐT Cô-si ngược dấu:
\(2ab(a^2+b^2)\leq \left(\frac{2ab+a^2+b^2}{2}\right)^2=\frac{(a+b)^4}{4}=64(1)\)
Áp dụng BĐT Cô-si cho các số dương:
\(4=a+b\geq 2\sqrt{ab}\Rightarrow ab\leq 4(2)\)
Từ \((1);(2)\Rightarrow 2P=ab.2ab(a^2+b^2)\leq 4.64=256\)
\(\Rightarrow P\leq 128\) (đpcm)
Dấu "=" xảy ra khi $a=b=2$