Lời giải:
Áp dụng BĐT Cô-si ngược dấu ta có:
\(a^2b^2(a^2+b^2)=\frac{ab}{2}.2ab(a^2+b^2)\leq \frac{ab}{2}\left(\frac{2ab+a^2+b^2}{2}\right)^2\)
\(\Leftrightarrow a^2b^2(a^2+b^2)\leq \frac{ab}{2}(a+b)^2=\frac{ab}{2}.4=2ab(1)\)
Tiếp tục áp dụng BĐT Cô-si:
\(2ab\leq 2\left(\frac{a+b}{2}\right)^2=2(\frac{2}{2})^2=2(2)\)
Từ \((1);(2)\Rightarrow a^2b^2(a^2+b^2)\leq 2\) (đpcm)
Dấu "=" xảy ra khi $a=b=1$