Lời giải:
Đặt $xy=t$
Áp dụng BĐT AM_GM:
$xy\leq \frac{(x+y)^2}{4}=3$. Như vậy $0\leq t\leq 3$
Ta có:
$P=(x^4+1)(y^4+1)=x^4y^4+x^4+y^4+1$
$=x^4y^4+(x^2+y^2)^2-2x^2y^2+1$
$=x^4y^4+[(x+y)^2-2xy]^2-2x^2y^2+1$
$=x^4y^4+2x^2y^2-48xy+145$
$=t^4+2t^2-48t+145$
$=t(t^3+2t-48)+145$
Vì $0\leq t\leq 3$ nên $t(t^3+2t-48)\leq 0$
$\Rightarrow P\leq 145$
Vậy $P_{\max}=145$. Giá trị này đạt tại $(x,y)=(0,2\sqrt{3})$ và hoán vị.