Lời giải:
Bổ sung đk $x,y>0$ nếu không $P$ không có max.
$1=x^2+xy+y^2=\frac{3}{4}(x+y)^2+\frac{1}{4}(x-y)^2\geq \frac{3}{4}(x+y)^2$
$\Rightarrow (x+y)^2\leq \frac{4}{3}$
Áp dụng BĐT AM-GM:
$P=xy(x^2+y^2)=\frac{1}{2}.2xy(x^2+y^2)\leq \frac{1}{2}.\left(\frac{2xy+x^2+y^2}{2}\right)^2=\frac{(x+y)^4}{8}\leq \frac{(\frac{4}{3})^2}{8}=\frac{2}{9}$
Vậy $P_{\max}=\frac{2}{9}$ khi $x=y=\frac{1}{\sqrt{3}}$