Lời giải:
Áp dụng BĐT AM-GM cho các số dương ta có:
$\frac{x^3}{x+1}+\frac{x(x+1)}{4}\geq x^2$
$\frac{y^3}{y+1}+\frac{y(y+1)}{4}\geq y^2$
$\frac{z^3}{z+1}+\frac{z(z+1)}{4}\geq z^2$
Cộng theo vế và thu gọn: $P\geq \frac{3(x^2+y^2+z^2)-(x+y+z)}{4}$
Cũng theo BĐT AM-GM: $(x+y+z)^2\leq 3(x^2+y^2+z^2)\Rightarrow x+y+z\leq \sqrt{3(x^2+y^2+z^2)}$
$\Rightarrow 3(x^2+y^2+z^2)-(x+y+z)\geq 3(x^2+y^2+z^2)-\sqrt{3(x^2+y^2+z^2)}=t^2-t$ với $t=\sqrt{3(x^2+y^2+z^2)}\geq \sqrt{3(xy+yz+xz)}\geq 3$
Dễ thấy $t^2-t=t(t-3)+2(t-3)+6=(t+2)(t-3)+6\geq 6$ với $t\geq 3$
Do đó $P\geq \frac{3(x^2+y^2+z^2)-(x+y+z)}{4}\geq \frac{6}{4}=\frac{3}{2}$
Vậy $P_{\min}=\frac{3}{2}$. Dấu "=" xảy ra khi $x=y=z=1$
