Lời giải:
Tìm min:
Áp dụng BĐT AM-GM: $a^2+b^2\geq \frac{(a+b)^2}{2}$ và $a^2+b^2\geq 2ab$
$\Rightarrow a+b\leq 2$ và $ab\leq 1$
Áp dụng BĐT Bunhiacopxky:
$(a^3+b^3)(a+b)\geq (a^2+b^2)^2=4\Rightarrow a^3+b^3\geq frac{4}{a+b}\geq \frac{4}{2}=2$
$\Rightarrow a^3+b^3+4\geq 6(1)$
Lại có: $ab+1\leq 1+1=2(2)$
Từ $(1);(2)\Rightarrow P\geq \frac{6}{2}=3$ hay $P_{\min}=3$. Dấu "=" xảy ra khi $a=b=1$
-----------------
Tìm max:
$a^2+b^2=2\Rightarrow (a+b)^2=2(1+ab)\Rightarrow ab+1=\frac{(a+b)^2}{2}$
Đặt $a+b=t$ thì $ab+1=\frac{t^2}{2}$.
Dễ thấy $(a+b)^2=2(1+ab)\geq 2$ do $ab\geq 0$ nên $a+b\geq \sqrt{2}$ hay $t\geq \sqrt{2}$
Biến đổi $P$
$P=\frac{(a+b)(a^2+b^2-ab)+4}{ab+1}=\frac{(a+b)[3-(ab+1)]+4}{ab+1}$
$=\frac{t(3-\frac{t^2}{2})+4}{\frac{t^2}{2}}=\frac{t(6-t^2)+8}{t^2}=\frac{6}{t}+\frac{8}{t^2}-t\leq \frac{6}{\sqrt{2}}+\frac{8}{2}-\sqrt{2}$ do $t\geq \sqrt{2}$
Hay $P\leq 4+2\sqrt{2}$
Vậy $P_{\max}=4+2\sqrt{2}$ khi $(a,b)=(\sqrt{2},0)$ và hoán vị.
