Lời giải:
Ta có:
\(P=a^5+b^5=(a^2+b^2)(a^3+b^3)-a^2b^2(a+b)\)
\(=[(a+b)^2-2ab][(a+b)^3-3ab(a+b)]-a^2b^2(a+b)\)
\(=(4-2ab)(8-6ab)-2a^2b^2=10a^2b^2-40ab+32\)
\(=10t^2-40t+32\)
Trong đó: \(\frac{(a+b)^2}{4}-t=\frac{(a+b)^2}{4}-ab=\frac{(a-b)^2}{4}\geq 0\Rightarrow t\leq \frac{(a+b)^2}{4}=1\)
Với mọi $t\leq 1$ ta có:
$P=10t^2-40t+32=10(t-1)^2-20t+22\geq 10.0^2-20.1+22=2$
Vậy $P_{\min}=2$. Giá trị đạt được khi $t=1$ hay $a=b=1$