Lời giải:
Áp dụng BĐT Cauchy: \(4=ab\leq \frac{(a+b)^2}{4}\Leftrightarrow 16\leq (a+b)^2\Rightarrow 4\leq a+b\)
\(P=\frac{(a+b-2)(a^2+b^2)}{a+b}=\frac{(a+b-2)[(a+b)^2-2ab]}{a+b}=\frac{(a+b-2)[(a+b)^2-8]}{a+b}\)
Đặt $a+b=t$. Khi đó ta cần đi tìm min \(P=\frac{(t-2)(t^2-8)}{t}\) trong điều kiện $t\geq 4$
Thực hiện khai triển và áp dụng BĐT Cauchy:
\(P=\frac{t^3-8t-2t^2+16}{t}=t^2+\frac{16}{t}-2t-8\)
\(=\frac{t^2}{2}+(\frac{t^2}{4}+\frac{t^2}{4}+\frac{16}{t})-2t-8\)
\(\geq \frac{t^2}{2}+3\sqrt[3]{\frac{t^2}{4}.\frac{t^2}{4}.\frac{16}{t}}-2t-8=\frac{t^2}{2}+3t-2t-8=\frac{t^2}{2}+t-8\)
\(\geq \frac{4^2}{2}+4-8=4\)
Vậy $P_{\min}=4$ khi $t=4$ hay $a=b=2$
