Lời giải:
Áp dụng BĐT Bunhiacopxky:
\(\left(\frac{1}{a^2+b^2}+\frac{1}{2ab}\right)(a^2+b^2+2ab)\geq (1+1)^2\)
\(\Leftrightarrow P(a+b)^2\geq 4\Rightarrow P\geq \frac{4}{(a+b)^2}\)
Mà \(0< a+b\leq 4\Rightarrow (a+b)^2\leq 16\)
\(\Rightarrow P\geq \frac{4}{(a+b)^2}\geq \frac{4}{16}=\frac{1}{4}\)
Vậy GTNN của $P$ là $\frac{1}{4}$ khi $a=b=2$