Lời giải:
Áp dụng BĐT Bunhiacopxky:
\(P^2=(a\sqrt{15ab+10b^2}+b\sqrt{15ab+10a^2})^2\leq (a^2+b^2)(15ab+10b^2+15ab+10a^2)\)
\(P^2\leq (a^2+b^2)(30ab+10a^2+10b^2)\)
Áp dụng BĐT Cauchy: \(2ab\leq a^2+b^2\Rightarrow 30ab\leq 15(a^2+b^2)\)
Do đó: \(P^2\leq (a^2+b^2)(15a^2+15b^2+10a^2+10b^2)=25(a^2+b^2)^2\)
\(\Rightarrow P\leq 5(a^2+b^2)\leq 5.2=10\)
Vậy $P_{\max}=10$ khi $a=b=1$