Áp dụng bất đẳng thức bunhiacopxki cho 2 bộ số (a;b) và \(\left(\sqrt{3b\left(a+2b\right)};b\sqrt{3a\left(b+2a\right)}\right)\) ta được:
\(P^2\le\left(a^2+b^2\right)\left(6a^2+6ab+6b^2\right)=12\left(a^2+ab+b^2\right)=12\left(2+ab\right)\le12\left(2+1\right)=36\)(vì \(a^2+b^2\ge2ab\Leftrightarrow ab\le\dfrac{a^2+b^2}{2}=\dfrac{2}{2}=1\))
Do đó \(P^2\le36\Leftrightarrow P\le6\) (không có giá trị nhỏ nhất vì P luôn lớn hoặc =0 nên không thể lớn hơn hoặc = -6)
Vậy Max P= 6 khi a=b=1