\(\sqrt{3b\left(a+2b\right)}\le\frac{3b+\left(a+2b\right)}{2}\); \(\sqrt{3a\left(b+2a\right)}\le\frac{3a+\left(b+2a\right)}{2}\)

=> M\(\le a\frac{a+5b}{2}+b\frac{5a+b}{2}\)=\(\frac{a^2+b^2+10ab}{2}\)\(\le\frac{6\left(a^2+b^2\right)}{2}\)( áp dụng 2ab\(\le a^2+b^2\))=3(a²+b²)\(\le\)6

dấu = khi a =b =1

Áp dụng bất đẳng thức Cô-si :

\(a\sqrt{3a\left(a+2b\right)}+b\sqrt{3b\left(b+2a\right)}\le a\cdot\frac{3a+a+2b}{2}+b\cdot\frac{3b+b+2a}{2}\)

\(=a\cdot\frac{4a+2b}{2}+b\cdot\frac{4b+2a}{2}\)

\(=a\left(2a+b\right)+b\left(2b+a\right)\)

\(=2a^2+2b^2+2ab\)

\(=2\left(a^2+b^2+ab\right)\le2\left(2+\frac{a^2+b^2}{2}\right)=2\left(2+\frac{2}{2}\right)=6\)

Dấu "=" xảy ra \(\Leftrightarrow a=b=1\)

p/s: có gì chiều giải nốt, giờ đi ăn cơm @@

Lời giải:

Áp dụng BĐT Bunhiacopxky:

\((a\sqrt{3a(a+2b)}+b\sqrt{3b(b+2a)})^2\leq (a^2+b^2)[3a(a+2b)+3b(b+2a)]\)

\((a\sqrt{3a(a+2b)}+b\sqrt{3b(b+2a)})^2\leq (a^2+b^2)(3a^2+3b^2+12ab)\)

Theo BĐT Cô-si: \(a^2+b^2\geq 2ab\Rightarrow 12ab\leq 6(a^2+b^2)\)

Do đó:

\((a\sqrt{3a(a+2b)}+b\sqrt{3b(b+2a)})^2\leq (a^2+b^2)(3a^2+3b^2+6a^2+6b^2)=9(a^2+b^2)^2\)

Mà \(a^2+b^2\leq 2\)

\(\Rightarrow (a\sqrt{3a(a+2b)}+b\sqrt{3b(b+2a)})^2\leq 9.2^2=36\)

\(\Rightarrow a\sqrt{3a(a+2b)}+b\sqrt{3b(b+2a)}\leq \sqrt{36}=6\)

(đpcm)

Dấu bằng xảy ra khi $a=b=1$

Áp dụng BĐT AM - GM, ta có:

\(2\ge a^2+b^2\ge2ab\)

\(\Leftrightarrow ab\le1\)

\(A=a\sqrt{3b\left(a+2b\right)}+b\sqrt{3a\left(b+2a\right)}\)

\(\le\dfrac{a\left(3b+a+2b\right)}{2}+\dfrac{b\left(3a+b+2a\right)}{2}\)

\(=\dfrac{a\left(5b+a\right)+b\left(5a+b\right)}{2}\)

\(=\dfrac{a^2+10ab+b^2}{2}\)

\(\le\dfrac{2+10}{2}=6\)

Dấu "=" xảy ra khi a = b = 1

Áp dụng BĐT Cô-si,ta có :

\(a\sqrt{3a\left(a+2b\right)}\le a.\frac{3a+a+2b}{2}=2a^2+ab\)

Tương tự : \(b\sqrt{3b\left(b+2a\right)}\le2b^2+ab\)

Cộng vế theo vế, ta được :

\(a\sqrt{3a\left(a+2b\right)}+b\sqrt{3b\left(b+2a\right)}\le2\left(a^2+b^2\right)+2ab=4+2ab\le4+a^2+b^2\le6\)

Dấu "=" xảy ra khi a = b = 1

=3a+2b bằng số thỏa mãn

Sử dụng BĐT Cauchy dạng \(\sqrt{xy}\le\frac{x+y}{2}\)dễ thấy, \(\hept{\begin{cases}a\sqrt{3a\left(a+2b\right)}\le a\frac{3a+a+2b}{2}=2a^2+ab\\b\sqrt{3b\left(b+2a\right)}\le b\frac{3b+b+2a}{2}=2b^2+ab\end{cases}}\)

Cộng 2 vế BĐT này lại vế với vế ta được

\(M=a\sqrt{3a\left(a+2b\right)}+b\sqrt{3b\left(b+2a\right)}\le2\left(a^2+b^2\right)+2ab=4+ab\)

Tiếp tục sử dụng BĐT Cauchy kết hopwh với giả thiết ta có:

\(4+2ab\le4+a^2+b^2=6\)

Dấu "=" xảy ra <=> a=b=1

Ta có \(\sqrt{3b\left(a+2b\right)}\le\frac{1}{2}\left(3b+a+2b\right)=\frac{1}{2}\left(a+5b\right)\)

        \(\sqrt{3a\left(b+2a\right)}\le\frac{1}{2}\left(5a+b\right)\)

=> \(P\le\frac{1}{2}\left(a^2+b^2+10ab\right)\)

Mà \(ab\le\frac{1}{2}\left(a^2+b^2\right)\le\frac{1}{2}.2=1\)

=> \(P\le\frac{1}{2}\left(2+10\right)=6\)

Vậy MaxP=6 khi a=b=1

Cảm ơn bạn Trần Phúc Khang ạ.