\(M=4.\dfrac{a}{2}.\dfrac{b\sqrt{3}}{2}+a^2\le2\left(\dfrac{a^2}{4}+\dfrac{3b^2}{4}\right)+a^2=\dfrac{3}{2}\left(a^2+b^2\right)=\dfrac{3}{2}\)
\(M_{max}=\dfrac{3}{2}\) khi \(\left(a;b\right)=\left(\dfrac{\sqrt{3}}{2};\dfrac{1}{2}\right);\left(-\dfrac{\sqrt{3}}{2};-\dfrac{1}{2}\right)\)