Ta có \(2ab\le a^2+b^2\)
Áp dụng BĐT Bunhia:
\(M^2\le\left(a^2+b^2\right)\left(b\left(a+8b\right)+a\left(b+8a\right)\right)\)
\(\Rightarrow M^2\le\left(a^2+b^2\right)\left(2ab+8b^2+8a^2\right)\)
\(\Rightarrow M^2\le\left(a^2+b^2\right)\left(8a^2+8b^2+a^2+b^2\right)\)
\(\Rightarrow M^2\le9\left(a^2+b^2\right)^2\Rightarrow M\le3\left(a^2+b^2\right)=48\)
\(\Rightarrow M_{max}=48\) khi \(a=b=2\sqrt{2}\)