Lời giải:
Theo bài ra ta có:
\(5x+2y=10\Leftrightarrow y=\frac{10-5x}{2}\)
Thay vào biểu thức $M$
\(M=3x.\frac{10-5x}{2}-x^2-\left(\frac{10-5x}{2}\right)^2\)
\(\Leftrightarrow 4M=-59x^2+160x-100\)
\(\Leftrightarrow 4M=\frac{500}{59}-59(x-\frac{80}{59})^2\)
Vì \((x-\frac{80}{59})^2\geq 0\Rightarrow 4M\leq \frac{500}{59}\Leftrightarrow M\leq \frac{125}{59}\)
Vậy \(M_{\max}=\frac{125}{59}\)
Dấu bằng xảy ra khi \(x=\frac{80}{59}; y=\frac{95}{59}\)