ta có:
M=x^2+4y^2-2x-2xy-10y+8
=(x^2-2xy+y^2)-(2x-2y)+3y^2-12y+8
=(x-y)^2-2(x-y)+1+3(y^2-4y+4)-(13-8)
=(x-y-1)^2+3(y-2)^2-5
vì (x-y-1)^2\(\ge0\)với mọi x,y
3(y-2)^2\(\ge0\)với mọi y
suy ra (x-y-1)^2+3(y-2)^2-5\(\ge-5\)với mọi x,y
dấu "=" xảy ra\(\Leftrightarrow\) \(\left\{{}\begin{matrix}x-y-1=0\\y-2=0\end{matrix}\right.\)\(\Leftrightarrow\left\{{}\begin{matrix}x-y=1\\y=3\end{matrix}\right.\)\(\Leftrightarrow\left\{{}\begin{matrix}x=4\\y=3\end{matrix}\right.\)
Vậy GTNN của M là -5 khi \(\left\{{}\begin{matrix}x=4\\y=3\end{matrix}\right.\)