Lời giải:
Ta có: \(\overrightarrow{MA}=(a-3;-1); \overrightarrow{MB}=(-3;b-1)\)
Để tam giác MAB vuông tại M thì: \(\overrightarrow{MA}\perp \overrightarrow{MB}\Leftrightarrow \overrightarrow{MA}.\overrightarrow{MB}=0\)
\(\Leftrightarrow -3(a-3)+(-1)(b-1)=0\)
\(\Leftrightarrow 3a+b=10\)
\(2S_{MAB}=|\overrightarrow{MA}|.|\overrightarrow{MB}|=\sqrt{(a-3)^2+1}.\sqrt{9+(b-1)^2}\)
\(=\sqrt{[(a-3)^2+1][9+(10-3a-1)^2}]=3\sqrt{[(a-3)^2+1][1+(a-3)^2]}=3[(a-3)^2+1]\geq 3\)
Vậy diện tích MAB nhỏ nhất khi \(a-3=0\Leftrightarrow a=3\)
\(a=3\Rightarrow b=10-3a=1\)
Vậy...........