Lời giải:
Do $A,B$ thuộc trục $Oy$ nên tọa độ của $A,B$ lần lượt có dạng:
\(A(0,a,0); B(0,b,0)\)
\(\Rightarrow \overrightarrow{AM}=(3,1-a,4); \overrightarrow{BM}=(3,1-b,4)\)
Để tam giác $MAB$ vuông tại $M$ thì:
\(\overrightarrow{AM}.\overrightarrow{BM}=0\)
\(\Leftrightarrow 9+(1-a)(1-b)+16=0\)
\(\Leftrightarrow (1-a)(1-b)=-25(1)\)
Tam giác $MAB$ cân tại $M$ nên \(|\overrightarrow{AM}|=|\overrightarrow{BM}|\)
\(\Leftrightarrow \sqrt{3^2+(1-a)^2+4^2}=\sqrt{3^2+(1-b)^2+4^2}\)
\(\Leftrightarrow (1-a)^2=(1-b)^2\Leftrightarrow (b-a)(2-a-b)=0\)
Vì $a,b$ phân biệt nên \(2-a-b=0\Leftrightarrow a+b=2(2)\)
Giải hệ \((1); (2)\Rightarrow (a,b)=(-4,6); (6, -4)\)
Vậy tọa độ hai điểm A,B (không theo thứ tự) là \((0,-4,0); (0,6,0)\)