Lời giải:
PT hoành độ giao điểm:
$x^2-(m-3)x-m+4=0(*)$
Để (d) và (P) cắt nhau tại hai điểm phân biệt $A(x_1,y_1)$ và $B(x_2,y_2)$ thì PT $(*)$ có 2 nghiệm $x_1,x_2$ phân biệt
Điều này xảy ra khi $\Delta=(m-3)^2+4(m-4)>0$
$\Leftrightarrow m^2-2m-7>0\Leftrightarrow m> 2\sqrt{2}+1$ hoặc $m< 1-2\sqrt{2}$
Áp dụng định lý Viet: $x_1+x_2=m-3$ và $x_1x_2=-m+4$
Để tam giác $OAB$ vuông tại $O$ thì:
$OA^2+OB^2=AB^2$
$\Leftrightarrow x_1^2+y_1^2+x_2^2+y_2^2=(x_1-x_2)^2+(y_1-y_2)^2$
$\Leftrightarrow x_1x_2+y_1y_2=0$
$\Leftrightarrow x_1x_2+(x_1x_2)^2=0$
$\Leftrightarrow x_1x_2(x_1x_2+1)=0$
$\Leftrightarrow x_1x_2=0$ hoặc $x_1x_2=-1$
$\Leftrightarrow -m+4=0$ hoặc $-m+4=-1$
$\Leftrightarrow m=4$ hoặc $m=5$ (đều thỏa mãn)
