Lời giải:
Phương trình hoành độ giao điểm $(P)$ và $(d)$:
$x^2-2mx-(2m+8)=0(*)$
Để $(P)$ và $(d)$ cắt nhau tại 2 điểm phân biệt $A,B$ thì PT $(*)$ phải có 2 nghiệm $x_A,x_B$ phân biệt.
Điều này xảy ra khi $\Delta'=m^2+2m+8>0\Leftrightarrow (m+1)^2+7>0$
$\Leftrightarrow m\in\mathbb{R}$
Áp dụng định lý Vi-et: \(\left\{\begin{matrix} x_A+x_B=2m\\ x_Ax_B=-(2m+8)\end{matrix}\right.\)
$y_A=2mx_A+2m+8; y_B=2mx_B+2m+8$
Để $OAB$ cân tại $O$ thì:
$\Leftrightarrow OA^2=OB^2\Leftrightarrow x_A^2+y_A^2=x_B^2+y_B^2$
$\Leftrightarrow (x_A-x_B)(x_A+x_B)+(y_A-y_B)(y_A+y_B)=0$
$\Leftrightarrow (x_A-x_B)(x_A+x_B)+(2mx_A-2mx_B)(2mx_A+2mx_B+4m+16)=0$
$\Leftrightarrow (x_A-x_B)[(x_A+x_B)+4m(mx_A+mx_B+2m+8)]=0$
Dễ thấy $x_A-x_B\neq 0$ nên:
$x_A+x_B+4m(mx_A+mx_B+2m+8)=0$
$\Leftrightarrow 2m+4m(2m^2+2m+8)=0$
$\Leftrightarrow 2m[1+2(2m^2+2m+8)]=0$
$\Leftrightarrow m(4m^2+4m+17)=0$
$\Rightarrow m=0$