Lời giải:
$y'=3x^2-6mx+3(m^2-1)=0$
$\Leftrightarrow x^2-2mx+m^2-1=0$
$\Leftrightarrow x=m+1$ hoặc $x=m-1$
Với $x=m+1$ thì $y=-2m-2$. Ta có điểm cực trị $(m+1, -2m-2)$
Với $x=m-1$ thì $y=2-2m$. Ta có điểm cực trị $m-1, 2-2m$
$f''(m+1)=6>0$ nên $A(m+1, -2m-2)$ là điểm cực tiểu
$f''(m-1)=-6< 0$ nên $B(m-1,2-2m)$ là điểm cực đại
$BO=\sqrt{2}AO$
$\Leftrightarrow BO^2=2AO^2$
$\Leftrightarrow (m-1)^2+(2-2m)^2=2(m+1)^2+2(-2m-2)^2$
$\Leftrightarrow m=-3\pm 2\sqrt{2}$