Ta có : \(y'=3x^2-6mx+3\left(m^2-1\right)\)
Để hàm số có cực trị thì phương trình \(y'=0\) có 2 nghiệm phân biệt
\(\Leftrightarrow x^2-2mx+m^2-1=0\) có 2 nghiệm phân biệt
\(\Leftrightarrow\Delta=1>0\) với mọi m
Cực đại của đồ thị hàm số là A(m-1;2-2m) và cực tiểu của đồ thị hàm số là B (m+1; -2-2m)
Theo giả thiết ta có :
\(OA=\sqrt{2}OB\Leftrightarrow m^2+6m+1\Leftrightarrow\begin{cases}m=-3+2\sqrt{2}\\m=-3-2\sqrt{2}\end{cases}\)
Vậy có 2 giá trị m là \(\begin{cases}m=-3+2\sqrt{2}\\m=-3-2\sqrt{2}\end{cases}\)