Ta có \(y'=3mx^2-6mx\Rightarrow y'=0\Rightarrow\begin{cases}x=0\\x=2\end{cases}\) với mọi m khác 0
Do y' đổi dấu qua x=0 và x=2 nên đồ thị có 2 điểm cực trị => Điều phải chứng minh
Với \(x=0\Rightarrow y=3\left(m-1\right);x=2\Rightarrow y=-m-3\)
Do vai trò của A, B như nhau nên không mất tính tổng quát giả sử \(A\left(0;3m-3\right);B\left(2;-m-3\right)\)
Ta có : \(OA^2+OB^2-2OA^2=-20\Leftrightarrow9\left(m-1\right)^2+4+\left(m+3\right)^2-2\left(4-16m\right)^2=-20\)
\(\Leftrightarrow11m^2+6m-17=0\Leftrightarrow\begin{cases}m=1\\m=-\frac{17}{11}\end{cases}\)
Kết luận : Với \(\begin{cases}m=1\\m=-\frac{17}{11}\end{cases}\) yêu cầu bài toán được thỏa mãn