\(f'\left(x\right)=0\) có 3 nghiệm \(x=-1;0;2\)

Dấu của \(f'\left(x\right)\) trên trục số:

Ta thấy có 2 lần \(f'\left(x\right)\) đổi dấu từ âm sang dương nên hàm có 2 cực tiểu

Chọn C

Hàm số có cực đại, cực tiểu khi m<2. Tọa độ các điểm cực trị là :

\(A\left(0;m^2-5m+5\right);B\left(\sqrt{2-m};1-m\right);C\left(-\sqrt{2-m};1-m\right)\)

Lời giải:
$y'=3x^2-6mx+3(m^2-1)=0$

$\Leftrightarrow x^2-2mx+m^2-1=0$

$\Leftrightarrow x=m+1$ hoặc $x=m-1$

Với $x=m+1$ thì $y=-2m-2$. Ta có điểm cực trị $(m+1, -2m-2)$

Với $x=m-1$ thì $y=2-2m$. Ta có điểm cực trị $m-1, 2-2m$

$f''(m+1)=6>0$ nên $A(m+1, -2m-2)$ là điểm cực tiểu

$f''(m-1)=-6< 0$ nên $B(m-1,2-2m)$ là điểm cực đại 

$BO=\sqrt{2}AO$

$\Leftrightarrow BO^2=2AO^2$

$\Leftrightarrow (m-1)^2+(2-2m)^2=2(m+1)^2+2(-2m-2)^2$

$\Leftrightarrow m=-3\pm 2\sqrt{2}$

\(f'\left(x\right)=6\left(x^2+\left(m-1\right)x+m\left(1-2m\right)\right)\)

\(f'\left(x\right)=0\Leftrightarrow g\left(x\right)=x^2+\left(m-1\right)x+m\left(1-2m\right)=0\)

Hàm số có cực đại, cực tiểu <=> \(f'\left(x\right)=0\) hay \(g\left(x\right)=0\) có 2 nghiệm phân biệt                                          \(\Leftrightarrow\Delta_g=\left(m-1\right)^2-4m\left(1-2m\right)=\left(3m-1\right)^2>0\Leftrightarrow m\ne\frac{1}{3}\)

Ta có \(f\left(x\right)=g\left(x\right)\left[2x+\left(m+1\right)\right]-\left(3m-1\right)^2x+m\left(m-1\right)\left(1-2m\right)\)

Với \(m\ne\frac{1}{3}\) thì \(g\left(x\right)=0\) có 2 nghiệm phân biệt \(x_1;x_2\) và hàm số đạt cực trị tại  \(x_1;x_2\)  

do \(\begin{cases}g\left(x_1\right)=0\\g\left(x_2\right)=0\end{cases}\) suy ra đường thẳng qua cực đại, cực tiểu là 

\(\Delta:y=-\left(3m-1\right)^2x+m\left(m-1\right)\left(1-2m\right)\)

Ta có cực địa, cực tiểu nằm trên đường thẳng \(y=-4x\)

\(\Leftrightarrow\begin{cases}-\left(3m-1\right)^2=-4\\m\left(m-1\right)\left(1-2m\right)=0\end{cases}\)\(\Leftrightarrow\begin{cases}\left|3m-1\right|=2\\m\in\left\{0;1;\frac{1}{2}\right\}\end{cases}\) \(\Leftrightarrow m=1\)

Ta có : \(f'\left(x\right)=6\left[x^2+\left(m-1\right)x+m\left(1-2m\right)\right]=0\)

                      \(\Leftrightarrow g\left(x\right)=x^2+\left(m-1\right)x+m\left(1-2m\right)=0\)

Hàm số có cực đại và cực tiểu => g(x) có 2 nghiệm phân biệt \(\Leftrightarrow\Delta_g=\left(3m-1\right)^2>0\Leftrightarrow m\ne\frac{1}{3}\)

Thực hiện phép chia f(x) cho g(x) ta  có 

\(f\left(x\right)=\left(2x+m-1\right)g\left(x\right)-\left(3m-1\right)^2x+m\left(m-1\right)\left(1-2m\right)\)

Với \(m\ne\frac{1}{3}\) thì phương trình g(x) = 0 có 2 nghiệm phân biệt \(x_1,x_2\) 

và hàm số :

\(y=f\left(x\right)\) đạt cực trị tại  \(x_1,x_2\) 

Ta có : \(\text{g}\left(x_1\right)=g\left(x_2\right)=0\) nên suy ra

\(y_1=f\left(x_1\right)=-\left(m-3\right)^2x_1+m\left(m-1\right)\left(1-2m\right)\)

\(y_2=f\left(x_1\right)=-\left(m-3\right)^2x_2+m\left(m-1\right)\left(1-2m\right)\)

Đường thẳng đi qua cực đại, cực tiểu là \(\left(\Delta\right)\): \(y=-\left(m-3\right)^2x+m\left(m-1\right)\left(1-2m\right)\)

Để cực đại , cực tiểu nằm trên đường thẳng (d) : y=-4x thì \(\left(\Delta\right)\equiv\left(d\right)\)

\(\Leftrightarrow\begin{cases}-\left(3m-1\right)^2=-4\\m\left(m-1\right)\left(1-2m\right)=0\end{cases}\)

\(\Leftrightarrow\begin{cases}\left(3m-1-2\right)\left(3m-1+2\right)=0\\m\left(m-1\right)\left(1-2m\right)=0\end{cases}\)

\(\Leftrightarrow m=1\)

Hàm số có cực đại, cực tiểu \(\Leftrightarrow f'\left(x\right)=3x^2-6x+m^2=0\) có 2 nghiệm phân biệt

\(\Leftrightarrow\Delta'=9-3m^2>0\Leftrightarrow\left|m\right|<\sqrt{3}\)

Thực hiện phép chia \(f\left(x\right)\) cho \(f'\left(x\right)\) ta có :

\(f\left(x\right)=\frac{1}{3}\left(x-1\right)f'\left(x\right)+\frac{2}{3}\left(m^2-3\right)x+\frac{m}{3}+m\)

Với \(\left|m\right|<\sqrt{3}\) thì phương trình \(f'\left(x\right)=0\) có 2 nghiệm \(x_1,x_2\) và hàm số y=f(x) đạt cực trị tại \(x_1,x_2\)

Ta có \(f'\left(x_1\right)=f'\left(x_2\right)=0\) nên :

\(y_1=f\left(x_1\right)=\frac{2}{3}\left(m^2-3\right)x_1+\frac{m^2}{3}+m\)

\(y_2=f\left(x_2\right)=\frac{2}{3}\left(m^2-3\right)x_2+\frac{m^2}{3}+m\)

=> Đường thẳng đi qua cực đại, cực tiểu là \(\left(d\right):y=\frac{2}{3}\left(m^2-3\right)x+\frac{m^2}{3}+m\)

Các điểm cực trị \(A\left(x_1,y_1\right);B\left(x_2,y_2\right)\) đối xứng nhau qua \(\left(\Delta\right):y=\frac{1}{2}x-\frac{5}{2}\)

\(\Leftrightarrow\left(d\right)\perp\left(\Delta\right)\) tại trung điểm I của AB (*)

Ta có \(x_1=\frac{x_1+x_2}{2}=1\) suy ra từ (*) \(\Leftrightarrow\begin{cases}\frac{2}{3}\left(m^2-3\right)\frac{1}{2}=-1\\\frac{2}{3}\left(m^2-3\right).1+\frac{m^2}{3}+m=\frac{1}{2}.1-\frac{5}{2}\end{cases}\)

                                                        \(\Leftrightarrow\begin{cases}m=0\\m\left(m+1\right)=0\end{cases}\)

                                                        \(\Leftrightarrow m=0\)

Theo yêu cầu bài toán ta có \(\begin{cases}ab< 0\\AB=BC=CA\end{cases}\) \(\Leftrightarrow\begin{cases}m< 2\\8\left(m-2\right)^3+24=0\end{cases}\)

                                                                       \(\Leftrightarrow m=2-\sqrt[3]{3}\)