Lời giải:
$y'=3x^2-6mx+3(m^2-1)=0$

$\Leftrightarrow x^2-2mx+m^2-1=0$

$\Leftrightarrow x=m+1$ hoặc $x=m-1$

Với $x=m+1$ thì $y=-2m-2$. Ta có điểm cực trị $(m+1, -2m-2)$

Với $x=m-1$ thì $y=2-2m$. Ta có điểm cực trị $m-1, 2-2m$

$f''(m+1)=6>0$ nên $A(m+1, -2m-2)$ là điểm cực tiểu

$f''(m-1)=-6< 0$ nên $B(m-1,2-2m)$ là điểm cực đại 

$BO=\sqrt{2}AO$

$\Leftrightarrow BO^2=2AO^2$

$\Leftrightarrow (m-1)^2+(2-2m)^2=2(m+1)^2+2(-2m-2)^2$

$\Leftrightarrow m=-3\pm 2\sqrt{2}$

a) Xét hàm số \(y=ax^4+bx^2+c\)

Ta có \(y'=4ax^3+2bx=2x\left(2ax^2+b\right)\)

         \(y'=0\Leftrightarrow x=0\) hoặc \(2ax^2+b=0\left(1\right)\)

Đồ thị  hàm số có 3 cực trị phân biệt khi và chỉ khi \(y'=0\) có 3 nghiệm phân biệt hay phương trình (1) có 2 nghiệm phân biệt khác 0 \(\Leftrightarrow ab< 0\) (*)

Với điều kiện (*) thì đồ  thị có 3 điểm cực trị là :

\(A\left(0;c\right);B\left(-\sqrt{-\frac{b}{2a},}c-\frac{b^2}{4a}\right);C\left(\sqrt{-\frac{b}{2a},}c-\frac{b^2}{4a}\right)\)

Ta có \(AB=AC=\sqrt{\frac{b^2-8ab}{16a^2}};BC=\sqrt{-\frac{2b}{a}}\) nên tam giác ABC vuông khi và chỉ khi vuông tại A.

Khi đó \(BC^2=2AB^2\Leftrightarrow b^3+8a=0\)

Do đó yêu cầu bài toán\(\Leftrightarrow\begin{cases}ab< 0\\b^3+8a=0\end{cases}\)\(\Leftrightarrow\begin{cases}-2\left(m+1\right)< 0\\-8\left(m+1\right)^3+8=0\end{cases}\)\(\Leftrightarrow m=0\)

b) Ta có yêu cầu bài toán  \(\Leftrightarrow\begin{cases}ab< 0\\OA=BC\end{cases}\)\(\Leftrightarrow\begin{cases}-2\left(m+1\right)< 0\\m^2-4\left(m+1\right)=0\end{cases}\)

                                                           \(\Leftrightarrow m=2\pm2\sqrt{2}\)

Ta có : \(y'=3x^2-6mx+3\left(m^2-1\right)\)

Để hàm số có cực trị thì phương trình \(y'=0\) có 2 nghiệm phân biệt

                                                             \(\Leftrightarrow x^2-2mx+m^2-1=0\) có 2 nghiệm phân biệt

                                                             \(\Leftrightarrow\Delta=1>0\) với mọi m

Cực đại của đồ thị hàm số là A(m-1;2-2m) và cực tiểu của đồ thị hàm số là B (m+1; -2-2m)

Theo giả thiết ta có :

                         \(OA=\sqrt{2}OB\Leftrightarrow m^2+6m+1\Leftrightarrow\begin{cases}m=-3+2\sqrt{2}\\m=-3-2\sqrt{2}\end{cases}\)

Vậy có 2 giá trị m là \(\begin{cases}m=-3+2\sqrt{2}\\m=-3-2\sqrt{2}\end{cases}\)

.

Ta có \(y'=4x^3-4mx=4x\left(x^2-m\right);y'=0\Leftrightarrow x=0\) hoặc \(x^2=m\)

Hàm số có 3 điểm cực trị \(\Leftrightarrow\) phương trình \(y'=0\) có 3 nghiệm phân biệt là \(x=0;x=\pm\sqrt{m}\) suy ra đồ thị của hàm số có 3 điểm cực trị là \(A\left(0;m^2-m\right);B\left(-\sqrt{m};-m\right);\overrightarrow{AB}=\left(-\sqrt{m};-m^2\right);\overrightarrow{AC}=\left(\sqrt{m;}-m^2\right)\)

Do đó \(AB=AC=\sqrt{m^4+m}\) nên yêu cầu bài toán được thỏa mãn 

\(\Leftrightarrow\widehat{BAC}=120^0\Leftrightarrow\left(\overrightarrow{AB};\overrightarrow{AC}\right)=120^0\)\(\Leftrightarrow\frac{\overrightarrow{AB}\overrightarrow{AC}}{\left|\overrightarrow{AB}\right|\left|\overrightarrow{AC}\right|}=\frac{1}{2}\)

                           \(\Leftrightarrow\frac{-\left(m\right)+m^4}{m+m^4}=-\frac{1}{2}\Leftrightarrow2m^4-2m=-m-m^4\)

                          \(\Leftrightarrow3m^4-m=0\Leftrightarrow m\left(3m^3-1\right)=0\Leftrightarrow m=0\) hoặc \(m=\frac{1}{\sqrt[3]{3}}\)

Kết hợp với điều kiện (*) ta có giá trị cần tìm là \(m=\frac{1}{\sqrt[3]{3}}\)

Hàm số đã cho có 3 điểm cực trị \(\Leftrightarrow y'=0\) có 3 nghiệm phân biệt

\(\Leftrightarrow x^3-2\left(3m+1\right)x=0\) có 3 nghiệm phân biệt \(\Leftrightarrow m>-\frac{1}{3}\) (1)

Khi đó 3 điểm cực trị của đồ thị  là \(A\left(0;2m+2\right);B\left(-\sqrt{6m+2};-9m^2-4m+1\right);C\left(\sqrt{6m+2};-9m^2-4m+1\right)\)

Rõ ràng tam giác ABC cân tại A và trung tuyến kẻ từ A thuộc Oy. Do đó O là trọng tâm của tam giác ABC \(\Leftrightarrow y_A+2y_B=0\)

Hay \(2m+2+2\left(-9m^2-4m+1\right)=0\Leftrightarrow9m^2+3m-2=0\)

Suy ra \(m=-\frac{2}{3}\) hoặc \(m=\frac{1}{3}\)

Kết hợp với (1) suy ra giá trị của m là \(m=\frac{1}{3}\)