Lời giải:
a. Để hàm đồng biến trên $(1;2)$ thì:
$y'=3x^2+6x-3(m^2-1)>0$ với mọi $x\in (1;2)$
$\Leftrightarrow x^2+2x-m^2+1>0, \forall x\in (1;2)$
$\Leftrightarrow (x+1)^2> m^2, \forall x\in (1;2)$
$\Leftrightarrow m^2< min (x+1)^2, \forall x\in (1;2)$
$\Leftrightarrow m^2< 4$
$\Leftrightarrow -2< m < 2$
b.
Để hàm số nghịch biến trên $(-1;+\infty)$ thì:
$y'=-3x^2+6x+(m-1)<0, \forall x\in (-1;+\infty)$
$\Leftrightarrow m< 3x^2-6x+1, \forall x\in (-1;+\infty)$
$\Leftrightarrow m< min (3x^2-6x+1), \forall x\in (-1;+\infty)$
Ta thấy: $3x^2-6x+1=3(x-1)^2-2\geq -2$ với mọi $x\in (-1;+\infty)$
$\Rightarrow m< -2$