Lời giải:

$f(x)=m^2(x^4-1)+m(x^2-1)-6(x-1)=(x-1)[m^2(x+1)(x^2+1)+m(x+1)-6]$

Để $f(x)\geq 0$ với mọi $x\in\mathbb{R}$ thì:
$m^2(x+1)(x^2+1)+m(x+1)-6=Q(x)(x-1)^k$ với $k$ là số lẻ

$\Rightarrow h(x)=m^2(x+1)(x^2+1)+m(x+1)-6\vdots x-1$

$\Rightarrow h(1)=0$

$\Leftrightarrow 4m^2+2m-6=0$

$\Leftrightarrow 2m^2+m-3=0$

$\Leftrightarrow (m-1)(2m+3)=0\Rightarrow m=1$ hoặc $m=\frac{-3}{2}$

Thay các giá trị trên vào $f(x)$ ban đầu thì $m\in \left\{1; \frac{-3}{2}\right\}$

Tổng các giá trị của các phần tử thuộc $S$: $1+\frac{-3}{2}=\frac{-1}{2}$

Để bất phương trình luôn có nghiệm thì 

\(\left\{{}\begin{matrix}\left(m-1\right)^2-4\cdot1\cdot5< 0\\1>=0\end{matrix}\right.\Leftrightarrow\left(m-1\right)^2< 20\)

\(\Leftrightarrow-2\sqrt{5}+1< x< 2\sqrt{5}+1\)

\(\left\{{}\begin{matrix}m< 0\\\Delta'< 0\end{matrix}\right.\) \(\Rightarrow\) \(\left\{{}\begin{matrix}m< 0\\1+m< 0\end{matrix}\right.\) \(\Rightarrow\) \(\left\{{}\begin{matrix}m< 0\\m< -1\end{matrix}\right.\) \(\Rightarrow\) m<-1.

Vậy với m<-1, yêu cầu bài toán thỏa mãn.

a.

Pt có 2 nghiệm pb khi:

\(\left\{{}\begin{matrix}m+1\ne0\\\Delta'=\left(m+3\right)^2-\left(m+1\right)\left(-m+2\right)>0\end{matrix}\right.\)

\(\Leftrightarrow\left\{{}\begin{matrix}m\ne-1\\2m^2+7m+7>0\left(\text{luôn đúng}\right)\end{matrix}\right.\) 

\(\Rightarrow m\ne-1\)

b.

BPT vô nghiệm khi \(\left(m^2-4m-5\right)x^2+2\left(m-5\right)-1< 0\) nghiệm đúng với mọi x

- Với \(m=-1\) ko thỏa mãn

- Với \(m=5\) thỏa mãn

- Với \(m\ne\left\{-1;5\right\}\)

\(\Rightarrow\left\{{}\begin{matrix}m^2-4m-5< 0\\\Delta'=\left(m-5\right)^2+m^2-4m-5< 0\end{matrix}\right.\)

\(\Leftrightarrow\left\{{}\begin{matrix}-1< m< 5\\\left(m-5\right)\left(2m-4\right)< 0\end{matrix}\right.\)

\(\Leftrightarrow\left\{{}\begin{matrix}-1< m< 5\\2< m< 5\end{matrix}\right.\) \(\Rightarrow2< m< 5\)

Kết hợp lại ta được: \(2< m\le5\)

\(x^2-2\left(m-1\right)x+4m+8< 0\)

\(\text{Δ}=\left[-2\left(m-1\right)\right]^2-4\cdot1\cdot\left(4m+8\right)\)

\(=4m^2-4m+1-16m+32\)

\(=4m^2-20m+33\)

Để BPT vô nghiệm thì \(\left\{{}\begin{matrix}\text{Δ}< =0\\a>0\end{matrix}\right.\)

=>\(\left\{{}\begin{matrix}4m^2-20m+33< =0\\1>0\left(đúng\right)\end{matrix}\right.\)

=>\(4m^2-20m+33< =0\)

=>\(\left(2m-5\right)^2+8< =0\)(vô lý)

=>\(m\in\varnothing\)

\(\Leftrightarrow\left\{{}\begin{matrix}a=1>0\\\Delta'=\left(m-1\right)^2-\left(4m+8\right)\le0\end{matrix}\right.\)

\(\Leftrightarrow m^2-6m-7\le0\)

\(\Rightarrow-1\le m\le7\)

\(\Rightarrow m=\left\{-1;0;1;2;3;4;5;6;7\right\}\)