(a) Khi \(m=2,\left(1\right)\Leftrightarrow x^2-4x-5=0\left(2\right)\).
Phương trình (2) có \(a-b+c=1-\left(-4\right)+\left(-5\right)=0\)
\(\Rightarrow\left[{}\begin{matrix}x=-1\\x=-\dfrac{c}{a}=5\end{matrix}\right.\).
Vậy: Khi \(m=2,S=\left\{-1;5\right\}\).
(b) Điều kiện: \(x_1,x_2\ne0\Rightarrow m\in R\)
Phương trình có nghiệm khi:
\(\Delta'=\left(-m\right)^2-1\cdot\left(-m^2-1\right)\ge0\)
\(\Leftrightarrow2m^2+1\ge0\left(LĐ\right)\)
Suy ra, phương trình (1) có nghiệm với mọi \(m\).
Theo định lí Vi-ét: \(\left\{{}\begin{matrix}x_1+x_2=-\dfrac{b}{a}=2m\\x_1x_2=\dfrac{c}{a}=-m^2-1\end{matrix}\right.\)
Theo đề: \(\dfrac{x_1}{x_2}+\dfrac{x_2}{x_1}=-\dfrac{5}{2}\)
\(\Leftrightarrow\dfrac{x_1^2+x_2^2}{x_1x_2}=-\dfrac{5}{2}\Leftrightarrow\dfrac{\left(x_1+x_2\right)^2-2x_1x_2}{x_1x_2}=-\dfrac{5}{2}\)
\(\Leftrightarrow2\left(x_1+x_2\right)^2+x_1x_2=0\)
\(\Leftrightarrow2\left(2m\right)^2+\left(-m^2-1\right)=0\)
\(\Leftrightarrow7m^2=1\Leftrightarrow m=\pm\dfrac{\sqrt{7}}{7}\) (thỏa mãn).
Vậy: \(m=\pm\dfrac{\sqrt{7}}{7}.\)