$x^2+mx-1=0$ có \(\Delta =m^2-4(-1)=m^2+4 \ge 0 \forall x \in R \Rightarrow\) phương trình luôn có 2 nghiệm phân biệt
Theo định lý Viete, ta có: \(\left\{{}\begin{matrix}x_1+x_2=-m\\x_1x_2=-1\end{matrix}\right.\)
Theo giả thiết: \(x_1^2+x_2^2=5x_1x_2\Leftrightarrow\left(x_1+x_2\right)^2=7x_1x_2\)
\(\Rightarrow\left(-m\right)^2=7\left(-1\right)\Rightarrow m^2=-7\Leftrightarrow m\in\varnothing\)
Vậy không tồn tại $m$ thõa ycbt