Đáp án D

\(\Delta'=\left(m-3\right)^2-\left(m^2+3\right)=-6m+6>0\Rightarrow m< 1\)

Theo hệ thức Viet: \(\left\{{}\begin{matrix}x_1+x_2=2\left(m-3\right)\\x_1x_2=m^2+3\end{matrix}\right.\)

\(x_1^2+x_2^2=86\)

\(\Leftrightarrow\left(x_1+x_2\right)^2-2x_1x_2=86\)

\(\Leftrightarrow4\left(m-3\right)^2-2\left(m^2+3\right)=86\)

\(\Leftrightarrow m^2-12m-28=0\Rightarrow\left[{}\begin{matrix}m=14\left(loại\right)\\m=-2\end{matrix}\right.\)

Ta có : \(\Delta=\left(2m+6\right)^2-4\left(m^2+3\right)=4m^2+24m+36-4m^2-12=24m+24\)

Để phương trình có 2 nghiệm phân biệt thì \(\Delta>0\)

\(24m+24>0\Leftrightarrow24m>-24\Leftrightarrow m>-1\)

Theo hệ thức Viet :\(\left\{{}\begin{matrix}x_1+x_2=-\dfrac{b}{a}=2m+6\\x_1x_2=\dfrac{c}{a}=m^2+3\end{matrix}\right.\)

mà \(\left(x_1+x_2\right)^2=\left(2m+6\right)^2\Leftrightarrow x_1^2+x_2^2=4m^2+24m+36-2x_1x_2\)

\(\Leftrightarrow x_1^2+x_2^2=4m^2+24m+36-2m^2-6=2m^2+24m+30\)

Lại có : \(x_1^2+x_2^2=86\)hay \(2m^2+24m+30=86\Leftrightarrow2\left(m^2+12m-28\right)=0\)

\(\Leftrightarrow2\left(m-2\right)\left(m+14\right)=0\Leftrightarrow\left[{}\begin{matrix}m=2\left(chon\right)\\m=-14\left(loại\right)\end{matrix}\right.\)

Để phương trình có hai nghiệm phân biệt thì Δ > 0

=> [ -(m-3) ]² - (m² + 3) > 0

<=> m² - 6m + 9 - m² - 3 > 0

<=> -6m + 6 > 0

<=> m < 1

Vậy với m < 1 thì phương trình có hai nghiệm phân biệt

Theo hệ thức Viète ta có : \(\left\{{}\begin{matrix}x_1+x_2=-\dfrac{b}{a}=2m-6\\x_1x_2=\dfrac{c}{a}=m^2+3\end{matrix}\right.\)

Khi đó x₁² + x₂² = 86

<=> ( x₁ + x₂ )² - 2x₁x₂ - 86 = 0

<=> ( 2m - 6 )² - 2( m² + 3 ) - 86 = 0

<=> 4m² - 24m + 36 - 2m² - 6 - 86 = 0

<=> 2m² - 24m - 56 = 0

<=> m² - 12m - 28 = 0

Δ' = b'² - ac = 36 + 28 = 64

Δ' > 0, áp dụng công thức nghiệm thu được m₁ = 14 (ktm) ; m₂ = -2 (tm)

Vậy với m = -2 thì thỏa mãn đề bài

d: Ta có: \(\text{Δ}=\left(m+1\right)^2-4\cdot2\cdot\left(m+3\right)\)

\(=m^2+2m+1-8m-24\)

\(=m^2-6m-23\)

\(=m^2-6m+9-32\)

\(=\left(m-3\right)^2-32\)

Để phương trình có hai nghiệm phân biệt thì \(\left(m-3\right)^2>32\)

\(\Leftrightarrow\left[{}\begin{matrix}m-3>4\sqrt{2}\\m-3< -4\sqrt{2}\end{matrix}\right.\Leftrightarrow\left[{}\begin{matrix}m>4\sqrt{2}+3\\m< -4\sqrt{2}+3\end{matrix}\right.\)

Áp dụng hệ thức Vi-et, ta được:

\(\left\{{}\begin{matrix}x_1+x_2=\dfrac{m+1}{2}\\x_1x_2=\dfrac{m+3}{2}\end{matrix}\right.\)

Ta có: \(\left\{{}\begin{matrix}x_1+x_2=\dfrac{m+1}{2}\\x_1-x_2=1\end{matrix}\right.\Leftrightarrow\left\{{}\begin{matrix}2x_1=\dfrac{m+3}{2}\\x_2=x_1-1\end{matrix}\right.\)

\(\Leftrightarrow\left\{{}\begin{matrix}x_1=\dfrac{m+3}{4}\\x_2=\dfrac{m+3}{4}-\dfrac{4}{4}=\dfrac{m-1}{4}\end{matrix}\right.\)

Ta có: \(x_1x_2=\dfrac{m+3}{2}\)

\(\Leftrightarrow\dfrac{\left(m+3\right)\left(m-1\right)}{16}=\dfrac{m+3}{2}\)

\(\Leftrightarrow\left(m+3\right)\left(m-1\right)=8\left(m+3\right)\)

\(\Leftrightarrow\left(m+3\right)\left(m-9\right)=0\)

\(\Leftrightarrow\left[{}\begin{matrix}m=-3\\m=9\end{matrix}\right.\)