a) Khi m = -3, phương trình trở thành:
x² - 2.(-3).x + (-3)² - 3 - 1 = 0
x² + 6x + 5 = 0
Do a - b + c = 1 - 6 + 5 = 0 nên phương trình đã cho có hai nghiệm:
x₁ = -1; x₂ = -c : a = -5 : 1 = -5
Vậy S = {-5; -1}
b) ∆' = (-m)² - (m² + m - 1)
= m² - m² - m + 1
= 1 - m
Để phương trình đã cho có hai nghiệm phân biệt thì ∆' > 0
1 - m > 0
m < 1
Theo định lí Vi-ét, ta có:
x₁ + x₂ = 2m
x₁x₂ = m² + m - 1
Ta có:
x₁² + x₂² = 3 - x₁x₂
(x₁ + x₂)² - 2x₁x₂ - 3 + x₁x₂ = 0
(x₁ + x₂)² - x₁x₂ - 3 = 0
(2m)² - (m² + m - 1) - 3 = 0
4m² - m² - m + 1 - 3 = 0
3m² - m - 2 = 0 (*)
Do a + b + c = 3 + (-1) + (-2) = 0 nên phương trình (*) có hai nghiệm:
m = 1 (loại)

Vậy m = -2/3 thì phương trình đã cho có hai nghiệm phân biệt thỏa mãn yêu cầu đề bài

