Lời giải:
a. $x^2-4x-5=0$
$\Leftrightarrow (x+1)(x-5)=0$
$\Leftrightarrow x+1=0$ hoặc $x-5=0$
$\Leftrightarrow x=-1$ hoặc $x=5$
b.
$5x^2-9x-2=0$
$\Leftrightarrow (x-2)(5x+1)=0$
$\Leftrightarrow x-2=0$ hoặc $5x+1=0$
$\Leftrightarrow x=2$ hoặc $x=\frac{-1}{5}$
c.
$(x^2+1)-5(x^2+1)+6=0$
$\Leftrightarrow a^2-5a+6=0$ (đặt $x^2+1=a$)
$\Leftrightarrow (a-2)(a-3)=0$
$\Leftrightarrow a-2=0$ hoặc $a-3=0$
$\Leftrightarrow x^2-1=0$ hoặc $x^2-2=0$
$\Leftrightarrow (x-1)(x+1)=0$ hoặc $(x-\sqrt{2})(x+\sqrt{2})=0$
$\Leftrightarrow x\in\left\{\pm 1; \pm \sqrt{2}\right\}$
d.
$(x^2+6x)-2(x+3)^2-17=0$
$\Leftrightarrow (x^2+6x+9)-2(x+3)^2-26=0$
$\Leftrightarrow (x+3)^2-2(x+3)^2-26=0$
$\Leftrightarrow -(x+3)^2-26=0$
$\Leftrightarrow (x+3)^2=-26<0$ (vô lý)
Do đó không tồn tại $x$ thỏa mãn.