ĐKXĐ: \(\left(x+1\right)\left(x-3\right)\ge0\Leftrightarrow\left[{}\begin{matrix}x\ge3\\x\le-1\end{matrix}\right.\).
PT \(\Leftrightarrow x^2-2x-7+3\sqrt{x^2-2x-3}=0\)
Đặt \(\sqrt{x^2-2x-3}=a>0\). PT trở thành:
\(a^2-4+3a=0\Leftrightarrow\left(a-1\right)\left(a+4\right)=0\Leftrightarrow a=1\) (Do a > 0).
\(\Leftrightarrow x^2-2x-3=a^2=1\Leftrightarrow x^2-2x-4=0\)
\(\Leftrightarrow\left(x-1\right)^2=5\Leftrightarrow\left[{}\begin{matrix}x=\sqrt{5}+1>2+1=3\left(TMĐK\right)\\x=-\sqrt{5}-1< -1\left(TMĐK\right)\end{matrix}\right.\)
Vậy tập nghiệm của pt là: \(\left\{\sqrt{5}+1;-\sqrt{5}-1\right\}\).