ĐKXĐ: \(x^2-4x-5\ge0\Rightarrow\left[{}\begin{matrix}x\ge5\\x\le-1\end{matrix}\right.\)
Đặt \(\sqrt{x^2-4x-5}=t\ge0\) BPT trở thành:
\(t^2+5+2t< 8\Leftrightarrow t^2+2t-3< 0\)
\(\Leftrightarrow\left(t-1\right)\left(t+3\right)< 0\Leftrightarrow t-1< 0\)
\(\Rightarrow t< 1\Rightarrow\sqrt{x^2-4x-5}< 1\)
\(\Leftrightarrow x^2-4x-6< 0\Rightarrow2-\sqrt{10}< t< 2+\sqrt{10}\)
Kết hợp ĐKXĐ ta được nghiệm BPT: \(\left[{}\begin{matrix}2-\sqrt{10}< t\le-1\\5\le t< 2+\sqrt{10}\end{matrix}\right.\)
\(x^2-4x+2\sqrt{x^2-4x-5}< 8\)
Đặt \(\sqrt{x^2-4x-5}=t,\left(t\ge0\right)\)
\(\Leftrightarrow x^2-4x-5=t^2\)
Ta có: \(t^2+2t-3< 0\Leftrightarrow-3< t< 1\)
TH1: \(t>-3\) thì bpt trở thành:
\(x^2-4x-5>-3\Leftrightarrow\left[{}\begin{matrix}x< 2-\sqrt{6}\\x>2+\sqrt{6}\end{matrix}\right.\)
\(\Rightarrow S=\left(-\infty;2-\sqrt{6}\right)\cup\left(2+\sqrt{6};+\infty\right)\)
TH2: \(t< 1\) thì bpt trở thành
\(x^2-4x-5< 1\Leftrightarrow2-\sqrt{10}< x< 2+\sqrt{10}\)
\(\Rightarrow S=\left(2-\sqrt{10};2+\sqrt{10}\right)\)