\(y'=\dfrac{x^2-2x-m-2}{\left(x-1\right)^2}\)
Hàm có 2 cực trị khi \(x^2-2x-m-2=0\) (1) có 2 nghiệm pb khác 1
\(\Rightarrow m>-3\)
Pt đường thẳng qua 2 cực trị có dạng: \(y=\dfrac{\left(x^2+mx+2\right)'}{\left(x-1\right)'}=2x+m\)
Hay \(2x-y+m=0\)
Gọi hoành độ của A, B lần lượt là \(x_1;x_2\) (đồng thời là nghiệm của (1))
\(\Rightarrow A\left(x_1;2x_1+m\right)\) ; \(B\left(x_2;2x_2+m\right)\)
\(AB=\sqrt{\left(x_1-x_2\right)^2+\left(2x_1-2x_2\right)^2}=\sqrt{5\left(x_1-x_2\right)^2}\)
\(=\sqrt{5\left(x_1+x_2\right)^2-20x_1x_2}=\sqrt{5.2^2-20\left(-m-2\right)}\) (Viet)
\(=\sqrt{20m+60}\)
\(d\left(O;AB\right)=\dfrac{\left|2.0-0+m\right|}{\sqrt{2^2+\left(-1\right)^2}}=\dfrac{\left|m\right|}{\sqrt{5}}\)
\(\Rightarrow S=\dfrac{1}{2}.\dfrac{\left|m\right|}{\sqrt{5}}.\sqrt{20m+60}=\sqrt{m^3+3m^2}=3\sqrt{6}\)
\(\Rightarrow m^3+3m^2-54=0\)
\(\Rightarrow m=3\)