Lời giải:
PT hoành độ giao điểm:
\(x^3-2(m+1)x^2+(5m+1)x-2m-2=0\)
\(\Leftrightarrow (x-2)(x^2-2mx+m+1)=0\)
Vì \(A(2,0)\) nên hoành độ hai điểm \(B,C\) sẽ là nghiệm của PT \(x^2-2mx+m+1=0\)
Điều kiện: \(\Delta'=m^2-(m+1)>0\)
Khi đó, áp dụng định lý Viete, nếu $x_1,x_2$ là hai nghiệm của PT thì \(\left\{\begin{matrix} x_1+x_2=2m\\ x_1x_2=m+1\end{matrix}\right.\)
Nhận thấy hai điểm $B,C$ nằm trên $Ox$ mà một điểm nằm trong đường tròn \(x^2+y^2=1\) nên \((x_1-1)(x_2-1)<0\)
\(\Leftrightarrow x_1x_2-(x_1+x_2)+1<0\Leftrightarrow m+1-2m+1<0\)
\(\Leftrightarrow m>2\). Thử lại ta thấy thỏa mãn điều kiện \(\Delta'\)
Vậy \(m>2\)