Có vẻ đề sai vì yêu cầu đề bài là tìm $a,b$ tuy nhiên đề bài không cho dữ kiện về a. Tuy nhiên nếu đề trên là tìm $b$ thì giải như sau:
Theo giả thiết, ta có:
\(f\left(x\right)=x^3+8x^2+5x+1=\left(x+a\right)\left(x^2+3x+b\right)\)
\(\Leftrightarrow f\left(x\right)=x^3+8x^2+5x+1=x^3+\left(a+3\right)x^2+\left(3a+b\right)x+ab\)
\(\Rightarrow\left\{{}\begin{matrix}a+3=8\\3a+b=5\\ab=1\end{matrix}\right.\Leftrightarrow\left\{{}\begin{matrix}a=5\\b=-10\\ab\ne1\end{matrix}\right.\)\(\Leftrightarrow a,b\in\varnothing\)
Vậy không tồn tại $b$ thõa mãn ycbt