Lời giải:
Đặt \(1+\sqrt{3}=m\).
Ta phân tích đa thức ra như sau:
\(3x^3+ax^2+bx+12=(x+m)(3x^2+nx+p)\)
\(=3x^3+x^2n+xp+3mx^2+mnx+mp\)
\(=3x^3+x^2(n+3m)+x(p+mn)+mp\)
Đồng nhất hệ số:
\(\Rightarrow \left\{\begin{matrix} n+3m=a\\ p+mn=b\\ mp=12\end{matrix}\right.\). Thay $m=\sqrt{3}+1$ vào hệ trên:
\(\Rightarrow p=6\sqrt{3}-6\); \(n=a-3(1+\sqrt{3})\)
\(\Rightarrow 6\sqrt{3}-6+(1+\sqrt{3})[a-3(1+\sqrt{3})=b\)
\(\Rightarrow -18+(1+\sqrt{3})a=b\)
\(\Rightarrow (1+\sqrt{3})a=b+18\in\mathbb{Z}\)
Mà \(1+\sqrt{3}\not\in\mathbb{Q}\) nên suy ra $a=0$
\(\Rightarrow b=-18\)
Vậy $(a,b)=(0,-18)$