Lời giải:
Đặt $A=(mx^2+nx+1)^2$
$\Leftrightarrow x^4-6x^3+ax^2+bx+1=m^2x^4+n^2x^2+1+2mnx^3+2mx^2+2nx
$=m^2x^4+2mnx^3+x^2(n^2+2m)+2nx+1$
Đồng nhất hệ số: \(\left\{\begin{matrix} m^2=1\\ 2mn=-6\\ n^2+2m=a\\ 2n=b\end{matrix}\right.\)\(\Leftrightarrow \left\{\begin{matrix} m=\pm 1(1)\\ mn=-3(2)\\ n^2+2m=a(3)\\ 2n=b(4)\end{matrix}\right.\)
Từ $(1);(2)\Rightarrow (m,n)=(1,-3); (-1;3)$
Nếu $(m,n)=(1,-3)$:
Từ $(3);(4)\Rightarrow a=11; b=-6$
Nếu $(m,n)=(-1,3)$
Từ $(3);(4)\Rightarrow a=7; b=6$
Vậy.............
