\(\left(x-a\right)^3\left(x+b\right)^6=\sum\limits^3_{k=0}C_3^kx^k.\left(-a\right)^{3-k}.\sum\limits^6_{i=0}C_6^ix^i.b^{6-i}=\sum\limits^3_{k=0}\sum\limits^6_{i=0}x^{k+i}C_3^kC_6^i\left(-a\right)^{3-k}.b^{6-i}\)
Số hạng chứa \(x^7\Rightarrow\left\{{}\begin{matrix}0\le k\le3\\0\le i\le6\\k+i=7\end{matrix}\right.\)
\(\Rightarrow\left(k;i\right)=\left(1;6\right);\left(2;5\right);\left(3;4\right)\)
\(\Rightarrow C_3^1C_6^6\left(-a\right)^2+C_3^2C_6^5\left(-a\right).b+C_3^3C_6^4b^2=-36\)
\(\Rightarrow3a^2-18ab+15b^2=-36\Rightarrow a^2-6ab+5b^2=-12\) (1)
Số hạng chứa \(x^8\Rightarrow k+i=8\)
\(\Rightarrow\left(k;i\right)=\left(2;6\right);\left(3;5\right)\)
Do ko có số hạng chứa \(x^8\Rightarrow\) hệ số của số hạng chứa \(x^8\) bằng 0
\(\Rightarrow C_3^2C_6^6\left(-a\right)+C_3^3C_6^5.b=0\)
\(\Rightarrow-3a+6b=0\Rightarrow b=\dfrac{a}{2}\)
Thế vào (1):
\(\Rightarrow a^2-3a^2+\dfrac{5}{4}a^2=-12\)
\(\Rightarrow a^2=16\Rightarrow a=\pm4\)
