Gọi d là công sai của cấp số nhân thì ta có
\(\left\{\begin{matrix}u_2=u_1+d\\u_3=u_1+2d\end{matrix}\right.\)
Theo đề bài ta có: \(\left\{\begin{matrix}u_1+u_2+u_3=-3\\u^2_1+u_2^2+u^2_3=35\end{matrix}\right.\)
\(\Leftrightarrow\left\{\begin{matrix}u_1+u_1+d+u_1+2d=-3\\u^2_1+\left(u_1+d\right)^2+\left(u_1+2d\right)^2=35\end{matrix}\right.\)
\(\Leftrightarrow\left\{\begin{matrix}u_1+d=-1\\u^2_1+\left(u_1+d\right)^2+\left(u_1+2d\right)^2=35\end{matrix}\right.\)
\(\Leftrightarrow\left\{\begin{matrix}u_1=-1-d\\\left(-1-d\right)^2+\left(-1\right)^2+\left(-1+d\right)^2=35\end{matrix}\right.\)
\(\Leftrightarrow\left\{\begin{matrix}u_1=-1-d\\d^2=16\end{matrix}\right.\)
\(\Leftrightarrow\left\{\begin{matrix}u_1=-5\\d=4\end{matrix}\right.\) hoặc \(\left\{\begin{matrix}u_1=3\\d=-4\end{matrix}\right.\)
Vậy ba số hạng đầu của cấp số cộng đó là: - 5; - 1; 3 hoặc 3; - 1; - 5