Lời giải:
Gọi $q$ là công bội thì $u_2=u_1q; u_3=u_1q^2$.
Theo bài ra ta có:
$24=u_1+u_2+u_3=u_1+u_1q+u_1q^2=u_1(1+q+q^2)(1)$
$364=u_1^2+u_2^2+u_3^2=u_1^2+(u_1q)^2+(u_1q^2)^2$
$=u_1^2(1+q^2+q^4)(2)$
Từ $(1); (2)\Rightarrow \frac{u_1^2(1+q+q^2)^2}{u_1^2(1+q^2+q^4)}=\frac{24^2}{364}$
$\Leftrightarrow \frac{(1+q+q^2)^2}{1+q^2+q^4}=\frac{144}{91}(*)$
Đặt $q=a; q^2+1=b$ thì:
$(*)\Leftrightarrow \frac{(a+b)^2}{b^2-a^2}=\frac{144}{91}$
$\Rightarrow 91(a+b)^2=144(b^2-a^2)$
$\Leftrightarrow (a+b)(235a-53b)=0$
$\Rightarrow a+b=0$ hoặc $235a-53b=0$
Hiển nhiên $a+b=q^2+q+1>0$ nên $235a-53b=0$
$\Leftrightarrow 53(q^2+1)-235q=0$
Đến đây thì ơơn giản rồi.