Lời giải:
Ta có:
\((S): x^2+y^2+z^2-2x-2y-2z=0\)
\(\Leftrightarrow (x-1)^2+(y-1)^2+(z-1)^2=3\)
Do đó mặt cầu \((S)\) có tâm \(O=(1,1,1)\) và \(R=\sqrt{3}\)
Khi đó, dễ dàng nhận thấy \(A\in (S)\)
Ta có \(S_{OAB}=\frac{OA.OB.\sin \angle AOB}{2}\leq \frac{OA.OB.1}{2}=\frac{3}{2}\) vì \(\sin AOB\leq 1\)
Dấu bằng xảy ra khi \(\angle AOB=90^0\)