Lời giải:
Ta có \(\overrightarrow{a}+\overrightarrow{b}+3\overrightarrow{c}=0\)
\(\Rightarrow \overrightarrow{a}+\overrightarrow{b}+\overrightarrow {c}=-2\overrightarrow{c}\)
\(\Rightarrow (\overrightarrow{a}+\overrightarrow{b}+\overrightarrow{c})^2=(-2\overrightarrow{c})^2\)
\(\Leftrightarrow a^2+b^2+c^2+2(\overrightarrow{a}.\overrightarrow{b}+\overrightarrow{b}.\overrightarrow{c}+\overrightarrow{c}.\overrightarrow{a})=4c^2\)
\(\Leftrightarrow x^2+y^2+z^2+2(\overrightarrow{a}.\overrightarrow{b}+\overrightarrow{b}.\overrightarrow{c}+\overrightarrow{c}.\overrightarrow{a})=4z^2\)
\(\Leftrightarrow 2(\overrightarrow{a}.\overrightarrow{b}+\overrightarrow{b}.\overrightarrow{c}+\overrightarrow{c}.\overrightarrow{a})=3z^2-x^2-y^2\)
\(\Leftrightarrow A=\overrightarrow{a}.\overrightarrow{b}+\overrightarrow{b}.\overrightarrow{c}+\overrightarrow{c}.\overrightarrow{a}=\frac{3z^2-x^2-y^2}{2}\)
