\(cos^2A+cos^2B+cos^2C=\frac{1+cos2A}{2}+\frac{1+cos2B}{2}+\frac{2cos^2C}{2}\)
\(=\frac{2+cos2A+cos2B+2cos^2C}{2}\)
\(=\frac{2+2cos\left(A+B\right).cos\left(A-B\right)+2cos^2C}{2}\)
\(=\frac{2-2cosC.cos\left(A-B\right)+2cos^2C}{2}\)
\(=\frac{2-2cosC.\left(cos\left(A-B\right)-cos\left(A+B\right)\right)}{2}\)
\(=\frac{2-4cosC.cosA.cosB}{2}=1-2cosA.cosB.cosC< 1\)