Theo Viet đảo, x và y là nghiệm của pt:
\(t^2-\left(m+1\right)t+m^2-2m+2=0\)
Để hệ đã cho có nghiệm \(\Leftrightarrow\Delta\ge0\)
\(\Rightarrow-3m^2+10m-7\ge0\Rightarrow1\le m\le\frac{7}{3}\)
Khi đó ta có: \(F=x^2+y^2=\left(x+y\right)^2-2xy\)
\(F=\left(m+1\right)^2-2\left(m^2-2m+2\right)\)
\(=-m^2+6m-3\)
Xét hàm \(f\left(m\right)=-m^2+6m-3\) trên \(\left[1;\frac{7}{3}\right]\)
\(-\frac{b}{2a}=3\notin\left[1;\frac{7}{3}\right]\) ; \(f\left(1\right)=2\) ; \(f\left(\frac{7}{3}\right)=\frac{50}{9}\)
\(\Rightarrow F_{max}=\frac{50}{9}\) khi \(m=\frac{7}{3}\)
\(F_{min}=2\) khi \(m=1\)