Lời giải:
TH1: $m=0$ thì dễ thấy hpt có nghiệm \((x,y)=(0,1)\)
\(\Rightarrow x^2+y^2=1\)
TH2: $m\neq 0$
HPT \(\Leftrightarrow \left\{\begin{matrix} m^2x+my=m^3+m^2+m\\ -x+my=m^2\end{matrix}\right.\)
\(\Rightarrow m^2x+x=m^3+m^2+m-m^2\)
\(\Leftrightarrow x(m^2+1)=m^3+m=m(m^2+1)\)
\(\Rightarrow x=m\)
\(\Rightarrow my=m^2+x=m^2+m\Rightarrow y=m+1\)
Vậy HPT có nghiệm $(x,y)=(m,m+1)$
\(\Rightarrow x^2+y^2+m^2+(m+1)^2=2m^2+2m+1\)
\(=2(m+\frac{1}{2})^2+\frac{1}{2}\geq \frac{1}{2}\)
Vậy \((x^2+y^2)_{\min}=\frac{1}{2}\Leftrightarrow m=-\frac{1}{2}\)
Tổng kết cả TH1; TH2 suy ra $m=\frac{-1}{2}$ thì $x^2+y^2$ đạt min.