x1+x2=2m+2; x1x2=m^2+4
x1^2+2(m+1)x2<=2m^2+20
=>x1^2+x2(x1+x2)<=2m^2+20
=>x1^2+x2x1+x2^2<=2m^2+20
=>(x1+x2)^2-x1x2<=2m^2+20
=>(2m+2)^2-(m^2+4)<=2m^2+20
=>4m^2+8m+4-m^2-4-2m^2-20<=0
=>m^2-8m-20<=0
=>m<=-10 hoặc m>2
\(x^2-2\left(m+1\right)x+m^2+4=0\left(1\right)\)
Để phương trình có hai nghiệm phân biệt thì \(\Delta'>0\) hay \(\Delta'=\left(m+1\right)^2-m^2-4=m^2+2m+1-m^2-4=2m-4>0\Leftrightarrow m>2\)
Theo hệ thức Viét ta có : \(\left\{{}\begin{matrix}x_1+x_2=2\left(m+1\right)\\x_1.x_2=m^2+4\end{matrix}\right.\)
Vì \(x_1^2\) là nghiệm của phương trình (1) nên ta có : \(x_1^2-2\left(m+1\right)x+m^2+4=0\Leftrightarrow x_1^2=2\left(m+1\right)x_1-m^2-4\)
Ta lại có : \(x_1^2+2\left(m+1\right)x_2\le2m^2+20\)
\(\Leftrightarrow2\left(m+1\right)x_1-m^2-4+2\left(m+1\right)x_2\le2m^2+20\)
\(\Leftrightarrow2\left(m+1\right)\left(x_1+x_2\right)-m^2-4\le2m^2+20\)
\(\Leftrightarrow4\left(m+1\right)^2-m^2\le2m^2+20\)
\(\Leftrightarrow4\left(m^2+2m+1\right)-m^2\le2m^2+20\)
\(\Leftrightarrow m^2+8m-16\le0\)
\(\Leftrightarrow-10\le m\le2\)
Kết hợp điều kiện....