\(\Delta=\left(2m+2\right)^2-4\left(m^2+4\right)\)
=4m^2+8m+16-4m^2-16
=8m
Để phương trình có hai nghiệm thì 8m>=0
=>m>=0
x1^2+x2^2=(x1+x2)^2-2x1x2
=(2m+2)^2-2(m^2+4)
=4m^2+8m+4-2m^2-8
=2m^2+8m-4
=>x1^2=2m^2+8m-4-x2^2
x1^2+2(m+1)x2<3m^2+16
=>2m^2+8m-4-x2^2+2(m+1)x2<3m^2+16
=>-x2^2+x2(2m+2)<3m^2+16-2m^2-8m+4=m^2-8m+20
=>-x2^2+x2(2m+2)-m^2+8m-20<0
=>x2^2+x2(2m+2)+m^2-8m+20>0(1)
\(\Delta=\left(2m+2\right)^2-4\left(m^2-8m+20\right)\)
=4m^2+8m+4-4m^2+32m-80
=40m-76
Để(1) có nghiệm thì 40m-76<0 và 1>0
=>m<19/10
\(\Delta'=\left(m+1\right)^2-\left(m^2+4\right)=2m-3\ge0\Rightarrow m\ge\dfrac{3}{2}\)
Theo hệ thức Viet: \(\left\{{}\begin{matrix}x_1+x_2=2\left(m+1\right)\\x_1x_2=m^2+4\end{matrix}\right.\)
\(x_1^2+2\left(m+1\right)x_2< 3m^2+16\)
\(\Leftrightarrow x_1\left(x_1+x_2\right)-x_1x_2+2\left(m+1\right)x_2< 3m^2+16\)
\(\Leftrightarrow2\left(m+1\right)x_1-\left(m^2+4\right)+2\left(m+1\right)x_2< 3m^2+16\)
\(\Leftrightarrow2\left(m+1\right)\left(x_1+x_2\right)< 4m^2+20\)
\(\Leftrightarrow4\left(m+1\right)^2< 4m^2+20\)
\(\Leftrightarrow4m^2+8m+4< 4m^2+20\)
\(\Leftrightarrow8m< 16\)
\(\Rightarrow m< 2\)
Kết hợp điều kiện delta ta được \(\dfrac{3}{2}\le m< 2\)
