\(\left\{{}\begin{matrix}x^2+y^2+2\left(x+y\right)=7\\y\left(y-2x\right)-2x=10\end{matrix}\right.\Leftrightarrow\left\{{}\begin{matrix}x^2+2xy+2x+10+2x+2y=7\\y^2=2xy+2x+10\end{matrix}\right.\)
Từ phương trình thứ nhất của hệ, ta có:
\(x^2+2xy+2x+10+2x+2y=7\)
\(\Leftrightarrow x^2+2xy+4x+2y+3=0\)
\(\Leftrightarrow\left(x^2-1\right)+\left[\left(2xy+4x\right)+\left(2y+4\right)\right]=0\)
\(\Leftrightarrow\left(x-1\right)\left(x+1\right)+\left[2x\left(y+2\right)+2\left(y+2\right)\right]=0\)
\(\Leftrightarrow\left(x-1\right)\left(x+1\right)+2\left(y+2\right)\left(x+1\right)=0\)
\(\Leftrightarrow\left[\left(x-1\right)+2\left(y+2\right)\right]\left(x+1\right)=0\)
\(\Leftrightarrow\left(x+2y+3\right)\left(x+1\right)=0\)
\(\Leftrightarrow\left[{}\begin{matrix}x+2y+3=0\\x+1=0\end{matrix}\right.\)
Trường hợp 1: \(x+2y+3=0\Leftrightarrow x=-2y-3,\) thay vào phương trình thứ hai của hệ, ta có:
\(y\left[y-2\left(-2y-3\right)\right]-2\left(-2y-3\right)=10\)
\(\Leftrightarrow y\left(y+4y+6\right)+4y+6=10\)
\(\Leftrightarrow5y^2+6y+4y+6=10\)
\(\Leftrightarrow5y^2+10y-4=0\)
Ta có: \(\Delta'=5^2+5.4=25+20=45>0\) nên phương trình có hai nghiệm phân biệt là: \(\left[{}\begin{matrix}y=\dfrac{3\sqrt{5}-5}{5}\\y=\dfrac{-3\sqrt{5}-5}{5}\end{matrix}\right.\)
Với \(y=\dfrac{3\sqrt{5}-5}{5}\Rightarrow x=\dfrac{-6\sqrt{5}-5}{5}\)
Với \(y=\dfrac{-3\sqrt{5}-5}{5}\Rightarrow x=\dfrac{6\sqrt{5}-5}{5}\)
Trường hợp 2: \(x+1=0\Leftrightarrow x=-1,\) thay vào phương trình thứ hai của hệ, ta có:
\(y\left[y-2.\left(-1\right)\right]-2.\left(-1\right)=10\)
\(\Leftrightarrow y^2+2y-8=0\)
Ta có: \(\Delta'=1+8=9>0\) nên phương trình có hai nghiệm phân biệt là: \(\left[{}\begin{matrix}y=-4\\y=2\end{matrix}\right.\)
Vậy hệ phương trình có nghiệm là: \(\left(-1;-4\right),\left(-1;2\right),\left(\dfrac{-6\sqrt{5}-5}{5};\dfrac{3\sqrt{5}-5}{5}\right)\) và \(\left(\dfrac{6\sqrt{5}-5}{5};\dfrac{-3\sqrt{5}-5}{5}\right).\)