Lời giải:
HPT \(\Leftrightarrow \left\{\begin{matrix}
(x+y)+(x+y)^2-2xy=8\\
xy(xy+x+y+1)=12\end{matrix}\right.\)
Đặt $x+y=a; xy=b$ thì hệ trở thành: \(\Leftrightarrow \left\{\begin{matrix} a+a^2-2b=8\\ b(b+a+1)=12\end{matrix}\right.\Leftrightarrow \left\{\begin{matrix} 2b=a^2+a-8\\ 2b(2b+2a+2)=48\end{matrix}\right.\)
\(\Rightarrow (a^2+a-8)(a^2+a-8+2a+2)=28\)
\(\Leftrightarrow (a^2+a-8)(a^2+3a-6)=48\)
\(\Leftrightarrow a^4+4a^3-11a^2-30a=0\)
\(\Leftrightarrow a(a^3+4a^2-11a-30)=0\)
$\Leftrightarrow a(a-3)(a+2)(a+5)=0$ \(\Rightarrow \left[\begin{matrix} a=0\\ a=3\\ a=-2\\ a=-5\end{matrix}\right.\)
Nếu $x+y=a=0\Rightarow xy=b=-4$
Theo định lý Viet đảo thì $x,y$ là nghiệm của PT $X^2-4=0\Rightarrow (x,y)=(2,-2); (-2,2)$
Nếu $x+y=a=3\Rightarrow xy=b=2$
Theo định lý Viet đảo thì $x,y$ là nghiệm của PT $X^2-3X+2=0\Rightarrow (x,y)=(2,1); (1,2)$
Nếu $x+y=a=-2\Rightarrow xy=b=-3$
Theo định lý Vi-et đảo thì $(x,y)$ là nghiệm của PT $X^2+2X-3=0\Leftrightarrow (x,y)=(1,-3); (-3,1)$
Nếu $x+y=a=-5\Rightarrow xy=b=6$
Theo định lý Viet đảo thì $(x,y) là nghiệm của PT $X^2+5X+6=0\Rightarrow (x,y)=(-2,-3); (-3,-2)$
Vậy.....