Cách 1:
PT $\Leftrightarrow x^2(1-y^2)+3xy+y^2=0$
Coi đây là PT bậc 2 ẩn $x$. PT có nghiệm nguyên khi mà:$\Delta=(3y)^2-4y^2(1-y^2)$ là scp
$\Leftrightarrow 4y^4+5y^2$ là scp
$\Leftrightarrow y^2(4y^2+5)$ là scp
$\Leftrightarrow 4y^2+5$ là scp.
Đặt $4y^2+5=a^2$ với $a$ là số tự nhiên.
$\Rightarrow 5=a^2-4y^2=(a-2y)(a+2y)$
Đây là dạng PT tích cơ bản (đơn giản)
Cách 2:
$x^2+y^2+3xy=(xy)^2$$\Leftrightarrow (x+y)^2+xy=(xy)^2$
$\Leftrightarrow (x+y)^2=(xy)^2-xy=xy(xy-1)$
Dễ thấy $xy, xy-1$ nguyên tố cùng nhau. Mà tích của $xy(xy-1)$ là số chính phương nên bản thân mỗi số $|xy|, |xy-1|$ cũng là số chính phương
Đặt $|xy|=a^2; |xy-1|=b^2 với $a,b$ là số tự nhiên.
$\Rightarrow xy=\pm a^2; xy-1=\pm b^2$
Đến đây thì đơn giản rồi, xét từng TH thôi.