Lời giải:
$x^2-2xy+5y^2=y+1$

$\Leftrightarrow x^2-2xy+y^2=y+1-4y^2$

$\Leftrightarrow y+1-4y^2=(x-y)^2\geq 0$

$\Leftrightarrow y+1-4y^2\geq 0$

$\Leftrightarrow 4y^2-y-1\leq 0$

$\Leftrightarrow 4y^2-y-3\leq -2<0$

$\Leftrightarrow (y-1)(4y+3)<0$

$\Leftrightarrow \frac{-3}{4}< y< 1$ 

$y$ nguyên nên $y=0$ 

Khi đó: $x^2=1\Leftrightarrow x=\pm 1$ 

Vậy $(x,y)=(\pm 1,0)$

a) \(x^2-3xy+3y^2=3y\)

Rõ ràng \(x⋮y\) nên đặt \(x=ky\left(k\inℤ\right)\). Pt trở thành:

\(k^2y^2-3ky^2+3y^2=3y\)

\(\Leftrightarrow\left[{}\begin{matrix}y=0\\k^2y-3ky+3y=3\end{matrix}\right.\).

Khi \(y=0\) \(\Rightarrow x=0\).

Khi \(k^2y-3ky+3y=3\)

\(\Leftrightarrow y\left(k^2-3k+3\right)=3\)

Ta lập bảng giá trị:

Vậy pt đã cho có các nghiệm \(\left(0;0\right);\left(3;1\right);\left(3;3\right);\left(6;3\right)\)

b) \(x^2-2xy+5y^2=y+1\)

\(\Leftrightarrow x^2-2yx+5y^2-y-1=0\)

\(\Delta'=\left(-y\right)^2-\left(5y^2-y-1\right)\) \(=-4y^2+y+1\)

Để pt đã cho có nghiệm thì \(-4y^2+y+1\ge0\), giải bpt thu được \(\dfrac{1-\sqrt{17}}{8}\le y\le\dfrac{1+\sqrt{17}}{8}\). Mà lại có \(-1< \dfrac{1-\sqrt{17}}{8}< 0< \dfrac{1+\sqrt{17}}{8}< 1\) nên suy ra \(y=0\). Từ đó tìm được \(x=\pm1\). Vậy pt đã cho có các nghiệm \(\left(1;0\right);\left(-1;0\right)\)