Lời giải:
$x(x^2+x+1)=4y(y+1)$
$\Leftrightarrow x(x^2+x+1)+1=4y(y+1)+1$
$\Leftrightarrow (x^2+1)(x+1)=(2y+1)^2$
Vì $(x^2+1)-(x+1)=x^2-x=x(x-1)\vdots 2$ nên $x^2+1, x+1$ cùng tính chẵn lẻ. Mà tích của chúng là $(2y+1)^2$ lẻ nên $x^2+1, x+1$ cùng lẻ.
Gọi $d=ƯCLN(x^2+1, x+1)$
$\Rightarrow x^2+1\vdots d; x+1\vdots d$
$\Rightarrow x(x+1)-(x^2+1)\vdots d$
$\Rightarrow x-1\vdots d$
$\Rightarrow (x+1)-(x-1)\vdots d\Rightarrow 2\vdots d$
$\Rightarrow d=1$ hoặc $d=2$
Nếu $d=2$ thì $x^2+1\vdots 2$ (loại do $x^2+1$ lẻ)
$\Rightarrow d=1$
Vậy $(x^2+1, x+1)=1$. Mà tích của chúng là scp nên bản thân mỗi số $x^2+1, x+1$ là scp.
Đặt $x^2+1=a^2, x+1=b^2$ với $a,b\in\mathbb{N}$
$\Rightarrow (b^2-1)^2+1=a^2$
$\Rightarrow 1=(a^2-b^2+1)(a^2+b^2-1)$
$\Rightarrow a^2-b^2+1=1=a^2+b^2-1=1$
$\Rightarrow a=b=1$
$\Rightarrow x=0\Rightarrow y=0$ hoặc $y=-1$
