Lời giải:
Đặt $\sqrt{x-1}=a; \sqrt{y+1}=b(a,b\geq 0)$
Khi đó PT (1) trở thành:
$(a^2+4)a-3(a^2-b^2)-(b^2+4)b=0$
$\Leftrightarrow (a^3-b^3)+(4a-4b)-3(a^2-b^2)=0$
$\Leftrightarrow (a-b)(a^2+ab+b^2+4-3a-3b)=0$
Xét $a^2+ab+b^2+4-3a-3b=(a+\frac{b}{2}-1,5)^2+\frac{3}{4}(b-1)^2+1>0$ với mọi $a,b\geq 0$ nên $a-b=0$
$\Rightarrow a=b$
$\Leftrightarrow x-1=y+1$
$\Leftrightarrow x=y+2$
Thay vào PT(2):
\(2\sqrt{x^2+5}=2\sqrt{x-1}+x^2\)
$\Leftrightarrow (x^2-4)+2(\sqrt{x-1}-1)+2(\sqrt{x^2+5}-3)=0$
\(\Leftrightarrow (x-2)\left[x+2+\frac{2}{\sqrt{x-1}+1}-\frac{2(x+2)}{\sqrt{x^2+5}+3}\right]=0\)
Do $x\geq 1$ nên \(\frac{2(x+2)}{\sqrt{x^2+5}+3}< x+2\)
Do đó biểu thức trong ngoặc vuông [ ] luôn dương
$\Rightarrow x-2=0$
$\Rightarrow x=2$ (tm)
Kéo theo $y=0$