Điều kiện: \(x\ge1,y\ge-2\)
Đặt \(a=xy+3x-4y;b=4x-1;c=y+2\). Khi đó phương trình trở thành: \(a+\sqrt{b}=\sqrt{c}\).
\(\Rightarrow a^2+2a\sqrt{b}+b=c\).
*Nếu \(a=0\Rightarrow b=c\Rightarrow\left\{{}\begin{matrix}4x-1=y+2\\xy+3x=4y\end{matrix}\right.\Rightarrow\left(4x-3\right)\left(x-4\right)+3x=0\Rightarrow\left[{}\begin{matrix}x=1\\x=3\end{matrix}\right.\Rightarrow\left(x,y\right)=\left(1,1\right);\left(3,9\right)\)
*Nếu \(a\ne0\), ta có: \(\sqrt{b}=\dfrac{c-b-a^2}{2a}\).
Nếu b không là số chính phương thì \(b+a^2=c\Rightarrow\sqrt{b}=0\Rightarrow4x-1=0\left(loại\right)\).
Vậy b là số chính phương, khi đó c cũng là số chính phương.
Đặt \(4x-1=m^2;y+2=n^2\left(m,n\ge0\right)\Rightarrow\left\{{}\begin{matrix}x=\dfrac{m^2+1}{4}\\y=n^2-2\end{matrix}\right.\).
Phương trình ban đầu tương đương: \(\dfrac{\left(m^2+1\right)\left(n^2-2\right)}{4}+\dfrac{3}{4}\left(m^2+1\right)+m=n+4\left(n^2-2\right)\)
\(\Leftrightarrow\left(m^2+1\right)\left(n^2-2\right)+3\left(m^2+1\right)+4m=4n+16\left(n^2-2\right)\)
\(\Leftrightarrow m^2n^2+m^2+n^2+1=4\left(n-m\right)+16\left(n^2-2\right)\)
\(\Leftrightarrow\left(m^2-15\right)n^2-4n+m^2+4m+33=0\left(1\right)\)
*Nếu \(m^2\ge15\), xét đa thức \(f\left(n\right)=\left(m^2-15\right)n^2-4n+m^2+4m+33\).
Ta có: \(\Delta_f=16-\left(m^2-15\right)\left(m^2+4m+33\right)< 0\), nên f(n) vô nghiệm, mâu thuẫn.
Vậy \(m^2\le15\Rightarrow m\in\left\{1;2;3\right\}\).
*Với \(m=3\). Từ (1) ta có: \(-6n^2-4n+54=0\Rightarrow n\notin Z\), loại.
*Với \(m=2\). Từ (1) ta có: \(-11n^2-4n+45=0\Rightarrow n\notin Z\), loại.
*Với \(m=1\). Từ (1) ta có: \(-14n^2-4n+45=0\Rightarrow n\notin Z\), loại.
Vậy \(\left(x,y\right)=\left(1,1\right);\left(3,9\right)\)
