Ta có: \(\left( 1 \right) \Leftrightarrow \left( {1 - y} \right)\sqrt {x - y} + \left( {x - y - 1} \right) + y - 1 = \left( {x - y - 1} \right)\sqrt y \)
\( \Leftrightarrow \left( {1 - y} \right)\left( {\sqrt {x - y} - 1} \right) + \left( {x - y - 1} \right)\left( {1 - \sqrt y } \right) = 0\\ \Leftrightarrow \left( {1 - \sqrt y } \right)\left( {1 + \sqrt y } \right)\left( {\sqrt {x - y} - 1} \right) + \left( {\sqrt {x - y} - 1} \right)\left( {\sqrt {x - y} + 1} \right)\left( {1 - \sqrt y } \right) = 0\\ \Leftrightarrow \left( {1 - \sqrt y } \right)\left( {\sqrt {x - y} - 1} \right)\left( {1 + \sqrt y + \sqrt {x - y} + 1} \right) = 0\\ \Leftrightarrow \left[ \begin{array}{l} \sqrt y = 1\\ \sqrt {x - y} = 1\\ 2 + \sqrt y + \sqrt {x - y} = 0 \text{(vô nghiệm do vế trái dương)} \end{array} \right. \)
\(\Leftrightarrow y = 1 \vee x = y + 1 \)
* Với \(y=1\) thay vào (2) ta được \(-3x+9=0 \Leftrightarrow x = 3\)
Vậy nghiệm hệ phương trình là \((3;1)\)
* Với \(x=y+1\) thay vào (2) ta được:
\( 2{y^2} - 3\left( {y + 1} \right) + 6y + 1 = 2\sqrt {y + 1 - 2y} - \sqrt {4\left( {1 + y} \right) - 5y - 3} \\ \Leftrightarrow 2{y^2} + 3y - 2 = \sqrt {1 - y} \left( * \right) (ĐK: y \in \left[ {0;1} \right]) \)
\( \Leftrightarrow 2\left( {{y^2} + y - 1} \right) = \sqrt {1 - y} - y \Leftrightarrow 2\left( {{y^2} + y - 1} \right) = \dfrac{{1 - y - {y^2}}}{{\sqrt {11 - y} + y}}\\ \Leftrightarrow \left( {{y^2} + y - 1} \right)\left( {2 + \dfrac{1}{{\sqrt {1 - y} + y}}} \right) = 0\\ \Leftrightarrow {y^2} + y - 1 = 0\left( {do2 + \dfrac{1}{{\sqrt {1 - y} + y}} > 0\forall y \in \left[ {0;1} \right]} \right)\\ \Leftrightarrow y = \dfrac{{ - 1 + \sqrt 5 }}{2} \)
Vậy nghiệm hệ phương trình là: \(\left( {\dfrac{{1 + \sqrt 5 }}{2};\dfrac{{ - 1 + \sqrt 5 }}{2}} \right) \)