Các điều kiện xác định hợp lại sẽ là \(\left\{{}\begin{matrix}2\le x\le4\\0\le y\le2\end{matrix}\right.\)
Ta có \(8\sqrt{xy-2y}-8y+4\) \(=8\sqrt{y\left(x-2\right)}-8y+4\) \(\le4\left(y+x-2\right)-8y+4\) (BĐT AM-GM) \(=4\left(x-y\right)-4\)
Do vậy, \(\left(x-y\right)^2=8\sqrt{xy-2y}-8y+4\le4\left(x-y\right)-4\) \(\Leftrightarrow\left(x-y\right)^2-4\left(x-y\right)+4\le0\) \(\Leftrightarrow\left(x-y-2\right)^2\le0\) \(\Leftrightarrow x-y-2=0\) \(\Leftrightarrow y=x-2\), điều này cũng thỏa mãn ĐTXR của BĐT \(8\sqrt{y\left(x-2\right)}=4\left(y+x-2\right)\). Do đó, pt đầu tiên của hệ \(\Leftrightarrow y=x-2\) hay \(x=y+2\)
Thay vào pt thứ 2 của hệ, ta có
\(2\sqrt{2y-y^2}\left(\sqrt{4-2y}-2\sqrt{2y}+1\right)=4y+5\sqrt{2-y}-10\sqrt{y}\)
\(\Leftrightarrow\left(4-2y\right)\sqrt{2y}-4y\sqrt{4-2y}+2\sqrt{y\left(2-y\right)}=4y+5\sqrt{2-y}-10\sqrt{y}\)
Mình mới làm được đến đây thôi. Mình phải đi ngủ rồi, thế nên mai mình suy nghĩ tiếp nhé.