Lời giải:
Từ PT(1)\(\Rightarrow xy+x+y+1=4xy\Leftrightarrow (x+1)(y+1)=4xy\)
Từ đó xét PT(2), áp dụng BĐT AM-GM cho các số dương ta có:
\(\frac{x^2}{(y+1)^2}+\frac{y^2}{(x+1)^2}\geq 2\sqrt{\frac{x^2y^2}{(y+1)^2(x+1)^2}}=2\sqrt{\frac{x^2y^2}{(4xy)^2}}=\frac{1}{2}\)
Dấu "=" xảy ra khi \(\frac{x^2}{(y+1)^2}=\frac{y^2}{(x+1)^2}=\frac{1}{2}:2=\frac{1}{4}\)
\(\Rightarrow \frac{x}{y+1}=\pm \frac{1}{2}; \frac{y}{x+1}=\pm \frac{1}{2}\)
Dễ thấy \(\frac{x}{y+1}. \frac{y}{x+1}=\frac{1}{4}>0\Rightarrow \frac{x}{y+1}, \frac{y}{x+1}\) cùng dấu.
TH1: \(\frac{x}{y+1}=\frac{1}{2}; \frac{y}{x+1}=\frac{1}{2}\)
\(\Rightarrow x=y=1\)
TH2: \(\frac{x}{y+1}=\frac{y}{x+1}=\frac{-1}{2}\Rightarrow x=y=\frac{-1}{3}\)
Vậy......