Áp dụng BĐT \(\frac{a^2}{x}+\frac{b^2}{y}\ge\frac{\left(a+b\right)^2}{x+y}\) cho các số dương a, b, x, y ta có:
\(A=\frac{x^2}{y-1}+\frac{y^2}{x-1}\ge\frac{\left(x+y\right)^2}{x+y-2}\)
Đặt x + y = a > 2 thì \(M\ge\frac{a^2}{a-2}\).
Đặt \(\frac{a^2}{a-2}=b>0\)
\(\Leftrightarrow a^2-ab+2b=0\)
Xét phương trình bậc 2 ẩn a. Để phương trình có nghiệm thì: \(b^2-8b\ge0\)
\(\Leftrightarrow\left(b-4\right)^2\ge16\)
\(\Leftrightarrow b\ge8\) (do b > 0)
Do đó M \(\ge\) 8
Dấu "=" xảy ra khi x = y = 2.
Vậy Min M = 8 khi x = y = 2.