Lời giải:
\(M=\frac{a^3+b^3-a^2-b^2}{(a-1)(b-1)}=\frac{a^2(a-1)+b^2(b-1)}{(a-1)(b-1)}=\frac{a^2}{b-1}+\frac{b^2}{a-1}\)
Áp dụng BĐT AM-GM cho các số dương:
\(\frac{a^2}{b-1}+4(b-1)\geq 4a\)
\(\frac{b^2}{a-1}+4(a-1)\geq 4b\)
\(\Rightarrow M+4(b-1)+4(a-1)\geq 4a+4b\)
\(\Leftrightarrow M\geq 8\)
Vậy \(M_{\min}=8\Leftrightarrow \left\{\begin{matrix} a=2(b-1)\\ b=2(a-1)\end{matrix}\right.\Leftrightarrow a=b=2\)