Lời giải:
Ta có:
\((a^2+ab-3a-b+2)(b^2+ab-a-b)\)
\(=[a(a+b-2)-a-b+2][b(b+a)-(a+b)]\)
\(=[a(a+b-2)-(a+b-2)][b(b+a)-(a+b)]\)
\(=(a+b-2)(a-1)(b+a)(b-1)\)
Vì \(0\leq a,b\leq \Rightarrow \left\{\begin{matrix} a+b-2\leq 0\\ a-1\leq 0\\ b+a\geq 0\\ b-1\leq 0\end{matrix}\right.\)
\(\Rightarrow (a^2+ab-3a-b+2)(b^2+ab-a-b)=(a+b-2)(a-1)(b+a)(b-1)\leq 0\)
Ta có đpcm.