Lời giải:
$5a^2+2b^2=11ab$
$\Leftrightarrow 5a^2+2b^2-11ab=0$
$\Leftrightarrow (5a^2-10ab)-(ab-2b^2)=0$
$\Leftrightarrow 5a(a-2b)-b(a-2b)=0$
$\Leftrightarrow (a-2b)(5a-b)=0$
Do $a>2b>0$ nên $a-2b>0$. Do dó $5a-b=0$
$\Leftrightarrow b=5a$. Khi đó:
$A=\frac{4a^2-5b^2}{a^2+2ab}=\frac{4a^2-5(5a)^2}{a^2+2a.5a}=\frac{-121a^2}{11a^2}=-11$