\(3a^2+6b^2=11ab\Leftrightarrow3a^2+6b^2-2ab-9ab=0\)
\(\Leftrightarrow3a\left(a-3b\right)-2b\left(a-3b\right)=0\)
\(\Leftrightarrow\left(3a-2b\right)\left(a-3b\right)=0\)
\(a>b>0\Leftrightarrow3a>2b\Leftrightarrow3a-2b>0\)
\(\Leftrightarrow a=3b\Leftrightarrow...\)