Lời giải:
$ab+11=2a+3b$

$ab-2a-3b+11=0$

$a(b-2)-3(b-2)+5=0$

$(a-3)(b-2)=-5$
Vì $a,b$ là số nguyên nên $a-3, b-2$ là số nguyên. Ta có bảng sau:

thtfgfgfghggggggggggggggggggggg

Ta có \(\hept{\begin{cases}3a=4b\\2b=5c\end{cases}}\Leftrightarrow\hept{\begin{cases}\frac{b}{3}=\frac{a}{4}\\\frac{b}{5}=\frac{c}{2}\end{cases}}\Leftrightarrow\hept{\begin{cases}\frac{b}{15}=\frac{a}{20}\\\frac{b}{15}=\frac{c}{6}\end{cases}}\Leftrightarrow\frac{a}{20}=\frac{b}{15}=\frac{c}{6}\)

Đặt \(\frac{a}{20}=\frac{b}{15}=\frac{c}{6}=k\Leftrightarrow\hept{\begin{cases}a=20k\\b=15k\\c=6k\end{cases}}\)

Khi đó a² + b² + c² = 661

<=> (20k)² + (15k)² + (6k)² = 661

<=> 661k² = 661

<=> k² = 1

<=> k = \(\pm1\)

Khi k = 1 => a = 20 ; b = 15 ; c = 6

Khi k = -1 => a = -20 ; b = - 15 ; c = -6

Ta có \(2a=3b=4c\Leftrightarrow\frac{2a}{12}=\frac{3b}{12}=\frac{4c}{12}\Leftrightarrow\frac{a}{6}=\frac{b}{4}=\frac{c}{3}\)

Áp dụng dãy tỉ số bằng nhau ta có : 

\(\frac{a}{6}=\frac{b}{4}=\frac{c}{3}=\frac{3a}{18}=\frac{4b}{16}=\frac{3a+4b-c}{18+16-3}=\frac{72}{31}\)

=> \(\hept{\begin{cases}a=\frac{432}{31}\\b=\frac{288}{31}\\c=\frac{216}{31}\end{cases}}\)