Lời giải:
TXĐ: $D=\mathbb{R}$
$y(x^2-2x+3)=3x^2+2x+1$
$\Leftrightarrow x^2(3-y)+2x(1+y)+(1-3y)=0(*)$
Coi $(*)$ là pt bậc 2 ẩn $x$. Vì $y$ xác định nên $(*)$ luôn có nghiệm.
$\Leftrightarrow \Delta'=(y+1)^2-(3-y)(1-3y)\geq 0$
$\Leftrightarrow -2y^2+12y-2\geq 0$
$\Leftrightarrow -y^2+6y-1\geq 0$
$\Leftrightarrow 3-2\sqrt{2}\leq y\leq 3+2\sqrt{2}$
Hay $y\in [3-2\sqrt{2}; 3+2\sqrt{2}]$
$\Rightarrow a=3-2\sqrt{2}; b=3+2\sqrt{2}$
$\Rightarrow a^2+b^2+ab=35$