Lời giải:
Để hàm sô có cực trị bằng \(\frac{5}{4}\) khi $x=-3$ cần có các điều kiện sau:
1. \(y'=2x-a-\frac{4b}{x^3}-2=0\) nhận \(x=-3\) là nghiệm
2. \(y(-3)=9+3a+\frac{2b}{9}+6+1=\frac{5}{4}\)
\(\left\{\begin{matrix} -6-a+\frac{4b}{27}-2=0\\ 3a+\frac{2b}{9}=\frac{-59}{4}\end{matrix}\right.\Leftrightarrow \left\{\begin{matrix} -a+\frac{4b}{27}=8\\ 3a+\frac{2b}{9}=\frac{-59}{4}\end{matrix}\right.\Rightarrow \left\{\begin{matrix} a=-\frac{107}{18}\\ b=\frac{111}{8}\end{matrix}\right.\)