Lời giải:
Ta có:
\(M=\frac{ab^2+b^2(b^2-a)+1}{a^2b^4+2b^4+a^2+2}=\frac{ab^2+b^4-ab^2+1}{b^4(a^2+2)+(a^2+2)}=\frac{b^4+1}{(b^4+1)(a^2+2)}\)
\(=\frac{1}{a^2+2}\)
Ta thấy \(a^2\geq 0, \forall a\in\mathbb{R}\Rightarrow a^2+2\geq 2\Rightarrow \frac{1}{a^2+2}\leq \frac{1}{2}\)
Hay \(M\leq \frac{1}{2}\). Vậy \(M_{\max}=\frac{1}{2}\)