Đáp án C.
Ta có f ' x = x 2 − 2 m x + 1 − 4 m x − m 2 .
Hàm số đồng biến trên 2 ; + ∞ khi và chỉ khi f ' x ≥ 0, ∀ x ∈ 2 ; + ∞
⇔ m ∉ 2 ; + ∞ x 2 − 2 m x + 1 − 4 m ≥ 0, ∀ x ∈ 2 ; + ∞ ⇔ m < 2 2 m ≤ x 2 + 1 x + 2 , ∀ x ∈ 2 ; + ∞
Bằng cách khảo sát hàm số y = x 2 + 1 x + 2 trên nửa khoảng 2 ; + ∞ , ta được
min 2 ; + ∞ y = y 2 = 5 4
Vì vậy
2 m ≤ x 2 + 1 x + 2 , ∀ 2 ; + ∞ ⇔ 2 m ≤ min 2 ; + ∞ x 2 + 1 x + 2 = 5 4 ⇔ m ≤ 5 8 .
Suy ra a = 5, b = 8 .
Do đó a 2 + b 2 = 89 .
Vậy phương án đúng là C.