Lời giải:
Từ \(a+b+c=13\Rightarrow c=13-(a+b)\)
Khi đó \(M=abc=ab(13-a-b)\). Vì \(a+b\leq 5\rightarrow 13-a-b>0\)
Hơn nữa, áp dụng BĐT AM-GM ta có \(ab\leq \frac{(a+b)^2}{4}\)
Do đó \(M=ab(13-a-b)\leq \frac{(a+b)^2(13-a-b)}{4}\)
Đặt \(a+b=t\Rightarrow t\in (0;5]\)
Ta cần chứng minh \(M\leq 50\Leftrightarrow t^2(13-t)\leq 200\)
\(\Leftrightarrow (t-5)(t^2-8t-40)\geq 0\) \((\star)\)
Vì \(t\in (0;5]\Rightarrow t-5\leq 0\).
Và \(t^2-8t-40=t(t-5)-3t-40<0\) với \(0< t\leq 5\)
Do đó, \((t-5)(t^2-8t-40)\geq 0\). tức là BĐT \((\star)\) luôn đúng
Ta có đpcm.
Dấu bằng xảy ra khi \((a,b,c)=\left (\frac{5}{2},\frac{5}{2},8\right)\)