Giả sử \(c=min\left\{a,b,c\right\}\)khi đó ta có: \(b^2-bc+c^2=c\left(c-b\right)+b^2\le b^2\); \(c^2-ca+a^2=c\left(c-a\right)+a^2\le a^2\)
Từ đó thu được \(Q\le a^2b^2\left(a^2-ab+b^2\right)=\frac{4}{9}.\frac{3ab}{2}.\frac{3ab}{2}.\left(a^2-ab+b^2\right)\)\(\le\frac{4}{9}.\left(\frac{\frac{3ab}{2}+\frac{3ab}{2}+a^2-ab+b^2}{3}\right)^3=\frac{4}{3^5}\left(a+b\right)^6\le\frac{4}{3^5}\left(a+b+c\right)^6=12\)
Đẳng thức xảy ra khi a = 2; b = 1; c = 0 và các hoán vị