\(\frac{P}{3}=\frac{a^2-ab-3b^2}{3}=\frac{a^2-ab-3b^2}{a^2+ab+b^2}\)
Nếu \(b=0\Rightarrow P=3\)
Nếu \(b\ne0\) chia cả tử và mẫu cho \(b^2\) ta được: \(\frac{P}{3}=\frac{\left(\frac{a}{b}\right)^2-\frac{a}{b}-3}{\left(\frac{a}{b}\right)^2+\frac{a}{b}+1}\)
Đặt \(\frac{a}{b}=x\Rightarrow\frac{P}{3}=\frac{x^2-x-3}{x^2+x+1}\)
\(\Leftrightarrow Px^2+Px+P=3x^2-3x-9\)
\(\Leftrightarrow\left(P-3\right)x^2+\left(P+3\right)x+P+9=0\)
Với \(P\ne3\) ta có
\(\Delta=\left(P+3\right)^2-4\left(P-3\right)\left(P+9\right)\ge0\)
\(\Leftrightarrow-3P^2-30P+117\ge0\)
\(\Rightarrow-13\le P\le3\)
\(\Rightarrow P_{max}=3\) khi \(b=0\)
\(P_{min}=-13\) khi \(x=-\frac{5}{16}\Rightarrow a=-\frac{5}{16}b\)
