Có: \(a^2+b^2+ab=3\)
\(\Leftrightarrow ab=3-\left(a^2+b^2\right)\)
\(P=\left(a^2+b^2\right)^2-2a^2b^2-ab\)
\(=\left(a^2+b^2\right)^2-2\left[3-\left(a^2+b^2\right)\right]^2-3+a^2+b^2\)
\(=3\left(a^2+b^2\right)^2-9+a^2+b^2\)
Đặt \(x=a^2+b^2\left(x\ge0\right)\)
\(P=3x^2+x-9\)
\(\Leftrightarrow3x^2+x-P-9=0\)
\(\Delta=1+12\left(P+9\right)\ge0\)
Đến đây tự làm nha.