Ngắn gọn thì đây là 1 bài toán không giải được (min max tồn tại, nhưng không thể tìm được)
Cực trị xảy ra tại \(x=\dfrac{a}{b}\) là nghiệm của pt bậc 4:
\(7x^4+11x^3-3x^2-4x-2=0\)
Là một pt không thể phân tích về các pt bậc thấp hơn
Nếu sửa đề thế này thì có thể quy về 1 biến khá đơn giản:
\(3-ab=a^2+b^2\ge2ab\Rightarrow ab\le1\)
\(3-ab=a^2+b^2\ge-2ab\Rightarrow ab\ge-3\)
\(\Rightarrow-3\le ab\le1\)
\(P=\left(a^2+b^2\right)^2-2a^2b^2-ab=\left(3-ab\right)^2-2a^2b^2-ab=-a^2b^2-7ab+9\)
Đặt \(ab=x\Rightarrow-3\le x\le1\)
\(P=-x^2-7x+9=\left(-x^2-7x+8\right)+1=1+\left(1-x\right)\left(x+8\right)\ge1\)
\(P=\left(-x^2-7x-12\right)+21=21-\left(x+3\right)\left(x+4\right)\le21\)
