Ta có: \(a^3-a^2b+ab^2-6b^3=0\)
\(\Leftrightarrow\left(a^3-2a^2b\right)+\left(a^2b-2ab^2\right)+\left(3ab^2-6b^3\right)=0\)
\(\Leftrightarrow a^2\left(a-2b\right)+ab\left(a-2b\right)+3b^2\left(a-2b\right)=0\)
\(\Leftrightarrow\left(a-2b\right)\left(a^2+ab+3b^2\right)=0\)
mà \(a^2+ab+3b^2>0\forall a>b>0\)
nên a-2b=0
hay a=2b
Ta có: \(P=\dfrac{a^4-b^4}{b^4-4a^4}\)
\(=\dfrac{\left(2b\right)^4-b^4}{b^4-4\cdot\left(2b\right)^4}=\dfrac{16b^4-b^4}{b^4-4\cdot16b^4}=\dfrac{15b^4}{-63b^4}=\dfrac{-5}{21}\)