Biến đổi từ giả thiết

\(x^3+y^3+6xy\le8\)

\(\Leftrightarrow...\Leftrightarrow\left(x+y-2\right)\left(x^2-xy+y^2+2x+2y+4\right)\le0\)

\(\Leftrightarrow x+y-2\le0\)

(Do \(x^2-xy+y^2+2x+2y+4=\left(x-\frac{y}{2}\right)^2+\frac{3y^2}{4}+2x+2y+4>0\forall x;y>0\))

\(\Leftrightarrow x+y\le2\)

Và áp dụng các bđt \(\frac{1}{2ab}\ge\frac{2}{\left(a+b\right)^2}\)

                                 \(\frac{1}{a}+\frac{1}{b}\ge\frac{4}{a+b}\left(a;b>0\right)\)

Khi đó \(P=\left(\frac{1}{a^2+b^2}+\frac{1}{2ab}\right)+\left(\frac{1}{ab}+ab\right)+\frac{3}{2ab}\)

               \(\ge\frac{4}{a^2+b^2+2ab}+2+\frac{6}{\left(a+b\right)^2}\)

                 \(=\frac{4}{\left(a+b\right)^2}+2+\frac{6}{\left(a+b\right)^2}\ge\frac{9}{2}\)

Dấu "=" <=> a= b = 1

Ta có:  \(\left(y^2-y\right)+2\ge0\Rightarrow2y^3\le y^4+y^2\)

\(\Rightarrow\left(x^3+y^2\right)+\left(x^2+y^3\right)\le\left(x^2+y^2\right)+\left(y^4+x^3\right)\)

Mà \(x^3+y^4\le x^2+y^3\)

\(\Rightarrow x^3+y^3\le x^2+y^2\left(1\right)\)

Lại có: \(x\left(x-1\right)^2\ge0;y\left(y+1\right)\left(y-1\right)^2\ge0\)

\(\Rightarrow x\left(x-1\right)^2+y\left(y+1\right)\left(y-1\right)^2\ge0\)

\(\Rightarrow x^3-2x^2+x+y^4-y^3-y^2+y\ge0\)

\(\Rightarrow\left(x^2+y^2\right)+\left(x^2+y^3\right)\le\left(x+y\right)+\left(x^3+y^4\right)\)

Mà \(x^2+y^3\ge x^3+y^4\)

\(\Rightarrow x^2+y^2\le x+y\left(2\right)\)

Và \(\left(x+1\right)\left(x-1\right)\ge0;\left(y-1\right)\left(y^3-1\right)\ge0\)

\(x^3-x^2-x+1+y^4-y-y^3+1\ge0\)

\(\Rightarrow\left(x+y\right)+\left(x^2+y^3\right)\le2+\left(x^3+y^4\right)\)

Mà \(x^2+y^3\ge x^3+y^4\)

\(\Rightarrow x+y\le2\left(3\right)\)

Từ (1), (2), (3) => đpcm

Ta có \(x^2+y^3\ge x^3+y^4\Leftrightarrow x^2+y^2+y^3\ge x^3+y^2+y^4\)

Áp dụng bđt AM-GM ta có \(y^4+y^2\ge2y^3\)

\(\Rightarrow x^2+y^3+y^2\ge x^3+2y^3\)

\(\Rightarrow x^3+y^3\le x^2+y^2\left(1\right)\)

Áp dụng bđt Cauchy - Schwarz ta có 

\(\left(x^2+y^2\right)^2\le\left[\left(\sqrt{x}\right)^2+\left(\sqrt{y}\right)^2\right]\left[\left(\sqrt{x^3}\right)^2+\left(\sqrt{y^3}\right)^2\right]=\left(x+y\right)\left(x^3+y^3\right)\)

                         \(\le\left(x+y\right)\left(x^2+y^2\right)\)

\(\Rightarrow x^2+y^2\le x+y\left(2\right)\)

Lại có

\(\left(x+y\right)^2\le2\left(x^2+y^2\right)\le2\left(x+y\right)\)

\(\Rightarrow x+y\le2\left(3\right)\)

Từ (1),(2),(3) => đpcm

Đối với bài này ta cũng có thể chia các khoảng giá trị để chứng minh 

(Nhưng hơi dài và khó hiểu nên mình k làm ) 

Học tốt!!!!!!!!!

Dấu "=" xảy ra khi x=y=1

\(VT=x^3y^3\left(x^2+y^2\right)=\frac{1}{8}.2xy.2xy.2xy.\left(x^2+y^2\right)\)

\(\le\frac{1}{8}\left[\frac{\left(4xy+2xy+x^2+y^2\right)^4}{256}\right]\)(áp dụng BĐT AM-GM cho 4 số)

\(=\frac{1}{8}.\frac{\left[4xy+\left(x+y\right)^2\right]^4}{256}\le\frac{1}{8}.\frac{\left[2\left(x+y\right)^2\right]^4}{256}=2\)

Đẳng thức xảy ra khi x = y = 1

Ta có đpcm/