\(x^3+y^3=5+x^2y+xy^2\Rightarrow x^3+y^3-\left(x^2y+xy^2\right)=5\)

\(\Rightarrow\left(x+y\right)\left(x^2-xy+y^2\right)-xy\left(x+y\right)=5\)

\(\Rightarrow\left(x+y\right)\left(x-y\right)^2=5\)

Vì \(\left\{{}\begin{matrix}\left(x-y\right)^2\ge0\\5>0\end{matrix}\right.\Rightarrow x+y>0\)

Lại có \(\left\{{}\begin{matrix}\left(x-y\right)^2\in N\\\left(x-y\right)^2< 5\end{matrix}\right.\) và \(\left(x-y\right)^2\) là số chính phương

\(\Rightarrow\left(x-y\right)^2=1\Rightarrow\left\{{}\begin{matrix}x+y=5\\x-y=1\end{matrix}\right.\Rightarrow\left\{{}\begin{matrix}x=3\\y=2\end{matrix}\right.\)

Thêm xy vào 2 vế:

 \(x^2+2xy+y^2=x^2y^2+xy\)(1)

\(\Leftrightarrow\left(x+y\right)^2=xy\left(xy+1\right)\)

Ta thấy xy và xy+1 là 2 số nguyên liên tiếp, có tích là 1 số chính phương nên tồn tại 1 số bằng 0

xét xy=0, từ (1)=> \(x^2+y^2=0\Rightarrow x=y=0\)

xét xy+1=0=> xy=-1, => \(\left(x;y\right)=\orbr{\begin{cases}\left(1;-1\right)\\\left(-1;1\right)\end{cases}}\)

vậy nghiệm nguyên (x;y) của PT là: (0;0); (1;-1); (-1;1)

Áp dụng bất đẳng thức x2+y2≥2xyx2+y2≥2xy nên ta có x2+y2+xy≥3xyx2+y2+xy≥3xy
Mà x2+y2+xy=x2y2≥0x2+y2+xy=x2y2≥0 nên suy ra x2y2+3xy≤0⟺−3≤xy≤0x2y2+3xy≤0⟺−3≤xy≤0
Vì x,yx,y nguyên nên xyxy nguyên, vậy nên xy∈{−3,−2,−1,0}xy∈{−3,−2,−1,0}
Trường hợp xy=−3xy=−3 ta tìm được các nghiệm (−1,3),(3,−1),(−3,1),(1,−3)(−1,3),(3,−1),(−3,1),(1,−3)
Trường hợp xy=−2xy=−2 ta tìm được các nghiệm (−1,2),(2,−1),(1,−2),(−2,1)(−1,2),(2,−1),(1,−2),(−2,1)
Trường hợp xy=−1xy=−1 ta tìm được các nghiệm (−1,1),(1,−1)(−1,1),(1,−1)
Trường hợp xy=0xy=0 ta tìm được nghiệm (0,0)(0,0)
Thử lại thì thấy chỉ có các nghiệm (0,0),(1,−1),(−1,1)(0,0),(1,−1),(−1,1) thỏa mãn và đó là các nghiệm nguyên cần tìm 

sorry @Thắng Hoàng mình nhầm đề, phải là

\(x^2y^2-xy=x^2+2y^2\)

\(x^2y^2+xy+1=x^2\)

\(\Leftrightarrow4x^2y^2+4xy+4=4x^2\)

\(\Leftrightarrow\left(2xy+1\right)^2+3=4x^2\)

\(\Leftrightarrow\left(2x-2xy-1\right)\left(2x+2xy+1\right)=3=1.3=\left(-1\right).\left(-3\right)\)

TH1: \(\left\{{}\begin{matrix}2x-2xy-1=1\\2x+2xy+1=3\end{matrix}\right.\Leftrightarrow...\)

TH2: \(\left\{{}\begin{matrix}2x-2xy-1=3\\2x+2xy+1=1\end{matrix}\right.\Leftrightarrow...\)

TH3: \(\left\{{}\begin{matrix}2x-2xy-1=-1\\2x+2xy+1=-3\end{matrix}\right.\Leftrightarrow...\)

TH4: \(\left\{{}\begin{matrix}2x-2xy-1=-3\\2x+2xy+1=-1\end{matrix}\right.\Leftrightarrow...\)

PT \(\Leftrightarrow\left(y-5\right)x^2-\left(y-1\right)x+y-1=0\)

Với y=5 thì ta không tìm được x thỏa mãn

Với \(y\ne5\), ta có

\(\Delta=-3y^2+26-19\)

Để phương trình có nghiệm thì \(\Delta\ge0\Rightarrow1\le x\le7\)

Từ đó ta thế các giá trị của y vào phương trình tìm x (Bạn tự giải)

=> 5x² + 5xy + 5y² = 7x + 14y

=> 5x² + 5xy - 7x + 5y² - 14y = 0 

=> 5x² + (5y -7).x + (5y²  - 14y) = 0   (*)

Tính \(\Delta\) = (5y - 7)² - 4.5.(5y²  - 14y) = -75y² + 210y + 49  

Để x nguyên thì \(\Delta\) là số chính phương <=> -75y² + 210y + 49  = k² ( với k nguyên)

=> - 3. (25y² - 2.5y.7 + 49) + 196 = k²

=> -3.(5y - 7)² + 196 = k²

=> 3.(5y - 7)² + k² = 196 => 3. (5y-7)²  \(\le\) 196 => (5y - 7)²  \(\le\) 66 =>-8  \(\le\)  5y - 7 \(\le\) 8

=> -1/5  \(\le\) y \(\le\) 3

y nguyên nên y có thể bằng 0; 1;2;3

Với tưng giá trị của y ta thay vào (*) => x 

Các giá trị x; y nguyên tìm được là các giá trị thỏa mãn yêu cầu

\(a\orbr{x=\frac{\pm\sqrt{5}-3}{4}}\)

\(b\hept{\begin{cases}x=5\\y=4\end{cases}}\)

2)\(\Leftrightarrow\left(x^3-x^2y\right)+\left(y^3-xy^2\right)=5\)

\(\Leftrightarrow x^2\left(x-y\right)+y^2\left(y-x\right)=5\)

\(\Leftrightarrow x^2\left(x-y\right)-y^2\left(x-y\right)=5\)

\(\Leftrightarrow\left(x-y\right)\left(x^2-y^2\right)=5\)

TH1\(\hept{\begin{cases}x-y=1\\x^2-y^2=5\end{cases}\Leftrightarrow\hept{\begin{cases}x=3\\y=2\end{cases}\left(N\right)}}\)

TH2\(\hept{\begin{cases}x-y=5\\x^2-y^2=1\end{cases}\Leftrightarrow\hept{ }x,y\in\varnothing}\)

TH3\(\hept{\begin{cases}x-y=-1\\x^2-y^2=-5\end{cases}\Leftrightarrow\hept{\begin{cases}x=2\\y=3\end{cases}\left(N\right)}}\)

TH4\(\hept{\begin{cases}x-y=-5\\x^2-y^2=-1\end{cases}\Leftrightarrow\hept{ }x,y\in\varnothing}\)

Vậy......

bạn mai anh làm đúng rồi mình xét thiếu trường hợp . nhưng nên phân tích thành (x+y)(x-y)² dễ hơn