Theo đề: \(p=x^3+y^3-3xy+1=\left(x+y\right)^3+1-3xy\left(x+y\right)-3xy\)
\(=\left(x+y+1\right)\left[\left(x+y\right)^2-\left(x+y\right)+1\right]-3xy\left(x+y+1\right)\)
\(=\left(x+y+1\right)\left(x^2+y^2-x-y-xy+1\right)\)
Vậy \(\left(x+y+1\right)\)và \(\left(x^2+y^2-x-y-xy+1\right)\)là các ước của p, mà p là số nguyên tố nên 1 trong 2 ước trên phải bằng 1 và ước còn lại bằng chính p
+) \(\hept{\begin{cases}x+y+1=1\Leftrightarrow x=-y\\x^2+y^2-x-y-xy+1=p\end{cases}}\)---> Loại, vì x,y nguyên dương nên x không thể bằng -y.
+) \(\hept{\begin{cases}x+y+1=p\Leftrightarrow x+y=p-1\\x^2+y^2-x-y-xy+1=1\end{cases}}\)---> Xét vế dưới:
\(x^2+y^2-x-y-xy=0\)---> Áp dụng 1 số BĐT đơn giản:
\(x^2+y^2\ge\frac{\left(x+y\right)^2}{2}\)và \(xy\le\frac{\left(x+y\right)^2}{4}\Rightarrow-xy\ge-\frac{\left(x+y\right)^2}{4}\)
Suy ra: \(x^2+y^2-x-y-xy\ge\frac{\left(x+y\right)^2}{2}-\left(x+y\right)-\frac{\left(x+y\right)^2}{4}=\frac{\left(x+y\right)^2}{4}-\left(x+y\right)\)
\(\Rightarrow0\ge\frac{\left(x+y\right)^2}{4}-\left(x+y\right)\Leftrightarrow0\le x+y\le4\Rightarrow0\le p-1\le4\Leftrightarrow1\le p\le5\)
Vậy số nguyên tố p lớn nhất thỏa mãn đề bài là p = 5
Khi đó x = y = 2.