Thế \(\left(x;y\right)=\left(0;-1\right)\) vào ta được \(f\left(0\right)=0\)

Thế \(y=0\Rightarrow f\left(f\left(x\right)\right)=x\)

Do vế phải của biểu thức trên là hàm bậc nhất \(\Rightarrow\) có tập giá trị là \(Z\Rightarrow f\) là toàn ánh

Giả sử tồn tại \(x_1;x_2\) sao cho \(f\left(x_1\right)=f\left(x_2\right)=a\Rightarrow\left\{{}\begin{matrix}f\left(f\left(x_1\right)\right)=x_1\Rightarrow f\left(a\right)=x_1\\f\left(f\left(x_2\right)\right)=x_2\Rightarrow f\left(a\right)=x_2\end{matrix}\right.\)

\(\Rightarrow x_1=x_2\Rightarrow f\) là đơn ánh \(\Rightarrow f\) là song ánh

Thế \(\left(x;y\right)=\left(1;-1\right)\Rightarrow f\left(0\right)=1+f\left(-1\right)\Rightarrow f\left(-1\right)=-1\)

Thế \(\left(x;y\right)=\left(-1;f\left(1\right)\right)\Rightarrow f\left(f\left(-1\right)+f^2\left(1\right)\right)=-1+f\left(f\left(1\right)\right)\)

\(\Rightarrow f\left(f^2\left(1\right)-1\right)=-1+1=0\Rightarrow f^2\left(1\right)-1=0\) (do \(f\) song ánh)

\(\Rightarrow f^2\left(1\right)=1\Rightarrow f\left(1\right)=1\) (cũng vẫn do \(f\) song ánh nên \(f\left(1\right)\ne-1\) do \(f\left(-1\right)=-1\))

Thế \(\left(x;y\right)=\left(1;x\right)\Rightarrow f\left(1+x\right)=1+f\left(x\right)\) (1)

Từ đẳng thức trên, do \(x\in Z\) nên ta có thể quy nạp để tìm hàm \(f\):

- Với \(x=0\Rightarrow f\left(1\right)=1\)

- Với \(x=1\Rightarrow f\left(2\right)=f\left(1+1\right)=1+f\left(1\right)=2\)

- Giả sử \(f\left(k\right)=k\), ta cần chứng minh \(f\left(1+k\right)=1+k\), nhưng điều này hiển nhiên đúng theo (1)

Vậy \(f\left(x\right)=x\) là hàm cần tìm

Lời giải:

Gọi $d=ƯCLN(n+1, 4n^2-2n-5)$

$\Rightarrow n+1\vdots d; 4n^2-2n-5\vdots d$

$\Rightarrow 4(n+1)^2-(4n^2-2n-5)\vdots d$
$\Rightarrow 10n+9\vdots d$

$\Rightarrow 10(n+1)-1\vdots d$

Mà $n+1\vdots d$ nên $1\vdots d\Rightarrow d=1$

Vậy $n+1, 4n^2-2n-5$ nguyên tố cùng nhau. Để $(n+1)(4n^2-2n-5)$ là scp thì bản thân mỗi số $n+1, 4n^2-2n-5$ là scp.

Đặt $n+1=a^2; 4n^2-2n-5=b^2$

$\Rightarrow 4(a^2-1)^2-2(a^2-1)-5=b^2$

$\Leftrightarrow 4a^4-8a^2+4-2a^2+2-5=b^2$

$\Leftrightarrow 4a^4-10a^2+1=b^2$

$\Leftrightarrow 16a^4-40a^2+4=4b^2$
$\Leftrightarrow (4a^2-5)^2-21=4b^2$

$\Leftrightarrow 21=(4a^2-5)^2-(2b)^2=(4a^2-5-2b)(4a^2-5+2b)$

Đến đây là dạng phương trình tích cơ bản, chỉ cần xét các TH để tìm ra $a,b$