\(N=a^3+b^3+3ab\)
\(=\left(a+b\right)^3-3ab\left(a+b\right)+3ab\)
=1
\(M=\left(a^2+b^2+2-a^2-b^2+2\right)\left[\left(a^2+b^2+2\right)^2+\left(a^2+b^2+2\right)\left(a^2+b^2-2\right)+\left(a^2+b^2-2\right)^2\right]-12\left(a^2+b^2\right)^2\\ M=4\left(a^4+b^4+4+4a^2+4b^2+2a^2b^2+\left(a^2+b^2\right)^2-4+a^4+b^4+4-4a^2-4b^2+2a^2b^2\right)-12\left(a^4+2a^2b^2+b^4\right)\\ M=4\left(3a^4+3b^4+4+6a^2b^2\right)-12\left(a^4+2a^2b^2+b^4\right)\\ M=4\left(3a^4+3b^4+4+6a^2b^2-3a^4-6a^2b^2-3b^4\right)\\ M=4\cdot4=164\)