Không mất tính tổng quát giả sử a >= b. 

Đặt a^2 + 3b = x^2 (x thuộc N) và b^2 + 3a = y^2 (y thuộc N)

Ta có : x^2 = a^2 + 3b <= a^2 + 3a < a^2 + 4a + 4 = (a+2)^2  (Do a thuộc N)

=> x^2 < (a+2)^2     (1)

Lại có : x^2 = a^2 + 3b >=  a^2  (Do b thuộc N)

=> x^2 >= a^2          (2)

Từ (1) và (2) suy ra a^2 <= x^2 < (a+2)^2  nên x^2 = a^2 hoặc x^2 = (a+1)^2.

+) TH1 : x^2 = a^2 

<=> a^2 + 3b = a^2   <=> b = 0

Mà b^2 + 3a = y^2 nên 3a = y^2 

=> y^2 chia hết cho 3  =>  y chia hết cho 3  =>  y = 3k (k thuộc N) 

Khi đó 3a = 9k^2  <=> a = 3k^2.

Nghiệm (a,b) = (3k^2 , 0) với k thuộc N là một nghiệm của bài toán.

+) TH2 : x^2 = (a+1)^2

<=> a^2 + 3b = a^2 + 2a + 1

<=> 3b = 2a + 1 là số lẻ nên b là số lẻ.  Đặt b = 2m+1 (m thuộc N)

=> 6m + 3 = 2a + 1  <=>  a = 3m + 1

Vì b^2 + 3a = y^2 nên (2m+1)^2 + 3.(3m+1) = y^2

<=> 4m^2 + 13m + 4 = y^2 

<=> 64m^2 + 208m + 64 = 16y^2

<=> (8m + 13)^2 - (4y)^2 = 105

<=> (8m + 4y + 13)(8m - 4y + 13) = 105

Đến đây bạn dùng phương pháp tích ước số giải tiếp nha.