Lời giải:
Gọi số học sinh nam và nữ lần lượt là $a$ và $b$. ĐK: $a,b>0$
Số quà mỗi bạn nữ gói là $c$ thì số quà nam gói là $c+3$ (ĐK: $c>0$)
Theo bài ra ta có:
$a+b=13(1)$
$a(c+3)=bc=40(2)$
Từ $(1)\Rightarrow a=13-b$. Thay vào $(2)$ thì:
$(13-b)(c+3)=bc=40$
$\Leftrightarrow 13c+39-bc-3b=bc=40$
$\Leftrightarrow 13c-3b=41$ và $bc=40$
$\Leftrightarrow 3b=13c-41$ và $3bc=120$
$\Rightarrow c(13c-41)=120$
$\Rightarrow c=5$ (chọn) hoặc $c=\frac{-24}{13}$ (loại)
Với $c=5$ thì $b=8$, suy ra $a=5$
Vậy số học sinh nam là 5 và số học sinh nữ là 8.