Giải:
Gọi số HS là x ( \(^{x\in N}\)/ học sinh, 700<x<800)
Vì khi xếp hàng 30 , hàng 36 , hàng 40 đều thừa ra 10 học sinh nên x-10 \(⋮\)30, x-10 \(⋮\)36, x-10 \(⋮\)40
\(\Rightarrow\)\(^{x-10\in BC\left(30,36,40\right)}\)
30=2x3x5
36=\(^{2^2}\)x\(^{3^2}\)
40=\(^{2^3}\)x 5
BCNN (30,36,40)=\(^{2^3}\)x \(^{3^2}\)x 5 = 360
BC(30,36,40) = B(360)={0;360;720;...}
Vì 700<x <800 nên x =720
Vậy số HS của trường đó là 720 HS.