Thiết kế mặt bằng đầu tiên của nhà tù Sơn La được sở kiến trúc Nha Công chính Bắc Kỳ hoàn thành. Nhà tù xây dựng khá kiên cố tường được xây bằng đá lẫn gạch, lợp mái tôn, bên trong phòng giam giường của tù nhân cũng được xây bằng đá, mép ngoài của sàn có các cùm sắt theo triều dài. Mỗi phòng giam đều có nhà WC xây theo lối tự hoại. Ngoài các phòng giam bên trong nhà tù còn có nhà bếp, trại giam lớn, các xà lim ngầm,..