Nằm trong hệ thống các nhà tù, nhà ngục, trại giam do thực dân Pháp xây dựng ở nước ta, nhằm hủy diệt lực lượng lãnh đạo cách mạng và phong trào quần chúng, cũng như thủ tiêu ý chí đấu tranh của nhân dân, nhà tù Sơn La được xây dựng vào năm 1908, trên đỉnh đồi Khau Cả, thuộc trung tâm thành phố Sơn La, tỉnh Sơn La ngày nay. Nhà tù có kiến trúc xây dựng khá kiên cố: tường được xây dựng bằng đá lẫn gạch, mái lợp tôn, không có trần, giường nằm cho tù nhân cũng được xây bằng đá, mặt láng xi măng, mép ngoài được gắn hệ thống cùm chân dọc theo chiều dài của sàn. Trong mỗi phòng giam đều có hố xí nổi được xây cao hơn sàn nằm, không có nắp đậy, không có nước dội, không được vệ sinh thường xuyên. Với lối thiết kế như vậy, mùa hè những đợt gió Lào của vùng Tây Bắc gây nên cái nóng như thiêu như đốt, những đợt sương muối tạo ra cái lạnh giá, rét thấu xương thịt vào mùa đông, cộng với môi trường ô nhiễm ở mỗi phòng giam đã làm bệnh tật phát sinh và lây lan rất nhanh chóng trong tù nhân.
Khởi thủy của Nhà tù Sơn La chỉ là nhà tù hàng tỉnh mang tên “Prison de Vạn Bú”, có diện tích 500m² với chức năng là giam giữ tù thường phạm. Nhưng sau đó, cùng với sự ra đời của Đảng Cộng sản Việt Nam và phong trào đấu tranh chống thực dân, phong kiến, Nhà tù Sơn La thay đổi hẳn tính chất; thực dân Pháp đổi tên Nhà tù thành “Peni tencier de Son La”, mở rộng diện tích lên tới gần 1.700m², đối tượng giam giữ không chỉ là tù thường phạm mà cả tù chính trị thuộc các đảng phái, trong đó chủ yếu là tù cộng sản.
Nhà tù Sơn La là chứng tích về âm mưu thâm độc và tàn ác của thực dân Pháp đối với những người cộng sản và những người yêu nước Việt Nam. Trong 15 năm, nơi đây đã trở thành “nhà” của 1.007 lượt tù nhân cộng sản, trong đó có rất nhiều đồng chí là Thành ủy, Xứ ủy, Ủy viên Trung ương như: Lê Duẩn, Trường Chinh, Nguyễn Lương Bằng, Văn Tiến Dũng, Trần Quốc Hoàn, Lê Đức Thọ, Nguyễn Cơ Thạch, Xuân Thủy, Song Hào, Lê Thanh Nghị,…
Vượt lên trên gông cùm và tội ác của thực dân Pháp, những chiến sĩ cộng sản kiên trung bị giam cầm ở đây đã biến Nhà tù thành trường học cách mạng, biến những bức tường đá lạnh lẽo thành những viên gạch hồng sưởi ấm tình đồng chí giữa bạn tù, biến đêm đen trong ngục tối thành nguồn sáng cách mạng tỏa khắp vùng núi rừng Tây Bắc. Chính vì vậy, Nhà tù Sơn La đã trở thành chiếc nôi của cách mạng Việt Nam, đã đào tạo, bồi dưỡng một đội ngũ các chiến sĩ cộng sản trung kiên, ưu tú, kiên cường lãnh đạo nhân dân ta giành độc lập cho dân tộc. Cuối năm 1935, với quyết tâm biến chốn tù đày thành nơi rèn luyện ý chí của người cộng sản, tổ chức Hội đồng thống nhất do đồng chí Trường Chinh làm chủ tịch được bí mật thành lập. Bốn năm sau, Chi bộ lâm thời Nhà tù Sơn La được hình thành, đồng chí Nguyễn Lương Bằng được cử làm bí thư chi bộ. Tổ chức Đảng được bí mật thành lập đã lãnh đạo các tù nhân ở Nhà tù Sơn La khôn khéo đấu tranh để tránh tổn thất lực lượng. Chi bộ Nhà tù Sơn La bắt liên lạc với bên ngoài thông qua hộp thư đặt tại cây đa ở bản Hẹo. Nhiều quần chúng tốt được giác ngộ cách mạng, sẵn sàng hy sinh vì Tổ quốc. Tiêu biểu là Lò Văn Giá, thanh niên dân tộc Thái đã mưu trí, dũng cảm dẫn đường cho đoàn tù vượt ngục thành công. Hoạt động của Chi bộ Nhà tù Sơn La gắn liền với tên tuổi của nhiều đảng viên cộng sản trung kiên, nổi bật nhất là vai trò của đồng chí Tô Hiệu – một Bí thư chi bộ Đảng năng nổ, nhiệt huyết trong công tác tuyên truyền cách mạng và đấu tranh cải thiện chế độ nhà tù.
Sau ngày hòa bình thống nhất, Di tích lịch sử Nhà tù Sơn La được Đảng và Nhà nước ta đặc biệt quan tâm. Từ những năm 1980, Bảo tàng tỉnh Sơn La bắt đầu tiến hành phục chế lại nhà tù; xây dựng lại một số đoạn tường rào bao quanh, phục chế lại hai tháp canh, nhà bếp, trại giam lớn, gia cố lại hầm ngầm, xà lim ngầm, xây dựng các bức tường của các phòng giam theo dấu vết của các nền móng cũ… Ngày nay, Di tích lịch sử Nhà tù Sơn La trở thành trung tâm giáo dục truyền thống cách mạng cho thế hệ con em các dân tộc Sơn La nói riêng và các thế hệ người Việt Nam nói chung.
Năm 1962, Nhà tù Sơn La được xếp hạng Di tích quốc gia. Ngày 31-12-2014, Di tích lịch sử Nhà tù Sơn La đã được xếp hạng là Di tích quốc gia đặc biệt theo Quyết định số 2408/QĐ-TTg của Thủ tướng Chính phủ
