Theo sách Đại Nam nhất thống chí và Việt Nam dư địa chí, chùa Sùng Phúc thuộc tổng Lệnh Cấm, nay là xã Thanh Nhật, huyện Hạ Lang, tỉnh Cao Bằng. Chùa được xây dựng từ thời vua Trần Nhân Tông thế kỷ XIII, ban đầu có tên là Sùng Khánh tự, thờ Phật và thờ các nhân vật có công trấn ải vùng biên giới. Năm Cảnh Hưng thứ 43, thời nhà Lê, chùa được trùng tu và đổi tên là chùa Sùng Phúc, thờ Đức Phật Quan Âm Bồ Tát, ở hậu cung có tượng Phật Bà. Gian bên trái thờ vị Thành Hoàng, người có công chiêu dân khẩn hoang lập bản làng – ông Nguyễn Thành Vương, tức Nguyễn Đình Bá (1678), tri châu Tư Lang, quê ở thôn Bình Dân, phủ Khoái Châu, tỉnh Hưng Yên, sau làm Đốc đồng ở Cao Bằng.
Chùa còn thờ vị đồ là bà Nguyễn Thị Duệ, người làng Kiệt Đặc, nay thuộc xã Văn An, huyện Chí Linh, Hải Dương. Thời vua Mạc Kính Cung, bà theo cha rời quê lên Cao Bằng sinh sống. Năm 20 tuổi, bà cải trang làm nam giới, thi đỗ Tiến sĩ ở trường quốc học Bản Thảnh, Cao Bằng. Sau khi thi đỗ, bà được mời về ly cung Đống Lân để dạy học cho hoàng tử, công chúa. Bà được vua nhà Mạc lấy làm vợ và đặt tên là Tinh Phi (Sao sa). Thời kỳ Lê – Mạc phân tranh, bà chạy về Hạ Lang, đi tu ở chùa Sùng Phúc. Vốn là người tài cao học rộng, nên bà mở lớp dạy học, giảng về giáo lý nhà Phật. Sau này, để tỏ lòng tưởng nhớ, nhân dân trong vùng đã đưa bài vị của bà vào chùa để thờ.
Chùa được xếp hạng Di tích lịch sử – văn hóa cấp quốc gia ngày 29-1-1993.
Lễ hội chùa Sùng Phúc bắt đầu từ lễ “Khai quang” cho rồng mở mắt, diễn ra vào mùng 8 tháng Giêng âm lịch. Nhưng, ngày chính hội là ngày Rằm tháng Giêng âm lịch hằng năm, được bắt đầu bằng Lễ rước kiệu Đức Phật Quan Âm Bồ Tát, Thành Hoàng kèm theo các mâm lễ vật, lợn quay từ Miếu Thổ công, qua các con phố chính dẫn đến chùa. Sau lễ rước là màn tế. Chủ tế là cụ cao niên am hiểu phong tục tập quán, có uy tín ở địa phương. Bài văn tế, báo cáo với trời đất, tổ tiên và các vị thờ trong chùa về tình hình kinh tế – xã hội trong một năm vừa qua của địa phương, đồng thời cầu mong một năm mới mạnh khỏe, may mắn, mưa thuận gió hòa, cuộc sống ấm no, hạnh phúc. Khi nghi lễ tế, dâng hương kết thúc cũng là lúc tiếng trống khai hội rộn rã vang lên. Đội múa rồng, đội kỳ lân trình diễn những màn múa uyển chuyển, đẹp mắt trong tiếng hò reo tán thưởng của hàng nghìn người đến vui hội.
Không khí lễ hội càng thêm náo nhiệt nhờ các hoạt động văn hóa – văn nghệ, trò chơi dân gian bên lề như: hát Sli, hát Lượn, đối đáp giao duyên, cờ người, ném còn, nhảy bao,…
